ES2673232T3 - Método para señalizar una muestra de acceso a una subcapa temporal de forma escalonada - Google Patents
Método para señalizar una muestra de acceso a una subcapa temporal de forma escalonada Download PDFInfo
- Publication number
- ES2673232T3 ES2673232T3 ES13843656.3T ES13843656T ES2673232T3 ES 2673232 T3 ES2673232 T3 ES 2673232T3 ES 13843656 T ES13843656 T ES 13843656T ES 2673232 T3 ES2673232 T3 ES 2673232T3
- Authority
- ES
- Spain
- Prior art keywords
- stsa
- sample
- image
- temporary
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 10
- 230000002123 temporal effect Effects 0.000 claims description 82
- 238000004891 communication Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 230000011664 signaling Effects 0.000 description 17
- 238000002946 Total quality control Methods 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 238000013139 quantization Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/23—Reproducing arrangements
- H04N1/31—Mechanical arrangements for picture transmission, e.g. adaptation of clutches, gearing, gear transmissions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
- H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Abstract
Un método para decodificar una imagen que comprende: la recepción de un flujo binario audiovisual (110); la obtención de un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA); la decodificación del agrupamiento de muestra STSA; y la determinación de cuándo conmutar a una nueva capa temporal (219a-219n) sobre la base del agrupamiento de muestra STSA, caracterizado por cuanto que: el agrupamiento de muestra STSA se envía en una Caja de Descripción de Grupo de Muestras (SGDP), en donde el SGDP incluye un parámetro de distancia de conmutación ascendente STSA siguiente y un parámetro de distancia de muestra STSA siguiente.
Description
5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Método para señalizar una muestra de acceso a una subcapa temporal de forma escalonada.
Campo técnico
La presente idea inventiva se refiere, en general, a dispositivos electrónicos. Más concretamente, la presente invención se refiere a métodos para señalizar una muestra de acceso a una subcapa temporal de forma escalonada.
Antecedentes de la invención
Los dispositivos electrónicos se han vuelto más pequeños y más potentes con el fin de satisfacer las necesidades del consumidor y mejorar la portabilidad y comodidad. Los consumidores se han vuelto dependientes de los dispositivos electrónicos y esperan una mayor funcionalidad. Algunos ejemplos de dispositivos electrónicos incluyen ordenadores de escritorio, ordenadores portátiles, teléfonos celulares, teléfonos inteligentes, reproductores multimedia, circuitos integrados, etc.
Algunos dispositivos electrónicos se utilizan para procesar y visualizar soportes digitales. A modo de ejemplo, dispositivos electrónicos portátiles permiten ahora el consumo de soportes digitales en casi cualquier lugar en donde pueda estar el consumidor. Además, algunos dispositivos electrónicos pueden proporcionar la descarga o transmisión de contenido de soportes digitales para el uso y el disfrute de un consumidor.
La creciente popularidad de los soportes digitales ha presentado varios problemas. A modo de ejemplo, la representación eficaz de soportes digitales de alta calidad para memorización, transmisión y reproducción presenta varios desafíos. Como puede observarse en esta descripción, pueden ser ventajosos sistemas y métodos que representan soportes digitales de manera más eficiente.
La aportación de Bross et al. en la 10a reunión del Equipo Conjunto de Colaboración sobre Codificación de Vídeo (JCT-VC) titulado: "Borrador 8 de especificación de texto de codificación de vídeo de alta eficiencia (HEVC)", da a conocer tipos de unidad NAL de acceso a una subcapa temporal de forma escalonada.
Solicitud publicada de Estados Unidos n° US 2007/0016594 A1 da a conocer cajas de metadatos de un formato de fichero sVc modificado.
Sumario de la invención
La presente invención se refiere a un método para decodificar una imagen, según se establece en la reivindicación 1. Otras formas de realización se describen en las reivindicaciones subordinadas.
Breve descripción de los dibujos
[fig. 1] La Figura 1 es un diagrama de bloques que ilustra un ejemplo de uno o más dispositivos electrónicos en los que pueden ponerse en práctica sistemas y métodos para señalizar un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA).
[fig. 2] La Figura 2 es un diagrama de bloques que ilustra dos ejemplos de una estructura de codificación.
[fig. 3] La Figura 3 es un diagrama de bloques que ilustra una configuración de un codificador en un dispositivo electrónico.
[fig. 4] La Figura 4 es un diagrama de flujo que ilustra una configuración de un método para señalizar un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA).
[fig. 5] La Figura 5 es un diagrama de flujo que ilustra una configuración más específica de un método para señalizar un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA).
[fig. 6] La Figura 6 es un diagrama de bloques que ilustra una configuración de un decodificador en un dispositivo electrónico.
[fig. 7] La Figura 7 es un diagrama de flujo que ilustra una configuración de un método para la recepción de un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA).
[fig. 8] La Figura 8 es un diagrama de flujo que ilustra una configuración más específica de un método para la recepción de un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA).
[fig. 9] La Figura 9 es un diagrama de bloques que ilustra una configuración de un dispositivo electrónico en el que
5
10
15
20
25
30
35
40
45
50
55
60
65
se pueden poner en práctica sistemas y métodos para señalizar un agolpamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA).
[fig. 10] La Figura 10 es un diagrama de bloques que ilustra una configuración de un dispositivo electrónico en el que pueden ponerse en práctica sistemas y métodos para la recepción de un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA).
[fig. 11] La Figura 11 es un diagrama de bloques que ilustra diversos componentes que pueden utilizarse en un dispositivo electrónico de transmisión.
[fig. 12] La Figura 12 es un diagrama de bloques que ilustra varios componentes que se pueden utilizar en un dispositivo electrónico de recepción.
Descripción de las formas de realización
Se da a conocer un dispositivo electrónico para la codificación de una imagen. El dispositivo electrónico incluye un procesador e instrucciones almacenadas en la memoria, que están en comunicación electrónica con el procesador. Las instrucciones son ejecutables para codificar un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). Las instrucciones son, además, ejecutables para enviar y/o memorizar el agrupamiento de muestra STSA.
El envío del agrupamiento de muestra STSA puede incluir memorizar el agrupamiento de muestra STSA en un soporte de memorización grabable. El soporte de memorización grabable puede ser un fichero. La codificación del agrupamiento de muestra STSA puede incluir la codificación del agrupamiento de muestra STSA que está basada en un formato de fichero multimedia de base ISO. El formato de fichero multimedia de base ISO se puede haber extendido para soportar transmisiones de vídeo de codificación de vídeo de alta eficiencia (HEVC). El envío del agrupamiento de muestra STSA puede incluir el envío del agrupamiento de muestra STSA en un formato de fichero de soporte de base ISO.
El agrupamiento de muestra STSA puede indicar muestras STSA. El agrupamiento de muestra STSA puede indicar un punto de conmutación de capa temporal siguiente, en la misma capa temporal. El punto de conmutación de capa temporal siguiente puede indicar un número de muestras al punto de conmutación de capa temporal siguiente, en la misma capa temporal.
El agrupamiento de muestra STSA puede indicar un punto de conmutación de capa temporal siguiente, en una capa temporal superior. El punto de conmutación de capa temporal siguiente puede indicar un número de muestras al punto de conmutación de capa temporal siguiente, en la capa temporal superior. La capa temporal superior puede ser una capa temporal con un identificador temporal (ID) que es un identificador ID temporal mayor que el ID temporal de una muestra actual. La capa temporal superior puede ser una capa temporal con un identificador ID temporal que es un ID temporal mayor que el ID temporal de una muestra actual.
El agrupamiento de muestra STSA puede enviarse en una Caja de Descripción de Grupo de Muestras (SGPD). La SGPD puede incluir uno de entre un parámetro de distancia de conmutación ascendente STSA siguiente, un parámetro de distancia de muestra STSA siguiente, y un indicador de tipo conmutación temporal de acceso (TSA). El parámetro de distancia de conmutación ascendente puede ser next_stsa_upswitching_distance, el parámetro de distancia de muestra STSA siguiente puede ser next_stsa_sample_distance y el indicador de tipo tSa puede ser typeTSAFlag. El valor del indicador tipo TSA puede indicar si una muestra, en el agrupamiento de muestra STSA, es una muestra TSA o una muestra STSA. La imagen STSA puede proporcionar funcionalidad de conmutación de capa temporal a una capa temporal a la que pertenece la imagen STSA.
Se da a conocer, además, un dispositivo electrónico para decodificar una imagen. El dispositivo electrónico incluye un procesador e instrucciones almacenadas en memoria, que están en comunicación electrónica con el procesador. Las instrucciones son ejecutables para recibir uno de entre un flujo binario y un soporte de memorización grabable. Las instrucciones son ejecutables, además, para obtener un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). Las instrucciones son ejecutables, además, para decodificar el agrupamiento de muestra STSA. Las instrucciones también son ejecutables para determinar cuándo conmutar a una nueva capa temporal sobre la base del agrupamiento de muestra STSA.
El soporte de memorización grabable puede ser un fichero. La recepción del agrupamiento de muestra STSA puede incluir la recepción del agrupamiento de muestra STSA en un fichero multimedia de base ISO. La decodificación del agrupamiento de muestra STSA puede incluir la decodificación del agrupamiento de muestra STSA sobre la base de un formato de fichero multimedia de base ISO. El formato de fichero multimedia de base ISO se puede haber extendido para soportar transmisiones de vídeo de codificación de vídeo de alta eficiencia (HEVC).
El agrupamiento de muestra STSA puede indicar muestras STSA. El agrupamiento de muestra STSA puede indicar un punto de conmutación de capa temporal siguiente, en la misma capa temporal. El punto de conmutación de capa
5
10
15
20
25
30
35
40
45
50
55
60
65
temporal siguiente puede indicar un número de muestras al punto de conmutación de capa temporal siguiente, en la misma capa temporal.
El agrupamiento de muestra STSA puede indicar un punto de conmutación de capa temporal siguiente, en una capa temporal superior. El punto de conmutación de capa temporal siguiente puede indicar un número de muestras al punto de conmutación de capa temporal siguiente, en la capa temporal superior. La capa temporal superior puede ser una capa temporal con un identificador temporal (ID) que es un identificador ID temporal mayor que el ID temporal de una muestra actual. La capa temporal superior puede ser una capa temporal con un ID temporal que tiene un ID temporal mayor que el ID temporal de una muestra actual.
El agrupamiento de muestra STSA se puede enviar en una Caja de Descripción de Grupo de Muestras (SGPD). El SGPD puede incluir uno de entre los siguientes parámetros de distancia de conmutación ascendente STSA, un parámetro de distancia de muestra STSA siguiente, y un indicador de tipo de conmutación temporal de acceso (TSA). El parámetro de distancia de conmutación ascendente puede ser next_stsa_upswitching_distance, el parámetro de distancia de muestra STSA siguiente puede ser next_stsa_sample_distance y el indicador de tipo TSA puede ser typeTSAFlag.
El valor del indicador tipo TSA puede indicar si una muestra, en el agrupamiento de muestra STSA, es una muestra TSA o una muestra STSA. La imagen STSA puede proporcionar funcionalidad de conmutación de capa temporal para una capa temporal a la que pertenece la imagen STSa.
Se describe, además, un método para codificar una imagen. Se codifica un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). Se envía el agrupamiento de muestra STSA.
Se describe, además, un método para decodificar una imagen. Se recibe un flujo binario y/o un soporte de memorización grabable. Se obtiene un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). Se decodifica el agrupamiento de muestra STSA. Se determina cuándo conmutar a una nueva capa temporal sobre la base del agrupamiento de muestra STSA.
Los sistemas y métodos aquí dados a conocer describen enfoques de señalización de agrupamiento de muestra de acceso a subcapa temporal de forma escalonada (STSA). A modo de ejemplo, algunas configuraciones descritas en este documento incluyen dispositivos y métodos para señalizar agrupamientos de muestra STSA utilizando una unidad correspondiente de Capa de Acceso de Red (NAL). Un agrupamiento de muestra STSA puede incluir una o más muestras STSA.
En algunas configuraciones conocidas, tal como en el documento de Benjamin Bros et al., "Borrador 8 de Especificación de texto de codificación de vídeo de alta eficiencia (HEVC)" JCTVC-J1003_d7, Estocolmo, julio de 2012 (en adelante "Borrador 8 de HEVC"), se describen imágenes STSA. El Borrador 8 de HEVC describe, además, tipos de unidades de Capa de Acceso de Red (NAL) que corresponden a una imagen STSA. En algunos casos, la imagen STSA se puede denominar una imagen de acceso a capa temporal gradual (GTLA).
La norma de Codificación de Vídeo de Alta Eficiencia (HEVC) ofrece una mayor eficacia de codificación y una mayor solidez. A este respecto, ISO/IEC 14496-15, "Transporte de vídeo estructurado de unidad NAL en el Formato de Fichero Multimedia de base ISO", Estocolmo, julio de 2012 (en adelante "ISO/IEC 14496-15"), define el transporte de vídeo estructurado de unidad NAL en el Formato de Fichero Multimedia de base ISO. Además, tecnología de la información, codificación de objetos audiovisuales, "Parte 15: Transporte de vídeo estructurado de unidad NAL en el Formato de Fichero Multimedia de base ISO, MODIFICACIÓN 2: Transporte de codificación de vídeo de alta eficiencia (HEVC)", Estocolmo, julio de 2012, define el Transporte de flujos de vídeo de codificación de vídeo de alta eficiencia (HEVC). La memorización de contenido HEVC utiliza las capacidades existentes del formato de fichero multimedia de base ISO, pero, además, define extensiones para el soporte de las características del códec (codificador-decodificador) HEVC. A modo de ejemplo, ISO/IEC 14496-15 da a conocer un enfoque para el transporte de vídeo estructurado de la unidad NAL en el formato de fichero multimedia de base ISO. Se describen, además, enfoques relacionados con el transporte de HEVC. (Véase "Parte 15: Transporte de vídeo estructurado de la unidad NAL en Formato de Fichero Multimedia de base ISO, MODIFICACIÓN 2: Transporte de codificación de vídeo de alta eficiencia (HEVC)", Estocolmo, julio de 2012).
Una de las características de HEVC, soportadas por el formato de fichero multimedia de base ISO, incluye conjuntos de parámetros. A modo de ejemplo, un mecanismo de conjunto de parámetros de vídeo (VPS), un mecanismo de conjunto de parámetros de secuencia (SPS) y un mecanismo de conjunto de parámetros de imagen (PPS) pueden desacoplar la transmisión de información de cambio infrecuente, a partir de la transmisión de datos de bloques codificados. Cada sector que contiene datos de bloques codificados puede hacer referencia al PPS que está incluido en sus parámetros de decodificación. A su vez, el PPS puede referirse a un SPS que incluye información de parámetros de decodificación de nivel de secuencia. El SPS puede hacer referencia a un VPS que incluye información de parámetros de decodificación global, tal como a través de capas o vistas en extensiones escalables y 3DV potenciales. De forma adicional, HEVC puede soportar, además, conjuntos de parámetro de adaptación (APS), que incluyen parámetros de decodificación que pueden suponerse que cambian con más frecuencia que los
5
10
15
20
25
30
35
40
45
50
55
60
65
parámetros de codificación en PPS. Un conjunto de parámetro de adaptación (APS) se puede referir, además, como una división, cuando sea necesario.
Se pueden incluir herramientas adicionales, tales como agrupamientos de muestras, para soportar elementos HEVC en el formato de fichero multimedia de base ISO. A modo de ejemplo, un agolpamiento de muestra de escalabilidad temporal puede proporcionar un mecanismo de estructuración y agrupamiento para indicar la asociación de unidades de acceso con diferentes niveles jerárquicos de escalabilidad temporal. A modo de otro ejemplo, un agrupamiento de muestra de acceso a una subcapa temporal puede proporcionar un mecanismo de estructuración y agrupamiento para indicar la identificación de unidades de acceso como muestras de acceso a una subcapa temporal (TSA). En algunos casos, las capas temporales pueden denominarse subcapas temporales o subcapas. De modo similar, las muestras de acceso a una subcapa temporal (TSA) pueden denominarse muestras de acceso de capa temporal (TLA).
En algunas configuraciones, se puede añadir, además, un agrupamiento de muestra de acceso a sub-capa temporal de forma escalonada (STSA) con el fin de proporcionar un mecanismo de estructuración y agrupamiento para indicar la identificación de unidades de acceso como muestras STSA. A modo de ejemplo, el agrupamiento de muestras STSA puede indicar muestras STSA.
En algunas configuraciones, se puede añadir un agrupamiento de muestra de tipo de acceso a una subcapa temporal (TSA) para proporcionar un mecanismo de estructuración y agrupamiento, con el fin de indicar la identificación de unidades de acceso como muestras TSA y STSA. A modo de ejemplo, el agrupamiento de muestra de tipo TSA puede indicar, a la vez, muestras TSA y STSA. La información adicional en el agrupamiento de muestra puede distinguir entre agrupamientos de muestra TSA y agrupamientos de muestra STSA. A continuación, se describirán detalles adicionales con respecto a los agrupamientos de muestra TSA, agrupamientos de muestra de STSA y agrupamientos de muestra TSA.
En algunas configuraciones, el acceso temporal a la subcapa (TSA) o imágenes de subcapa se pueden señalizar, actualmente, en un flujo binario. Imágenes de TSA unifican la señalización de las imágenes de Acceso Aleatorio Limpio (CRA) y puntos de conmutación de la subcapa temporal. Una imagen CRA puede indicar un punto de acceso aleatorio (RAP), o un punto desde el que un decodificador puede comenzar a decodificar, sin tener acceso a imágenes que preceden a la imagen CRA, en orden de decodificación. En algunos casos, una imagen CRA puede incluir segmentos de intra-predicción (segmentación en I) que se decodifican utilizando intra-predicciones.
Tal como aquí se utiliza, el término "capa temporal" se refiere a todas las imágenes con el mismo identificador temporal (temporaljd, tId o Temporalld), o todas las imágenes en el mismo nivel temporal. Detalles adicionales con respecto a las capas temporales se describirán a continuación, con mayor detalle, en relación con la Figura 2.
Un punto de conmutación de subcapa temporal es una imagen que representa un punto en el flujo binario, en donde es posible iniciar la decodificación de un mayor número de capas temporales que las que se decodificaron antes del punto de conmutación. Dicho de otro modo, un punto de conmutación de subcapa temporal puede indicar que las imágenes con un ID temporal más alto que el ID temporal actual pueden comenzar a decodificarse. En este caso, el punto de conmutación de subcapa temporal es un punto de conmutación ascendente de la subcapa temporal. En consecuencia, no existe una imagen después del punto de conmutación tanto en orden de decodificación como en orden de visualización que utiliza cualquier imagen que precede al punto de conmutación en el orden de decodificación o visualización. El punto de conmutación de subcapa temporal se puede señalizar utilizando el formato de fichero multimedia de base ISO.
En una configuración, un agrupamiento de muestra STSA se puede señalizar mediante un conjunto de transporte del tipo de unidad NAL, mediante el uso del formato de fichero multimedia de base ISO. En otras configuraciones, se puede señalizar un agrupamiento de muestra STSA por el conjunto de transporte HEVC utilizando el formato de fichero multimedia de base ISO.
En otras configuraciones, un tipo de unidad NAL puede especificar el tipo de estructura de datos de carga útil de secuencia de bytes sin procesar (RBSP), que se incluye en una unidad NAL. En un ejemplo, una unidad NAL que utiliza un tipo de unidad NAL igual a 0, o en el margen de 33-63, puede no afectar al proceso de decodificación especificado en varias configuraciones. Conviene señalar que, en algunas configuraciones, los tipos de unidad NAL 0 y 33-63 se pueden utilizar tal como se determine por varias aplicaciones. Los tipos de unidad NAL 0 y 33-63 se pueden reservar para uso futuro. En algunas configuraciones aquí descritas, un decodificador puede ignorar los contenidos de unidades NAL que utilizan valores reservados o no especificados de tipos de unidad NAL.
Ejemplos de códigos de tipo de unidad NAL y clases de tipo de unidad NAL, que se pueden poner en práctica de conformidad con los sistemas y métodos descritos en este documento, se incluyen en la Tabla 1 siguiente. Ha de entenderse que algunas configuraciones pueden incluir campos similares y diferentes a los descritos a continuación.
En algunas configuraciones, algunos o la totalidad de los campos NAL en la Tabla 1 pueden ser ejemplos de diferentes tipos de unidad NAL. En algunas configuraciones, determinados tipos de unidad NAL se pueden asociar
5
10
15
20
25
30
con diferentes campos y estructuras de sintaxis que se asocian con una o más imágenes. A continuación, se incluyen explicaciones adicionales de uno o más campos. Conviene señalar que la Tabla 1 siguiente incluye abreviaturas para acceso de enlace interrumpido (BLA), punto de acceso aleatorio (RAP), etiquetado para descarte (TFD) e imágenes instantáneas de actualización de decodificación (IDR).
Tabla 1
- Tipo de unidad NAL
- Contenido de la Unidad NAL Estructura de sintaxis RBSP
- 0
- Sin especificar N/A
- 1, 2
- Parte codificada de una imagen posterior que no es TSA ni STSA slice_layer_rbsp( )
- 3, 4
- Parte codificada de una imagen de TSA slice_layer_rbsp( )
- 5, 6
- Parte codificada de una imagen de STSA slice_layer_rbsp( )
- 7, 8, 9
- Parte codificada de una imagen BLA slice_layer_rbsp( )
- 10, 11
- Parte codificada de una imagen IDR slice_layer_rbsp( )
- 12
- Parte codificada de una imagen CRA slice_layer_rbsp( )
- 13
- Parte codificada de una imagen DLP slice_layer_rbsp( )
- 14
- Parte codificada de una imagen TFD slice_layer_rbsp( )
- 15...24
- Reservado
- 25
- Conjunto de parámetro de vídeo vídeo_parameter_set_rbsp( )
- 26
- Conjunto de parámetro de secuencia seq_parameter_set_rbsp( )
- 27
- Conjunto de parámetro de imagen pic_parameter_set_rbsp( )
- 28
- Limitador de la unidad de acceso access_unit_delimiter_rbsp( )
- 29
- Final de secuencia end_of_seq_rbsp( )
- 30
- Final de flujo binario end_of_bitstream_rbsp( )
- 31
- Datos de relleno filler_data_rbsp( )
- 32
- Información de mejora suplementaria (SEI) sei_rbsp( )
- 33...47
- Reservado No aplicable
- co cq 00
- Sin especificar No aplicable
La Tabla 1 está organizada en columnas de tipo de unidad NAL (nal_unit_type), contenido de unidad NAL y estructura de sintaxis RBSP. Las unidades NAL pueden proporcionar una indicación del tipo de datos que seguirán. A modo de ejemplo, un tipo de unidad NAL de 5 o 6 puede indicar que pueden seguir datos relacionados con una parte codificada de una imagen STSA.
En la Tabla 1, la sintaxis puede incluir la sintaxis de carga útil de la secuencia de bytes sin procesar de la capa de segmentación (RBSP). De forma adicional o como alternativa, la sintaxis puede incluir, además, información mejorada suplementaria (SEI) de sintaxis RBSP. Una SEI RBSP puede incluir uno o más mensajes SEI. Cada mensaje SEI puede incluir variables que especifican el tipo (p.ej., tipo de carga útil, payloadType) y el tamaño (p.ej., tamaño de carga útil, payloadSize) de la carga útil de SEI. El tamaño de carga útil de sEi derivado se puede especificar en bytes y puede ser igual al número de bytes RBSP en la carga útil de SEI.
En la Tabla 1, cuando el valor del tipo de unidad NAL es igual a 5 o 6 para una imagen particular, se puede hacer referencia a esa imagen particular como una imagen de acceso a una subcapa temporal de forma escalonada (STSA). En algunas configuraciones, cuando el tipo de unidad nal_unit_type está en el margen de 3 a 6, inclusive (p.ej., un segmento codificado de una imagen TSA o STSA), el ID temporal puede no ser igual a 0.
Una imagen STSA puede ser una imagen codificada para la cual cada segmento tiene un tipo de unidad nal_unit_type igual a STSA_R o STSA_N. STSA_R puede indicar que una imagen STSA decodificada puede servir como referencia a una imagen decodificada posterior. STSA_N puede indicar que una imagen STSA decodificada no sirve como referencia a ninguna imagen decodificada con posterioridad. Una imagen STSA no utiliza imágenes con el mismo identificador ID temporal que la imagen STSA para referencia de inter-predicción. Las imágenes que siguen a una imagen STSA, en orden de decodificación, con el mismo ID temporal que la imagen STSA, no utilizan imágenes antes de la imagen STSA en orden de decodificación con el mismo ID temporal que la imagen STSA para referencia de inter-predicción. Una imagen STSA permite la conmutación ascendente, en la imagen STSA, a la
5
10
15
20
25
30
35
40
45
50
55
60
65
subcapa que contiene la imagen STSA, desde la subcapa inmediatamente inferior. Las imágenes STSA deben tener un ID temporal mayor que 0.
Ha de entenderse que RefPicSetStCurrBefore, RefPicSetStCurrAfter y RefPicSetLtCurr incluyen todas las imágenes de referencia que se pueden utilizar en la predicción inter de la imagen actual, y que pueden utilizarse en la interpredicción de una o más de las imágenes siguientes a la imagen actual en orden de decodificación.
Cuando la imagen actual es una imagen STSA, puede que no haya ninguna imagen incluida en RefPicSetStCurrBefore, RefPicSetStCurrAfter o RefPicSetLtCurr que tenga un Temporaljd (ID temporal) igual al de la imagen actual. Cuando la imagen actual es una imagen que sigue, en orden de decodificación, una imagen STSA que tiene un Temporaljd igual al de la imagen actual, puede no existir ninguna imagen que tenga un Temporaljd igual al de la imagen actual incluida en RefPicSetStCurrBefore, RefPicSetStCurrAfter o RefPicSetLtCurr que preceda a la imagen STSA en orden de decodificación.
En algunas configuraciones, los sistemas y métodos aquí dados a conocer, describen una imagen STSA. Una imagen STSA puede ser una imagen codificada para la que cada segmento tiene un tipo de unidad NAL igual a 5 o 6.
La señalización de un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA) puede proporcionar ventajas sobre la señalización de un agrupamiento de muestra de capa temporal. A modo de ejemplo, un agrupamiento de muestra STSA puede proporcionar marcas claras y/o etiquetado de muestras STSA como pertenecientes al agrupamiento de muestra STSA. Lo que antecede, a su vez, proporciona una fácil identificación de los puntos de conmutación de la capa temporal en las muestras. Beneficios y ventajas adicionales se describirán a continuación.
En algunas configuraciones, el agrupamiento de muestra STSA puede enviarse en el conjunto de transporte de una unidad NAL. El agrupamiento de muestra STSA puede ser de un grupo de imágenes memorizadas utilizando el formato de fichero multimedia de base ISO. El formato de fichero multimedia de base ISO se puede especificar de conformidad con la norma ISO/IEC 14496-15. El formato de fichero multimedia de base ISO puede extenderse, además, para soportar el conjunto de transporte de HEVC.
Una ventaja de la señalización de los agrupamientos de muestra STSA, en el formato de fichero multimedia de base ISO, es que se pueden definir elementos de sintaxis adicionales para el agrupamiento de muestra STSA. A modo de ejemplo, un elemento de sintaxis adicional puede proporcionar la capacidad de saber cuándo se producirá un punto de conmutación de capa temporal siguiente en la misma capa temporal. Lo anterior puede ser ventajoso con el fin de determinar cuándo conmutar, de forma adaptativa, a una nueva capa temporal.
Además, las imágenes STSA pueden proporcionar la capacidad de aumentar la tasa de trama de un vídeo en una manera escalonada. A modo de ejemplo, un dispositivo electrónico 102 puede iniciar la recepción de vídeo solamente para la subcapa temporal más baja. A continuación, transcurrido un período de tiempo, basado en su capacidad de decodificación y/o carga de unidad CPU actual y/o ancho de banda disponible, el dispositivo electrónico 102 puede esperar la presencia de una imagen STSA en la siguiente capa temporal más alta. Entonces, a partir de ese momento, el dispositivo electrónico 102 puede iniciar la decodificación de la subcapa temporal más baja y la siguiente subcapa temporal más alta. Cuando el dispositivo electrónico 102 encuentra otra imagen STSA, a modo de ejemplo, una imagen STSA con una subcapa temporal incluso más alta, el dispositivo electrónico 102 puede decidir esperar y no iniciar la decodificación de dicha subcapa temporal más alta si se hubiera conmutado, de forma ascendente, recientemente, a la subcapa temporal actual más alta que se está decodificando. En algunos casos, la decisión de conmutación ascendente inmediatamente, o esperar, puede estar basada en cuándo se producirá la próxima imagen STSA. Esta información podría conocerse a partir del elemento de sintaxis adicional, que proporciona la capacidad de saber cuándo se producirá un punto de conmutación de capa temporal siguiente, en la misma capa temporal.
A modo de otro ejemplo, se puede definir un elemento de sintaxis adicional para el agrupamiento de muestra STSA que proporciona la capacidad de saber cuándo se producirá un punto de conmutación ascendente de capa temporal siguiente (es decir, muestra STSA para un ID temporal superior) en la capa temporal superior. Lo que antecede puede ser beneficioso puesto que permite la selección de la tasa de trama deseada en una manera escalonada y para la conmutación ascendente temporal.
En algunos sistemas y métodos para señalizar un agrupamiento de muestra STSA, aquí dados a conocer, se pueden poner en práctica uno o más indicadores para indicar un agrupamiento de muestra STSA y/o imagen STSA en un flujo binario. A modo de ejemplo, en una configuración, se puede utilizar una unidad NAL para indicar una imagen STSA en el flujo binario.
A continuación, se describen varias configuraciones con referencia a las figuras, en donde los números de referencia similares pueden indicar elementos funcionalmente similares. Los sistemas y métodos según se suelen describir e ilustrar en las figuras aquí dadas a conocer, podrían estar dispuestos y diseñados en una amplia diversidad de
5
10
15
20
25
30
35
40
45
50
55
60
65
configuraciones distintas. Por lo tanto, la siguiente descripción más detallada de varias configuraciones, tal como se ilustran en las figuras, no pretende limitar el alcance, tal como se reivindica, sino que simplemente representativo de los sistemas y métodos.
La Figura 1 es un diagrama de bloques que ilustra un ejemplo de uno o más dispositivos electrónicos 102a-b en los que pueden ponerse en práctica sistemas y métodos para señalizar un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). En este ejemplo, se ilustran el dispositivo electrónico A 102a y el dispositivo electrónico B 102b. Sin embargo, debe observarse que una o más de las características y funcionalidades descritas en relación con el dispositivo electrónico A 102a y el dispositivo electrónico B 102b se pueden combinar en un solo dispositivo electrónico en algunas configuraciones.
El dispositivo electrónico A 102a incluye un codificador 104. Cada uno de los elementos incluidos dentro del dispositivo electrónico A 102a (p.ej., el codificador 104 y el módulo de agrupamiento de muestra STSA 108) se puede poner en práctica mediante hardware, software o una combinación de ambos.
El dispositivo electrónico A 102a puede obtener una imagen de entrada 106. La imagen de entrada 106 puede capturarse en el dispositivo electrónico A 102a utilizando un sensor de imagen, recuperado desde la memoria y/o recibido desde otro dispositivo electrónico.
El codificador 104 puede incluir un módulo de agrupamiento de muestra STSA 108 y un generador de fichero 153. Tal como se ilustra en la Figura 1, el módulo de agrupamiento de muestra STSA 108 y el generador de fichero 153, pueden ser parte del codificador 104.
En otras configuraciones, el módulo de agrupamiento de muestra STSA 108 y/o el generador de fichero 153 pueden estar separados del codificador 304 y/o situados en otro dispositivo electrónico 102. A modo de ejemplo, el codificador 104 puede ser un codificador HEVC y el módulo de agrupamiento de muestra STSA 108 puede residir en el generador de ficheros 153, situado en el dispositivo electrónico A 102a separado del codificador 104. En este ejemplo, el módulo de agrupamiento de muestra STSA 108 puede utilizar información del codificador HEVC para identificar muestras STSA. En otro ejemplo, el módulo de agrupamiento de muestra STSA 108 puede analizar el flujo binario 110, creado por el codificador HEVC, e identificar imágenes y muestras STSA desde el flujo binario 110.
El codificador 104 puede codificar la imagen de entrada 106 para producir datos codificados, tales como una muestra. A modo de ejemplo, el codificador 104 puede codificar una serie de imágenes de entrada (p.ej., vídeo) para obtener una serie de muestras.
Tal como aquí se utiliza, el término "muestra" se puede utilizar según se proporciona en la norma de formato de fichero multimedia de base ISO. Una "muestra", tal como se define en la norma de formato de fichero multimedia de base ISO, se puede referir a todos los datos asociados con una única marca de tiempo. En consecuencia, dos muestras dentro de una pista no pueden compartir la misma marca de tiempo. Una "muestra", tal como se define en la norma de formato de fichero multimedia de base ISO, puede corresponder, además, a una "unidad de acceso", tal como se define en la norma HEVC. A modo de ejemplo, una muestra se puede referir a un conjunto de unidades NAL que son consecutivas en orden de decodificación e incluyen exactamente una sola imagen codificada. Además de las unidades NAL de parte codificada de la imagen codificada, la muestra puede incluir, además, otras unidades NAL que no contienen partes de la imagen codificada. La decodificación de una muestra siempre da como resultado una imagen decodificada. Un agrupamiento de muestra puede incluir una o más muestras. Un agrupamiento de muestra puede ser una asignación de cada muestra en una pista para ser un miembro de un grupo de muestra, sobre la base de un criterio de agrupamiento. Un grupo de muestra, en un agrupamiento de muestra, no está limitado a ser muestras contiguas y puede incluir muestras no adyacentes.
El codificador 104 puede ser un codificador de Codificación de Vídeo de Alta Eficiencia (HEVC). En algunas configuraciones, la norma HEVC puede definir un formato de memorización para flujos de vídeo comprimidos utilizando HEVC. Esta norma puede ser una extensión del formato de fichero multimedia de base ISO. Dicho de otro modo, el codificador 104 puede codificar la imagen de entrada 106 basándose en el formato de fichero multimedia de base ISO, en donde el formato de fichero multimedia de base ISO se ha extendido para soportar flujos de vídeo HEVC.
El codificador 104 puede emplear la utilización de herramientas conocidas, tales como conjuntos de parámetro, agrupamientos de muestra de escalabilidad temporal y agrupamientos de muestra de acceso a una subcapa temporal (TSA), con el fin de realizar la codificación HEVC. A modo de ejemplo, un agrupamiento de muestra de escalabilidad temporal puede proporcionar un mecanismo de estructuración y agrupamiento para indicar la asociación de unidades de acceso con diferentes niveles jerárquicos de escalabilidad temporal. Un agrupamiento de muestra de acceso de capa temporal puede proporcionar un mecanismo de estructuración y agrupamiento para indicar la identificación de unidades de acceso como muestras de acceso a una subcapa temporal (TSA). Además, en algunos casos, el agrupamiento de muestra de acceso de capa temporal (TLA) puede denominarse agrupamiento de muestra de acceso a una subcapa temporal (TSA).
5
10
15
20
25
30
La Tabla 2 muestra, a continuación, un ejemplo de una entrada del grupo de muestra de capa temporal.
Tabla 2
- Entrada del aruoo de muestra de caca temporal
- Tipos de grupos:
- 'tscl'
- Contenedor:
- Caja de Descripción de Grupo de Muestras ('sgpd')
- Obligatorio:
- No
- Cantidad:
- Cero o más
En la Tabla 2, la entrada del grupo de muestra de capa temporal puede definir la información de capa temporal para todas las muestras en una capa temporal. Las capas temporales pueden numerarse con números enteros no negativos. Cada capa temporal puede estar asociada con un valor particular llamado ID temporal (p.ej., temporaljd). Una capa temporal asociada con un valor temporaljd mayor que cero puede hacer referencia a todas las capas temporales con valores temporaljd más bajos. Dicho de otro modo, una representación de capa temporal, asociada con un valor temporaljd particular, puede incluir todas las capas temporales asociadas con los valores temporaljd igual o menor que el valor temporaljd particular.
El Listado 1 proporciona la sintaxis que se puede utilizar en relación con la entrada de grupo de muestra de capa temporal, ilustrada en la Tabla 2.
Sintaxis
clase TemporalLayerEntry () se extiende a VisualSampleGroupEntry ('tscl') {
unsigned int(8) temporalLayerId; unsigned int(3) tlprofile_space; unsigned int(5) tlprofile_idc; unsigned int(16) tlconstraint_indicator_flags; unsigned int(8) tllevel_idc;
unsigned int(32) tlprofile_compatibility_indications; unsigned int(16) tlMaxBitRate; unsigned int(16) tlAvgBitRate; unsigned int(8) tlConstantFrameRate; unsigned int(16) tlAvgFrameRate;
}
Listado 1
En el Listado 1, temporalLayerId puede proporcionar el ID de la capa temporal actual. Para todas las muestras que son miembros de este grupo de muestra, las unidades NAL de Capa de Codificación de Vídeo (VCL) pueden tener temporaljd, tal como se define en ISO/IEC 23008-2, igual a temporalLayerId. tlprofile_space, tlprofile_idc, tlconstraintjlags, tllevel_idc y tlprofile_compatibility_indications pueden incluir los códigos tal como se definen en ISO/IEC 23008-10, para la representación de la capa temporal identificada por temporalLayerId.
tlMaxBitrate puede proporcionar la tasa máxima, en 1000 bits por segundo, sobre cualquier ventana de un segundo,
para la representación de la capa temporal identificada por temporalLayerId. tlAvgBitRate puede proporcionar la tasa binaria promedio en unidades de 1000 bits por segundo, para la representación de la capa temporal identificada por temporalLayerId.
5 tlConstantFrameRate igual a 1 puede indicar que la representación de la capa temporal, identificada por temporalLayerId, tiene una tasa de trama constante. tlConstantFrameRate igual a 0 puede indicar que la representación de la capa temporal, identificada por temporalLayerId, puede tener, o no, una tasa de trama constante. tlAvgFrameRate puede proporcionar la tasa de trama promedio, en unidades de tramas/(256 segundos), para la representación de la capa temporal identificada por temporalLayerId.
10
El codificador 104 puede emplear la utilización de herramientas adicionales, tales como agrupamientos de muestra de escalabilidad temporal STSA, para realizar la codificación HEVC. La muestra de STSA puede proporcionar un mecanismo de estructuración y agrupamiento para indicar la identificación de unidades de acceso como muestras STSA. A modo de ejemplo, el agrupamiento de muestras STSA puede indicar muestras STSA.
15
En una configuración, una pista de vídeo HEVC (es decir, un flujo de vídeo) puede incluir cero o una instancia operativa de una Caja de Muestra para Grupo con un tipo de agrupamiento grouping_type 'tlaw'. Este caso de Caja de Muestra para Grupo puede representar el marcado de muestras como puntos STSA. Puede estar presente una instancia operativa de la Caja de Descripción de Grupo de Muestras con el mismo tipo de agrupamiento. La Tabla 3
20 ilustra, a continuación, un ejemplo de una entrada de grupo de muestra de subcapa temporal de forma escalonada.
- Entrada de Grupo de Muestra de Subcapa Temporal de forma escalonada
- Tipos de grupos:
- 'tlaw'
- Contenedor:
- Caja de Descripción de Grupo de Muestras ('sgpd')
- Obligatorio:
- No
- Cantidad:
- Cero o más
Tabla 3
25 En la Tabla 3, el grupo de muestra se puede usar para marcar muestras de acceso a una subcapa temporal de forma escalonada (STSA). El Listado 2 proporciona, a continuación, un ejemplo de sintaxis que se puede utilizar en relación con la entrada de grupo de muestra de subcapa temporal de forma escalonada, que se muestra en la Tabla 3.
30
Sintaxis
clase TemporalLayerEntry() se extiende a VisualSampleGroupEntry ('tlaw') {
}_____________________________________________________
Listado 2
El Listado 3 proporciona, a continuación, otro ejemplo de sintaxis que se puede utilizar en relación con la entrada de grupo de muestra de subcapa temporal de forma escalonada, que se ilustra en la Tabla 3.
35 ______________________________________________________________________
Sintaxis
clase TemporalLayerEntry() se extiende a VisualSampleGroupEntry ('tlaw')
{
unsigned int(8) next_stsa_upswitching_distance; unsigned int(8) next_stsa_sample_distance;
}
Listado 3
En el Listado 3, next_stsa_upswitching_distance puede indicar el número de muestras de la capa temporal con 40 temporaljd (tId) igual a tId+1, después de lo cual se producirá una muestra STSA en la capa temporal con
5
10
15
20
25
30
35
40
45
temporaljd igual a tId+1. Dicho de otro modo, next_stsa_upswitching_distance puede proporcionar la capacidad de saber cuándo se producirá un punto de conmutación ascendente de capa temporal siguiente (es decir, muestra de STSA para un ID temporal superior) en la capa temporal superior. Lo anterior puede ser ventajoso para determinar una tasa de trama deseada en una manera escalonada y para la conmutación ascendente temporal.
En algunas configuraciones, los valores next_stsa_upswitching_distance pueden indicarse, de modo similar, para todas las capas temporales superiores con un temporaljd mayor que tId (es decir, el ID temporal de la capa temporal actual). Además, en algunos casos, tal como aquí se utiliza, una capa temporal puede denominarse, en cambio, como una subcapa temporal.
next_stsa_point_distance puede indicar el número de muestras de la capa temporal con temporaljd igual a tId (es decir, temporaljd de esta muestra) después de lo cual se producirá nuevamente una muestra de acceso a una subcapa temporal de forma escalonada (STSA) en la capa temporal actual con un temporaljd igual a tId. En otras palabras, next_stsa_point_distance puede proporcionar la capacidad de saber cuándo se producirá un punto de conmutación de capa temporal siguiente en la misma capa temporal. Lo que antecede puede resultar ventajoso para determinar cuándo conmutar, de forma adaptativa, a una nueva capa temporal. Conviene señalar que, aunque la descripción anterior utiliza un grupo de tipos de 'tlaw', se podría utilizar algún otro nombre para indicar, en su lugar, la misma finalidad. A modo de ejemplo, se pueden utilizar 'tsaw' o 'abcd' o 'zhgf.
En otra configuración, una pista de vídeo HEVC (es decir, flujo de vídeo) puede incluir cero o una instancia operativa de una Caja de Muestra para Grupo con un tipo de agrupamiento grouping_type 'tlas'. Este ejemplo de Caja de Muestra para Grupo puede representar el marcado de muestras como puntos de acceso de capa temporal (o puntos de acceso a una subcapa temporal). Puede estar presente una instancia operativa adjunta de la Caja de Descripción de Grupo de Muestras con el mismo tipo de agrupamiento. La Tabla 4 siguiente muestra un ejemplo de una entrada de grupo de muestra de capa temporal.
Tabla 4
- Entrada de Grupo de Muestra de Capa Temporal
- Tipos de grupo:
- 'tlas'
- Contenedor:
- Caja de Descripción de Grupo de Muestras ('sgpd')
- Obligatorio:
- No
- Cantidad:
- Cero o más
En la Tabla 4, el grupo de muestra se utiliza para marcar muestras de acceso a una subcapa temporal (TSA) y de acceso a una subcapa temporal de forma escalonada (STSA). El Listado 4 proporciona la sintaxis que se puede utilizar en relación con la entrada de grupo de muestra de capa temporal, que se ilustra en la Tabla 4.
Sintaxis
clase TemporalLayerEntry() se extiende a VisualSampleGroupEntry ('tlas')
{
unsigned int(1) typeTSAFlag;
}
Listado 4
En el Listado 4, el valor typeTSAFlag igual a 1 puede indicar que el grupo de muestra es una muestra TSA de acceso a una subcapa temporal. En caso contrario, typeTSAFlag igual a 0 puede indicar que el grupo de muestra es una muestra STSA de acceso a una subcapa temporal de forma escalonada. Como alternativa, alguna otra marca o indicador, con valores predefinidos para distinguir entre muestras TSA y STSA se puede señalar en relación con la entrada de grupo de muestra de capa temporal.
Volviendo a la Figura 1, los datos codificados se pueden incluir en un flujo binario 110. El codificador 104 puede generar señalización de sobrecarga en base a la imagen de entrada 106. Conviene señalar que el módulo de agrupamiento de muestra STSA 108 puede estar incluido dentro del codificador 104, en algunas configuraciones.
En algunas configuraciones, el módulo de agrupamiento de muestra STSA 108 puede enviar o, de cualquier otro modo, compartir el agrupamiento de muestra STSA con uno o más dispositivos electrónicos 102. En un ejemplo, el dispositivo electrónico A 102a puede enviar uno o más agrupamientos de muestras STSA al dispositivo electrónico B
5
10
15
20
25
30
35
40
45
50
55
60
65
102b. El agrupamiento de muestra STSA puede enviarse en un formato de fichero multimedia de base ISO. Una ventaja de la generación de un agrupamiento de muestra STSA, en un formato de fichero multimedia de base ISO, puede incluir el marcado distintivo y/o etiquetado de muestras de STSA como pertenecientes a un agrupamiento de muestra particular.
El codificador 104 (y el módulo de agrupamiento de muestra STSA 108, a modo de ejemplo) pueden producir un flujo binario 110. El flujo binario 110 puede incluir datos codificados basados en la imagen de entrada 106. En un ejemplo, el flujo binario 110 puede incluir datos de imagen codificados basados en la imagen de entrada 106.
En algunas configuraciones, el codificador 104 puede incluir un generador de fichero 153. Los datos codificados se pueden memorizar y transmitirse como un fichero 151. A modo de ejemplo, el generador de fichero 153 puede memorizar el flujo binario 110 en un formato de fichero, tal como el formato de fichero multimedia de base ISO. En consecuencia, la información incluida en el flujo binario 110, tal como se describe en el presente documento, puede memorizarse y situarse en un fichero 151.
En algunas configuraciones, el flujo binario 110 puede incluir, además, datos de sobrecarga, tales como información de cabecera de segmento, información PPS, información SPS, información APS, información VPS, etc. El flujo binario 110 puede incluir, además, otros datos, algunos ejemplos de los cuales se describen aquí. Como imágenes de entrada adicionales 106 están codificadas, el flujo binario 110 puede incluir uno o más agrupamientos de muestra STSA. De forma adicional o como alternativa, el flujo binario 110 puede incluir otros datos codificados.
El flujo binario 110 y/o el fichero 151, que incluyen la información de flujo binario, se pueden proporcionar a un decodificador 112. En un ejemplo, el flujo binario 110 se puede transmitir al dispositivo electrónico B 102b utilizando un enlace cableado o inalámbrico. En algunos casos, lo anterior puede hacerse a través de una red, tal como la red Internet, Red de Área Local (LAN) u otro tipo de red para la comunicación entre dispositivos.
El fichero 151 se puede transmitir, de modo similar, al dispositivo electrónico 102b. Además, el fichero 151 puede proporcionarse al dispositivo electrónico 102b de varias maneras. A modo de ejemplo, el fichero 151 puede estar siendo copiado desde un servidor, enviado por correo a un soporte de memorización, transmitido electrónicamente, enviado en un mensaje, etc.
Tal como se ilustra en la Figura 1, el decodificador 112 puede ponerse en práctica en el dispositivo electrónico B 102b por separado del codificador 104, en el dispositivo electrónico A 102a. Conviene señalar que, en algunas configuraciones, el codificador 104 y el decodificador 112 pueden ponerse en práctica en el mismo dispositivo electrónico. A modo de ejemplo, el decodificador 112 puede ser un decodificador de referencia hipotético (hRd). En una forma de realización en la que el codificador 104 y el decodificador 112 se ponen en práctica en el mismo dispositivo electrónico, a modo de ejemplo, el flujo binario 110 puede estar disponible para el decodificador en una variedad de formas. Por ejemplo, el flujo binario 110 se puede proporcionar a través de un bus al decodificador 112, o almacenarse en la memoria para su recuperación por el decodificador 112. El decodificador 112 puede realizarse en hardware, software o una combinación de ambos. En una configuración, el decodificador 112 puede ser un decodificador HEVC.
En alguna configuración, el decodificador 112 puede incluir un analizador sintáctico de fichero 155. A modo de ejemplo, el analizador sintáctico de ficheros 155 puede ser un analizador sintáctico de formato de fichero multimedia de base ISO. El analizador sintáctico de ficheros 155 puede recibir el fichero 151 y obtener los datos del fichero. Una vez que se obtienen los datos del fichero, el decodificador 112 puede procesar los datos del mismo modo que los datos del flujo binario recibidos, que se describen a continuación.
Tal como se ilustra en la Figura 1, el módulo de recepción de agrupamiento de muestra STSA 120, y el analizador sintáctico de ficheros 155, pueden ser parte del decodificador 112. En algunas configuraciones, el módulo de recepción de agrupamiento de muestra STSA 120, y el analizador sintáctico de ficheros 155, pueden estar separados del decodificador 112. A modo de ejemplo, el módulo de recepción de agrupamiento de muestra STSA 120 y/o el analizador sintáctico de ficheros 155 pueden estar situados en dispositivos electrónicos separados 102 del decodificador 112.
El decodificador 112 puede obtener (p.ej., recibir) el flujo binario 110 y/o un fichero 151. El decodificador 112 puede generar una o más imágenes decodificadas 114 sobre la base del flujo binario 110 y/o el fichero 151.
Una imagen decodificada 114 puede incluir una o más imágenes decodificadas y puede visualizarse, reproducirse y memorizarse en la memoria y/o transmitirse a otro dispositivo, etc. El decodificador 112 puede incluir un módulo de recepción de agrupamiento de muestra STSA 120. El módulo de recepción de agrupamiento de muestra STSA 120 puede permitir que el dispositivo electrónico B 102b obtenga un agrupamiento de muestra STSA desde el flujo binario 110. Las muestras STSA, en el agrupamiento de muestra, pueden servir de ayuda al decodificador 112 en la decodificación de una imagen decodificada 114. Una muestra STSA puede incluir un conjunto de unidades NAL, que son consecutivas en orden de decodificación, que se utilizan para la decodificación de la imagen codificada 114.
5
10
15
20
25
30
35
40
45
50
55
60
65
El dispositivo electrónico B 102b puede realizar, además, una o más operaciones en el flujo binario 110 y/o el fichero 151. En un ejemplo, una operación o proceso realizado en el flujo binario 110 y/o el fichero 151 puede estar basado en si un agolpamiento de muestra sTsA está presente, o no lo está. En algunas configuraciones, el decodificador 112, u otro elemento en el dispositivo electrónico B 102b, puede realizar la operación en el flujo binario 110 y/o el fichero 151. De forma adicional, se pueden realizar, además, otras operaciones en el flujo binario 110 y/o el fichero 151.
En algunas configuraciones, el dispositivo electrónico B 102b puede proporcionar, a la salida, una imagen decodificada 114. En un ejemplo, la imagen decodificada 114 se puede transmitir a otro dispositivo o volver al dispositivo electrónico A 102a. En una configuración, la imagen decodificada 114 puede memorizarse o, de otro modo, mantenerse, en el dispositivo electrónico B 102b. En otra configuración, el dispositivo electrónico B 102b puede visualizar la imagen decodificada 114. En otra configuración adicional, la imagen decodificada 114 puede incluir elementos de la imagen de entrada 106 con propiedades diferentes basadas en la codificación y otras operaciones realizadas en el flujo binario 110. En algunas configuraciones, la imagen decodificada 114 se puede incluir en una imagen y/o flujo de muestra con una resolución, formato, especificaciones u otro atributo diferente de la imagen de entrada 106.
Ha de entenderse que uno o más de los elementos, o partes de los mismos, que se incluyen en los dispositivos electrónicos 102, pueden realizarse en hardware. A modo de ejemplo, uno o más de estos elementos, o partes de los mismos, pueden ponerse en práctica como un circuito integrado, circuitos analógicos o componentes de hardware, etc. Debe observarse, además, que una o más de las funciones o métodos aquí descritos pueden ponerse en práctica y/o ejecutarse utilizando hardware. A modo de ejemplo, uno o más de los métodos descritos en este documento pueden ponerse en práctica y/o realizarse utilizando un conjunto de circuitos, un circuito integrado específico de la aplicación (ASIC), un circuito integrado a gran escala (LSI) o circuito integrado, etc.
La Figura 2 es un diagrama de bloques que ilustra dos ejemplos de una estructura de codificación. El ejemplo A 230a ilustra una estructura de codificación cuando se utiliza una imagen de acceso a una subcapa temporal (TSA). En algunos casos, la imagen de acceso de capa temporal se puede denominar imagen de acceso a una subcapa temporal (TSA). El ejemplo B 230b ilustra una estructura de codificación cuando se utilizan una o más imágenes de acceso a una subcapa temporal de forma escalonada (STSA) 229a-b.
El acceso horizontal en el ejemplo A 230a representa el orden de salida 222a de imágenes en una estructura de codificación. El orden de salida se puede iniciar en cero y contar en sentido ascendente (p.ej., de izquierda a derecha) y puede identificar imágenes correspondientes en la estructura del código. A modo de ejemplo, la realización y ejemplo A 230a tiene un orden de salida 222a de 0-16 que corresponde a las imágenes 0-16, respectivamente.
En el ejemplo A 230a, el acceso vertical representa las capas temporales 218 (p.ej., subcapas o subcapas temporales). Cada capa temporal 218a-n puede incluir una o más imágenes. Cada imagen, en la misma capa temporal 218, puede tener el mismo identificador temporal. A modo de ejemplo, todas las imágenes en la capa temporal A 218a pueden tener un temporaljd igual a cero, todas las imágenes en la capa temporal B 218b pueden tener un temporaljd igual a uno, todas las imágenes en la capa temporal C 218c pueden tener un temporaljd igual a dos, todas las imágenes en la capa temporal N 218n puede tener un temporaljd igual a N-1, etc.
Tal como se ilustra en el ejemplo A 230a, puede existir un número de capas temporales 218a-n. A modo de ejemplo, puede haber dos, tres, cuatro, ocho, dieciséis, etc. capas temporales 218. En el caso de la especificación de base HEVC, puede haber hasta 8 capas temporales. Cada capa temporal 218 puede incluir un número diferente de imágenes. En algunas configuraciones, las capas temporales 218 están organizadas en una forma jerárquica. Cada capa temporal superior 218, por encima de la capa base (p.ej., capa temporal A 218a), puede incluir más imágenes que las capas temporales inferiores precedentes 218. A modo de ejemplo, la capa temporal N 218n puede incluir el doble de imágenes que la capa temporal C 218c, y la capa temporal C 218c puede incluir el doble de imágenes que la capa temporal B 218b. Las capas temporales más altas 218, con un mayor número de imágenes, pueden proporcionar mayores tasas de trama para las imágenes decodificadas 114. En consecuencia, se puede decodificar un mayor número de imágenes en una capa temporal más alta 218.
Cada capa temporal 218 puede tener una diversidad de tipos de imagen, tipos de segmento y tipos de agrupamiento de muestra. A modo de ejemplo, la capa temporal A 218a puede tener una imagen con un segmento de intra- predicción (segmentación en I) y una imagen con un segmento predictivo (segmentación en P). La capa temporal C 218c puede tener imágenes con segmentos bi-predictivos (segmentación en B). La capa temporal B 218b puede tener imágenes con segmentos en P e imágenes con segmentos en B.
En el ejemplo A 230a, se muestra una imagen TSA 228. A modo de ejemplo, la imagen TSA 228 puede ser la 12a imagen en el orden de salida 222a. Una imagen TSA puede ser una imagen de Acceso Aleatorio Limpio (CRA) y/o un punto de conmutación de capa temporal.
El dispositivo electrónico 102 puede utilizar una funcionalidad de conmutación de capa temporal, que se indica por
5
10
15
20
25
30
35
40
45
50
55
60
65
una imagen TSA 228 para la conmutación entre las capas temporales 218. A modo de ejemplo, el dispositivo electrónico 102 puede utilizar un punto de conmutación de capa temporal para indicar un cambio entre la capa temporal A 218a y la capa temporal B 218b o cualquier capa temporal por encima de la capa temporal B (es decir, la capa temporal C, ..., capa temporal N). De este modo, el dispositivo electrónico 102 puede iniciar la decodificación de cualquier capa temporal superior en la imagen TSA 228.
El ejemplo B 230b ilustra una estructura de codificación cuando se utilizan una o más imágenes de acceso a una subcapa temporal de forma escalonada (STSA) 229a-b. Las imágenes STSA 229a-b pueden estar escalonadas entre las capas temporales 219. Dicho de otro modo, las imágenes STSA 229a-b pueden estar situadas en diferentes capas temporales. A modo de ejemplo, la imagen STSA 229a puede estar en la capa temporal B 219b, y la imagen STSA 229b puede estar en la capa temporal C 219c. En el ejemplo B 230b de la Figura 2, STSA 229a y STSA 229b se muestran en el orden de salida 222 como imágenes 4 y 10, respectivamente.
Una imagen STSA 229 puede ser una imagen que está asociada con un grupo de muestra STSA. A modo de ejemplo, la imagen STSA 229 puede ser una imagen codificada asociada con un conjunto de unidades NAL que son consecutivas en orden de decodificación.
El ejemplo B 230b incluye capas temporales 219a-n y un orden de salida 222b similar para capas temporales correspondientes 218a-n, y el orden de salida 222a descrito en relación con el ejemplo A 230a de la Figura 2. El Ejemplo B 230b puede tener imágenes proporcionadas, a la salida, en un orden de salida 222b de 0-16, a modo de ejemplo.
Cada capa temporal 219a-n puede incluir una o más imágenes. Cada imagen, en la misma capa temporal 219, puede tener el mismo identificador temporal. A modo de ejemplo, todas las imágenes en la capa temporal B 219b pueden tener el mismo temporaljd. Las capas temporales 219a-n pueden organizarse de forma jerárquica con cada capa temporal superior 219, por encima de la capa base (p.ej., capa temporal A 219a), teniendo más imágenes que las capas temporales inferiores 219. Por ejemplo, la capa temporal N 219n puede tiene ocho imágenes, mientras que la capa temporal B 218b puede tener dos imágenes. Capas temporales más altas 219 con un mayor número de imágenes, pueden proporcionar tasas de trama más altas para imágenes decodificadas.
En el ejemplo B 230b, se muestran imágenes STSA 229a-b. A modo de ejemplo, la imagen STSA 229a puede ser la 4a imagen en el orden de salida 222b. Una estructura codificada de imagen STSA, con un agrupamiento de muestra STSA, puede proporcionar marcas claras y/o etiquetado de muestras STSA para indicar su pertenencia al agrupamiento de muestra STSA. A modo de ejemplo, la imagen STSA 229 puede indicar cuándo se producirá un punto de conmutación de la capa temporal siguiente en la misma capa temporal (p.ej., la capa temporal B 219b). Lo que antecede puede ser beneficioso para determinar cuándo conmutar, de forma adaptativa, a una nueva capa temporal.
Mientras decodifica imágenes de la capa temporal A 219a y la capa temporal B 219b, el dispositivo electrónico 102 puede recibir una indicación de una imagen STSA 229b. La imagen STSA 229b puede indicar un punto de conmutación de subcapa temporal de forma escalonada al dispositivo electrónico 102. En este punto, el dispositivo electrónico 102 puede comenzar a recibir imágenes de la capa temporal C 219c (o dejar de descartar las imágenes de la capa temporal C 219c) y puede iniciar la decodificación de las imágenes de la capa temporal A 219a, la capa temporal B 219b y la capa temporal C 219c. De este modo, el dispositivo electrónico 102 puede determinar cuándo conmutar, de forma adaptativa, a una nueva capa temporal 219 cuando el dispositivo electrónico 102 recibe la imagen STSA 229b.
Además, la imagen STSA 229 puede indicar cuándo se producirá un punto de conmutación ascendente de la capa temporal siguiente (es decir, muestra STSA para un ID temporal más alto, tal como la capa temporal C 219c) en la capa temporal superior. Lo que antecede puede ser ventajoso para permitir la selección de la tasa de trama deseada en una manera escalonada y para la conmutación ascendente temporal.
A modo de ejemplo, la utilización de imágenes STSA 229, entre múltiples capas temporales 219, permite la selección de las tramas deseadas en una manera escalonada. A modo de ejemplo, una tasa de trama completa se puede representar con "F" Hertz (Hz). En este ejemplo, todas las capas temporales 219a-n se utilizan, y cada capa temporal 219a-n puede representar una tasa de trama diferente. La capa temporal A 219a, la capa temporal B 219b, la capa temporal C 219c y la capa temporal N 219n pueden tener IDs temporales de 0, 1,2 y 3, respectivamente. Una tasa de trama completa utiliza todas las capas temporales 219. Dicho de otro modo, la tasa de trama completa, F Hz, utiliza todas las imágenes que tienen un temporaljd igual a 0, 1, 2 o 3. A modo de ejemplo, lo anterior puede incluir las 16 imágenes que se ilustran en el ejemplo B 230b.
Sin embargo, en algunos casos, se puede utilizar un sub-flujo (es decir, un subconjunto de tramas o inferior a la tasa de trama completa). A modo de ejemplo, un sub-flujo que utiliza solamente los valores temporales temporaljds 0, 1 y 2 puede utilizar la mitad de la tasa de trama completa, que se representa por F/2 Hz. A modo de ejemplo, esto puede incluir la totalidad de las imágenes en la capa temporal A 219a, a través de la capa temporal C 219c, que se ilustran en el ejemplo B 230b, u 8 imágenes.
5
10
15
20
25
30
35
40
45
50
55
60
65
Un sub-flujo que utiliza solamente los valores temporaljds 0 y 1 puede utilizar una cuarta parte de la tasa de trama completa, representada por F/4 Hz. A modo de ejemplo, lo que antecede puede incluir todas las imágenes en la capa temporal A 219a, a través de la capa temporal B 219b, que se muestra en el ejemplo B 230b, o 4 imágenes.
Un sub-flujo que utiliza solamente el valor el temporaljd 0 puede utilizar una octava parte de la tasa de trama completa, representada por F/8 Hz. A modo de ejemplo, esto puede incluir solamente imágenes en la capa temporal A 219a, que se ilustra en el ejemplo B 230b, o 2 imágenes.
En algunas configuraciones, el ancho de banda disponible puede determinar si se puede transmitir la tasa de trama completa (p.ej., F Hz), o una tasa de trama parcial (p.ej., F/2 Hz, F/4 Hz, F/8 Hz) por un dispositivo electrónico 102. En consecuencia, cada capa temporal 219a-n y el correspondiente identificador temporal se pueden transmitir, por separado, como su propio grupo de multidifusión.
En algunas configuraciones, la tasa de trama más baja (p.ej., F/8 Hz) se transmite primero como un grupo de multidifusión. Además, las tasas de trama más altas (p.ej., F/4 Hz, F/2 Hz y F Hz) pueden transmitirse como grupos de multidifusión adicionales, respectivamente. A modo de ejemplo, un dispositivo electrónico 102 puede iniciar la recepción de un flujo binario 110 que incluye un sub-flujo de grupo de multidifusión (F/8 Hz) con solamente imágenes de capa temporal A 219a (p.ej., temporaljd = 0). A continuación, el flujo binario 110 puede comenzar a incluir, adicionalmente, un sub-flujo de grupo de multidifusión (F/4 Hz) con imágenes de la capa temporal A 219a y la capa temporal B 219b (p.ej., temporal_ids = 1 y 2). Sin embargo, el dispositivo electrónico 102 no puede iniciar, de forma inmediata, la decodificación de las imágenes de la capa temporal B 219b. Por el contrario, el dispositivo electrónico 102 debe rechazar las imágenes de la capa temporal B 219b.
Mientras recibe imágenes de la capa temporal A 219a y la capa temporal B 219b, el dispositivo electrónico 102 puede recibir una indicación de una imagen STSA 229a. A modo de ejemplo, la indicación puede ser un tipo de unidad NAL o una indicación de agrupamiento de muestra STSA, que indica una imagen STSA 229a. La imagen STSA 229a puede indicar un punto de conmutación de subcapa temporal de forma escalonada al dispositivo electrónico 102. En este punto operativo, el dispositivo electrónico 102 puede iniciar la decodificación tanto de la capa temporal A 219a como de la capa temporal B 219b.
El dispositivo electrónico 102 puede seguir recibiendo imágenes desde capas temporales adicionales 219, tales como imágenes en la capa temporal C 219c y la capa temporal N 219n. Junto con las capas temporales adicionales 219, el dispositivo electrónico 102 puede recibir imágenes STSA adicionales 229, tales como la imagen STSA 229b, con el fin de indicar puntos de conmutación de subcapa temporal adicional escalonada. Por lo tanto, el dispositivo electrónico 102 puede conmutar a una tasa de trama completa, F Hz, utilizando imágenes STSA 229 como puntos de conmutación de subcapa temporal de forma escalonada. En consecuencia, de este modo, imágenes STSA 229 permiten la selección de tasas de trama deseadas en una manera escalonada.
La Figura 3 es un diagrama de bloques que ilustra una configuración de un codificador 304 y un módulo de agrupamiento de muestra STSA 308 en un dispositivo electrónico 302. El dispositivo electrónico 302 puede ser un ejemplo del dispositivo electrónico 102, descrito en relación con la Figura 1 anterior. A modo de ejemplo, el dispositivo electrónico 302 y el codificador 304 pueden corresponder al dispositivo electrónico A 102a, y el codificador 104, de la Figura 1. Tal como se ilustra en la Figura 3, el módulo de agrupamiento de muestra STSA 308 puede estar separado del codificador 304. En otras configuraciones, el módulo de agrupamiento de muestra STSA 308 puede ser parte del codificador 304.
Uno o más de los elementos ilustrados como incluidos dentro del dispositivo electrónico 302, pueden ponerse en práctica en hardware, software o una combinación de ambos. El dispositivo electrónico 302 puede incluir el codificador 304, que puede ponerse en práctica en hardware, software o una combinación de ambos. El codificador 304 puede realizarse como un circuito, circuito integrado, circuito integrado específico de la aplicación (ASIC), procesador en comunicación electrónica con memoria con instrucciones ejecutables, firmware, matriz de puerta programable in situ (FPGA), etc., o una combinación de los mismos. En algunas configuraciones, el codificador 304 puede ser un codificador HEVC. El codificador 304 puede realizar la codificación sobre la base del formato de fichero multimedia de base ISO.
El dispositivo electrónico 302 puede incluir una fuente 334. La fuente 334 puede proporcionar una imagen o datos de imagen (p.ej., vídeo) como una imagen de entrada 306 al codificador 304. Ejemplos de la fuente 334 pueden incluir sensores de imagen, memoria, interfaces de comunicación, interfaces de red, receptores inalámbricos, puertos, etc.
Se pueden proporcionar una o más imágenes de entrada 306 a un módulo de predicción intra-trama y memoria intermedia de reconstrucción 340. Se puede proporcionar, además, una imagen de entrada 306 a un módulo de estimación de movimiento y compensación de movimiento 366 y a un módulo de sustracción 346.
El módulo de predicción intra-trama y la memoria intermedia de reconstrucción 340 pueden generar información en modo intra 358 y una señal Intra 342 basada en una o más imágenes de entrada 306 y datos reconstruidos 380. El
5
10
15
20
25
30
35
40
45
50
55
60
65
módulo de estimación de movimiento y compensación de movimiento 366 puede generar información intermodal 368 y una señal Inter 344 sobre la base de una o más imágenes de entrada 306 y una memoria intermedia de imagen de referencia 396 de señal de salida de memoria intermedia de imagen de referencia 398. En algunas configuraciones, la memoria intermedia de imagen de referencia 396 puede incluir datos procedentes de una o más imágenes de referencia en la memoria intermedia de imagen de referencia 396.
El codificador 304 puede seleccionar entre la señal Intra 342 y la señal Inter 344 de conformidad con un modo operativo. La señal Intra 342 se puede utilizar con el fin de explotar características espaciales dentro de una imagen en un modo de intra-codificación. La señal Inter 344 se puede utilizar para explotar características temporales entre imágenes en un modo de inter-codificación. Mientras está en el modo de intra-codificación, la señal Intra 342 se puede proporcionar al módulo de sustracción 346, y la información de modo intra 358 se puede proporcionar a un módulo de codificación entrópica 360. Mientras está en el modo de inter-codificación, la señal Inter 344 se puede proporcionar al módulo de sustracción 346 y la información intermodal 368 puede proporcionarse al módulo de codificación entrópica 360.
Se realiza la sustracción de la señal Intra 342 o la señal Inter 344 (dependiendo del modo operativo) desde una imagen de entrada 306, en el módulo de sustracción 346, con el fin de producir un residuo de predicción 348. El residuo de predicción 348 se proporciona a un módulo de transformación 350. El módulo de transformación 350 puede comprimir el residuo de predicción 348 para producir una señal transformada 352 que se proporciona a un módulo de cuantización 354. El módulo de cuantización 354 cuantifica la señal transformada 352 para producir coeficientes transformados y cuantizados (TQCs) 356.
Los TQCs 356 se proporcionan a un módulo de codificación entrópica 360 y a un módulo de cuantización inversa 370. El módulo de cuantización inversa 370 realiza una cuantización inversa en los TQCs 356 para producir una señal cuantificada inversa 372, que se proporciona a un módulo de transformación inversa 374. El módulo de transformación inversa 374 descomprime la señal cuantificada inversa 372 para producir una señal descomprimida 376 que se proporciona a un módulo de reconstrucción 378.
El módulo de reconstrucción 378 puede producir datos reconstruidos 380 sobre la base de la señal descomprimida 376. A modo de ejemplo, el módulo de reconstrucción 378 puede reconstruir (modificar) imágenes. Los datos reconstruidos 380 se pueden proporcionar a un filtro de desbloqueo 382, y al módulo de predicción intra y la memoria intermedia de reconstrucción 340. El filtro de desbloqueo 382 puede producir una señal filtrada 384 en base a los datos reconstruidos 380.
La señal filtrada 384 se puede proporcionar a un módulo de desplazamiento adaptativo de muestra (SAO) 386. El módulo SAO 386 puede producir información SAO 388 que se proporciona al módulo de codificación entrópica 360, y una señal SAO 390, que se proporciona a un filtro de bucle adaptativo (ALF) 392. El ALF 392 genera una señal ALF 394 que se proporciona a la memoria intermedia de imagen de referencia 396. La señal de ALF 394 puede incluir datos procedentes de una o más imágenes que se pueden utilizar como imágenes de referencia.
El módulo de codificación entrópica 360 puede codificar los TQCs 356 y proporcionarlos, a la salida, a un módulo de unidad NAL para producir un flujo binario A 310a u otra señal. Además, el módulo de codificación entrópica 360 puede codificar los TQCs 356 utilizando la Codificación de Longitud Variable Adaptable al Contexto (CAVLC) o la Codificación Aritmética Binaria Adaptable al Contexto (CABAC). En particular, el módulo de codificación entrópica 360 puede codificar los TQCs 356 sobre la base de una o más de la información de modo intra 358, información de modo inter 368 e información de SAO 388.
En algunas configuraciones, el módulo de unidad NAL 324 puede generar un conjunto de unidades NAL. A modo de ejemplo, las unidades NAL se pueden utilizar para decodificar una imagen codificada, tal como una imagen STSA. Por ejemplo, el módulo de unidad NAL 324 puede asociar unidades NAL con valores de tipo de 5 y/o 6 (tal como se ilustra en la Tabla 1 anterior) con una imagen STSA 329.
En algunas configuraciones, el flujo binario A 310a puede incluir datos de imagen codificada. En un ejemplo, el flujo binario A 310a se pasa a un módulo de agrupamiento de muestra STSA 308 antes de ser enviado, desde el dispositivo electrónico 302, o a otro dispositivo electrónico 102, como flujo binario B 110b.
La cuantización, implicada en la compresión de vídeo tal como HEVC, es una técnica de compresión con pérdida, que se consigue mediante la compresión de un margen de valores a un único valor cuántico. El parámetro de cuantización (QP) es un parámetro de escala predefinido, utilizado para realizar la cuantización en función, a la vez, de la calidad del vídeo reconstruido y la tasa de compresión. El tipo de bloque se define en HEVC para representar las características de un bloque dado, en función del tamaño del bloque y su información de color. Se pueden determinar el QP, información de resolución y tipo de bloque antes de la codificación entrópica. A modo de ejemplo, el dispositivo electrónico 302 (p.ej., el codificador 304) puede determinar el QP, la información de resolución y el tipo de bloque, que pueden proporcionarse al módulo de codificación entrópica 360.
El módulo de codificación entrópica 360 puede determinar el tamaño de bloque sobre la base de un bloque de TQCs
5
10
15
20
25
30
35
40
45
50
55
60
65
356. A modo de ejemplo, el tamaño de bloque puede ser el número de TQCs 356 a lo largo de una dimensión del bloque de TQCs. Dicho de otro modo, el número de TQCs 356, en el bloque de TQCs, puede ser igual al tamaño de bloque al cuadrado. A modo de ejemplo, el tamaño de bloque se puede determinar como la raíz cuadrada del número de TQCs 356 en el bloque de TQCs. La resolución se puede definir como un ancho de píxel por una altura de píxel. La información de resolución puede incluir un número de píxeles para el ancho de una imagen, para la altura de una imagen, o ambas. El tamaño del bloque se puede definir como el número de TQCs 356 a lo largo de una dimensión de un bloque 2D de TQCs.
En algunas configuraciones, se incluye un módulo de agrupamiento de muestra STSA 308 en el dispositivo electrónico 302. El módulo de agrupamiento de muestra STSA 308 puede proporcionar un mecanismo de estructuración y agrupamiento para indicar la identificación de unidades de acceso como muestras STSA.
El módulo de unidad NAL 324 puede enviar un flujo binario A 310a u otra señal, que incluyen una o más imágenes, al módulo de agrupamiento de muestra STSA 308. El módulo de agrupamiento de muestra STSA 308 puede procesar un agrupamiento de muestra STSA 330 junto con una imagen STSA 329 correspondiente. En este caso, el módulo de predicción intra-trama y la memoria intermedia de reconstrucción 340, el módulo de transformación 350, el módulo de cuantización 354, el módulo de codificación entrópica 360 y el módulo de estimación de movimiento y compensación de movimiento 366 han codificado la imagen STSA 329, de modo que el conjunto de unidades NAL, que son consecutivas en orden de decodificación, están asociadas con la imagen STSA 329 en el agrupamiento de muestra STSA 330.
En algunas configuraciones, el módulo de agrupamiento de muestra STSA 308 puede generar un conjunto de tipos de unidad NAL, en relación con una imagen de entrada codificada 306. La imagen de entrada codificada 306 puede ser una imagen STSA codificada 329.
Además, el módulo de agrupamiento de muestra STSA 308 puede modificar o crear un conjunto de tipos de unidad NAL con el fin de enviar con un flujo binario B 310b o fichero (no ilustrado), que pueden memorizarse en el dispositivo electrónico 302, o enviarse a otro dispositivo electrónico dispositivo 102. Un agrupamiento de muestra STSA 330 puede incluir, además, una o más muestras. Las muestras pueden ser muestras STSA. Cada muestra STSA, en el agrupamiento de muestra STSA 330, puede incluir una imagen STSA 329 correspondiente.
De este modo, se puede proporcionar una marca clara y/o etiquetado de una muestra STSA al otro dispositivo electrónico 102. Además, el agrupamiento de muestra STSA 330 puede posibilitar la fácil identificación de los puntos de conmutación de capa temporal en las muestras.
El módulo de agrupamiento de muestra STSA 308 puede incluir, además, una diversidad de módulos o sub-módulos para generar uno o más agrupamientos de muestra STSA 330, asociados con una imagen de entrada 306. A modo de ejemplo, el módulo de agrupamiento de muestra STSA 308 puede incluir un módulo de formato de fichero multimedia de base ISO 326 u otros módulos para generar una imagen STSA 329 y/o con un agrupamiento de muestra STSA 330 asociado con una imagen de entrada 306.
El módulo de formato de fichero multimedia de base ISO 326 puede ayudar al módulo de agrupamiento de muestra STSA 308 a estructurar agrupamientos de muestra STSA 330. El módulo de formato de fichero multimedia de base ISO 326 puede proporcionar otros módulos con información de formato de fichero multimedia de base ISO. A modo de ejemplo, el módulo de formato de fichero multimedia de base ISO 326 puede proporcionar un formateo de fichero multimedia de base ISO al módulo 324 de la unidad NAL.
A modo de otro ejemplo, el módulo de formato de fichero multimedia de base ISO 326 puede proporcionar el formateo de fichero multimedia de base ISO a varios módulos en el codificador 304, con el fin de permitir que el formateo de fichero multimedia de base ISO se extienda a la codificación HEVC. De este modo, el codificador 304 puede señalizar muestras HEVC STSA utilizando el formateo de fichero multimedia de base ISO.
En algunas configuraciones, el flujo binario B 310b o fichero (no ilustrado) puede transmitirse a otro dispositivo electrónico 102. A modo de ejemplo, el flujo binario B 310b, o el fichero 351, se pueden proporcionar a una interfaz de comunicación, interfaz de red, transmisor inalámbrico, puerto etc. Por ejemplo, el flujo binario B 310b, o el fichero 351, puede transmitirse a otro dispositivo electrónico 102 a través de la red lAn, red Internet, una estación base de telefonía móvil, etc. El flujo binario B 310b, o el fichero 351, se pueden memorizar, de forma adicional o como alternativa, en la memoria u otros componentes en el dispositivo electrónico 302.
La Figura 4 es un diagrama de flujo que ilustra una configuración de un método 400 para señalizar un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). Un dispositivo electrónico 302 puede codificar 402 un agrupamiento de muestra STSA 330. El agrupamiento de muestra STSA 330 puede corresponder a una imagen de entrada 306, o a una de entre un flujo de imágenes de entrada 306, que se obtienen por un dispositivo electrónico 302.
La codificación 402 del agrupamiento de muestra STSA 330 puede incluir la representación de una imagen de
5
10
15
20
25
30
35
40
45
50
55
60
65
entrada 306 como datos digitales. A modo de ejemplo, la codificación 402 del agolpamiento de muestra STSA 330 puede incluir la generación de una cadena de bits que represente características (p.ej., color, luminancia, ubicación espacial, etc.) de una imagen de entrada 306. En algunos casos, se puede codificar una imagen de entrada 306 como una imagen STSA 329. Se pueden incluir una o más imágenes STSA codificadas 329 y/o agolpamientos de muestra 330 en el flujo binario 310, y se pueden enviar a otro dispositivo electrónico 102, que incluye un decodificador 112.
El dispositivo electrónico 302 puede enviar 404 el agrupamiento de muestra STSA 330. El envío 404 del agrupamiento de muestra STSA 330 puede incluir la transmisión de datos (p.ej., un flujo binario 310 o fichero 351) entre componentes de un dispositivo electrónico 102, o la transmisión de un flujo binario 310 o fichero 351, entre uno o más dispositivos electrónicos 102. En el caso de un fichero 351, los agrupamientos de muestra STSA se pueden memorizar en un fichero 351, y el fichero 351 se puede enviar 404 a un dispositivo electrónico 102.
En un ejemplo, un codificador 304, en el dispositivo electrónico 302, puede enviar un flujo binario 310 que incluye una o más imágenes STSA 329 y/o uno o más agrupamientos de muestra 330, a un dispositivo electrónico 102. En algunas configuraciones, el flujo binario 310 puede ser enviado a un decodificador 112 en el dispositivo electrónico B 102b. El agrupamiento de muestra STSA 330 se puede estructurar en un formato de fichero multimedia de base ISO y puede enviarse en un conjunto de transporte de unidades NAL, a modo de ejemplo.
La Figura 5 es un diagrama de flujo que ilustra una configuración más específica de un método 500 para señalizar un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). Un dispositivo electrónico 302 puede obtener 502 una imagen STSA 329. A modo de ejemplo, la imagen de entrada 306 puede ser una imagen STSa 329. El dispositivo electrónico 302 puede determinar 504 un conjunto de unidades NAL basadas en la imagen STSA 504.
El dispositivo electrónico 302 puede generar 506 un agrupamiento de muestra 330 que incluye el conjunto de unidades NAL y la imagen STSA correspondiente 329. Un dispositivo electrónico 302 puede codificar 508 un agrupamiento de muestra STSA 330 basada en (p.ej., utilizando) el formato de fichero multimedia de base ISO, en donde el formato de fichero multimedia de base ISO se ha extendido para soportar flujos de vídeo HEVC. A modo de ejemplo, el dispositivo electrónico 302 puede codificar una imagen de entrada 306 como una imagen STSA 329, que corresponde al agrupamiento de muestra STSA 330. El dispositivo electrónico 302 puede codificar 508 la imagen STSA 329, según se describió anteriormente en relación con la Figura 4.
En algunas configuraciones, el agrupamiento de muestra STSA 330 puede incluir, además, un indicador de tipo TSA. El indicador de tipo TSA puede indicar si una muestra, en el agrupamiento de muestra 330, es una muestra TSA o una muestra STSA. El indicador de tipo TSA puede ser typeTSAFlag. A modo de ejemplo, un typeTSAFlag igual a 1 puede indicar que un agrupamiento de muestra es una muestra TSA. Por el contrario, typeTSAFlag igual a 0 puede indicar que el agrupamiento de muestra es una muestra STSA.
La imagen STSA codificada y/o el agrupamiento de muestra STSA correspondiente 330 se pueden estructurar en un formato de fichero multimedia de base ISO. A modo de ejemplo, la Tabla 2 a la Tabla 4 proporcionan ejemplos de sintaxis de formato de fichero multimedia de base ISO que se pueden utilizar para estructurar agrupamientos de muestras STSA 330 en formato de fichero multimedia de base iSo, utilizando una caja de descripción de grupo de muestra (SGPD). A modo de ejemplo, la Tabla 3 muestra un ejemplo de una entrada de grupo de muestra de subcapa temporal de forma escalonada. En la Tabla 3, se puede utilizar un grupo de muestra para marcar muestras STSA.
En algunas configuraciones, el agrupamiento de muestra STSA 330 puede indicar una tasa de trama deseada en una manera escalonada y para la conmutación ascendente temporal. A modo de ejemplo, el agrupamiento de muestra STSA 330 puede proporcionar una sintaxis adicional que proporciona la capacidad de saber cuándo se producirá un punto de conmutación ascendente de capa temporal siguiente (es decir, muestra de STSA para un ID temporal superior) en la capa temporal superior. En algunas configuraciones, el agrupamiento de muestra STSA 330 puede indicar todas las capas temporales superiores con un ID temporal mayor que el identificador ID temporal de la capa temporal de la muestra.
En algunas configuraciones, el agrupamiento de muestra STSA 330 puede indicar cuándo conmutar, de forma adaptativa, a una nueva capa temporal. A modo de ejemplo, el agrupamiento de muestra STSA 330 puede proporcionar sintaxis adicional que proporciona la capacidad de saber cuándo se producirá un punto de conmutación de capa temporal siguiente en la misma capa temporal.
El formato de fichero multimedia de base ISO puede ampliarse, además, para soportar flujos de vídeo HEVC. De este modo, los agrupamientos de muestra STSA 330 se pueden formatear en un formato de fichero multimedia de base ISO al mismo tiempo que incorporan los beneficios y la funcionalidad de HEVC.
El dispositivo electrónico 302 puede enviar 510 el agrupamiento de muestra STSA 330. A modo de ejemplo, el agrupamiento de muestra STSA 330 puede enviarse en un conjunto de transporte de unidades NAL. El conjunto de
5
10
15
20
25
30
35
40
45
50
55
60
65
transporte de unidades NAL puede incluir un conjunto de unidades NAL que están en orden de decodificación consecutivo y pueden incluir una imagen codificada. A modo de ejemplo, el conjunto de transporte de unidades NAL puede incluir una imagen codificada STSA 329.
El envío de agolpamientos de muestra STSA 330 puede incluir la transmisión de datos (p.ej., un flujo binario 310 o fichero 351) entre componentes de un dispositivo electrónico 102, o la transmisión de un flujo binario 310 y/o fichero 351 entre uno o más dispositivos electrónicos 102. Además, el envío 510 de un agolpamiento de muestra STSA 330 puede incluir otros enfoques similares para transferir datos entre uno o más dispositivos electrónicos 102. En el caso de enviar un fichero 351, los agrupamientos de muestra STSA, en una unidad NAL, pueden memorizarse en un fichero 351, y el fichero 351 se puede enviar 510 a un dispositivo electrónico 102.
La Figura 6 es un diagrama de bloques que ilustra una configuración de un decodificador 612 y un módulo de recepción de agrupamiento de muestra STSa 620, en un dispositivo electrónico 602. El dispositivo electrónico 602 y el decodificador 612 pueden ser un ejemplo del dispositivo electrónico 102 y el decodificador 112, descrito en relación con la Figura 1. Tal como se ilustra en la Figura 6, el módulo de recepción de agrupamiento de muestra STSA 620 puede estar separado del decodificador 612. En otras configuraciones, el módulo de recepción de agrupamiento de muestra STSA 620 puede ser parte del decodificador 612.
El dispositivo electrónico 612 puede recibir un flujo binario 610. A modo de ejemplo, el módulo de recepción de agrupamiento de muestra STSA 620 puede recibir el flujo binario A 610a y/o el fichero 651. Debe entenderse que, mientras que la Figura 6 se refiere a un dispositivo electrónico 602 que está recibiendo y procesando datos desde un flujo binario 610, el dispositivo electrónico 602 puede recibir y procesar, de forma similar, datos desde un fichero 651. A modo de ejemplo, el fichero 651 puede incluir datos de flujo binario, memorizados en formato de fichero multimedia de base ISO.
En una configuración, el flujo binario A 610a y/o el fichero 651 puede incluir, o estar asociado por uno o más agrupamientos de muestra STSA 630. El agrupamiento de muestra STSA 630 puede incluir una imagen STSA 629 correspondiente. El módulo de recepción de agrupamiento de muestra STSA 620 puede proporcionar un mecanismo de estructuración y agrupamiento para indicar la identificación de unidades de acceso como muestras de STSA, por ejemplo, al decodificador 612.
En otra configuración, el dispositivo electrónico 602 recibe un flujo binario A 610a y/o fichero 651, y envía el flujo binario A 610a y/o el fichero 651 por intermedio del módulo de recepción de agrupamiento de muestra STSA 620 para producir un flujo binario B 610b. El módulo de recepción de agrupamiento de muestra STSA 620 puede obtener un agrupamiento de muestra STSA 630. El agrupamiento de muestra 630 puede incluir una imagen codificada y un conjunto de unidades NAL utilizadas por el decodificador 612 para decodificar la imagen codificada. La imagen codificada puede ser una imagen codificada STSA 629.
El módulo de recepción de agrupamiento de muestra STSA 620 puede identificar muestras STSA marcadas y/o etiquetadas, que se obtienen en el dispositivo electrónico 602. El agrupamiento de muestra STSA 630 puede permitir, además, la fácil identificación de puntos de conmutación de capa temporal en las muestras.
El módulo de recepción de agrupamiento de muestra STSA 620 puede incluir una diversidad de módulos o submódulos para la recepción de una imagen STSA 629 y/o un agrupamiento de muestra 630, desde el flujo binario 610 y/o fichero 651. A modo de ejemplo, el módulo de recepción de agrupamiento de muestra STSA 620 puede incluir un módulo de unidad NAL 624, un módulo de formato de fichero multimedia de base ISO 626 u otros módulos, con el fin de recibir un agrupamiento de muestra 630 y/o una imagen STSA 629, procedente del flujo binario 610 y/o fichero 651, antes de pasar por algunos elementos del decodificador 612. El módulo de recepción de agrupamiento de muestra STSA 620 puede incluir, además, un agrupamiento de muestra STSA 330 y/o una imagen STSA 629 que puede decodificarse mediante el decodificador 612.
En algunas configuraciones, el módulo de unidad NAL 624 puede ayudar al decodificador 612 en la obtención de tipos de unidad NAL desde el flujo binario A 610a y/o fichero 651. A modo de ejemplo, un conjunto de unidades NAL puede asociarse con una imagen STSA 629.
En una configuración, el módulo de unidad NAL 624 puede recibir el conjunto de unidades NAL y proporcionar los tipos de unidad NAL al decodificador 612. En algunos casos, el módulo de unidad NAL 624 puede proporcionar tipos de unidad NAL a un módulo de unidad NAL 624a, situado dentro del decodificador 612. A modo de ejemplo, el módulo de unidad NAL 624 puede obtener unidades NAL con valores de tipo de 5 y/o 6 (tal como se ilustra en la Tabla 1 anterior) en relación con una imagen STSA codificada recibida 629, y proporcionar los valores de unidad NAL al módulo de unidad NAL 624a.
El módulo de unidad NAL 624 puede obtener, además, un conjunto de transporte de unidades NAL utilizado para transportar datos relacionados con el agrupamiento de muestra STSA 630 y/o la imagen STSA 629. A modo de ejemplo, los agrupamientos de muestra STSA 630 se pueden estructurar en un formato de fichero multimedia de base ISO, y recibirse en el flujo binario 610 y/o el fichero 651 en un conjunto de transporte de unidades NAL.
5
10
15
20
25
30
35
40
45
50
55
60
65
El módulo de formato de fichero multimedia de base ISO 626 puede ayudar al módulo de recepción de agolpamiento de muestra STSA 620 en la obtención de agolpamientos de muestra STSA 630. Uno o más agolpamientos de muestra recibidos pueden estructurarse en un formato de fichero multimedia de base ISO.
El módulo de formato de fichero multimedia de base ISO 626 puede proporcionar, además, a otros módulos información de formato de fichero multimedia de base ISO. A modo de ejemplo, el módulo de formato de fichero multimedia de base ISO 626 puede proporcionar un formateo de fichero multimedia de base ISO al módulo de unidad NAL 624 con el fin de ayudar al módulo de unidad NAL 624, en la obtención de tipos de unidad NAL. A modo de otro ejemplo, el módulo de formato de fichero multimedia base ISO 626 puede proporcionar un formateo de fichero multimedia de base ISO a diversos módulos en el decodificador 612, para permitir que el formateo de fichero multimedia de base ISO se extienda a la decodificación HEVC. De este modo, el decodificador 612 puede decodificar muestras de HEVC STSA utilizando el formateo de fichero multimedia de base ISO.
El decodificador 612 puede estar incluido en un dispositivo electrónico 602. A modo de ejemplo, el decodificador 612 puede ser un decodificador de HEVC y/o un analizador de formato de fichero multimedia de base ISO. A modo de ejemplo, el decodificador 612 puede decodificar, además, ficheros HEVC sobre la base del formato de fichero multimedia de base ISO. El decodificador 612 y/o uno o más de los elementos ilustrados como incluidos en el decodificador 612, se pueden poner en práctica en hardware, software o una combinación de ambos.
El decodificador 612 puede recibir un flujo binario B 610b (p.ej., una o más imágenes codificadas incluidas en el flujo binario B 610b) desde el módulo de recepción de agrupamiento de muestra STSA 620. Conviene señalar que el flujo binario B 610b, procedente del módulo de recepción de agrupamiento de muestra STSA 620, incluye datos de imagen recibidos por el dispositivo electrónico 602 como el flujo binario A 610a y/o un fichero 651. Dicho de otro modo, los datos del flujo binario B 610b pueden estar basados en datos obtenidos a partir del flujo binario A 610a y/o un fichero 651.
En algunas configuraciones, el flujo binario recibido B 610b puede incluir información de sobrecarga recibida, tal como una cabecera de segmento recibido, PPS recibida, información de descripción de memorización intermedia recibida, etc. Las imágenes codificadas, incluidas en el flujo binario B 610b, pueden incluir una o más imágenes de referencia codificadas y/o una o más de otras imágenes codificadas.
Los símbolos recibidos (en la una o más imágenes codificadas, incluidas en el flujo binario B 610b) pueden ser decodificados por entropía mediante un módulo de decodificación entrópica 668, produciendo así una señal de información de movimiento 670 y coeficientes cuantizados, puestos a escala y/o transformados 672.
La señal de información de movimiento 670 se puede combinar con una parte de una señal de trama de referencia 698, desde una memoria de trama 678, en un módulo de compensación de movimiento 674, que puede generar una señal de predicción inter-tramas 682. Los coeficientes cuantizados, puestos a escala y/o transformados 672, pueden ser objeto de cuantización, puestos a escala y transformación inversa por intermedio de un módulo de inversión 662, produciendo así una señal residual decodificada 684. La señal residual decodificada 684 puede añadirse a una señal de predicción 692 para producir una señal combinada 686. La señal de predicción 692 puede ser una señal seleccionada a partir de la señal de predicción inter-tramas 682, que se genera por el módulo de compensación de movimiento 674 o, como alternativa, la señal de predicción intra-trama 690, generada por un módulo de predicción intra-trama 688. En algunas configuraciones, esta selección de señal puede basarse en (p.ej., controlarse por) el flujo binario 610 y/o el fichero 651.
La señal de predicción intra-trama 690 se puede predecir desde información decodificada previamente a partir de la señal combinada 686 (en la trama actual, a modo de ejemplo). La señal combinada 686 se puede filtrar, además, mediante un filtro de desbloqueo 694. La señal filtrada resultante 696 se puede escribir en la memoria de trama 678. La señal filtrada resultante 696 puede incluir una imagen decodificada.
La memoria de trama 678 puede incluir información de sobrecarga correspondiente a las imágenes decodificadas. A modo de ejemplo, la memoria de trama 678 puede incluir cabeceras de segmento, información de parámetro, parámetros de ciclo, información de descripción de memoria intermedia, etc. Uno o más de estos elementos de información se pueden señalizar desde un codificador (p.ej., un codificador 104). La memoria de trama 678 puede proporcionar una imagen decodificada 618 u otra señal de salida.
En algunas configuraciones, el decodificador 612 puede incluir un módulo de unidad NAL 624b. El módulo de unidad NAL 624b puede recibir información de unidad NAL desde el módulo de unidad NAL 624, situado en el módulo de recepción de agrupamiento de muestra STSA 620. El módulo de unidad NAL 624b puede proporcionar la información de unidad NAL al módulo de decodificación entrópica 668, u otro componente, en el decodificador 612 La información de unidad NAL, procedente del módulo de unidad NAL 624b puede ayudar al decodificador 612 en la decodificación de imágenes codificadas.
La Figura 7 es un diagrama de flujo que ilustra una configuración de un método 700 para recibir un agrupamiento de
5
10
15
20
25
30
35
40
45
50
55
60
65
muestra de acceso a una subcapa temporal de forma escalonada (STSA). Un dispositivo electrónico 602 puede recibir 702 un flujo binario 610 y/o un soporte de memorización grabable, tal como un fichero 651. La recepción 702 del flujo binario 610 y/o el fichero 651 puede incluir la obtención, la lectura o, de otro modo, el acceso a un flujo binario 610. En algunas configuraciones, el flujo binario 610 y/o el fichero 651 se pueden recibir desde un codificador 104 en el mismo dispositivo electrónico, o en un dispositivo electrónico diferente 102. A modo de ejemplo, el dispositivo electrónico B 102b puede recibir el flujo binario 110 y/o el fichero 651, desde un codificador 104, en dispositivo electrónico A 102a.
En algunas configuraciones, el dispositivo electrónico 602 puede incluir un decodificador 612 que recibe el flujo binario 610 y/o el fichero 651. El flujo binario 610 y/o el fichero 651 pueden incluir datos codificados basados en una o más imágenes de entrada 106.
El dispositivo electrónico 602 puede obtener 704 un agrupamiento de muestra STSA 630. El agrupamiento de muestra STSA 630 puede incluir una o más muestras. El dispositivo electrónico 602 puede obtener el agrupamiento de muestra STSA 630 a partir del flujo binario 610 y/o el fichero 651. Dicho de otro modo, el flujo binario 610 y/o el fichero 651 puede incluir un agrupamiento de muestra STSA 630. El agrupamiento de muestra STSA 630 puede incluir un conjunto de unidades NAL y una imagen codificada STSA 629.
El dispositivo electrónico 602 puede decodificar 706 el agrupamiento de muestra STSA 630. A modo de ejemplo, el decodificador 612 puede decodificar 706 una parte del flujo binario 610 y/o fichero 651 con el fin de generar un agrupamiento de muestra 630. Tal como se describió con anterioridad, agrupamientos de muestra STSA 630 pueden proporcionar marcas claras y/o etiquetado de muestras STSA como pertenecientes al agrupamiento de muestra STSA 630. De este modo, el dispositivo electrónico 602 puede identificar, con facilidad, los puntos de conmutación de capa temporal en muestras STSA.
El dispositivo electrónico 602 puede decodificar 708 una imagen actual sobre la base del agrupamiento de muestra STSA 630. A modo de ejemplo, el decodificador 612 puede decodificar 708 una parte del flujo binario 610 y/o fichero 651 para producir una imagen actual basada en el agrupamiento de muestra STSA 630. En algunos casos, la imagen actual que se decodifica puede ser una imagen STSA 629. La imagen actual se puede decodificar mediante un decodificador 612, tal como se describió anteriormente.
La Figura 8 es un diagrama de flujo que ilustra una configuración más específica de un método 800 para la recepción de un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). Un dispositivo electrónico 602 puede recibir 802 un flujo binario 610 y/o fichero 651. El flujo binario 610 y/o el fichero 651 se pueden recibir, según se describió anteriormente en relación con la Figura 7. A modo de ejemplo, el dispositivo electrónico B 102 puede recibir 802 el flujo binario 610 y/o fichero 651 a partir del codificador 104, en el dispositivo electrónico A 102a.
El dispositivo electrónico 602 puede obtener 804 un agrupamiento de muestra STSA 630. El dispositivo electrónico 602 puede obtener el agrupamiento de muestra STSA 630 a partir de un flujo binario 610 y/o fichero 651. Dicho de otro modo, el flujo binario 610 y/o el fichero 651 10 puede incluir un agrupamiento de muestra STSA 630. El agrupamiento de muestra STSA 630 puede incluir una o más muestras.
En algunas configuraciones, el agrupamiento de muestra 630 se puede estructurar en un formato de fichero multimedia de base ISO, tal como un conjunto de transporte de unidades NAL. El dispositivo electrónico 602 puede recibir el conjunto de transporte de unidades NAL y obtener el agrupamiento de muestra 630. La Tabla 2 a la Tabla 4 proporcionan ejemplos de sintaxis de formato de fichero multimedia de base ISO en que los agrupamientos de muestra 630 se pueden estructurar cuando se reciben en formato de fichero multimedia de base ISO como utilizando una caja de descripción de grupo de muestra (SGPD). Por ejemplo, la Tabla 3 muestra un ejemplo de una entrada de grupo de muestra de subcapa temporal de forma escalonada. En la Tabla 3, se puede utilizar un grupo de muestra para marcar muestras STSA.
El dispositivo electrónico 602 puede obtener 806 un conjunto de unidades NAL y una imagen STSA codificada correspondiente 629 desde el agrupamiento de muestra STSA 630. El conjunto de unidades NAL, y la imagen STSA codificada 629 correspondiente, se pueden empaquetar en el agrupamiento de muestra 630. El conjunto de unidades NAL puede ser consecutivo en orden de decodificación.
En algunas configuraciones, el dispositivo electrónico 602 puede obtener un indicador de tipo TSA. A modo de ejemplo, el agrupamiento de muestra STSA 630 puede incluir, además, un indicador de tipo TSA. El indicador de tipo TSA puede indicar si una muestra, en el agrupamiento de muestra STSA 630, es una muestra TSA o una muestra STSA. El indicador de tipo TSA puede ser typeTSAFlag. A modo de ejemplo, un typeTSAFlag igual a 1 puede indicar que un agrupamiento de muestra es una muestra TSA. Por el contrario, un typeTSAFlag igual a 0 puede indicar que el agrupamiento de muestra es una muestra STSA.
El dispositivo electrónico 602 puede decodificar 808 la correspondiente imagen de STSA codificada 629 basándose en el conjunto de unidades NAL en el agrupamiento de muestra STSA 630. El dispositivo electrónico 602 puede
5
10
15
20
25
30
35
40
45
50
55
60
65
recibir, además, indicaciones procedentes del agolpamiento de muestra STSA 630, correspondiente a la conmutación de subcapa temporal. A modo de ejemplo, el agrupamiento de muestra STSA 630 puede indicar una tasa de trama deseada en una manera escalonada y para la conmutación ascendente temporal. A modo de otro ejemplo, el agolpamiento de muestra STSA 630 puede proporcionar una sintaxis adicional que proporciona la capacidad de saber cuándo se producirá un punto de conmutación ascendente de capa temporal siguiente (es decir, muestra STSA para un ID temporal superior) en la capa temporal superior. En algunas configuraciones, el agrupamiento de muestra STSA 630 puede indicar cuándo estarán presentes todas las capas temporales superiores con un ID temporal mayor que el ID temporal de la capa temporal de la muestra. En cada uno de estos ejemplos y configuraciones, el agrupamiento de muestra STSA 630 puede indicar, e incluir, una o más muestras STSA.
El dispositivo electrónico 602 puede decodificar 810 una imagen actual basada en la imagen STSA 629. A modo de ejemplo, el decodificador 612 puede decodificar 810 una parte del flujo binario 610 y/o fichero 651 para producir una imagen actual basada en la imagen STSA 629.
Cuando la imagen actual es una imagen STSA 629, no puede existir ninguna imagen incluida en RefPicSetStCurrBefore, RefPicSetStCurrAfter o RefPicSetLtCurr que tenga un Temporaljd igual al de la imagen actual. Cuando la imagen actual es una imagen que sigue, en orden de decodificación, una imagen STSA 629 que tiene un Temporaljd igual al de la imagen actual, no puede haber ninguna imagen que tenga un Temporal_id igual a la de la imagen actual que se incluye en RefPicSetStCurrBefore, RefPicSetStCurrAfter o RefPicSetLtCurr que precedió a la imagen STSA en orden de decodificación.
Tal como se describió con anterioridad, los agrupamientos de muestra STSA 630, y/o las imágenes STSA 629, pueden permitir que el decodificador 612 memorice y utilice imágenes de referencia adicionales cuando decodifica una imagen actual. La utilización de agrupamientos de muestra STSA 630 puede proporcionar marcas claras y/o etiquetado de muestras STSA como pertenecientes al agrupamiento de muestra STSa. De este modo, el dispositivo electrónico 602 puede identificar, con facilidad, los puntos de conmutación de capa temporal en las muestras.
La Figura 9 es un diagrama de bloques que ilustra una configuración de un dispositivo electrónico 902 en el que pueden ponerse en práctica sistemas y métodos para señalizar un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). El dispositivo electrónico 902 puede incluir un flujo binario 910, un fichero 951, medios de codificación 935, medios de transmisión 937 y medios de memorización 957. Los medios de codificación 935, medios de transmisión 937 y medios de memorización 957 se pueden configurar para la realización de una o más funciones descritas en relación con una o más de la Figura 4, Figura 5 y otras figuras descritas en este documento. La Figura 11 siguiente ilustra un ejemplo de una estructura de aparato concreto de la Figura 9. Se pueden poner en práctica otras diversas estructuras para realizar una o más de las funciones de la Figura 1 y la Figura 3. A modo de ejemplo, un DSP se puede realizar mediante software.
La Figura 10 es un diagrama de bloques que ilustra una configuración de un dispositivo electrónico 1002 en el que pueden ponerse en práctica sistemas y métodos para recibir un agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA). El dispositivo electrónico 1002 puede incluir un flujo binario 1010, un fichero 1051, medios de recepción 1039 y medios de decodificación 1041. Los medios de recepción 1039 y de decodificación 1041 se pueden configurar para realizar una o más funciones similares descritas en relación con la Figura 7, Figura 8 y otras Figuras descritas en este documento. La Figura 12 siguiente ilustra un ejemplo de una estructura de un aparato concreto de la Figura 10. Se pueden poner en práctica otras diversas estructuras para realizar una o más funciones de la Figura 1 y la Figura 6. A modo de ejemplo, un DSP se puede realizar mediante software.
La Figura 11 es un diagrama de bloques que ilustra diversos componentes que se pueden utilizar en un dispositivo electrónico de transmisión 1102. Uno o más de los dispositivos electrónicos 102, 302, 602, 902 y 1002, descritos en este documento, se pueden poner en práctica de conformidad con el dispositivo electrónico de transmisión 1102, que se ilustra en la Figura 11.
El dispositivo electrónico de transmisión 1102 incluye un procesador 1117, que controla el funcionamiento del dispositivo electrónico de transmisión 1102. El procesador 1117 se puede referir, además, como una Unidad Central de Procesamiento (CPU). La memoria 1111, que puede incluir tanto una memoria de solamente lectura (ROM), una memoria de acceso aleatorio (RAM) como cualquier tipo de dispositivo que pueda memorizar información, proporciona instrucciones 1113a (p.ej., instrucciones ejecutables) y datos 1115a al procesador 1117. Una parte de la memoria 1111 puede incluir, además, una memoria de acceso aleatorio no volátil (NVRAM). La memoria 1111 puede estar en comunicación electrónica con el procesador 1117.
Instrucciones 1113b y datos 1115b pueden alojarse, además, en el procesador 1117. Las instrucciones 1113b y/o datos 1115b, cargados en el procesador 1117, pueden incluir, además, instrucciones 1113a y/o datos 1115a procedentes de la memoria 1111, que fueron cargados para su ejecución o procesamiento por el procesador 1117. Las instrucciones 1113b se pueden ejecutadas por el procesador 1117 para la puesta en práctica de uno o más de los métodos 400 y 500 aquí dados a conocer.
5
10
15
20
25
30
35
40
45
50
55
60
65
El dispositivo electrónico de transmisión 1102 puede incluir una o más interfaces de comunicación 1109 para comunicarse con otros dispositivos electrónicos (p.ej., la recepción desde un dispositivo electrónico). Las interfaces de comunicación 1109 pueden estar basadas en tecnología de comunicación por cable, tecnología de comunicación inalámbrica, o ambas. Ejemplos de una interfaz de comunicación 1109 incluyen un puerto serie, un puerto paralelo, un Bus Serie Universal (USB), un adaptador Ethernet, una interfaz de bus IEEe 1394, una interfaz de bus de interfaz de sistema informático pequeño (SCSI), un puerto de comunicación de infrarrojos (IR), un adaptador de comunicación inalámbrico Bluetooth, un transceptor inalámbrico de conformidad con las especificaciones del Proyecto de Asociación de la 3a Generación (3GPP), etc.
El dispositivo electrónico de transmisión 1102 puede incluir uno o más dispositivos de salida 1103, y uno o más dispositivos de entrada 1101. Los ejemplos de dispositivos de salida 1103 incluyen un altavoz, impresora, etc. Un tipo de dispositivo de salida que puede incluirse en dispositivo electrónico de transmisión 1102, es un dispositivo de presentación visual 1105. Dispositivos de presentación visual 1105, utilizados con configuraciones aquí dadas a conocer, pueden utilizar cualquier tecnología de proyección de imagen adecuada, tal como un tubo de rayos catódicos (CRT), pantalla de cristal líquido (LCD), diodo emisor de luz (LED), plasma de gas, electroluminiscencia o similar. Se puede proporcionar un controlador de pantalla 1107 para convertir datos memorizados en la memoria 1111 en texto, gráficos y/o imágenes en movimiento (según sea adecuado), que se muestran en el dispositivo de presentación visual 1105. Ejemplos de dispositivos de entrada 1101 incluyen un teclado, ratón, micrófono, dispositivo de control a distancia, botón, joystick, trackball (bola de seguimiento), panel táctil, pantalla táctil, lápiz óptico, etc.
Los diversos componentes del dispositivo electrónico de transmisión 1102 están acoplados juntos por intermedio de un sistema de bus 1133, que puede incluir un bus de alimentación de energía, un bus de señal de control y un bus de señal de estado, además de un bus de datos. Sin embargo, en aras de la claridad, los diversos buses se ilustran en la Figura 11 como el sistema de bus 1133. El dispositivo electrónico de transmisión 1102, ilustrado en la Figura 11, es un diagrama de bloques funcional en lugar de un listado de componentes específicos.
La Figura 12 es un diagrama de bloques que ilustra varios componentes que se pueden utilizar en un dispositivo electrónico de recepción 1202. Uno o más de los dispositivos electrónicos 102, 302, 602, 902 y 1002, descritos en este documento, pueden ponerse en práctica de conformidad con el dispositivo electrónico de recepción 1202, que se ilustra en la Figura 12.
El dispositivo electrónico de recepción 1202 incluye un procesador 1217 que controla el funcionamiento del dispositivo electrónico de recepción 1202. El procesador 1217 se puede referir, además, como una unidad CPU. La memoria 1211, que puede incluir tanto una memoria de solamente lectura (ROM), memoria de acceso aleatorio (RAM) o cualquier tipo de dispositivo que pueda memorizar información, proporcionar instrucciones 1213a (p.ej., instrucciones ejecutables) y datos 1215a al procesador 1217. Una parte de la memoria 1211 puede incluir, además, una memoria de acceso aleatorio no volátil (NVRAM). La memoria 1211 puede estar en comunicación electrónica con el procesador 1217.
Instrucciones 1213b y datos 1215b, pueden alojarse, además, en el procesador 1217. Las instrucciones 1213b y/o los datos 1215b, cargados en el procesador 1217, también pueden incluir instrucciones 1213a y/o datos 1215a procedentes de la memoria 1211, que fueron cargados para su ejecución o procesamiento por el procesador 1217. Las instrucciones 1213b se pueden ejecutar por el procesador 1217 para la puesta en práctica de uno o más de los métodos 700 y 800 aquí dados a conocer.
El dispositivo electrónico de recepción 1202 puede incluir una o más interfaces de comunicación 1209 para comunicarse con otros dispositivos electrónicos (p.ej., dispositivo electrónico de transmisión). Las interfaces de comunicación 1209 pueden estar basadas en tecnología de comunicación por cable, tecnología de comunicación inalámbrica o ambas. Ejemplos de una interfaz de comunicación 1209 incluyen un puerto serie, un puerto paralelo, un Bus Serie Universal (USB), un adaptador de Ethernet, una interfaz de bus IEEE 1294, una interfaz de bus de interfaz de sistema informático pequeño (SCSI), un puerto de comunicación de infrarrojos (IR), un adaptador de comunicación inalámbrico Bluetooth, un transceptor inalámbrico de conformidad con las especificaciones del Proyecto de Asociación de la 3a Generación (3GPP), etc.
El dispositivo electrónico de recepción 1202 puede incluir uno o más dispositivos de salida 1203 y uno o más dispositivos de entrada 1201. Ejemplos de dispositivos de salida 1203 incluyen un altavoz, impresora, etc. Un tipo de dispositivo de salida que puede incluirse en un dispositivo electrónico de recepción 1202, es un dispositivo de presentación visual 1205. Los dispositivos de presentación visual 1205, utilizados con las configuraciones aquí descritas, pueden utilizar cualquier tecnología de proyección de imagen adecuada, tal como un tubo de rayos catódicos (CRT), pantalla de cristal líquido (LCD), diodo emisor de luz (LED), plasma de gas, electroluminiscencia o similar. Se puede proporcionar un controlador de pantalla 1207 para convertir datos memorizados en la memoria 1211 en texto, gráficos y/o imágenes en movimiento (según sea adecuado), mostrados en el dispositivo de presentación visual 1205. Ejemplos de dispositivos de entrada 1201 incluyen un teclado, ratón, micrófono, dispositivo de control a distancia, botón, joystick, trackball (bola de seguimiento), panel táctil, pantalla táctil, lápiz óptico, etc.
5
10
15
20
25
30
35
Los diversos componentes del dispositivo electrónico de recepción 1202 están acoplados juntos por intermedio de un sistema de bus 1233, que puede incluir un bus de alimentación de energía, un bus de señal de control y un bus de señal de estado, además de un bus de datos. Sin embargo, en aras de la claridad, los diversos buses se ilustran en la Figura 12 como el sistema de bus 1233. El dispositivo electrónico de recepción 1202, ilustrado en la Figura 12, es un diagrama de bloques funcional en lugar de un listado de componentes específicos.
El término "soporte legible por ordenador" se refiere a cualquier soporte disponible al que se puede acceder mediante un ordenador o un procesador. La expresión "soporte legible por ordenador", tal como se utiliza en el presente documento, puede indicar un soporte legible por ordenador y/o procesador que es no transitorio y tangible. A modo de ejemplo, y no de limitación, un soporte legible por ordenador, o legible por procesador, puede incluir una memoria RAM, memoria ROM, memoria EEPROM, CD-ROM u otra memoria de disco óptico, memorización en disco magnético u otros dispositivos de memorización de tipo magnético, o cualquier otro medio que pueda transportar o memorizar el código de programa deseado en forma de instrucciones o estructuras de datos y al que se puede acceder mediante un ordenador o procesador. Disk y disco, tal como aquí se utilizan, incluye disco compacto (CD), disco láser, disco óptico, disco versátil digital (DVD), disquete y disco Blu-ray (marca registrada), en donde los disks, en condiciones normales, reproducen datos magnéticamente, mientras que los discos reproducen datos ópticamente con láser.
Ha de entenderse que uno o más de los métodos descritos en este documento pueden ponerse en práctica en y/o realizarse, utilizando hardware. A modo de ejemplo, uno o más de los métodos o enfoques aquí descritos pueden ponerse en práctica y/o realizarse utilizando un conjunto de circuitos, un ASIC, un circuito integrado a gran escala (LSI) o circuito integrado, etc.
Cada uno de los métodos aquí dados a conocer incluye una o más etapas o acciones para conseguir el método descrito. Las etapas y/o acciones del método pueden intercambiarse entre sí y/o combinarse en una etapa única, sin desviarse del alcance de las reivindicaciones. Dicho de otro modo, a menos que se requiera un orden específico de etapas o acciones, para el funcionamiento adecuado del método que se describe, el orden y/o uso de etapas y/o acciones específicas se puede modificar sin desviarse por ello del alcance de las reivindicaciones.
Ha de entenderse que las reivindicaciones no están limitadas a la configuración y componentes precisos ilustrados con anterioridad. Se pueden realizar varias modificaciones, cambios y alteraciones en la disposición, el funcionamiento y detalles de los sistemas, métodos y aparatos aquí descritos, sin apartarse del alcance de las reivindicaciones.
Claims (9)
- 51015202530354045REIVINDICACIONES1. Un método para decodificar una imagen que comprende: la recepción de un flujo binario audiovisual (110);la obtención de un agolpamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA); la decodificación del agolpamiento de muestra STSA; yla determinación de cuándo conmutar a una nueva capa temporal (219a-219n) sobre la base del agolpamiento de muestra STSA,caracterizado por cuanto que:el agrupamiento de muestra STSA se envía en una Caja de Descripción de Grupo de Muestras (SGDP), en donde el SGDP incluye un parámetro de distancia de conmutación ascendente STSA siguiente y un parámetro de distancia de muestra STSA siguiente.
- 2. El método según la reivindicación 1, en donde el SGDP incluye un indicador de tipo de acceso de conmutación temporal (TSA).
- 3. El método para decodificar una imagen según la reivindicación 2, en donde el valor de indicador de tipo TSA indica si una muestra, en el agrupamiento de muestra STSA, es una muestra TSA o una muestra STSA.
- 4. El método para decodificar una imagen según la reivindicación 1, en donde una imagen STSA proporciona funcionalidad de conmutación de capa temporal a una capa temporal a la que pertenece la imagen STSA.
- 5. El método para decodificar una imagen según la reivindicación 1, en donde el agrupamiento de muestra STSA está incluido en un fichero multimedia de base ISO.
- 6. El método según una cualquiera de las reivindicaciones precedentes, en donde el parámetro de distancia de muestra STSA siguiente indica cuándo se producirá un punto de conmutación de capa temporal siguiente en la misma capa temporal.
- 7. El método según una cualquiera de las reivindicaciones precedentes, en donde el parámetro de distancia de conmutación ascendente STSA siguiente indica cuándo se producirá un punto de conmutación ascendente de capa temporal siguiente, en una capa temporal superior.
- 8. El método según una cualquiera de las reivindicaciones precedentes, en donde el agrupamiento de muestra de acceso a una subcapa temporal de forma escalonada (STSA) se obtiene a partir del flujo binario, desde un soporte de memorización grabable o desde un fichero.
- 9. Un dispositivo electrónico para decodificar una imagen, que comprende:un procesador e instrucciones memorizadas en una memoria, que están en comunicación electrónica con un procesador, en donde las instrucciones son ejecutables para realizar las etapas de cualquiera de los métodos 1 a 8.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/633,784 US20140092953A1 (en) | 2012-10-02 | 2012-10-02 | Method for signaling a step-wise temporal sub-layer access sample |
| US201213633784 | 2012-10-02 | ||
| PCT/JP2013/005888 WO2014054285A1 (en) | 2012-10-02 | 2013-10-02 | Method for signaling a step-wise temporal sub-layer access sample |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2673232T3 true ES2673232T3 (es) | 2018-06-20 |
Family
ID=50385156
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES18167662T Active ES2719221T3 (es) | 2012-10-02 | 2013-10-02 | Método para señalizar una muestra de acceso a una subcapa temporal de forma escalonada |
| ES13843656.3T Active ES2673232T3 (es) | 2012-10-02 | 2013-10-02 | Método para señalizar una muestra de acceso a una subcapa temporal de forma escalonada |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES18167662T Active ES2719221T3 (es) | 2012-10-02 | 2013-10-02 | Método para señalizar una muestra de acceso a una subcapa temporal de forma escalonada |
Country Status (10)
| Country | Link |
|---|---|
| US (6) | US20140092953A1 (es) |
| EP (3) | EP2904808B1 (es) |
| CN (3) | CN109257623B (es) |
| DK (1) | DK3370425T3 (es) |
| ES (2) | ES2719221T3 (es) |
| HK (1) | HK1255836B (es) |
| HU (1) | HUE042248T2 (es) |
| PL (2) | PL2904808T3 (es) |
| TR (2) | TR201808102T4 (es) |
| WO (1) | WO2014054285A1 (es) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4686201A3 (en) | 2012-06-25 | 2026-04-01 | Huawei Technologies Co., Ltd. | Method for signaling a gradual temporal layer access picture |
| US20140092953A1 (en) | 2012-10-02 | 2014-04-03 | Sharp Laboratories Of America, Inc. | Method for signaling a step-wise temporal sub-layer access sample |
| US10038899B2 (en) * | 2012-10-04 | 2018-07-31 | Qualcomm Incorporated | File format for video data |
| JP6361866B2 (ja) * | 2013-05-09 | 2018-07-25 | サン パテント トラスト | 画像処理方法および画像処理装置 |
| WO2015012226A1 (ja) * | 2013-07-22 | 2015-01-29 | ソニー株式会社 | 情報処理装置および方法 |
| JP5947269B2 (ja) * | 2013-09-24 | 2016-07-06 | ソニー株式会社 | 符号化装置、符号化方法、送信装置および受信装置 |
| EP3591980A1 (en) * | 2013-10-11 | 2020-01-08 | SONY Corporation | Reception device and reception method of video streams with changing frame rates |
| KR102537853B1 (ko) * | 2015-10-13 | 2023-05-31 | 소니그룹주식회사 | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 |
| US20170111642A1 (en) * | 2015-10-14 | 2017-04-20 | Qualcomm Incorporated | Support of random access and switching of layers and sub-layers in multi-layer video files |
| US11405611B2 (en) | 2016-02-15 | 2022-08-02 | Qualcomm Incorporated | Predicting filter coefficients from fixed filters for video coding |
| HK1221373A2 (zh) * | 2016-03-29 | 2017-05-26 | 智能3D有限公司 | 一种提升视频分辨率和视频质量的方法、编码器及解码器 |
| US10506230B2 (en) * | 2017-01-04 | 2019-12-10 | Qualcomm Incorporated | Modified adaptive loop filter temporal prediction for temporal scalability support |
| CN117336495A (zh) * | 2017-10-06 | 2024-01-02 | 松下电器（美国）知识产权公司 | 编码方法和解码方法 |
| WO2019069857A1 (ja) * | 2017-10-06 | 2019-04-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
| KR20220156829A (ko) | 2020-03-20 | 2022-11-28 | 바이트댄스 아이엔씨 | 이웃 서브픽처의 코딩 |
| JP7529795B2 (ja) | 2020-04-20 | 2024-08-06 | バイトダンス インコーポレイテッド | 参照ピクチャリスト上の制約 |
| GB2597642B (en) * | 2020-06-16 | 2023-08-02 | Canon Kk | Method, device, and computer program for encapsulating media data into a media file |
| EP4252425A4 (en) | 2020-12-28 | 2024-05-15 | Beijing Bytedance Network Technology Co., Ltd. | CROSS DIRECT ACCESS POINT SIGNALIZATION IN VIDEO CODING |
| EP4256783A4 (en) * | 2021-01-06 | 2024-07-10 | Beijing Bytedance Network Technology Co., Ltd. | CROSS DIRECT ACCESS POINT SIGNAL IMPROVEMENTS |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6700933B1 (en) * | 2000-02-15 | 2004-03-02 | Microsoft Corporation | System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding |
| KR100834748B1 (ko) * | 2004-01-19 | 2008-06-05 | 삼성전자주식회사 | 스케일러블 비디오 스트림 재생 방법 및 장치 |
| US20050254575A1 (en) * | 2004-05-12 | 2005-11-17 | Nokia Corporation | Multiple interoperability points for scalable media coding and transmission |
| US7725593B2 (en) * | 2005-07-15 | 2010-05-25 | Sony Corporation | Scalable video coding (SVC) file format |
| US7496308B2 (en) | 2005-07-20 | 2009-02-24 | Fujifilm Corporation | Image transferring and forming apparatus |
| CN101317460A (zh) * | 2005-10-11 | 2008-12-03 | 诺基亚公司 | 用于有效的可伸缩流适配的系统和方法 |
| CN101690229A (zh) * | 2007-06-26 | 2010-03-31 | 诺基亚公司 | 用于指示时间层切换点的系统和方法 |
| CN102132562B (zh) * | 2008-07-16 | 2014-10-22 | 西斯威尔国际有限公司 | 用于轨道和轨道子集归组的方法和设备 |
| WO2010140867A2 (ko) * | 2009-06-05 | 2010-12-09 | 한국전자통신연구원 | 채널 변경 지연을 줄이기 위한 스트리밍 서버, 이동 단말기 및 그 방법 |
| US9116988B2 (en) * | 2010-10-20 | 2015-08-25 | Apple Inc. | Temporal metadata track |
| EP2664151A4 (en) * | 2011-01-14 | 2016-01-20 | Vidyo Inc | HIGH-COATED SYNTAX FOR TIMELY SCALABILITY |
| US9414085B2 (en) * | 2012-01-20 | 2016-08-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Sub-bitstream extraction |
| EP4686201A3 (en) | 2012-06-25 | 2026-04-01 | Huawei Technologies Co., Ltd. | Method for signaling a gradual temporal layer access picture |
| US9374583B2 (en) * | 2012-09-20 | 2016-06-21 | Qualcomm Incorporated | Video coding with improved random access point picture behaviors |
| US20140092953A1 (en) * | 2012-10-02 | 2014-04-03 | Sharp Laboratories Of America, Inc. | Method for signaling a step-wise temporal sub-layer access sample |
-
2012
- 2012-10-02 US US13/633,784 patent/US20140092953A1/en not_active Abandoned
-
2013
- 2013-10-02 EP EP13843656.3A patent/EP2904808B1/en active Active
- 2013-10-02 HU HUE18167662A patent/HUE042248T2/hu unknown
- 2013-10-02 TR TR2018/08102T patent/TR201808102T4/tr unknown
- 2013-10-02 EP EP19159367.2A patent/EP3541077A1/en not_active Ceased
- 2013-10-02 DK DK18167662.8T patent/DK3370425T3/en active
- 2013-10-02 PL PL13843656T patent/PL2904808T3/pl unknown
- 2013-10-02 CN CN201811171470.9A patent/CN109257623B/zh active Active
- 2013-10-02 CN CN201380062970.8A patent/CN104838660B/zh active Active
- 2013-10-02 CN CN201811171478.5A patent/CN109246447B/zh active Active
- 2013-10-02 PL PL18167662T patent/PL3370425T3/pl unknown
- 2013-10-02 ES ES18167662T patent/ES2719221T3/es active Active
- 2013-10-02 ES ES13843656.3T patent/ES2673232T3/es active Active
- 2013-10-02 WO PCT/JP2013/005888 patent/WO2014054285A1/en not_active Ceased
- 2013-10-02 TR TR2019/04508T patent/TR201904508T4/tr unknown
- 2013-10-02 EP EP18167662.8A patent/EP3370425B1/en active Active
-
2015
- 2015-10-14 US US14/882,641 patent/US10531106B2/en active Active
-
2018
- 2018-11-21 HK HK18114912.6A patent/HK1255836B/en unknown
-
2019
- 2019-12-26 US US16/727,154 patent/US10986355B2/en active Active
-
2021
- 2021-04-19 US US17/233,918 patent/US11871014B2/en active Active
-
2023
- 2023-11-21 US US18/515,746 patent/US12219161B2/en active Active
-
2024
- 2024-12-24 US US19/001,096 patent/US20250133225A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US12219161B2 (en) | 2025-02-04 |
| EP2904808B1 (en) | 2018-04-18 |
| US11871014B2 (en) | 2024-01-09 |
| EP3541077A1 (en) | 2019-09-18 |
| HK1213716A1 (en) | 2016-07-08 |
| CN109246447B (zh) | 2021-07-02 |
| CN109246447A (zh) | 2019-01-18 |
| EP2904808A1 (en) | 2015-08-12 |
| EP2904808A4 (en) | 2016-05-18 |
| WO2014054285A1 (en) | 2014-04-10 |
| HUE042248T2 (hu) | 2019-06-28 |
| US20240098286A1 (en) | 2024-03-21 |
| CN109257623A (zh) | 2019-01-22 |
| US20210329277A1 (en) | 2021-10-21 |
| CN104838660A (zh) | 2015-08-12 |
| HK1255836B (en) | 2020-04-24 |
| US10531106B2 (en) | 2020-01-07 |
| PL2904808T3 (pl) | 2018-08-31 |
| CN104838660B (zh) | 2018-10-19 |
| EP3370425A1 (en) | 2018-09-05 |
| US10986355B2 (en) | 2021-04-20 |
| DK3370425T3 (en) | 2019-04-23 |
| US20160037175A1 (en) | 2016-02-04 |
| US20140092953A1 (en) | 2014-04-03 |
| ES2719221T3 (es) | 2019-07-09 |
| US20250133225A1 (en) | 2025-04-24 |
| US20200145679A1 (en) | 2020-05-07 |
| HK1212132A1 (en) | 2016-06-03 |
| CN109257623B (zh) | 2021-02-12 |
| TR201904508T4 (tr) | 2019-05-21 |
| EP3370425B1 (en) | 2019-02-27 |
| PL3370425T3 (pl) | 2019-07-31 |
| TR201808102T4 (tr) | 2018-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2673232T3 (es) | Método para señalizar una muestra de acceso a una subcapa temporal de forma escalonada | |
| HK1255836A1 (en) | Method for signaling a step-wise temporal sub-layer access sample | |
| ES2992450T3 (es) | Señalizar una imagen de acceso de capa temporal gradual en codificación de vídeo | |
| HK40010352A (en) | Method for signaling a step-wise temporal sub-layer access sample | |
| HK1213716B (en) | Method for signaling a step-wise temporal sub-layer access sample | |
| HK1262974B (zh) | 一种用於编码图片的方法 | |
| HK1262974A1 (en) | Method for signaling a step-wise temporal sub-layer access sample | |
| HK1262962A1 (en) | Method for decoding a picture and electronic device for decoding the same | |
| HK1262962B (en) | Method for decoding a picture and electronic device for decoding the same | |
| HK1212132B (zh) | 发信号通知步进式时间子层访问样本的方法 |