ES2969748T3 - Concepto de empalme de audio - Google Patents

Concepto de empalme de audio Download PDF

Info

Publication number
ES2969748T3
ES2969748T3 ES15766082T ES15766082T ES2969748T3 ES 2969748 T3 ES2969748 T3 ES 2969748T3 ES 15766082 T ES15766082 T ES 15766082T ES 15766082 T ES15766082 T ES 15766082T ES 2969748 T3 ES2969748 T3 ES 2969748T3
Authority
ES
Spain
Prior art keywords
audio
access unit
data stream
audio data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15766082T
Other languages
English (en)
Inventor
Herbert Thoma
Robert Bleidt
Stefan Krägeloh
Max Neuendorf
Achim Kuntz
Andreas Niedermeier
Michael Kratschmer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Application granted granted Critical
Publication of ES2969748T3 publication Critical patent/ES2969748T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/10Arrangements for replacing or switching information during the broadcast or the distribution
    • H04H20/103Transmitter-side switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/34Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Telephonic Communication Services (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

El empalme de audio se vuelve más eficaz mediante el uso de uno o más paquetes de unidades de truncamiento insertados en el flujo de datos de audio para indicar a un decodificador de audio, para una unidad de acceso predeterminada, una porción final de una trama de audio con la que se conecta la unidad de acceso predeterminada. está asociado, para ser descartado en la reproducción. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Concepto de empalme de audio
La presente solicitud se refiere al empalme de audio.
El audio codificado por lo general viene en trozos de muestras, a menudo 1024, 2048 o 4096 muestras en número por trozo. Tales trozos se denominan tramas en la presente memoria. En el contexto de MPEG, los códecs de audio como AAC o MPEG-H 3D Audio, estos trozos/tramas se denominan gránulos, los trozos/tramas codificadas se denominan unidades de acceso (AU, por sus siglas en inglés) y los trozos decodificados se denominan unidades de composición (CU, por sus siglas en inglés). En los sistemas de transporte de la señal de audio es sólo accesible y direccionable en granularidad de estos trozos codificados (unidades de acceso). Sin embargo, sería favorable poder hacer frente a los datos de audio en alguna granularidad final, en especial para fines como el empalme de flujos o cambios de la configuración de los datos de audio, codificados, sincrónicos y alineados con otro flujo tal como un flujo de vídeo, por ejemplo.
Lo que se sabe hasta el momento es el descarte de algunas muestras de una unidad de codificación. El formato de archivo MPEG-4, por ejemplo, tiene las denominadas listas de edición que se pueden utilizar con el fin de descartar muestras de audio en el principio y el final de un archivo de audio codificada/flujo de bits [3]. En forma desventajosa, esta lista de edición del método sólo funciona con el formato de archivo MPEG-4, es decir, es el formato de archivo específico y no funciona con formatos de flujo como flujos de transporte MPEG-2. Más allá de eso, las listas de edición están profundamente arraigadas en el formato de archivo MPEG-4 y en consecuencia no pueden ser modificados con facilidad sobre la marcha por los dispositivos de empalme de flujo. En AAC [1], la información de truncamiento se puede insertar en el flujo de datos en la forma de extensión_payload. Sin embargo, tal extensión_payload en una unidad de acceso de AAC codificada, tiene el inconveniente de que la información de truncamiento está profundamente incrustada en el AU de AAC y no puede ser modificada con facilidad sobre la marcha por dispositivos de empalme de flujo.
El documento US2013041672A1 describe un método para proporcionar información sobre la validez de los datos de audio codificados, en donde los datos de audio codificados son una serie de unidades de datos de audio codificados. Cada unidad de datos de audio codificados puede incluir información sobre los datos de audio válidos.
En consecuencia, un objetivo de la presente invención es proporcionar un concepto para el empalme de audio que es más eficiente en términos de, por ejemplo, la complejidad de procedimiento del proceso de empalme en empalmadores de flujo, y/o decodificadores de audio.
Este objetivo se consigue por medio de la materia objeto de las reivindicaciones independientes anexas a la presente memoria.
La invención de la presente solicitud se inspira en la idea de que el empalme de audio se puede hacer más eficaz por el uso de uno o más paquetes de unidad de truncamiento insertados en el flujo de datos de audio con el fin de indicar a un decodificador de audio, para una unidad de acceso predeterminada, una porción de extremo de una trama de audio con la que la unidad de acceso predeterminada está asociada, como para ser descartados durante la emisión.
De acuerdo con un aspecto de la presente solicitud, un flujo de datos de audio se proporciona inicialmente con tal paquete de unidad de truncamiento con el fin de procesar el flujo de datos de audio proporcionado de ese modo empalmable con mayor facilidad en la unidad de acceso predeterminada a una granularidad temporal más fina que la longitud de la trama de audio. Los uno o más paquetes de unidad de truncamiento son, por lo tanto, dirigidos al decodificador de audio y empalmador de flujo, respectivamente. De acuerdo con algunas realizaciones, un empalmador de flujo simplemente busca tal paquete de unidad de truncamiento con el fin de localizar un posible punto de empalme. El empalmador de flujo establece el paquete de unidad de truncamiento en consecuencia con el fin de indicar una porción de extremo de la trama de audio con la que la unidad de acceso predeterminada está asociada, como para ser descartados durante la emisión, corta el primer flujo de datos de audio en la unidad de acceso predeterminada y empalma el flujo de datos de audio con otro flujo de datos de audio para apoyarse entre sí en la unidad de acceso predeterminada. Dado que el paquete de unidad de truncamiento ya está previsto dentro del flujo de datos de audio empalmable, no hay datos adicionales para ser insertados por el proceso de empalme y, en consecuencia, el consumo de tasa de bits se mantiene sin cambios en esta medida.
En forma alternativa, un paquete de unidad de truncamiento se puede insertar en el momento del empalme. Independientemente de proporcionar inicialmente un flujo de datos de audio con un paquete de unidad de truncamiento o la proporción del mismo con un paquete de unidad de truncamiento en el momento de empalme, un flujo de datos de audio empalmado tiene tal paquete de unidad de truncamiento insertado con su interior siendo la porción de extremo una porción de extremo trasero en caso de que la unidad de acceso predeterminada sea parte del flujo de datos de audio que va delante del punto de empalme y una porción de extremo delantero en el caso de que la unidad de acceso predeterminada sea parte del flujo de datos de audio sucede el punto de empalme.
Los aspectos ventajosos de las implementaciones de la presente solicitud son objeto de las reivindicaciones dependientes. En particular, se describen realizaciones preferidas de la presente solicitud a continuación con respecto a las figuras, entre las cuales:
La Figura 1 muestra en forma esquemática de arriba a abajo una señal de audio, el flujo de datos de audio que tiene la señal de audio codificada en su interior en unidades de tramas de audio de la señal de audio, un vídeo que consiste en una secuencia de tramas y otro flujo de datos de audio y su señal de audio codificada en su interior que son para reemplazar potencialmente la señal de audio inicial de una trama de vídeo determinada en adelante;
La Figura 2 muestra un diagrama esquemático de un flujo de datos de audio empalmable, es decir, un flujo de datos de audio proporcionado con los paquetes de TU con el fin de aliviar las acciones de empalme, de acuerdo con una realización de la presente solicitud;
La Figura 3 muestra un diagrama esquemático que ilustra un paquete de TU de acuerdo con una realización;
La Figura 4 muestra en forma esquemática un paquete de TU, de acuerdo con una realización alternativa de acuerdo con la cual el paquete de TU es capaz de indicar una porción de extremo delantero y una porción de extremo trasero, respectivamente;
La Figura 5 muestra un diagrama de bloques de un codificador de audio de acuerdo con una realización;
La Figura 6 muestra un diagrama esquemático que ilustra una fuente de activación para instantes de tiempo de empalme de entrada y empalme de salida de acuerdo con una realización en donde los mismos dependen de un ráster de tramas de audio;
La Figura 7 muestra un diagrama de bloques esquemático de un empalmador de flujo de acuerdo con una realización con la figura que muestra, además, el empalmador de flujo durante la recepción del flujo de datos de audio de la Figura 2 y la salida de un flujo de datos de audio empalmado basado en el mismo;
La Figura 8 muestra un diagrama de flujo del modo de funcionamiento del empalmador de flujo de la Figura 7 durante el empalme del flujo de datos de audio inferior al superior, de acuerdo con una realización;
La Figura 9 muestra un diagrama de flujo del modo de funcionamiento del empalmador de flujo durante el empalme del flujo de datos de audio inferior de nuevo al superior, de acuerdo con una realización;
La Figura 10 muestra un diagrama de bloques de un decodificador de audio de acuerdo con una realización, que además ilustra el decodificador de audio durante la recepción del flujo de datos de audio empalmado que se muestra en la Figura 7;
La Figura 11 muestra un diagrama de flujo de un modo de funcionamiento del decodificador de audio de la Figura 10 con el fin de ilustrar los diferentes manejos de unidades de acceso en función de las mismas siendo unidades de acceso de IPF y/o unidades de acceso que comprenden paquetes de TU;
La Figura 12 muestra un ejemplo de una sintaxis de paquetes de TU;
Las Figuras 13A-C muestran diferentes ejemplos de cómo empalmar de un flujo de datos de audio al otro, con el instante de tiempo de empalme determinado por un vídeo, en la presente memoria un vídeo a 50 tramas por segundo y una señal de audio codificada en los flujos de datos de audio a 48 kHz con 1024 gránulos de toda la muestra o tramas de audio y con una base de tiempo de marca de tiempo de 90 kHz de una manera tal que una duración de la trama de vídeo sea igual a 1800 señales de base de tiempo mientras que una trama de audio o gránulo de audio es igual a 1920 señales de base de tiempo;
La Figura 14 muestra un diagrama esquemático que ilustra otro caso representativo del empalme de dos flujos de datos de audio en un instante de tiempo determinado por un empalme ráster de tramas de audio por el uso de la trama representativa y las tasas de muestra de las Figuras 13A-C;
La Figura 15 muestra un diagrama esquemático que ilustra una acción del codificador en el empalme de dos flujos de datos de audio de diferentes configuraciones de codificación de acuerdo con una realización;
La Figura 16 muestra diferentes casos de uso de empalme de acuerdo con una realización; y
La Figura 17 muestra un diagrama de bloques de un codificador de audio que soporta diferentes configuraciones de codificación de acuerdo con una realización.
La Figura 1 muestra una porción representativa de un flujo de datos de audio con el fin de ilustrar los problemas que ocurren cuando se trata de empalmar el respectivo flujo de datos de audio con otro flujo de datos de audio. En esta medida, el flujo de datos de audio de la Figura 1 forma una especie de base de los flujos de datos de audio que se muestran en las figuras siguientes. En consecuencia, la descripción presentada a continuación con el flujo de datos de audio de la Figura 1 también es válido para los flujos de datos de audio que se describen más adelante.
El flujo de datos de audio de la Figura 1 se indica en general por medio del signo de referencia 10. El flujo de datos de audio tiene codificada en el mismo una señal de audio 12. En particular, la señal de audio 12 está codificada en el flujo de datos de audio en unidades de tramas de audio 14, es decir, porciones temporales de la señal de audio 12 que pueden, de acuerdo con lo ilustrado en la Figura 1, ser no solapadas y hacer tope entre sí temporalmente, o, en forma alternativa, solaparse entre sí. La forma en que la señal de audio 12 está codificada, en unidades de las tramas de audio 14, y el flujo de datos de audio 10 pueden ser elegidos de manera diferente: se puede utilizar codificación de transformación con el fin de codificar la señal de audio en las unidades de las tramas de audio 14 en el flujo de datos 10. En ese caso, una o varias transformaciones de descomposición espectral se pueden aplicar sobre la señal de audio de la trama de audio 14, con una o más transformaciones de descomposición espectral temporalmente cubriendo la trama de audio 14 y extendiéndose más allá de su extremo delantero y trasero. Los coeficientes de transformación de descomposición espectral están contenidos dentro del flujo de datos de una manera tal que el decodificador es capaz de reconstruir la trama respectiva por medio de transformación inversa. Las porciones de transformaciones de superposición mutuamente e incluso más allá de los límites de la trama de audio en unidades de las cuales la señal de audio se descompone espectralmente son colocadas en ventanas con las denominadas funciones de la ventana en lado del codificador y/o del decodificador de una manera tal que un proceso denominado de solapamiento-suma en el lado del decodificador de acuerdo con el que las transformaciones de composición espectral señaladas y transformadas inversamente se solapan entre sí y se añaden, revela la reconstrucción de la señal de audio 12.
En forma alternativa, por ejemplo, el flujo de datos de audio 10 tiene la señal de audio 12 codificada en su interior en unidades de las tramas de audio 14 por el uso de predicción lineal, de acuerdo con la cual las tramas de audio se codifican por el uso de coeficientes de predicción lineal y la representación codificada de la predicción residual por el uso de, a su vez, los coeficientes de predicción a largo plazo (LTP) como ganancia de LTP y retardo de LTP, los índices del libro de código y/o una codificación de transformación de la excitación (señal residual). Incluso en la presente memoria, la reconstrucción de una trama de audio 14 en el lado de decodificación puede depender de una codificación de una trama precedente o en, por ejemplo, las predicciones temporales de una trama de audio a otra o la superposición de ventanas de transformación para transformar la codificación de la señal de excitación o similares. La circunstancia se menciona en la presente memoria, ya que juega un papel en la siguiente descripción.
Para los propósitos de transmisión y manejo de la red, el flujo de datos de audio 10 está compuesto por una secuencia de paquetes de carga útil 16. Cada uno de los paquetes de carga útil 16 pertenece a una respectiva de la secuencia de unidades de acceso 18 en la que el flujo de datos de audio 10 está particionado a lo largo del orden del flujo 20. Cada una de las unidades de acceso 18 está asociada con una respectiva de las tramas de audio 14, de acuerdo con lo indicado por las flechas de doble punta 22 en la Figura 1. De acuerdo con lo ilustrado en la Figura 1, el orden temporal de las tramas de audio 14 puede coincidir con el orden de las tramas de audio asociadas 18 en el flujo de datos 10: una trama de audio 14 inmediatamente posterior a otra trama puede estar asociada con una unidad de acceso en el flujo de datos 10 inmediatamente posterior a la unidad de acceso de la otra trama de audio en el flujo de datos 10.
Es decir, de acuerdo con lo representado en la Figura 1, cada unidad de acceso 18 puede tener uno o más paquetes de carga útil 16. Los uno o más paquetes de carga útil 16 de cierta unidad de acceso 18 tiene/n codificados en su interior los parámetros de codificación mencionados con anterioridad que describen la trama asociada 14 tal como los coeficientes de transformación de descomposición espectral, LPC, y/o una codificación de la señal de excitación.
El flujo de datos de audio 10 también puede comprender información de marca de tiempo 24 que indica para cada unidad de acceso 18 del flujo de datos 10 esta marca de tiempo t<i>en la que la trama de audio i con la que la unidad de acceso respectiva 18 AU<i>está asociada, se va a emitir. La información de marca de tiempo 24 se puede insertar, de acuerdo con lo ilustrado en la Figura 1, en uno de los uno o más paquetes 16 de cada unidad de acceso 18 para indicar la marca de tiempo de la trama de audio asociada, pero diferentes soluciones son factibles también, tal como la inserción de la información de marca de tiempo t<i>de una trama de audio i en cada uno de los uno o más paquetes de la unidad de acceso asociada AU<i>.
Debido a la paquetización, la partición de unidad de acceso y la información de marca de tiempo 24, el flujo de datos de audio 10 es en especial adecuado para ser transmitido entre codificador y decodificador. Es decir, el flujo de datos de audio 10 de la Figura 1 es un flujo de datos de audio del formato de flujo. El flujo de datos de audio de la Figura 1 puede, por ejemplo, ser un flujo de datos de audio de acuerdo con MPEG-H 3D Audio o MHAS [2].
Con el fin de facilitar el manejo de transporte/red, los paquetes 16 pueden tener tamaños de byte alineados y paquetes 16 de diferentes tipos se pueden distinguir. Por ejemplo, algunos paquetes 16 se pueden relacionar con un primer canal de audio o un primer conjunto de canales de audio y tener un primer tipo de paquete asociado con el mismo, mientras que los paquetes que tienen otro tipo de paquete asociado con el mismo tienen codificado en su interior otro canal de audio u otro conjunto de canales de audio de señal de audio 12 codificada su interior. Los paquetes incluso adicionales pueden ser de un tipo de paquete que lleva raramente datos cambiantes tales como datos de configuración, parámetros de codificación válidos, o ser utilizados por, la secuencia de unidades de acceso. Incluso otros paquetes 16 pueden ser de un tipo de paquete que lleva parámetros de codificación válidos para la unidad de acceso a la que pertenecen, mientras que otros paquetes de carga útil llevan las codificaciones de los valores de muestras, coeficientes de transformación, coeficientes LPC, o similares. En consecuencia, cada paquete 16 puede tener un indicador de tipo de paquete en el mismo que es de fácil acceso por entidades de red intermedias y el decodificador, respectivamente. Los paquetes de TU descritos a continuación pueden ser distinguibles de los paquetes de carga útil por el tipo de paquete.
Mientras el flujo de datos de audio 10 se transmite como está, no se produce problema alguno. Sin embargo, se imagina que la señal de audio 12 se va a emitir en el lado de decodificación hasta algún punto en el tiempo indicado en forma representativa por<t>en la Figura 1, solamente. La Figura 1 ilustra, por ejemplo, que este punto en el tiempo<t>puede ser determinado por algún reloj externo, tal como un reloj de la trama de vídeo. La Figura 1, por ejemplo, ilustra en 26 un vídeo compuesto por una secuencia de tramas 28 en una manera alineada en el tiempo con respecto a la señal de audio 12, uno encima del otro. Por ejemplo, la marca de tiempo T<trama>podría ser la marca de tiempo de la primera imagen de una nueva escena, un nuevo programa o similar, y en consecuencia se podría desear que la señal de audio 12 se corte en ese momento<t>= T<trama>y sea sustituida por otra señal de audio 12 a partir de ese momento en adelante, lo que representa, por ejemplo, la señal de tono de la nueva escena o programa. La Figura 1, por ejemplo, ilustra un flujo de datos de audio ya existente 30 construido de la misma manera que el flujo de datos de audio 10, es decir, por el uso de unidades de acceso 18 compuestas por uno o más paquetes de carga útil 16 en los que la señal de audio 32 que de acompaña o describe la secuencia de imágenes de tramas 28 a partir de la marca de tiempo T<trama>en las tramas de audio 14 de una manera tal que la primera trama de audio 14 tiene su extremo delantero que coincide con la marca de tiempo T<trama>, es decir, la señal de audio 32 se va a emitir con el extremo delantero de la trama 14 registrada para la emisión de la marca de tiempo T<trama>.
En forma desventajosa, sin embargo, la tasa de trama de la trama 14 del flujo de datos de audio 10 es independiente por completo de la tasa de trama del vídeo 26. Por consiguiente, es por completo aleatorio donde dentro de un cierta trama 14 de la señal de audio 12<t>= T<trama>cae en. Es decir, sin ninguna medida adicional, sería más que posible dejar por completo fuera la unidad de acceso AU<j>asociada a la trama de audio 14, j, dentro de la cual yace<t ,>y añadir a la unidad de acceso predecesora AU<j-1>del flujo de datos de audio 10 la secuencia de unidades de acceso<18>del flujo de datos de audio 30, con lo que sin embargo provocan un mudo en la porción de extremo delantero 34 de la trama de audio j de la señal de audio 12.
Las diversas realizaciones descriptas de aquí en adelante superan la deficiencia descripta con anterioridad y permiten un manejo de tales problemas de empalme.
La Figura 2 muestra un flujo de datos de audio de acuerdo con una realización de la presente solicitud. El flujo de datos de audio de la Figura 2 se indica en general por medio del signo de referencia 40. En primer lugar, la construcción de la señal de audio 40 coincide con el explicado con anterioridad con respecto al flujo de datos de audio 10, es decir, el flujo de datos de audio 40 comprende una secuencia de paquetes de carga útil, es decir, uno o más para cada unidad de acceso 18 en el que el flujo de datos 40 está particionado. Cada unidad de acceso 18 está asociada con un cierto de las tramas de audio de la señal de audio que está codificada en el flujo de datos 40 en las unidades de las tramas de audio 14. Más allá de esto, sin embargo, el flujo de datos de audio 40 ha sido "preparado" para ser empalmado dentro de una trama de audio con la que cualquier unidad de acceso predeterminada está asociada. En este caso, se trata en forma representativa de la unidad de acceso AU<i>y la unidad de acceso AU<j>. Primero se refiere a la unidad de acceso AU<i>. En particular, el flujo de datos de audio 40 se vuelve "empalmable" por tener un paquete de unidad de truncamiento 42 insertado en su interior, el paquete de unidad de truncamiento 42 es ajustable para indicar, para la unidad de acceso AU<i>, una porción de extremo de la trama de audio asociada i como para ser descartada durante la emisión. Las ventajas y efectos del paquete de unidad de truncamiento 42 se discutirán de aquí en adelante. Algunas notas preliminares, sin embargo, se harán con respecto a la colocación del paquete de unidad de truncamiento 42 y el contenido del mismo. Por ejemplo, si bien la Figura 2 muestra el paquete de unidad de truncamiento 42 como estando situado dentro de la unidad de acceso AU<i>, es decir, la porción de extremo del cual indica el paquete de unidad de truncamiento 42, el paquete de unidad de truncamiento 42 puede en forma alternativa estar situado en cualquier unidad de acceso precedente a la unidad de acceso AU<i>. Del mismo modo, si bien el paquete de unidad de truncamiento 42 está dentro de la unidad de acceso AU<i>, la unidad de acceso 42 no está obligada a ser el primer paquete en la unidad de acceso respectiva AU<i>de acuerdo con lo ilustrado en forma representativa en la Figura 2.
De acuerdo con una realización que se ilustra en la Figura 3, la porción de extremo indicada por el paquete de unidad de truncamiento 42 es una porción de extremo trasero 44, es decir, una porción de la trama 14 que se extiende desde algún instante de tiempo t<interior>dentro de la trama de audio 14 para el extremo posterior de la trama 14. En otras palabras, de acuerdo con la realización de la Figura 3, no hay ningún elemento de sintaxis que señala si la porción de extremo indicada por el paquete de unidad de truncamiento 42 deberá ser una porción de extremo delantero o una porción de extremo trasero. Sin embargo, el paquete de unidad de truncamiento 42 de la Figura 3 comprende un índice de tipo de paquete 46 que indica que el paquete 42 es un paquete de unidad de truncamiento, y un elemento de longitud de truncamiento 48 que indica una longitud de truncamiento, es decir, la longitud temporal At de la porción de extremo trasero 44. La longitud de truncamiento 48 puede medir la longitud de la porción 44 en unidades de muestras de audio individuales, o en n-tuplas de muestras consecutivas de audio con n siendo mayor que uno y ser, por ejemplo, más pequeñas que las muestras N siendo N el número de muestras en la trama 14.
Se describe más adelante que el paquete de unidad de truncamiento 42 puede comprender en forma opcional uno o más marcadores 50 y 52. Por ejemplo, el marcador 50 podría ser un marcador de empalme de salida que indica que la unidad de acceso AU<i>para la que el paquete de unidad de truncamiento 42 indica la porción de extremo 44, está preparada para ser utilizada como un punto de empalme de salida. El marcador 52 podría ser un marcador dedicado al decodificador para indicar si la unidad de acceso actual AU<i>en realidad se ha utilizado como un punto de empalme de salida o no. Por ejemplo, la presencia del paquete de TU 42 en sí podría ser una señal para transmitir empalmadores y decodificadores que la unidad de acceso a la que pertenece la unidad de truncamiento 42 es una unidad de dicho acceso adecuado para el empalme de salida, y un ajuste de la longitud de truncamiento 48 a cero podría ser una indicación al decodificador que no se ha de llevar a cabo un truncamiento y sin empalme de salida, en consecuencia.
Las notas anteriores con respecto al paquete de TU 42 son válidas para cualquier paquete de TU tal como el paquete de TU 58.
De acuerdo con lo que se describirá más adelante, también puede ser necesaria la indicación de una porción de extremo delantero de una unidad de acceso. En ese caso, un paquete de unidad de truncamiento tal como el paquete de TU 58, puede ser ajustable con el fin de indicar una porción de extremo trasero como la representada en la Figura 3. Dicho paquete de TU 58 se puede distinguir de los paquetes de unidad de truncamiento de la porción de extremo delantero tal como 42 por medio del índice de tipo del paquete de unidad de truncamiento 46. En otras palabras, los diferentes tipos de paquetes podrían estar asociados con paquetes de TU 42 que indica porciones de extremo trasero y paquetes de TU que son para indicar porciones de extremo delantero, respectivamente.
En aras de la exhaustividad, la Figura 4 ilustra una posibilidad de acuerdo con la cual el paquete de unidad de truncamiento 42 comprende, además de los elementos de sintaxis que se muestran en la Figura 3, un indicador delantero/trasero 54 que indica si la longitud de truncamiento 48 se mide desde el extremo delantero o el extremo trasero de la trama de audio i hacia el interior de la trama de audio i, es decir, si la porción de extremo, la longitud de la cual está indicada por la longitud de truncamiento 48 es una porción de extremo trasero 44 o una porción de extremo delantero 56. El tipo de paquete de los paquetes de TU entonces sería el mismo.
De acuerdo con lo descrito en más detalle a continuación, el paquete de unidad de truncamiento 42 hace que la unidad de acceso AU<i>sea adecuada para un empalme de salida, ya que es factible para los empalmadores de flujo que se describen en forma adicional a continuación que ajusten la porción de extremo trasero 44 de una manera tal que desde el tiempo de empalme de salida definido en forma externa<t>(comparar con la Figura 1) en la emisión de la trama de audio i se detenga. A partir de entonces, las tramas de audio del flujo de datos de audio empalmado en la entrada pueden ser emitidas.
Sin embargo, la Figura 2 también ilustra un paquete de unidad de truncamiento adicional 58 que se inserta en el flujo de datos de audio 40, este paquete de unidad de truncamiento adicional 58 es ajustable de una manera tal que se indica para la unidad de acceso AU<j>, con j > i, de la que una porción de extremo del mismo es para ser descartada durante la emisión. Esta vez, sin embargo, la unidad de acceso AU<j>, es decir, la unidad de acceso AU<j+1>, tiene codificada en su interior su trama de audio asociada j de una manera independiente de la unidad de acceso inmediatamente predecesora AU<j-1>, a saber, en que no se han de ajustar referencias de predicción o registros del decodificador interno en forma dependiente de la unidad de acceso predecesora AU<j-1>, o en que ningún proceso de solapamiento-suma hace una reconstrucción de la unidad de acceso AU<j-1>como un requisito para reconstruir correctamente y emitir la unidad de acceso AU<j>. Con el fin de distinguir la unidad de acceso AU<j>, que es una unidad de acceso de emisión inmediata, de las otras unidades de acceso que sufren de las interdependencias de unidad de acceso descriptas con anterioridad, tal como, entre otras, AU<i>, la unidad de acceso AU<j>se pone de relieve por el uso de eclosión.
La Figura 2 ilustra el hecho de que las otras unidades de acceso que se muestran en la Figura 2 tienen su trama de audio codificada en su interior asociada en una manera tal que su reconstrucción es dependiente de la unidad de acceso inmediatamente predecesora en el sentido de que la reconstrucción y emisión correcta de la trama de audio respectiva sobre la base de la unidad de acceso asociada es simplemente factible en el caso de tener la unidad de acceso de acceso inmediatamente predecesora, de acuerdo con lo ilustrado por las flechas pequeñas 60 que apuntan desde la unidad de acceso predecesora de la unidad de acceso respectiva. En el caso de la unidad de acceso AU<j>, la flecha que apunta desde la unidad de acceso inmediatamente predecesora, a saber AU<j-1>, la unidad de acceso AU<j>está tachado con el fin de indicar la capacidad de emisión inmediata de la unidad de acceso AU<j>. Por ejemplo, con el fin de proporcionar esta capacidad de emisión inmediata, la unidad de acceso AU<j>tiene datos adicionales codificados en ella, tales como información de inicialización para inicializar los registros internos del decodificador, los datos que permiten una estimación de la información de cancelación de alias por lo general proporcionada por la porción de superposición temporal de las transformaciones inversas de la unidad de acceso inmediatamente predecesora o similares.
Las capacidades de las unidades de acceso AU<i>y AU<j>son diferentes la una de la otra: la unidad de acceso AU<i>es, de acuerdo con lo indicado a continuación, adecuada como un punto de empalme de salida debido a la presencia del paquete de unidad de truncamiento 42. En otras palabras, un empalmador de flujo es capaz de cortar el flujo de datos de audio 40 en la unidad de acceso AU<i>así como también de añadir unidades de acceso de otro flujo de datos de audio, es decir, un flujo de datos de audio empalmado en la entrada.
Esto es factible en la unidad de acceso AU<j>también, con la condición de que el paquete de TU 58 sea capaz de indicar una porción de extremo trasero 44. En forma adicional o en forma alternativa, el paquete de unidad de truncamiento 58 es ajustable para indicar una porción de extremo delantero, y en ese caso la unidad de acceso AU<j>es adecuada para servir como una ocasión de empalme de entrada (de nuevo). Es decir, el paquete de unidad de truncamiento 58 puede indicar una porción de extremo delantero de la trama de audio j que no sea emitida y hasta ese punto en el tiempo, es decir, hasta el extremo trasero de esta porción de extremo trasero, la señal de audio del flujo de datos de audio (preliminarmente) empalmado en la entrada puede ser emitido.
Por ejemplo, el paquete de unidad de truncamiento 42 podría haber establecido el marcador de empalme de salida 50 en cero, mientras que el marcador de empalme de salida 50 del paquete de unidad de truncamiento 58 puede ser ajustado a cero o puede ser ajustado a 1. Algunos ejemplos explícitos se describirán en forma adicional a continuación tal como con respecto a la Figura 16.
Se debe señalar que no hay necesidad de la existencia de una unidad de acceso AU<j>capaz de empalmar en la entrada. Por ejemplo, el flujo de datos de audio a ser empalmado en la entrada podría tener como objetivo reemplazar la emisión del flujo de datos de audio 40 por completo desde el instante de tiempo<t>en adelante, es decir, sin que tenga lugar un empalme de entrada (de nuevo) para el flujo de datos de audio 40. Sin embargo, si el flujo de datos de audio a ser empalmado en la entrada es para reemplazar la señal de audio del flujo de datos de audio 40 simplemente preliminarmente, a continuación, en un empalme de entrada de nuevo para el flujo de datos de audio 40 es necesario, y en ese caso, para cualquier paquete de TU 42 del empalme de salida debe haber un empalme de entrada en el paquete de TU 58 que sigue en el orden del flujo de datos 20.
La Figura 5 muestra un codificador de audio 70 para generar el flujo de datos de audio 40 de la Figura 2. El codificador de audio 70 comprende un núcleo de codificación de audio 72 y el insertador de paquetes de truncamiento 74. El núcleo de codificación de audio 72 está configurado para codificar la señal de audio 12 que entra en el núcleo de codificación de audio 72 en unidades de las tramas de audio de la señal de audio, en los paquetes de carga útil del flujo de datos de audio 40 en una manera que se ha descrito con anterioridad con respecto a la Figura 1, por ejemplo. Es decir, el núcleo de codificación de audio 72 puede ser un codificador de transformaciones que codifica la señal de audio 12 por el uso de una transformada solapada, por ejemplo, tal como una MDCT, y luego la codificación de los coeficientes de transformación, en el que las ventanas de la transformada solapada puede, de acuerdo con lo descrito con anterioridad, cruzar los límites de la trama entre las tramas de audio consecutivas, lo que de ese modo da lugar a una interdependencia de las tramas de audio inmediatamente consecutivas y sus unidades de acceso asociadas. En forma alternativa, el núcleo del codificador de audio 72 puede utilizar codificación basada en predicción lineal como para codificar la señal de audio 12 en el flujo de datos 40. Por ejemplo, el núcleo de codificación de audio 72 codifica los coeficientes de predicción lineal que describen la envolvente espectral de la señal de audio 12 o alguna versión pre-filtrada de los mismos sobre una base por lo menos trama por trama, con, además, la codificación de la señal de excitación. Las actualizaciones continuas de la codificación predictiva o las cuestiones de transformaciones en bucle relativas a la señal de codificación de excitación pueden llevar a las interdependencias entre las tramas de audio inmediatamente consecutivas y sus unidades de acceso asociadas. Sin embargo, otros principios de codificación son imaginables también.
El insertador de paquetes de unidad de truncamiento 74 inserta en el flujo de datos de audio 40 los paquetes de unidad de truncamiento tales como 42 y 58 en la Figura 2. De acuerdo con lo mostrado en la Figura 5, el insertador de paquetes de TU 74 puede, con este fin, ser sensible a un activador de la posición de empalme 76. Por ejemplo, el activador de la posición de empalme 76 puede ser informado de cambios en la escena o el programa u otros cambios en un vídeo, es decir, dentro de la secuencia de tramas, y puede en consecuencia señalizar al insertador de paquetes de unidad de truncamiento 74 cualquier primer trama de tal nueva escena o programa. La señal de audio 12, por ejemplo, representa continuamente el acompañamiento de audio del vídeo para el caso de que, por ejemplo, ninguna de las escenas o programas individuales en el vídeo se sustituyan por otras secuencias de trama o similares. Por ejemplo, se imagina que un vídeo representa un partido de fútbol en vivo y que la señal de audio 12 es la señal de tono relacionada con el mismo. Entonces, el activador de la posición de empalme 76 puede ser operado en forma manual o automática con el fin de identificar porciones temporales del vídeo del partido de fútbol que están sujetas a una potencial sustitución por agregados, es decir, agregados de videos y, en consecuencia, el activador 76 señalizaría los inicios de tales porciones al insertador de paquetes de TU 74 de una manera tal que éste pueda, en respuesta a la señal, insertar un paquete de TU 42 en una posición tal, es decir, en relación con la unidad de acceso asociada a la trama de audio en la que yace la primera trama de vídeo del potencial para ser sustituido como la porción del vídeo que se inicia. Además, el activador 76 informa al insertador de paquetes de TU 74 en el extremo posterior de tales porciones potencialmente a ser reemplazadas, como para insertar un paquete de TU 58 a una unidad de acceso respectiva asociada con una trama de audio en la que cae el extremo de una porción tal. En cuanto a lo que se refiere a tales paquetes de TU 58, el núcleo de codificación de audio 72 también es sensible al activador 76 con el fin de codificar de manera diferente o, excepcional, la trama de audio respectiva en tal unidad de acceso AU<j>(comparar con la Figura 2) de una manera tal que permite la emisión inmediata tal como se ha descrito anteriormente. En el medio, es decir, dentro de tales porciones potencialmente a ser sustituidas del vídeo, el activador 76 puede insertar en forma intermitente paquetes de TU 58 con el fin de servir como un punto de empalme de entrada o punto de empalme de salida. De acuerdo con un ejemplo concreto, el activador 76 informa, por ejemplo, al codificador de audio 70 de las marcas de tiempo de la trama primera o de partida de una porción tal a ser potencialmente reemplazada, y la marca de tiempo de la trama última o de extremo de una porción tal, en la que el codificador 70 identifica las tramas de audio y las unidades de acceso asociadas con respecto a la cual la inserción de paquetes de TU y, potencialmente, la codificación de emisión inmediata se llevará a cabo por medio de la identificación de las tramas de audio en el que las marcas de tiempo que recibieron de activador 76 caen.
Con el fin de ilustrar esto, se hace referencia a la Figura 6 que muestra la el ráster de tramas fijo en el que el núcleo de codificación de audio 72 funciona, a saber, en 80, junto con el ráster de tramas fijo 82 de un vídeo al que la señal de audio 12 pertenece. Una porción 84 fuera del vídeo 86 se indica por el uso de un corchete. Esta porción 84 es por ejemplo determinada manualmente por un operador o en forma parcial o totalmente automática por medio de detección de la escena. La primera y la última trama 88 y 90 tienen asociadas con las mismas las marcas de tiempo T<b>y T<e>, que se encuentran dentro de las tramas de audio i y j del ráster de tramas 80. En consecuencia, estas tramas de audio 14, es decir, i y j, se proporcionan con los paquetes de TU por medio del insertador de paquetes de TU 74, en el que núcleo de codificación de audio 72 utiliza el modo de emisión inmediata con el fin de generar la unidad de acceso correspondiente a la trama de audio j.
Se debe señalar que el insertador de paquetes de TU 74 puede estar configurado para insertar los paquetes de TU 42 y 58 con valores predeterminados. Por ejemplo, el elemento de sintaxis de longitud de truncamiento 48 se puede ajustar en cero. En cuanto al marcador de empalme 50, que es opcional, el mismo es fijado por el insertador de paquetes de TU 74 de la manera descrita anteriormente con respecto a las Figuras 2 a 4, es decir, indicando la posibilidad de empalme para los paquetes de TU 42 y para todos los paquetes de TU 58 además de los registrados con la trama o imagen final del vídeo 86. El marcador de empalme activo 52 se ajustaría en cero, ya que no se ha aplicado un empalme hasta ese momento.
Se observa con respecto al codificador de audio de la Figura 6, que la manera de controlar la inserción de paquetes de TU, es decir, la manera de seleccionar las unidades de acceso por las que se lleva a cabo la inserción, de acuerdo con lo explicado con respecto a las Figuras 5 y 6 es sólo ilustrativa y también son factibles otras formas de determinar esas unidades de acceso para las cuales se lleva a cabo la inserción. Por ejemplo, cada unidad de acceso, cada N-ésima (N> 2) unidad de acceso o cada unidad de acceso de IPF en forma alternativa podría estar provista de un paquete de TU correspondiente.
No se ha mencionado en forma explícita con anterioridad, pero con preferencia los paquetes de TU están codificados en forma no comprimida de una manera tal que un consumo de bits (tasa de bits de codificación) de un respectivo paquete de TU es independiente del ajuste real del paquete de TU. Habiendo dicho esto, vale la pena señalar que el codificador puede, en forma opcional, comprender un control de la tasa (no mostrado en la Figura 5), configurado para registrar un nivel de llenado de un búfer de audio codificado con el fin de obtener por seguro que un búfer de audio codificado en el lado del decodificador en el que el flujo de datos 40 se recibe ni subdesbordamientos, lo que da lugar a paradas, ni desbordamientos lo que dan lugar a pérdida de paquetes 12. El codificador puede, por ejemplo, controlar/variar un tamaño de paso de cuantificación para obedecer la limitación de nivel de llenado con la optimización de alguna medida la tasa/distorsión. En particular, el control de la tasa puede estimar el nivel de llenado del búfer de audio codificado del decodificador suponiendo una capacidad de transmisión/tasa de bits que puede ser constante o casi constante y, por ejemplo, ser preestablecida por una entidad externa tal como una red de transmisión predeterminada. La tasa de codificación de los paquetes de TU del flujo de datos 40 es tenida en cuenta por el control de la tasa. Por lo tanto, en la forma mostrada en la Figura 2, es decir, en la versión generada por el codificador 70, el flujo de datos 40 mantiene la tasa de bits preestablecida con diferentes, sin embargo, alrededor de la misma con el fin de compensar la variación de la complejidad de codificación si la señal de audio 12 en términos de su proporción de la tasa/distorsión ni con sobrecarga del nivel de llenado de audio codificado del decodificador (lo que daría lugar a un desbordamiento), ni con reducción de la potencia del mismo (lo que daría lugar a un subdesbordamiento). Sin embargo, como ya se ha descrito brevemente anteriormente, y se describirá con más detalle a continuación, se supone que cada unidad de acceso de empalme AU<i>, de acuerdo con las realizaciones preferidas, contribuye a la reproducción en el lado del decodificador simplemente durante una duración temporal menor que la longitud temporal de su trama de audio i. Como quedará claro a partir de la descripción presentada a continuación, la unidad de acceso (principal) de un flujo de datos de audio empalmado empalmado con el flujo de datos 40 en la AU de empalme de salida respectiva, tal como la AU<i>como interfaz de empalme, desplazará las AU sucesoras de la AU de empalme de salida respectiva. Por lo tanto, desde ese momento en adelante, el control de tasa de bits llevado a cabo dentro del codificador 70 es obsoleto. Más allá de eso, dicha AU delantera está codificada con preferencia de manera autónoma con el fin de permitir una emisión inmediata, lo que de ese modo consume con ello la tasa de bits más codificada en comparación con la AU no de IPF. De este modo, de acuerdo con una realización, el codificador 70 planea o programa el control de la tasa de una manera tal que el nivel de llenado registrado en el respectivo extremo de la AU de empalme de salida, es decir, en su frontera con la AU sucesor inmediata, asume, por ejemplo, un valor predeterminado tal como, por ejemplo,% o un valor entre % y 1/8 del nivel de llenado máximo. Por medio de esta medida, otros codificadores que preparan los flujos de datos de audio que se supone que se van a empalmar en el flujo de datos 40 en las AU de empalme de salida del flujo de datos 40 pueden confiar en el hecho de que el nivel de llenado del búfer de audio codificado del decodificador en el momento de comenzar a recibir sus propias AU (de aquí en adelante a veces se distinguen de los originales por medio de un apóstrofe) está en el valor predeterminado de una manera tal que estos otros codificadores pueden desarrollar en forma adicional el control de la tasa en consecuencia. La descripción presentada hasta ahora se concentró en las AU de empalme de salida del flujo de datos 40, pero la adherencia a un nivel de llenado estimado/conectado predeterminada también se puede conseguir por medio del control de la tasa para las AU de empalme de entrada (de nuevo) tal como la AU<j>incluso si no juega un doble papel como punto de empalme de entrada y empalme de salida. De este modo, dichos otros codificadores pueden, así mismo, controlar su control de la tasa de una manera tal que el nivel de llenado estimado o conectado asume un nivel de llenado predeterminado a una AU trasera de la secuencia de AU de su flujo de datos. El mismo puede ser el mismo que el mencionado para el codificador 70 con respecto a las AU de empalme de salida. Tales AU traseras se pueden suponer a partir de las AU de empalme de regreso que se suponen desde un punto de empalme con las AU de empalme de entrada del flujo de datos 40 tal como AU<j>. Por lo tanto, si el control de la tasa 70 del codificador tiene planeada/programada la tasa de bits codificada de una manera tal que el nivel de llenado estimado/conectado asume el nivel de llenado predeterminado en (o mejor después) de la AU<j>, entonces este control de la tasa de bits se mantiene incluso válido en caso de que el empalme se haya llevado a cabo después de la codificación y salida del flujo de datos 40. El nivel de llenado predeterminado que se acaba de mencionar podría ser conocido para los codificadores de forma predeterminada, es decir, acordado entre ellos. En forma alternativa, las respectivas Au podrían estar provistas de una señalización explícita del nivel de llenado estimado/conectado de acuerdo con lo que se supone justo después de la AU respectiva de empalme de entrada o empalme de salida. Por ejemplo, el valor se podría transmitir en el paquete de T<u>de la AU respectiva de empalme de entrada o empalme de salida. Esto cuesta información lateral adicional general, pero el control de la tasa del codificador podría estar provisto de una mayor libertad en el desarrollo del nivel de llenado estimado/conectado a la AU de empalme de entrada o empalme de salida: por ejemplo, puede ser suficiente entonces que el nivel de llenado/conectado después de la AU respectiva de empalme de entrada o empalme de salida esté por debajo de cierto umbral, tal como % del nivel máximo de llenado, es decir, la capacidad máxima garantizada del búfer de audio codificado del decodificador.
Con respecto al flujo de datos 40, esto significa que el mismo es de tasa controlada para variar alrededor de una tasa de bits media predeterminada, es decir, tiene una tasa de bits media. La tasa de bits real del flujo de datos de audio empalmable varía a través de la secuencia de paquetes, es decir, temporalmente. La desviación (actual) de la tasa de bits media predeterminada puede estar integrada temporalmente. Esta desviación integrada asume, en las unidades de acceso de empalme de entrada y empalme de salida, un valor dentro de un intervalo predeterminado que puede ser de menos de la A de ancho de un intervalo (máx.-mín.) de la desviación de la tasa de bits integrada, o puede asumir un valor fijo, por ejemplo, un valor igual para todas las AU de empalme de entrada y empalme de salida, que puede ser inferior al % de un máximo de la desviación de la tasa de bits integrada. De acuerdo con lo descrito con anterioridad, este valor puede estar pre-configurado por defecto. En forma alternativa, el valor no es fijo y no es igual para todas las AU de empalme de entrada y empalme de salida, pero podrá, por medio de señalizado en el flujo de datos.
La Figura 7 muestra un empalmador de flujo para el empalme de flujos de datos de audio de acuerdo con una realización. El empalmador de flujo se indica por el uso de la referencia 100 y comprende una primera interfaz de audio de entrada 102, una segunda interfaz de entrada de audio 104, un regulador del punto de empalme 106 y un multiplexor de empalme 108.
En la interfaz 102, el empalmador de flujo espera por la recepción de un flujo de datos de audio "empalmable", es decir, un flujo de datos de audio provisto de uno o más paquetes de TU. En la Figura 7 se ha ilustrado a modo de ejemplo que el flujo de datos de audio 40 de la Figura 2 entra en el empalmador de flujo 100 en la interfaz 102.
Se espera otro flujo de datos de audio 110 para ser recibido en la interfaz 104. Dependiendo de la implementación del empalmador de flujo 100, el flujo de datos de audio 110 que entrar en la interfaz 104 puede ser un flujo de datos de audio "no preparado" como el que se explica y se describe con respecto a la Figura 1, o uno preparado de acuerdo con lo establecido en forma ilustrativa a continuación.
El regulador del punto de empalme 106 está configurado para establecer el paquete de unidad de truncamiento incluido en el flujo de datos que entra en la interfaz 102, es decir, paquetes de TU 42 y 58 del flujo de datos 40 en el caso de la Figura 7, y si están presente los paquetes de unidad de truncamiento del otro flujo de datos 110 que entra en la interfaz 104, en el que dos de tales paquetes de TU se muestran a modo de ejemplo en la Figura 7, a saber, un paquete de TU 112 en una unidad de acceso delantera o primera AU'<1>del flujo de datos de audio 110, y un paquete de TU 114 en una unidad de acceso última o posterior AU'<k>del flujo de datos de audio 110. En particular, el apóstrofe se utiliza en la Figura 7 con el fin de distinguir entre las unidades de acceso del flujo de datos de audio 110 de las unidades de acceso del flujo de datos de audio 40. Además, en el ejemplo descrito con respecto a la Figura 7, el flujo de datos de audio 110 se supone que es pre- codificado y de longitud fija, es decir, en este caso de K unidades de acceso, correspondiente a K tramas de audio que en conjunto cubren temporalmente un intervalo de tiempo en el que la señal de audio que ha sido codificada en la secuencia de datos 40 se ha de reemplazar. En la Figura 7, se supone a modo de ejemplo que este intervalo de tiempo a ser reemplazado se extiende desde la trama de audio que corresponde a la unidad de acceso AU<i>a la trama de audio que corresponde a la unidad de acceso AU<j>.
En particular, el regulador del punto de empalme 106 está, de una manera descripta en más detalle a continuación, configurada para establecer los paquetes de unidad de truncamiento de una manera tal que se hace evidente que un truncamiento en realidad se lleva a cabo. Por ejemplo, mientras que la longitud de truncamiento 48 dentro de las unidades de truncamiento de los flujos de datos que entran en las interfaces 102 y 104 se puede ajustar en cero, el regulador del punto de empalme 106 puede cambiar el ajuste de la longitud de transformación 48 de los paquetes de TU a un valor distinto de cero. Cómo se determina el valor es el objeto de la explicación que sigue a continuación.
El multiplexor de empalme 108 está configurado para cortar el flujo de datos de audio 40 que entra en la interfaz 102 en una unidad de acceso con un paquete de TU tal como unidad de acceso AU<i>con el paquete de TU 42, con el fin de obtener una subsecuencia de paquetes de carga útil de este flujo de datos de audio 40, es decir, en la presente memoria en la Figura 7 en forma representativa la subsecuencia de paquetes de carga útil correspondiente para acceder a las unidades precedentes y que incluye la unidad de acceso AU<i>, y luego por medio del empalme de esta subsecuencia con una secuencia de paquetes de carga útil del otro flujo de datos de audio 110 que entra en la interfaz 104 de una manera tal que las mismas sean inmediatamente consecutivas una con respecto a la otra y hagan tope entre sí en la unidad de acceso predeterminada. Por ejemplo, el multiplexor de empalme 108 corta el flujo de datos de audio 40 en la unidad de acceso AU<i>de manera tal que basta con incluir el paquete de carga útil que pertenece a la unidad de acceso AU<i>entonces las unidades de acceso AU' añadidas del flujo de datos de audio 110 a partir de la unidad de acceso AU'<1>de una manera tal que las unidades de acceso AU<i>y AU'<1>hagan tope entre sí. De acuerdo con lo mostrado en la Figura 7, el multiplexor de empalme 108 actúa de manera similar en el caso de la unidad de acceso AU<j>que comprende el paquete de TU 58: este tiempo, el multiplexor de empalme 108 añade el flujo de datos 40, a partir de los paquetes de carga útil pertenecientes a la unidad de acceso AU<j>, hasta el final del flujo de datos de audio 110 de una manera tal que la unidad de acceso AU'<k>hace tope con la unidad de acceso AU<j>.
En consecuencia, el regulador del punto de empalme 106 establece el paquete de TU 42 de la unidad de acceso AU<i>así como también para indicar que la porción de extremo a ser descartada durante la emisión es una porción de extremo trasero dado que la señal de audio del flujo de datos de audio 40 va a ser reemplazada, preliminarmente, por la señal de audio codificada en el flujo de datos de audio 110 desde ese momento en adelante. En el caso de la unidad de truncamiento 58, la situación es diferente: en este caso, el regulador del punto de empalme 106 establece el paquete de TU 58 con el fin de indicar que la porción de extremo a ser descartada durante la emisión es una porción de extremo delantero de la trama de audio con la que la unidad de acceso AU<j>está asociada. Se debe recordar, sin embargo, que el hecho de que el paquete de TU 42 pertenezca a una porción de extremo trasero, mientras que los paquetes de TU 58 pertenecen a una porción de extremo delantero ya es derivable del flujo de datos de audio de entrada 40 por el uso de, por ejemplo, diferentes identificadores de paquete de TU 46 para el paquete de TU 42 por una parte y el paquete de TU 58 por otra parte.
El empalmador de flujo 100 da salidas al flujo de datos de audio empalmado obtenido de ese modo a una interfaz de salida 116, en la que el flujo de datos de audio empalmado se indica por el uso del signo de referencia 120.
Se debe señalar que el orden en el que el multiplexor de empalme 108 y el regulador del punto de empalme 106 operan en las unidades de acceso no necesita estar de acuerdo con lo representado en la Figura 7. Es decir, si bien la Figura 7 sugiere que multiplexor de empalme 108 tiene su entrada conectada a las interfaces 102 y 104, respectivamente, con la salida del mismo conectada a la interfaz de salida 116 a través del regulador del punto de empalme 106, el orden entre el multiplexor de empalme 108 y el regulador del punto de empalme 106 se puede conmutar.
Durante el funcionamiento, el empalmador de flujo 100 puede estar configurado para inspeccionar el elemento de sintaxis del empalme de entrada 50 compuesto por paquetes de unidad de truncamiento 52 y 58 dentro del flujo de datos de audio 40 con el fin de llevar a cabo la operación de corte y empalme con la condición de si el elemento de sintaxis de empalme de entrada índica o no en el paquete de unidad de truncamiento respectivo como relacionada con una unidad de acceso de empalme de entrada. Esto significa lo siguiente: el proceso de empalme ilustrado hasta ahora y que se describe en más detalle a continuación puede haber sido activado por el paquete de TU 42, el marcador de empalme de entrada 50 se establece en uno, de acuerdo con lo descrito con respecto a la Figura 2. En consecuencia, el ajuste de este marcador a uno es detectado por el empalmador de flujo 100, con lo cual se lleva a cabo la operación de empalme de entrada que se describe con más detalle a continuación, pero ya sido esbozada con anterioridad.
De acuerdo con lo indicado con anterioridad, el regulador del punto de empalme 106 puede no tener que cambiar la configuración dentro de las paquetes de unidad de truncamiento en cuanto a lo que concierne la discriminación entre los paquetes de TU de empalme de entrada tales como paquetes de TU 42 y los paquetes de TU de empalme de salida tales como paquetes de TU 58. Sin embargo, el regulador del punto de empalme 106 establece la longitud temporal de la porción de extremo respectiva a ser descartada durante la emisión. Para este fin, el regulador del punto de empalme 106 puede estar configurado para ajustar una longitud temporal de la porción de extremo a la que los paquetes de TU 42, 58, 112 y 114 se refieren, de acuerdo con un reloj externo. Este reloj externo 122 se deriva, por ejemplo, de un reloj de trama de vídeo. Por ejemplo, si se imagina que la señal de audio codificada en el flujo de datos de audio 40 representa una señal de tono que acompaña a un vídeo y que este vídeo es el vídeo 86 de la Figura 6. Si se imagina en forma adicional que además se encuentra la trama 88, es decir, la trama que comienza una porción temporal 84 en la que un agregado se va a insertar. El regulador del punto de empalme 106 ya ha detectado que la unidad de acceso AU<i>correspondiente comprende el paquete de TU 42, pero el reloj externo 122 informa al regulador del punto de empalme 106 la hora exacta T<b>en que la señal de tono original de este vídeo terminará y será reemplazada por la señal de audio codificada en el flujo de datos 110. Por ejemplo, este instante de tiempo del punto de empalme puede ser el instante de tiempo correspondiente a la primera imagen o trama para ser sustituido por el vídeo agregado que a su vez está acompañado por una señal de tono codificada en el flujo de datos 110.
Con el fin de ilustrar el modo de funcionamiento del empalmador de flujo 100 de la Figura 7 con más detalle, se hace referencia a la Figura 8, que muestra la secuencia de pasos llevados a cabo por el empalmador de flujo 100. El proceso comienza con un bucle de ponderación 130. Esto es, el empalmador de flujo 100, tal como el multiplexor de empalme 108 y/o el regulador del punto de empalme 106, comprueba que el flujo de datos de audio 40 para un punto de empalme de salida, es decir, para una unidad de acceso a la que pertenece un paquete de unidad de truncamiento 42. En el caso de la Figura 7, la unidad de acceso i es el primer control de paso de la unidad de acceso 132 con "sí", hasta entonces el control 132 vuelve de nuevo a sí mismo. Tan pronto como la unidad de acceso del punto de empalme de entrada AU<i>ha sido detectado, el paquete de TU del mismo, es decir, 42, se establece de una manera tal que registre la porción de extremo trasero de la unidad de acceso del punto de empalme de entrada (su extremo delantero del mismo) con el instante de tiempo derivado a partir del reloj externo 122. Después de este ajuste 134 por el regulador del punto de empalme 106, el multiplexor de empalme 108 cambia al otro flujo de datos, es decir, el flujo de datos de audio 110, de una manera tal que después de que la unidad de acceso AU<i>del empalme de entrada, las unidades de acceso actuales del flujo de datos 110 se colocan en la interfaz de salida 116, en lugar de las unidades de acceso subsiguientes del flujo de datos de audio 40. Suponiendo que la señal de audio que ha de reemplazar la señal de audio del flujo de datos de audio 40 desde el instante de tiempo de empalme de entrada en adelante, se codifica en el flujo de datos de audio 110 de una manera tal que esta señal de audio se ha registrado, es decir, comienza de inmediato, con el comienzo de la primera trama de audio que está asociada con una primera unidad de acceso AU'<1>, el empalmador de flujo 100 simplemente adapta la información de marca de tiempo compuesta por el flujo de datos de audio 110 de una manera tal que una marca de tiempo de la trama que lleva asociada con una primera unidad de acceso AU'<1>, por ejemplo, coincide con el instante de tiempo de empalme de entrada, es decir, el instante de tiempo de AU<i>más la longitud temporal de la trama de audio asociada con AU<i>menos la longitud temporal de la porción de extremo trasero de acuerdo con lo establecido en el paso 134. Es decir, después de la conmutación del multiplexor 136, la adaptación 138 es una tarea llevada a cabo continuamente por la unidad de acceso AU' del flujo de datos 110. Sin embargo, durante este tiempo también se lleva a cabo la rutina de empalme de salida se describe a continuación.
En particular, la rutina de empalme de salida llevada a cabo por el empalmador de flujo 100 comienza con un bucle de espera de acuerdo con la cual las unidades de acceso del flujo de datos de audio 110 se comprueban continuamente durante las mismas proporcionadas con un paquete de TU 114 o por ser la última unidad de acceso del flujo de datos de audio 110. Esta comprobación 142 se lleva a cabo en forma continua durante la secuencia de unidades de acceso AU'. Tan pronto como la unidad de acceso de empalme de salida se ha encontrado, a saber AU'<k>en el caso de la Figura 7, a continuación, el regulador del punto de empalme 106 establece el paquete de TU 114 de esta unidad de acceso de empalme de salida con el fin de registrar la porción de extremo trasero para ser descartada durante la emisión, la trama de audio correspondiente a esta unidad de acceso AU<k>con un instante de tiempo obtenido a partir del reloj externo, como una marca de tiempo de una trama de vídeo, es decir, la primera después del agregado al que pertenece la señal de tono codificado en el flujo de datos de audio 110. Después de este ajuste 144, el multiplexor de empalme 108 cambia de su entrada en la que el flujo de datos 110 es de entrada, a su otra entrada. En particular, la conmutación 146 se lleva a cabo en una manera tal que en el flujo de datos de audio empalmado 120, la unidad de acceso AU<j>sigue inmediatamente a la unidad de acceso AU'<k>. En particular, la unidad de acceso AU<j>es la unidad de acceso del flujo de datos 40, la trama de audio del cual está temporalmente distanciada de la trama de audio asociada con la unidad de acceso AU<i>de empalme de entrada por una cantidad temporal que corresponde a la longitud temporal de la señal de audio codificada en el flujo de datos 110 o se desvía del mismo por menos de una cantidad predeterminada tal como una longitud o la mitad de una longitud de las tramas de audio de las unidades de acceso del flujo de datos de audio 40.
A partir de ese entonces, el regulador del punto de empalme 106 establece en el paso 148 el paquete de TU 58 de la unidad de acceso AU<j>para registrar la porción de extremo delantero de la misma para ser descartada durante la emisión, con el instante de tiempo con el que la porción de extremo trasero de la trama de audio de la unidad de acceso AU'<k>se había registrado en el paso 144. Por esta medida, la marca de tiempo de la trama de audio de la unidad de acceso AU<j>iguala la marca de tiempo de la trama de audio de la unidad de acceso AU'<k>más una longitud temporal de la trama de audio de la unidad de acceso AU'<k>menos la suma de la porción de extremo trasero de la trama de audio de la unidad de acceso AU'<k>y la porción de extremo delantero de la trama de audio de la unidad de acceso AU<j>. Este hecho se verá en forma más clara al mirar los ejemplos proporcionados más adelante.
También se pone en marcha esta rutina de empalme después de la conmutación 146. Similar al ping-pong, el empalmador de flujo 100 cambia entre el flujo de datos de audio continuo 40 por un lado y los flujos de datos de audio de longitud predeterminada con el fin de reemplazar las porciones predeterminadas, es decir, aquellos entre las que las unidades de acceso con paquetes de TU por un lado y los paquetes de TU 58 en el otro lado, y vuelve de nuevo al flujo de audio 40.
El cambio de la interfaz 102 a 104 se lleva a cabo por la rutina de empalme de entrada, mientras que la rutina de empalme de salida conduce de la interfaz 104 a 102.
Sin embargo, se hace hincapié, una vez más que el ejemplo proporcionado con respecto a la Figura 7 sólo ha sido elegida con fines ilustrativos. Es decir, el empalmador de flujo 100 de la Figura 7 no se limita a las porciones "puente" para ser reemplazadas de un flujo de datos de audio 40 por los flujos de datos de audio 110 que tiene codificado en su interior señales de audio de longitud apropiada con la primera unidad de acceso que tiene la primera trama de audio codificada en su interior registrado para el comienzo de la señal de audio a ser insertada en la porción temporal que se sustituye. Más bien, el empalmador de flujo puede ser, por ejemplo, para llevar a cabo un proceso de empalme de una sola vez solamente. Además, el flujo de datos de audio 110 no está restringido a tener su primera trama de audio registrada con el inicio de la señal de audio que se va a empalmar. Más bien, el propio flujo de datos de audio 110 puede provenir de alguna fuente que tenga su propio reloj de trama de audio que se ejecute independientemente del reloj de trama de audio subyacente al flujo de datos de audio 40. En ese caso, el cambio del flujo de datos de audio 40 al flujo de datos de audio 110 también comprendería, además de los pasos mostrados en la Figura 8, el paso de ajuste correspondiente al paso 148: el ajuste del paquete de TU del flujo de datos de audio 110.
Se debe señalar que la descripción anterior de la operación del empalmador de flujo se puede variar con respecto a la marca de tiempo de las AU del flujo de datos de audio empalmado 120 de una manera tal que un paquete de TU indique una porción de extremo delantero como para ser descartada durante la emisión. En lugar de dejar la marca de tiempo original de la AU, el multiplexor de flujo 108 podría estar configurado para modificar la marca de tiempo original de los mismos por medio de la adición de la longitud temporal de la porción de extremo delantero de la marca de tiempo original, señalando de este modo al extremo trasero de la porción de extremo delantero y, por lo tanto, al momento en que el fragmento de trama de audio de la AU se emitirá en realidad. Esta alternativa se ilustra por medio de los ejemplos de marca de tiempo en la Figura 16 que se discuten más adelante.
La Figura 10 muestra un decodificador de audio 160 de acuerdo con una realización de la presente solicitud. A modo de ejemplo, el decodificador de audio 160 se muestra durante la recepción del flujo de datos de audio empalmado 120 generado por el empalmador de flujo 100. Sin embargo, similar a la declaración con respecto al empalmador de flujo, el decodificador de audio 160 de la Figura 10 no se limita a recibir flujos de datos de audio empalmados 120 del tipo explicado con respecto a las Figuras 7 a 9, donde una base de flujo de datos de audio se sustituye preliminarmente por otros flujos de datos de audio que tienen la longitud de la señal de audio correspondiente codificada en su interior.
El decodificador de audio 160 comprende un núcleo decodificador de audio 162 que recibe el flujo de datos de audio empalmado y un truncador de audio 164. El núcleo de decodificación de audio 162 lleva a cabo la reconstrucción de la señal de audio en unidades de tramas de audio de la señal de audio de la secuencia de paquetes de carga útil del flujo de datos de audio de entrada 120, en el que, de acuerdo con lo explicado con anterioridad, los paquetes de carga útil están asociados en forma individual con una respectiva de la secuencia de unidades de acceso en la que el flujo de datos de audio empalmado 120 está particionado. Dado que cada unidad de acceso 120 está asociada con una respectiva de las tramas de audio, el núcleo de decodificación de audio 162 da salida a las muestras de audio reconstruidas por la trama de audio y la unidad de acceso asociada, respectivamente. De acuerdo con lo descrito con anterioridad, la decodificación puede implicar una transformación espectral inversa y debido a un proceso de solapamiento/agregado o, en forma opcional, los conceptos de codificación predictiva, el núcleo de decodificación de audio 162 puede reconstruir la trama de audio a partir de una unidad de acceso respectiva, mientras que, además, por el uso de, es decir, dependiendo de, una unidad de acceso predecesora. Sin embargo, cada vez que llega una unidad de acceso de emisión inmediata, tal como la unidad de acceso AU<j>, el núcleo de decodificación de audio 162 es capaz de utilizar los datos adicionales con el fin de permitir una emisión inmediata sin necesitar o esperar ningún dato de una unidad de acceso anterior. Además, de acuerdo con lo explicado con anterioridad, el núcleo de decodificación de audio 162 puede operar por el uso de decodificación predictiva lineal. Es decir, el núcleo de decodificación de audio 162 puede utilizar coeficientes de predicción lineales contenidos en la unidad de acceso respectiva con el fin de formar un filtro de síntesis y puede decodificar una señal de excitación de la unidad de acceso que implica, por ejemplo, transformar la decodificación, es decir, transformar de manera inversa, búsquedas de tabla por el uso de índices contenidos en la unidad de acceso respectiva y/o codificación predictiva o actualizaciones de estado internas sometiendo después la señal de excitación obtenida de este modo al filtro de síntesis o, en forma alternativa, la conformación de la señal de excitación en el dominio espectral, por el uso de una función de transferencia formada de una manera tal que corresponda a la función de transferencia del filtro de síntesis. El truncador de audio 164 es sensible a los paquetes de unidad de truncamiento insertados en el flujo de datos de audio 120 y trunca una trama de audio asociada con una unidad de acceso que tiene tales paquetes de TU con el fin de descartar la porción de extremo de la misma, que está indicada para ser descartada durante la emisión del paquete de TU.
La Figura 11 muestra un modo de funcionamiento del decodificador de audio 160 de la Figura 10. Tras detectar 170 una nueva unidad de acceso, el decodificador de audio controla si esta unidad de acceso es una codificada por el uso del modo de emisión inmediata. Si la unidad de acceso actual es una unidad de acceso de trama de emisión inmediata, el núcleo de decodificación de audio 162 trata esta unidad de acceso como una fuente autónoma de información para reconstruir la trama de audio asociada con esta unidad de acceso actual. Es decir, de acuerdo con lo explicado con anterioridad el núcleo de decodificación de audio 162 puede pre-llenar los registros internos para la reconstrucción de la trama de audio asociada con una unidad de acceso actual sobre la base de los datos codificados en esta unidad de acceso. En forma adicional o alternativa, el núcleo de decodificación de audio 162 se abstiene de utilizar la predicción de cualquier unidad de acceso predecesora como en el modo no de IPF. En forma adicional o alternativa, el núcleo de decodificación de audio 162 no lleva a cabo ningún proceso de solapamiento-suma con cualquier unidad de acceso predecesora o su trama de audio predecesora asociada por el bien de cancelación de alias en el extremo temporalmente delantero de la trama de audio de la unidad de acceso actual. Más bien, por ejemplo, el núcleo de decodificación de audio 162 deriva la información de cancelación de alias temporal de la unidad de acceso actual a sí mismo. Por lo tanto, si la comprobación 172 revela que la unidad de acceso actual es una unidad de acceso de IPF, a continuación, el modo de decodificación de IPF 174 se lleva a cabo por el núcleo de decodificación de audio 162, obteniendo de este modo la reconstrucción de la trama de audio actual. En forma alternativa, si la comprobación 172 revela que la unidad de acceso actual no es de IPF, a continuación, el núcleo de decodificación de audio 162 se aplica como un modo de decodificación usual no de IPF sobre la unidad de acceso actual. Es decir, se podrán adoptar los registros internos del núcleo de decodificación de audio 162, ya que son después de procesar la unidad de acceso anterior. En forma alternativa o adicional, un proceso de solapamiento-suma se puede utilizar con el fin de ayudar en la reconstrucción del extremo temporal de salida de la trama de audio de la unidad de acceso actual. En forma alternativa o adicional, se puede utilizar la predicción de la unidad de acceso predecesora. La decodificación no de IPF 176 también termina en una reconstrucción de la trama de audio de la unidad de acceso actual. Una próxima comprobación 178 comprueba si alguno de truncamiento se ha de llevar a cabo. La comprobación 178 está llevada a cabo por el truncador de audio 164. En particular, el truncador de audio 164 comprueba si la unidad de acceso actual tiene un paquete de TU y si el paquete de TU indica una porción de extremo para ser descartada durante la emisión. Por ejemplo, el truncador de audio 164 comprueba si un paquete de TU está contenido en el flujo de datos para la unidad de acceso actual y si el marcador de empalme activo 52 está configurado y/o si la longitud de truncamiento 48 es distinto de cero. Si no se lleva a cabo un truncamiento, la trama de audio reconstruida de acuerdo con lo reconstruido a partir de cualquiera de los pasos 174 o 176 se va a emitir por completo en el paso 180. Sin embargo, si el truncamiento se va a llevar a cabo, el truncador de audio 164 lleva a cabo el truncamiento y se limita a la parte restante que se va a emitir en el paso 182. En el caso de la porción de extremo indicada por el paquete de TU siendo una porción de extremo trasero, el resto de la trama de audio reconstruida se va a emitir comenzando con la marca de tiempo asociada con esa trama de audio. En el caso de la porción de extremo indicada para ser descartada durante la emisión por el paquete de TU siendo una porción de extremo delantero, el resto de la trama de audio se emite en la marca de tiempo de esta trama de audio más la longitud temporal de la porción de extremo delantero. Es decir, la emisión del resto de la trama de audio actual se difiere por la longitud temporal de la porción de extremo delantero. El proceso es entonces procesado en forma adicional con la siguiente unidad de acceso.
Véase el ejemplo en la Figura 10: el núcleo de decodificación de audio 162 lleva a cabo la decodificación no de IPF 176 normal en las unidades de acceso AU<i-1>y AU<j>. Sin embargo, este último tiene el paquete de TU 42. Este paquete de TU 42 indica una porción de extremo trasero para ser descartada durante la emisión, y en consecuencia el truncador de audio 164 impide un extremo trasero 184 de la trama de audio 14 asociado con la unidad de acceso AU<i>de ser emitido, es decir, de participar en la formación de la señal de audio de salida 186. A partir de ese entonces, llega la unidad de acceso AU'<1>. Lo mismo es para una unidad de acceso de trama de emisión inmediata y es tratada por el núcleo de decodificación de audio 162 en el paso 174 en consecuencia. Se debe señalar que el núcleo de decodificación de audio 162 puede, por ejemplo, comprender la capacidad de abrir más de una instanciación de sí mismo. Es decir, cada vez que se lleva a cabo una decodificación de IPF, esto implica la apertura de una instanciación además del núcleo de decodificación de audio 162. En cualquier caso, como la unidad de acceso AU'<i>una unidad de acceso de IPF, no importa que su señal de audio esté de hecho relacionada con una nueva escena de audio en comparación con sus predecesores AU<i-1>y AU<i>. El núcleo de decodificación de audio 162 no se preocupa por eso. Más bien, se toma la unidad de acceso AU'<1>como una unidad de acceso autónoma y se reconstruye la trama de audio a partir de la misma. Dado que la longitud de la porción de extremo trasero de la trama de audio de la unidad de acceso predecesora AU<i>probablemente ha sido fijada por el empalmador de flujo 100, el comienzo de la trama de audio de la unidad de acceso AU'<1>hace tope inmediatamente con el extremo posterior del resto de la trama de audio de la unidad de acceso AU<j>. Es decir, hacen tope en el tiempo de transición T<1>en algún lugar en el medio de la trama de audio de la unidad de acceso AU<i>. Tras encontrarse con la unidad de acceso AU'<k>, el núcleo de decodificación de audio 162 decodifica esta unidad de acceso en el paso 176 con el fin de revelar o reconstruir esta trama de audio, con lo cual esta trama de audio se trunca en su extremo posterior, debido a la indicación de la porción de extremo trasero por su paquete de TU 114. Por lo tanto, simplemente el resto de la trama de audio de la unidad de acceso AU'<k>hasta la porción de extremo trasero se emite. Entonces, la unidad de acceso AU<j>se decodifica por el núcleo de decodificación de audio 162 en la decodificación de IPF 174, es decir, independientemente de la unidad de acceso AU'<k>de una manera autónoma y la trama de audio obtenida de los mismos se trunca en su extremo delantero dado que su paquete de unidad de truncamiento 58 indica una porción de extremo delantero. Los restos de las tramas de audio de unidades de acceso AU'<k>y AU<j>hacen tope entre sí en un instantánea de tiempo de transición T<2>.
Las realizaciones descriptas con anterioridad, básicamente, utilizan una señalización que describe si y el número de muestras de audio de una determinada trama de audio se deben descartar después de la decodificación de la unidad de acceso asociada. Las realizaciones descriptas con anterioridad pueden por ejemplo ser aplicadas para extender un códec de audio tal como MPEG-H 3D Audio. El estándar de MEPG-H 3D Audio define un formato de flujo autónomo para transformar los datos de audio MPEG-H 3D denominados MHAS [2]. En línea con las realizaciones descritas con anterioridad, los datos de truncamiento de los paquetes de unidad de truncamiento descritos con anterioridad podrían ser señalados a nivel de MHAS. Allí, se puede detectar con facilidad y se puede modificar con facilidad sobre la marcha por medio de dispositivos de empalme de flujo tales como el empalmador de flujo 100 de la Figura 7. Este nuevo tipo de paquete MHAS podría ser etiquetado con PACTYP_CUTRUNCATION, por ejemplo. La carga útil de este tipo de paquete podría tener la sintaxis mostrada en la Figura 12. Con el fin de facilitar la concordancia entre el ejemplo de sintaxis específico de la Figura 12 y la descripción llevada a cabo con anterioridad con respecto a las Figuras 3 y 4, por ejemplo, los signos de referencia de las Figuras 3 y 4 se han reutilizado con el fin de identificar los elementos de sintaxis correspondientes en la Figura 12. La semántica podría ser la siguiente:
isActive:Si es 1 mensaje de truncamiento está activo, si es 0 el decodificador debe ignorar el mensaje.
canSplice: Le dice a un dispositivo de empalme que un empalme puede iniciar o continuar en ese momento. (Nota: Esto es básicamente un marcador de agregar-empezar, pero el dispositivo de empalme puede restablecerla a 0 ya que no lleva ninguna información para el decodificador.)
truncRight: si es 0 se truncan las muestras desde el final de la AU, si 1 se truncan las muestras desde el comienzo de la AU.
nTruncSamples: Número de muestras a truncar.
Se debe tener en cuenta que el flujo de MHAS garantiza que un paquete de carga útil MHAS siempre esté alineado por bytes de una manera tal que la información de truncamiento sea de fácil acceso sobre la marcha y se pueda insertar con facilidad, eliminar o modificar por ej., por medio de un dispositivo de empalme de flujo. Un flujo MPEG-H 3D Audio podría contener un tipo de paquete de MHAS con PACTYP_CUTRUNCATION pactype para cada AU o para un subconjunto adecuado de las AU conisActiveajustado a 0. A continuación, un dispositivo de empalme de flujo puede modificar este paquete de MHAS de acuerdo con su necesidad. De lo contrario, un dispositivo de empalme de flujo puede insertar con facilidad un tal paquete MHAS sin añadir gastos generales de tasa de bits significativos de acuerdo con lo descrito a continuación. El tamaño de los gránulos más grandes de MPEG-H 3D Audio es 4096 muestras, de modo que 13 bits paranTruncSamplesson suficientes para indicar todos los valores de truncamiento significativos.nTruncSamplesy los 3 marcadores de un bit juntos ocupan 16 bits o 2 bytes de una manera tal que no se necesita alineación de bytes adicional.
Las Figuras 13a-c ilustran cómo el método de CU truncamiento se puede utilizar para implementar una muestra de empalme de flujo precisa.
La Figura 13a muestra una secuencia de vídeo y un flujo de audio. En la trama de vídeo número 5 el programa se conecta a una fuente diferente. La alineación de vídeo y audio en la nueva fuente es diferente que en la antigua fuente. Para habilitar la muestra de conmutación precisa de las muestras PCM de audio decodificada al final de la última CU del antiguo flujo y al comienzo del nuevo flujo tienen que ser eliminado. Un corto período de desvanecimiento cruzado en el dominio de PCM decodificado puede ser necesaria para evitar interferencias en la señal de PCM de salida. La Figura 13a muestra un ejemplo con valores concretos. Si por alguna razón no se desea la superposición de las AU/CU, existen las dos soluciones posibles representadas en la Figura 13B) y Figura 13C). La primera AU del nuevo flujo tiene que llevar los datos de configuración para el nuevo flujo y todos los rollos anteriores que se necesitan para iniciar el decodificador con la nueva configuración. Esto se puede llevar a cabo por medio de una Trama de Emisión Inmediata (IPF) que se define en el estándar MPEG-H 3D Audio.
Otra aplicación del método de truncamiento de CU está cambiando la configuración de un flujo de MPEG-H 3D Audio. Diferentes flujos de MPEG-H 3D Audio pueden tener configuraciones muy diferentes. Por ejemplo, un programa estéreo puede ser seguido por un programa con 11.1 canales y objetos de audio adicionales. La configuración por lo general cambiará en un límite de trama de vídeo que no está alineado con los gránulos del flujo de audio. El método del truncamiento de CU se puede utilizar para implementar el cambio de configuración de audio precisa de la muestra, de acuerdo con lo ilustrado en la Figura 14.
La Figura 14 muestra una secuencia de vídeo y un flujo de audio. En la trama de vídeo número 5 el programa se cambia a una configuración diferente. La primera CU con la nueva configuración de audio está alineada con la trama de vídeo en que se produjo el cambio de configuración. Para permitir el cambio de configuración las muestras PCM de audio precisa de muestra al final de la última CU con la configuración antigua tienen que ser eliminadas. La primera AU con la nueva configuración tiene que llevar los nuevos datos de configuración y todos los rollos anteriores que se necesitan para iniciar el decodificador con la nueva configuración. Esto se puede llevar a cabo por medio de una Trama de Emisión Inmediata (IPF) que se define en el estándar MPEG-H 3D Audio. Un codificador puede utilizar muestras de audio de PCM de la configuración antigua para codificar los rollos anteriores para la nueva configuración para los canales que están presentes en ambas configuraciones. Ejemplo: Si el cambio de configuración es de estéreo a 11,1, a continuación, los canales derecho de la nueva configuración 11,1 puede utilizar el formulario de datos de rollos anteriores de izquierda y derecha de la configuración estéreo antigua. Los otros canales de la nueva configuración 11.1 utilizan ceros de rollos anteriores. La Figura 15 ilustra el funcionamiento del codificador y la generación del flujo de bits para este ejemplo.
La Figura 16 muestra ejemplos adicionales para los flujos de datos de audio empalmables o empalmados. Véase la Figura 16A, por ejemplo. La Figura 16A muestra una parte de un flujo de datos de audio empalmable que comprende en forma representativa siete unidades de acceso consecutivas AU<1>a AU<7>. La segunda y la sexta unidad de acceso se proporcionan con un paquete de TU, respectivamente. Ambas no se utilizan, es decir, no están activas, por medio del establecimiento del marcador 52 a cero. El paquete de TU de la unidad de acceso AU<6>está compuesto por una unidad de acceso del tipo IPF, es decir, que permite un empalme de nuevo en el flujo de datos. En B, la Figura 16 muestra el flujo de datos de audio de A después de la inserción de un agregado. El agregado se codifica en un flujo de datos de las unidades de acceso AU'<1>to AU'<4>. En C y D, la Figura 16 muestra un caso modificado en comparación con A y B. En particular, en este caso el codificador de audio del flujo de datos de audio de unidades de acceso AU<1>..., ha decidido cambiar la configuración de codificación en algún lugar dentro de la trama de audio de la unidad de acceso AU<6>. En consecuencia, el flujo de datos de audio original de C ya comprende dos unidades de acceso de marca de tiempo 6.0, a saber AU<6>y AU'<1>con una porción de extremo trasero y una porción de extremo delantero respectiva indicada como para ser descartadas durante la emisión, respectivamente. En la presente memoria, la activación de truncamiento ya está predeterminada por el decodificador de audio. Sin embargo, la unidad de acceso AU'<1>aún se puede utilizar como una unidad de acceso de empalme de regreso de entrada, y esta posibilidad se ilustra en D.
Un ejemplo de cómo cambiar la configuración de codificación en el punto de empalme de salida se ilustra en E y F. Por último, en G y H el ejemplo de A y B en la Figura 16 se extiende a través de otro paquete de TU proporcionado en la unidad de acceso AU<5>,, que puede servir como un punto de empalme de entrada o de continuación.
De acuerdo con lo mencionado con anterioridad, si bien la pre-disposición de las unidades de acceso de un flujo de datos de audio con los paquetes de TU puede ser favorable en términos de la capacidad de tomar en cuenta el consumo de tasa de bits de estos paquetes de TU en una etapa muy temprana en la generación de la unidad de acceso, esto no es obligatorio. Por ejemplo, el empalmador de flujo explicado con anterioridad con respecto a las Figuras 7 a 9 se puede modificar en que el empalmador de flujo identifica puntos de empalme de entrada o empalme de salida por otros medios que la ocurrencia de un paquete de TU en el flujo de datos de audio entrante en la primera interfaz 102. Por ejemplo, el empalmador de flujo pudiera reaccionar para el reloj externo 122 también con respecto a la detección de los puntos de empalme de entrada y empalme de salida. De acuerdo con esta alternativa, el regulador del punto de empalme 106 no sólo fijaría el paquete de TU sino también los insertaría en el flujo de datos. Sin embargo, se debe tener en cuenta que el codificador de audio no se libera de cualquier tarea de preparación: el codificador de audio aún tendría que elegir el modo de codificación de IPF para las unidades de acceso que servirán como puntos de empalme de regreso de entrada.
Finalmente, la Figura 17 muestra que la técnica de empalme favorable también se puede utilizar dentro de un codificador de audio que es capaz de cambiar entre diferentes configuraciones de codificación. El codificador de audio 70 en la Figura 17 se construye de la misma manera que el de la Figura 5, pero esta vez el codificador de audio 70 es sensible a un cambio en la configuración de activación 200. Es decir, véase por ejemplo el caso C en la Figura 16: el núcleo de codificación de audio 72 codifica continuamente la señal de audio en 12 unidades de acceso AU<1>a AU<6>. En algún lugar dentro de la trama de audio de la unidad de acceso AÜ<6>, el tiempo de cambio de configuración instantánea está indicado por el activador 200. Por consiguiente, el núcleo de codificación de audio 72, por el uso del mismo ráster de tramas de audio, también codifica la trama de audio actual de la unidad de acceso AÜ<6>por el uso de una nueva configuración tales como un modo de codificación de audio que implica más canales de audio, codificados o similares. El núcleo de codificación de audio 72 codifica la trama de audio la otra vez por el uso de la nueva configuración con, además, por el uso del modo de codificación de IPF. Esto termina en la unidad de acceso AU'<i>, que sigue inmediatamente a un orden de la unidad de acceso. Ambas unidades de acceso, es decir, la unidad de acceso AÜ<6>y la unidad de acceso AU'<i>se proporcionan con los paquetes de TU por medio del insertador de paquetes de TU 74, el anterior tiene una porción de extremo trasero indicada con el fin de ser descartada durante la emisión y el segundo uno tiene una porción de extremo delantero indicada como para ser descartada durante la emisión. Este último también puede servir, dado que es una unidad de acceso de IPF, como un punto de empalme de regreso de entrada.
Para todas las realizaciones descriptas con anterioridad se debe señalar que, posiblemente, se lleva a cabo un desvanecimiento cruzado en el decodificador entre la señal de audio reconstruida a partir de la subsecuencia de las AU del flujo de datos de audio empalmados, hasta una AU de empalme de salida (por e j., AU<i>), que se supone en realidad que termina en el extremo delantero de la porción de extremo trasero de la trama de audio de esta AU de empalme de salida por un lado y la señal de audio reconstruida a partir de la subsecuencia de las AU del flujo de datos de audio desde la A u empalmada inmediatamente posterior a la AU de empalme de salida (tal como AU'<i>) que se puede suponer que comienza enseguida desde el extremo delantero de la trama de audio de la AU sucesora, o en el extremo trasero de la porción de extremo delantero de la trama de audio de esta AU sucesora: Es decir, dentro de un intervalo temporal que rodea y cruza el instante de tiempo donde las porciones de la AU inmediatamente consecutiva, que se emitirá hacen tope entre sí, la señal de audio en realidad jugado emitida del flujo de datos de audio empalmado por el decodificador podría estar formada por una combinación de las tramas de audio de ambas AU que inmediatamente hacen tope con una contribución combinada de la trama de audio de la AU sucesora temporalmente creciente dentro de este intervalo temporal y la contribución combinada de la trama de audio de la AU de empalme de salida temporalmente decreciente en el intervalo temporal. Del mismo modo, un desvanecimiento cruzado se podría llevar a cabo entre las AU de empalme de entrada tales como AU<j>y su AU predecesora inmediata (tal como AU'<k>), a saber, por medio de la formación de la señal de audio realmente emitida por una combinación de la trama de audio de la AU de empalme de entrada y la trama de audio de la AU predecesora dentro de un intervalo de tiempo que rodea y cruza el instante de tiempo en el que la porción de extremo delantero de la trama de audio de la AU de empalme de entrada y la porción de extremo trasero del trama de audio de la AU predecesora hacen tope entre sí.
Por el uso de otros términos, las realizaciones anteriores revelaron, entre otras cosas, una posibilidad para explotar el ancho de banda disponible por el flujo de transporte, y el MHz disponible del decodificador: una especie de Mensaje de Punto de Empalme de Audio se envía junto con la trama de audio que reemplazaría. Tanto el audio saliente como el audio entrante en torno al punto de empalme están decodificados y se puede llevar a cabo un desvanecimiento cruzado entre ellos. El Mensaje de Punto de Empalme de Audio meramente dice a los decodificadores dónde hacer el desvanecimiento cruzado. Esto es, en esencia, un empalme "perfecto" porque el empalme se produce correctamente registrado en el dominio del PCM.
Aunque se han descrito algunos aspectos en el contexto de un aparato, está claro que estos aspectos también representan una descripción del método correspondiente, donde un bloque o dispositivo corresponde a una etapa de método o una característica de una etapa de método. De manera análoga, los aspectos descritos en el contexto de una etapa de método también representan una descripción de un bloque o elemento o característica correspondiente de un aparato correspondiente. Algunas o la totalidad de las etapas de método pueden ejecutarse por (o usando) un aparato de hardware, tal como, por ejemplo, un microprocesador, un ordenador programable o un circuito electrónico. En algunas realizaciones, algunos uno o más de los pasos del proceso más importantes pueden ser ejecutados por dicho aparato.
Los flujos de datos de audio inventivos empalmados o empalmables se puede almacenar en un medio de almacenamiento digital o pueden ser transmitidos en un medio de transmisión tal como un medio de transmisión inalámbrico o un medio de transmisión por cable, tal como la Internet.
Dependiendo de ciertos requisitos de implementación, las realizaciones de la invención pueden ser implementadas en hardware o en software. La implementación se puede llevar a cabo por el uso de un medio de almacenamiento digital, por ejemplo un disquete, un DVD, un disco Blu-Ray, un CD, una memoria ROM, una PROM, una EPROM, una EEPROM o una FLASH, que tiene señales de control legibles en forma electrónica almacenadas en el mismo, que cooperan (o son capaces de cooperar) con un sistema informático programable de una manera tal que se lleva a cabo el método respectivo. Por consiguiente, el medio de almacenamiento digital puede ser legible por ordenador.
Algunas realizaciones según la invención comprenden un soporte de datos que tiene señales de control legibles electrónicamente, que son capaces de actuar conjuntamente con un sistema informático programable, de manera que se realice uno de los métodos descritos en el presente documento.
En general, las realizaciones de la presente invención se pueden implementar como un producto de programa informático con un código de programa, siendo el código de programa operativo para realizar uno de los métodos cuando el producto de programa informático se ejecuta en un ordenador. El código de programa por ejemplo, se puede almacenar en un soporte legible por máquina.
Otras realizaciones comprenden el programa informático para llevar a cabo uno de los métodos descritos en el presente documento, almacenados en un soporte legible por máquina.
En otras palabras, una realización del método de la invención es, por lo tanto, un programa informático que tiene un código de programa para llevar a cabo uno de los métodos descritos en el presente documento, cuando el programa informático se ejecuta en un ordenador.
Una realización adicional de los métodos de la invención es, por lo tanto, un soporte de datos (o un medio de almacenamiento digital, o un medio legible por ordenador) que comprende, grabado en el mismo, el programa informático para llevar a cabo uno de los métodos descritos en el presente documento. El soporte de datos, el medio de almacenamiento digital o el medio registrado son en forma típica tangibles y/o no transitorios.
Una realización adicional del método de la invención es, por consiguiente, una corriente de datos o una secuencia de señales que representan el programa informático para realizar uno de los métodos descritos en el presente documento. El flujo de datos o la secuencia de señales pueden, por ejemplo ser configurados para ser transferidos a través de una conexión de comunicación de datos, por ejemplo a través de Internet.
Una realización adicional comprende un medio de procesamiento, por ejemplo un ordenador, o un dispositivo lótico programable, configurado o adaptado para realizar uno de los métodos descritos en el presente documento.
Una realización adicional comprende un ordenador que tiene instalado en el mismo el programa informático para realizar uno de los métodos descritos en el presente documento.
Una realización adicional según la invención comprende un aparato o un sistema configurado para transferir (por ejemplo, de manera electrónica u óptica) un programa informático para realizar uno de los métodos descritos en el presente documento a un receptor. El receptor puede ser, por ejemplo, un ordenador, un dispositivo móvil, un dispositivo de memoria o similar. El aparato o sistema puede comprender, por ejemplo, un servidor de archivos para transferir el programa informático al receptor.
En algunas realizaciones, puede usarse un dispositivo lógico programable (por ejemplo, una matriz de puertas programable en el campo) para realizar algunas o todas de las funcionalidades de los métodos descritos en el presente documento. En algunas realizaciones, una matriz de puertas programable en el campo puede actuar conjuntamente con un microprocesador con el fin de realizar uno de los métodos descritos en el presente documento. Por lo general, los métodos se llevan a cabo con preferencia por medio de cualquier aparato de hardware.
El aparato descrito en el presente documento puede implementarse usando un aparato de hardware o usando un ordenador o usando una combinación de un aparato de hardware y un ordenador.
Los métodos descritos en el presente documento pueden realizarse usando un aparato de hardware o usando un ordenador o usando una combinación de un aparato de hardware y un ordenador.
Las realizaciones descritas con anterioridad son meramente ilustrativas de los principios de la presente invención. Se entiende que las modificaciones y variaciones de las disposiciones y los detalles descritos en el presente documento resultarán evidentes para otros expertos en la técnica. Es la intención, por lo tanto, estar limitado sólo por el alcance de las reivindicaciones de patente inminentes y no por los detalles específicos presentados a modo de descripción y explicación de las realizaciones de la presente memoria.
Referencias
[1] METHOD AND ENCODER AND DECODER FOR SAMPLE-ACCURATE REPRESENTATION OF AN AUDIO SIGNAL, IIS1 b-10 F51302 WO-ID, FH110401PID
[2] ISO/IEC 23008-3, Information technology - High efficiency coding and media delivery in heterogeneous environments - Parte 3: Audio 3D
[3] ISO/IEC DTR 14496-24: Information technology - Coding of audio-visual objects - Parte 24: Audio and systems interaction.

Claims (1)

  1. REIVINDICACIONES
    Un flujo de datos de audio empalmable (40), que comprende:
    una secuencia de paquetes de carga útil (16), cada uno de los cuales pertenece a una respectiva secuencia de unidades de acceso (18) en las que se divide el flujo de datos de audio empalmable, estando cada unidad de acceso asociada a una respectiva trama de audio (14) de una señal de audio (12) codificada en el flujo de datos de audio empalmable en unidades de trama de audio;
    un paquete de unidad de truncamiento (42; 58) insertado en el flujo de datos de audio empalmable y ajustable con el fin de indicar, para una unidad de acceso predeterminada, una porción de extremo (44; 56) de una trama de audio con la que la unidad de acceso predeterminada está asociada, como para ser descartados durante la emisión al comprender
    un índice de tipo de paquete (46) que indica que el paquete de unidad de truncamiento es un paquete de unidad de truncamiento,
    un elemento de longitud de truncamiento (48) que indica una longitud temporal de la porción final de la trama de audio asociada con la unidad de acceso predeterminada en unidades de muestras de audio individuales, o en n-tuplas de muestras de audio consecutivas, y
    un marcador (52) que indica si el paquete de unidad de truncamiento está activo o inactivo; y
    un indicador delantero/trasero (54) que indica si la longitud temporal se mide desde un extremo delantero o un extremo trasero de la trama de audio hacia un interior de la trama de audio;
    un paquete de unidad de truncamiento adicional (58) insertado en una unidad de acceso predeterminada adicional y que se puede configurar para indicar, para la unidad de acceso predeterminada adicional, una porción de extremo (44; 56) de una trama de audio adicional con la que está asociada la unidad de acceso predeterminada adicional, para ser descartada en la emisión,
    en donde la unidad de acceso predeterminada ha codificado en ella la respectiva trama de audio asociada de manera que su reconstrucción en el lado de la decodificación depende de una unidad de acceso inmediatamente anterior a la unidad de acceso predeterminada, y la mayoría de las unidades de acceso han codificado en ella la respectiva trama de audio asociada de manera que su reconstrucción en el lado de la decodificación depende de la respectiva unidad de acceso inmediatamente anterior, y la unidad de acceso predeterminada adicional ha codificado en ella la trama de audio asociada respectiva de manera que la reconstrucción de la misma en el lado de la decodificación es independiente de la unidad de acceso inmediatamente anterior a la unidad de acceso predeterminada adicional por tener la unidad de acceso predeterminada adicional, datos adicionales codificados en ella, en forma de información de inicialización para inicializar los registros internos del decodificador o datos que permiten una estimación de la información de cancelación de solapamiento, permitiendo así la emisión inmediata.
    Empalmador de flujo para empalmar flujos de datos de audio, que comprende:
    una primera interfaz de entrada de audio (102) para recibir un primer flujo de datos de audio (40) de acuerdo con la reivindicación 1, cada unidad de acceso del primer flujo de datos de audio está asociada con una respectiva de las tramas de audio (14) de una primera señal de audio (12) que se codifica en el primer flujo de datos de audio en unidades de tramas de audio de la primera señal de audio;
    una segunda interfaz de entrada de audio (104) para recibir un segundo flujo de datos de audio (110) de acuerdo con la reivindicación 1, cada unidad de acceso del segundo flujo de datos de audio está asociada con una respectiva de las tramas de audio de una segunda señal de audio que se codifica en el segundo flujo de datos de audio en unidades de tramas de audio de la segunda señal de audio;
    un regulador de punto de empalme;
    un multiplexor de empalmes,
    en donde el regulador de punto de empalme (106) está configurado para establecer el paquete de unidad de truncamiento (42; 58) de modo que el paquete de unidad de truncamiento indique una porción final (44; 56) de la trama de audio con la que está asociada la unidad de acceso predeterminada, para ser descartada en la reproducción; y
    en donde el multiplexor de empalme (108) está configurado para cortar el primer flujo de datos de audio (40) en la unidad de acceso predeterminada para obtener una subsecuencia de paquetes de carga útil del primer flujo de datos de audio dentro del cual cada paquete de carga útil pertenece a una unidad de acceso respectiva de una serie de unidades de acceso del primer flujo de datos de audio que incluye la unidad de acceso predeterminada, y empalmar la subsecuencia de paquetes de carga útil del primer flujo de datos de audio y la secuencia de paquetes de carga útil del segundo flujo de datos de audio de modo que los mismos sean inmediatamente consecutivos entre sí y colinden entre sí en la unidad de acceso predeterminada,
    en donde la subsecuencia de paquetes de carga útil del primer flujo de datos de audio precede a la secuencia de paquetes de carga útil del segundo flujo de datos de audio y la parte final de la trama de audio con la que está asociada la unidad de acceso predeterminada es una porción de extremo trasero (44),
    en donde
    el paquete de unidad de truncamiento adicional del segundo flujo de datos de audio está comprendido dentro de una unidad de acceso de terminación del segundo flujo de datos de audio (110), y en donde el primer flujo de datos de audio comprende además un paquete de unidad de truncamiento (58) aún adicional insertado en una unidad de acceso aún más predeterminada del primer flujo de datos de audio (40) y configurable para indicar una porción final de una trama de audio aún adicional con la que está asociada la unidad de acceso aún más predeterminada, para descartarse en reproducción, en donde una distancia temporal entre la trama de audio de la unidad de acceso predeterminada y la trama de audio aún adicional de la unidad de acceso aún más predeterminada coincide con una longitud temporal de la segunda señal de audio entre una unidad de acceso principal de la misma que sucede, después del empalme, a la unidad de acceso predeterminada y la unidad de acceso de terminación, en donde el establecedor de puntos de empalme (106) está configurado para establecer el paquete de unidad de truncamiento adicional (114) de modo que el mismo indique una porción de extremo posterior (44) de la trama de audio adicional como para descartarse en la reproducción, y el paquete de unidad de truncamiento aún adicional (58) de modo que el mismo indique una porción de extremo delantero de la trama de audio aún adicional para descartarse en la reproducción, en donde el multiplexor de empalme (108) está configurado para adaptar la información de marca de tiempo (24) comprendida por el segundo flujo de datos de audio (110) e indicar para cada unidad de acceso una marca de tiempo respectiva en la que se va a reproducir la trama de audio con la que está asociada la unidad de acceso respectiva, de modo que una marca de tiempo de una trama de audio principal a la que está asociada la unidad de acceso principal del segundo flujo de datos de audio (110) coincida con la marca de tiempo de la trama de audio con la que está asociada la unidad de acceso predeterminada más la longitud temporal de la trama de audio con la que está asociada la unidad de acceso predeterminada menos la longitud temporal de la parte del extremo posterior de la trama de audio con la que está asociada la unidad de acceso predeterminada y el regulador de punto de empalme (106) está configurado para establecer el paquete de unidad de truncamiento adicional (114) y el paquete de unidad de truncamiento aún adicional (58) de modo que una marca de tiempo de la trama de audio aún adicional sea igual a la marca de tiempo de la trama de audio adicional más una longitud temporal de la trama de audio adicional menos la suma de una longitud temporal de la porción de extremo posterior de la trama de audio adicional y la porción de extremo anterior de la trama de audio aún adicional.
    Empalmador de flujo para empalmar flujos de datos de audio, que comprende:
    una primera interfaz de entrada de audio (102) para recibir un primer flujo de datos de audio (40) de acuerdo con la reivindicación 1, cada unidad de acceso del primer flujo de datos de audio está asociada con una respectiva de las tramas de audio (14) de una primera señal de audio (12) que se codifica en el primer flujo de datos de audio en unidades de tramas de audio de la primera señal de audio;
    una segunda interfaz de entrada de audio (104) para recibir un segundo flujo de datos de audio (110) de acuerdo con la reivindicación 1, cada unidad de acceso del segundo flujo de datos de audio está asociada con una respectiva de las tramas de audio de una segunda señal de audio que se codifica en el segundo flujo de datos de audio en unidades de tramas de audio de la segunda señal de audio;
    un regulador de punto de empalme; y
    un multiplexor de empalmes,
    en donde el regulador de punto de empalme (106) está configurado para establecer el paquete de unidad de truncamiento (42; 58) de modo que el paquete de unidad de truncamiento indique una porción final (44; 56) de la trama de audio con la que está asociada la unidad de acceso predeterminada, para ser descartada en la reproducción; y un
    en donde el multiplexor de empalme (108) está configurado para cortar el primer flujo de datos de audio (40) en la unidad de acceso predeterminada para obtener una subsecuencia de paquetes de carga útil del primer flujo de datos de audio dentro del cual cada paquete de carga útil pertenece a una unidad de acceso respectiva de una serie de unidades de acceso del primer flujo de datos de audio que incluye la unidad de acceso predeterminada, y empalmar la subsecuencia de paquetes de carga útil del primer flujo de datos de audio y la secuencia de paquetes de carga útil del segundo flujo de datos de audio de modo que los mismos sean inmediatamente consecutivos entre sí y colinden entre sí en la unidad de acceso predeterminada,
    en donde la subsecuencia de paquetes de carga útil del primer flujo de datos de audio precede a la secuencia de paquetes de carga útil del segundo flujo de datos de audio y la parte final de la trama de audio con la que está asociada la unidad de acceso predeterminada es una porción de extremo trasero (44),
    en donde
    el paquete de unidad de truncamiento adicional del segundo flujo de datos de audio está comprendido
    dentro de una unidad de acceso principal del segundo flujo de datos de audio (110), en donde el indicador de punto de empalme (106) está configurado para establecer el paquete de unidad de truncamiento adicional (112) de modo que el mismo indique una porción de extremo principal de la trama de audio adicional para ser descartada en la reproducción, en donde la información de marca de tiempo (24) comprendida por el primer y segundo flujos de datos de audio e indicando para cada unidad de acceso una marca de tiempo respectiva en la que la trama de audio con la que el la unidad de acceso respectiva del primer y segundo flujos de datos de audio está asociada, se va a reproducir, está alineada temporalmente y el regulador de punto de empalme (106) está configurado para establecer el paquete de unidad de truncamiento adicional de modo que una marca de tiempo de la trama de audio adicional menos una longitud temporal de la trama de audio con la que la unidad de acceso predeterminada está asociada más una longitud temporal de la porción de extremo delantero sea igual a la marca de tiempo de la trama de audio con la que la unidad de acceso predeterminada está asociada más una longitud temporal de la trama de audio con la que la unidad de acceso predeterminada está asociada menos la longitud temporal de la porción de extremo trasero.
    Empalmador de flujo de acuerdo con las reivindicaciones 2 o 3, en donde el regulador de punto de empalme está configurado para establecer una longitud temporal de la porción de extremo para que coincida con un reloj externo, donde el reloj externo es un reloj de trama de vídeo.
    Método para empalmar flujos de datos de audio que comprende un primer flujo de datos de audio (40) según la reivindicación 1, estando cada unidad de acceso del primer flujo de datos de audio asociada a una respectiva de las tramas de audio (14) de una primera señal de audio (12) que se codifica en el primer flujo de datos de audio en unidades de tramas de audio de la primera señal de audio; y un segundo flujo de datos de audio (110) según la reivindicación 1, estando cada unidad de acceso del segundo flujo de datos de audio asociada a una respectiva de las tramas de audio de una segunda señal de audio que se codifica en el segundo flujo de datos de audio en unidades de tramas de audio de la segunda señal de audio;
    en donde
    el método comprende configurar el paquete de unidad de truncamiento del primer flujo de datos de audio (42; 58) de modo que el paquete de unidad de truncamiento indique una porción final (44; 56) de la trama de audio con la que está asociada la unidad de acceso predeterminada, para ser descartada en la reproducción; y
    el método comprende además cortar el primer flujo de datos de audio (40) en la unidad de acceso predeterminada para obtener una subsecuencia de paquetes de carga útil del primer flujo de datos de audio dentro del cual cada paquete de carga útil pertenece a una unidad de acceso respectiva de una serie de unidades de acceso del primer flujo de datos de audio que incluye la unidad de acceso predeterminada, y empalmar la subsecuencia de paquetes de carga útil del primer flujo de datos de audio y la secuencia de paquetes de carga útil del segundo flujo de datos de audio de modo que los mismos sean inmediatamente consecutivos entre sí y colinden entre sí en la unidad de acceso predeterminada,
    en donde la subsecuencia de paquetes de carga útil del primer flujo de datos de audio precede a la secuencia de paquetes de carga útil del segundo flujo de datos de audio y la parte final de la trama de audio con la que está asociada la unidad de acceso predeterminada es una porción de extremo trasero (44),
    en donde el paquete de unidad de truncamiento adicional del segundo flujo de datos de audio está comprendido dentro de una unidad de acceso de terminación del segundo flujo de datos de audio (110),
    en donde el primer flujo de datos de audio comprende además un paquete de unidad de truncamiento adicional (58) insertado en una unidad de acceso predeterminada adicional del primer flujo de datos de audio (40) y configurable para indicar una porción final de una trama de audio adicional con la que está asociada la unidad de acceso predeterminada adicional, para ser descartada en la reproducción, en donde una distancia temporal entre la trama de audio del acceso predeterminado y la trama de audio aún adicional de la unidad de acceso aún adicional predeterminada coincide con una longitud temporal de la segunda señal de audio entre una unidad de acceso principal de la misma que sucede, después del empalme, a la unidad de acceso predeterminada y la unidad de acceso de terminación, en donde el regulador de punto de empalme (106) está configurado para establecer el paquete de unidad de truncamiento adicional (114) de modo que el mismo indica una porción de extremo trasero (44) de la trama de audio adicional que se descartará en la reproducción, y el paquete de unidad de truncamiento aún adicional (58) de modo que el mismo indica una porción de extremo principal del audio aún adicional trama para ser descartada en la reproducción, en donde el método comprende adaptar la información de marca de tiempo (24) comprendida por el segundo flujo de datos de audio (110) e indicar para cada unidad de acceso una marca de tiempo respectiva en la que se va a reproducir la trama de audio con la que está asociada la unidad de acceso respectiva, de modo que una marca de tiempo de una trama de audio principal que la unidad de acceso principal del segundo flujo de datos de audio (110) coincide con la marca de tiempo de la trama de audio con la que está asociada la unidad de acceso predeterminada más la longitud temporal de la trama de audio con la que está asociada la unidad de acceso predeterminada menos la longitud temporal de la parte final de la trama de audio con la que está asociada la unidad de acceso predeterminada y el paquete de unidad de truncamiento adicional (114) y el paquete de unidad de truncamiento aún adicional (58) se establecen de modo que una marca de tiempo de la trama de audio aún adicional sea igual a la marca de tiempo de la trama de audio adicional más una longitud temporal de la trama de audio adicional menos la suma de una longitud temporal de la parte del extremo posterior de la trama de audio adicional y la parte del extremo anterior de la trama de audio aún adicional.
    Método para empalmar flujos de datos de audio que comprende un primer flujo de datos de audio (40) de acuerdo con la reivindicación 1, cada unidad de acceso del primer flujo de datos de audio está asociada con una respectiva de las tramas de audio (14) de una primera señal de audio (12) que se codifica en el primer flujo de datos de audio en unidades de tramas de audio de la primera señal de audio; y un segundo flujo de datos de audio (110) de acuerdo con la reivindicación 1, cada unidad de acceso del segundo flujo de datos de audio está asociada con una respectiva de las tramas de audio de una segunda señal de audio que se codifica en el segundo flujo de datos de audio en unidades de tramas de audio de la segunda señal de audio;
    en donde
    el método comprende configurar el paquete de unidad de truncamiento del primer flujo de datos de audio (42; 58) de modo que el paquete de unidad de truncamiento indique una porción final (44; 56) de la trama de audio con la que está asociada la unidad de acceso predeterminada, para ser descartada en la reproducción; y
    el método comprende además cortar el primer flujo de datos de audio (40) en la unidad de acceso predeterminada para obtener una subsecuencia de paquetes de carga útil del primer flujo de datos de audio dentro del cual cada paquete de carga útil pertenece a una unidad de acceso respectiva de una serie de unidades de acceso del primer flujo de datos de audio que incluye la unidad de acceso predeterminada, y empalmar la subsecuencia de paquetes de carga útil del primer flujo de datos de audio y la secuencia de paquetes de carga útil del segundo flujo de datos de audio de modo que los mismos sean inmediatamente consecutivos entre sí y colinden entre sí en la unidad de acceso predeterminada,
    en donde la subsecuencia de paquetes de carga útil del primer flujo de datos de audio precede a la secuencia de paquetes de carga útil del segundo flujo de datos de audio y la parte final de la trama de audio con la que está asociada la unidad de acceso predeterminada es una porción de extremo trasero (44),
    en donde el paquete de unidad de truncamiento adicional del segundo flujo de datos de audio está dentro de una unidad de acceso principal del segundo flujo de datos de audio (110), en donde el paquete de unidad de truncamiento adicional (112) se establece de modo que el mismo indique una porción de extremo principal de la trama de audio adicional para descartarse en la reproducción, en donde la información de marca de tiempo (24) comprendida por el primer y segundo flujos de datos de audio e indica cada unidad de acceso una marca de tiempo respectiva en la que la trama de audio con la que se asocia la unidad de acceso respectiva del primer y segundo flujos de datos de audio, se va a reproducir, se alinean temporalmente y el paquete de unidad de truncamiento adicional se establece de modo que una marca de tiempo de la trama de audio adicional menos una longitud temporal de la trama de audio con la que se asocia la unidad de acceso predeterminada más una longitud temporal de la porción de extremo delantero es igual a la marca de tiempo de la trama de audio con la que se asocia la unidad de acceso predeterminada más una longitud temporal de la trama de audio con la que la unidad de acceso predeterminada está asociada menos la longitud temporal de la porción de extremo trasero.
    7. Medio de almacenamiento digital legible por ordenador que tiene almacenado en el mismo un programa informático que tiene un código de programa para realizar, cuando se ejecuta en un ordenador, un método de acuerdo con las reivindicaciones 5 o 6.
ES15766082T 2014-09-09 2015-09-08 Concepto de empalme de audio Active ES2969748T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14184141 2014-09-09
EP15154752.8A EP2996269A1 (en) 2014-09-09 2015-02-11 Audio splicing concept
PCT/EP2015/070493 WO2016038034A1 (en) 2014-09-09 2015-09-08 Audio splicing concept

Publications (1)

Publication Number Publication Date
ES2969748T3 true ES2969748T3 (es) 2024-05-22

Family

ID=51542159

Family Applications (2)

Application Number Title Priority Date Filing Date
ES15766082T Active ES2969748T3 (es) 2014-09-09 2015-09-08 Concepto de empalme de audio
ES23212340T Active ES3030539T3 (en) 2014-09-09 2015-09-08 Audio splicing concept

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES23212340T Active ES3030539T3 (en) 2014-09-09 2015-09-08 Audio splicing concept

Country Status (16)

Country Link
US (6) US10511865B2 (es)
EP (5) EP2996269A1 (es)
JP (2) JP6605025B2 (es)
KR (1) KR101997058B1 (es)
CN (2) CN107079174B (es)
AR (1) AR101783A1 (es)
AU (1) AU2015314286C1 (es)
CA (1) CA2960114C (es)
ES (2) ES2969748T3 (es)
MX (1) MX366276B (es)
MY (1) MY189151A (es)
PL (2) PL4307686T3 (es)
RU (1) RU2696602C2 (es)
SG (1) SG11201701516TA (es)
TW (1) TWI625963B (es)
WO (1) WO2016038034A1 (es)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
WO2019046065A1 (en) * 2017-08-28 2019-03-07 Dolby Laboratories Licensing Corporation NAVIGATION METADATA WITH MULTIMEDIA CONTENT AWARENESS
CN108053821B (zh) * 2017-12-12 2022-09-06 腾讯科技(深圳)有限公司 生成音频数据的方法和装置
CN115691517A (zh) 2018-02-22 2023-02-03 杜比国际公司 用于处理嵌入在mpeg-h 3d音频流中的辅媒体流的方法及设备
BR112021003104A2 (pt) * 2018-08-21 2021-05-11 Dolby International Ab métodos, aparelho e sistemas para geração, transporte e processamento de quadros de reprodução imediata (ipfs)
CN109949792B (zh) * 2019-03-28 2021-08-13 优信拍(北京)信息科技有限公司 多音频的合成方法及装置
US12512106B2 (en) 2020-05-20 2025-12-30 Dolby International Ab Methods and apparatus for unified speech and audio decoding improvements
US11574639B2 (en) * 2020-12-18 2023-02-07 Microsoft Technology Licensing, Llc Hypothesis stitcher for speech recognition of long-form audio
CN112837709B (zh) 2021-02-24 2022-07-22 北京达佳互联信息技术有限公司 一种音频文件拼接的方法及装置
CN113516969B (zh) * 2021-09-14 2021-12-14 北京远鉴信息技术有限公司 一种拼接语音的鉴别方法、装置、电子设备及存储介质

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6806909B1 (en) * 1997-03-03 2004-10-19 Koninklijke Philips Electronics N.V. Seamless splicing of MPEG-2 multimedia data streams
US5899969A (en) 1997-10-17 1999-05-04 Dolby Laboratories Licensing Corporation Frame-based audio coding with gain-control words
JP3539615B2 (ja) * 1998-03-09 2004-07-07 ソニー株式会社 符号化装置、編集装置及び符号化多重化装置並びにそれらの方法
CN1144213C (zh) 1998-07-15 2004-03-31 松下电器产业株式会社 解码设备和解码方法
JP2000206994A (ja) * 1999-01-20 2000-07-28 Victor Co Of Japan Ltd 音声符号化装置及び復号化装置
US20060093045A1 (en) * 1999-06-29 2006-05-04 Roger Anderson Method and apparatus for splicing
WO2001046957A1 (en) * 1999-12-22 2001-06-28 Sarnoff Corporation Method and apparatus for smoothing spliced discontinuous audio streams
US6678332B1 (en) * 2000-01-04 2004-01-13 Emc Corporation Seamless splicing of encoded MPEG video and audio
US6792047B1 (en) * 2000-01-04 2004-09-14 Emc Corporation Real time processing and streaming of spliced encoded MPEG video and associated audio
US7096481B1 (en) * 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
US6907081B2 (en) * 2001-03-30 2005-06-14 Emc Corporation MPEG encoder control protocol for on-line encoding and MPEG data storage
DE60206269T2 (de) 2001-06-08 2006-06-29 Koninklijke Philips Electronics N.V. Editieren von audiosignalen
EP1449365A2 (en) * 2001-07-09 2004-08-25 Visible World, Inc. System and method for seamless switching of compressed audio streams
US7496283B2 (en) * 2002-06-28 2009-02-24 Microsoft Corporation Methods and systems for processing digital data rate and directional playback changes
JP2004272054A (ja) * 2003-03-11 2004-09-30 Toshiba Corp 圧縮音声データの編集方法、編集プログラム及び編集装置
US7400653B2 (en) 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
US9197857B2 (en) * 2004-09-24 2015-11-24 Cisco Technology, Inc. IP-based stream splicing with content-specific splice points
US7512705B2 (en) * 2004-12-01 2009-03-31 Hewlett-Packard Development Company, L.P. Truncating data units
US7991494B2 (en) 2006-02-23 2011-08-02 Lg Electronics Inc. Method and apparatus for processing an audio signal
JP4371127B2 (ja) * 2006-07-14 2009-11-25 ソニー株式会社 再生装置、再生方法、プログラム
WO2009104402A1 (ja) * 2008-02-22 2009-08-27 パナソニック株式会社 音楽再生装置、音楽再生方法、音楽再生プログラム、及び集積回路
CN102171750B (zh) * 2008-10-06 2013-10-16 爱立信电话股份有限公司 用于输送对齐的多通道音频的方法和设备
EP2345027B1 (en) 2008-10-10 2018-04-18 Telefonaktiebolaget LM Ericsson (publ) Energy-conserving multi-channel audio coding and decoding
US8743906B2 (en) * 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
WO2010125582A2 (en) 2009-04-28 2010-11-04 Vubites India Private Limited Method and apparatus for splicing a compressed data stream
US8589999B1 (en) * 2009-08-11 2013-11-19 Arris Solutions, Inc. Methods and systems for splicing between media streams
US9031850B2 (en) * 2009-08-20 2015-05-12 Gvbb Holdings S.A.R.L. Audio stream combining apparatus, method and program
WO2011048094A1 (en) * 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-mode audio codec and celp coding adapted therefore
BR122021008581B1 (pt) * 2010-01-12 2022-08-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador de áudio, decodificador de áudio, método de codificação e informação de áudio, e método de decodificação de uma informação de áudio que utiliza uma tabela hash que descreve tanto valores de estado significativos como limites de intervalo
JP5719922B2 (ja) 2010-04-13 2015-05-20 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン サンプルごとに正確なオーディオ信号表現のための方法、エンコーダ及びデコーダ
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US20110293021A1 (en) * 2010-05-28 2011-12-01 Jayant Kotalwar Prevent audio loss in the spliced content generated by the packet level video splicer
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US20140321552A1 (en) 2011-11-18 2014-10-30 Dolby Laboratories Licensing Corporation Optimization of Deblocking Filter Parameters
JP5814802B2 (ja) 2012-01-12 2015-11-17 ルネサスエレクトロニクス株式会社 オーディオ符号化装置
CA2937449C (en) 2012-05-29 2018-12-04 Mediatek Inc. Method and apparatus for coding of sample adaptive offset information
EP2860973B1 (en) 2012-06-08 2020-03-04 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding and decoding device
PL3300364T3 (pl) 2012-06-11 2019-12-31 Samsung Electronics Co., Ltd. Kodowanie i dekodowanie wideo współdzielące parametry sao pomiędzy składowymi koloru
US9596461B2 (en) 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
KR20150009122A (ko) * 2013-07-15 2015-01-26 주식회사 케이티 지역 광고를 합성하는 서버 및 장치, 그리고 영상 스트림을 합성하는 서버
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
CN105989577B (zh) * 2015-02-17 2020-12-29 中兴通讯股份有限公司 一种图像校正的方法和装置
CN107736027B (zh) 2015-06-12 2021-06-01 松下知识产权经营株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US10841581B2 (en) 2016-07-14 2020-11-17 Arris Enterprises Llc Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding
US10200687B2 (en) 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
CN107707915B (zh) 2017-09-30 2019-11-12 上海兆芯集成电路有限公司 采样点自适应偏移滤波的控制方法及其影像处理系统
CN110740246A (zh) * 2018-07-18 2020-01-31 阿里健康信息技术有限公司 一种图像矫正方法、移动设备和终端设备
CN111178278B (zh) * 2019-12-30 2022-04-08 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4307686C0 (en) 2025-03-19
EP4546794A2 (en) 2025-04-30
BR112017003288A2 (pt) 2017-11-28
EP4546794A3 (en) 2025-07-30
CN113038172A (zh) 2021-06-25
KR20170049592A (ko) 2017-05-10
EP4708878A2 (en) 2026-03-11
EP4307686A3 (en) 2024-04-17
CN107079174A (zh) 2017-08-18
ES3030539T3 (en) 2025-06-30
US12495170B2 (en) 2025-12-09
AU2015314286B2 (en) 2019-01-03
US20240129560A1 (en) 2024-04-18
WO2016038034A1 (en) 2016-03-17
PL3192195T3 (pl) 2024-06-17
US20170230693A1 (en) 2017-08-10
RU2017111578A (ru) 2018-10-10
KR101997058B1 (ko) 2019-07-08
PL4307686T3 (pl) 2025-06-30
EP4307686B1 (en) 2025-03-19
EP4546794B1 (en) 2026-02-25
RU2696602C2 (ru) 2019-08-05
US11477497B2 (en) 2022-10-18
EP4307686A2 (en) 2024-01-17
MY189151A (en) 2022-01-28
US20260089355A1 (en) 2026-03-26
MX366276B (es) 2019-07-04
CA2960114A1 (en) 2016-03-17
EP3192195A1 (en) 2017-07-19
CN107079174B (zh) 2021-02-05
AU2015314286A1 (en) 2017-04-13
US10511865B2 (en) 2019-12-17
US11025968B2 (en) 2021-06-01
JP6605025B2 (ja) 2019-11-13
JP2017534898A (ja) 2017-11-24
SG11201701516TA (en) 2017-03-30
JP6920383B2 (ja) 2021-08-18
US20210352342A1 (en) 2021-11-11
TWI625963B (zh) 2018-06-01
EP3192195C0 (en) 2024-01-03
CA2960114C (en) 2019-08-20
JP2020008864A (ja) 2020-01-16
CN113038172B (zh) 2023-09-22
EP4546794C0 (en) 2026-02-25
TW201626803A (zh) 2016-07-16
US20230074155A1 (en) 2023-03-09
US11882323B2 (en) 2024-01-23
EP3192195B1 (en) 2024-01-03
RU2017111578A3 (es) 2018-10-10
EP2996269A1 (en) 2016-03-16
AR101783A1 (es) 2017-01-11
MX2017002815A (es) 2017-05-17
AU2015314286C1 (en) 2020-06-04
US20200195985A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
ES2969748T3 (es) Concepto de empalme de audio
ES2986126T3 (es) Decodificación de la representación exacta de una señal de audio
BR122021004485B1 (pt) Decodificador de áudio, aparelho para geração de dados de saída de áudio codificado e métodos que permitem a inicialização de um decodificador
HK40104790A (en) Audio splicing concept
HK40104790B (en) Audio splicing concept
BR112017003288B1 (pt) Conceito de combinação de áudio
HK1234905B (en) Audio splicing concept
HK1234905A1 (en) Audio splicing concept