ES2869871T3 - Aparato y método para decodificar una señal de audio codificada para obtener señales de salida modificadas - Google Patents

Aparato y método para decodificar una señal de audio codificada para obtener señales de salida modificadas Download PDF

Info

Publication number
ES2869871T3
ES2869871T3 ES14744024T ES14744024T ES2869871T3 ES 2869871 T3 ES2869871 T3 ES 2869871T3 ES 14744024 T ES14744024 T ES 14744024T ES 14744024 T ES14744024 T ES 14744024T ES 2869871 T3 ES2869871 T3 ES 2869871T3
Authority
ES
Spain
Prior art keywords
downmix
signal
modifying
gain factors
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14744024T
Other languages
English (en)
Inventor
Jouni Paulus
Harald Fuchs
Oliver Hellmuth
Adrian Murtaza
Falko Ridderbusch
Leon Terentiv
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Application granted granted Critical
Publication of ES2869871T3 publication Critical patent/ES2869871T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

Aparato para decodificar una señal de audio codificada (100) para obtener señales de salida modificadas (160), que comprende: una interfaz de entrada (110) para recibir la señal de audio codificada (100) y para extraer, a partir de la señal de audio codificada (100), una señal de mezcla descendente transmitida (112) y datos paramétricos (114) relacionados con objetos de audio incluidos en la señal de mezcla descendente transmitida (112), siendo la señal de mezcla descendente transmitida (112) diferente de una señal de mezcla descendente del codificador, con la que están relacionados los datos paramétricos, en el que la señal de mezcla descendente del codificador se genera por un codificador mediante la mezcla descendente de los objetos de audio usando información de mezcla descendente; un modificador de mezcla descendente (116) para modificar la señal de mezcla descendente transmitida (112) usando una función de modificación de mezcla descendente, en el que la función de modificación de mezcla descendente es tal que una señal de mezcla descendente modificada es idéntica a la señal de mezcla descendente del codificador o es más similar a la señal de mezcla descendente del codificador en comparación con la señal de mezcla descendente transmitida (112), en el que la función de modificación de mezcla descendente comprende aplicar factores de ganancia de modificación de mezcla descendente o factores de ganancia de modificación de mezcla descendente interpolados o suavizados a diferentes cuadros de tiempo o bandas de frecuencia de la señal de mezcla descendente transmitida (112); y un representador de objetos (118) para representar los objetos de audio usando la señal de mezcla descendente modificada y los datos paramétricos para obtener señales de salida; caracterizado por un modificador de señal de salida (120) para modificar las señales de salida usando una función de modificación de señal de salida, en el que la función de modificación de señal de salida es tal que una operación de manipulación aplicada a la señal de mezcla descendente del codificador para obtener la señal de mezcla descendente transmitida (112) se aplica al menos parcialmente a las señales de salida para obtener las señales de salida modificadas (160), en el que la función de modificación de señal de salida comprende aplicar factores de ganancia de modificación de señal de salida o factores de ganancia de modificación de señal de salida interpolados o suavizados a diferentes cuadros de tiempo o bandas de frecuencia de las señales de salida, en el que la interfaz de entrada (110) está configurada para recibir adicionalmente información (115) sobre los factores de ganancia de modificación de mezcla descendente, y en el que el modificador de señal de salida (120) está configurado para derivar los factores de ganancia de modificación de señal de salida a partir de valores inversos de los factores de ganancia de modificación de mezcla descendente, o en el que la interfaz de entrada (110) está configurada para recibir adicionalmente información (115) sobre los factores de ganancia de modificación de señal de salida, y en el que el modificador de señal descendente (116) está configurado para derivar los factores de ganancia de modificación de mezcla descendente a partir de valores inversos de los factores de ganancia de modificación de señal de salida.

Description

DESCRIPCIÓN
Aparato y método para decodificar una señal de audio codificada para obtener señales de salida modificadas
La presente invención se refiere a la codificación de objeto de audio y en particular a la codificación de objeto de audio utilizando una mezcla descendente masterizada como el canal de transporte.
Recientemente, se han propuesto técnicas paramétricas para la transmisión/almacenamiento eficiente en velocidad de bits de escenas de audio que contienen múltiples objetos de audio en el campo de la codificación de audio [BCC, JSC, SAOC, SAOC1, SAOC2] y la separación de fuente informada [ISS1, ISS2, ISS3, ISS4, ISS5, ISS6]. Estas técnicas tienen como objetivo reconstruir una escena de audio de salida u objeto de fuente de audio deseado basándose en información secundaria adicional que describe la escena de audio transmitida/almacenada y/u objetos de fuente en la escena de audio. Esta reconstrucción tiene lugar en el decodificador utilizando un esquema de separación de fuente informada paramétrica.
El presente documento se centra principalmente en la operación de la Codificación de Objeto de Audio Espacial (SAOC) [SAOC] de MPEG, pero los mismos principios también se mantienen para otros sistemas. Las operaciones principales de un sistema de SAOC se ilustran en la figura 5. Sin pérdida de generalidad, con el fin de mejorar la legibilidad de las ecuaciones, para todas las variables introducidas, se omiten los índices que indican dependencia de tiempo y frecuencia en este documento, a no ser que se especifique lo contrario. El sistema recibe N objetos de audio de entrada S1,...,Sn e instrucciones de cómo deben mezclarse estos objetos, por ejemplo, en forma de una matriz de mezcla descendente D. Los objetos de entrada pueden representarse como una matriz S de tamaño N * NMuestras. El codificador extrae información secundaria paramétrica y posiblemente también basada en forma de onda que describe los objetos. En SAOC, la información secundaria consiste principalmente en la información de energía de objeto relativa parametrizada con Diferencias de Nivel de Objeto (OLD) y de información de las correlaciones entre los objetos parametrizados con Correlaciones de Inter-Objeto (IOC). La información secundaria basada en forma de onda opcional en SAOC describe el error de reconstrucción del modelo paramétrico. Además de extraer esta información secundaria, el codificador proporciona una señal de mezcla descendente X i ,...,Xm con M canales, creados usando la información dentro de la matriz de mezcla descendente D de tamaño M * N. Las señales de mezcla descendente pueden representarse como una matriz X de tamaño M * NMuestras con la siguiente relación con los objetos de entrada: X = DS. Normalmente, la relación M < N se mantiene, pero este no es un requisito estricto. Las señales de mezcla descendente y la información secundaria se transmiten o se almacenan, por ejemplo, con la ayuda de un códec de audio, tal como MPEG-2/4 AAC. El decodificador de SAOC recibe las señales de mezcla descendente y la información secundaria, e información de representación adicional, a menudo en forma de una matriz de representación M de tamaño K*N que describe cómo está relacionada la salida Y1,..., Yk con K canales con los objetos de entrada originales.
Los bloques operacionales principales de un decodificador de SAOC se ilustran en la figura 6 y se comentarán brevemente a continuación. En primer lugar, la información secundaria se decodifica y se interpreta apropiadamente. El bloque de separación de objetos (virtual) utiliza la información secundaria e intenta reconstruir (virtualmente) los objetos de audio de entrada. La operación se denomina con la noción de "virtual", ya que usualmente no es necesario reconstruir explícitamente los objetos, pero la siguiente fase de representación puede combinarse con esta etapa. Las reconstrucciones de objetos (virtuales) S1,...,Sw pueden contener todavía errores de reconstrucción. Las reconstrucciones de objetos (virtuales) pueden representarse como una matriz S de tamaño N * NMuestras. El sistema recibe la información de representación del exterior, por ejemplo, de la interacción del usuario. En el contexto de SAOC, la información de representación se describe como una matriz de representación M que define la manera en la que las reconstrucciones de objetos S1,...,Sn deben combinarse para producir las señales de salida Y1,...,Yk. Las señales de salida pueden representarse como una matriz Y de tamaño K * NMuestras que es el resultado de aplicar la matriz de representación M en los objetos reconstruidos S por medio de Y = MS.
La separación de objetos (virtual) en SAOC funciona principalmente al usar información secundaria paramétrica para determinar coeficientes sin mezcla, que se aplicará entonces sobre las señales de mezcla descendente para obtener las reconstrucciones de objetos (virtuales). Debe observarse que algunas aplicaciones pueden carecer de la calidad perceptual obtenida de esta manera. Por esta razón, SAOC proporciona también un modo de calidad mejorada para hasta cuatro objetos de audio de entrada originales. Estos objetos, denominados Objetos de Audio Mejorados (EAO) se asocian con señales de corrección en el dominio de tiempo que minimizan la diferencia entre las reconstrucciones de objetos (virtuales) y los objetos de audio de entrada originales. Un EAO puede reconstruirse con diferencias de forma de onda muy pequeñas del objeto de audio de entrada original.
Una propiedad principal de un sistema SAOC es que las señales de mezcla descendente X i ,...,Xm pueden diseñarse de tal manera que puedan escucharse y formen una escena de audio semánticamente significativa. Esto permite disfrutar todavía a los usuarios sin un receptor capaz de decodificar la información SAOC del contenido de audio principal sin las posibles mejoras de SAOC. Por ejemplo, sería posible aplicar un sistema de SAOC tal como se describió anteriormente en una difusión de radio o TV de manera compatible hacia atrás. Sería prácticamente imposible intercambiar todos los receptores desplegados solamente para añadir alguna funcionalidad no crítica. La información secundaria de SAOC es normalmente bastante compacta y puede incrustarse dentro del flujo de transporte de la señal de mezcla descendente. Los receptores heredados simplemente ignoran la información secundaria de SAOC y emiten las señales de mezcla descendente y los receptores que incluyen un decodificador de SAOC pueden decodificar la información secundaria y proporcionar alguna funcionalidad adicional.
Sin embargo, especialmente en el caso de uso de difusión, la estación de difusión procesará posteriormente además la señal de mezcla descendente producida por el codificador de SAOC por razones estéticas o técnicas antes de transmitirla. Es posible que el ingeniero de sonido deseara ajustar la escena de audio para adaptarse mejor a su visión artística o la señal debe manipularse para coincidir con la imagen de sonido de marca del difusor o la señal debe manipularse para cumplir con algunos reglamentos técnicos, tales como las recomendaciones y reglamentos relacionados con la sonoridad de audio. Cuando se manipula la señal de mezcla descendente, el diagrama de flujo de la señal de la figura 5 se cambia a aquel que se ve en la figura 7. En el presente documento, se supone que la manipulación de mezcla descendente original de la masterización de mezcla descendente se aplica a algunas funciones f( ) en cada una de las señales de mezcla descendente X, 1 < i < M, lo que da como resultado las señales de mezcla descendente manipuladas f(Xi),1 < i < M. También es posible que las señales de mezcla descendente transmitidas realmente no estén derivadas de las producidas por el codificador de SAOC, sino que se proporcionen del exterior en conjunto, pero esta situación se incluye en el comentario como que es también una manipulación de la mezcla descendente creada por el codificador.
La manipulación de las señales de mezcla descendente puede provocar problemas en el decodificador de SAOC en la separación de objetos (virtual), ya que las señales de mezcla descendente en el decodificador puede no coincidir ya necesariamente con el modelo transmitido por medio de la información secundaria. Especialmente cuando la información secundaria de forma de onda del error de predicción se transmite a los EAO, es muy sensible a alteraciones de forma de onda en las señales de mezcla descendente.
Debe observarse que el SAOC de MPEG [SAOC] se define para el máximo de dos señales de mezcla descendente y una o dos señales de salida, es decir, 1 < M < 2 y 1 < K < 2. Sin embargo, las dimensiones se extienden en el presente documento a un caso general, ya que esta extensión es más bien trivial y ayuda a la descripción.
Se ha propuesto en [PDG, SAOC] enrutar las señales de mezcla descendente manipuladas también al codificador de SAOC, extraer alguna información secundaria adicional y usar esta información secundaria en el decodificador para reducir las diferencias entre las señales de mezcla descendente que cumple con el modelo de mezcla SAOC y las señales de mezcla descendente manipuladas disponibles en el decodificador. La idea básica del enrutamiento se ilustra en la figura 8a con la conexión de realimentación adicional de la manipulación de mezcla descendente al codificador de SAOC. El estándar de MPEG actual para SAOC [SAOC] incluye partes del [PDG] propuesto que se centra principalmente en la compensación paramétrica. La estimación de los parámetros de compensación no se describe en el presente documento, pero se remite al lector al Anexo informativo D.8 del estándar de SAOC de MPEG [SAOC].
La información secundaria de corrección se empaqueta en el flujo de información secundaria y se transmite y/o almacena junto con el mismo. El decodificador de SAOC decodifica la información secundaria y usa la información secundaria de modificación de mezcla descendente para compensar las manipulaciones antes del procesamiento principal de SAOC. Esto se ilustra en la figura 8b. El estándar de SAOC de MPEG define que la información secundaria de compensación consiste en factores de ganancia para cada señal de mezcla descendente.
Estos se indican con PDGi en el que 1 < i < M es el índice de señal de mezcla descendente. Los parámetros de señal individuales pueden recopilarse en una matriz.
Figure imgf000003_0001
Cuando las señales de mezcla descendente manipuladas se indican con la matriz Xpostprocesada, las señales de mezcla descendente compensadas que van a usarse en el procesamiento principal de SAOC pueden obtenerse con X = WXpostprocesada.
En [PDG] también se propone incluir señales residuales de forma de onda que describen la diferencia entre las señales de mezcla descendente manipuladas compensadas paramétricamente y las señales de mezcla descendente creadas por el codificador de SAOC. Estas, sin embargo, no forman parte del estándar de SAOC de MPEG [SAOC].
El beneficio de la compensación es que las señales de mezcla descendente recibidas por el bloque de separación de objetos de SAOC (virtual) están más cercanas a las señales de mezcla descendente producidas por el codificador de SAOC y coinciden mejor con la información secundaria transmitida. A menudo, esto conduce a artefactos reducidos en las reconstrucciones de objetos (virtuales).
Las señales de mezcla descendente usadas por la separación de objetos (virtual) se aproximan a las señales de mezcla descendente sin manipular creadas en el codificador de SAOc . Como resultado, la salida después de la representación se aproximará al resultado que se obtendría mediante la aplicación de las instrucciones de representación a menudo definidas por el usuario sobre los objetos de audio de entrada originales. Si la información de representación se define para ser idéntica o muy cercana a la información de mezcla descendente, en otras palabras, M “ D, las señales de salida se parecerían a las señales de mezcla descendente creadas por el codificador: Y “ X. Recordando que la manipulación de señal de mezcla descendente puede tener lugar debido a razones bien establecidas, puede ser deseable que la salida se parezca a la mezcla descendente manipulada, en lugar de esto, Y “ f(X).
Esto se ilustra con un ejemplo más concreto de la aplicación potencial de mejora de diálogo en difusión.
Los objetos de audio de entrada originales S consisten en una señal de fondo (posiblemente de multicanal), por ejemplo, el ruido de la audiencia y del ambiente en una difusión de deportes y una señal de primer plano (posiblemente de multicanal), por ejemplo, el comentarista.
La señal de mezcla descendente X contiene una mezcla del fondo y el primer plano.
La señal de mezcla descendente se manipula por f(X) que consiste en un caso del mundo real de, por ejemplo, un ecualizador de multibanda, un compresor de intervalo dinámico y un limitador (cualquier manipulación realizada en el presente documento se denomina posteriormente "masterización").
En el decodificador, la información de representación es similar a la información de mezcla descendente. La única diferencia es que el usuario final puede ajustar el equilibrio de nivel relativo entre las señales de fondo y de primer plano. En otras palabras, el usuario puede atenuar el ruido de la audiencia para hacer que se escuche mejor al comentarista, por ejemplo, para una inteligibilidad mejorada. Como un ejemplo opuesto, el usuario final puede atenuar el comentarista para ser capaz de centrarse más en la escena acústica del acontecimiento.
Si no se usa ninguna compensación de la manipulación de mezcla descendente, las reconstrucciones de objetos (virtuales) pueden contener artefactos provocados por las diferencias entre las propiedades reales de las señales de mezcla descendente recibidas y las propiedades transmitidas como la información secundaria.
Si se usa compensación de la manipulación de mezcla descendente, se eliminará la masterización de la salida. Incluso en el caso en el que el usuario final no modifica el equilibrio de mezcla, la señal de mezcla descendente predeterminada (es decir, la salida de receptores que no son capaces de decodificar la información secundaria de SAOC) y la salida representada serán diferentes, posiblemente de manera considerable.
Al final, el difusor tiene entonces las siguientes opciones sub-óptimas:
aceptar los artefactos de SAOC del desajuste entre las señales de mezcla descendente y la información secundaria;
no incluir ninguna funcionalidad de mejora de diálogo avanzada; y/o
perder las alteraciones de masterización de la señal de salida.
El documento EP 2320415 A1 da a conocer un aparato de codificación y decodificación de audio multiobjeto que soporta señales de mezcla descendente posteriores. El aparato de codificación de audio multiobjeto incluye una unidad de generación de mezcla descendente y extracción de información de objeto para generar información de objeto y una señal de mezcla descendente de señales de objeto de entrada, una unidad de determinación de parámetros y una unidad de generación de flujo de bits. La unidad de generación de señal de mezcla descendente comprende una potencia de dicha unidad de compensación y una unidad de ajuste de señal de mezcla descendente.
Un objeto de la presente invención es proporcionar un concepto mejorado para decodificar una señal de audio codificada.
Este objeto se logra mediante un aparato para decodificar una señal de audio codificada según la reivindicación 1, un método de decodificación de una señal de audio codificada según la reivindicación 11 o un programa informático según la reivindicación 12.
Se definen realizaciones adicionales en las reivindicaciones dependientes.
Posteriormente, se describen realizaciones preferidas de la presente invención con respecto a los dibujos adjuntos, en los que:
la figura 1 es un diagrama de bloques de una realización del decodificador de audio;
la figura 2 es una realización adicional del decodificador de audio;
la figura 3 ilustra una manera de derivar la función de modificación de señal de salida a partir de la función de modificación de señal de mezcla descendente;
la figura 4 ilustra un proceso para calcular factores de ganancia de modificación de señal de salida a partir de factores de ganancia de modificación de mezcla descendente interpolados;
la figura 5 ilustra un diagrama de bloques básico de una operación de un sistema de SAOC;
la figura 6 ilustra un diagrama de bloques de la operación de un decodificador de SAOC;
la figura 7 ilustra un diagrama de bloques de la operación de un sistema de SAOC que incluye una manipulación de la señal de mezcla descendente;
la figura 8a ilustra un diagrama de bloques de la operación de un sistema de SAOC que incluye una manipulación de la señal de mezcla descendente; y
la figura 8b ilustra un diagrama de bloques de la operación de un decodificador de SAOC que incluye la compensación de la manipulación de señal de mezcla descendente antes del procesamiento principal de SAOC.
La figura 1 ilustra un aparato para decodificar una señal de audio codificada 100 para obtener señales de salida modificadas 160. El aparato comprende una interfaz de entrada 110 para recibir una señal de mezcla descendente transmitida y datos paramétricos relacionados con dos objetos de audio incluidos en la señal de mezcla descendente transmitida. La interfaz de entrada extrae la señal de mezcla descendente transmitida 112 y los datos paramétricos 114 de la señal de audio codificada 100. En particular, la señal de mezcla descendente 112, es decir, la señal de mezcla descendente transmitida, es diferente de una señal de mezcla descendente del codificador, con la que están relacionados los datos paramétricos 114. Además, el aparato comprende un modificador de mezcla descendente 116 para modificar la señal de mezcla descendente transmitida 112 usando una función de modificación de mezcla descendente. La modificación de mezcla descendente se realiza de tal manera que una señal de mezcla descendente modificada es idéntica a la señal de mezcla descendente del codificador o es al menos más similar a la señal de mezcla descendente del codificador en comparación con la señal de mezcla descendente transmitida. Preferiblemente, la señal de mezcla descendente modificada en la salida del bloque 116 es idéntica a la señal de mezcla descendente del codificador, con la que están relacionados los datos paramétricos. Sin embargo, el modificador de mezcla descendente 116 también puede estar configurado para no invertir completamente la manipulación de la señal de mezcla descendente del codificador, sino solo eliminar parcialmente esta manipulación. Así, la señal de mezcla descendente modificada es al menos más similar a la señal de mezcla descendente del codificador que la señal de mezcla descendente transmitida. La similitud puede, por ejemplo, medirse calculando la distancia elevada al cuadrado entre las muestras individuales, ya sea en el dominio de tiempo o en el dominio de frecuencia, donde las diferencias se forman de muestra en muestra, por ejemplo, entre cuadros y/o bandas correspondientes de la señal de mezcla descendente modificada y la señal de mezcla descendente del codificador. Entonces, esta medida de distancia elevada al cuadrado, es decir, la suma sobre todas las diferencias elevadas al cuadrado, es menor que la suma correspondiente de las diferencias elevadas al cuadrado entre la señal de mezcla descendente transmitida 112 (generada por la manipulación de mezcla descendente de bloque en la figura 7 u 8a) y la señal de mezcla descendente del codificador (generada en el codificador de SAOC de bloques en las figuras 5, 6, 7. 8a).
Así, el modificador de mezcla descendente 116 puede estar configurado de manera similar al bloque de modificación de mezcla descendente tal como se comenta en el contexto de la figura 8b.
El aparato en la figura 1 comprende además un representador de objetos 118 para representar los objetos de audio utilizando la señal de mezcla descendente modificada y los datos de parámetros 114 para obtener señales de salida. Además, el aparato comprende significativamente un modificador de señal de salida 120 para modificar las señales de salida usando una función de modificación de señal de salida. Preferiblemente, la modificación de salida se realiza de tal manera que una modificación aplicada por el modificador de mezcla descendente 116 se invierte al menos parcialmente. En otras realizaciones, la función de modificación de señal de salida se invierte o se invierte al menos parcialmente a la función de modificación de señal de mezcla descendente. Así, el modificador de señal de salida está configurado para modificar las señales de salida utilizando la función de modificación de señal de salida, de manera que una operación de manipulación aplicada a la señal de mezcla descendente del codificador para obtener la señal de mezcla descendente transmitida se aplica al menos parcialmente a la señal de salida y preferiblemente se aplica completamente a las señales de salida.
El modificador de mezcla descendente 116 y el modificador de señal de salida 120 están configurados de tal manera que la función de modificación de señal de salida es diferente de la función de modificación de mezcla descendente y se invierte al menos parcialmente a la función de modificación de mezcla descendente.
Además, el modificador de mezcla descendente comprende una función de modificación de mezcla descendente que comprende aplicar factores de ganancia de modificación de mezcla descendente a diferentes cuadros de tiempo o bandas de frecuencia de la señal de mezcla descendente transmitida 112. Además, la función de modificación de señal de salida comprende aplicar factores de ganancia de modificación de señal de salida a diferentes cuadros de tiempo o bandas de frecuencia de las señales de salida. Además, los factores de ganancia de modificación de señal de salida se derivan de valores inversos de la función de modificación de señal de mezcla descendente. Este escenario se aplica, cuando los factores de ganancia de modificación de señal de mezcla descendente están disponibles, por ejemplo, por una entrada separada en el lado del decodificador o están disponibles debido a que se han transmitido en la señal de audio codificada 100. Sin embargo, realizaciones alternativas también comprenden la situación en la que los factores de ganancia de modificación de señal de salida usados por el modificador de señal de salida 120 se transmiten o se introducen por el usuario y, después, el modificador de mezcla descendente 116 está configurado para derivar los factores de ganancia de modificación de señal de mezcla descendente a partir de los factores de ganancia de modificación de señal de salida disponibles.
La interfaz de entrada 110 está configurada para recibir adicionalmente información acerca de la función de modificación de mezcla descendente y esta información de modificación 115 se extrae por la interfaz de entrada 110 a partir de la señal de audio codificada y proporcionada al modificador de mezcla descendente 116 y el modificador de señal de salida 120. Una vez más, la función de modificación de mezcla descendente puede comprender factores de ganancia de modificación de señal de mezcla descendente o factores de ganancia de modificación de señal de salida y dependiendo de qué conjunto de factores de ganancia están disponibles, el elemento correspondiente 116 o 120 deriva entonces sus factores de ganancia a partir de los datos disponibles.
En una realización adicional, se realiza una interpolación de los factores de ganancia de modificación de señal de mezcla descendente o factores de ganancia de modificación de señal de salida. Alternativa o adicionalmente, también se realiza un suavizado, de modo que las situaciones en las cuales aquellos datos de transmisión cambian demasiado rápido no introducen ningún artefacto.
En una realización, el modificador de señal de salida 120 está configurado para derivar sus factores de ganancia de modificación de señal de salida invirtiendo los factores de ganancia de modificación de mezcla descendente. Entonces, con el fin de evitar problemas numéricos, se usa ya sea un máximo del factor de ganancia de modificación de mezcla descendente invertido y un valor constante o una suma del factor de ganancia de modificación de mezcla descendente invertido y el mismo valor constante o un valor constante diferente. Por consiguiente, la función de modificación de señal de salida no tiene necesariamente que ser completamente inversa a la función de modificación de señal de mezcla descendente, sino al menos parcialmente inversa.
Además, el modificador de señal de salida 120 es controlable por una señal de control indicada en 117 como una bandera de control. Así, existe la posibilidad de que el modificador de señal de salida 120 se active o se desactive selectivamente para ciertas bandas de frecuencia y/o cuadros de tiempo. En una realización, la bandera solo es la bandera de 1 bit y cuando la señal de control es tal que el modificador de señal de salida se desactiva, entonces esto se señaliza, por ejemplo, por un estado cero de la bandera y, entonces, la señal de control es tal que el modificador de señal de salida se activa, entonces esto se señaliza, por ejemplo, por un estado de uno o estado establecido de la bandera. Naturalmente, la regla de control puede ser al revés.
En una realización adicional, el modificador de mezcla descendente 116 está configurado para reducir o eliminar una optimización de sonoridad o una ecualización o una ecualización de multibanda o una compresión de intervalo dinámico o una operación de limitación aplicada al canal de mezcla descendente transmitido. En otras palabras, aquellas operaciones se han aplicado normalmente en el lado del codificador por el bloque de manipulación de mezcla descendente en la figura 7 o el bloque de manipulación de mezcla descendente en la figura 8a con el fin de derivar la señal de mezcla descendente transmitida de la señal de mezcla descendente del codificador, tal como se genera, por ejemplo, por el codificador de SAOC de bloques en la figura 5, el codificador de SAOC en la figura 7 o el codificador de SAOC en la figura 8a.
Entonces, el modificador de señal de salida 120 está configurado para aplicar la optimización de sonoridad o la ecualización o la ecualización de multibanda o la compresión de intervalo dinámico o la operación de limitación otra vez a las señales de salida generadas por el representador de objetos 118 para obtener finalmente las señales de salida modificadas 160.
Además, el representador de objetos 118 puede estar configurado para calcular las señales de salida como señales de canal para altavoces de una disposición de reproducción a partir de la señal de mezcla descendente modificada, los datos paramétricos 114 y la información de posición 121 que puede, por ejemplo, introducirse al representador de objetos 118 mediante una interfaz de entrada de usuario 122 o que puede, adicionalmente, transmitirse del codificador al decodificador por separado o dentro de la señal codificada 100, por ejemplo, como una "matriz de representación".
Entonces, el modificador de señal de salida 120 está configurado para aplicar la función de modificación de señal de salida a estas señales de canal para los altavoces y las señales de salida modificadas 116 pueden enviarse entonces directamente a los altavoces.
En una realización diferente, el representador de objetos está configurado para realizar un procesamiento de dos pasos, es decir, para reconstruir en primer lugar los objetos individuales y para distribuir después las señales de objeto a las señales de altavoz correspondientes mediante uno cualquiera de los medios bien conocidos, tal como toma panorámica de amplitud basada en vector o de otra manera. Entonces, la señal de salida 120 también puede estar configurada para aplicar la modificación de señal de salida a las señales de objeto reconstruidas antes de que tenga lugar la distribución a los altavoces individuales. Así, las señales de salida generadas por el representador de objetos 118 en la figura 1 pueden ser o bien señales de objeto reconstruidas o bien pueden ser ya señales de canal de altavoz (sin modificar).
Además, la interfaz de señal de entrada 110 está configurada para recibir un objeto de audio mejorado y objetos de audio normales tal como, por ejemplo, se conoce a partir de SAOC. En particular, un objeto de audio mejorado es, tal como se conoce en la técnica, una diferencia de forma de onda entre un objeto original y una versión reconstruida de este objeto usando datos paramétricos, tales como los datos paramétricos 114. Esto permite que objetos individuales tales como, por ejemplo, cuatro objetos en un conjunto de, por ejemplo, veinte objetos más o menos puedan transmitirse muy bien, naturalmente al precio de una velocidad de bits adicional debido a la información requerida para el audio mejorado. Entonces, el representador de objetos 118 está configurado para utilizar los objetos normales y el objeto de audio mejorado para calcular las señales de salida.
En una realización adicional, el representador de objetos está configurado para recibir una entrada de usuario 123 para manipular uno o más objetos, tal como para manipular un objeto de primer plano FGO o un objeto de fondo BGO o ambos y, después, el representador de objetos 118 está configurado para manipular el uno o más objetos tal como se determina por la entrada de usuario cuando se representan las señales de salida. En esta realización, se prefiere reconstruir realmente las señales de objeto y luego manipular una señal de objeto de primer plano o atenuar una señal de objeto de fondo y, entonces, tiene lugar la distribución a los canales y luego se modifican las señales de canal. Sin embargo, alternativamente, las señales de salida pueden ser ya las señales de objeto individuales y la distribución de las señales de objeto después de haberse modificado por el bloque 120 tiene lugar antes de distribuir las señales de objeto a las señales de canal individuales utilizando la información de posición 121 y cualquier proceso bien conocido para generar señales de canal de altavoz a partir de las señales de objeto, tal como toma panorámica de amplitud basada en vector.
Posteriormente, se describe la figura 2, que es una realización preferida del aparato para decodificar una señal de audio codificada. Se recibe información secundaria codificada que comprende, por ejemplo, los datos paramétricos 114 de la figura 1 y la información de modificación 115. Además, se reciben las señales de mezcla descendente modificadas que corresponden a la señal de mezcla descendente transmitida 112. Puede verse a partir de la figura 2 que la señal de mezcla descendente transmitida puede ser de un solo canal o de varios canales, tal como de M canales, donde M es un número entero. La realización de la figura 2 comprende un decodificador de información secundaria 111 para decodificar información secundaria en el caso en el que la información secundaria esté codificada. Entonces, la información secundaria descodificada se envía a un bloque de modificación de mezcla descendente correspondiente al modificador de mezcla descendente 116 en la figura 1. Entonces, las señales de mezcla descendente compensadas se envían al representador de objetos 118 que consiste, en la realización de la figura 2, en un bloque de separación de objetos (virtual) 118a y un bloque representador 118b que recibe la información de representación M correspondiente a la información de posición para los objetos 121 en la figura 1. Además, el representador 118b genera señales de salida o, tal como se denominan en la figura 2, señales de salida intermedias y el bloque de recuperación de modificación de mezcla descendente 120 corresponde al modificador de señal de salida 120 en la figura 1. Las señales de salida finales generadas por el bloque de recuperación de modificación de mezcla descendente 160 corresponden a las señales de salida modificadas en los términos de la figura 1.
Las realizaciones preferidas utilizan la información secundaria ya incluida de la modificación de mezcla descendente e invierten el proceso de modificación después de la representación de las señales de salida. El diagrama de bloques de esto se ilustra en la figura 2. Comparándolo con la figura 8b, puede observarse que la adición del bloque "Recuperación de modificación de mezcla descendente" en la figura 2 o modificador de señal de salida en la figura 1 implementa esta realización.
La señal de mezcla descendente creada por el codificador X se manipula (o la manipulación puede aproximarse como) con la función f(X). El codificador incluye la información relacionada con esta función a la información secundaria para transmitirla y/o almacenarla. El decodificador recibe la información secundaria y la invierte para obtener una función de modificación o compensación. (En SAOC de MPEG, el codificador hace la inversión y transmite los valores invertidos). El decodificador aplica la función de compensación sobre las señales de mezcla descendente recibidas g(f(X)) = f 1(f(X)) = X y obtiene señales de mezcla descendente compensadas que van a usarse en la separación de objetos (virtuales). Basándose en la información de representación (del usuario) M, la escena de salida se reconstruye a partir de las reconstrucciones de objetos (virtuales) S mediante Y = MS. Es posible incluir etapas de procesamiento adicionales, tales como la modificación de las propiedades de covarianza de las señales de salida con la ayuda de decorrelacionadores. Tal procesamiento, sin embargo, no cambia el hecho de que el objetivo de la etapa de representación es obtener una salida que se aproxima al resultado de aplicar el proceso de representación sobre los objetos de audio de entrada originales, es decir, MS = MS. La adición propuesta es aplicar el inverso de la función de compensación h () = g-1 ( ) = f( ) sobre la salida representada para obtener las señales de salida finales f(Y) con un efecto que se aproxima a la función de manipulación de mezcla descendente f().
Posteriormente, se considera la figura 3 con el fin de indicar una realización preferida para calcular la función de modificación de señal de salida a partir de la función de modificación de señal de mezcla descendente y, en particular, en esta situación en donde ambas funciones están representadas por factores de ganancia correspondientes para bandas de frecuencia y/o cuadros de tiempo.
La información secundaria relacionada con la modificación de la señal de mezcla descendente en la estructura de SAOC [SAOC] está limitada a factores de ganancia para cada señal de mezcla descendente, tal como se describió anteriormente. En otras palabras, en SAOC, la función de compensación invertida se transmite y las señales de mezcla descendente compensadas pueden obtenerse tal como se ilustra en la primera ecuación de la figura 3.
Utilizando esta definición para la función de compensación g( ), es posible definir el inverso de la función de
A(X) = g-, (X) = W ¿cX » / ( X ) .
compensación como . En el caso de la definición de g( ) anterior, esta puede expresarse como la segunda ecuación en la figura 3. Si existe la posibilidad de que uno o más de los parámetros de compensación PDGi sean cero, deben tomarse algunas precauciones para evitar problemas aritméticos. Esto puede hacerse, por ejemplo, añadiendo una constante pequeña e (por ejemplo, e =10-3) a cada entrada (no negativa) tal como se explica en la tercera ecuación de la figura 3 o tomando el máximo del parámetro de compensación y una constante pequeña tal como se explica en la cuarta ecuación de la figura 3. También existen otras maneras de determinar el W' 1.
valor de FDG
Considerando el transporte de la información requerida para reaplicar la manipulación de mezcla descendente sobre la salida representada, no se requiere ninguna información adicional, si los parámetros de compensación (en SAOC DE MPEG, PDG) ya se transmiten. Para mayor funcionalidad, también es posible añadir señalización al flujo de bits si debe aplicarse la recuperación de manipulación de mezcla descendente. En el contexto de SAOC de MPEG, esto puede obtenerse mediante la siguiente sintaxis del flujo de bits:
bsPdgFlag; 1 uimsbf si (bsPdgFlag) {
bsPdglnvFlag; 1 uimsbf
}
Cuando se ajusta la variable de flujo de bits bsPdglnvFlag 117 al valor de 0 o se omite, y se ajusta la variable de flujo de bits bsPdgFlag al valor de 1, el decodificador funciona tal como se especifica en el estándar de MPEG [SAOC], es decir, la compensación se aplica sobre las señales de mezcla descendente recibidas por el decodificador antes de la de separación de objetos (virtual). Cuando se ajusta la variable de flujo de bits bsPdglnvFlag al valor de 1, las señales de mezcla descendente se procesan como anteriormente y la salida representada se procesará por el método propuesto que aproxima la manipulación de mezcla descendente.
Posteriormente, se considera la figura 4 que ilustra una realización preferida para usar factores de ganancia de modificación de mezcla descendente interpolados, que también se indican como "PDG" en la figura 4 y en esta memoria descriptiva. La primera etapa comprende la provisión de valores de PDG actuales y futuros o previos y actuales, tal como un valor de PDG del instante de tiempo actual y un valor de PDG del siguiente instante de tiempo (futuro) tal como se indica en 40. En la etapa 42, se calculan los valores de PDG interpolados y se usan en el modificador de mezcla descendente 116. Entonces, en la etapa 44, los factores de ganancia de modificación de señal de salida se derivan a partir de los factores de ganancia interpolados generados por el bloque 42 y, entonces, los factores de ganancia de modificación de señal de salida calculados se usan en el modificador de señal de salida 120. Así, se hace evidente que, dependiendo de qué factores de modificación de señal de mezcla descendente se consideren, los factores de ganancia de modificación de señal de salida no son totalmente inversos a los factores transmitidos, sino que solo se invierten parcial o totalmente a los factores de ganancia interpolados.
El procesamiento de PDG se especifica en el estándar de SAOC de MPEG [SAOC] para tener lugar en cuadros paramétricos. Esto sugeriría que la multiplicación de compensación tenga lugar en cada cuadro utilizando valores de parámetros constantes. En caso de que los valores de los parámetros cambien considerablemente entre cuadros consecutivos, esto puede conducir a artefactos no deseados. Por consiguiente, sería aconsejable incluir suavizado de parámetros antes de aplicarlos sobre las señales. El suavizado puede tener lugar en diversos métodos, tal como filtración de paso bajo de los valores de los parámetros con el paso del tiempo o interpolación de los valores de los parámetros entre cuadros consecutivos. Una realización preferida incluye interpolación lineal entre cuadros de parámetros. -r -L/VT/ es el valor de parámetro para la iésima señal de mezcla descendente en el instante de tiempo n,
y PDGn+J es el valor de parámetro para el mismo canal de mezcla descendente en el instante de tiempo n J. Los valores de parámetro interpolados en los instantes de tiempo n j, 0 < j < J pueden obtenerse a partir de la ecuación
Figure imgf000009_0001
Las realizaciones resuelven el problema que surge cuando se aplican manipulaciones a las señales de mezcla descendente de SAOC. Los enfoques del estado de la técnica o bien proporcionarían una calidad perceptual sub­ óptima en términos de separación de objetos si no se hace ninguna compensación por la masterización o bien perderían los beneficios de la masterización si hay compensación por la masterización. Esto es especialmente problemático si el efecto de masterización representa algo que sería beneficioso de conservar en la salida final, por ejemplo, optimizaciones de sonoridad, ecualización, etc. Los beneficios principales del método propuesto incluyen, pero no están limitados a:
El procesamiento central de SAOC, es decir, separación de objetos (virtual), puede funcionar en señales de mezcla descendente que aproximan las señales originales de mezcla descendente creadas por el codificador más cerca de las señales de mezcla descendente recibidas por el decodificador. Esto minimiza los artefactos del procesamiento de SAOC.
La manipulación de mezcla descendente ("efecto de masterización") se conservará en la salida final al menos de forma aproximada. Cuando la información de representación es idéntica a la información de mezcla descendente, la salida final se aproximará a las señales de mezcla descendente predeterminadas muy estrechamente si no idénticamente.
Debido a que las señales de mezcla descendente se parecen a las señales de mezcla descendente creadas por el codificador más estrechamente, es posible utilizar el modo de calidad mejorada para los objetos, es decir, incluyendo las señales de corrección de forma de onda para los EAO.
Cuando se utilizan los EAO y se reconstruyen las aproximaciones cercanas de los objetos de audio de entrada originales, el método propuesto aplica el "efecto de masterización" también sobre ellos.
El método propuesto no requiere que ninguna información secundaria adicional se transmita si la información secundaria de PDG del SAOC de MPEG ya se transmite.
Si se desea, el método propuesto puede implementarse como una herramienta que puede habilitarse o inhabilitarse por el usuario final o por información secundaria enviada desde el codificador.
El método propuesto es computacionalmente muy ligero en comparación con la separación de objetos (virtual) en SAOC.
Aunque la presente invención se ha descrito en el contexto de diagramas de bloques, donde los bloques representan componentes de hardware reales o lógicos, la presente invención también puede implementarse por un método implementado por ordenador. En el último caso, los bloques representan etapas del método correspondientes donde estas etapas representan las funcionalidades realizadas por bloques de hardware lógicos o físicos correspondientes.
Aunque algunos aspectos se han descrito en el contexto de un aparato, es evidente que estos aspectos también representan una descripción del método correspondiente, donde un bloque o dispositivo corresponde a una etapa del método o una característica de una etapa del método. Análogamente, los aspectos descritos en el contexto de una etapa del método también representan una descripción de un bloque o un elemento o una característica correspondiente de un aparato correspondiente. Algunas o todas las etapas del método pueden ejecutarse por (o usando) un aparato de hardware, como, por ejemplo, un microprocesador, un ordenador programable o un circuito electrónico. En algunas realizaciones, algunas o más de las etapas del método más importantes pueden ejecutarse por un aparato de este tipo.
Dependiendo de ciertos requisitos de implementación, las realizaciones de la invención pueden implementarse en hardware o en software. La implementación puede realizarse utilizando un medio de almacenamiento digital, por ejemplo, un disco flexible, un DVD, un Blu-Ray, un CD, una ROM, una PROM y EPROM, una EEPROM o una memoria FLASH, que tiene señales de control legibles electrónicamente almacenadas en la misma, que actúan conjuntamente (o son capaces de actuar conjuntamente) con un sistema de ordenador programable, de manera que se realice el método respectivo. Por lo tanto, el medio de almacenamiento digital puede ser legible por ordenador.
Algunas realizaciones según la invención comprenden un soporte de datos que tiene señales de control legibles electrónicamente, que son capaces de actuar conjuntamente con un sistema de ordenador programable, de manera que se realice uno de los métodos descritos en el presente documento.
En general, las realizaciones de la presente invención pueden implementarse como un producto de programa informático con un código de programa, siendo el código de programa operativo para realizar uno de los métodos cuando el producto de programa informático se ejecuta en un ordenador. El código de programa puede, por ejemplo, almacenarse en un soporte legible por máquina.
Otras realizaciones comprenden el programa informático para realizar uno de los métodos descritos en el presente documento, almacenado en un soporte legible por máquina.
En otras palabras, una realización del método de la invención es, por consiguiente, un programa informático que tiene un código de programa para realizar uno de los métodos descritos en el presente documento, cuando el programa informático se ejecuta en un ordenador.
Una realización adicional del método de la invención es, por consiguiente, un soporte de datos (o un medio de almacenamiento no transitorio, tal como un medio de almacenamiento digital o un medio legible por ordenador) que comprende, grabado en el mismo, el programa informático para realizar uno de los métodos descritos en el presente documento. El soporte de datos, el medio de almacenamiento digital o el medio grabado son normalmente tangibles y/o no transitorios.
Una realización adicional del método de la invención es, por consiguiente, un flujo de datos o una secuencia de señales que representan el programa informático para realizar uno de los métodos descritos en el presente documento. El flujo de datos o la secuencia de señales puede, por ejemplo, estar configurado para transferirse mediante una conexión de comunicación de datos, por ejemplo, mediante Internet.
Una realización adicional comprende un medio de procesamiento, por ejemplo, un ordenador o un dispositivo lógico programable, configurado para, o adaptado para, realizar uno de los métodos descritos en el presente documento.
Una realización adicional comprende un ordenador que tiene instalado en el mismo el programa informático para realizar uno de los métodos descritos en el presente documento.
Una realización adicional según la invención comprende un aparato o un sistema configurado para transferir (por ejemplo, electrónica u ópticamente) un programa informático para realizar uno de los métodos descritos en el presente documento a un receptor. El receptor puede ser, por ejemplo, un ordenador, un dispositivo móvil, un dispositivo de memoria o similares. El aparato o sistema puede, por ejemplo, comprender un servidor de archivos para transferir el programa informático al receptor.
En algunas realizaciones, puede usarse un dispositivo lógico programable (por ejemplo, una matriz de puertas de campo programable) para realizar algunas o todas las funcionalidades de los métodos descritos en el presente documento. En algunas realizaciones, una matriz de puertas de campo programable puede actuar conjuntamente con un microprocesador con el fin de realizar uno de los métodos descritos en el presente documento. En general, los métodos se realizan preferiblemente mediante cualquier aparato de hardware.
Las realizaciones descritas anteriormente son solamente ilustrativas para los principios de la presente invención. Se entiende que serán evidentes modificaciones y variaciones de las disposiciones y los detalles descritos en el presente documento para otros expertos en la técnica. Por consiguiente, la intención es estar limitadas solamente por el alcance de las reivindicaciones de patente inminentes y no por los detalles específicos presentados a modo de descripción y explicación de las realizaciones en el presente documento.
Bibliografía
[BCC] C. Faller y F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications", IEEE Trans. on Speech and Audio Proc., vol. 11, n.° 6, noviembre de 2003.
[JSC] C. Faller, "Parametric Joint-Coding of Audio Sources", 120a Convención de AES, París, 2006.
[1551] M. Parvaix y L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010.
[1552] M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010.
[1553] A. Liutkus y J. Pinel y R. Badeau y L. Girin y G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011.
[1554] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.
[1555] S. Zhang y L. Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011.
[1556] L. Girin y J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", 42a Conferencia Internacional de AES: Semantic Audio, 2011.
[PDG] J. Seo, S. Beack, K. Kang, J. W. Hong, J. Kim, C. Ahn, K. Kim, y M. Hahn, "Multi-object audio encoding and decoding apparatus supporting post downmix signal", publicación de solicitud de patente estadounidense n.° US2011/0166867, julio de 2011.
[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22a Conferencia Regional de AES de R.U., Cambridge, R.U., abril de 2007.
[SAOC2] J. Engdegárd, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers y W. Oomen: "Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124a Convención de AES, Ámsterdam 2008.
[SAOC] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)", ISO/IEC JTC1/SC29/WG11 (MPEG) Estándar Internacional 23003-2.

Claims (1)

  1. REIVINDICACIONES
    Aparato para decodificar una señal de audio codificada (100) para obtener señales de salida modificadas (160), que comprende:
    una interfaz de entrada (110) para recibir la señal de audio codificada (100) y para extraer, a partir de la señal de audio codificada (100), una señal de mezcla descendente transmitida (112) y datos paramétricos (114) relacionados con objetos de audio incluidos en la señal de mezcla descendente transmitida (112), siendo la señal de mezcla descendente transmitida (112) diferente de una señal de mezcla descendente del codificador, con la que están relacionados los datos paramétricos, en el que la señal de mezcla descendente del codificador se genera por un codificador mediante la mezcla descendente de los objetos de audio usando información de mezcla descendente;
    un modificador de mezcla descendente (116) para modificar la señal de mezcla descendente transmitida (112) usando una función de modificación de mezcla descendente, en el que la función de modificación de mezcla descendente es tal que una señal de mezcla descendente modificada es idéntica a la señal de mezcla descendente del codificador o es más similar a la señal de mezcla descendente del codificador en comparación con la señal de mezcla descendente transmitida (112), en el que la función de modificación de mezcla descendente comprende aplicar factores de ganancia de modificación de mezcla descendente o factores de ganancia de modificación de mezcla descendente interpolados o suavizados a diferentes cuadros de tiempo o bandas de frecuencia de la señal de mezcla descendente transmitida (112); y
    un representador de objetos (118) para representar los objetos de audio usando la señal de mezcla descendente modificada y los datos paramétricos para obtener señales de salida;
    caracterizado por
    un modificador de señal de salida (120) para modificar las señales de salida usando una función de modificación de señal de salida, en el que la función de modificación de señal de salida es tal que una operación de manipulación aplicada a la señal de mezcla descendente del codificador para obtener la señal de mezcla descendente transmitida (112) se aplica al menos parcialmente a las señales de salida para obtener las señales de salida modificadas (160), en el que la función de modificación de señal de salida comprende aplicar factores de ganancia de modificación de señal de salida o factores de ganancia de modificación de señal de salida interpolados o suavizados a diferentes cuadros de tiempo o bandas de frecuencia de las señales de salida,
    en el que la interfaz de entrada (110) está configurada para recibir adicionalmente información (115) sobre los factores de ganancia de modificación de mezcla descendente, y en el que el modificador de señal de salida (120) está configurado para derivar los factores de ganancia de modificación de señal de salida a partir de valores inversos de los factores de ganancia de modificación de mezcla descendente, o en el que la interfaz de entrada (110) está configurada para recibir adicionalmente información (115) sobre los factores de ganancia de modificación de señal de salida, y en el que el modificador de señal descendente (116) está configurado para derivar los factores de ganancia de modificación de mezcla descendente a partir de valores inversos de los factores de ganancia de modificación de señal de salida.
    Aparato según la reivindicación 1,
    en el que el modificador de señal de salida (120) está configurado para calcular los factores de ganancia de modificación de señal de salida usando un máximo de un factor de ganancia de modificación de mezcla descendente invertido o un factor de ganancia de modificación de mezcla descendente interpolado o suavizado y un valor constante o usando una suma del factor de ganancia de modificación de mezcla descendente invertido o un factor de ganancia de modificación de mezcla descendente interpolado o suavizado y el valor constante, respectivamente. PDGi " PDG¡.
    Aparato según una de las reivindicaciones anteriores, en el que el modificador de señal de salida (120) puede controlarse por una señal de control (117), en el que la interfaz de entrada (110) está configurada para recibir una información de control para los cuadros de tiempo o las bandas de frecuencia de la señal de mezcla descendente transmitida (112), y
    en el que el modificador de señal de salida (120) está configurado para derivar la señal de control a partir de la información de control.
    Aparato según la reivindicación 3, en el que la información de control es una bandera y en el que la señal de control es tal que el modificador de señal de salida (120) se desactiva, si la bandera está en un estado establecido, y en el que el modificador de señal de salida (120) se activa, cuando la bandera está en un estado no establecido o viceversa.
    5. Aparato según una de las reivindicaciones anteriores, en el que el modificador de mezcla descendente (116) está configurado para reducir o eliminar una optimización de sonoridad, una operación de ecualización, una operación de ecualización de multibanda, una operación de compresión de intervalo dinámico o una operación de limitación, aplicada a la señal de mezcla descendente del codificador para derivar la señal de mezcla descendente transmitida (112), y
    en el que el modificador de señal de salida (120) está configurado para aplicar la optimización de sonoridad o la operación de ecualización o la operación de ecualización de multibanda o la compresión de intervalo dinámico o la operación de limitación a las señales de salida.
    6. Aparato según una de las reivindicaciones anteriores, en el que el representador de objetos (118) está configurado para calcular señales de canal a partir de la señal de mezcla descendente modificada, los datos paramétricos (114) e información de posición (121) que indica una colocación de los objetos de audio en una disposición de reproducción.
    7. Aparato según una de las reivindicaciones anteriores,
    en el que el representador de objetos (118) está configurado para reconstruir los objetos de audio usando los datos paramétricos (114) y para distribuir los objetos de audio a señales de canal para una disposición de reproducción usando información de posición (121) que indica una colocación de los objetos de audio en una disposición de reproducción.
    8. Aparato según una de las reivindicaciones anteriores,
    en el que la interfaz de entrada (110) está configurada para recibir un objeto de audio mejorado que es una diferencia de forma de onda entre un objeto de audio original y un objeto de audio reconstruido, donde una reconstrucción para obtener el objeto de audio reconstruido se basó en los datos paramétricos (114) y objetos de audio normales, y
    en el que el representador de objetos (118) está configurado para utilizar los objetos de audio normales y el objeto de audio mejorado para calcular las señales de salida.
    9. Aparato según una de las reivindicaciones anteriores,
    en el que el representador de objetos (118) está configurado para recibir una entrada de usuario (123) para manipular uno o más objetos de audio de los objetos de audio incluidos en la señal de mezcla descendente transmitida (112), y
    en el que el representador de objetos (118) está configurado para manipular el uno o más objetos de audio tal como se determina por la entrada de usuario cuando se representan las señales de salida.
    10. Aparato según la reivindicación 9, en el que el representador de objetos (118) está configurado para manipular un objeto de audio de primer plano o un objeto de audio de fondo de los objetos de audio incluidos en la señal de mezcla descendente transmitida (112).
    11. Método para decodificar una señal de audio codificada (100) para obtener señales de salida modificadas (160), que comprende:
    recibir (110) la señal de audio codificada (100) y extraer, a partir de la señal de audio codificada (100), una señal de mezcla descendente transmitida (112) y datos paramétricos (114) relacionados con objetos de audio incluidos en la señal de mezcla descendente transmitida (112), siendo la señal de mezcla descendente transmitida (112) diferente de una señal de mezcla descendente del codificador, con la que están relacionados los datos paramétricos, en el que la señal de mezcla descendente del codificador se genera por un codificador mediante la mezcla descendente de los objetos de audio usando información de mezcla descendente;
    modificar (116) la señal de mezcla descendente transmitida (112) usando una función de modificación de mezcla descendente, en el que la función de modificación de mezcla descendente es tal que una señal de mezcla descendente modificada es idéntica a la señal de mezcla descendente del codificador o es más similar a la señal de mezcla descendente del codificador en comparación con la señal de mezcla descendente transmitida (112), en el que la función de modificación de mezcla descendente comprende aplicar factores de ganancia de modificación de mezcla descendente o factores de ganancia de modificación de mezcla descendente interpolados o suavizados a diferentes cuadros de tiempo o bandas de frecuencia de la señal de mezcla descendente transmitida (112); y
    representar (118) los objetos de audio usando la señal de mezcla descendente modificada y los datos paramétricos para obtener señales de salida;
    caracterizado por
    modificar (120) las señales de salida usando una función de modificación de señal de salida, en el que la función de modificación de señal de salida es tal que una operación de manipulación aplicada a la señal de mezcla descendente del codificador para obtener la señal de mezcla descendente transmitida (112) se aplica al menos parcialmente a las señales de salida para obtener las señales de salida modificadas (160), en el que la función de modificación de señal de salida comprende aplicar factores de ganancia de modificación de señal de salida o factores de ganancia de modificación de señal de salida interpolados o suavizados a diferentes cuadros de tiempo o bandas de frecuencia de las señales de salida,
    en el que la recepción (110) comprende recibir adicionalmente información (115) sobre los factores de ganancia de modificación de mezcla descendente, y en el que la modificación (120) de las señales de salida comprende derivar los factores de ganancia de modificación de señal de salida a partir de valores inversos de los factores de ganancia de modificación de mezcla descendente, o en el que la recepción (110) comprende recibir adicionalmente información (115) sobre los factores de ganancia de modificación de señal de salida, y en el que la modificación (116) de la señal de mezcla descendente transmitida (112) comprende derivar los factores de ganancia de modificación de mezcla descendente a partir de valores inversos de los factores de ganancia de modificación de señal de salida.
    Programa informático para realizar un método según la reivindicación 11, cuando el programa informático se ejecuta en un ordenador o un procesador.
ES14744024T 2013-07-22 2014-07-18 Aparato y método para decodificar una señal de audio codificada para obtener señales de salida modificadas Active ES2869871T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13177379.8A EP2830046A1 (en) 2013-07-22 2013-07-22 Apparatus and method for decoding an encoded audio signal to obtain modified output signals
PCT/EP2014/065533 WO2015011054A1 (en) 2013-07-22 2014-07-18 Apparatus and method for decoding an encoded audio signal to obtain modified output signals

Publications (1)

Publication Number Publication Date
ES2869871T3 true ES2869871T3 (es) 2021-10-26

Family

ID=48795521

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14744024T Active ES2869871T3 (es) 2013-07-22 2014-07-18 Aparato y método para decodificar una señal de audio codificada para obtener señales de salida modificadas

Country Status (11)

Country Link
US (1) US10607615B2 (es)
EP (2) EP2830046A1 (es)
JP (1) JP6207739B2 (es)
KR (1) KR101808464B1 (es)
CN (1) CN105431899B (es)
BR (1) BR112016000867B1 (es)
CA (1) CA2918703C (es)
ES (1) ES2869871T3 (es)
MX (1) MX362035B (es)
RU (1) RU2653240C2 (es)
WO (1) WO2015011054A1 (es)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101660004B1 (ko) * 2012-08-03 2016-09-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 멀티채널 다운믹스/업믹스 케이스들에 대해 매개변수 개념을 이용한 멀티-인스턴스 공간-오디오-오브젝트-코딩을 위한 디코더 및 방법
US10349196B2 (en) * 2016-10-03 2019-07-09 Nokia Technologies Oy Method of editing audio signals using separated objects and associated apparatus
US11004457B2 (en) * 2017-10-18 2021-05-11 Htc Corporation Sound reproducing method, apparatus and non-transitory computer readable storage medium thereof
WO2020098961A1 (de) * 2018-11-17 2020-05-22 Ask Industries Gmbh Verfahren zum betreiben einer audioeinrichtung
EP4158627A1 (en) * 2020-05-29 2023-04-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for processing an initial audio signal
WO2023053480A1 (ja) * 2021-09-28 2023-04-06 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1947172B (zh) * 2004-04-05 2011-08-03 皇家飞利浦电子股份有限公司 方法、装置、编码器设备、解码器设备以及音频系统
EP1999997B1 (en) * 2006-03-28 2011-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Enhanced method for signal shaping in multi-channel audio reconstruction
KR101012259B1 (ko) 2006-10-16 2011-02-08 돌비 스웨덴 에이비 멀티채널 다운믹스된 객체 코딩의 개선된 코딩 및 파라미터 표현
RU2417459C2 (ru) * 2006-11-15 2011-04-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования аудиосигнала
EP2111617B1 (en) * 2007-02-14 2013-09-04 LG Electronics Inc. Audio decoding method and corresponding apparatus
CN101542595B (zh) * 2007-02-14 2016-04-13 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
EP2104096B1 (en) * 2008-03-20 2020-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for converting an audio signal into a parameterized representation, apparatus and method for modifying a parameterized representation, apparatus and method for synthesizing a parameterized representation of an audio signal
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
KR101387902B1 (ko) * 2009-06-10 2014-04-22 한국전자통신연구원 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
US9190065B2 (en) * 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
EP2885929A1 (en) * 2012-08-16 2015-06-24 Turtle Beach Corporation Multi-dimensional parametric audio system and method

Also Published As

Publication number Publication date
CA2918703A1 (en) 2015-01-29
KR101808464B1 (ko) 2018-01-18
KR20160029842A (ko) 2016-03-15
WO2015011054A1 (en) 2015-01-29
EP3025334A1 (en) 2016-06-01
US20160140968A1 (en) 2016-05-19
CN105431899B (zh) 2019-05-03
EP2830046A1 (en) 2015-01-28
JP6207739B2 (ja) 2017-10-04
JP2016530789A (ja) 2016-09-29
RU2016105686A (ru) 2017-08-28
EP3025334B1 (en) 2021-04-28
BR112016000867B1 (pt) 2022-06-28
MX362035B (es) 2019-01-04
CN105431899A (zh) 2016-03-23
BR112016000867A2 (es) 2017-07-25
MX2016000504A (es) 2016-04-07
US10607615B2 (en) 2020-03-31
RU2653240C2 (ru) 2018-05-07
CA2918703C (en) 2019-04-09

Similar Documents

Publication Publication Date Title
TWI759240B (zh) 用以使用量化及熵寫碼來編碼或解碼方向性音訊寫碼參數之設備及方法
US7573912B2 (en) Near-transparent or transparent multi-channel encoder/decoder scheme
ES2959236T3 (es) Aparato y método para codificación mejorada de objetos de audio espacial
US12080303B2 (en) System and method for processing audio data into a plurality of frequency components
ES2913849T3 (es) Concepto para codificación y decodificación de audio para canales de audio y objetos de audio
ES2869871T3 (es) Aparato y método para decodificar una señal de audio codificada para obtener señales de salida modificadas
AU2013298462B2 (en) Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
BR112016001141B1 (pt) Codificador de áudio, decodificador de áudio e métodos que usam sinais residuais codificados em conjunto
CN107077861B (zh) 音频编码器和解码器
ES2595220T3 (es) Aparato y métodos para adaptar información de audio a codificación de objeto de audio espacial
ES2624668T3 (es) Codificación y descodificación de objetos de audio
ES2856423T3 (es) Decodificador de señal de audio MPEG-SAOC, codificador de señal de audio MPEG-SAOC, procedimiento para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC, procedimiento para proporcionar una representación de señal de mezcla descendente usando decodificación MPEG-SAOC, y programa informático que usa un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia
HK1107495B (en) Near-transparent or transparent multi-channel encoder/decoder scheme