ES3067508T3 - Combining of spatial audio parameters - Google Patents

Abstract

Se ha divulgado, entre otras cosas, un aparato para la codificación de audio espacial que comprende: medios para determinar un primer parámetro de audio espacial de una subbanda de frecuencia de una o más señales de audio y un segundo parámetro de audio espacial de la subbanda de frecuencia de una o más señales de audio; y medios para combinar el primer parámetro de audio espacial y el segundo parámetro de audio espacial para proporcionar un parámetro de audio espacial combinado para la subbanda de frecuencia. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] DESCRIPCIÓN

[0002] Combinación de parámetros de audio espacial

[0003] Campo

[0004] La presente solicitud se refiere a aparatos y métodos para una codificación de parámetros relacionados con el campo de sonido, pero no exclusivamente para una codificación de parámetros relacionados con la dirección en el dominio de tiempo-frecuencia para un codificador y un decodificador de audio.

[0005] Antecedentes

[0006] El procesamiento de audio espacial paramétrico es un campo de procesamiento de señales de audio donde el aspecto espacial del sonido se describe utilizando un conjunto de parámetros. Por ejemplo, en la captación de audio espacial paramétrica a partir de matrices de micrófonos, una elección típica y efectiva es estimar, a partir de las señales de matrices de micrófonos, un conjunto de parámetros tales como unas direcciones del sonido en unas bandas de frecuencia y los coeficientes entre las partes direccionales y no direccionales del sonido captado en unas bandas de frecuencia. Se sabe que estos parámetros describen bien las propiedades espaciales perceptuales del sonido captado en la posición de la matriz de micrófonos. Estos parámetros pueden utilizarse en la síntesis del sonido espacial, por consiguiente, para auriculares de forma binaural, para altavoces o para otros formatos, tales como Ambisonics. Por lo tanto, las direcciones y las relaciones de energía directa a total en bandas de frecuencia son de este modo una parametrización que es especialmente eficaz para la captación de audio espacial.

[0007] También puede utilizarse un conjunto de parámetros que consiste en un parámetro de dirección en bandas de frecuencia y un parámetro de relación de energía en bandas de frecuencia (que indica la direccionalidad del sonido) como metadatos espaciales (que también pueden incluir otros parámetros como la coherencia circundante, coherencia de propagación, número de direcciones, distancia, etc.) para un códec de audio. Por ejemplo, estos parámetros pueden estimarse a partir de señales de audio captadas en matriz de micrófonos y, por ejemplo, se puede generar una señal estéreo o mono a partir de las señales de matriz de micrófonos que se transportan con los metadatos espaciales. La señal estéreo podría codificarse, por ejemplo, con un codificador AAC y la señal mono podría codificarse con un codificador EVS. Un decodificador puede decodificar las señales de audio para dar señales de PCM y procesar el sonido en bandas de frecuencia (usando los metadatos espaciales) para obtener la salida espacial, por ejemplo, una salida binaural.

[0008] La solución mencionada anteriormente es especialmente adecuada para codificar sonido espacial capturado a partir de matrices de micrófonos (por ejemplo, en teléfonos móviles, cámaras de RV, matrices de micrófonos independientes). Sin embargo, puede ser deseable que un codificador así tenga también otros tipos de entrada aparte de las señales captadas por matrices de micrófonos, por ejemplo, señales de altavoz, señales de objeto de audio o señales ambisónicas.

[0009] El análisis de entradas ambisónicas de primer orden (FOA) para la extracción de metadatos espaciales se ha documentado completamente en la literatura científica relacionada con la codificación de audio direccional (DirAC) y la expansión en ondas planas armónicas (Harpex). Esto es así dado que existen matrices de micrófonos que proporcionan directamente una señal FOA (de forma más precisa: su variante, la señal de formato B) y el análisis de una entrada así ha sido, por lo tanto, un punto de estudio en el campo. Además, el análisis de la entrada ambisónica de orden superior (HOA) para la extracción de metadatos espaciales multidireccionales también se ha documentado en la bibliografía científica relacionada con la codificación de audio direccional de orden superior (HO-DirAC).

[0010] Una entrada adicional para el codificador también es la entrada de altavoz multicanal, tal como las entradas circundantes de canales 5.1 o 7.1 y objetos de audio.

[0011] Sin embargo, con respecto a los componentes de los metadatos espaciales, la compresión y codificación de los parámetros de audio espacial tienen considerable interés para minimizar el número total de bits requeridos para representar los parámetros de audio espacial.

[0012] La publicación de patente WO2019/097018 describe un método para codificar de manera eficiente los parámetros de audio espacial de DirAC de difusión y dirección. En particular, la publicación enseña la combinación de los parámetros de dirección y difusión en múltiples teselas de tiempo-frecuencia.

[0013] La publicación de patente GB2574238 describe un método para fusionar flujos de audio espacial codificados separados en uno sin la necesidad de convertir el flujo en un formato no paramétrico común.

[0014] La publicación de patente WO2019/229298 es un método para analizar la coherencia entre canales a lo largo de las teselas de tiempo-frecuencia de una señal de altavoz multicanal de entrada y transmitir los parámetros de coherencia espacial resultantes junto con los parámetros de dirección a un decodificador y sintetizador.

[0015] La publicación de patente WO2014/099285 describe un sistema de audio adaptativo que reduce la cantidad de información requerida para codificar una escena de audio espacial que comprende una mezcla de objetos de audio y canales de audio. En WO2014/099285 se describe una técnica para agrupar objetos de audio similares en grupos que reemplazan a los objetos de audio originales.

[0016] Resumen

[0017] Según un primer aspecto, existe un aparato para la codificación de audio espacial tal como se describe en las reivindicaciones 1 a 11 adjuntas.

[0018] Según un segundo aspecto, existe un método para la codificación de audio espacial tal como se establece en la reivindicación adjunta 12.

[0019] Realizaciones de la presente solicitud tienen como objetivo abordar problemas asociados con el estado de la técnica.

[0020] Resumen de las figuras

[0021] Para una mejor comprensión de la presente solicitud, ahora se hará referencia a modo de ejemplo a los dibujos adjuntos, en los que:

[0022] la Figura 1 muestra esquemáticamente un sistema de aparato adecuado para implementar algunas realizaciones; la Figura 2 muestra esquemáticamente el codificador de metadatos según algunas realizaciones;

[0023] la Figura 3 muestra un diagrama de flujo del funcionamiento del codificador de metadatos como se muestra en la Figura 2 según algunas realizaciones; y

[0024] la Figura 4 muestra esquemáticamente un dispositivo de ejemplo adecuado para implementar el aparato mostrado.

[0025] Realizaciones de la solicitud

[0026] A continuación se describe con más detalle un aparato adecuado y mecanismos posibles para la provisión de parámetros de metadatos obtenidos por análisis espacial efectivos. En las siguientes explicaciones, se analiza un sistema multicanal con respecto a una implementación de micrófono multicanal. Sin embargo, tal y como se discutió anteriormente, el formato de entrada puede ser cualquier formato de entrada adecuado, tal como un altavoz multicanal, Ambisonics (FOA/HOA), etc. Se entiende que en algunas realizaciones la ubicación de canal se basa en una ubicación del micrófono o es una ubicación o dirección virtual. Además, la salida del sistema de ejemplo es una disposición de altavoces multicanal. Sin embargo, se entiende que la salida puede hacerse al usuario mediante medios que no sean altavoces. Además, las señales de altavoces multicanal pueden generalizarse para ser dos o más señales de audio de reproducción. Un sistema de este tipo está siendo estandarizado actualmente por el organismo de estandarización del 3GPP como el Servicio Inmersivo de Voz y Audio (IVAS). El IVAS pretende ser una extensión del códec del Servicio de Voz Mejorado (EVS) de 3GPP existente para facilitar los servicios de voz y audio inmersivos a través de redes móviles (celulares) y de línea fija existentes y futuras. Una aplicación de IVAS puede ser el suministro de servicios de voz y audio inmersivos a través de redes de 3GPP de cuarta generación (4G) y de quinta generación (5G). Además, el códec de IVAS como una extensión a EVS se puede utilizar en aplicaciones de almacenamiento y reenvío en las que el contenido de audio y voz se codifica y almacena en un archivo para su reproducción. Se ha de apreciar que el IVAS se puede utilizar junto con otras tecnologías de codificación de audio y voz que tienen la funcionalidad de codificar las muestras de señales de audio y voz.

[0027] Los metadatos consisten en al menos direcciones esféricas (elevación, acimut), al menos una relación de energía de una dirección resultante, una coherencia de propagación y una coherencia circundante independiente de la dirección, para cada bloque o tesela de tiempo-frecuencia (TF) considerado, en otras palabras, una subbanda de tiempo/frecuencia. En total, IVAS puede tener un número de tipos diferentes de parámetros de metadatos para cada tesela de tiempo-frecuencia (TF). Los tipos de parámetros de audio espacial que pueden constituir los metadatos para IVAS se muestran en la Tabla 1 a continuación.

[0029]

[0030]

[0032] Estos datos pueden codificarse y transmitirse (o almacenarse) por el codificador para poder reconstruir la señal espacial en el decodificador.

[0033] Además, en algunos casos, el audio espacial asistido por metadatos (Metadata Assisted Spatial Audio, MASA) puede admitir hasta 2 direcciones para cada tesela de TF, lo que requeriría que los parámetros anteriores se codificaran y transmitieran para cada dirección para cada tesela de TF. De este modo, se duplica potencialmente la velocidad de bits requerida según la Tabla 1. Además, es fácil prever que otros sistemas MASA puedan admitir más de dos direcciones por tesela de TF.

[0034] La velocidad de bits asignada para los metadatos en un códec práctico de comunicaciones de audio inmersivo puede variar considerablemente. Las velocidades de bits operativas generales típicas del códec pueden dejar únicamente entre 2 y 10 kbps para la transmisión/almacenamiento de metadatos espaciales. Sin embargo, algunas implementaciones adicionales pueden permitir hasta 30 kbps o superior para la transmisión/almacenamiento de metadatos espaciales. La codificación de los parámetros de dirección y los componentes de relación de energía se ha examinado anteriormente junto con la codificación de los datos de coherencia. Sin embargo, sea cual sea la velocidad de bits de transmisión/almacenamiento asignada a los metadatos espaciales, siempre será necesario utilizar la menor cantidad de bits posible para representar estos parámetros, especialmente cuando una tesela de TF puede soportar múltiples direcciones correspondientes a diferentes fuentes de sonido en la escena de audio espacial.

[0035] El concepto, tal como se describe a continuación, es combinar cada parámetro de audio espacial asociado con cada dirección en uno o más parámetros de audio espacial combinados por tesela de TF.

[0036] En consecuencia, la invención parte de la consideración de que la velocidad de bits para cada tesela de TF puede reducirse mediante la combinación de los parámetros de audio espacial asociados a cada dirección.

[0037] En este sentido, la Figura 1 representa un aparato de ejemplo y sistema para implementar realizaciones de la solicitud. El sistema 100 se muestra con una parte de ‘análisis’ 121 y una parte de ‘síntesis’ 131. La parte de “análisis” 121 es la parte desde la recepción de las señales de altavoces de múltiples canales hasta la codificación de los metadatos y la señal de mezcla descendente; y la parte de ‘síntesis’ 131 es la parte de una decodificación de los metadatos codificados y la señal de mezcla descendente a la presentación de la señal regenerada (por ejemplo, en forma de altavoces de múltiples canales).

[0038] La entrada al sistema 100 y la parte de ‘análisis’ 121 son las señales multicanal 102. En los siguientes ejemplos, se describe una entrada de señal de canal de micrófono, aunque puede implementarse cualquier formato de entrada (o multicanal sintético) adecuado en otras realizaciones. Por ejemplo, en algunas realizaciones, el analizador espacial y el análisis espacial pueden implementarse de forma externa al codificador. Por ejemplo, en algunas realizaciones, los metadatos espaciales asociados con las señales de audio pueden proporcionarse a un codificador como un flujo de bits separado. En algunas realizaciones, los metadatos espaciales pueden proporcionarse como un conjunto de valores de índice espacial (dirección). Estos son ejemplos de un formato de entrada de audio basado en metadatos. Las señales multicanal se pasan a un mezclador de señales de transporte 103 y a un procesador de análisis 105. En algunas realizaciones, el generador de señal de transporte 103 está configurado para recibir las señales multicanal y generar una señal de transporte adecuada que comprende un número determinado de canales y emitir las señales de transporte 104. Por ejemplo, el generador de señales de transporte 103 puede configurarse para generar una mezcla de 2 canales de audio de las señales multicanal. El número determinado de canales puede ser cualquier número adecuado de canales. El generador de señales de transporte en algunas realizaciones está configurado para seleccionar o combinar de otro modo, por ejemplo, mediante técnicas de formación de haces las señales de audio de entrada al número determinado de canales y emitir estas como señales de transporte.

[0039] En algunas realizaciones, el mezclador de señales de transporte 103 es opcional y las señales multicanal se pasan sin procesar a un codificador 107 de la misma manera que la señal de transporte en este ejemplo.

[0040] En algunas realizaciones, el procesador de análisis 105 también está configurado para recibir las señales multicanal y analizar las señales para producir metadatos 106 asociados con las señales multicanal y, por lo tanto, asociarse con las señales de transporte 104. El procesador de análisis 105 puede configurarse para generar los metadatos que pueden comprender, para cada intervalo de análisis de tiempo-frecuencia, un parámetro de dirección 108 y un parámetro de relación de energía 110 y un parámetro de coherencia 112 (y en algunas realizaciones un parámetro de difusión). La dirección, la relación de energía y los parámetros de coherencia pueden considerarse en algunas realizaciones como parámetros de audio espacial. En otras palabras, los parámetros de audio espacial comprenden parámetros que tienen como objetivo caracterizar el campo de sonido creado/capturado por las señales multicanal (o dos o más señales de audio en general).

[0041] En algunas realizaciones, los parámetros generados pueden diferir entre las bandas de frecuencia. Por lo tanto, por ejemplo, en la banda X todos los parámetros se generan y transmiten, mientras que en la banda Y solo se genera y transmite uno de los parámetros, y además en la banda Z no se generan o transmiten parámetros. Un ejemplo práctico de esto es que para algunas bandas de frecuencia, tales como la banda más alta, no se requieren algunos de los parámetros por motivos perceptuales. Las señales de transporte 104 y los metadatos 106 pueden pasarse a un codificador 107.

[0042] El codificador 107 puede comprender un núcleo de codificador de audio 109 que está configurado para recibir las señales de transporte (para un ejemplo de mezcla descendente) 104 y generar una codificación adecuada de estas señales de audio. En algunas realizaciones, el codificador 107 puede ser un ordenador (que ejecuta un software adecuado almacenado en una memoria y en al menos un procesador) o, de forma alternativa, un dispositivo específico que utiliza, por ejemplo, FPGA o ASIC. La codificación puede implementarse utilizando cualquier esquema adecuado. El codificador 107 puede comprender además un codificador/cuantificador de metadatos 111 que está configurado para recibir los metadatos y dar salida a una forma codificada o comprimida de la información. En algunas realizaciones, el codificador 107 puede además intercalar, multiplexar a un flujo de datos individual o incorporar los metadatos dentro de las señales de mezcla descendente codificadas antes de la transmisión o el almacenamiento mostrado en la Figura 1 por la línea discontinua. La multiplexación puede implementarse utilizando cualquier esquema adecuado.

[0043] En el lado del decodificador, los datos recibidos o recuperados (flujo) pueden ser recibidos por un decodificador/demultiplexor 133. El decodificador/demultiplexor 133 puede demultiplexar los flujos codificados y pasar la corriente codificada de audio a un extractor de transporte 135 que está configurado para decodificar las señales de audio para obtener las señales de transporte. De manera similar, el decodificador/demultiplexor 133 puede comprender un extractor de metadatos 137 que está configurado para recibir los metadatos codificados y generar metadatos. En algunas realizaciones, el decodificador/demultiplexor 133 puede ser un ordenador (que ejecuta un software adecuado almacenado en la memoria y en al menos un procesador) o, de forma alternativa, un dispositivo específico que utiliza, por ejemplo, FPGA o ASIC.

[0044] Las señales de audio de transporte y metadatos decodificados pueden pasarse a un procesador de síntesis 139. La parte de ‘síntesis’ del sistema 100 muestra además un procesador de síntesis 139 configurado para recibir los datos de transporte y los metadatos, y para volver a crear en cualquier formato adecuado un audio espacial sintetizado en forma de señales multicanal 110 (que pueden estar en formato de altavoces multicanal o, en algunas realizaciones, en cualquier formato de salida adecuado tales como señales binaural o ambisónica, dependiendo del caso de uso) basado en las señales de transporte y los metadatos.

[0045] Por lo tanto, en resumen, el sistema (parte de análisis) está configurado para recibir señales de audio multicanal. A continuación, el sistema (parte de análisis) está configurado para generar una señal de audio de transporte adecuada (por ejemplo, seleccionando o mezclando de manera descendente algunos de los canales de señal de audio) y los parámetros de audio espacial como metadatos.

[0046] El sistema se configura a continuación para codificar para su almacenamiento/transmisión la señal de transporte y los metadatos.

[0047] Después de esto, el sistema puede almacenar/transmitir los datos de transporte codificado y los metadatos.

[0048] El sistema puede recuperar/recibir los datos de transporte codificado y los metadatos.

[0049] A continuación, el sistema se configura para extraer los datos de transporte y los metadatos de los parámetros codificados de transporte y metadatos, por ejemplo demultiplexar y decodificar los parámetros codificados de transporte y metadatos.

[0050] El sistema (parte de síntesis) está configurado para sintetizar una señal de audio multicanal de salida basándose en señales de audio de transporte extraídas y en metadatos.

[0051] Con respecto a la Figura 2, se describe con más detalle un procesador de análisis 105 y un codificador/cuantificador de metadatos 111 de ejemplo (como se muestra en la Figura 1) según algunas realizaciones.

[0052] Las Figuras 1 y 2 representan el codificador/cuantificador de metadatos 111 y el procesador de análisis 105 acoplados entre sí. Sin embargo, debe apreciarse que algunas realizaciones pueden no acoplar tan estrechamente estas dos entidades de procesamiento respectivas de tal modo que el procesador de análisis 105 pueda existir en un dispositivo diferente del codificador/cuantificador de metadatos 111. En consecuencia, a un dispositivo que comprende el codificador/cuantificador de metadatos 111 se le pueden presentar las señales de transporte y los flujos de metadatos para su procesamiento y codificación independientemente del proceso de captura y análisis. En este caso, el estimador de energía 205 puede configurarse para formar parte del codificador/cuantificador de metadatos 111.

[0053] El procesador de análisis 105 en algunas realizaciones comprende un transformador de dominio de tiempo-frecuencia 201.

[0054] En algunas realizaciones, el transformador de dominio de tiempo-frecuencia 201 está configurado para recibir las señales multicanal 102 y aplicar una transformación de dominio de tiempo a dominio de frecuencia adecuada, tal como una transformada de Fourier de tiempo corto (STFT), para convertir las señales en el dominio del tiempo de entrada en señales de tiempo-frecuencia adecuadas. Estas señales de tiempo-frecuencia pueden pasar a un analizador espacial 203.

[0055] Por lo tanto, por ejemplo, las señales de tiempo-frecuencia 202 pueden representarse en la representación del dominio de tiempo-frecuencia mediante

[0058]

[0061] donde b es el índice del bin de frecuencia y n es el índice del bloque de frecuencia (trama) e i es el índice de canal. En otra expresión, n puede considerarse un índice de tiempo con una tasa de muestreo más baja que la de las señales originales en el dominio del tiempo. Estos bins de frecuencia pueden agruparse en subbandas que forman uno o más de los bins en una subbanda de un índice de banda K = 0,..., K-1. Cada subbanda k tiene un bin b<k,bajo>más bajo y un bin b<k,alto>más alto, y la subbanda contiene todos los bins desde b<k,bajo>a b<k,alto>. Las anchuras de las subbandas pueden aproximarse a cualquier distribución adecuada. Por ejemplo, la escala de ancho de banda rectangular equivalente (ERB) o la escala Bark.

[0062] Una tesela (o bloque) de tiempo-frecuencia (TF) es, por lo tanto, una subbanda específica dentro de una subtrama de la trama.

[0063] Se puede apreciar que el número de bits requerido para representar los parámetros de audio espacial puede depender, al menos en parte, de la resolución de las teselas de tiempo-frecuencia (TF) (es decir, del número de subtramas o teselas de TF). Por ejemplo, una trama de audio de 20 ms puede dividirse en 4 subtramas en el dominio del tiempo de 5 ms por pieza y cada subtrama en el dominio del tiempo puede tener hasta 24 subbandas de frecuencia divididas en el dominio de la frecuencia según una escala Bark, una aproximación de la misma o cualquier otra división adecuada. En este ejemplo particular, la trama de audio puede dividirse en 96 subtramas/teselas de TF; dicho de otro modo, 4 subtramas en el dominio del tiempo con 24 subbandas de frecuencia. Por lo tanto, la cantidad de bits requerida para representar los parámetros de audio espacial para una trama de audio puede depender de la resolución de la tesela de TF. Por ejemplo, si cada tesela de TF se codificara según la distribución de la Tabla 1 anterior, a continuación cada tesela de TF requeriría 64 bits por dirección de fuente de sonido. Para dos direcciones de fuente de sonido por tesela de TF, se necesitarían 2x64 bits para la codificación completa de ambas direcciones. Cabe señalar que el uso del término fuente de sonido puede referirse a las direcciones dominantes del sonido que se propaga en la tesela de TF.

[0064] Realizaciones tienen como objetivo reducir la cantidad de bits cuando hay más de una dirección de fuente de sonido por tesela de TF.

[0065] En realizaciones, el procesador de análisis 105 puede comprender un analizador espacial 203. El analizador espacial 203 puede configurarse para recibir las señales de tiempo-frecuencia 202 y, basándose en estas señales, estimar unos parámetros 108 de dirección. Los parámetros de dirección se pueden determinar basándose en cualquier determinación de ‘dirección’ basada en audio.

[0066] Por ejemplo, en algunas realizaciones, el analizador espacial 203 está configurado para estimar la dirección de una fuente de sonido con dos o más entradas de señal.

[0067] El analizador espacial 203 puede configurarse por lo tanto para proporcionar al menos un acimut y una elevación para cada banda de frecuencia y bloque de tiempo-frecuencia temporal dentro de una trama de una señal de audio, indicado como acimut ϕ(k, n), y elevación θ(k, n). Los parámetros 108 de dirección para la subtrama temporal también pueden pasarse al fusionador 207 de parámetros espaciales.

[0068] El analizador especial 203 también puede configurarse para determinar un parámetro de relación de energía 110. Se puede considerar que la relación de energía es una determinación de la energía de la señal de audio que puede considerarse que llega desde una dirección. La relación de energía directa a totalr(k,n)puede estimarse, p. ej., utilizando una medida de estabilidad de la estimación direccional, o utilizando cualquier medida de correlación, o cualquier otro método adecuado para obtener un parámetro de relación. Cada relación de energía directa a total corresponde a una dirección espacial específica y describe qué cantidad de energía proviene de la dirección espacial específica en comparación con la energía total. Este valor también puede representarse para cada tesela de tiempofrecuencia por separado. Los parámetros de dirección espacial y la relación de energía directa a total describen qué parte de la energía total de cada tesela de tiempo-frecuencia proviene de la dirección específica. En general, un parámetro de dirección espacial también se puede considerar como la dirección de llegada (DOA).

[0069] En algunas realizaciones, el parámetro de relación de energía directa a total se puede estimar basado en el parámetro de correlación cruzada normalizadocor'(k, n) entre un par de micrófonos en la banda k, estando el valor del parámetro de correlación cruzada entre -1 y 1. El parámetro de relación de energía directa a totalr(k, n) puede determinarse comparando el parámetro de correlación cruzada normalizado a un parámetro de correlación cruzada normalizado de

[0071] campo difuso

como

. La relación de energía directa a total se explica con más detalle en la publicación PCT WO2017/005978. La relación de energía puede pasarse al fusionador 207 de parámetros espaciales.

[0072] En algunas realizaciones, los parámetros relacionados con una segunda dirección (para la tesela de TF) pueden analizarse utilizando una codificación de audio direccional de orden superior con entrada HOA o el método presentado en la publicación PCT WO2019/215391 con entrada de dispositivo móvil. Se pueden encontrar detalles sobre la codificación de audio direccional de orden superior en el IEEE Journal of Selected Topics in Signal Processing, “Sector-Based Parametric Sound Field Reproduction in the Spherical Harmonic Domain”, volumen 9, número 5.

[0073] El analizador espacial 203 puede configurarse además para determinar un número de parámetros 112 de coherencia que pueden incluircoherencia circundante(y(k, n)) ycoherencia de propagación(ζ(k, n)), ambas analizadas en el dominio de tiempo-frecuencia.

[0074] A continuación se analiza cada uno de los parámetros de coherencia antes mencionados. Todo el procesamiento se realiza en el dominio de tiempo-frecuencia, por lo que los índices de tiempo-frecuenciakynse descartan cuando es necesario por motivos de brevedad.

[0075] Consideremos primero la situación en que el sonido se reproduce de manera coherente utilizando dos altavoces espaciados (por ejemplo, los frontales izquierdo y derecho) en lugar de un solo altavoz. El analizador de coherencia puede configurarse para detectar que dicho método se ha aplicado en la mezcla circundante.

[0076] Debe entenderse que las siguientes secciones explican el análisis de las coherencias de propagación y circundante en términos de una entrada de señal de altavoz multicanal. Sin embargo, se pueden aplicar prácticas similares cuando la entrada comprende la matriz de micrófonos como entrada.

[0077] En algunas realizaciones, por lo tanto, el analizador espacial 203 puede configurarse para calcular la matriz de covarianzaCpara el intervalo de análisis dado, que consta de uno o más índices de tiempony bins de frecuenciab. El tamaño de la matriz esNL x NL, y las entradas se denotan comocij, dondeNLes el número de canales de altavoz, eiyjson índices de canales de altavoz.

[0078] A continuación, el analizador espacial 203 puede configurarse para determinar el canal de altavozicmás cercano a la dirección estimada (que en este ejemplo es el acimut θ).

[0081]

[0084] donde αies el ángulo del altavoz i.

[0085] Además, en tales realizaciones, el analizador espacial 203 se configura para determinar los altavoces más cercanos en el lado izquierdoily el lado derechoirdel altavozic.

[0086] Una coherencia normalizada entre los altavoces i yjse indica como

[0089]

[0092] usando esta ecuación, el analizador espacial 203 puede configurarse para calcular una coherencia normalizadac'lrentreileir.En otras palabras, calcular

[0095]

[0098] Además, el analizador espacial 203 puede configurarse para determinar la energía de los canales de altavoz i utilizando las entradas diagonales de la matriz de covarianzas.

[0101]

[0104] y para determinar una relación entre las energías de los altavocesileiry de los altavocesil,ir,eiccomo

[0107]

[0110] El analizador espacial 203 puede utilizar a continuación estas variables determinadas para generar un parámetro de “estereofonía”.

[0113]

[0116] Este parámetro de “estereofonía” tiene un valor entre 0 y 1. Un valor de 1 significa que hay un sonido coherente en los altavocesil e ir, y que este sonido domina la energía de este sector. La razón de esto podría ser, por ejemplo, que la mezcla en los altavoces usó técnicas de panoramización de amplitud para crear una percepción “con aire” del sonido. Un valor de 0 significa que no se ha aplicado ninguna técnica de este tipo y, por ejemplo, el sonido puede simplemente posicionarse en el altavoz más cercano.

[0117] Además, el analizador espacial 203 puede configurarse para detectar, o al menos identificar, una situación en que el sonido se reproduzca de manera coherente utilizando tres (o más) altavoces para crear una percepción “cercana” (por ejemplo, utilizar el frontal izquierdo, el frontal derecho y el central en lugar de solo el central). Esto puede suceder si un ingeniero de mezcla de sonido genera una situación de este tipo al producir la mezcla circundante de los altavoces multicanal.

[0118] En tales realizaciones, el analizador de coherencia utiliza los mismos altavocesil, ireicidentificados anteriormente para determinar los valores de coherencia normalizadosc'cl y c'crutilizando la determinación de coherencia normalizada descrita anteriormente. En otras palabras, se calculan los siguientes valores:

[0121]

[0124] El analizador espacial 203 puede a continuación determinar un valor de coherencia normalizado c'<clr>que representa la coherencia entre estos altavoces utilizando la siguiente expresión:

[0127]

[0130] Además, el analizador espacial 203 puede configurarse para determinar un parámetro que represente cómo de uniformemente se distribuye la energía entre los canalesil,ireic.

[0133]

[0136] Usando estas variables, el analizador espacial 203 puede determinar un nuevo parámetro de panoramización coherente κ como,

[0139]

[0142] Este parámetro de panoramización coherente κ tiene valores entre 0 y 1. Un valor de 1 significa que hay un sonido coherente en todos los altavocesil, ir,yic,y que la energía de este sonido se distribuye uniformemente entre estos altavoces. La razón de esto podría deberse, por ejemplo, a que la mezcla de altavoces se generó utilizando técnicas de mezcla de estudio para crear la percepción de que una fuente de sonido está más cerca. Un valor de 0 significa que no se ha aplicado ninguna técnica de este tipo y, por ejemplo, el sonido puede simplemente posicionarse en el altavoz más cercano.

[0143] El analizador espacial 203 determinó el parámetro de “estereofonía”µ, que mide la cantidad de sonido coherente enileir(pero no enic), y el parámetro de panoramización coherente κ que mide la cantidad de sonido coherente enil, ir,eicestá configurado para utilizarlos para determinar los parámetros de coherencia que se emitirán como metadatos. Por lo tanto, el analizador espacial 203 está configurado para combinar el parámetro de “estereofonía”µy el parámetro de panoramización coherente para formarunparámetro decoherencia de propagación, que tiene valores de 0 a 1. Un valor decoherencia de propagaciónζ de 0 indica una fuente puntual; en otras palabras, el sonido debe reproducirse con el menor número posible de altavoces (por ejemplo, utilizando solo el altavozic). A medida que aumenta el valor de lacoherencia de propagaciónζ, se propaga más energía a los altavoces que rodean el altavozic;hasta el valor 0,5, la energía se propaga uniformemente entre los altavocesil, ir,eic.A medida que el valor de lacoherencia de propagaciónζ aumenta por encima de 0,5, la energía del altavozicdisminuye; hasta el valor 1, no hay energía en el altavozic,y toda la energía está en los altavocesileir.

[0144] Usando los parámetrosµy κ anteriormente mencionados, en algunas realizaciones el analizador espacial 203 se configura para determinar un parámetro de coherencia de propagación ζ, utilizando la siguiente expresión:

[0147]

[0150] La expresión anterior es solo un ejemplo y debe tenerse en cuenta que el analizador espacial 203 puede estimar el parámetro de coherencia de propagación ζ de cualquier otra manera, siempre que cumpla con la definición anterior del parámetro.

[0151] Además de estar configurado para detectar las situaciones anteriores, el analizador espacial 203 puede configurarse para detectar, o al menos identificar, la situación en que el sonido se reproduce de manera coherente desde todos (o casi todos) los altavoces para crear una percepción “dentro de la cabeza” o “por encima de la cabeza”.

[0152] En algunas realizaciones, el analizador espacial 203 puede configurarse para clasificar las energíasEiy el canal de altavoziecon el valor más grande determinado.

[0153] El analizador espacial 203 puede a continuación configurarse después para determinar la coherencia normalizadac'ijentre este canal yMLotros canales con volumen más alto. A continuación, pueden monitorizarse estos valores de coherencia normalizadosc'ijentre este canal yMLotros canales con volumen más alto. En algunas realizaciones,MLpuede serNL-1, lo que significaría monitorizar la coherencia entre los canales de altavoz con volumen más alto y todos los demás canales de altavoz. Sin embargo, en algunas realizaciones,MLpuede ser un número menor, por ejemplo,NL-2. utilizando estos valores de coherencia normalizados, el analizador de coherencia puede configurarse para determinar un parámetro de coherencia circundante γ utilizando la siguiente expresión:

[0156]

[0159] donde son las coherencias normalizadas entre el canal con más volumen y losMLsiguientes canales con más volumen.

[0160] El parámetro de coherencia circundante γ tiene valores de 0 a 1. Un valor de 1 significa que hay coherencia entre todos los canales de altavoces (o casi todos). Un valor de 0 significa que no hay coherencia entre todos los canales de altavoces (o incluso casi todos).

[0161] La expresión anterior es solo un ejemplo de una estimación de un parámetro de coherencia circundante γ, y se puede utilizar cualquier otra forma, siempre que cumpla con la definición anterior del parámetro.

[0162] El analizador espacial 203 puede configurarse para enviar los parámetros de coherencia determinados, el parámetro de coherencia de propagación ζ y el parámetro de coherencia circundante γ al fusionador 207 de parámetros espaciales.

[0163] Por lo tanto, para cada subbanda k habrá una colección de parámetros de audio espacial asociados con la subbanda. En este caso, cada subbanda k puede tener los siguientes parámetros espaciales asociados a ella; al menos un acimut y elevación indicados como acimut ϕ(k,n) y elevación θ(k,n),coherencia circundante (y(k, n))ycoherencia de propagación(ζ(k,n)), y un parámetro de relación de energía directa a totalr(k,n).

[0164] En realizaciones, el combinador de parámetros espaciales 207 puede disponerse para combinar un número de cada uno de los parámetros anteriormente mencionados para cada dirección de la fuente de sonido en parámetros combinados para un menor número de direcciones. Por ejemplo, puede existir un ejemplo típico en el que a una tesela de TF se le pueden haber asignado dos conjuntos de parámetros de audio espacial, un conjunto para cada dirección. El combinador de parámetros espaciales en este caso puede configurarse para combinar los dos conjuntos de parámetros de audio espacial en un conjunto combinado de parámetros de audio espacial para cada tesela de TF. Generalmente, por lo tanto, el combinador de parámetros espaciales 207 puede disponerse para combinar N conjuntos de parámetros espaciales (un conjunto por dirección) para cada tesela de TF en Q conjuntos de parámetros espaciales combinados, donde Q < N. Por ejemplo, en el caso de tres direcciones por tesela de TF, los conjuntos de parámetros espaciales correspondientes pueden combinarse en un único conjunto de parámetros de audio espacial combinados. Otro ejemplo puede comprender cuatro direcciones por base de tesela de TF. En este caso, los conjuntos de parámetros de audio espacial asociados con cada dirección (cuatro en total) pueden combinarse en dos conjuntos de parámetros espaciales combinados.

[0165] En aras de la claridad, la siguiente explicación se basa en la consideración de tener dos direcciones de fuente de sonido por tesela de TF. Sin embargo, debe apreciarse que la combinación puede tener lugar sobre conjuntos de parámetros de audio espaciales asociados con un mayor número de direcciones de fuente de sonido.

[0166] A este respecto, la Figura 3 representa algunas de las etapas de procesamiento en las que puede disponerse el combinador de parámetros espaciales 207 para desempeñarse en algunas realizaciones.

[0167] Debe apreciarse que las etapas de procesamiento posteriores se realizan para cada tesela de TF. En otras palabras, el procesamiento se realiza para cada subbanda k en una subtrama n.

[0168] El combinador de parámetros espaciales 207 realiza la combinación tomando inicialmente el componente de dirección esférica de acimut ϕ<1>(k, n) y elevación θ<1>(k, n) para una primera dirección y los componentes de dirección esférica de acimut ϕ2(k, n) y elevación θ<2>(k, n) para una segunda dirección y convirtiendo cada componente de dirección a su respectiva coordenada cartesiana.

[0169] A continuación, cada coordenada cartesiana se pondera mediante el parámetro de relación de energía directa a total respectivor(k, n) para la dirección respectiva.

[0170] La operación de conversión para una componente de acimut ϕ<1>(k, n

) y dirección de elevación θ<1>(k, n) de la primera dirección da la componente de dirección del eje X de la primera dirección como

[0172]

[0174] el componente del eje Y como

[0176]

[0178] y el componente del eje Z como

[0180]

[0182] La misma etapa se puede realizar para la segunda dirección para dar a la segunda dirección un componente de dirección del eje X como

[0184]

[0186] el componente del eje Y de la segunda dirección como

[0188]

[0190] y el componente del eje Z de la segunda dirección como

[0192]

[0194] La etapa de convertir los componentes de dirección esférica para cada dirección a sus coordenadas cartesianas equivalentes x, y, z se muestra como la etapa de procesamiento 301 en la Figura 3.

[0195] La etapa de ponderar cada coordenada cartesiana x, y, z por su respectivo parámetro de energía directa a total se muestra como la etapa de procesamiento 303 en la Figura 3.

[0196] El combinador de parámetros espaciales 207 se dispone a continuación para combinar cada una de las coordenadas cartesianas respectivas para cada dirección, a su vez, para dar una combinación cartesiana. Esta etapa de combinación para cada coordenada cartesiana se puede expresar como

[0199]

[0200] La etapa de combinar las coordenadas cartesianas para cada dirección se muestra en la Figura 3 como etapa de procesamiento 305.

[0201] Una vez que las coordenadas cartesianas x, y, z para todas las direcciones se han combinado en las coordenadas cartesianas x<c>, y<c>y z<c>, las coordenadas cartesianas combinadas se convierten en sus componentes de dirección de azimut fusionado equivalente ϕc(k, n) y elevación esférica θc(k, n). En realizaciones, esta conversión puede realizarse para cada una de las coordenadas cartesianas combinadas x<C>, y<C>y z<C>utilizando las siguientes expresiones;

[0204]

[0207] donde la función atan es la arcotangente que detecta automáticamente el cuadrante correcto para el ángulo.

[0208] La etapa de convertir las coordenadas cartesianas fusionadas en sus coordenadas esféricas combinadas equivalentes para cada banda de frecuencias fusionada se muestra como la etapa de procesamiento 307 en la Figura 3.

[0209] En realizaciones, las coordenadas cartesianas combinadas calculadas como parte de la etapa 305 se pueden utilizar junto con las relaciones de energía directa a total para cada dirección para determinar una relación combinada de energía directa a total para las dos direcciones. La relación combinada de energía directa a totalrc(k, n) se puede determinar a partir de la siguiente expresión

[0212]

[0215] Se puede observar que el numerador es la longitud del vector de coordenadas cartesianas combinado, que se normaliza según la suma de las relaciones de energía directa a total de la primera y la segunda dirección (r1

(k,n)r2

(k, n)) y un factor adicionalca12

(k, n).

[0216] El términoa12

(k, n) es un valor para la energía ambiental, es decir, la energía que permanece en la tesela de TF después de que se haya eliminado la energía según las dos direcciones. En algunos ejemplos, la energía ambiental se puede expresar como

[0219]

[0222] El factor c es un factor ajustable cuyo valor puede estar entre 0 y 1 (por ejemplo, c = 0,5) que controla el equilibrio entre las corrientes directas y ambientales.

[0223] La etapa de determinar la relación combinada de energía directa a totalrcse muestra como la etapa de procesamiento 309.

[0224] Además, algunas realizaciones pueden derivar una coherencia de propagación combinada ζc(k, n) para las dos direcciones ζ<1>(k, n), ζ<2>(k, n) que se puede calcular como el promedio ponderado de la relación de las coherencias de propagación de cada dirección utilizando las relaciones de energía directa a total para las dos direcciones (r1

(k, n),r2

(k, n)).

[0225] Esto se puede expresar en realizaciones como

[0228]

[0231] La etapa de determinar el valor combinado de coherencia de propagación ζcpara la primera y la segunda dirección se muestra como la etapa de procesamiento 311.

[0232] El combinador de parámetros espaciales 307 también puede calcular un valor para una coherencia circundante combinada γc(k, n) para la primera y la segunda dirección en una tesela de TF.

[0233] En realizaciones para una tesela de TF con dos direcciones, puede haber un único valor de coherencia circundante γ<12>(k, n) que, como se indicó anteriormente, es una medida de la coherencia del sonido no direccional. En este caso, la cantidad de sonido no direccional se puede obtener comoa12

(k, n) = 1 - (r1

(k, n)r2

(k, n)), que es la cantidad de energía después de que se haya eliminado la contribución de los dos componentes direccionales según las respectivas relaciones de energía directa a total.

[0234] La coherencia circundante combinada γc(k, n) puede derivarse de la premisa de cuantificar si un aumento en el sonido no direccional es coherente o incoherente. En algunos ejemplos, la coherencia circundante combinada γc(k, n) puede escribirse como

[0237]

[0240] Dondea(k, n) = 1- rc(k, n) es la energía del sonido no direccional, es decir, el sonido ambiental de la primera dirección y la segunda dirección combinadas. El aumento en el campo sonoro capturado de la energía de coherencia circundante puede calcularse como (a(k, n)- a12

(k, n))ζc(k, n), y la energía en el campo sonoro capturado del sonido coherente no direccional puede expresarse comoa12

(k, n)γ<12>(k, n).En este ejemplo, para la derivación de una coherencia circundante combinada, se supuso que el aumento de la energía no direccional sería coherente si las coherencias de propagación de las direcciones originales fueran grandes, y que el aumento de la energía no direccional sería incoherente si las coherencias de propagación de las direcciones originales fueran pequeñas.

[0241] La etapa de determinar el valor combinado de coherencia circundante γcpara la primera y la segunda dirección se muestra como etapa de procesamiento 313.

[0242] En algunas realizaciones, el combinador de parámetros espaciales 207 puede tener un elemento funcional adicional que proporciona una estimación (o medida) de la importancia (en efecto, un estimador de importancia) de tener el número completo de conjuntos de parámetros espaciales (o direcciones) por tesela de TF en comparación con un número reducido de conjuntos de parámetros espaciales combinados (y, por lo tanto, un número reducido de direcciones). Esta estimación puede enviarse a continuación a un elemento funcional de decisión dentro del combinador de parámetros espaciales 207 que decide si la salida para una tesela de TF puede tener los parámetros espaciales para cada dirección o si la salida para la tesela de TF puede comprender conjuntos de parámetros de audio espacial combinados. Además, en las realizaciones que tienen tres o más direcciones, el elemento funcional de decisión puede tomar la decisión de combinar los parámetros espaciales asociados con algunas de las direcciones y dejar los parámetros espaciales de otras direcciones sin combinar.

[0243] Siguiendo con el ejemplo anterior en el que hay dos direcciones por tesela de TF, la función del estimador de importancia puede ser estimar la importancia para la calidad de audio percibida de tener los conjuntos de parámetros de audio espacial para ambas direcciones en lugar de tener un único conjunto de parámetros de audio espacial combinados.

[0244] Con este fin, la medida de importancia puede estimarse (o derivarse) comparando la suma de la energía directa a total para cada dirección con la longitud del vector de coordenadas cartesianas combinado, tal como se ha obtenido anteriormente.

[0245] Por lo tanto, la estimación (o medida) de importancia λ(k, n) puede expresarse para una tesela de TF como

[0248]

[0251] En este caso, la selección de si transmitir los dos conjuntos de parámetros espaciales (originales) para ambas direcciones o el conjunto de parámetros espaciales combinados para una dirección puede basarse en una comparación para determinar si la medida de importancia λ(k, n) supera un valor umbral λth.

[0252] De tal modo que si λ(k, n)>λthse puede tomar la decisión de codificar y transmitir los parámetros de audio espacial originales para ambas direcciones como metadatos.

[0253] Si λ(k, n) ≤ λthse puede tomar la decisión de codificar y transmitir los parámetros de audio espacial combinados como metadatos.

[0254] En caso de que se decida transmitir ambas direcciones, es decir, los dos conjuntos de parámetros de audio espacial originales como metadatos para la tesela de TF, el combinador de parámetros espaciales 207 puede configurarse para generar los conjuntos originales (sin combinar) de parámetros de audio espacial para la primera y segunda dirección θ<1>(k, n), θ<2>(k, n), ϕ<1>(k, n), ϕ<2>(k, n),r1

(k,n),r2

(k, n), ζ<1>(k, n), ζ<2>(k, n) y γ<12>(k, n).

[0255] En el caso de una decisión de transmitir en una dirección, es decir, el conjunto combinado de parámetros de audio espacial para la tesela de TF, el combinador de parámetros espaciales 207 se configurará para generar el conjunto combinado de parámetros de audio espacial θc(k, n), ϕc(k, in), rc(k, n), ζc(k, n) y γc(k, n).

[0256] Debe apreciarse que, en los casos anteriores, sería necesario señalizar si se debe transmitir en 2 direcciones o en 1 dirección por cada tesela de TF.

[0257] Debe apreciarse que, en las circunstancias anteriores, puede ser necesario incluir un bit de señalización en los metadatos para indicar si los parámetros de audio espacial son para una dirección (es decir, un conjunto de parámetros de audio espacial combinado) o para dos direcciones (es decir, los conjuntos de parámetros de audio espacial originales/no combinados).

[0258] En otras realizaciones, la selección realizada por el combinador de parámetros espaciales 207 puede realizarse a un nivel de granularidad más alto que el de cada tesela de TF. Por ejemplo, puede ser ventajoso señalizar un grupo de teselas de TF. Esto se puede lograr tomando la media de la medida de importancia sobre un grupo de N subtramas, de modo que la medida de importancia pueda estar dada por

[0261]

[0264] Donde N es el número de subtramas en una trama m. El uso de un valor promedio para la medida de importancia tiene la ventaja de requerir solo un bit de señalización para un grupo de tramas fusionadas y/o banda de frecuencia en lugar de un bit de señalización para cada trama de tiempo fusionada y/o banda de frecuencia.

[0265] La medida de importancia puede tener la característica de que si las dos direcciones apuntan aproximadamente en la misma dirección, la medida de importancia λ(k, n) tenderá a tener un valor más bajo (en otras palabras, tenderá a cero). Esto puede explicarse porque (r1

(k, n)r2

(k, n)) tiene un valor similar a

[0267] . La medida de importancia λ(k, n) también tenderá a tener un valor bajo si una de las relaciones de energía directa a total es significativamente mayor que la otra. Por el contrario, si las dos direcciones tienden a apuntar en direcciones opuestas y que las relaciones de energía directa a total asociadas con cada una de las direcciones son aproximadamente las mismas, a continuación la medida de importancia λ(k, n) tenderá a tener un valor de 1.

[0268] En realizaciones, el valor elegido como umbral λthpuede ser fijo, y la experimentación ha descubierto que un valor de 0,3 proporciona un resultado ventajoso.

[0269] En otras realizaciones, el umbral de importancia λ<th>puede determinarse para una trama ordenando las N medidas de importancia λ(k, n) en una trama en orden ascendente y determinando el umbral como el valor de la medida de importancia que da un número específico de medidas de importancia en la trama por encima del umbral, por ejemplo, la medida del umbral puede ajustarse de modo que haya un número I de subtramas en la trama cuya medida de importancia esté por encima del umbral ajustado.

[0270] En este caso, el númeroIde subtramas utilizaría 2 direcciones por tesela de TF, y las subtramasN-I(aquellas subtramas por debajo del umbral de importancia) utilizarían 1 dirección combinada por tesela de TF.

[0271] Además, es posible que algunas realizaciones no desplieguen un valor umbral. En estas realizaciones, varias de las teselas de TF más importantes de la trama/subtrama pueden disponerse para utilizar direcciones no combinadas, y el número restante de teselas de TF en la trama/subtrama está dispuesto para utilizar direcciones combinadas.

[0272] Además, realizaciones adicionales pueden determinar si una tesela de TF particular debe disponerse para codificarse con direcciones combinadas o no combinadas en promedio. Esto puede comprender tener un número promedio de teselas de TF dispuestas para codificar con direcciones combinadas y un número promedio de teselas de TF dispuestas para codificar con direcciones no combinadas.

[0273] En otras realizaciones, el umbral de importancia λthpuede adaptarse a un valor medio continuo de medidas de importancia durante las últimas N subtramas temporales (por ejemplo, las últimas 20 subtramas). De tal modo que λmed(n) puede indicar el valor medio para la subtrama n de las medidas de importancia sobre las últimas N subtramas en todas las bandas de frecuencia. El umbral de importancia λth(n) para la subtrama n puede expresarse a continuación como λth(n) =cthλmed(n) dondecthes un coeficiente que controla el valor del umbral de importancia, por ejemplo, acthpuede asignarse el valor 0,5.

[0274] El codificador/cuantificador de metadatos 111 puede comprender un codificador de dirección. El codificador de dirección se puede configurar para recibir los parámetros de dirección combinados (como el acimut ϕcy la elevación θC) (y en algunas realizaciones una asignación de bits prevista) y, a partir de esto, generar una salida codificada adecuada. En algunas realizaciones, la codificación se basa en una disposición de esferas que forman una retícula esférica dispuesta en anillos en una esfera de ‘superficie’ que se define por una tabla de consulta definida por la resolución de cuantificación determinada. En otras palabras, la retícula esférica utiliza la idea de cubrir una esfera con esferas más pequeñas y considerar los centros de las esferas más pequeñas como puntos que definen una retícula de direcciones casi equidistantes. Por lo tanto, las esferas más pequeñas definen conos o ángulos sólidos alrededor del punto central que pueden indexarse según cualquier algoritmo de indexación adecuado. Aunque aquí se describa una cuantificación esférica, se puede utilizar cualquier cuantificación lineal o no lineal adecuada.

[0275] El codificador/cuantificador de metadatos 111 puede comprender un codificador de relación de energía. El codificador de relación de energía 207 puede configurarse para recibir la relación de energía combinadarcpara cada tesela de TF y determinar una codificación adecuada para comprimir las relaciones de energía.

[0276] De manera similar, el codificador/cuantificador de metadatos 111 también puede incluir un codificador de coherencia que puede configurarse para recibir los valores combinados de coherencia circundante γcy de coherencia de propagación ζc, y determinar una codificación adecuada para comprimir los valores de coherencia circundante y de propagación para la tesela de TF.

[0277] La dirección fusionada codificada, las proporciones de energía y los valores de coherencia pueden pasarse al combinador 211. El combinador está configurado para recibir los parámetros direccionales fusionados codificados (o cuantificados/comprimidos), parámetros de relación de energía y parámetros de coherencia y combinar estos para generar una salida adecuada (por ejemplo, un flujo de bits de metadatos que puede combinarse con la señal de transporte o transmitirse o almacenarse separadamente de la señal de transporte).

[0278] Debe observarse que en las realizaciones que despliegan el estimador de importancia anterior, el codificador/cuantificador de metadatos 111 puede recibir los parámetros de audio espacial combinados para cada tesela de TF, tal como se describió anteriormente, o los conjuntos originales no combinados de parámetros de audio espacial para cada dirección para cada tesela de TF. En este último caso, los conjuntos de parámetros espaciales no combinados para cada dirección se pasan a los diversos codificadores en lugar de a los conjuntos de parámetros espaciales combinados. En este caso, los metadatos de cada tesela pueden ir acompañados de un bit de señalización que indica si los datos de parámetros espaciales están combinados o no combinados.

[0279] Realizaciones pueden implementar un método de codificación por entropía de los bits que indica si una tesela de TF está codificada con una o más direcciones. Esto puede ser útil en los casos en los que hay un número fijo de subbandas en una trama que están asignadas para tener múltiples direcciones.

[0280] En algunas realizaciones, el flujo de datos codificado se puede pasar al decodificador/multiplexor 133. El decodificador/demultiplexor 133 demultiplexa/extrae los índices de dirección combinados codificados, los índices de relación de energía combinados y los índices de coherencia combinados para cada tesela de TF y los pasa al extractor de metadatos 137 y también el decodificador/demultiplexor 133 puede, en algunas realizaciones, extraer y pasar las señales de audio de transporte al extractor de transporte 135 para su decodificación y extracción.

[0281] En realizaciones, el decodificador/demultiplexor 133 puede estar dispuesto para recibir y decodificar el bit de señalización que indica si los parámetros de audio espacial codificados recibidos adjuntos se combinan o no para una tesela de TF específica.

[0282] Los índices de relación de energía, índices de dirección e índices de coherencia combinados codificados pueden decodificarse mediante sus respectivos decodificadores para generar las relaciones de energía, direcciones y coherencias combinadas para la tesela de TF. Esto se puede realizar aplicando la inversa de los diversos procesos de codificación empleados en el codificador.

[0283] En el caso del bit de señalización que indica que los parámetros de audio espacial no se combinan, los conjuntos de parámetros de audio espacial recibidos (para cada dirección de la tesela de TF) pueden pasarse directamente a los distintos decodificadores para su decodificación.

[0284] Los parámetros de audio espacial decodificados pueden a continuación formar la salida de metadatos decodificados del extractor de metadatos 137 y pasarse al procesador de síntesis 139 para formar las señales multicanal 110.

[0285] Con respecto a la Figura 4, en ella se muestra un dispositivo electrónico de ejemplo que puede utilizarse como dispositivo de análisis o síntesis. El dispositivo puede ser cualquier dispositivo o aparato electrónico adecuado. Por ejemplo, en algunas realizaciones, el dispositivo 1400 es un dispositivo móvil, un equipo de usuario, un ordenador de tipo tableta, un ordenador, un aparato de reproducción de audio, etc.

[0286] En algunas realizaciones, el dispositivo 1400 comprende al menos un procesador o unidad de procesamiento central 1407. El procesador 1407 puede estar configurado para ejecutar diversos códigos de programa, tales como los métodos que se han descrito en la presente memoria.

[0287] En algunas realizaciones, el dispositivo 1400 comprende una memoria 1411. En algunas realizaciones, el al menos un procesador 1407 está acoplado a la memoria 1411. La memoria 1411 puede ser cualquier medio de almacenamiento adecuado. En algunas realizaciones, la memoria 1411 comprende una sección de códigos de programa para almacenar códigos de programa que pueden implementarse en el procesador 1407. Además, en algunas realizaciones, la memoria 1411 puede comprender además una sección de datos almacenados para almacenar datos, por ejemplo datos que se han procesado o que van a procesarse según las realizaciones como se describe en la presente memoria. El código de programa implementado almacenado dentro de la sección de códigos de programa y los datos almacenados dentro de la sección de datos almacenados pueden ser recuperados por el procesador 1407 siempre que sea necesario a través del acoplamiento memoria-procesador.

[0288] En algunas realizaciones, el dispositivo 1400 comprende una interfaz de usuario 1405. En algunas realizaciones, la interfaz de usuario 1405 puede estar acoplada al procesador 1407. En algunas realizaciones, el procesador 1407 puede controlar el funcionamiento de la interfaz de usuario 1405 y recibir entradas de la interfaz de usuario 1405. En algunas realizaciones, la interfaz de usuario 1405 puede permitir que un usuario introduzca comandos en el dispositivo 1400, por ejemplo, a través de un teclado numérico. En algunas realizaciones, la interfaz de usuario 1405 puede permitir que el usuario obtenga información del dispositivo 1400. Por ejemplo, la interfaz de usuario 1405 puede comprender un elemento de visualización configurado para visualizar información del dispositivo 1400 al usuario. En algunas realizaciones, la interfaz de usuario 1405 puede comprender una pantalla táctil o una interfaz táctil capaz tanto de permitir introducir información en el dispositivo 1400 como, además, de mostrar información al usuario del dispositivo 1400. En algunas realizaciones, la interfaz de usuario 1405 puede ser la interfaz de usuario para comunicarse con el determinador de posición que se describe en la presente memoria.

[0289] En algunas realizaciones, el dispositivo 1400 comprende un puerto de entrada/salida 1409. En algunas realizaciones, el puerto de entrada/salida 1409 comprende un transceptor. En tales realizaciones, el transceptor puede estar acoplado al procesador 1407 y configurado para permitir una comunicación con otros aparatos o dispositivos electrónicos, por ejemplo, a través de una red de comunicaciones inalámbrica. En algunas realizaciones, el transceptor o cualquier medio transceptor o transmisor y/o receptor adecuado puede(n) estar configurado(s) para comunicarse con otros dispositivos o aparatos electrónicos a través de un cable o un acoplamiento cableado.

[0290] El transceptor puede comunicarse con otros aparatos mediante cualquier protocolo de comunicaciones conocido adecuado. Por ejemplo, en algunas realizaciones, el transceptor puede utilizar un protocolo de sistema universal de telecomunicaciones móviles (UMTS), un protocolo de red de área local inalámbrica (WLAN), tal como, por ejemplo, el IEEE 802.X, un protocolo de comunicación de radiofrecuencia de corto alcance adecuado, tal como Bluetooth, o una ruta de comunicación de datos por infrarrojos (IRDA).

[0291] El puerto de entrada/salida del transceptor 1409 puede estar configurado para recibir las señales y, en algunas realizaciones, determinar los parámetros que se describen en la presente memoria utilizando el procesador 1407 que ejecuta un código adecuado. Además, el dispositivo puede generar una salida de señal de mezcla descendente y de parámetros adecuada que va a transmitirse al dispositivo de síntesis.

[0292] En algunas realizaciones, el dispositivo 1400 puede emplearse como al menos parte del dispositivo de síntesis. Como tal, el puerto de entrada/salida 1409 puede estar configurado para recibir las señales de mezcla descendente y, en algunas realizaciones, los parámetros determinados en el dispositivo de captación o dispositivo de procesamiento que se describe en la presente memoria y generar una salida en formato de señal de audio adecuada utilizando el procesador 1407 que ejecuta un código adecuado. El puerto de entrada/salida 1409 puede acoplarse a cualquier salida de audio adecuada, por ejemplo, a un sistema de altavoces multicanal y/o auriculares o similares.

[0293] En general, las diversas realizaciones de la invención pueden implementarse en hardware o en unos circuitos, software o lógica de propósito especial o en cualquier combinación de los mismos. Por ejemplo, algunos aspectos pueden implementarse en hardware, mientras que otros aspectos pueden implementarse en un firmware o software que puede ser ejecutado por un controlador, microprocesador u otro dispositivo informático, aunque la invención no está limitada a los mismos. Aunque diversos aspectos de la invención puedan ilustrarse y describirse como diagramas de bloques o diagramas de flujo, o utilizando alguna otra representación gráfica, se entiende claramente que estos bloques, aparatos, sistemas, técnicas o métodos descritos en la presente memoria pueden implementarse, como ejemplos no limitativos, en hardware, software, firmware, circuitos o una lógica de propósito especial, un hardware de propósito general o un controlador u otros dispositivos informáticos, o alguna combinación de los mismos.

[0294] Las realizaciones de esta invención pueden ser implementadas por un software informático ejecutable por un procesador de datos del dispositivo móvil, tal como en la entidad procesador, o por hardware, o por una combinación de software y hardware. Además, en este sentido, cabe señalar que cualesquiera bloques del flujo lógico como en las figuras pueden representar etapas de programa, o circuitos, bloques y funciones lógicos interconectados, o una combinación de etapas de programa y circuitos, bloques y funciones lógicos. El software puede almacenarse en medios físicos tales como chips de memoria o en bloques de memoria implementados dentro del procesador, medios magnéticos tales como un disco duro o disquetes y medios ópticos tales como, por ejemplo, DVD y las variantes de datos del mismo, CD.

[0295] La memoria puede ser de cualquier tipo adecuado para el entorno técnico local y puede implementarse utilizando cualquier tecnología de almacenamiento de datos adecuada, tal como dispositivos de memoria basados en semiconductores, dispositivos y sistemas de memoria magnética, dispositivos y sistemas de memoria óptica, una memoria fija y una memoria extraíble. Los procesadores de datos pueden ser de cualquier tipo adecuado para el entorno técnico local, y pueden incluir uno o más de ordenadores de propósito general, ordenadores de propósito especial, microprocesadores, procesadores de señales digitales (DSP), circuitos integrados específicos de aplicación (ASIC), circuitos a nivel de compuerta y procesadores basados en una arquitectura de procesador multinúcleo, como ejemplos no limitativos.

[0296] Realizaciones de las invenciones pueden ponerse en práctica en diversos componentes tales como módulos de circuito integrado. El diseño de circuitos integrados es, en gran medida, un proceso altamente automatizado. Hay herramientas de software complejas y potentes disponibles para convertir un diseño de nivel lógico en un diseño de circuito de semiconductores listo para grabarse y formarse en un sustrato semiconductor.

[0297] Programas pueden enrutar conductores y ubicar componentes en un chip semiconductor, utilizando reglas de diseño bien establecidas, así como bibliotecas de módulos de diseño previamente almacenados. Una vez que se ha completado el diseño para un circuito semiconductor, el diseño resultante, en un formato electrónico normalizado, puede transmitirse a una instalación de fabricación de semiconductores o “fáb” para su fabricación.

[0298] La descripción anterior ha proporcionado, a modo de ejemplos ilustrativos y no limitativos, una descripción completa e informativa de la realización ilustrativa de esta invención. Sin embargo, diversas modificaciones y adaptaciones pueden resultar evidentes a los expertos en las técnicas relevantes en vista de la descripción anterior, cuando se lea en combinación con los dibujos adjuntos y las reivindicaciones adjuntas. Sin embargo, todas estas modificaciones y similares de las enseñanzas de la presente invención seguirán estando dentro del alcance de la presente invención como se define en las reivindicaciones adjuntas.

Claims (12)

1. REIVINDICACIONES

1. Un aparato para la codificación (121) de audio espacial que comprende:

medios para determinar (203) o recibir (207) un primer vector de dirección esférica que comprende un componente de acimut y un componente de elevación para una tesela de tiempo-frecuencia de una o más señales de audio y un segundo vector de dirección esférica que comprende un componente de acimut y un componente de elevación para la tesela de tiempo-frecuencia de las una o más señales de audio, en donde el primer vector de dirección esférica está asociado a una primera dirección de fuente de sonido en la tesela de tiempo-frecuencia y el segundo vector de dirección esférica está asociado con una segunda dirección de fuente de sonido en la tesela de tiempo-frecuencia; y

medios para combinar (207) el primer vector (108) de dirección esférica y el segundo vector (108) de dirección esférica para proporcionar un vector de dirección esférica combinado para la tesela de tiempo-frecuencia, los medios de combinación comprenden:

medios para convertir (301) el primer vector de dirección esférica en un primer vector cartesiano y medios para convertir el segundo vector de dirección esférica en un segundo vector cartesiano, en donde el primer vector cartesiano y el segundo vector cartesiano comprenden cada uno un componente del eje x, un componente del eje y y un componente del eje z, en donde para cada componente respectivo el aparato comprende:

medios para ponderar (303) el componente respectivo del primer vector cartesiano mediante una primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia;

medios para ponderar (303) el componente respectivo del segundo vector cartesiano mediante una segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia; y

medios para sumar (305) el componente ponderado respectivo del primer vector cartesiano y el componente ponderado respectivo del segundo vector cartesiano para dar un componente cartesiano combinado respectivo; y

en donde el componente cartesiano combinado del eje x, el componente cartesiano combinado del eje y y el componente cartesiano combinado del eje z forman los componentes de un vector cartesiano combinado; y medios para convertir (307) el componente cartesiano combinado del eje x, el componente cartesiano combinado del eje y y el componente cartesiano combinado del eje z en el vector de dirección esférica combinado.

2. El aparato según la reivindicación 1, en donde el aparato comprende además medios para determinar si el vector de dirección esférica combinado para la tesela de tiempo-frecuencia está codificado para su almacenamiento y/o transmisión o si el primer vector de dirección esférica para la tesela de tiempo-frecuencia y el segundo vector de dirección esférica para la tesela de tiempo-frecuencia están codificados para su almacenamiento y/o transmisión.

3. El aparato según la reivindicación 2, en donde el aparato comprende además:

medios para determinar una métrica para la tesela de tiempo-frecuencia de una o más señales de audio; un medio para comparar la métrica con un valor umbral, en donde el aparato que comprende los medios para determinar si el vector de dirección esférica combinado para la tesela de tiempo-frecuencia está codificado para su almacenamiento y/o transmisión o si el primer vector de dirección esférica para la tesela de tiempofrecuencia y el segundo vector de dirección esférica para la tesela de tiempo-frecuencia están codificados para su almacenamiento y/o transmisión comprende:

medios para determinar que, cuando la métrica está por encima del valor umbral, determinar a continuación que el primer vector de dirección esférica para la tesela de tiempo-frecuencia y el segundo vector de dirección esférica para la tesela de tiempo-frecuencia están codificados para su almacenamiento y/o transmisión; y medios para determinar que cuando la métrica está por debajo o es igual al valor umbral, determinar a continuación que el vector de dirección esférica combinado está codificado para su almacenamiento y/o transmisión.

4. El aparato según la reivindicación 1, en donde el aparato comprende además:

medios para determinar una métrica para la tesela de tiempo-frecuencia de una o más señales de audio;

medios para determinar un primer vector de dirección esférica de al menos una tesela de tiempo-frecuencia adicional de una o más señales de audio y un segundo vector de dirección esférica de al menos una tesela de tiempo-frecuencia adicional de la una o más señales de audio;

medios para combinar el primer vector de dirección esférica de al menos una tesela de tiempo-frecuencia adicional de las una o más señales de audio y el segundo vector de dirección esférica de al menos una tesela de tiempo-frecuencia adicional de las una o más señales de audio para proporcionar un vector de dirección esférica combinado para la tesela de tiempo-frecuencia adicional de la una o más señales de audio; medios para determinar una métrica adicional para al menos una tesela de tiempo-frecuencia adicional; y medios para determinar que el primer vector de dirección esférica de la tesela de tiempo-frecuencia de las una o más señales de audio y el segundo vector de dirección esférica de la tesela de tiempo-frecuencia de las una o más señales de audio están codificados para su almacenamiento y/o transmisión y el vector de dirección esférica combinado para al menos una tesela de tiempo-frecuencia adicional de una o más señales de audio se codifica para su almacenamiento y/o transmisión cuando la métrica es más alta que la métrica adicional.

5. El aparato según la reivindicación 1, en donde el aparato comprende además medios para determinar un valor de energía ambiental para la tesela de tiempo-frecuencia restando de uno la primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia y la segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia.

6. El aparato según las reivindicaciones 1 y 5, en donde el aparato comprende además medios para combinar (309) la primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia y la segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia para proporcionar una relación combinada de energía directa a total para la tesela de tiempo-frecuencia.

7. El aparato según la reivindicación 6, en donde los medios para combinar la primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia y la segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia para proporcionar una relación combinada de energía directa a total para la tesela de tiempo-frecuencia, comprende:

medios para determinar la relación combinada de energía directa a total que depende de la relación entre una longitud vectorial del vector cartesiano combinado y la suma de la primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia, la segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia y el valor de energía ambiental.

8. El aparato según las reivindicaciones 1 a 7, en donde el aparato comprende además medios para combinar (311) un primer valor de coherencia de propagación calculado para la tesela de tiempo-frecuencia y un segundo valor de coherencia de propagación calculado para la tesela de tiempo-frecuencia, para proporcionar un valor de coherencia de propagación combinado para la tesela de tiempo-frecuencia.

9. El aparato según la reivindicación 8, en donde los medios para combinar el primer valor de coherencia de propagación calculado para la tesela de tiempo-frecuencia y el segundo valor de coherencia de propagación calculado para la tesela de tiempo-frecuencia para proporcionar un valor de coherencia de propagación combinado para la tesela de tiempo-frecuencia, comprende:

medios para determinar una primera suma que comprende un producto del primer valor de coherencia de propagación calculado para la tesela de tiempo-frecuencia y la primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia y un producto del segundo valor de coherencia de propagación calculado para la tesela de tiempo-frecuencia y la segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia;

medios para determinar una segunda suma que comprende la primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia y la segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia; y

medios para determinar la relación entre la primera suma y la segunda suma para proporcionar el valor de coherencia de propagación combinado.

10. El aparato según las reivindicaciones 8 y 9, en donde el aparato para codificación de audio espacial comprende además:

medios para calcular un valor de coherencia circundante para la tesela de tiempo-frecuencia;

medios para determinar otro valor de energía ambiental para la tesela de tiempo-frecuencia restando de uno la relación combinada de energía directa a total;

medios para determinar una energía de coherencia circundante (313) determinando el producto del valor de coherencia de propagación combinado con la diferencia entre el valor de energía ambiental adicional para la tesela de tiempo-frecuencia y el valor de energía ambiental para la tesela de tiempo-frecuencia; y medios para añadir la energía de coherencia circundante al producto de la energía ambiental para la tesela de tiempo-frecuencia y el valor de coherencia circundante para la tesela de tiempo-frecuencia y normalizarlo al valor de energía ambiental adicional para la tesela de tiempo-frecuencia para proporcionar un valor de coherencia circundante combinado.

11. El aparato según se reivindica en las reivindicaciones 3 a 10, en donde el aparato que comprende los medios para determinar una medida comprende:

medios para determinar la diferencia entre la suma de la primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia y la segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia y la longitud del vector cartesiano combinado.

12. Un método para la codificación de audio espacial, que comprende:

determinar (203) o recibir (207) un primer vector de dirección esférica que comprende un componente de acimut y un componente de elevación para una tesela de tiempo-frecuencia de una o más señales de audio y un segundo vector de dirección esférica que comprende un componente de acimut y un componente de elevación para la tesela de tiempo-frecuencia de las una o más señales de audio, en donde el primer vector de dirección esférica está asociado a una primera dirección de fuente de sonido en la tesela de tiempofrecuencia y el segundo vector de dirección esférica está asociado a una segunda dirección de fuente de sonido en la tesela de tiempo-frecuencia; y

combinar (207) el primer vector (108) de dirección esférica y el segundo vector (108) de dirección esférica para proporcionar un vector de dirección esférica combinado para la tesela de tiempo-frecuencia, la combinación comprende:

convertir (301) el primer vector de dirección esférica en un primer vector cartesiano y medios para convertir el segundo vector de dirección esférica en un segundo vector cartesiano, en donde el primer vector cartesiano y el segundo vector cartesiano comprenden cada uno un componente del eje x, un componente del eje y y un componente del eje z, en donde para cada componente respectivo único el método comprende: ponderar (303) el componente respectivo del primer vector cartesiano mediante la primera relación de energía directa a total calculada para la tesela de tiempo-frecuencia;

ponderar (303) el componente respectivo del segundo vector cartesiano mediante la segunda relación de energía directa a total calculada para la tesela de tiempo-frecuencia; y

sumar (305) el componente ponderado respectivo del primer vector cartesiano y los componentes ponderados respectivos del segundo vector cartesiano para dar un componente cartesiano combinado respectivo; y en donde el componente cartesiano combinado del eje x, el componente cartesiano combinado del eje y y el componente cartesiano combinado del eje z forman los componentes de un vector cartesiano combinado; y convertir (307) el componente cartesiano combinado del eje x, el componente cartesiano combinado del eje y y el componente cartesiano combinado del eje z en el vector de dirección esférica combinado.