ES3020342T3 - Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product - Google Patents

Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product Download PDF

Info

Publication number
ES3020342T3
ES3020342T3 ES22196385T ES22196385T ES3020342T3 ES 3020342 T3 ES3020342 T3 ES 3020342T3 ES 22196385 T ES22196385 T ES 22196385T ES 22196385 T ES22196385 T ES 22196385T ES 3020342 T3 ES3020342 T3 ES 3020342T3
Authority
ES
Spain
Prior art keywords
speaker
playback
sound
sound object
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES22196385T
Other languages
English (en)
Inventor
Nicolas R Tsingos
Charles Q Robinson
Jurgen Scharpf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Application granted granted Critical
Publication of ES3020342T3 publication Critical patent/ES3020342T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)

Abstract

Se proporcionan herramientas mejoradas para la creación y renderización de datos de reproducción de audio. Algunas de estas herramientas permiten generalizar los datos de reproducción de audio para una amplia variedad de entornos de reproducción. Los datos de reproducción de audio se pueden crear mediante la creación de metadatos para objetos de audio. Estos metadatos se pueden crear con referencia a las zonas de los altavoces. Durante el proceso de renderización, los datos de reproducción de audio se pueden reproducir según la disposición de los altavoces de un entorno de reproducción específico. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Aparato para renderizado de objetos de audio según restricciones impuestas de zona de altavoz, método correspondiente y producto de programa informático
Referencia cruzada a solicitudes relacionadas
Esta solicitud es una solicitud divisional europea de la solicitud de patente europea EP 21179211.4 (referencia: D12070EP02), para la que se presentó el Formulario EPO 1001 el 14 de junio de 2021.
Esta solicitud reivindica prioridad de la solicitud provisional de EE. UU. N.° 61/504.005 presentada el 1 de julio de 2011 y la solicitud provisional EE. UU. N.° 61/636.102 presentada el 20 de abril de 2012.
Campo técnico
Esta divulgación se refiere a la creación y renderizado de datos de reproducción de audio. En particular, esta divulgación se refiere a la creación y renderizado de datos de reproducción de audio para entornos de reproducción tales como sistemas de reproducción de sonido de cine.
Antecedentes
Desde la introducción del sonido con la película en 1927, ha habido una evolución constante de la tecnología usada para capturar la intención artística de la banda sonora de la película y reproducirla en un entorno de cine. En la década de 1930, el sonido sincronizado en el disco dio paso al sonido de área variable en la película, que se mejoró aún más en la década de 1940 con consideraciones acústicas teatrales y un diseño de altavoz mejorado, junto con la introducción temprana de la grabación multipista y la reproducción orientable (usando tonos de control para sonidos de movimiento). En las décadas de 1950 y 1960, la banda magnética de la película permitió la reproducción multicanal en el cine, introduciendo canales envolventes y hasta cinco canales de pantalla en los cines premium.
En la década de 1970, Dolby introdujo la reducción de ruido, tanto en la posproducción como en la película, junto con un medio rentable de codificación y distribución de mezclas con 3 canales de pantalla y un canal de sonido envolvente mono. La calidad del sonido de cine se mejoró aún más en la década de 1980 con programas de certificación y reducción de ruido Dolby Spectral Recording (SR) como THX. Dolby llevó el sonido digital al cine durante la década de 1990 con un formato de 5.1 canales que proporciona canales discretos de pantalla izquierdo, central y derecho, conjuntos de sonido envolvente izquierdo y derecho y un canal de subwoofer para efectos de baja frecuencia. Dolby Surround 7.1, introducido en 2010, aumentó la cantidad de canales de sonido envolvente al dividir los canales de sonido envolvente izquierdo y derecho existentes en cuatro "zonas".
A medida que aumenta la cantidad de canales y la disposición de los altavoces cambia de un conjunto bidimensional (2D) plano a un conjunto tridimensional (3D) que incluye la elevación, la tarea de posicionar y reproducir sonidos se vuelve cada vez más difícil. Sería deseable mejorar los métodos de creación y renderizado de audio.
El documento US2006109988 divulga un sistema y un método para grabar y reproducir eventos de sonido tridimensionales usando un volumen de sonido macro-micro integrado, discretizado, para reproducir una matriz acústica 3D que reproduce sonido incluyendo propagación natural y reverberación. El sistema y el método incluyen modelado y síntesis de sonido que puede permitir reproducir sonido como matriz volumétrica. La matriz volumétrica puede ser capturada, transferida, reproducida o procesada de otro modo, como espectros espaciales de acontecimientos sonoros reproducido discretamente con macro-micro relaciones controlables.
El documento US2006133628 divulga un sistema y un método para formar y renderizar mensajes MIDI 3D. El documento JP 2012049967 divulga un dispositivo de conversión de señales acústicas 1 que comprende medios de determinación de canal de reproducción 42 para determinar un altavoz de reproducción que incluye la dirección del altavoz original en una región de dirección identificada por direcciones de tres altavoces de reproducción; medios de cálculo de coeficientes de ponderación 43 para calcular como coeficiente de ponderación la ratio de distribución de la señal acústica original para cada altavoz de reproducción donde concuerdan la cantidad física acústica en un punto recibido de la señal acústica original y la cantidad física acústico en un punto recibido de una señal acústica de reproducción correspondiente a cada altavoz de reproducción determinado, el cálculo se realiza en función de posiciones de altavoces originales y la posición de cada altavoz de reproducción determinado; y medios de distribución de señales acústicas 50 para distribuir la señal acústica original en función de un coeficiente de ponderación, generando de ese modo señales acústicas de reproducción para el número de canales que coinciden con los altavoces de reproducción.
El documento US US5636283 divulga un sistema para mezclar sonido por cinco canales que rodea un plano de audio.
“Report ITU-R BS.2159-3, Multichannel sound technology in home and broadcasting applications, BS Series Broadcasting service (sound)”, 26 de enero de 2012, BS.2159-3 divulga un sistema de sonido multicanal 22.2 que tiene nueve canales en la capa superior, diez canales en la capa media, tres canales en la capa inferior y dos canales de efectos de frecuencia baja (LFE). Este sistema es idóneo para pantallas anchas tales como una pantalla FPD de 100 pulgadas (254 cm), porque puede localizar bidimensionalmente una imagen acústica sobre la pantalla entera usando tres canales inferiores, cinco canales medios y tres canales superiores alrededor de la pantalla.
El documento WO2011119401 divulga percepción de audio en proximidad local para pistas visuales.
El documento JP2011066868 divulga que un divisor de espacio tridimensional 11 tiene como salida información de plano e información de correlación de canales, en función de posiciones de una pluralidad de altavoces dispuestos estereoscópicamente en el espacio tridimensional para tener como salida señales de audio de una pluralidad de canales, y en función de una dirección de división para dividir el espacio tridimensional en una pluralidad de planos. Los codificadores de plano 12 a 14 generan elementos de codificación como resultado de codificar como grupo de programas para cada plano bidimensional en función de la información de plano y la información de correlación de canal, y además genera y tiene como salida información posicional de plano. Una sección integradora de flujo 15 integra todos los elementos de codificación y la información posicional de plano para generar y tener como salida un flujo de codificación.
El documento US2011144783 divulga un aparato para controlar un renderizador de síntesis de campo de onda con objetos sonoros incluye un proveedor para proporcionar una descripción de escena.
Compendio
Algunos aspectos de la materia de asunto descrita en esta divulgación pueden implementarse en herramientas para crear y renderizar datos de reproducción de audio. Algunas de estas herramientas de creación permiten generalizar los datos de reproducción de audio para una amplia variedad de entornos de reproducción. Según algunas implementaciones de este tipo, los datos de reproducción de audio pueden crearse mediante la creación de metadatos para objetos sonoros. Los metadatos pueden crearse con referencia a las zonas de altavoz. Durante el proceso de renderizado, los datos de reproducción de audio pueden reproducirse según la disposición de los altavoces de reproducción de un entorno de reproducción particular.
Según la invención, se proporciona un aparato según la reivindicación 1, un método según la reivindicación 7 y un medio no transitorio que tiene software almacenado en el mismo según la reivindicación 8.
Los detalles de una o más implementaciones de la materia de asunto descrita en esta memoria descriptiva se exponen en los dibujos adjuntos y en la descripción a continuación. Otras características, aspectos y ventajas serán evidentes a partir de la descripción, los dibujos y las reivindicaciones. Cabe señalar que las dimensiones relativas de las siguientes figuras pueden no estar dibujadas a escala.
Breve descripción de los dibujos
La Figura 1 muestra un ejemplo de un entorno de reproducción que tiene una configuración Dolby Surround 5.1.
La Figura 2 muestra un ejemplo de un entorno de reproducción que tiene una configuración Dolby Surround 7.1.
La Figura 3 muestra un ejemplo de un entorno de reproducción que tiene una configuración de sonido envolvente Hamasaki 22.2.
La Figura 4A muestra un ejemplo de una interfaz gráfica de usuario (GUI) que representa las zonas de altavoz a diferentes alturas en un entorno de reproducción virtual.
La Figura 4B muestra un ejemplo de otro entorno de reproducción.
Las Figuras 5A-5C muestran ejemplos de respuestas del altavoz correspondientes a un objeto sonoro que tiene una posición restringida a una superficie bidimensional de un espacio tridimensional.
Las Figuras 5D y 5E muestran ejemplos de superficies bidimensionales a las que se puede restringir un objeto sonoro.
La Figura 6A es un diagrama de flujo que esboza un ejemplo de un proceso de restricción de posiciones de un objeto sonoro a una superficie bidimensional.
La Figura 6B es un diagrama de flujo que esboza un ejemplo de un proceso de correlación de una posición de objeto sonoro a una única ubicación de altavoz o una única zona de altavoz.
La Figura 7 es un diagrama de flujo que esboza un proceso de establecimiento y uso de altavoces virtuales. Las Figuras 8A-8C muestran ejemplos de altavoces virtuales correlacionados a puntos finales de línea y respuestas de los altavoces correspondientes.
Las Figuras 9A-9C muestran ejemplos del uso de un amarre virtual para mover un objeto sonoro.
La Figura 10A es un diagrama de flujo que esboza un proceso de uso de un amarre virtual para mover un objeto sonoro.
La Figura 10B es un diagrama de flujo que esboza un proceso alternativo de uso de un amarre virtual para mover un objeto sonoro.
Las Figuras 10C-10E muestran ejemplos del proceso descrito en la Figura 10B.
La Figura 11 muestra un ejemplo de aplicación de la restricción de zona de altavoz en un entorno de reproducción virtual.
La Figura 12 es un diagrama de flujo que esboza algunos ejemplos de la aplicación de reglas de restricción de zona de altavoz.
Las Figuras 13A y 13B muestran un ejemplo de una GUI que puede cambiar entre una vista bidimensional y una vista tridimensional de un entorno de reproducción virtual.
Las Figuras 13C-13E muestran combinaciones de representaciones bidimensionales y tridimensionales de entornos de reproducción.
La Figura 14A es un diagrama de flujo que esboza un proceso de control de un aparato para presentar las GUI como las que se muestran en las Figuras 13C-13E.
La Figura 14B es un diagrama de flujo que esboza un proceso de renderizado de objetos sonoros para un entorno de reproducción.
La Figura 15A muestra un ejemplo de un objeto sonoro y la anchura de objeto sonoro asociado en un entorno de reproducción virtual.
La Figura 15B muestra un ejemplo de un perfil de dispersión correspondiente a la anchura de objeto sonoro que se muestra en la Figura 15A.
La Figura 16 es un diagrama de flujo que esboza un proceso de manejo en blobs (objeto binario grande) de objetos sonoros.
Las Figuras 17A y 17B muestran ejemplos de un objeto sonoro posicionado en un entorno de reproducción virtual tridimensional.
La Figura 18 muestra ejemplos de zonas que se corresponden con los modos de panoramización.
Las Figuras 19A-19D muestran ejemplos de aplicación de técnicas de panoramización de campo cercano y campo lejano a objetos sonoros en diferentes ubicaciones.
La Figura 20 indica las zonas de altavoz de un entorno de reproducción que pueden usarse en un proceso de control de polarización de pantalla a sala.
La Figura 21 es un diagrama de bloques que proporciona ejemplos de componentes de un aparato de creación y/o renderizado.
La Figura 22A es un diagrama de bloques que representa algunos componentes que pueden usarse para la creación de contenido de audio.
La Figura 22B es un diagrama de bloques que representa algunos componentes que pueden usarse para la reproducción de audio en un entorno de reproducción.
Los números de referencia y las designaciones similares en los diversos dibujos indican elementos similares.
Descripción de realizaciones de ejemplo
La siguiente descripción se dirige a ciertas implementaciones con el fin de describir algunos aspectos innovadores de esta divulgación, así como ejemplos de contextos en los que estos aspectos innovadores pueden implementarse. Sin embargo, las enseñanzas en esta memoria se pueden aplicar de diversas maneras diferentes.
Por ejemplo, aunque se han descrito diversas implementaciones en términos de entornos de reproducción particulares, las enseñanzas en esta memoria son ampliamente aplicables a otros entornos de reproducción conocidos, así como entornos de reproducción que puedan introducirse en el futuro. De manera similar, mientras que en esta memoria se presentan ejemplos de interfaces gráficas de usuario (GUI), algunas de las cuales proporcionan ejemplos de ubicaciones de altavoces, zonas de altavoz, etc., los inventores contemplan otras implementaciones. Además, las implementaciones descritas pueden implementarse en diversas herramientas de creación y/o renderizado, que pueden implementarse en una variedad de hardware, software, firmware, etc. En consecuencia, no se pretende que las enseñanzas de esta divulgación se limiten a las implementaciones mostradas en las figuras y/o descritas en esta memoria, sino que tienen una amplia aplicabilidad. La siguiente descripción es útil para ilustrar la invención que se define en las reivindicaciones adjuntas.
La Figura 1 muestra un ejemplo de un entorno de reproducción que tiene una configuración Dolby Surround 5.1. Dolby Surround 5.1 se desarrolló en la década de 1990, pero esta configuración aún se despliega ampliamente en entornos de sistemas de sonido de cine. Un proyector 105 puede configurarse para proyectar imágenes de vídeo, por ejemplo, para una película, en la pantalla 150.
Los datos de reproducción de audio pueden sincronizarse con las imágenes de vídeo y procesarse mediante el procesador 110 de sonido. Los amplificadores de potencia 115 pueden proporcionar señales de alimentación de altavoz a los altavoces del entorno de reproducción 100.
La configuración de Dolby Surround 5.1 incluye el conjunto de sonido envolvente izquierdo 120, el conjunto de sonido envolvente derecho 125, cada uno de los cuales se controla en grupo por un solo canal. La configuración de Dolby Surround 5.1 también incluye canales separados para el canal de pantalla izquierdo 130, el canal de pantalla central 135 y el canal de pantalla derecho 140. Se proporciona un canal separado para el subwoofer 145 para efectos de baja frecuencia (LFE).
En 2010, Dolby proporcionó mejoras al sonido del cine digital al presentar Dolby Surround 7.1. La Figura 2 muestra un ejemplo de un entorno de reproducción que tiene una configuración Dolby Surround 7.1. Un proyector digital 205 puede configurarse para recibir vídeo digital y proyectar imágenes de vídeo en la pantalla 150. Los datos de reproducción de audio pueden ser procesados por el procesador de sonido 210. Los amplificadores de potencia 215 pueden proporcionar señales de alimentación de altavoz a los altavoces del entorno de reproducción 200.
La configuración de Dolby Surround 7.1 incluye el conjunto de sonido envolvente de lado izquierdo 220 y el conjunto de sonido envolvente de lado derecho 225, cada uno de los cuales puede ser accionado por un solo canal. Al igual que Dolby Surround 5.1, la configuración de Dolby Surround 7.1 incluye canales separados para el canal de pantalla izquierdo 230, el canal de pantalla central 235, el canal de pantalla derecho 240 y el subwoofer 245. Sin embargo, Dolby Surround 7.1 aumenta el número de canales de sonido envolvente al dividir los canales de sonido envolvente izquierdo y derecho de Dolby Surround 5.1 en cuatro zonas: además del conjunto de sonido envolvente de lado izquierdo 220 y el conjunto de sonido envolvente de lado derecho 225, se incluyen canales separados para los altavoces de sonido envolvente traseros izquierdos 224 y los altavoces de sonido envolvente traseros derechos 226. Aumentar el número de zonas de sonido envolvente dentro del entorno 200 de reproducción puede mejorar significativamente la localización del sonido.
En un esfuerzo por crear un entorno más inmersivo, algunos entornos de reproducción pueden configurarse con una mayor cantidad de altavoces, accionados por una mayor cantidad de canales. Además, algunos entornos de reproducción pueden incluir altavoces desplegados a diversas alturas, algunos de los cuales pueden estar por encima de un área de asientos del entorno de reproducción.
La Figura 3 muestra un ejemplo de un entorno de reproducción que tiene una configuración de sonido envolvente Hamasaki 22.2. Hamasaki 22.2 se desarrolló en los laboratorios de investigación científica y tecnológica de NHK en Japón como el componente de sonido envolvente de la televisión de definición ultraalta. Hamasaki 22.2 proporciona 24 canales de altavoces, que se pueden usar para accionar los altavoces dispuestos en tres capas. La capa superior de altavoces 310 del entorno de reproducción 300 puede ser accionada por 9 canales. La capa intermedia de altavoces 320 puede ser accionada por 10 canales. La capa inferior de altavoces 330 puede ser accionada por 5 canales, dos de los cuales son para los subwoofers 345a y 345b.
En consecuencia, la tendencia moderna es incluir no solo más altavoces y más canales, sino también incluir altavoces a diferentes alturas. A medida que aumenta la cantidad de canales y la disposición de los altavoces cambia de un conjunto 2D a un conjunto 3D, las tareas de posicionamiento y renderizado de sonidos se vuelven cada vez más difíciles.
Esta divulgación proporciona diversas herramientas, así como interfaces de usuario relacionadas, que aumentan la funcionalidad y/o reducen la complejidad de creación para un sistema de sonido de audio 3D.
La Figura 4A muestra un ejemplo de una interfaz gráfica de usuario (GUI) que representa las zonas de altavoz a diferentes alturas en un entorno de reproducción virtual. La GUI 400 puede, por ejemplo, mostrarse en un dispositivo de visualización según las instrucciones de un sistema lógico, según las señales recibidas de los dispositivos de entrada del usuario, etc. Algunos de estos dispositivos se describen a continuación con referencia a la Figura 21.
Como se usa en esta memoria con referencia a entornos de reproducción virtual como el entorno de reproducción virtual 404, el término "zona de altavoz" generalmente se refiere a una construcción lógica que puede tener o no una correspondencia uno a uno con un altavoz de reproducción de un entorno de reproducción real. Por ejemplo, una "ubicación de zona de altavoz" puede corresponder o no a una ubicación de altavoces de reproducción particular de un entorno de reproducción de cine. En cambio, el término "ubicación de zona de altavoz" puede referirse en general a una zona de un entorno de reproducción virtual. En algunas implementaciones, una zona de altavoz de un entorno de reproducción virtual puede corresponder a un altavoz virtual, por ejemplo, mediante el uso de tecnología de virtualización como Dolby Headphone™ (a veces denominada Mobile Surround™), que crea un entorno de sonido envolvente virtual en tiempo real usando un conjunto de auriculares estéreo de dos canales.
En la GUI 400, hay siete zonas de altavoz 402a en una primera elevación y dos zonas de altavoz 402b en una segunda elevación, haciendo un total de nueve zonas de altavoz en el entorno de reproducción virtual 404. En este ejemplo, las zonas de altavoz 1-3 están en el área frontal 405 del entorno de reproducción virtual 404. El área frontal 405 puede corresponder, por ejemplo, a una zona de un entorno de reproducción de cine en el que se ubica una pantalla 150, a una zona de una vivienda en la que se sitúa una pantalla de televisión, etc.
Aquí, la zona de altavoz 4 corresponde generalmente a los altavoces del área izquierda 410 y la zona de altavoz 5 corresponde a los altavoces del área derecha 415 del entorno de reproducción virtual 404. La zona de altavoz 6 corresponde a un área trasera izquierda 412 y la zona de altavoz 7 corresponde a un área trasera derecha 414 del entorno de reproducción virtual 404. La zona de altavoz 8 corresponde a altavoces en un área superior 420a y la zona de altavoz 9 corresponde a altavoces en un área superior 420b, que puede ser un área de techo virtual como un área del techo virtual 520 que se muestra en las Figuras 5D y 5E. En consecuencia, y como se describe con más detalle a continuación, las ubicaciones de las zonas de altavoz 1 -9 que se muestran en la Figura 4A pueden corresponder o no a las ubicaciones de los altavoces de reproducción de un entorno de reproducción real. Además, otras implementaciones pueden incluir más o menos zonas de altavoz y/o elevaciones.
En diversas implementaciones descritas en esta memoria, una interfaz de usuario como la GUI 400 puede usarse como parte de una herramienta de creación y/o una herramienta de renderizado. En algunas implementaciones, la herramienta de creación y/o la herramienta de renderizado pueden implementarse mediante software almacenado en uno o más medios no transitorios. La herramienta de creación y/o la herramienta de renderizado puede implementarse (al menos en parte) mediante hardware, firmware, etc., como el sistema lógico y otros dispositivos que se describen a continuación con referencia a la Figura 21. En algunas implementaciones de creación, se puede usar una herramienta de creación asociada para crear metadatos para datos de audio asociados. Los metadatos pueden, por ejemplo, incluir datos que indiquen la posición y/o trayectoria de un objeto sonoro en un espacio tridimensional, datos de restricción de zona de altavoz, etc. Los metadatos pueden crearse con respecto a las zonas de altavoz 402 del entorno de reproducción virtual 404, en lugar de con respecto a una disposición de los altavoces particular de un entorno de reproducción real. Una herramienta de renderizado puede recibir datos de audio y metadatos asociados, y puede calcular las ganancias de audio y las señales de alimentación de altavoz para un entorno de reproducción. Tales ganancias de audio y señales de alimentación de altavoz pueden calcularse según un proceso de panoramización de amplitud, que puede crear la percepción de que un sonido proviene de una posición P en el entorno de reproducción. Por ejemplo, las señales de alimentación de altavoz pueden proporcionarse a los altavoces de reproducción 1 a N del entorno de reproducción según la siguiente ecuación:
x¡(t) = gix(t), i = 1... N(Ecuación 1)
En la ecuación 1, x¡(t) representa la señal de alimentación de altavoz que se aplicará al altavoz i, gi representa el factor de ganancia del canal correspondiente, x(t) representa la señal de audio y t representa el tiempo. Los factores de ganancia pueden determinarse, por ejemplo, según los métodos de panoramización de amplitud descritos en la sección 2, páginas 3-4 del documento de V. Pulkki,Compensating Displacement of Amplitude-Panned Virtual Sources(Audio Engineering Society (AES) Conferencia internacional sobre audio virtual, sintético y de ocio).
En algunas implementaciones, las ganancias pueden depender de la frecuencia.
En algunas implementaciones, se puede introducir un retraso de tiempo al sustituir x(t) por x(t-At).
En algunas implementaciones de renderizado, los datos de reproducción de audio creados con referencia a las zonas de altavoz 402 son correlacionados a ubicaciones de altavoces de una amplia gama de entornos de reproducción, que pueden estar en una configuración Dolby Surround 5.1, una configuración Dolby Surround 7.1, una configuración Hamasaki 22.2, u otra configuración. Por ejemplo, con referencia a la Figura 2, una herramienta de renderizado puede correlacionar datos de reproducción de audio para las zonas de altavoz 4 y 5 al conjunto de sonido envolvente de lado izquierdo 220 y al conjunto de sonido envolvente de lado derecho 225 de un entorno de reproducción que tiene una configuración Dolby Surround 7.1. Los datos de reproducción de audio para las zonas de altavoz 1, 2 y 3 pueden correlacionarse al canal de pantalla izquierdo 230, al canal de pantalla derecho 240 y al canal de pantalla central 235, respectivamente. Los datos de reproducción de audio para las zonas de altavoz 6 y 7 pueden correlacionarse a los altavoces de sonido envolvente traseros izquierdos 224 y a los altavoces de sonido envolvente traseros derechos 226.
La Figura 4B muestra un ejemplo de otro entorno de reproducción. En algunas implementaciones, una herramienta de renderizado puede correlacionar datos de reproducción de audio para las zonas de altavoz 1, 2 y 3 a los altavoces de pantalla 455 correspondientes del entorno de reproducción 450. Una herramienta de renderizado puede correlacionar datos de reproducción de audio para las zonas de altavoz 4 y 5 al conjunto de sonido envolvente de lado izquierdo 460 y al conjunto de sonido envolvente de lado derecho 465 y puede correlacionar datos de reproducción de audio para las zonas de altavoz 8 y 9 a los altavoces superiores izquierdos 470a y los altavoces superiores derechos 470b. Los datos de reproducción de audio para las zonas de altavoz 6 y 7 pueden correlacionarse a los altavoces de sonido envolvente traseros izquierdos 480a y a los altavoces de sonido envolvente traseros derechos 480b.
En algunas implementaciones de creación, se puede usar una herramienta de creación para crear metadatos para objetos sonoros. Como se usa en esta memoria, el término "objeto sonoro" puede referirse a un flujo de datos de audio y metadatos asociados. Los metadatos indican típicamente la posición 3D del objeto, las restricciones de renderizado y el tipo de contenido (por ejemplo, diálogo, efectos, etc.). Dependiendo de la implementación, los metadatos pueden incluir otros tipos de datos, como datos de anchura, datos de ganancia, datos de trayectoria, etc. Algunos objetos sonoros pueden estar estáticos, mientras que otros pueden moverse. Los detalles de objeto sonoro se pueden crear o renderizar según los metadatos asociados que, entre otras cosas, pueden indicar la posición del objeto sonoro en un espacio tridimensional en un momento determinado. Cuando los objetos sonoros se monitorizan o reproducen en un entorno de reproducción, los objetos sonoros pueden renderizarse según los metadatos posicionales usando los altavoces de reproducción que están presentes en el entorno de reproducción, en lugar de enviarse a un canal físico predeterminado, como es el caso con sistemas tradicionales basados en canales como Dolby 5.1 y Dolby 7.1.
En esta memoria, se describen diversas herramientas de creación y renderizado con referencia a una GUI que es sustancialmente la misma que la GUI 400. Sin embargo, otras diversas interfaces de usuario, incluidas, entre otras, las GUI, se pueden usar en asociación con estas herramientas de creación y renderizado. Algunas de estas herramientas pueden simplificar el proceso de creación mediante la aplicación de diversos tipos de restricciones. Algunas implementaciones se describirán ahora con referencia a las Figuras 5A y siguientes.
Las Figuras 5A-5C muestran ejemplos de respuestas de los altavoces correspondientes a un objeto sonoro que tiene una posición restringida a una superficie bidimensional de un espacio tridimensional, que es un hemisferio en este ejemplo. En estos ejemplos, las respuestas de los altavoces han sido calculadas por un renderizador asumiendo una configuración de 9 altavoces, con cada altavoz correspondiente a una de las zonas 1-9 de altavoz. Sin embargo, como se indica en otra parte en esta memoria, generalmente no puede haber una correlación uno a uno entre las zonas de altavoz de un entorno de reproducción virtual y los altavoces de reproducción en un entorno de reproducción. Con referencia primero a la Figura 5A, el objeto sonoro 505 se muestra en una ubicación en la parte frontal izquierda del entorno de reproducción virtual 404. En consecuencia, el altavoz correspondiente a la zona de altavoz 1 indica una ganancia sustancial y los altavoces correspondientes a las zonas de altavoz 3 y 4 indican ganancias moderadas.
En este ejemplo, la ubicación del objeto sonoro 505 se puede cambiar colocando un cursor 510 en el objeto sonoro 505 y "arrastrando" el objeto sonoro 505 a una ubicación deseada en el plano x, y del entorno de reproducción virtual 404. A medida que el objeto es arrastrado hacia el centro del entorno de reproducción, también se correlaciona en la superficie de un hemisferio y su elevación aumenta. Aquí, los aumentos en la elevación del objeto sonoro 505 se indican mediante un aumento en el diámetro del círculo que representa el objeto sonoro 505: como se muestra en las Figuras 5B y 5C, a medida que el objeto sonoro 505 se arrastra al centro superior del entorno de reproducción virtual 404, el objeto sonoro 505 parece cada vez más grande. Alternativa o adicionalmente, la elevación del objeto sonoro 505 puede indicarse mediante cambios de color, brillo, una indicación de elevación numérica, etc. Cuando el objeto sonoro 505 se posiciona en el centro superior del entorno de reproducción virtual 404, como se muestra en la Figura 5C, los altavoces correspondientes a las zonas de altavoz 8 y 9 indican ganancias sustanciales y los otros altavoces indican poca o ninguna ganancia.
En esta implementación, la posición del objeto sonoro 505 se restringe a una superficie bidimensional, como una superficie esférica, una superficie elíptica, una superficie cónica, una superficie cilíndrica, una cuña, etc. Las Figuras 5D y 5E muestran ejemplos de superficies bidimensionales a las que se puede restringir un objeto sonoro. Las Figuras 5D y 5E son vistas en corte transversal a través del entorno de reproducción virtual 404, con el área frontal 405 mostrada a la izquierda. En las Figuras 5D y 5E, los valores y del eje y-z aumentan en la dirección del área frontal 405 del entorno de reproducción virtual 404, para mantener la coherencia con las orientaciones de los ejes x-y que se muestran en las Figuras 5A-5C.
En el ejemplo que se muestra en la Figura 5D, la superficie bidimensional 515a es una sección de un elipsoide. En el ejemplo que se muestra en la Figura 5E, la superficie bidimensional 515b es una sección de una cuña. Sin embargo, las formas, orientaciones y posiciones de las superficies bidimensionales 515 mostradas en las Figuras 5D y 5E son meros ejemplos. En implementaciones alternativas, al menos una parte de la superficie bidimensional 515 puede extenderse fuera del entorno de reproducción virtual 404. En algunas de tales implementaciones, la superficie bidimensional 515 puede extenderse por encima del techo virtual 520. En consecuencia, el espacio tridimensional dentro del que se extiende la superficie bidimensional 515 no tiene necesariamente la misma extensión que el volumen del entorno de reproducción virtual 404. En otras implementaciones, un objeto sonoro puede restringirse a características unidimensionales como curvas, líneas rectas, etc.
La Figura 6A es un diagrama de flujo que esboza un ejemplo de un proceso de restricción de posiciones de un objeto sonoro a una superficie bidimensional. Al igual que con otros diagramas de flujo que se proporcionan en esta memoria, las operaciones del proceso 600 no se realizan necesariamente en el orden mostrado. Además, el proceso 600 (y otros procesos proporcionados en esta memoria) pueden incluir más o menos operaciones que las que se indican en los dibujos y/o se describen. En este ejemplo, los bloques 605 a 622 los realiza una herramienta de creación y los bloques 624 a 630 los realiza una herramienta de renderizado. La herramienta de creación y la herramienta de renderizado pueden implementarse en un solo aparato o en más de un aparato. Aunque la Figura 6A (y otros diagramas de flujo proporcionados en esta memoria) pueden crear la impresión de que los procesos de creación y renderizado se realizan de manera secuencial, en muchas implementaciones los procesos de creación y renderizado se realizan sustancialmente al mismo tiempo. Los procesos de creación y los procesos de renderizado pueden ser interactivos. Por ejemplo, los resultados de una operación de creación pueden enviarse a la herramienta de renderizado, los resultados correspondientes de la herramienta de renderizado pueden ser evaluados por un usuario, que puede realizar una creación adicional basada en estos resultados, etc.
En el bloque 605, se recibe una indicación de que la posición de un objeto sonoro debe restringirse a una superficie bidimensional. La indicación puede, por ejemplo, ser recibida por un sistema lógico de un aparato que se configura para proporcionar herramientas de creación y/o renderizado. Al igual que con otras implementaciones descritas en esta memoria, el sistema lógico puede estar funcionando según las instrucciones del software almacenadas en un medio no transitorio, según el firmware, etc. La indicación puede ser una señal de un dispositivo de entrada del usuario (como una pantalla táctil, un ratón, una bola de seguimiento, un dispositivo de reconocimiento de gestos, etc.) en respuesta a la entrada de un usuario.
En el bloque opcional 607, se reciben datos de audio. El bloque 607 es opcional en este ejemplo, ya que los datos de audio también pueden ir directamente a un renderizador desde otra fuente (por ejemplo, una mesa de mezclas) que está sincronizada en el tiempo con la herramienta de creación de metadatos. En algunas de estas implementaciones, puede existir un mecanismo implícito para vincular cada flujo de audio a un flujo de metadatos entrante correspondiente para formar un objeto sonoro. Por ejemplo, el flujo de metadatos puede contener un identificador para el objeto sonoro que representa, por ejemplo, un valor numérico de 1 a N. Si el aparato de reproducción se configura con entradas de audio que también están numeradas de 1 a N, la herramienta de renderizado puede automáticamente suponer que un objeto sonoro se forma por el flujo de metadatos identificado con un valor numérico (por ejemplo, 1) y los datos de audio recibidos en la primera entrada de audio. De manera similar, cualquier flujo de metadatos identificado con el número 2 puede formar un objeto con el audio recibido en el segundo canal de entrada de audio. En algunas implementaciones, el audio y los metadatos pueden ser empaquetados previamente por la herramienta de creación para formar objetos sonoros y los objetos sonoros pueden proporcionarse a la herramienta de renderizado, por ejemplo, enviados a través de una red como paquetes TCP/IP.
En implementaciones alternativas, la herramienta de creación puede enviar solo los metadatos en la red y la herramienta de renderizado puede recibir audio de otra fuente (por ejemplo, a través de un flujo de modulación de código de pulso (PCM), a través de audio analógico, etc.). En dichas implementaciones, la herramienta de renderizado puede configurarse para agrupar los datos y metadatos de audio para formar los objetos sonoros. Los datos de audio pueden, por ejemplo, ser recibidos por el sistema lógico a través de una interfaz. La interfaz puede ser, por ejemplo, una interfaz de red, una interfaz de audio (por ejemplo, una interfaz configurada para la comunicación a través del estándar AES3 desarrollado por Audio Engineering Society y la Unión Europea de Radiodifusión, también conocida como AES/EBU, a través del protocolo de interfaz digital de audio multicanal (MADI), a través de señales analógicas, etc.) o una interfaz entre el sistema lógico y un dispositivo de memoria. En este ejemplo, los datos recibidos por el renderizador incluyen al menos un objeto sonoro.
En el bloque 610, se reciben las coordenadas (x, y) o (x, y, z) de una posición de objeto sonoro. El bloque 610 puede, por ejemplo, implicar recibir una posición inicial del objeto sonoro. El bloque 610 también puede implicar recibir una indicación de que un usuario ha posicionado o reposicionado el objeto sonoro, por ejemplo, como se describe anteriormente con referencia a las Figuras 5A-5C. Las coordenadas del objeto sonoro se correlacionan a una superficie bidimensional en el bloque 615. La superficie bidimensional puede ser similar a una de las descritas anteriormente con referencia a las Figuras 5D y 5E, o puede ser una superficie bidimensional diferente. En este ejemplo, cada punto del plano x-y se correlacionará a un solo valor z, por lo que el bloque 615 implica correlacionar las coordenadas x e y recibidas en el bloque 610 a un valor de z. En otras implementaciones, se pueden usar diferentes procesos de correlación y/o sistemas de coordenadas. El objeto sonoro puede mostrarse (bloque 620) en la ubicación (x, y, z) que se determina en el bloque 615. Los datos y metadatos de audio, incluida la ubicación correlacionada (x, y, z) que se determina en el bloque 615, pueden almacenarse en el bloque 621. Los datos de audio y los metadatos pueden enviarse a una herramienta de renderizado (bloque 622). En algunas implementaciones, los metadatos pueden enviarse continuamente mientras se realizan algunas operaciones de creación, por ejemplo, mientras el objeto sonoro se posiciona, restringe, visualiza en la GUI 400, etc.
En el bloque 623, se determina si continuará el proceso de creación. Por ejemplo, el proceso de creación puede finalizar (bloque 625) al recibir una entrada desde una interfaz de usuario que indica que un usuario ya no desea restringir las posiciones de los objetos sonoros a una superficie bidimensional. De lo contrario, el proceso de creación puede continuar, por ejemplo, volviendo al bloque 607 o al bloque 610. En algunas implementaciones, las operaciones de renderizado pueden continuar tanto si continúa el proceso de creación como si no. En algunas implementaciones, los objetos sonoros pueden grabarse en un disco en la plataforma de creación y luego reproducirse desde un procesador de sonido dedicado o un servidor de cine conectado a un procesador de sonido, por ejemplo, un procesador de sonido similar al procesador de sonido 210 de la Figura 2, con fines de exhibición.
En algunas implementaciones, la herramienta de renderizado puede ser un software que se ejecuta en un aparato que se configura para proporcionar la funcionalidad de creación. En otras implementaciones, la herramienta de renderizado se puede proporcionar en otro dispositivo. El tipo de protocolo de comunicación usado para la comunicación entre la herramienta de creación y la herramienta de renderizado puede variar según si ambas herramientas se ejecutan en el mismo dispositivo o si se comunican a través de una red.
En el bloque 626, los datos y metadatos de audio (incluidas las posiciones (x, y, z) determinadas en el bloque 615) son recibidos por la herramienta de renderizado. En implementaciones alternativas, los datos y metadatos de audio pueden recibirse por separado e interpretarse mediante la herramienta de renderizado como un objeto sonoro a través de un mecanismo implícito. Como se ha indicado anteriormente, por ejemplo, un flujo de metadatos puede contener un código de identificación de objeto sonoro (por ejemplo, 1, 2, 3, etc.) y puede adjuntarse respectivamente con las entradas de audio primera, segunda y tercera (es decir, conexión de audio digital o analógica) en el sistema de renderizado para formar un objeto sonoro que se puede renderizar en los altavoces. Durante las operaciones de renderizado del proceso 600 (y otras operaciones de renderizado descritas en esta memoria), las ecuaciones de ganancia de panoramización pueden aplicarse según la disposición de los altavoces de reproducción de un entorno de reproducción particular. En consecuencia, el sistema lógico de la herramienta de renderizado puede recibir datos de entorno de reproducción que comprenden una indicación de un número de altavoces de reproducción en el entorno de reproducción y una indicación de la ubicación de cada altavoz de reproducción dentro del entorno de reproducción. Estos datos pueden recibirse, por ejemplo, accediendo a una estructura de datos que se almacena en una memoria accesible por el sistema lógico o recibida a través de un sistema de interfaz.
En este ejemplo, se aplican ecuaciones de ganancia de panoramización para la posición o posiciones (x, y, z) para determinar los valores de ganancia (bloque 628) para aplicar a los datos de audio (bloque 630).
En algunas implementaciones, los datos de audio cuyo nivel se ha ajustado en respuesta a los valores de ganancia pueden ser reproducidos por altavoces de reproducción, por ejemplo, por altavoces de auriculares (u otros altavoces) que se configuran para comunicarse con un sistema lógico de la herramienta de renderizado. En algunas implementaciones, las ubicaciones de los altavoces de reproducción pueden corresponder a las ubicaciones de las zonas de altavoz de un entorno de reproducción virtual, como el entorno de reproducción virtual 404 descrito anteriormente. Las respuestas correspondientes del altavoz pueden mostrarse en un dispositivo de visualización, por ejemplo, como se muestra en las Figuras 5A-5C.
En el bloque 635, se determina si el proceso continuará. Por ejemplo, el proceso puede finalizar (bloque 640) al recibir una entrada desde una interfaz de usuario que indica que un usuario ya no desea continuar con el proceso de renderizado. De lo contrario, el proceso puede continuar, por ejemplo, volviendo al bloque 626. Si el sistema lógico recibe una indicación de que el usuario desea volver al proceso de creación correspondiente, el proceso 600 puede volver al bloque 607 o al bloque 610.
Otras implementaciones pueden implicar la imposición de otros diversos tipos de restricciones y la creación de otros tipos de metadatos de restricciones para objetos sonoros. La Figura 6B es un diagrama de flujo que esboza un ejemplo de un proceso de correlación de una posición de objeto sonoro a una ubicación de un solo altavoz. Este proceso también puede denominarse en esta memoria "ajuste". En el bloque 655, se recibe una indicación de que la posición de un objeto sonoro puede ajustarse a una sola ubicación de altavoz o una sola zona de altavoz. En este ejemplo, la indicación es que la posición del objeto sonoro se ajustará a una sola ubicación de altavoz, cuando corresponda. La indicación puede, por ejemplo, ser recibida por un sistema lógico de un aparato que se configura para proporcionar herramientas de creación. La indicación puede corresponder con la entrada recibida desde un dispositivo de entrada del usuario. Sin embargo, la indicación también puede corresponder con una categoría del objeto sonoro (por ejemplo, como un sonido de bala, una vocalización, etc.) y/o una anchura de objeto sonoro. La información sobre la categoría y/o la anchura puede, por ejemplo, recibirse como metadatos para el objeto sonoro. En tales implementaciones, el bloque 657 puede ocurrir antes del bloque 655.
En el bloque 656, se reciben datos de audio. Las coordenadas de la posición de un objeto sonoro se reciben en el bloque 657. En este ejemplo, se muestra la posición del objeto sonoro (bloque 658) según las coordenadas recibidas en el bloque 657. Los metadatos, incluidas las coordenadas del objeto sonoro y un indicador de ajuste, que indica la funcionalidad de ajuste, se guardan en el bloque 659. Los datos y metadatos de audio son enviados por la herramienta de creación a una herramienta de renderizado (bloque 660).
En el bloque 662, se determina si continuará el proceso de creación. Por ejemplo, el proceso de creación puede finalizar (bloque 663) al recibir una entrada desde una interfaz de usuario que indica que un usuario ya no desea ajustar las posiciones de los objetos sonoros a la ubicación de un altavoz. De lo contrario, el proceso de creación puede continuar, por ejemplo, volviendo al bloque 665. En algunas implementaciones, las operaciones de renderizado pueden continuar tanto si continúa el proceso de creación como si no.
Los datos de audio y los metadatos enviados por la herramienta de creación son recibidos por la herramienta de renderizado en el bloque 664. En el bloque 665, se determina (por ejemplo, por el sistema lógico) si ajustar la posición del objeto sonoro a la ubicación de altavoz. Esta determinación puede basarse, al menos en parte, en la distancia entre la posición del objeto sonoro y la ubicación de altavoz de reproducción más cercana de un entorno de reproducción.
En este ejemplo, si se determina en el bloque 665 ajustar la posición del objeto sonoro a la ubicación de un altavoz, la posición del objeto sonoro se correlacionará a una ubicación de altavoz en el bloque 670, generalmente la más cercana a la posición deseada (x, y, z) recibida para el objeto sonoro. En este caso, la ganancia de los datos de audio reproducidos por esta ubicación de altavoz será 1,0, mientras que la ganancia de los datos de audio reproducidos por otros altavoces será cero. En implementaciones alternativas, la posición del objeto sonoro puede correlacionarse a un grupo de ubicaciones de altavoces en el bloque 670.
Por ejemplo, con referencia nuevamente a la Figura 4B, el bloque 670 puede implicar ajustar la posición del objeto sonoro a uno de los altavoces superiores izquierdos 470a. Alternativamente, el bloque 670 puede involucrar ajustar la posición del objeto sonoro a un solo altavoz y altavoces vecinos, por ejemplo, 1 o 2 altavoces vecinos. En consecuencia, los metadatos correspondientes pueden aplicarse a un pequeño grupo de altavoces de reproducción y/o a un altavoz de reproducción individual.
Sin embargo, si se determina en el bloque 665 que la posición del objeto sonoro no se ajustará a la ubicación de un altavoz, por ejemplo, si esto diese como resultado una gran discrepancia en la posición en relación con la posición original prevista recibida para el objeto, las reglas de panoramización serán aplicadas (bloque 675). Las reglas de panoramización se pueden aplicar según la posición del objeto sonoro, así como otras características del objeto sonoro (como anchura, volumen, etc.).
Los datos de ganancia determinados en el bloque 675 pueden aplicarse a los datos de audio en el bloque 681 y el resultado puede guardarse. En algunas implementaciones, los datos de audio resultantes pueden ser reproducidos por altavoces que se configuran para comunicarse con el sistema lógico.
Si se determina en el bloque 685 que el proceso 650 continuará, el proceso 650 puede volver al bloque 664 para continuar con las operaciones de renderizado. Alternativamente, el proceso 650 puede volver al bloque 655 para reanudar las operaciones de creación.
El proceso 650 puede implicar diversos tipos de operaciones de suavizado. Por ejemplo, el sistema lógico puede configurarse para suavizar las transiciones en las ganancias aplicadas a los datos de audio cuando se pasa de correlacionar una posición de objeto sonoro desde una primera ubicación de un solo altavoz a una segunda ubicación de un solo altavoz. Con referencia nuevamente a la Figura 4B, si la posición del objeto sonoro fue correlacionada inicialmente a uno de los altavoces superiores izquierdos 470a y luego fue correlacionada a uno de los altavoces envolventes traseros derechos 480b, el sistema lógico puede configurarse para suavizar la transición entre los altavoces para que el objeto sonoro no parezca "saltar" repentinamente de un altavoz (o zona de altavoz) a otro. En algunas implementaciones, el suavizado puede implementarse según un parámetro de velocidad de desvanecimiento cruzado.
En algunas implementaciones, el sistema lógico puede configurarse para suavizar las transiciones en las ganancias aplicadas a los datos de audio cuando se realiza la transición entre la correlación de una posición de objeto sonoro a una ubicación de un solo altavoz y la aplicación de reglas de panoramización para la posición del objeto sonoro. Por ejemplo, si se determinara posteriormente en el bloque 665 que la posición del objeto sonoro se había movido a una posición que se determinó que estaba demasiado lejos del altavoz más cercano, se pueden aplicar reglas de panoramización para la posición del objeto sonoro en el bloque 675. Sin embargo, cuando se pasa de ajuste a panoramización (o viceversa), el sistema lógico puede configurarse para suavizar las transiciones en las ganancias aplicadas a los datos de audio. El proceso puede terminar en el bloque 690, por ejemplo, al recibir la entrada correspondiente desde una interfaz de usuario.
Algunas implementaciones alternativas pueden implicar la creación de restricciones lógicas. En algunos casos, por ejemplo, un mezclador de sonido puede desear un control más explícito sobre el conjunto de altavoces que se usa durante una operación de panoramización particular. Algunas implementaciones permiten a un usuario generar "correlaciones lógicas" de una o dos dimensiones entre conjuntos de altavoces y una interfaz de panoramización.
La Figura 7 es un diagrama de flujo que esboza un proceso de establecimiento y uso de altavoces virtuales. Las Figuras 8A-8C muestran ejemplos de altavoces virtuales correlacionados a puntos finales de línea y respuestas de zona de altavoz correspondientes. Con referencia primero al proceso 700 de la Figura 7, se recibe una indicación en el bloque 705 para crear altavoces virtuales. La indicación puede ser recibida, por ejemplo, por un sistema lógico de un aparato de creación y puede corresponder con la entrada recibida desde un dispositivo de entrada del usuario.
En el bloque 710, se recibe una indicación de la ubicación de un altavoz virtual. Por ejemplo, con referencia a la Figura 8A, un usuario puede usar un dispositivo de entrada de usuario para colocar el cursor 510 en la posición del altavoz virtual 805a y seleccionar esa ubicación, por ejemplo, mediante un clic del ratón. En el bloque 715, se determina (por ejemplo, según la entrada del usuario) que se seleccionarán altavoces virtuales adicionales en este ejemplo. El proceso vuelve al bloque 710 y el usuario selecciona la posición del altavoz virtual 805b, que se muestra en la Figura 8A, en este ejemplo.
En este caso, el usuario solo desea establecer dos ubicaciones de altavoces virtuales. Por lo tanto, en el bloque 715, se determina (por ejemplo, según la entrada del usuario) que no se seleccionarán altavoces virtuales adicionales. Se puede mostrar una polilínea 810, como se muestra en la Figura 8A, conectando las posiciones del altavoz virtual 805a y 805b. En algunas implementaciones, la posición del objeto sonoro 505 estará restringida a la polilínea 810. En algunas implementaciones, la posición del objeto sonoro 505 puede estar restringida a una curva paramétrica. Por ejemplo, se puede proporcionar un conjunto de puntos de control según la entrada del usuario y se puede usar un algoritmo de ajuste de curvas, como un spline, para determinar la curva paramétrica. En el bloque 725, se recibe una indicación de la posición de un objeto sonoro a lo largo de la polilínea 810. En algunas de estas implementaciones, la posición se indicará como un valor escalar entre cero y uno. En el bloque 725, pueden visualizarse las coordenadas (x, y, z) del objeto sonoro y la polilínea definida por los altavoces virtuales. Se pueden mostrar los datos de audio y los metadatos asociados, incluida la posición escalar obtenida y las coordenadas (x, y, z) de los altavoces virtuales. (Bloque 727). Aquí, los datos de audio y los metadatos pueden enviarse a una herramienta de renderizado a través de un protocolo de comunicación apropiado en el bloque 728.
En el bloque 729, se determina si continuará el proceso de creación. Si no, el proceso 700 puede terminar (bloque 730) o puede continuar con las operaciones de renderizado, según la entrada del usuario. Sin embargo, como se ha indicado anteriormente, en muchas implementaciones, al menos algunas operaciones de renderizado pueden realizarse simultáneamente con las operaciones de creación.
En el bloque 732, la herramienta de renderizado recibe los datos y metadatos de audio. En el bloque 735, las ganancias a aplicar a los datos de audio se calculan para cada posición de altavoz virtual. La Figura 8B muestra las respuestas del altavoz para la posición del altavoz virtual 805a. La Figura 8C muestra las respuestas del altavoz para la posición del altavoz virtual 805b. En este ejemplo, como en muchos otros ejemplos descritos en esta memoria, las respuestas de los altavoces indicadas son para altavoces de reproducción que tienen ubicaciones correspondientes a las ubicaciones que se muestran para las zonas de altavoz de la GUI 400. Aquí, los altavoces virtuales 805a y 805b y la línea 810 se han posicionado en un plano que no está cerca de los altavoces de reproducción que tienen ubicaciones correspondientes a las zonas de altavoz 8 y 9. Por lo tanto, no se indica ninguna ganancia para estos altavoces en las Figuras 8B o 8C.
Cuando el usuario mueve el objeto sonoro 505 a otras posiciones a lo largo de la línea 810, el sistema lógico calculará el desvanecimiento cruzado que corresponde a estas posiciones (bloque 740), por ejemplo, según el parámetro de posición escalar del objeto sonoro. En algunas implementaciones, se puede usar una ley de panoramización por pares (por ejemplo, una ley de seno o potencia que conserva la energía) para combinar las ganancias que se aplicarán a los datos de audio para la posición del altavoz virtual 805a y las ganancias que se aplicarán a los datos de audio para la posición del altavoz virtual 805b.
En el bloque 742, se puede determinar (por ejemplo, según la entrada del usuario) si se continúa con el proceso 700. A un usuario se le puede presentar, por ejemplo, (por ejemplo, a través de una GUI) la opción de continuar con las operaciones de renderizado o de volver a las operaciones de creación. Si se determina que el proceso 700 no continuará, el proceso finaliza. (Bloque 745).
Al realizar una panorámica de objetos sonoros que se mueven rápidamente (por ejemplo, objetos sonoros que corresponden a automóviles, aviones, etc.), puede ser difícil crear una trayectoria suave si el usuario selecciona las posiciones de objetos sonoros punto por punto. La falta de suavidad en la trayectoria del objeto sonoro puede influir en la imagen acústica percibida. En consecuencia, algunas implementaciones de creación proporcionadas en esta memoria aplican un filtro de paso bajo a la posición de un objeto sonoro para suavizar las ganancias de panoramización resultantes. Las implementaciones de creación alternativas aplican un filtro de paso bajo a la ganancia aplicada a los datos de audio.
Otras implementaciones de creación pueden permitir que un usuario simule agarrar, tirar, lanzar o interactuar de manera similar con objetos sonoros. Algunas de estas implementaciones pueden implicar la aplicación de leyes físicas simuladas, como conjuntos de reglas que se usan para describir la velocidad, la aceleración, el impulso, la energía cinética, la aplicación de fuerzas, etc.
Las Figuras 9A-9C muestran ejemplos del uso de un amarre virtual para arrastrar un objeto sonoro. En la Figura 9A, se ha formado un amarre virtual 905 entre el objeto sonoro 505 y el cursor 510. En este ejemplo, el amarre virtual 905 tiene una constante de resorte virtual.
En algunas de tales implementaciones, la constante de resorte virtual puede seleccionarse según la entrada del usuario.
La Figura 9B muestra el objeto sonoro 505 y el cursor 510 en un momento posterior, después del cual el usuario ha movido el cursor 510 hacia la zona de altavoz 3. El usuario puede haber movido el cursor 510 usando un ratón, un joystick, una bola de seguimiento, un aparato de detección de gestos u otro tipo de dispositivo de entrada de usuario. El amarre virtual 905 se ha estirado y el objeto sonoro 505 se ha movido cerca de la zona de altavoz 8. El objeto sonoro 505 tiene aproximadamente el mismo tamaño en las Figuras 9A y 9B, lo que indica (en este ejemplo) que la elevación del objeto sonoro 505 no ha cambiado sustancialmente.
La Figura 9C muestra el objeto sonoro 505 y el cursor 510 en un momento posterior, después de lo cual el usuario ha movido el cursor alrededor de la zona de altavoz 9. El amarre virtual 905 se ha estirado aún más. El objeto sonoro 505 se ha movido hacia abajo, como lo indica la disminución del tamaño del objeto sonoro 505. El objeto sonoro 505 se ha movido en un arco suave. Este ejemplo ilustra un beneficio potencial de tales implementaciones, que es que el objeto sonoro 505 se puede mover en una trayectoria más suave que si un usuario simplemente selecciona posiciones para el objeto sonoro 505 punto por punto.
La Figura 10A es un diagrama de flujo que esboza un proceso de uso de un amarre virtual para mover un objeto sonoro. El proceso 1000 comienza con el bloque 1005, en el que se reciben los datos de audio. En el bloque 1007, se recibe una indicación para unir un amarre virtual entre un objeto sonoro y un cursor. La indicación puede ser recibida por un sistema lógico de un aparato de creación y puede corresponder con la entrada recibida desde un dispositivo de entrada del usuario. Con referencia a la Figura 9A, por ejemplo, un usuario puede colocar el cursor 510 sobre el objeto sonoro 505 y luego indicar, a través de un dispositivo de entrada de usuario o una GUI, que el amarre virtual 905 debe formarse entre el cursor 510 y el objeto sonoro 505. Se pueden recibir datos de posición del cursor y del objeto. (Bloque 1010).
En este ejemplo, los datos de velocidad y/o aceleración del cursor pueden ser calculados por el sistema lógico según los datos de posición del cursor, a medida que se mueve el cursor 510. (Bloque 1015). Los datos de posición y/o datos de trayectoria para el objeto sonoro 505 se pueden calcular según la constante de resorte virtual de el amarre virtual 905 y los datos de posición, velocidad y aceleración del cursor. Algunas implementaciones de este tipo pueden implicar la asignación de una masa virtual al objeto sonoro 505. (Bloque 1020). Por ejemplo, si el cursor 510 se mueve a una velocidad relativamente constante, el amarre virtual 905 puede no estirarse y el objeto sonoro 505 puede ser arrastrado a una velocidad relativamente constante. Si el cursor 510 acelera, el amarre virtual 905 puede estirarse y el amarre virtual 905 puede aplicar una fuerza correspondiente al objeto sonoro 505. Puede haber un retraso de tiempo entre la aceleración del cursor 510 y la fuerza aplicada por el amarre virtual 905. En implementaciones alternativas, la posición y/o la trayectoria del objeto sonoro 505 se pueden determinar de una manera diferente, por ejemplo, sin asignar una constante de resorte virtual a el amarre virtual 905, aplicando reglas de fricción y/o inercia al objeto sonoro 505, etc.
Pueden visualizarse posiciones discretas y/o la trayectoria del objeto sonoro 505 y el cursor 510 (bloque 1025). En este ejemplo, el sistema lógico muestrea posiciones de objetos sonoros en un intervalo de tiempo (bloque 1030). En algunas de tales implementaciones, el usuario puede determinar el intervalo de tiempo para el muestreo. Se pueden guardar la ubicación del objeto sonoro y/o los metadatos de la trayectoria, etc. (Bloque 1034).
En el bloque 1036 se determina si continuará este modo de creación. El proceso puede continuar si el usuario así lo desea, por ejemplo, volviendo al bloque 1005 o al bloque 1010. De lo contrario, el proceso 1000 puede terminar (bloque 1040).
La Figura 10B es un diagrama de flujo que esboza un proceso alternativo de uso de un amarre virtual para mover un objeto sonoro. Las Figuras 10C-10E muestran ejemplos del proceso descrito en la Figura 10B. Con referencia primero a la Figura 10B, el proceso 1050 comienza con el bloque 1055, en el que se reciben los datos de audio. En el bloque 1057, se recibe una indicación para unir un amarre virtual entre un objeto sonoro y un cursor. La indicación puede ser recibida por un sistema lógico de un aparato de creación y puede corresponder con la entrada recibida desde un dispositivo de entrada del usuario. Con referencia a la Figura 10C, por ejemplo, un usuario puede colocar el cursor 510 sobre el objeto sonoro 505 y luego indicar, a través de un dispositivo de entrada de usuario o una GUI, que el amarre virtual 905 debe formarse entre el cursor 510 y el objeto sonoro 505.
Los datos de posición del cursor y del objeto sonoro pueden recibirse en el bloque 1060. En el bloque 1062, el sistema lógico puede recibir una indicación (a través de un dispositivo de entrada de usuario o una GUI, por ejemplo), de que el objeto sonoro 505 debe mantenerse en una posición indicada, por ejemplo, una posición indicada por el cursor 510. En el bloque 1065, el dispositivo lógico recibe una indicación de que el cursor 510 se ha movido a una nueva posición, que puede mostrarse junto con la posición del objeto sonoro 505 (bloque 1067). Con referencia a la Figura 10D, por ejemplo, el cursor 510 se ha movido del lado izquierdo al lado derecho del entorno de reproducción virtual 404. Sin embargo, el objeto sonoro 510 aún se mantiene en la misma posición indicada en la Figura 10C. Como resultado, el amarre virtual 905 se ha estirado sustancialmente.
En el bloque 1069, el sistema lógico recibe una indicación (a través de un dispositivo de entrada de usuario o una GUI, por ejemplo) de que el objeto sonoro 505 se va a liberar. El sistema lógico puede calcular los datos de la posición del objeto sonoro y/o la trayectoria resultantes, que pueden visualizarse (bloque 1075). La pantalla resultante puede ser similar a la que se muestra en la Figura 10E, que muestra el objeto sonoro 505 moviéndose suave y rápidamente a través del entorno de reproducción virtual 404. El sistema lógico puede guardar la ubicación del objeto sonoro y/o los metadatos de la trayectoria en un sistema de memoria (bloque 1080).
En el bloque 1085, se determina si continuará el proceso de creación 1050. El proceso puede continuar si el sistema lógico recibe una indicación de que el usuario desea hacerlo. Por ejemplo, el proceso 1050 puede continuar volviendo al bloque 1055 o al bloque 1060. De lo contrario, la herramienta de creación puede enviar los datos y metadatos de audio a una herramienta de renderizado (bloque 1090), después de lo cual el proceso 1050 puede finalizar (bloque 1095).
Para optimizar la verosimilitud del movimiento percibido de un objeto sonoro, puede ser conveniente permitir que el usuario de una herramienta de creación (o una herramienta de renderizado) seleccione un subconjunto de altavoces en un entorno de reproducción y limitar el conjunto de altavoces activos al subconjunto elegido. En algunas implementaciones, las zonas de altavoz y/o los grupos de zonas de altavoz pueden designarse como activos o inactivos durante una operación de creación o renderizado. Por ejemplo, con referencia a la Figura 4A, las zonas de altavoz del área frontal 405, el área izquierda 410, el área derecha 415 y/o el área superior 420 pueden controlarse como un grupo. Las zonas de altavoz de un área posterior que incluye las zonas de altavoz 6 y 7 (y, en otras implementaciones, una o más zonas de altavoz ubicadas entre las zonas de altavoz 6 y 7) también pueden controlarse como un grupo. Se puede proporcionar una interfaz de usuario para habilitar o deshabilitar dinámicamente todos los altavoces que corresponden a una zona de altavoz particular o a un área que incluye una pluralidad de zonas de altavoz.
En algunas implementaciones, el sistema lógico de un dispositivo de creación (o un dispositivo de renderizado) puede configurarse para crear metadatos de restricción de zona de altavoz según la entrada del usuario recibida a través de un sistema de entrada del usuario. Los metadatos de restricción de zona de altavoz pueden incluir datos para deshabilitar zonas de altavoz seleccionadas. Algunas de tales implementaciones se describirán ahora con referencia a las Figuras 11 y 12.
La Figura 11 muestra un ejemplo de aplicación de una restricción de zona de altavoz en un entorno de reproducción virtual. En algunas implementaciones de este tipo, un usuario puede seleccionar zonas de altavoz haciendo clic en sus representaciones en una GUI, como la GUI 400, usando un dispositivo de entrada de usuario como un ratón. Aquí, un usuario ha desactivado las zonas de altavoz 4 y 5, a los lados del entorno de reproducción virtual 404. Las zonas de altavoz 4 y 5 pueden corresponder a la mayoría (o todos) de los altavoces en un entorno de reproducción física, como un entorno de sistema de sonido de cine. En este ejemplo, el usuario también ha restringido las posiciones del objeto sonoro 505 a posiciones a lo largo de la línea 1105. Con la mayoría o todos los altavoces a lo largo de las paredes laterales deshabilitadas, una panorámica desde la pantalla 150 hasta la parte posterior del entorno de reproducción virtual 404 estaría limitada a no usar los altavoces laterales. Esto puede crear un movimiento percibido mejorado de adelante atrás para un área de audiencia amplia, particularmente para los miembros de la audiencia que se sientan cerca de los altavoces de reproducción correspondientes a las zonas de altavoz 4 y 5.
En algunas implementaciones, las restricciones de la zona de altavoz pueden llevarse a cabo a través de todos los modos de rerenderizado. Por ejemplo, las restricciones de la zona de altavoz pueden llevarse a cabo en situaciones en las que hay menos zonas disponibles para renderizar, por ejemplo, cuando se renderiza para una configuración Dolby Surround 7.1 o 5.1 que expone solo 7 o 5 zonas. Las restricciones de la zona de altavoz también se pueden llevar a cabo cuando hay más zonas disponibles para renderizar. Como tal, las restricciones de la zona de altavoz también se pueden ver como una forma de guiar el rerenderizado, proporcionando una solución no ciega al proceso tradicional de "mezcla ascendente/mezcla descendente".
La Figura 12 es un diagrama de flujo que esboza algunos ejemplos de la aplicación de reglas de restricción de zona de altavoz. El proceso 1200 comienza con el bloque 1205, en el que se reciben una o más indicaciones para aplicar reglas de restricción de zona de altavoz. La indicación o indicaciones pueden ser recibidas por un sistema lógico de un aparato de creación o renderizado y puede corresponder con la entrada recibida desde un dispositivo de entrada de usuario. Por ejemplo, las indicaciones pueden corresponder a la selección de un usuario de una o más zonas de altavoz para desactivar. En algunas implementaciones, el bloque 1205 puede implicar recibir una indicación de qué tipo de reglas de restricción de zona de altavoz deben aplicarse, por ejemplo, como se describe a continuación.
En el bloque 1207, una herramienta de creación recibe los datos de audio. Los datos de posición de objeto sonoro pueden recibirse (bloque 1210), por ejemplo, según la entrada de un usuario de la herramienta de creación, y visualizarse (bloque 1215). Los datos de posición son coordenadas (x, y, z) en este ejemplo. Aquí, las zonas de altavoz activas e inactivas para las reglas de restricción de zonas de altavoz seleccionadas también se muestran en el bloque 1215. En el bloque 1220, se guardan los datos de audio y los metadatos asociados. En este ejemplo, los metadatos incluyen la posición del objeto sonoro y los metadatos de restricción de zona de altavoz, que pueden incluir un indicador de identificación de la zona de altavoz.
En algunas implementaciones, los metadatos de restricción de zona de altavoz pueden indicar que una herramienta de renderizado debe aplicar ecuaciones de panoramización para calcular las ganancias de forma binaria, por ejemplo, considerando que todos los altavoces de las zonas de altavoz seleccionadas (deshabilitadas) están "apagados" y todas las demás zonas de altavoz están "activadas". El sistema lógico puede configurarse para crear metadatos de restricción de zonas de altavoz que incluyen datos para deshabilitar las zonas de altavoz seleccionadas.
En implementaciones alternativas, los metadatos de restricción de zona de altavoz pueden indicar que la herramienta de renderizado aplicará ecuaciones de panoramización para calcular las ganancias de una manera combinada que incluye cierto grado de contribución de los altavoces de las zonas de altavoz deshabilitadas. Por ejemplo, el sistema lógico puede configurarse para crear metadatos de restricción de zonas de altavoz que indiquen que la herramienta de renderizado debe atenuar las zonas de altavoz seleccionadas realizando las siguientes operaciones: calcular las primeras ganancias que incluyen las contribuciones de las zonas de altavoz seleccionadas (desactivadas); calcular las segundas ganancias que no incluyen las contribuciones de las zonas de altavoz seleccionadas; y mezclar las primeras ganancias con las segundas ganancias. En algunas implementaciones, se puede aplicar una polarización a las primeras ganancias y/o las segundas ganancias (por ejemplo, desde un valor mínimo seleccionado hasta un valor máximo seleccionado) para permitir un abanico de contribuciones potenciales desde zonas de altavoz seleccionadas.
En este ejemplo, la herramienta de creación envía los datos y metadatos de audio a una herramienta de renderizado en el bloque 1225. El sistema lógico puede entonces determinar si el proceso de creación continuará (bloque 1227). El proceso de creación puede continuar si el sistema lógico recibe una indicación de que el usuario desea hacerlo. De lo contrario, el proceso de creación puede finalizar (bloque 1229). En algunas implementaciones, las operaciones de renderizado pueden continuar, según la entrada del usuario.
Los objetos sonoros, incluidos los datos de audio y los metadatos creados por la herramienta de creación, son recibidos por la herramienta de renderizado en el bloque 1230. Los datos de posición para un objeto sonoro particular se reciben en el bloque 1235 en este ejemplo. El sistema lógico de la herramienta de renderizado puede aplicar ecuaciones de panoramización para calcular las ganancias de los datos de posición de objeto sonoro, según las reglas de restricción de zona de altavoz.
En el bloque 1245, las ganancias calculadas se aplican a los datos de audio. El sistema lógico puede guardar la ganancia, la ubicación del objeto sonoro y los metadatos de limitación de la zona de altavoz en un sistema de memoria. En algunas implementaciones, los datos de audio pueden ser reproducidos por un sistema de altavoces. Las respuestas correspondientes del altavoz pueden mostrarse en una pantalla en algunas implementaciones.
En el bloque 1248, se determina si el proceso 1200 continuará. El proceso puede continuar si el sistema lógico recibe una indicación de que el usuario desea hacerlo. Por ejemplo, el proceso de renderizado puede continuar volviendo al bloque 1230 o al bloque 1235. Si se recibe una indicación de que un usuario desea volver al proceso de creación correspondiente, el proceso puede volver al bloque 1207 o al bloque 1210. De lo contrario, el proceso 1200 puede terminar (bloque 1250).
Las tareas de posicionamiento y renderizado de objetos sonoros en un entorno de reproducción virtual tridimensional se están volviendo cada vez más difíciles. Parte de la dificultad se relaciona con los desafíos de representar el entorno de reproducción virtual en una GUI. Algunas implementaciones de creación y renderizado proporcionadas en esta memoria permiten que un usuario cambie entre una panoramización bidimensional del espacio de la pantalla y una panoramización tridimensional del espacio de la sala. Tal funcionalidad puede ayudar a preservar la precisión del posicionamiento del objeto sonoro mientras proporciona una GUI que es conveniente para el usuario.
Las Figuras 13A y 13B muestran un ejemplo de una GUI que puede cambiar entre una vista bidimensional y una vista tridimensional de un entorno de reproducción virtual. Con referencia primero a la Figura 13A, la GUI 400 representa una imagen 1305 en la pantalla. En este ejemplo, la imagen 1305 es la de un tigre dientes de sable. En esta vista superior del entorno de reproducción virtual 404, un usuario puede observar fácilmente que el objeto sonoro 505 está cerca de la zona de altavoz 1. La elevación puede inferirse, por ejemplo, por el tamaño, el color o algún otro atributo del objeto sonoro 505. Sin embargo, la relación de la posición con la de la imagen 1305 puede ser difícil de determinar en esta vista.
En este ejemplo, puede parecer que la GUI 400 gira dinámicamente alrededor de un eje, como el eje 1310. La Figura 13B muestra la GUI 1300 después del proceso de rotación. En esta vista, un usuario puede ver más claramente la imagen 1305 y puede usar la información de la imagen 1305 para posicionar el objeto sonoro 505 con mayor precisión. En este ejemplo, el objeto sonoro corresponde a un sonido hacia el que mira el tigre dientes de sable. Ser capaz de cambiar entre la vista superior y una vista de pantalla del entorno de reproducción virtual 404 permite al usuario seleccionar de forma rápida y precisa la elevación adecuada para el objeto sonoro 505, usando información del material en pantalla.
En esta memoria, se proporcionan diversas otras GUI convenientes para la creación y/o el renderizado. Las Figuras 13C-13E muestran combinaciones de representaciones bidimensionales y tridimensionales de entornos de reproducción. Con referencia primero a la Figura 13C, se representa una vista superior del entorno de reproducción virtual 404 en un área izquierda de la GUI 1310. La GUI 1310 también incluye una representación tridimensional 1345 de un entorno de reproducción virtual (o real). El área 1350 de la representación tridimensional 1345 se corresponde con la pantalla 150 de la GUI 400. La posición del objeto sonoro 505, particularmente su elevación, puede verse claramente en la representación tridimensional 1345. En este ejemplo, la anchura de objeto sonoro 505 también se muestra en la representación tridimensional 1345.
La disposición 1320 de los altavoces representa las ubicaciones de los altavoces 1324 a 1340, cada una de las cuales puede indicar una ganancia correspondiente a la posición del objeto sonoro 505 en el entorno de reproducción virtual 404. En algunas implementaciones, la disposición 1320 de los altavoces puede, por ejemplo, representar ubicaciones de altavoces de reproducción de un entorno de reproducción real, como una configuración Dolby Surround 5.1, una configuración Dolby Surround 7.1, una configuración Dolby 7.1 aumentada con altavoces superiores, etc. Cuando un sistema lógico recibe una indicación de una posición del objeto sonoro 505 en el entorno de reproducción virtual 404, el sistema lógico puede configurarse para correlacionar esta posición a ganancias para las ubicaciones 1324 a 1340 de los altavoces de la disposición 1320 de los altavoces, por ejemplo, mediante el proceso de panoramización de amplitud descrito anteriormente. Por ejemplo, en la Figura 13<c>, las ubicaciones 1325, 1335 y 1337 de los altavoces tienen cada una un cambio de color que indica las ganancias correspondientes a la posición del objeto sonoro 505.
Con referencia ahora a la Figura 13D, el objeto sonoro se ha movido a una posición detrás de la pantalla 150. Por ejemplo, un usuario puede haber movido el objeto sonoro 505 colocando un cursor sobre el objeto sonoro 505 en la GUI 400 y arrastrándolo a una nueva posición. Esta nueva posición también se muestra en la representación tridimensional 1345, que se ha girado a una nueva orientación. Las respuestas de la disposición de altavoces 1320 pueden parecer sustancialmente iguales en las Figuras 13C y 13D. Sin embargo, en una GUI real, las ubicaciones 1325, 1335 y 1337 de los altavoces pueden tener una apariencia diferente (como un brillo o color diferente) para indicar las diferencias de ganancia correspondientes causadas por la nueva posición del objeto sonoro 505.
Con referencia ahora a la Figura 13E, el objeto sonoro 505 se ha movido rápidamente a una posición en la parte trasera derecha del entorno de reproducción virtual 404. En el momento representado en la Figura 13E, la ubicación 1326 del altavoz está respondiendo a la posición actual del objeto sonoro 505 y las ubicaciones 1325 y 1337 de los altavoces siguen respondiendo a la posición anterior del objeto sonoro 505.
La Figura 14A es un diagrama de flujo que esboza un proceso de control de un aparato para presentar las GUI como las que se muestran en las Figuras 13C-13E. El proceso 1400 comienza con el bloque 1405, en el que se reciben una o más indicaciones para visualizar ubicaciones de objetos sonoros, ubicaciones de zonas de altavoz y ubicaciones de altavoces de reproducción para un entorno de reproducción. Las ubicaciones de las zonas de altavoz pueden corresponder a un entorno de reproducción virtual y/o un entorno de reproducción real, por ejemplo, como se muestra en las Figuras 13C-13E. La indicación o indicaciones pueden ser recibidas por un sistema lógico de un aparato de reproducción y/o creación y puede corresponder con la entrada recibida desde un dispositivo de entrada del usuario. Por ejemplo, las indicaciones pueden corresponder a la selección de un usuario de una configuración de entorno de reproducción.
En el bloque 1407, se reciben datos de audio. Los datos de posición y anchura de objeto sonoro se reciben en el bloque 1410, por ejemplo, según la entrada del usuario. En el bloque 1415, se muestran el objeto sonoro, las ubicaciones de las zonas de altavoz y las ubicaciones de los altavoces de reproducción. La posición del objeto sonoro puede mostrarse en vistas bidimensionales y/o tridimensionales, por ejemplo, como se muestra en las Figuras 13C-13E. Los datos de anchura pueden usarse no solo para el renderizado de objetos sonoros, sino que también pueden afectar cómo se muestra el objeto sonoro (véase la representación del objeto sonoro 505 en la representación tridimensional 1345 de las Figuras 13C-13E).
Los datos de audio y los metadatos asociados pueden grabarse. (Bloque 1420).
En el bloque 1425, la herramienta de creación envía los datos y metadatos de audio a una herramienta de renderizado. El sistema lógico puede entonces determinar (bloque 1427) si continuará el proceso de creación. El proceso de creación puede continuar (por ejemplo, volviendo al bloque 1405) si el sistema lógico recibe una indicación de que el usuario desea hacerlo. De lo contrario, el proceso de creación puede finalizar. (Bloque 1429).
Los objetos sonoros, incluidos los datos de audio y los metadatos creados por la herramienta de creación, son recibidos por la herramienta de renderizado en el bloque 1430. Los datos de posición para un objeto sonoro particular se reciben en el bloque 1435 en este ejemplo. El sistema lógico de la herramienta de renderizado puede aplicar ecuaciones de panoramización para calcular las ganancias de los datos de posición de objeto sonoro, según los metadatos de anchura.
En algunas implementaciones de renderizado, el sistema lógico puede correlacionar las zonas de altavoz a los altavoces de reproducción del entorno de reproducción. Por ejemplo, el sistema lógico puede acceder a una estructura de datos que incluye zonas de altavoz y ubicaciones de altavoces de reproducción correspondientes. A continuación se describen más detalles y ejemplos con referencia a la Figura 14B.
En algunas implementaciones, pueden aplicarse ecuaciones de panoramización, por ejemplo, mediante un sistema lógico, según la posición del objeto sonoro, la anchura y/u otra información, como las ubicaciones de los altavoces del entorno de reproducción (bloque 1440). En el bloque 1445, los datos de audio se procesan según las ganancias que se obtienen en el bloque 1440. Al menos algunos de los datos de audio resultantes pueden almacenarse, si así se desea, junto con los datos de posición de objeto sonoro correspondiente y otros metadatos recibidos de la herramienta de creación. Los datos de audio pueden ser reproducidos por altavoces.
El sistema lógico puede entonces determinar (bloque 1448) si el proceso 1400 continuará. El proceso 1400 puede continuar si, por ejemplo, el sistema lógico recibe una indicación de que el usuario desea hacerlo. De lo contrario, el proceso 1400 puede finalizar (bloque 1449).
La Figura 14B es un diagrama de flujo que esboza un proceso de renderizado de objetos sonoros para un entorno de reproducción. El proceso 1450 comienza con el bloque 1455, en el que se reciben una o más indicaciones para generar objetos sonoros para un entorno de reproducción. La indicación o indicaciones pueden ser recibidas por un sistema lógico de un aparato de renderizado y puede corresponder con la entrada recibida desde un dispositivo de entrada del usuario. Por ejemplo, las indicaciones pueden corresponder a la selección de un usuario de una configuración de entorno de reproducción.
En el bloque 1457, se reciben datos de reproducción de audio (incluyendo uno o más objetos sonoros y metadatos asociados). Los datos de entorno de reproducción pueden recibirse en el bloque 1460. Los datos de entorno de reproducción pueden incluir una indicación de un número de altavoces de reproducción en el entorno de reproducción y una indicación de la ubicación de cada altavoz de reproducción dentro del entorno de reproducción. El entorno de reproducción puede ser un entorno de sistema de sonido de cine, un entorno de cine en casa, etc. En algunas implementaciones, los datos de entorno de reproducción pueden incluir datos de disposición de zona de altavoz de reproducción que indican zonas de altavoz de reproducción y ubicaciones de altavoces de reproducción que se corresponden con las zonas de altavoz.
El entorno de reproducción puede visualizarse en el bloque 1465. En algunas implementaciones, el entorno de reproducción puede mostrarse de manera similar a la disposición 1320 de los altavoces que se muestra en las Figuras 13C-13E.
En el bloque 1470, los objetos sonoros pueden renderizarse en una o más señales de alimentación de altavoz para el entorno de reproducción. En algunas implementaciones, los metadatos asociados con los objetos sonoros pueden haber sido creados de una manera como la descrita anteriormente, de modo que los metadatos pueden incluir datos de ganancia correspondientes a las zonas de altavoz (por ejemplo, correspondientes a las zonas 1 -9 de altavoz de la GUI 400). El sistema lógico puede correlacionar las zonas de altavoz a los altavoces de reproducción del entorno de reproducción. Por ejemplo, el sistema lógico puede acceder a una estructura de datos, almacenada en una memoria, que incluye zonas de altavoz y ubicaciones de altavoces de reproducción correspondientes. El dispositivo de renderizado puede tener una variedad de tales estructuras de datos, cada una de las cuales corresponde a una configuración de altavoz diferente. En algunas implementaciones, un aparato de renderizado puede tener tales estructuras de datos para una variedad de configuraciones de entorno de reproducción estándar, como una configuración Dolby Surround 5.1, una configuración Dolby Surround 7.1 y/o una configuración de sonido envolvente Hamasaki 22.2.
En algunas implementaciones, los metadatos de los objetos sonoros pueden incluir otra información del proceso de creación. Por ejemplo, los metadatos pueden incluir datos de restricción de altavoz. Los metadatos pueden incluir información para correlacionar una posición de objeto sonoro a una ubicación de altavoz de reproducción única o una zona de altavoz de reproducción única. Los metadatos pueden incluir datos que restringen la posición de un objeto sonoro a una curva unidimensional o una superficie bidimensional. Los metadatos pueden incluir datos de trayectoria para un objeto sonoro. Los metadatos pueden incluir un identificador para el tipo de contenido (por ejemplo, diálogo, música o efectos).
En consecuencia, el proceso de renderizado puede implicar el uso de los metadatos, por ejemplo, para imponer restricciones de zona de altavoz. En algunas de tales implementaciones, el aparato de reproducción puede proporcionar al usuario la opción de modificar las restricciones indicadas por los metadatos, por ejemplo, modificar las restricciones del altavoz y volver a procesar en consecuencia. El renderizado puede implicar la creación de una ganancia agregada basada en una o más de una posición de objeto sonoro deseada, una distancia desde la posición de objeto sonoro deseada a una posición de referencia, una velocidad de un objeto sonoro o un tipo de contenido de objeto sonoro. Es posible que se visualicen las respuestas correspondientes de los altavoces de reproducción. (Bloque 1475). En algunas implementaciones, el sistema lógico puede controlar los altavoces para reproducir el sonido correspondiente a los resultados del proceso de renderizado.
En el bloque 1480, el sistema lógico puede determinar si el proceso 1450 continuará. El proceso 1450 puede continuar si, por ejemplo, el sistema lógico recibe una indicación de que el usuario desea hacerlo. Por ejemplo, el proceso 1450 puede continuar volviendo al bloque 1457 o al bloque 1460. De lo contrario, el proceso 1450 puede terminar (bloque 1485).
El control de anchura de fuente aparente y la dispersión son características de algunos sistemas de creación/renderización de sonido envolvente existentes. En esta divulgación, el término "difusión" se refiere a distribuir la misma señal sobre múltiples altavoces para difuminar la imagen acústica. El término "anchura" se refiere a la decorrelación de las señales de salida a cada canal para el control de anchura aparente. La anchura puede ser un valor escalar adicional que controla la cantidad de decorrelación aplicada a cada señal de alimentación de altavoz.
Algunas implementaciones descritas en esta memoria proporcionan un control de dispersión orientado al eje 3D. Una implementación de este tipo se describirá ahora con referencia a las Figuras 15A y 15B. La Figura 15A muestra un ejemplo de un objeto sonoro y la anchura de objeto sonoro asociado en un entorno de reproducción virtual. Aquí, la GUI 400 indica un elipsoide 1505 que se extiende alrededor del objeto sonoro 505, indicando la anchura de objeto sonoro. La anchura de objeto sonoro puede indicarse mediante metadatos del objeto sonoro y/o recibirse según la entrada del usuario. En este ejemplo, las dimensiones x e y del elipsoide 1505 son diferentes, pero en otras implementaciones estas dimensiones pueden ser las mismas. Las dimensiones z del elipsoide 1505 no se muestran en la Figura 15A.
La Figura 15B muestra un ejemplo de un perfil de dispersión correspondiente a la anchura de objeto sonoro que se muestra en la Figura 15A. La dispersión se puede representar como un parámetro vectorial tridimensional. En este ejemplo, el perfil de dispersión 1507 se puede controlar de forma independiente a lo largo de 3 dimensiones, por ejemplo, según la entrada del usuario. Las ganancias a lo largo de los ejes x e y se representan en la Figura 15B por la altura respectiva de las curvas 1510 y 1520. La ganancia para cada muestra 1512 también se indica mediante el tamaño de los círculos correspondientes 1515 dentro del perfil de dispersión 1507. Las respuestas de los altavoces 1510 se indican mediante sombreado gris en la Figura 15B.
En algunas implementaciones, el perfil de dispersión 1507 puede implementarse mediante una integral separable para cada eje. Según algunas implementaciones, se puede establecer automáticamente un valor de dispersión mínimo en función de la colocación de altavoces para evitar discrepancias tímbricas durante la panoramización. Alternativa o adicionalmente, se puede establecer automáticamente un valor mínimo de dispersión en función de la velocidad del objeto sonoro panoramizado, de modo que a medida que aumenta la velocidad del objeto sonoro, un objeto se vuelve más disperso espacialmente, de manera similar a la rapidez con la que se mueven las imágenes en una película parecen desdibujarse.
Cuando se usan implementaciones de reproducción de audio basadas en objetos sonoros como las descritas en esta memoria, es posible que se entreguen sin mezclar al entorno de reproducción una cantidad potencialmente grande de pistas de audio y los metadatos que las acompañan (incluidos, entre otros, los metadatos que indican las posiciones de los objetos sonoros en el espacio tridimensional). Una herramienta de renderizado en tiempo real puede usar dichos metadatos e información sobre el entorno de reproducción para calcular las señales de alimentación de altavoz para optimizar la reproducción de cada objeto sonoro.
Cuando se mezcla una gran cantidad de objetos sonoros en las salidas de los altavoces, puede producirse una sobrecarga en el dominio digital (por ejemplo, la señal digital puede recortarse antes de la conversión analógica) o en el dominio analógico, cuando la señal analógica amplificada es reproducida por los altavoces de reproducción.
Ambos casos pueden dar como resultado una distorsión audible, lo cual no es deseable. La sobrecarga en el dominio analógico también podría dañar los altavoces de reproducción.
En consecuencia, algunas implementaciones descritas en esta memoria implican el "manejo en blobs" de objetos dinámicos en respuesta a la sobrecarga del altavoz de reproducción. Cuando los objetos sonoros se renderizan con un perfil de dispersión dado, en algunas implementaciones la energía puede dirigirse a un mayor número de altavoces de reproducción vecinos mientras se mantiene la energía global constante. Por ejemplo, si la energía para el objeto sonoro se distribuyera uniformemente entre N altavoces de reproducción, podría contribuir a cada salida de altavoz de reproducción con una ganancia de 1/sqrt(N). Este enfoque proporciona un "margen superior" de mezcla adicional y puede aliviar o prevenir la distorsión del altavoz de reproducción, como el recorte.
Para usar un ejemplo numérico, supóngase que un altavoz se recortará si recibe una entrada mayor que 1,0. Supóngase que se indica que se mezclan dos objetos en el altavoz A, uno en el nivel 1,0 y el otro en el nivel 0,25. Si no se usara el manejo en blobs, el nivel de mezcla en el altavoz A totalizaría 1,25 y se produciría un recorte. Sin embargo, si el primer objeto se maneja en blobs con otro altavoz B, entonces (según algunas implementaciones) cada altavoz recibiría el objeto a 0,707, lo que daría como resultado un "margen superior" adicional en el altavoz A para mezclar objetos adicionales. El segundo objeto se puede mezclar de forma segura en el altavoz A sin recorte, ya que el nivel de mezcla para el altavoz A será 0,707 0,25 = 0,957.
En algunas implementaciones, durante la fase de creación, cada objeto sonoro puede mezclarse con un subconjunto de las zonas de altavoz (o todas las zonas de altavoz) con una ganancia de mezcla determinada. Por lo tanto, se puede construir una lista dinámica de todos los objetos que contribuyen a cada altavoz. En algunas implementaciones, esta lista se puede ordenar por niveles de energía decrecientes, por ejemplo, usando el producto del nivel original de raíz cuadrática media (RMS) de la señal multiplicado por la ganancia de mezcla. En otras implementaciones, la lista puede clasificarse según otros criterios, como la importancia relativa asignada al objeto sonoro.
Durante el proceso de renderizado, si se detecta una sobrecarga para una salida de altavoz de reproducción determinada, la energía de los objetos sonoros puede dispersarse entre varios altavoces de reproducción. Por ejemplo, la energía de los objetos sonoros puede dispersarse usando una anchura o un factor de dispersión que sea proporcional a la cantidad de sobrecarga y a la contribución relativa de cada objeto sonoro al altavoz de reproducción dado. Si el mismo objeto sonoro contribuye a que varios altavoces de reproducción se sobrecarguen, su anchura o factor de dispersión puede, en algunas implementaciones, aumentarse de forma aditiva y aplicarse a la siguiente trama renderizada de datos de audio.
En general, un limitador duro recortará cualquier valor que exceda un umbral al valor del umbral. Como en el ejemplo anterior, si un altavoz recibe un objeto mixto en el nivel 1,25 y solo puede permitir un nivel máximo de 1,0, el objeto estará "limitado" a 1,0. Un limitador suave comenzará a aplicar la limitación antes de alcanzar el umbral absoluto para proporcionar un resultado más suave y agradable al oído. Los limitadores suaves también pueden usar una función de "mirar hacia delante" para predecir cuándo puede ocurrir un recorte futuro para reducir suavemente la ganancia antes de que ocurra el recorte y así evitar el recorte.
Diversas implementaciones de "manejo en blobs" proporcionadas en esta memoria pueden usarse junto con un limitador duro o suave para limitar la distorsión audible mientras se evita la degradación de la precisión/nitidez espacial. A diferencia de una difusión global o el uso exclusivo de limitadores, las implementaciones de manejo en blobs pueden apuntar selectivamente a objetos ruidosos u objetos de un tipo de contenido determinado. Tales implementaciones pueden ser controladas por el mezclador. Por ejemplo, si los metadatos de restricción de zona de altavoz para un objeto sonoro indican que no se debe usar un subconjunto de altavoces de reproducción, el aparato de reproducción puede aplicar las reglas de restricción de zona de altavoz correspondientes además de implementar un método de manejo en blobs.
La Figura 16 es un diagrama de flujo que esboza un proceso de manejar en blobs de objetos sonoros. El proceso 1600 comienza con el bloque 1605, en donde se reciben una o más indicaciones para activar la funcionalidad de manejo en blobs de objetos sonoros. La indicación o indicaciones pueden ser recibidas por un sistema lógico de un aparato de renderizado y puede corresponder con la entrada recibida desde un dispositivo de entrada del usuario. En algunas implementaciones, las indicaciones pueden incluir la selección de un usuario de una configuración de entorno de reproducción. En implementaciones alternativas, el usuario puede haber seleccionado previamente una configuración de entorno de reproducción.
En el bloque 1607, se reciben datos de reproducción de audio (incluyendo uno o más objetos sonoros y metadatos asociados). En algunas implementaciones, los metadatos pueden incluir metadatos de restricción de zona de altavoz, por ejemplo, como se describe anteriormente. En este ejemplo, la posición del objeto sonoro, el tiempo y los datos de dispersión se analizan a partir de los datos de reproducción de audio (o se reciben de otro modo, por ejemplo, a través de la entrada desde una interfaz de usuario) en el bloque 1610.
Las respuestas de los altavoces de reproducción se determinan para la configuración del entorno de reproducción aplicando ecuaciones de panoramización para los datos del objeto sonoro, por ejemplo, como se describe anteriormente (bloque 1612). En el bloque 1615, se visualizan la posición del objeto sonoro y las respuestas del altavoz de reproducción (bloque 1615). Las respuestas de los altavoces de reproducción también pueden reproducirse a través de altavoces que se configuran para comunicarse con el sistema lógico.
En el bloque 1620, el sistema lógico determina si se detecta una sobrecarga para cualquier altavoz de reproducción del entorno de reproducción. Si es así, pueden aplicarse reglas de manejo como blobs de objetos sonoros como las descritas anteriormente hasta que no se detecte sobrecarga (bloque 1625). La salida de datos de audio en el bloque 1630 se puede guardar, si así se desea, y se puede enviar a los altavoces de reproducción.
En el bloque 1635, el sistema lógico puede determinar si el proceso 1600 continuará. El proceso 1600 puede continuar si, por ejemplo, el sistema lógico recibe una indicación de que el usuario desea hacerlo. Por ejemplo, el proceso 1600 puede continuar volviendo al bloque 1607 o al bloque 1610. De lo contrario, el proceso 1600 puede terminar (bloque 1640).
Algunas implementaciones proporcionan ecuaciones de ganancia de panoramización extendidas que se pueden usar para generar una imagen de la posición de un objeto sonoro en un espacio tridimensional. A continuación se describirán algunos ejemplos con referencia a las Figuras 17A y 17B. Las Figuras 17A y 17B muestran ejemplos de un objeto sonoro posicionado en un entorno de reproducción virtual tridimensional. Con referencia primero a la Figura 17A, la posición del objeto sonoro 505 puede verse dentro del entorno de reproducción virtual 404. En este ejemplo, las zonas 1-7 de altavoz se ubican en un plano y las zonas de altavoz 8 y 9 se ubican en otro plano, como se muestra en la Figura 17B. Sin embargo, los números de zonas de altavoz, planos, etc., se dan meramente a modo de ejemplo; los conceptos descritos en esta memoria pueden extenderse a diferentes números de zonas de altavoz (o altavoces individuales) y más de dos planos de elevación.
En este ejemplo, un parámetro de elevación "z", que puede variar de cero a 1, correlaciona la posición de un objeto sonoro a los planos de elevación. En este ejemplo, el valor z = 0 corresponde al plano base que incluye las zonas de altavoz 1-7, mientras que el valor z = 1 corresponde al plano superior que incluye las zonas de altavoz 8 y 9.
Los valores de e entre cero y 1 corresponden a una mezcla entre una imagen acústica generada usando solo los altavoces en el plano base y una imagen acústica generada usando solo los altavoces en el plano superior.
En el ejemplo que se muestra en la Figura 17B, el parámetro de elevación para el objeto sonoro 505 tiene un valor de 0,6. En consecuencia, en una implementación, se puede generar una primera imagen acústica usando ecuaciones de panoramización para el plano base, según las coordenadas (x, y) del objeto sonoro 505 en el plano base. Se puede generar una segunda imagen acústica usando ecuaciones de panoramización para el plano superior, según las coordenadas (x, y) del objeto sonoro 505 en el plano superior. Se puede producir una imagen acústica resultante combinando la primera imagen acústica con la segunda imagen acústica, según la proximidad del objeto sonoro 505 a cada plano. Se puede aplicar una función de conservación de energía o amplitud de la elevación z. Por ejemplo, suponiendo que z puede variar de cero a uno, los valores de ganancia de la primera imagen acústica pueden multiplicarse por Cos(z*n/2) y los valores de ganancia de la segunda imagen acústica pueden multiplicarse por sin(z*n/2), de modo que la suma de sus cuadrados sea 1 (preservación de energía).
Otras implementaciones descritas en esta memoria pueden implicar el cálculo de ganancias basándose en dos o más técnicas de panoramización y la creación de una ganancia agregada basada en uno o más parámetros. Los parámetros pueden incluir uno o más de los siguientes: posición deseada del objeto sonoro; distancia desde la posición deseada del objeto sonoro hasta una posición de referencia; la velocidad o velocidad del objeto sonoro; o tipo de contenido de objeto sonoro.
Algunas implementaciones de este tipo se describirán ahora con referencia a las Figuras 18 y siguientes. La Figura 18 muestra ejemplos de zonas que se corresponden con diferentes modos de panoramización. Los tamaños, formas y extensión de estas zonas se dan simplemente a modo de ejemplo. En este ejemplo, los métodos de panoramización de campo cercano se aplican a los objetos sonoros ubicados dentro de la zona 1805 y los métodos de panoramización de campo lejano se aplican a los objetos sonoros ubicados en la zona 1815, fuera de la zona 1810.
Las Figuras 19A-19D muestran ejemplos de aplicación de técnicas de panoramización de campo cercano y campo lejano a objetos sonoros en diferentes ubicaciones. Con referencia primero a la Figura 19A, el objeto sonoro está sustancialmente fuera del entorno 1900 de reproducción virtual. Esta ubicación corresponde a la zona 1815 de la Figura 18. Por lo tanto, en este caso se aplicarán uno o más métodos de panoramización de campo lejano. En algunas implementaciones, los métodos de panoramización de campo lejano pueden basarse en ecuaciones de panoramización de amplitud basada en vectores (VBAP) que son conocidas por los expertos en la técnica. Por ejemplo, los métodos de panoramización de campo lejano pueden basarse en las ecuaciones VBAP descritas en la Sección 2.3, página 4 del documento de V. Pulkki,Compensating Displacement of Amplitude-Panned Virtual Sources (AES International Conference on Virtual, Synthetic and Entertainment Audio),que se incorpora en la presente por la referencia. En implementaciones alternativas, se pueden usar otros métodos para panoramizar objetos sonoros de campo lejano y de campo cercano, por ejemplo, métodos que involucran la síntesis de planos acústicos u ondas esféricas correspondientes. Documento de D. de Vries,Wave Field Synthesis(AES Monográfico 1999).
Con referencia ahora a la Figura 19B, el objeto sonoro está dentro del entorno 1900 de reproducción virtual. Esta ubicación corresponde a la zona 1805 de la Figura 18. Por lo tanto, en este caso se aplicarán uno o más métodos de panoramización de campo cercano. Algunos de estos métodos de panoramización de campo cercano usarán una serie de zonas de altavoz que encierran el objeto sonoro 505 en el entorno 1900 de reproducción virtual.
En algunas implementaciones, el método de panoramización de campo cercano puede implicar una panoramización de "equilibrio dual" y la combinación de dos conjuntos de ganancias. En el ejemplo representado en la Figura 19B, el primer conjunto de ganancias corresponde a un equilibrio delante/atrás entre dos conjuntos de zonas de altavoz que encierran posiciones del objeto sonoro 505 a lo largo del eje y. Las respuestas correspondientes implican todas las zonas de altavoz del entorno de reproducción virtual 1900, excepto las zonas de altavoz 1915 y 1960.
En el ejemplo representado en la Figura 19C, el segundo conjunto de ganancias corresponde a un equilibrio izquierda/derecha entre dos conjuntos de zonas de altavoz que encierran posiciones del objeto sonoro 505 a lo largo del eje x. Las respuestas correspondientes involucran las zonas de altavoz 1905 a 1925. La Figura 19D indica el resultado de combinar las respuestas indicadas en las Figuras 19B y 19C.
Puede ser deseable combinar diferentes modos de panoramización cuando un objeto sonoro entra o sale del entorno de reproducción virtual 1900. En consecuencia, se aplica una combinación de ganancias calculadas según métodos de panoramización de campo cercano y métodos de panoramización de campo lejano para objetos sonoros ubicados en la zona 1810 (consúltese la Figura 18). En algunas implementaciones, se puede usar una ley de panoramización por pares (por ejemplo, una ley del seno o potencia que conserva la energía) para combinar las ganancias calculadas según los métodos de panoramización de campo cercano y los métodos de panoramización de campo lejano. En implementaciones alternativas, la ley de panoramización por pares puede conservar la amplitud en lugar de conservar la energía, de modo que la suma sea igual a uno en lugar de que la suma de los cuadrados sea igual a uno. También es posible combinar las señales procesadas resultantes, por ejemplo, para procesar la señal de audio usando ambos métodos de panoramización de forma independiente y para atenuar las dos señales de audio resultantes.
Puede ser deseable proporcionar un mecanismo que permita al creador de contenido y/o al reproductor de contenido ajustar fácilmente los diferentes rerenderizados para una trayectoria creada determinada. En el contexto de la mezcla para películas, el concepto de equilibrio de energía de pantalla a sala se considera importante. En algunos casos, una reproducción automática de una trayectoria de sonido determinada (o "panorámica") dará como resultado un equilibrio diferente de pantalla a sala, según la cantidad de altavoces de reproducción en el entorno de reproducción. Según algunas implementaciones, la polarización de pantalla a sala puede controlarse según los metadatos creados durante un proceso de creación. Según implementaciones alternativas, la polarización de pantalla a sala puede controlarse únicamente en el lado del renderizado (es decir, bajo el control del reproductor de contenido), y no en respuesta a los metadatos.
En consecuencia, algunas implementaciones descritas en esta memoria proporcionan una o más formas de control de polarización de pantalla a sala. En algunas implementaciones de este tipo, la polarización de pantalla a sala puede implementarse como una operación de escalado. Por ejemplo, la operación de escalado puede implicar la trayectoria prevista original de un objeto sonoro a lo largo de la dirección de adelante atrás y/o un escalado de las posiciones de los altavoces usadas en el renderizador para determinar las ganancias de panoramización. En algunas de tales implementaciones, el control de polarización de pantalla a sala puede ser un valor variable entre cero y un valor máximo (por ejemplo, uno). La variación puede, por ejemplo, ser controlable con una GUI, un control deslizante virtual o físico, un botón, etc.
Alternativa adicionalmente, el control de polarización de pantalla a sala puede implementarse usando alguna forma de restricción del área del altavoz. La Figura 20 indica las zonas de altavoz de un entorno de reproducción que pueden usarse en un proceso de control de polarización de pantalla a sala. En este ejemplo, se puede establecer el área de altavoz delantero 2005 y el área de altavoz trasero 2010 (o 2015). La polarización de pantalla a sala se puede ajustar en función de las áreas de altavoz seleccionadas. En algunas implementaciones de este tipo, se puede implementar una polarización de pantalla a sala como una operación de escala entre el área 2005 de altavoz delantero y el área 2010 (o 2015) de altavoz trasero. En implementaciones alternativas, la polarización de pantalla a sala puede implementarse de forma binaria, por ejemplo, permitiendo que un usuario seleccione una polarización del lado frontal, una polarización del lado posterior o ninguna polarización. Los ajustes de polarización para cada caso pueden corresponder con niveles de polarización predeterminados (y generalmente distintos de cero) para el área 2005 de altavoz delantero y el área 2010 (o 2015) de altavoz trasero. En esencia, tales implementaciones pueden proporcionar tres ajustes preestablecidos para el control de polarización de pantalla a sala en lugar de (o además de) una operación de escalado de valor continuo.
Según algunas implementaciones de este tipo, se pueden crear dos zonas de altavoz lógicas adicionales en una GUI de creación (por ejemplo, 400) dividiendo las paredes laterales en una pared lateral delantera y una pared lateral trasera. En algunas implementaciones, las dos zonas de altavoz lógicas adicionales corresponden a las áreas de pared izquierda/sonido envolvente izquierdo y pared derecha/sonido envolvente derecho del renderizador. Dependiendo de la selección de un usuario de cuál de estas dos zonas lógicas de altavoz están activas, la herramienta de renderizado podría aplicar factores de escala preestablecidos (por ejemplo, como se describe arriba) al renderizar en configuraciones Dolby 5.1 o Dolby 7.1. La herramienta de renderizado también puede aplicar dichos factores de escala preestablecidos al renderizar para entornos de reproducción que no admitan la definición de estas dos zonas lógicas adicionales, por ejemplo, porque sus configuraciones de altavoz físico no tienen más de un altavoz físico en la pared lateral.
La Figura 21 es un diagrama de bloques que proporciona ejemplos de componentes de un aparato de creación y/o renderizado. En este ejemplo, el dispositivo 2100 incluye un sistema de interfaz 2105. El sistema de interfaz 2105 puede incluir una interfaz de red, como una interfaz de red inalámbrica. Como alternativa, o adicionalmente, el sistema de interfaz 2105 puede incluir una interfaz de bus universal en serie (USB) u otra interfaz similar.
El dispositivo 2100 incluye un sistema lógico 2110. El sistema lógico 2110 puede incluir un procesador, tal como un procesador de chip único o multichip de uso general. El sistema lógico 2110 puede incluir un procesador de señal digital (DSP), un circuito integrado de aplicación específica (ASIC), un conjunto de puertas programables en campo (FPGA) u otro dispositivo lógico programable, lógica de puerta discreta o transistor, o componentes de hardware discretos, o combinaciones de los mismos. El sistema lógico 2110 puede configurarse para controlar los otros componentes del dispositivo 2100. Aunque en la Figura 21 no se muestran interfaces entre los componentes del dispositivo 2100, el sistema lógico 2110 puede configurarse con interfaces para la comunicación con los otros componentes. Los otros componentes pueden o no configurarse para comunicarse entre sí, según corresponda.
El sistema lógico 2110 puede configurarse para realizar funciones de creación y/o renderizado de audio, incluidos, entre otros, los tipos de funciones de creación y/o renderizado de audio descritos en esta memoria. En algunas de tales implementaciones, el sistema lógico 2110 puede configurarse para operar (al menos en parte) según el software almacenado en uno o más medios no transitorios. Los medios no transitorios pueden incluir memoria asociada con el sistema lógico 2110, como memoria de acceso aleatorio (RAM) y/o memoria de solo lectura (ROM). Los medios no transitorios pueden incluir la memoria del sistema de memoria 2115. El sistema de memoria 2115 puede incluir uno o más tipos adecuados de medios de almacenamiento no transitorios, como memoria flash, disco duro, etc.
El sistema de visualización 2130 puede incluir uno o más tipos de visualización adecuados, dependiendo de la manifestación del dispositivo 2100. Por ejemplo, el sistema de visualización 2130 puede incluir una pantalla de cristal líquido, una pantalla de plasma, una pantalla biestable, etc.
El sistema de entrada de usuario 2135 puede incluir uno o más dispositivos configurados para aceptar entradas de un usuario. En algunas implementaciones, el sistema de entrada de usuario 2135 puede incluir una pantalla táctil que superpone una pantalla del sistema de visualización 2130. El sistema de entrada de usuario 2135 puede incluir un ratón, una bola de seguimiento, un sistema de detección de gestos, un joystick, una o más GUI y/o menús presentados en el sistema de visualización 2130, botones, un teclado, interruptores, etc. En algunas implementaciones, el sistema de entrada de usuario 2135 puede incluir el micrófono 2125: un usuario puede proporcionar órdenes de voz para el dispositivo 2100 a través del micrófono 2125. El sistema lógico puede configurarse para reconocimiento de voz y para controlar al menos algunas operaciones del dispositivo 2100 según dichas órdenes de voz.
El sistema de potencia 2140 puede incluir uno o más dispositivos de almacenamiento de energía adecuados, como una batería de níquel-cadmio o una batería de iones de litio. El sistema de potencia 2140 puede configurarse para recibir potencia de una toma de corriente.
La Figura 22A es un diagrama de bloques que representa algunos componentes que pueden usarse para la creación de contenido de audio. El sistema 2200 puede, por ejemplo, usarse para la creación de contenido de audio en estudios de mezcla y/o escenarios de doblaje. En este ejemplo, el sistema 2200 incluye una herramienta de creación de audio y metadatos 2205 y una herramienta de renderizado 2210. En esta implementación, la herramienta de creación de audio y metadatos 2205 y la herramienta de renderizado 2210 incluyen interfaces de conexión de audio 2207 y 2212, respectivamente, que pueden configurarse para comunicación a través de AES/EBU, MADI, analógico, etc. La herramienta de creación de audio y metadatos 2205 y la herramienta de renderizado 2210 incluyen interfaces de red 2209 y 2217, respectivamente, que pueden configurarse para enviar y recibir metadatos a través de TCP/IP o cualquier otro protocolo adecuado. La interfaz 2220 se configura para enviar datos de audio a los altavoces.
El sistema 2200 puede, por ejemplo, incluir un sistema de creación existente, tal como un sistema Pro Tools™, ejecutando una herramienta de creación de metadatos (es decir, un panoramizador como se describe en esta memoria) como complemento. El panoramizador también podría ejecutarse en un sistema independiente (por ejemplo, un PC o una mesa de mezclas) conectado a la herramienta de renderizado 2210, o podría ejecutarse en el mismo dispositivo físico que la herramienta de renderizado 2210. En el último caso, el panoramizador y el renderizador podrían usar una conexión local, por ejemplo, a través de la memoria compartida. La GUI del panoramizador también se puede controlar de forma remota en una tableta, un ordenador portátil, etc. La herramienta de renderizado 2210 puede comprender un sistema de renderizado que incluye un procesador de sonido que se configura para ejecutar software de renderizado. El sistema de reproducción puede incluir, por ejemplo, un ordenador personal, un ordenador portátil, etc., que incluya interfaces para entrada/salida de audio y un sistema lógico apropiado.
La Figura 22B es un diagrama de bloques que representa algunos componentes que pueden usarse para la reproducción de audio en un entorno de reproducción (por ejemplo, una sala de cine). El sistema 2250 incluye un servidor de cine 2255 y un sistema de renderizado 2260 en este ejemplo. El servidor de cine 2255 y el sistema de renderizado 2260 incluyen interfaces de red 2257 y 2262, respectivamente, que pueden configurarse para enviar y recibir objetos sonoros a través de TCP/IP o cualquier otro protocolo adecuado. La interfaz 2264 se configura para enviar datos de audio a los altavoces.
Diversas modificaciones a las implementaciones descritas en esta divulgación pueden ser fácilmente evidentes para los expertos en la técnica. Los principios generales definidos en esta memoria pueden aplicarse a otras implementaciones sin apartarse del alcance de esta divulgación. Por lo tanto, no se pretende que las reivindicaciones se limiten a las implementaciones que se muestran en esta memoria, sino que deben otorgarles el alcance más amplio compatible con esta divulgación, los principios y las características novedosas que se divulgan en esta memoria.

Claims (8)

REIVINDICACIONES
1. Un aparato, que comprende:
un sistema de interfaz (2105); y
un sistema lógico (2110) configurado para:
recibir, por medio del sistema de interfaz (2105), datos de reproducción de audio que comprenden uno o más objetos sonoros y metadatos asociados;
recibir, a través del sistema de interfaz (2105), datos de entorno de reproducción que comprenden una indicación de un número de altavoces de reproducción de un entorno de reproducción tridimensional real y una indicación de la ubicación de cada altavoz de reproducción dentro del entorno de reproducción real; y
renderizar uno o más objetos sonoros en una o más señales de alimentación de altavoz basándose, al menos en parte, en los metadatos asociados, en donde cada señal de alimentación de altavoz corresponde a al menos uno de los altavoces de reproducción dentro del entorno de reproducción real, el aparato se caracteriza por que:
los metadatos asociados con cada objeto sonoro incluyen metadatos de restricción de zona de altavoz que indican si renderizar el objeto sonoro respectivo implica imponer restricciones de zona de altavoz, y
en donde renderizar el uno o más objetos sonoros incluye renderizar el respectivo objeto sonoro al imponer restricciones de zona de altavoz en respuesta a los metadatos de restricción de zona de altavoz, y
en donde renderizar el uno o más objetos sonoros incluye además renderizar el respectivo objeto sonoro ya sea al aplicar reglas de panoramización para correlacionar el objeto sonoro a una pluralidad de altavoces de reproducción, o al correlacionar el objeto sonoro a un único altavoz de reproducción.
2. El aparato de la reivindicación 1, en donde el renderizado implica crear una ganancia basada en uno o más de una posición de objeto sonoro deseada, una distancia desde la posición de objeto sonoro deseada a una posición de referencia, una velocidad de un objeto sonoro o un tipo de contenido de objeto sonoro.
3. El aparato de la reivindicación 1, en donde el renderizado implica el manejo como blobs dinámico de objetos en respuesta a la sobrecarga del altavoz, dirigiendo la energía de audio a un mayor número de altavoces de reproducción vecinos mientras se mantiene la energía global constante.
4. El aparato de la reivindicación 1, en donde el renderizado implica la correlación de posiciones de objetos sonoros a planos de conjuntos de altavoz del entorno de reproducción real.
5. El aparato de cualquiera de las reivindicaciones 1-4, en donde el sistema lógico se configura además para calcular las ganancias de los altavoces correspondientes a la pluralidad de zonas de altavoz.
6. El aparato de la reivindicación 5, en donde el sistema lógico se configura además para calcular las ganancias de los altavoces para posiciones de objetos sonoros a lo largo de una curva unidimensional entre posiciones de altavoces virtuales.
7. Un método, que comprende:
recibir (1457) datos de reproducción de audio que comprenden uno o más objetos sonoros y metadatos asociados;
recibir (1460) datos de entorno de reproducción que comprenden una indicación de un número de altavoces de reproducción en un entorno de reproducción real y una indicación de la ubicación de cada altavoz de reproducción del entorno de reproducción real tridimensional; y
renderizar (1470) uno o más objetos sonoros en una o más señales de alimentación de altavoz basándose, al menos en parte, en los metadatos asociados, en donde cada señal de alimentación de altavoz corresponde a al menos uno de los altavoces de reproducción dentro del entorno de reproducción real,
el método se caracteriza por que:
los metadatos asociados con cada objeto sonoro incluyen metadatos de restricción de zona de altavoz que indican si renderizar el objeto sonoro respectivo implica imponer restricciones de zona de altavoz, y
en donde renderizar el uno o más objetos sonoros incluye renderizar el respectivo objeto sonoro al imponer restricciones de zona de altavoz en respuesta a los metadatos de restricción de zona de altavoz, y
en donde renderizar el uno o más objetos sonoros incluye además renderizar el respectivo objeto sonoro ya sea al aplicar reglas de panoramización para correlacionar el objeto sonoro a una pluralidad de altavoces de reproducción, o al correlacionar el objeto sonoro a un único altavoz de reproducción.
8. Un medio no transitorio que tiene software almacenado, el software incluye instrucciones que, cuando son ejecutadas por un ordenador, hacen que el ordenador lleve a cabo las siguientes operaciones:
recibir (1457) datos de reproducción de audio que comprenden uno o más objetos sonoros y metadatos asociados;
recibir (1460) datos de entorno de reproducción que comprenden una indicación de un número de altavoces de reproducción en un entorno de reproducción real y una indicación de la ubicación de cada altavoz de reproducción del entorno de reproducción real tridimensional; y
renderizar (1470) uno o más objetos sonoros en una o más señales de alimentación de altavoz basándose, al menos en parte, en los metadatos asociados, en donde cada señal de alimentación de altavoz corresponde a al menos uno de los altavoces de reproducción dentro del entorno de reproducción real,
caracterizado porque:
los metadatos asociados con cada objeto sonoro incluyen metadatos de restricción de zona de altavoz que indican si renderizar el objeto sonoro respectivo implica imponer restricciones de zona de altavoz, y
en donde renderizar el uno o más objetos sonoros incluye renderizar el respectivo objeto sonoro al imponer restricciones de zona de altavoz en respuesta a los metadatos de restricción de zona de altavoz, y
en donde renderizar el uno o más objetos sonoros incluye además renderizar el respectivo objeto sonoro ya sea al aplicar reglas de panoramización para correlacionar el objeto sonoro a una pluralidad de altavoces de reproducción, o al correlacionar el objeto sonoro a un único altavoz de reproducción.
ES22196385T 2011-07-01 2012-06-27 Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product Active ES3020342T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161504005P 2011-07-01 2011-07-01
US201261636102P 2012-04-20 2012-04-20

Publications (1)

Publication Number Publication Date
ES3020342T3 true ES3020342T3 (en) 2025-05-22

Family

ID=46551864

Family Applications (4)

Application Number Title Priority Date Filing Date
ES22196385T Active ES3020342T3 (en) 2011-07-01 2012-06-27 Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product
ES21179211T Active ES2932665T3 (es) 2011-07-01 2012-06-27 Aparato para renderizar audio, método y medios de almacenamiento para él
ES22196393T Active ES2997234T3 (en) 2011-07-01 2012-06-27 Apparatus for controlling the spread of rendered audio objects, method and non-transitory medium therefor.
ES12738278T Active ES2909532T3 (es) 2011-07-01 2012-06-27 Aparato y método para renderizar objetos de audio

Family Applications After (3)

Application Number Title Priority Date Filing Date
ES21179211T Active ES2932665T3 (es) 2011-07-01 2012-06-27 Aparato para renderizar audio, método y medios de almacenamiento para él
ES22196393T Active ES2997234T3 (en) 2011-07-01 2012-06-27 Apparatus for controlling the spread of rendered audio objects, method and non-transitory medium therefor.
ES12738278T Active ES2909532T3 (es) 2011-07-01 2012-06-27 Aparato y método para renderizar objetos de audio

Country Status (20)

Country Link
US (9) US9204236B2 (es)
EP (5) EP4543049A3 (es)
JP (10) JP5798247B2 (es)
KR (9) KR20250047841A (es)
CN (2) CN103650535B (es)
AR (1) AR086774A1 (es)
AU (9) AU2012279349B2 (es)
BR (1) BR112013033835B1 (es)
CA (7) CA3025104C (es)
CL (1) CL2013003745A1 (es)
DK (1) DK2727381T3 (es)
ES (4) ES3020342T3 (es)
HU (1) HUE058229T2 (es)
IL (10) IL321961B1 (es)
MX (5) MX2013014273A (es)
MY (1) MY181629A (es)
PL (1) PL2727381T3 (es)
RU (2) RU2554523C1 (es)
TW (8) TW202537300A (es)
WO (1) WO2013006330A2 (es)

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2727381T3 (pl) * 2011-07-01 2022-05-02 Dolby Laboratories Licensing Corporation Sposób i urządzenie do renderowania obiektów audio
KR101901908B1 (ko) * 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
KR101744361B1 (ko) * 2012-01-04 2017-06-09 한국전자통신연구원 다채널 오디오 신호 편집 장치 및 방법
US9264840B2 (en) * 2012-05-24 2016-02-16 International Business Machines Corporation Multi-dimensional audio transformations and crossfading
US9622014B2 (en) * 2012-06-19 2017-04-11 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9674631B2 (en) 2012-09-24 2017-06-06 Barco Nv Method for controlling a three-dimensional multi-layer speaker arrangement and apparatus for playing back three-dimensional sound in an audience area
US10158962B2 (en) 2012-09-24 2018-12-18 Barco Nv Method for controlling a three-dimensional multi-layer speaker arrangement and apparatus for playing back three-dimensional sound in an audience area
RU2612997C2 (ru) * 2012-12-27 2017-03-14 Николай Лазаревич Быченко Способ управления звуком для зрительного зала
JP6174326B2 (ja) * 2013-01-23 2017-08-02 日本放送協会 音響信号作成装置及び音響信号再生装置
EP2974384B1 (en) 2013-03-12 2017-08-30 Dolby Laboratories Licensing Corporation Method of rendering one or more captured audio soundfields to a listener
CN105075292B (zh) * 2013-03-28 2017-07-25 杜比实验室特许公司 用于创作和渲染音频再现数据的方法和设备
EP2979467B1 (en) 2013-03-28 2019-12-18 Dolby Laboratories Licensing Corporation Rendering audio using speakers organized as a mesh of arbitrary n-gons
US9786286B2 (en) 2013-03-29 2017-10-10 Dolby Laboratories Licensing Corporation Methods and apparatuses for generating and using low-resolution preview tracks with high-quality encoded object and multichannel audio signals
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
WO2014163657A1 (en) 2013-04-05 2014-10-09 Thomson Licensing Method for managing reverberant field for immersive audio
US9767819B2 (en) * 2013-04-11 2017-09-19 Nuance Communications, Inc. System for automatic speech recognition and audio entertainment
WO2014171706A1 (ko) * 2013-04-15 2014-10-23 인텔렉추얼디스커버리 주식회사 가상 객체 생성을 이용한 오디오 신호 처리 방법
KR102784480B1 (ko) 2013-04-26 2025-03-21 소니그룹주식회사 음성 처리 장치 및 방법, 및 기록 매체
KR102414609B1 (ko) * 2013-04-26 2022-06-30 소니그룹주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
RU2667630C2 (ru) 2013-05-16 2018-09-21 Конинклейке Филипс Н.В. Устройство аудиообработки и способ для этого
US9491306B2 (en) * 2013-05-24 2016-11-08 Broadcom Corporation Signal processing control in an audio device
KR101458943B1 (ko) * 2013-05-31 2014-11-07 한국산업은행 가상 스크린 내 오브젝트 위치를 이용한 스피커 제어 장치 및 방법
TWI615834B (zh) * 2013-05-31 2018-02-21 Sony Corp 編碼裝置及方法、解碼裝置及方法、以及程式
JP6276402B2 (ja) * 2013-06-18 2018-02-07 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・レンダリングのためのベース管理
EP2818985B1 (en) * 2013-06-28 2021-05-12 Nokia Technologies Oy A hovering input field
EP2830048A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP3028273B1 (en) * 2013-07-31 2019-09-11 Dolby Laboratories Licensing Corporation Processing spatially diffuse or large audio objects
US9483228B2 (en) 2013-08-26 2016-11-01 Dolby Laboratories Licensing Corporation Live engine
US8751832B2 (en) * 2013-09-27 2014-06-10 James A Cashin Secure system and method for audio processing
JP6412931B2 (ja) * 2013-10-07 2018-10-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 空間的オーディオ・システムおよび方法
KR102226420B1 (ko) 2013-10-24 2021-03-11 삼성전자주식회사 다채널 오디오 신호 생성 방법 및 이를 수행하기 위한 장치
EP3075173B1 (en) 2013-11-28 2019-12-11 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
EP2892250A1 (en) * 2014-01-07 2015-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a plurality of audio channels
US9578436B2 (en) * 2014-02-20 2017-02-21 Bose Corporation Content-aware audio modes
WO2015147532A2 (ko) 2014-03-24 2015-10-01 삼성전자 주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN103885596B (zh) * 2014-03-24 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
EP2925024A1 (en) * 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
KR101534295B1 (ko) * 2014-03-26 2015-07-06 하수호 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
WO2015152661A1 (ko) * 2014-04-02 2015-10-08 삼성전자 주식회사 오디오 오브젝트를 렌더링하는 방법 및 장치
BR112016023716B1 (pt) * 2014-04-11 2023-04-18 Samsung Electronics Co., Ltd Método de renderização de um sinal de áudio
EP3146730B1 (en) * 2014-05-21 2019-10-16 Dolby International AB Configuring playback of audio via a home audio playback system
USD784360S1 (en) 2014-05-21 2017-04-18 Dolby International Ab Display screen or portion thereof with a graphical user interface
PL3522554T3 (pl) * 2014-05-28 2021-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procesor danych i transport danych kontrolnych użytkownika do dekoderów audio i modułów renderowania
DE102014217626A1 (de) * 2014-09-03 2016-03-03 Jörg Knieschewski Lautsprechereinheit
EP3196876B1 (en) * 2014-09-04 2020-11-18 Sony Corporation Transmitting device, transmitting method, receiving device and receiving method
US9706330B2 (en) * 2014-09-11 2017-07-11 Genelec Oy Loudspeaker control
CN112951250B (zh) 2014-09-12 2025-02-07 索尼公司 发送装置、发送方法、接收装置以及接收方法
EP3192282A1 (en) * 2014-09-12 2017-07-19 Dolby Laboratories Licensing Corp. Rendering audio objects in a reproduction environment that includes surround and/or height speakers
EP4601259A3 (en) 2014-09-30 2025-09-24 Sony Group Corporation Transmitting device, transmission method, receiving device, and receiving method
CA2963771A1 (en) 2014-10-16 2016-04-21 Sony Corporation Transmission device, transmission method, reception device, and reception method
GB2532034A (en) * 2014-11-05 2016-05-11 Lee Smiles Aaron A 3D visual-audio data comprehension method
WO2016077320A1 (en) * 2014-11-11 2016-05-19 Google Inc. 3d immersive spatial audio systems and methods
US10880597B2 (en) 2014-11-28 2020-12-29 Saturn Licensing Llc Transmission device, transmission method, reception device, and reception method
USD828845S1 (en) 2015-01-05 2018-09-18 Dolby International Ab Display screen or portion thereof with transitional graphical user interface
CN107211227B (zh) 2015-02-06 2020-07-07 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
CN105992120B (zh) 2015-02-09 2019-12-31 杜比实验室特许公司 音频信号的上混音
CN107210041B (zh) 2015-02-10 2020-11-17 索尼公司 发送装置、发送方法、接收装置以及接收方法
CN105989845B (zh) * 2015-02-25 2020-12-08 杜比实验室特许公司 视频内容协助的音频对象提取
WO2016148553A2 (ko) * 2015-03-19 2016-09-22 (주)소닉티어랩 3차원 사운드를 편집 및 제공하는 방법 및 장치
US9609383B1 (en) * 2015-03-23 2017-03-28 Amazon Technologies, Inc. Directional audio for virtual environments
CN111586533B (zh) * 2015-04-08 2023-01-03 杜比实验室特许公司 音频内容的呈现
WO2016172111A1 (en) * 2015-04-20 2016-10-27 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
CN107533846B (zh) 2015-04-24 2022-09-16 索尼公司 发送装置、发送方法、接收装置与接收方法
US10187738B2 (en) * 2015-04-29 2019-01-22 International Business Machines Corporation System and method for cognitive filtering of audio in noisy environments
US10628439B1 (en) 2015-05-05 2020-04-21 Sprint Communications Company L.P. System and method for movie digital content version control access during file delivery and playback
US9681088B1 (en) * 2015-05-05 2017-06-13 Sprint Communications Company L.P. System and methods for movie digital container augmented with post-processing metadata
EP3295687B1 (en) 2015-05-14 2019-03-13 Dolby Laboratories Licensing Corporation Generation and playback of near-field audio content
KR101682105B1 (ko) * 2015-05-28 2016-12-02 조애란 입체음향 조절 방법 및 장치
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
CA3281204A1 (en) 2015-06-17 2025-10-31 Sony Corporation Transmitting device, transmitting method, receiving device, and receiving method
RU2019138260A (ru) 2015-06-24 2019-12-05 Сони Корпорейшн Устройство, способ и программа аудиообработки
US10334387B2 (en) 2015-06-25 2019-06-25 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US9847081B2 (en) 2015-08-18 2017-12-19 Bose Corporation Audio systems for providing isolated listening zones
US9913065B2 (en) 2015-07-06 2018-03-06 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9854376B2 (en) 2015-07-06 2017-12-26 Bose Corporation Simulating acoustic output at a location corresponding to source position data
KR102539973B1 (ko) * 2015-07-16 2023-06-05 소니그룹주식회사 정보 처리 장치 및 방법, 및 프로그램
TWI736542B (zh) * 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
US20170086008A1 (en) * 2015-09-21 2017-03-23 Dolby Laboratories Licensing Corporation Rendering Virtual Audio Sources Using Loudspeaker Map Deformation
US20170098452A1 (en) * 2015-10-02 2017-04-06 Dts, Inc. Method and system for audio processing of dialog, music, effect and height objects
EP3378240B1 (en) * 2015-11-20 2019-12-11 Dolby Laboratories Licensing Corporation System and method for rendering an audio program
WO2017085562A2 (en) * 2015-11-20 2017-05-26 Dolby International Ab Improved rendering of immersive audio content
US10614823B2 (en) 2015-12-08 2020-04-07 Sony Corporation Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
EP3389260A4 (en) * 2015-12-11 2018-11-21 Sony Corporation Information processing device, information processing method, and program
WO2017104519A1 (ja) 2015-12-18 2017-06-22 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106937204B (zh) * 2015-12-31 2019-07-02 上海励丰创意展示有限公司 全景多声道声效轨迹控制方法
CN106937205B (zh) * 2015-12-31 2019-07-02 上海励丰创意展示有限公司 面向影视、舞台的复杂声效轨迹控制方法
WO2017126895A1 (ko) * 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법
EP3203363A1 (en) * 2016-02-04 2017-08-09 Thomson Licensing Method for controlling a position of an object in 3d space, computer readable storage medium and apparatus configured to control a position of an object in 3d space
CN105898668A (zh) * 2016-03-18 2016-08-24 南京青衿信息科技有限公司 一种声场空间的坐标定义方法
WO2017173776A1 (zh) * 2016-04-05 2017-10-12 向裴 三维环境中的音频编辑方法与系统
US10863297B2 (en) 2016-06-01 2020-12-08 Dolby International Ab Method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position
HK1219390A2 (zh) 2016-07-28 2017-03-31 Sub-Intelligence Robotics (Sir) Corporation (Hong Kong) Limited 终端混音设备
US10419866B2 (en) 2016-10-07 2019-09-17 Microsoft Technology Licensing, Llc Shared three-dimensional audio bed
EP3547718A4 (en) * 2016-11-25 2019-11-13 Sony Corporation PLAYING DEVICE, PLAY PROCESS, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP7231412B2 (ja) * 2017-02-09 2023-03-01 ソニーグループ株式会社 情報処理装置および情報処理方法
EP3373604B1 (en) * 2017-03-08 2021-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing a measure of spatiality associated with an audio stream
JP6558513B2 (ja) * 2017-03-17 2019-08-14 ヤマハ株式会社 コンテンツ再生機器、方法、及びコンテンツ再生システム
JP6926640B2 (ja) * 2017-04-27 2021-08-25 ティアック株式会社 目標位置設定装置及び音像定位装置
EP3410747B1 (en) * 2017-06-02 2023-12-27 Nokia Technologies Oy Switching rendering mode based on location data
US20180357038A1 (en) * 2017-06-09 2018-12-13 Qualcomm Incorporated Audio metadata modification at rendering device
WO2019067469A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc FILE FORMAT FOR SPACE
US10531222B2 (en) 2017-10-18 2020-01-07 Dolby Laboratories Licensing Corporation Active acoustics control for near- and far-field sounds
EP4093058A1 (en) * 2017-10-18 2022-11-23 Dolby Laboratories Licensing Corp. Active acoustics control for near- and far-field sounds
FR3072840B1 (fr) * 2017-10-23 2021-06-04 L Acoustics Arrangement spatial de dispositifs de diffusion sonore
EP3499917A1 (en) 2017-12-18 2019-06-19 Nokia Technologies Oy Enabling rendering, for consumption by a user, of spatial audio content
WO2019132516A1 (ko) * 2017-12-28 2019-07-04 박승민 입체 음향 컨텐츠 저작 방법 및 이를 위한 장치
WO2019149337A1 (en) * 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
JP7146404B2 (ja) * 2018-01-31 2022-10-04 キヤノン株式会社 信号処理装置、信号処理方法、及びプログラム
GB2571949A (en) * 2018-03-13 2019-09-18 Nokia Technologies Oy Temporal spatial audio parameter smoothing
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
WO2020071728A1 (ko) * 2018-10-02 2020-04-09 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
KR102458962B1 (ko) 2018-10-02 2022-10-26 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
JP7413267B2 (ja) 2018-10-16 2024-01-15 ドルビー ラボラトリーズ ライセンシング コーポレイション 低音マネジメントのための方法及び装置
US11503422B2 (en) * 2019-01-22 2022-11-15 Harman International Industries, Incorporated Mapping virtual sound sources to physical speakers in extended reality applications
US11206504B2 (en) * 2019-04-02 2021-12-21 Syng, Inc. Systems and methods for spatial audio rendering
EP3726858A1 (en) * 2019-04-16 2020-10-21 Fraunhofer Gesellschaft zur Förderung der Angewand Lower layer reproduction
WO2020213375A1 (ja) 2019-04-16 2020-10-22 ソニー株式会社 表示装置、制御方法、およびプログラム
KR102285472B1 (ko) * 2019-06-14 2021-08-03 엘지전자 주식회사 음향의 이퀄라이징 방법과, 이를 구현하는 로봇 및 ai 서버
US12069464B2 (en) 2019-07-09 2024-08-20 Dolby Laboratories Licensing Corporation Presentation independent mastering of audio content
EP4002870A4 (en) * 2019-07-19 2022-09-28 Sony Group Corporation SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM
WO2021021752A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Coordination of audio devices
JP7578219B2 (ja) 2019-07-30 2024-11-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 複数のスピーカーを通じた複数のオーディオ・ストリームの再生の管理
WO2021021750A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Dynamics processing across devices with differing playback capabilities
IL289450B2 (en) 2019-07-30 2026-01-01 Dolby Laboratories Licensing Corp Acoustic echo cancellation control for distributed audio devices
US11659332B2 (en) 2019-07-30 2023-05-23 Dolby Laboratories Licensing Corporation Estimating user location in a system including smart audio devices
EP4005234A1 (en) 2019-07-30 2022-06-01 Dolby Laboratories Licensing Corporation Rendering audio over multiple speakers with multiple activation criteria
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
CN114208209B (zh) * 2019-07-30 2023-10-31 杜比实验室特许公司 音频处理系统、方法和介质
US20240284136A1 (en) * 2019-07-30 2024-08-22 Dobly Laboratories Licensing Corporation Adaptable spatial audio playback
US11533560B2 (en) 2019-11-15 2022-12-20 Boomcloud 360 Inc. Dynamic rendering device metadata-informed audio enhancement system
WO2021098957A1 (en) * 2019-11-20 2021-05-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio object renderer, methods for determining loudspeaker gains and computer program using panned object loudspeaker gains and spread object loudspeaker gains
EP3857919B1 (en) 2019-12-02 2022-05-18 Dolby Laboratories Licensing Corporation Methods and apparatus for conversion from channel-based audio to object-based audio
JP7443870B2 (ja) 2020-03-24 2024-03-06 ヤマハ株式会社 音信号出力方法および音信号出力装置
US11102606B1 (en) * 2020-04-16 2021-08-24 Sony Corporation Video component in 3D audio
US12190013B2 (en) * 2020-07-09 2025-01-07 Sony Interactive Entertainment LLC Multitrack container for sound effect rendering
WO2022059858A1 (en) * 2020-09-16 2022-03-24 Samsung Electronics Co., Ltd. Method and system to generate 3d audio from audio-visual multimedia content
KR102505249B1 (ko) * 2020-11-24 2023-03-03 네이버 주식회사 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 전송하는 컴퓨터 시스템 및 그의 방법
JP7536733B2 (ja) * 2020-11-24 2024-08-20 ネイバー コーポレーション オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法
JP7536735B2 (ja) * 2020-11-24 2024-08-20 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
WO2022179701A1 (en) * 2021-02-26 2022-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering audio objects
EP4324224A1 (en) * 2021-04-14 2024-02-21 Telefonaktiebolaget LM Ericsson (publ) Spatially-bounded audio elements with derived interior representation
WO2022245076A1 (ko) 2021-05-21 2022-11-24 삼성전자 주식회사 다채널 오디오 신호 처리 장치 및 방법
CN117356113A (zh) 2021-05-24 2024-01-05 三星电子株式会社 使用异构扬声器节点进行智能音频渲染的系统及其方法
CN115472170B (zh) * 2021-06-11 2026-04-03 华为技术有限公司 一种三维音频信号的处理方法和装置
US20220400352A1 (en) * 2021-06-11 2022-12-15 Sound Particles S.A. System and method for 3d sound placement
EP4322162A4 (en) 2021-07-16 2024-10-23 Samsung Electronics Co., Ltd. Electronic device for generating mouth shape, and operating method therefor
EP4434031A4 (en) 2021-11-15 2025-10-15 Syng Inc SYSTEMS AND METHODS FOR PERFORMING SPATIAL AUDIO RENDERING USING SPATIALIZATION SHADERS
KR20230089870A (ko) 2021-12-14 2023-06-21 주식회사 엘엑스세미콘 영상/음향 조절을 위한 디스플레이제어회로 및 이를 포함하는 표시장치
US12615487B1 (en) 2022-06-03 2026-04-28 Apple Inc. Congruency for audio content creation
US12445799B2 (en) 2022-12-08 2025-10-14 Samsung Electronics Co., Ltd. Surround sound to immersive audio upmixing based on video scene analysis
US12445585B2 (en) * 2022-12-14 2025-10-14 Huizhou Vision New Technology Co., Ltd. Curved grid for acquiring spatial track coordinates of sound source objects of audio elements in an audio stream in video data
WO2025174980A1 (en) 2024-02-16 2025-08-21 Dolby Laboratories Licensing Corporation Incorporating jitter into spatial audio objects

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9307934D0 (en) * 1993-04-16 1993-06-02 Solid State Logic Ltd Mixing audio signals
GB2294854B (en) 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
US6072878A (en) 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
GB2337676B (en) 1998-05-22 2003-02-26 Central Research Lab Ltd Method of modifying a filter for implementing a head-related transfer function
GB2342830B (en) 1998-10-15 2002-10-30 Central Research Lab Ltd A method of synthesising a three dimensional sound-field
US6442277B1 (en) 1998-12-22 2002-08-27 Texas Instruments Incorporated Method and apparatus for loudspeaker presentation for positional 3D sound
US6507658B1 (en) * 1999-01-27 2003-01-14 Kind Of Loud Technologies, Llc Surround sound panner
US7660424B2 (en) 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
WO2002078388A2 (en) 2001-03-27 2002-10-03 1... Limited Method and apparatus to create a sound field
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7113610B1 (en) * 2002-09-10 2006-09-26 Microsoft Corporation Virtual sound source positioning
US7558393B2 (en) * 2003-03-18 2009-07-07 Miller Iii Robert E System and method for compatible 2D/3D (full sphere with height) surround sound reproduction
JP3785154B2 (ja) * 2003-04-17 2006-06-14 パイオニア株式会社 情報記録装置、情報再生装置及び情報記録媒体
DE10321980B4 (de) 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene
JP2005094271A (ja) 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
US8363865B1 (en) 2004-05-24 2013-01-29 Heather Bottum Multiple channel sound system using multi-speaker arrays
JP2006005024A (ja) 2004-06-15 2006-01-05 Sony Corp 基板処理装置および基板移動装置
JP2006050241A (ja) * 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 復号化装置
KR100608002B1 (ko) 2004-08-26 2006-08-02 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
AU2005282680A1 (en) 2004-09-03 2006-03-16 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
US7636448B2 (en) * 2004-10-28 2009-12-22 Verax Technologies, Inc. System and method for generating sound events
US20070291035A1 (en) 2004-11-30 2007-12-20 Vesely Michael A Horizontal Perspective Representation
US7928311B2 (en) * 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages
US7774707B2 (en) * 2004-12-01 2010-08-10 Creative Technology Ltd Method and apparatus for enabling a user to amend an audio file
JP3734823B1 (ja) * 2005-01-26 2006-01-11 任天堂株式会社 ゲームプログラムおよびゲーム装置
DE102005008343A1 (de) * 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
DE102005008366A1 (de) 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten
US8577483B2 (en) * 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
JP5586950B2 (ja) * 2006-05-19 2014-09-10 韓國電子通信研究院 プリセットオーディオシーンを用いたオブジェクトベースの３次元オーディオサービスシステム及びその方法
EP2033481A2 (en) * 2006-06-09 2009-03-11 Koninklijke Philips Electronics N.V. A device for and a method of generating audio data for transmission to a plurality of audio reproduction units
JP4345784B2 (ja) * 2006-08-21 2009-10-14 ソニー株式会社 音響収音装置及び音響収音方法
MX2008012315A (es) * 2006-09-29 2008-10-10 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basados en objeto.
JP4257862B2 (ja) * 2006-10-06 2009-04-22 パナソニック株式会社 音声復号化装置
JP5337941B2 (ja) * 2006-10-16 2013-11-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャネル・パラメータ変換のための装置および方法
WO2008069593A1 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US20080253577A1 (en) 2007-04-13 2008-10-16 Apple Inc. Multi-channel sound panner
US20080253592A1 (en) 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
WO2008135049A1 (en) * 2007-05-07 2008-11-13 Aalborg Universitet Spatial sound reproduction system with loudspeakers
JP2008301200A (ja) 2007-05-31 2008-12-11 Nec Electronics Corp 音声処理装置
TW200921643A (en) * 2007-06-27 2009-05-16 Koninkl Philips Electronics Nv A method of merging at least two input object-oriented audio parameter streams into an output object-oriented audio parameter stream
JP4530007B2 (ja) * 2007-08-02 2010-08-25 ヤマハ株式会社 音場制御装置
EP2094032A1 (en) 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
JP2009207780A (ja) * 2008-03-06 2009-09-17 Konami Digital Entertainment Co Ltd ゲームプログラム、ゲーム装置、およびゲーム制御方法
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
KR20110049863A (ko) * 2008-08-14 2011-05-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호 트랜스포맷팅
US20100098258A1 (en) * 2008-10-22 2010-04-22 Karl Ola Thorn System and method for generating multichannel audio with a portable electronic device
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
JP4772163B2 (ja) * 2008-11-18 2011-09-14 パナソニック株式会社 立体視再生を行う再生装置、再生方法、プログラム
JP2010252220A (ja) 2009-04-20 2010-11-04 Nippon Hoso Kyokai <Nhk> ３次元音響パンニング装置およびそのプログラム
EP2249334A1 (en) 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
JP4918628B2 (ja) 2009-06-30 2012-04-18 新東ホールディングス株式会社 イオン発生装置及びイオン発生素子
KR101805212B1 (ko) * 2009-08-14 2017-12-05 디티에스 엘엘씨 객체-지향 오디오 스트리밍 시스템
JP2011066868A (ja) * 2009-08-18 2011-03-31 Victor Co Of Japan Ltd オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置
EP2309781A3 (en) 2009-09-23 2013-12-18 Iosono GmbH Apparatus and method for calculating filter coefficients for a predefined loudspeaker arrangement
JP5439602B2 (ja) * 2009-11-04 2014-03-12 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想音源に関連するオーディオ信号についてスピーカ設備のスピーカの駆動係数を計算する装置および方法
CN113490133B (zh) * 2010-03-23 2023-05-02 杜比实验室特许公司 音频再现方法和声音再现系统
KR102294460B1 (ko) 2010-03-26 2021-08-27 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치
JP2013529004A (ja) 2010-04-26 2013-07-11 ケンブリッジ メカトロニクス リミテッド 位置追跡を備えるスピーカ
WO2011152044A1 (ja) 2010-05-31 2011-12-08 パナソニック株式会社 音響再生装置
JP5826996B2 (ja) * 2010-08-30 2015-12-02 日本放送協会 音響信号変換装置およびそのプログラム、ならびに、３次元音響パンニング装置およびそのプログラム
US9165558B2 (en) * 2011-03-09 2015-10-20 Dts Llc System for dynamically creating and rendering audio objects
PL2727381T3 (pl) * 2011-07-01 2022-05-02 Dolby Laboratories Licensing Corporation Sposób i urządzenie do renderowania obiektów audio
RS1332U (sr) 2013-04-24 2013-08-30 Tomislav Stanojević Sistem potpunog zvučnog okruženja sa podnim zvučnicima
US11395083B2 (en) * 2018-02-01 2022-07-19 Qualcomm Incorporated Scalable unified audio renderer

Also Published As

Publication number Publication date
JP2020065310A (ja) 2020-04-23
CA3151342C (en) 2024-07-02
JP2024156923A (ja) 2024-11-06
AU2023214301B2 (en) 2024-08-15
AU2021200437A1 (en) 2021-02-25
CN103650535B (zh) 2016-07-06
TWI873802B (zh) 2025-02-21
CA2837894A1 (en) 2013-01-10
KR20220061275A (ko) 2022-05-12
HUE058229T2 (hu) 2022-07-28
KR101547467B1 (ko) 2015-08-26
IL230047A (en) 2017-05-29
KR20230096147A (ko) 2023-06-29
ES2932665T3 (es) 2023-01-23
RU2015109613A (ru) 2015-09-27
AU2016203136A1 (en) 2016-06-02
AU2018204167A1 (en) 2018-06-28
US9838826B2 (en) 2017-12-05
TW201811071A (zh) 2018-03-16
CN106060757A (zh) 2016-10-26
AR086774A1 (es) 2014-01-22
AU2018204167B2 (en) 2019-08-29
EP4135348A2 (en) 2023-02-15
US20170086007A1 (en) 2017-03-23
IL290320B2 (en) 2023-05-01
MX2013014273A (es) 2014-03-21
AU2022203984A1 (en) 2022-06-30
US9549275B2 (en) 2017-01-17
CA3134353A1 (en) 2013-01-10
CA3295551A1 (en) 2026-03-02
MX2022005239A (es) 2022-06-29
JP7224411B2 (ja) 2023-02-17
AU2024264637A1 (en) 2024-12-05
JP7536917B2 (ja) 2024-08-20
MX337790B (es) 2016-03-18
HK1225550A1 (zh) 2017-09-08
TWI548290B (zh) 2016-09-01
AU2012279349B2 (en) 2016-02-18
AU2024264637B2 (en) 2025-10-23
KR101958227B1 (ko) 2019-03-14
IL298624B2 (en) 2024-03-01
IL254726A0 (en) 2017-11-30
AU2019257459B2 (en) 2020-10-22
EP4543049A2 (en) 2025-04-23
EP4132011B1 (en) 2025-03-26
IL307218B2 (en) 2025-12-01
CA3083753A1 (en) 2013-01-10
ES2997234T3 (en) 2025-02-14
IL321961B1 (en) 2026-04-01
IL307218B1 (en) 2025-08-01
JP2016007048A (ja) 2016-01-14
KR102156311B1 (ko) 2020-09-15
TWI666944B (zh) 2019-07-21
IL265721A (en) 2019-05-30
EP4543049A3 (en) 2025-06-11
JP7735499B2 (ja) 2025-09-08
IL307218A (en) 2023-11-01
PL2727381T3 (pl) 2022-05-02
IL298624B1 (en) 2023-11-01
TWI785394B (zh) 2022-12-01
TW201933887A (zh) 2019-08-16
RU2015109613A3 (es) 2018-06-27
IL251224A (en) 2017-11-30
BR112013033835A2 (pt) 2017-02-21
CA3083753C (en) 2021-02-02
US20160037280A1 (en) 2016-02-04
KR20200108108A (ko) 2020-09-16
AU2023214301A1 (en) 2023-08-31
JP6023860B2 (ja) 2016-11-09
TWI816597B (zh) 2023-09-21
KR20190134854A (ko) 2019-12-04
KR20250047841A (ko) 2025-04-04
TWI607654B (zh) 2017-12-01
KR102394141B1 (ko) 2022-05-04
CL2013003745A1 (es) 2014-11-21
EP2727381A2 (en) 2014-05-07
JP2017041897A (ja) 2017-02-23
EP4135348B1 (en) 2024-11-20
AU2022203984B2 (en) 2023-05-11
KR102548756B1 (ko) 2023-06-29
JP2019193302A (ja) 2019-10-31
RU2554523C1 (ru) 2015-06-27
TW202310637A (zh) 2023-03-01
JP2021193842A (ja) 2021-12-23
EP4135348A3 (en) 2023-04-05
CA3238161A1 (en) 2013-01-10
KR101843834B1 (ko) 2018-03-30
ES2909532T3 (es) 2022-05-06
JP6952813B2 (ja) 2021-10-27
TWI701952B (zh) 2020-08-11
AU2019257459A1 (en) 2019-11-21
JP6297656B2 (ja) 2018-03-20
US20200296535A1 (en) 2020-09-17
EP4132011A3 (en) 2023-03-01
EP4132011A2 (en) 2023-02-08
JP6655748B2 (ja) 2020-02-26
US11641562B2 (en) 2023-05-02
AU2021200437B2 (en) 2022-03-10
KR20180032690A (ko) 2018-03-30
IL265721B (en) 2022-03-01
CA3151342A1 (en) 2013-01-10
RU2672130C2 (ru) 2018-11-12
AU2016203136B2 (en) 2018-03-29
EP2727381B1 (en) 2022-01-26
KR102052539B1 (ko) 2019-12-05
JP6556278B2 (ja) 2019-08-07
BR112013033835B1 (pt) 2021-09-08
IL254726B (en) 2018-05-31
JP2014520491A (ja) 2014-08-21
KR20150018645A (ko) 2015-02-23
KR20140017684A (ko) 2014-02-11
RU2018130360A3 (es) 2021-10-20
DK2727381T3 (da) 2022-04-04
JP2018088713A (ja) 2018-06-07
MX2020001488A (es) 2022-05-02
US10244343B2 (en) 2019-03-26
MY181629A (en) 2020-12-30
CA2837894C (en) 2019-01-15
RU2018130360A (ru) 2020-02-21
IL321961A (en) 2025-09-01
MX392007B (es) 2025-03-11
TW202106050A (zh) 2021-02-01
US20250024222A1 (en) 2025-01-16
US12047768B2 (en) 2024-07-23
CN106060757B (zh) 2018-11-13
US20210400421A1 (en) 2021-12-23
IL251224A0 (en) 2017-05-29
US11057731B2 (en) 2021-07-06
TW201631992A (zh) 2016-09-01
CA3025104A1 (en) 2013-01-10
IL258969A (en) 2018-06-28
JP2025172843A (ja) 2025-11-26
CA3104225C (en) 2021-10-12
EP3913931A1 (en) 2021-11-24
CA3104225A1 (en) 2013-01-10
US20180077515A1 (en) 2018-03-15
TW202416732A (zh) 2024-04-16
US9204236B2 (en) 2015-12-01
AU2026200462A1 (en) 2026-02-12
EP3913931B1 (en) 2022-09-21
IL290320A (en) 2022-04-01
US20140119581A1 (en) 2014-05-01
TW202537300A (zh) 2025-09-16
CA3025104C (en) 2020-07-07
JP5798247B2 (ja) 2015-10-21
TW201316791A (zh) 2013-04-16
IL290320B1 (en) 2023-01-01
KR102790093B1 (ko) 2025-04-03
IL326768A (en) 2026-04-01
WO2013006330A2 (en) 2013-01-10
US10609506B2 (en) 2020-03-31
CN103650535A (zh) 2014-03-19
MX349029B (es) 2017-07-07
US20230388738A1 (en) 2023-11-30
CA3134353C (en) 2022-05-24
US20200045495A9 (en) 2020-02-06
JP2023052933A (ja) 2023-04-12
IL298624A (en) 2023-01-01
US20190158974A1 (en) 2019-05-23
KR20190026983A (ko) 2019-03-13
WO2013006330A3 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
ES3020342T3 (en) Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product
HK40118209A (en) System and tools for enhanced 3d audio authoring and rendering
HK40080358B (en) Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product
HK1225550B (zh) 用於增强3d音频创作和呈现的系统和工具