ES2981005T3 - Método, aparato y medio legible por ordenador para el posicionamiento virtual de un participante remoto en un espacio de sonido - Google Patents
Método, aparato y medio legible por ordenador para el posicionamiento virtual de un participante remoto en un espacio de sonido Download PDFInfo
- Publication number
- ES2981005T3 ES2981005T3 ES17805457T ES17805457T ES2981005T3 ES 2981005 T3 ES2981005 T3 ES 2981005T3 ES 17805457 T ES17805457 T ES 17805457T ES 17805457 T ES17805457 T ES 17805457T ES 2981005 T3 ES2981005 T3 ES 2981005T3
- Authority
- ES
- Spain
- Prior art keywords
- sound
- remote
- remote participant
- physical space
- shared physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
- H04H60/04—Studio equipment; Interconnection of studios
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/003—Digital PA systems using, e.g. LAN or internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers
- H04R3/005—Circuits for transducers for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S1/005—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Método, aparato y medio legible por computadora para posicionar virtualmente a uno o más participantes remotos en un espacio sonoro que incluye una estructura y/o función mediante la cual se reciben señales de sonido de una pluralidad de micrófonos en el espacio compartido. Uno o más procesadores identifican una o más fuentes de sonido en el espacio compartido, basándose en las señales de sonido recibidas. El o los procesadores mapean las ubicaciones respectivas de la(s) fuente(s) de sonido en el espacio compartido, basándose en las señales de sonido recibidas. El o los procesadores reciben de los participantes remotos señales correspondientes a las ubicaciones de posición respectivas de los participantes remotos en el espacio compartido. El o los procesadores mezclan las señales de sonido recibidas para emitir señales de sonido correspondientes para cada participante basándose en las relaciones entre (i) las ubicaciones respectivas de la(s) fuente(s) de sonido y (ii) las ubicaciones de posición respectivas de los participantes remotos en el espacio compartido. El o los procesadores luego transmiten las señales de sonido correspondientes a los participantes remotos. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Método, aparato y medio legible por ordenador para el posicionamiento virtual de un participante remoto en un espacio de sonido
Esta solicitud reivindica la prioridad de la Solicitud de Patente Provisional de Estados Unidos n.° 62/345.208 presentada el 3 de junio de 2016.
Campo técnico de la invención
La presente invención se refiere en general a audio de fuente de sonido en relación con posicionamiento virtual en un espacio de participantes remotos para comunicaciones espaciales multiusuario en tiempo real.
Antecedentes
Ha habido diversos enfoques para resolver problemas de sonido para crear una experiencia de participante remoto inmersiva de manera que el audio y el vídeo sean de calidad suficiente para permitir y posibilitar comunicaciones claras. Si bien las soluciones existentes tienden a centrarse en parámetros de rendimiento paramétricos de audio y vídeo, tienden a no abordar una experiencia de participante remoto inmersiva que permite una experiencia inmersiva rica que permite al participante remoto tener un alto grado de control sobre su experiencia de audio en forma de posicionamiento virtual espacial, selección y rechazo de fuente de sonido, así como poder ajustar dinámicamente el enfoque de campo de micrófono para adaptar la comunicación de audio a sus necesidades específicas y puntos de interés.
El participante remoto típicamente no tiene control sobre la calidad de audio de la fuente de sonido y la selección de micrófono de la fuente de sonido durante una llamada que no sea poder silenciar su micrófono personal y/o añadir (como es conocido en la técnica anterior) procesamiento posterior de audio sencillo para la creación de diversos efectos de escucha, tales como presentación estéreo, que no son verdaderamente representativos del audio de fuente de sonido. Dado que el audio se controla en la ubicación principal, el participante remoto está sujeto a diversas situaciones no consistentes, tales como, pero sin limitación: relaciones de micrófono a participante variables que dan como resultado problemas de calidad de sonido; no poder dirigir o seleccionar el micrófono basándose en quién está hablando en ese momento; no poder confinar o expandir el campo de captación del micrófono según sea necesario y; no poder aislar fuentes de ruido no deseadas y/u otras conversaciones en el espacio. Por la naturaleza misma de las señales de fuente en la técnica anterior, la información no contiene información posicional y/o espacial que permite la creación de un campo de sonido 3D con características de sonido izquierda y derecha individuales para dar al participante remoto un sentido de dirección y sentido espacial del espacio de fuente y las ubicaciones específicas de los participantes.
Los métodos tradicionales usan múltiples ubicaciones de micrófono que pueden usar o no la intensidad de la señal en el micrófono para seleccionar el micrófono correcto, que, en ese punto, se convierte en la señal de fuente deseada que se pasa al sistema de conferencia y se envía a los participantes remotos. Esto es problemático porque da como resultado una señal de audio mono o de únicamente audio básica que no contiene otra información que los participantes remotos pueden usar para adaptar su experiencia. Los participantes remotos no tienen control de la selección de micrófonos de la ubicación principal, por lo que están limitados a la calidad del equipo de fuente y la disposición de los micrófonos y las matrices de micrófonos. No hay información de control pasada de vuelta desde el participante remoto al sistema de conferencia principal que permitiera la conmutación de control a la fuente de sonido deseada. Si hay múltiples participantes remotos, todos obtienen exactamente la misma experiencia y se ven obligados a centrar y escuchar el contenido de audio que se determina por el sistema de fuente. Si hay fuentes de ruido o múltiples personas hablando, los participantes remotos no tienen control sobre una base individual de quién o qué quieren escuchar y qué sonidos quieren descentrar.
La patente de Estados Unidos n.° 6.961.439 describe un método y aparato para producir fuentes de sonido virtuales que se perciben externamente y se colocan en cualquier orientación en acimut y elevación de un oyente. En este sistema, un conjunto de altavoces está montado en una ubicación cerca de la sien de la cabeza de un oyente, tal como, por ejemplo, en una montura de gafas o dentro de un casco, en lugar de en unos auriculares. Un sistema de rastreo de cabeza determina la ubicación y orientación de la cabeza del oyente y proporciona las mediciones a un ordenador que procesa señales de audio, desde una fuente de audio, junto con un filtro de función de transferencia relacionada con la cabeza (HRTF) para producir audio espacializado. El filtro de HRTF mantiene la ubicación virtual de las señales de audio/sonido, permitiendo por tanto que el oyente cambie las ubicaciones y la orientación de la cabeza sin degradación de la señal de audio. El sistema de audio produce fuentes de sonido virtuales que se perciben externamente y se colocan en cualquier orientación deseada en acimut y elevación desde el oyente.
La solicitud de patente de Estados Unidos n.° 5.337.363 describe un método para producir sonido tridimensional asociado con un objeto que se está moviendo desde una primera posición a una segunda posición con respecto al oyente. El método incluye los efectos del desplazamiento Doppler, el sombreado de la cabeza, los componentes de distancia en frecuencia del sonido, así como el volumen del sonido y la sensibilidad natural del oído humano en el intervalo de 7-8 kHz. El método proporciona una secuencia de muestras de sonido digital que se convierten en formas de onda analógicas, y para la producción de señales de audio que proporcionarán colas de sonido al oyente para la ubicación del sonido en espacio tridimensional.
La solicitud de patente EPO n.° EP0479604 A2 divulga un sistema de sonido omnipresente para su uso por un oyente en un sistema de realidad artificial que opera para acoplar sonido con objetos presentados de tal manera que, a medida que el sonido se mueve con respecto al usuario, el usuario tendrá la percepción del sonido cambiante tanto en tono como en volumen. El sistema de sonido está compuesto por una serie de elementos piezoeléctricos separados alrededor de la cabeza de un usuario. El sistema está diseñado para programar cada elemento individualmente para crear la ilusión de sonido tridimensional omnipresente junto con imágenes presentadas al oyente, imágenes que definen un entorno artificial.
La solicitud de patente n.° WO1992009921 describe un método y aparato para crear sonidos en un mundo virtual. El sistema proporciona capacidades de procesamiento de señal para convertir sonidos monoaurales en fuentes de sonido completamente espacializadas. Un usuario del sistema que lleva puesto un par de auriculares estéreo percibe sonidos en directo, generados por ordenador o grabados como procedentes de ubicaciones específicas en el espacio, al igual que hace un oyente en el mundo real.
El documento US 7720212 B1 divulga un sistema de conferencia de audio que incluye enviar una señal de un sonido en una ubicación de sonido a una ubicación de escucha. El sistema incluye además establecer una relación entre una ubicación y orientación de escucha virtual y una ubicación de sonido virtual. El sistema procesa la señal para proporcionar un sonido en la ubicación de escucha que parece tener una relación análoga entre la ubicación de escucha y orientación y la ubicación de sonido como la relación entre la ubicación de escucha virtual y orientación y la ubicación de sonido virtual.
Existe una oportunidad de mejora en los enfoques actuales para gestionar el campo de sonido de fuente deseado. Dado que la técnica actual se centra en dar a la ubicación principal el control de lo que se escucha o no se escucha, que hereda las limitaciones de la implementación del sistema, el usuario remoto está a merced de los participantes del espacio principal y las limitaciones de sistema. Esto es problemático ya que diversas fuentes de ruido que no pueden filtrarse en la fuente pueden dominar el contenido de audio, lo que reduce la inteligibilidad de la señal de audio. La técnica anterior está limitada además ya que podría haber múltiples personas hablando y únicamente una conversación está relacionada con la conferencia. Y los usuarios remotos no tienen control para ajustar y centrar su experiencia a la conversación relevante, dejando que los usuarios remotos tengan que descifrar o perder la conversación. En la técnica, los atributos espaciales y de posición de la señal de fuente de sonido no se transmiten al participante remoto que se queda con una señal plana típicamente basada en mono para escuchar. Esto es limitante ya que no sumerge al participante remoto en el espacio para permitir una experiencia rica y una ubicación posicional relacional con la fuente de sonido que tiene una dirección y una posición. Y debido a que la señal es la misma para cada participante remoto, no pueden ajustar y adaptar su experiencia de escucha para centrarse en su punto de interés, lo que da como resultado una participación de participante remoto menos eficaz.
La presente invención pretende superar las limitaciones e inconvenientes de la técnica anterior.
Sumario de la invención
Es un objeto de la presente invención poder crear una experiencia de participante remoto inmersiva que proporciona a los participantes remotos el control de su selección de audio recibida y la sensación de estar en el espacio real, en lugar de simplemente escuchar, lo que no se aborda en la técnica anterior.
La presente invención permite a los participantes remotos tener el control de su experiencia de audio gestionando la selección de fuente de sonido y el tamaño del área de campo de sonido, lo que permite (i) centrarse en las señales de fuente o fuentes de sonido deseadas y (ii) descentrar las señales de fuente de sonido no deseadas, lo que da como resultado una experiencia de mapeo de sonido--como si estuvieran realmente posicionadas en el espacio con toda la información de audio estéreo espacial intacta, según sus parámetros de configuración. El resultado es una técnica de comunicación de audio que aborda las limitaciones de la técnica actual.
Una realización de la invención para la escucha y el posicionamiento en el espacio de participantes virtuales remotos comprende usar los parámetros de salida de un procesador de burbujas y los parámetros de configuración de entrada de un sistema de participantes remotos para generar un audio estéreo izquierdo y derecho correcto y señales de posición que son representativas de la posición de la persona virtual en el espacio real; incluyendo el mapeo de campo de sonido deseado a través de ajustes de enfoque, que modifica el área de escucha que el participante remoto está interesado en escuchar. Como resultado, los participantes remotos pueden adaptar sus experiencias a sus necesidades situacionales únicas en tiempo real, creando una experiencia inmersiva.
Dado que los participantes remotos pueden determinar sus posiciones virtuales en el espacio multiusuario principal y adaptar sus experiencias de escucha de sonido en consecuencia, pueden optimizar sus posiciones y experiencias de escucha. Un espacio 3D con un sistema de sonido Nureva (que comprende preferentemente el hardware descrito a continuación más un amplificador de potencia de audio comercial tal como el modelo SLA4 de Applied Research and Technology, un conjunto de altavoces tal como el modelo C110 de Yorkville Sound y un conjunto de micrófonos basados en un paquete de condensador convencional tal como el modelo de CUI CMA-4544PF-W) también puede utilizar la posición virtual configurada deseada del participante remoto y dirigirla al altavoz más cercano en el espacio multiusuario principal, completando de esta manera la simulación completa de los participantes remotos.
La invención se compone tanto de algoritmos como de aceleradores de hardware especiales para implementar la aplicación.
De acuerdo con un aspecto de la presente invención se proporciona un método de acuerdo con la reivindicación 1. De acuerdo con otro aspecto de la presente invención, se proporciona un aparato de acuerdo con la reivindicación 10. De acuerdo con otro aspecto más de la presente invención, al menos un medio de almacenamiento legible por ordenador almacena uno o más programas, comprendiendo el uno o más programas instrucciones, que, cuando se ejecutan por uno o más procesadores realizan el método del primer aspecto.
Breve descripción de los dibujos
La Figura 1a es una ilustración esquemática de un sistema de sonido Nureva instalado con un sistema de participante remoto para participantes remotos.
La Figura 1b es una ilustración esquemática de dos instalaciones de sistema de sonido Nureva con participantes remotos adicionales.
La Figura 2 es una representación esquemática de los módulos funcionales y el flujo de señal.
La Figura 3 es una ilustración esquemática de participantes virtuales colocados en el espacio configurado multiusuario principal.
Las Figuras 4a y 4b son ilustraciones de cómo puede girarse un participante virtual en el espacio multiusuario. Las Figuras 5a, 5b y 5c son representaciones de la capacidad de mapeo de campo de sonido.
Las Figuras 6a y 6b son representaciones de la capacidad de aislamiento de campo acústico.
Las Figuras 7a y 7b son ilustraciones que muestran cómo el campo de sonido puede mapearse a una fuente de sonido en movimiento.
La Figura 8 es una ilustración que representa una interfaz de usuario que muestra reconocimiento de voz en una pantalla de participantes remotos.
Las Figuras 9a y 9b son ilustraciones de cómo puede mapearse un participante remoto a una posición de altavoz de audio espacial multiusuario.
La Figura 10 es una ilustración de cómo se mapean las burbujas de micrófono virtual a un espacio 3D.
Descripción detallada de las realizaciones ilustrativas actualmente preferidas
La presente invención se refiere a sistemas y métodos que habilitan que grupos de personas, conocidas como participantes, se unan juntos a través de una red tal como la Internet, o canal electrónico similar, de una manera en tiempo real remotamente distribuida que emplea ordenadores personales, estaciones de trabajo en red u otros aparatos o dispositivos conectados de forma similar, sin contacto presencial, para participar en reuniones de conferencia de audio efectivas que utilizan grandes espacios (espacios) multiusuario con participantes distribuidos. Ventajosamente, las realizaciones de los presentes sistemas y métodos proporcionan una capacidad para proporcionar a participantes remotos la capacidad de centrar la matriz de micrófonos en espacio de múltiples usuarios al participante que habla y/o fuentes de sonido deseados. Y la presente invención puede aplicarse a uno cualquiera o más espacio o espacios compartidos que tienen múltiples micrófonos tanto para centrar la captación de fuente de sonido y simular un receptor de sonido local para un participante que escucha remoto.
Es importante establecer audio inmersivo y espacialmente preciso de buena calidad para conferencia o audio de múltiples personas con una pluralidad de participantes remotos y participantes en el espacio. Los participantes remotos normalmente están restringidos a la colocación de los micrófonos en el espacio multiusuario, lo que limita su capacidad para reducir las fuentes de sonido no deseadas y, como resultado, no pueden controlar el enfoque en las fuentes de sonido deseadas. En las presentes realizaciones, es deseable dar a los participantes remotos la capacidad de gestionar (i) la ubicación deseada del micrófono y (ii) la dirección de enfoque para dar una presencia en el espacio que está optimizada para la captación de fuente de sonido individual deseada, mientras que reduce las fuentes de sonido no deseadas.
La implementación del proceso es preferentemente en al menos una matriz de puertas programares en campo (FPGA) o, de manera equivalente, podría implementarse en uno o más circuitos integrados específicos de la aplicación (ASIC) o uno o más procesadores de señales digitales (DSP). En la FPGA, hay un núcleo de procesador que puede hacer preferentemente todas las operaciones básicas en paralelo en un único ciclo de reloj. Se proporcionan preferentemente doce copias del núcleo de procesador, una para cada micrófono para proporcionar una capacidad de procesamiento suficiente. Este sistema ahora puede calcular 60 operaciones en paralelo y operar en una tasa de reloj modesta de 100 MHz. También puede usarse preferentemente un pequeño procesador de DSP para filtrado y procesamiento de matriz final. Las funciones de procesamiento (en el sistema de sonido, procesadores y los procesadores de participantes remotos) pueden realizarse por cualquiera de los anteriores y cualquier combinación adecuada de ordenadores personales, servidores, dispositivos basados en la nube, etc.
Las palabras dispositivo computacional, ordenador y dispositivo se usan de manera intercambiable y pueden interpretarse para significar la misma cosa.
Un "dispositivo" en esta memoria descriptiva puede incluir, pero sin limitación, uno o más de, o cualquier combinación de, dispositivo o dispositivos de procesamiento tales como un teléfono celular, un asistente digital personal, un reloj inteligente u otro dispositivo corporal (por ejemplo, gafas, colgantes, anillos, etc.), un ordenador personal, un portátil, una tableta, un dispositivo de acceso a la nube, una pizarra blanca y/o cualquier dispositivo que puede enviar/recibir mensajes a/desde un local una red de área o una red de área extensa (por ejemplo, la Internet), tal como dispositivos integrados en coches, camiones, aviones, electrodomésticos (refrigeradores, estufas, termostatos, luces, circuitos de control eléctrico, la Internet de las Cosas, etc.).
Un "motor" es preferentemente un programa que realiza una función central para otros programas. Un motor puede ser un programa central o focal en un sistema operativo, subsistema o programa de aplicación que coordina la operación global de otros programas. También se usa para describir un programa de propósito especial que contiene un algoritmo que, en ocasiones, puede cambiarse. El uso mejor conocido es el término motor de búsqueda que usa un algoritmo para buscar un índice de temas dado un argumento de búsqueda. Un motor está diseñado preferentemente de modo que su enfoque para buscar un índice, por ejemplo, puede cambiarse para reflejar nuevas reglas para encontrar y priorizar coincidencias en el índice. En inteligencia artificial, para otro ejemplo, el programa que usa reglas de lógica para derivar salida de una base de conocimiento se denomina motor de inferencia. Un "módulo" puede comprender uno o más motores y/o uno o más módulos de hardware, o cualquier combinación adecuada de ambos.
Como se usa en el presente documento, un "servidor" puede comprender uno o más procesadores, una o más memorias de acceso aleatorio (RAM), una o más memorias de solo lectura (ROM), una o más interfaces de usuario, tales como pantalla o pantallas, teclado o teclados, ratón/ratones, etc. Un servidor es preferentemente un aparato que proporciona funcionalidad para otros programas o dispositivos informáticos, denominados "clientes". Esta arquitectura se denomina el modelo de cliente-servidor, y un único cálculo global se distribuye típicamente a través de múltiples procesos o dispositivos. Los servidores pueden proporcionar diversas funcionalidades, a menudo denominadas "servicios", tales como compartir datos o recursos entre múltiples clientes, o realizar cálculo para un cliente. Un único servidor puede dar servicio a múltiples clientes, y un único cliente puede usar múltiples servidores. Un proceso de cliente puede ejecutarse en el mismo dispositivo o puede conectarse a través de una red a un servidor en un dispositivo diferente. Los servidores típicos son servidores de bases de datos, servidores de archivos, servidores de correo, servidores de impresión, servidores web, servidores de juegos, servidores de aplicaciones y servidores de chat. Los servidores analizados en esta memoria descriptiva pueden incluir una o más de las anteriores funcionalidades de compartición, según sea apropiado. Los sistemas cliente-servidor se implementan más frecuentemente por (y a menudo se identifican con) el modelo de solicitud-respuesta: un cliente envía una solicitud al servidor, que realiza alguna acción y envía una respuesta de vuelta al cliente, típicamente con un resultado o confirmación. Designar un ordenador como "hardware de clase de servidor" implica que está especializado para ejecutar servidores en el mismo. Esto implica a menudo que es más potente y fiable que los ordenadores personales convencionales, pero, como alternativa, las agrupaciones informáticas grandes pueden estar compuestas por muchos componentes de servidor reemplazables relativamente sencillos.
Los servidores y dispositivos en esta memoria descriptiva típicamente usan el uno o más procesadores para ejecutar uno o más "programas informáticos" almacenados y/o "medios legibles por ordenador" no transitorios para hacer que el dispositivo y/o servidor o servidores realicen las funciones indicadas en el presente documento. Los medios pueden incluir discos compactos, DVD, ROM, RAM, memoria de estado sólido o cualquier otro dispositivo de almacenamiento que puede almacenar el uno o más programas informáticos.
Las Figuras 1a y 1b juntas ilustran una distribución del sistema de sonido Nureva y la aplicación web de posicionamiento virtual en un espacio de sonido modelado como tres bloques funcionales distintos. La Figura 1a ilustra un único sistema de sonido Nureva 200 con una pluralidad de participantes remotos 105. La ubicación multiusuario principal 101 puede ser cualquier espacio, cabina y/o sala que contiene una pluralidad de participantes 103 que pueden o no estar sentados en una mesa 108, de pie en una pizarra blanca (no mostrada) y de pie en un espacio de la pared y/o incluso moverse en el espacio. Un participante es cualquier individuo que está dentro del alcance del sistema. Las fuentes de sonido pueden ser fuentes de ruido individuales, tales como, pero sin limitación, calefacción, aire acondicionado, ventiladores, fuentes de audio ambientales, mecánicas, y todas las demás, tales como altavoces. El espacio multiusuario 101 contiene el sistema de sonido Nureva 200, que contiene todo el hardware y software necesarios para gestionar el sonido de audio en el espacio 101 para la configuración de micrófono, la captación de sonido, el enmascaramiento de sonido, la cancelación de eco, el posicionamiento virtual y el sistema de altavoces. El espacio compartido típicamente incluye el espacio 3D dentro de una sala de conferencias, vestíbulo, oficina o cualquier combinación de estos. Un campo de sonido impregna el espacio compartido e incluye todos los sonidos existentes dentro de los espacios, incluyendo el sonido ambiental que penetra en el espacio. Una máscara de sonido es como se describe en el documento PCT/CA2016/000146 (que designa a los Estados Unidos), presentado el 24 de noviembre de 2016.
El sistema de sonido Nureva está compuesto preferentemente por el sistema de audio 228 y el sistema de posición virtual 222. El sistema de sonido de Nureva 200 comunica preferentemente el tráfico de señal saliente y entrante, que está compuesto por señales de control e inteligencia que incluyen, pero sin limitación, flujos de audio, información posicional y de posición de usuario, a través de la red 104 a ubicaciones remotas 105. El sistema de sonido de Nureva 200 se comunica preferentemente con las ubicaciones remotas 105 usando la información de canal principal y de retorno con tecnologías--tales como, pero sin limitación, comunicaciones en tiempo real web (WebRTC) y/o comunicaciones en tiempo real de objeto (ORTC), que se usan para comunicar las señales de control e inteligencia en tiempo real de ancho de banda alto a través de un marco abierto para la web, que permite comunicaciones en tiempo real en el navegador, tal como componentes de red, audio y vídeo usados en aplicaciones de chat de voz y vídeo.
Una ubicación remota puede estar compuesta por una pluralidad de participantes remotos 109, cada uno usando un PC 106 con capacidad de vídeo y audio que ejecuta una aplicación web de posicionamiento virtual 401 conectada a un dispositivo de auriculares y micrófono con capacidad estéreo 107. Aunque se muestra un casco, cualquier dispositivo de escucha de audio es adecuado en el extremo de usuario remoto, tal como, pero sin limitación, altavoces de audio y altavoces ultrasónicos. A través de la aplicación web de posicionamiento virtual 401, los participantes remotos 105 pueden ajustar, utilizando las señales de control a través de WebRTC, el audio y la posición en el espacio 101. Los parámetros, --incluyendo, pero sin limitación, posición, dirección y tamaño de campo de sonido-- se procesan a través del sistema de sonido de Nureva 200 y se envían de vuelta a través del canal de WebRTC 104 a los participantes remotos 105.
La Figura 1b ilustra una distribución de sistema con múltiples sistemas del sistema de sonido Nureva 200a y 200b y espacio multiusuario 110 incorporados en el sistema 100. Los participantes remotos 105 pueden configurar su presencia en cada espacio 101 y 110 por separado y, como resultado, pueden escuchar su posición de sonido única, dirección y mapeo de campo de sonido dentro del contexto de cada espacio.
La Figura 2 ilustra el sistema de sonido Nureva que tiene un procesador de posicionamiento virtual 222, que comprende el módulo de reconocimiento de voz 203, el módulo de posición de sonido 204, el mezclador de sonido 205, el módulo de posición de usuario 206 y el mezclador de salida 208. Uno o más de estos módulos pueden alojarse en uno o más servidores, PC, portátiles, tabletas u otros dispositivos. El sistema de sonido Nureva 200 también contiene el procesador de sistema de audio 228, que incluye una matriz de micrófonos 224, un procesador de audio 212, un procesador de micrófono 225 y un procesador de burbujas 207. Y el sistema de sonido Nureva 200 también contiene el sistema de altavoces 209, que está compuesto por altavoces individuales 210. Todos los módulos se muestran con respecto a las relaciones de señal y flujo funcional. El procesador de audio 212 se usa para generar señales de sonido desde la matriz de micrófonos 224 creada dinámicamente, creando una máscara de sonido (una señal de ruido de sonido natural que emana de los altavoces que está diseñada para enmascarar sonidos muy silenciosos o distantes que pueden distraer) y proporcionar cancelación de eco dinámicamente en tiempo real. Las señales se pasan al procesador de burbujas 207, que crea un campo de micrófono virtual 3D, como se muestra en la Figura 10, con miles de micrófonos virtuales individuales mapeados en un sistema de coordenadas (x,y,z) 1002. Los detalles del procesador de burbujas se pueden encontrar en la solicitud de patente provisional de Estados Unidos n.° 62/343.512, presentada el 31 de mayo de 2016. Como se representa en la Figura 2, el "participante remoto" puede, de hecho, comprender uno o más espacios compartidos remotos.
Se determina la ganancia de procesamiento para cada posición de micrófono virtual 1001 (Figura 10) dentro de un tamaño de burbuja predefinido. Utilizando esta información, se puede crear un campo de sonido 3D 1003. Y se puede lograr un procesamiento adicional con respecto al posicionamiento del participante remoto 109, creando una señal binaural realista con información de audio estéreo direccional transmitida al participante remoto 109. Esto se logra con el procesador de posición virtual 222 que comprende preferentemente un mezclador de sonido específico 205, que está mezclando para cuatro participantes remotos 109 (únicamente para ilustración) y puede escalarse dinámicamente a una pluralidad de participantes remotos 109, según sea necesario. El mezclador de sonido 205 toma las señales de posición de sonido 219, las señales de audio 227 del procesador de micrófono individual mono 225 y las señales de posición de usuario 220 para derivar una mezcla de sonido de audio de 2 canales L/R única 216 (por ejemplo, si la fuente de sonido es para a la izquierda de la posición virtual del participante, el sistema retardará y atenuará ligeramente la señal al oído derecho con respecto al izquierdo para simular lo que sucedería si el participante estuviera en la sala) para cada participante remoto individual 109, que se transmite a través de la red 104. A medida que el participante remoto 109 realiza ajustes para la posición y dirección deseadas en el espacio, incluyendo el tamaño de campo de sonido, el mezclador de sonido 205 reconstruye el flujo de audio de 2 canales 216 para proporcionar información espacial correcta, señal de audio filtrada y atenuada (el filtro típico sería un filtro de paso todo con un retardo que tiene un máximo de 2 ms cuando la fuente de sonido está directamente a la izquierda o derecha de la posición de usuario virtual y cae con una función de coseno a cero cuando la fuente está directamente delante o detrás; la atenuación típica será una reducción del 10 % en la presión de sonido cuando la fuente está directamente a la izquierda o derecha de la posición virtual y cae con una función de coseno a cero cuando la fuente está directamente delante o detrás; aplicándose tanto el filtro de retardo como la atenuación al oído lejano) a un participante remoto 109, que se percibirá como si el participante remoto 109 estuviera realmente en el espacio 101 en la ubicación exacta y la dirección de orientación deseada. Obsérvese que, el campo de sonido puede tener cualquier forma, por ejemplo, circular, esférica, rectilínea 2D y/o 3D, trapezoidal 2D y/o 3D, oblonga 2D y/o 3D, o cualquier forma que pueda incluir proyecciones o hendiduras para acomodar diferentes fuentes de sonido deseadas y/o no deseadas. Adicionalmente, puede haber más de un campo de sonido para cualquier participante o grupos de participantes.
La funcionalidad de la unidad de posición de sonido 204 puede determinar las posiciones de fuente de sonido utilizando los valores de ganancia de procesamiento de matriz de micrófono de burbuja virtual 3D 226, que se pasan desde el procesador de burbuja 207. Las ganancias de procesamiento para cada micrófono se examinan para encontrar el micrófono virtual que tiene la mayor ganancia de procesamiento y que se asigna a una de las cuatro posiciones de fuente de sonido rastreadas. Esa fuente de sonido continuará rastreándose (fuente o fuentes de sonido estacionarias o en movimiento, rastreadas en tiempo y/o posición) siempre que haya un pico significativo en la ganancia de procesamiento en las proximidades de esa fuente de sonido. Continuará rastreándose hasta que se pierda durante un período de tiempo de espera dado o se encuentren cuatro señales fuertes más recientes. La unidad de posición de sonido 204 envía paquetes de posición 215 a través de la red 104 a una tasa de aproximadamente 10 paquetes por segundo utilizando una tecnología--tal como, pero sin limitación, WebRTC--para comunicar las posiciones de fuente de sonido a la aplicación web de participante remoto 109, que puede usarse para mostrar la ubicación de la fuente de sonido en un espacio virtual calibrado que representa el espacio multiusuario. La unidad de posición de sonido 204 también envía las posiciones espaciales y los niveles de actividad de las fuentes de sonido 219 de las cuatro posiciones rastreadas al mezclador de micrófono 225 y al mezclador de sonido 205.
Las entradas de micrófonos sin procesar de la matriz de micrófonos 224 y las posiciones de sonido rastreadas 219 entran en un mezclador de micrófono 225, que combina las entradas de micrófono sin procesar 224 para producir un canal de sonido mono 227 que se centra en cada una de las fuentes de sonido rastreadas. La unidad de posición de usuario 206 recibe paquetes de red 217 de los participantes remotos que indican dónde desea estar cada usuario en el espacio, la dirección a la que desea estar orientado y el tamaño del campo de sonido que desea (por ejemplo, el usuario puede colocarse a sí mismo 3,2 m al este de la pared oeste y 2,3 m al norte de la pared sur, orientado hacia la dirección de la brújula 40 grados, y escuchando todas las señales dentro de un radio de 2 m). La unidad de posición de usuario 206 almacena las posiciones y pasa las señales de información 220 al mezclador de sonido 205 y las señales adicionales 221 al mezclador de salida 208.
El mezclador de sonido 205 crea una salida de sonido estéreo única 216 para cada uno de los participantes 109. Para cada participante, determina cuáles de las fuentes de sonido están activas y dentro del campo de sonido deseado del participante. Determina el ángulo de cada fuente de sonido a partir de la ubicación y orientación virtual del participante y mezcla una señal estéreo para cada uno (usando métodos conocidos de diferentes retardos, ganancias y filtros en los canales izquierdo y derecho) de modo que el sonido se presente al participante remoto 109 como si estuviera en el espacio en la posición virtual especificada. Por ejemplo, si la fuente de sonido está a la izquierda de la posición virtual del participante, el sistema enviaría una señal con más retardo y atenuación en el canal derecho de la señal estéreo. Si hay más de una fuente de sonido activa dentro del campo de sonido del participante, a continuación, se suman juntas. Si no hay fuentes de sonido activas dentro del campo de sonido, a continuación, únicamente se envía el ruido de espacio ambiental. Para lograr esto, el mezclador de sonido 205 requiere las señales de posición de sonido 219 desde la unidad de posición de sonido 204 y una señal de ruido ambiental 223 desde el procesador de audio 212 y los canales de sonido mono 227 desde el procesador de micrófono 225.
La funcionalidad de reconocimiento de voz 203 utiliza técnicas de mapeo e identificación de sonido para asignar un ID a cada fuente de sonido que puede ser una persona u objeto, como se muestra en la Figura 8. El ID puede visualizarse junto con la intensidad del sonido y otros parámetros (por ejemplo, estos pueden incluir el nombre de la persona, "Jane", su nivel de volumen, es decir, 81 dB, y un enlace a su imagen) en la pantalla de aplicación web de los participantes remotos 109. Los parámetros (VR1, VR2, VR3 y VR4) 214 se pasan a través de la red 104 a través de WebRTC. Esto proporciona al participante remoto 109 información añadida para comprender quién está en el otro extremo, permitiendo una experiencia más atractiva.
El mezclador de salida 208 recibe las señales de posición de usuario 221 y la señal de salida de audio 218 de los participantes remotos 109 y mezcla la ubicación de sonido apropiada correcta para emitir la señal en el espacio multiusuario 101 utilizando el altavoz correcto 210 dentro del sistema de altavoces 209. La ubicación de voz de los participantes remotos 109 será una representación espacial precisa de dónde están configurados como un participante virtual en el espacio multiusuario 101.
La red de Internet 104 transmite preferentemente información bidireccional en una base por participante remoto 109 para el canal de audio izquierdo (L) y el canal de audio derecho (R) 216, información de reconocimiento de voz (VR; por ejemplo, nombre, volumen, enlace de imagen) 214, parámetros de posición de usuarios (ARRIBA; por ejemplo, dirección x,y) 217, parámetros de posición de sonido (SP) (por ejemplo, x,y) 215 e información de audio de mezclador de salida (OM) 218 (por ejemplo, muestras de sonido). Debería observarse que, el número de canales de señal es dinámico, basándose en el número de participantes remotos 109 registrados en el sistema y no está limitado al número mostrado en el ejemplo.
La Figura 3, ilustra que una pluralidad de participantes remotos 105 (por ejemplo 109, 302, 303 y 304) pueden configurar su colocación de espacio virtual individual 301 en el espacio multiusuario 101. La ilustración demuestra cuatro participantes remotos 105 ubicados 301 dentro del espacio multiusuario 101. Aunque se muestran cuatro participantes, el sistema puede gestionar una pluralidad de participantes. El participante remoto virtual RP2 302 escuchará todos los sonidos en el espacio como si estuvieran realmente ubicados en la posición física en 301. Los sonidos se corrigen para el equilibrio estéreo espacial e izquierdo / derecho. Los participantes remotos 105 pueden ajustar su posición dinámicamente en tiempo real a una nueva ubicación y el campo de sonido se corregiría para esa ubicación. Esto permite que los participantes remotos 105 se acomoden y ajusten para la mejor calidad de sonido en el espacio y poder centrarse en el participante de habla correcto, según sea necesario, mientras se reducen las señales no deseadas a través de la colocación de posición.
Las Figuras 4a y 4b son ilustraciones de cómo el participante remoto 109 puede configurar sus parámetros de campo de sonido 402. El participante remoto 109 que usa un ratón o un evento táctil en la pantalla de aplicación web de posicionamiento virtual 401 puede seleccionar entre diversos parámetros. Los parámetros incluyen, pero sin limitación, tamaño de campo de sonido 403, rotación de participante remoto (posición orientada) 404 y posición de participante remoto 409. Todos estos parámetros se usan para derivar el tamaño de campo de sonido 407 en el espacio 101, la posición de participante remoto 408 y la dirección de orientación de participante remoto 406. A medida que el participante remoto ajusta los parámetros, el mezclador de sonido 205 recrea la mezcla apropiada para los flujos de audio de entrada y salida de participante remoto. La invención se puede ampliar aún más para usar acelerómetros u otros detectores de movimiento y señales visuales para detectar el movimiento y la dirección de la cabeza del participante remoto 109 y, por lo tanto, sin entrada de ratón o táctil, poder ajustar el campo de sonido en consecuencia a una señal representativa de su dirección de la cabeza.
Las Figuras 5a, 5b y 5c ilustran cómo puede configurarse el campo de sonido basándose en los ajustes 109 del participante remoto. El espacio multiusuario 101 se muestra con tres configuraciones diferentes de mapeo de campo de sonido, es decir, 501a, 501b y 501c. El tamaño del campo de sonido no está limitado a estas tres posiciones y puede ajustarse a cualquier tamaño requerido por la aplicación web de posicionamiento virtual 401, como se muestra en las Figuras 4a y 4b. El sistema 200 puede configurarse para cobertura de espacio completo 501a. Este ajuste va a pasar al participante remoto todas las señales de sonido ya que están relacionadas con la ubicación del participante remoto 109 en el espacio. El campo de sonido se puede ajustar, como se muestra por 501b, de tal manera que no es espacio completo y las señales de sonido se procesarían dentro de los límites de campo de sonido reducidos, circulares y/o esféricos 501b. El participante remoto 109 puede reducir adicionalmente el campo de sonido 501c, lo que estrecha el foco de campo de sonido aún más. A medida que se ajusta el campo de sonido, las señales de fuente de sonido se procesan a través del mezclador de sonido 205 y el participante remoto 109 recibe una mezcla de canal de audio estéreo L/R 216 que se mapea a sus parámetros de posición virtual deseada, rotación y campo de sonido.
Las Figuras 6a y 6b ilustran que, usando mapeo de campo de sonido, el participante remoto 109 puede ajustar el campo de sonido 601a y b para descentrar la fuente de ruido no deseada 607 que escuchan. El campo de sonido 601a tiene la fuente de ruido 607 en la zona de enfoque y el campo de sonido 601b se ha reducido lo suficiente como para que la fuente de ruido no deseada 607 ya no esté en el campo de sonido. Las fuentes de ruido no deseadas 607 pueden ser cualquier cosa que el participante remoto 109 no esté interesado en escuchar--tal como, pero sin limitación, otras personas, ventiladores, calefacción, aire acondicionado y ruidos ambientales. Cabe señalar que, las fuentes de ruido descentradas 607 no se eliminan y únicamente se atenúan. El oído espera escuchar un espectro de ruidos, tanto de fondo como de primer plano, y eliminar el ruido de fondo crea una situación que se percibe como antinatural y no agradable de escuchar. Al centrar el campo de sonido 601b a través de una sintonización y calibración cuidadosas, la información espacial del ruido de fondo se deja intacta y se fusiona con la fuente de sonido deseada para crear una presentación de audio equilibrada apropiada que realza los sonidos deseados y reduce los sonidos no deseados en la mezcla. Esto se logra a través del mezclador de sonido 205.
Las Figuras 7a y 7b ilustran cómo el participante remoto 109 puede ajustar su ubicación y tamaño de campo de sonido 702 para rastrear y recibir una fuente de sonido en movimiento 701, que, en este caso, es una persona a medida que se mueve a través de todo el espacio. La Figura 7a ilustra el campo de sonido 702a mapeado a la ubicación actual de la fuente de sonido 701. La Figura 7b ilustra que la fuente de sonido deseada 701 se ha movido y el participante remoto 109 ha ajustado su posición a la nueva posición de fuente de sonido deseada 701. El participante remoto 109 también podría haber cambiado el tamaño del campo de sonido como se muestra en la Figura 5. Puede rastrearse y monitorizarse una pluralidad de fuentes de sonido 701 para cada participante remoto 109 a través de una pluralidad de participantes remotos 105.
La Figura 8 ilustra cómo la aplicación web de posicionamiento virtual 401 del participante remoto 109 muestra los nombres de las fuentes de sonido 806, 802 y 805 identificadas en la pantalla--tales como, por ejemplo, Jill, Bob, Mary y el ventilador. Esto se logra a través del módulo de reconocimiento de voz 203, que pasa los datos de atributo de fuente de sonido 214 a la aplicación web de posicionamiento virtual 401 para su visualización al participante remoto 109. El participante 802, 806 y el ventilador 805 también tienen datos de descripción adicionales 804, 807 y 808 que muestran que están activos. Los datos de descripción pueden contener, pero sin limitación, ID de nombre, intensidad de campo de sonido e información de dirección que permite una experiencia más inmersiva y descriptiva. El participante 802 es más ruidoso que el participante 806, por lo que su indicador de intensidad 804 es mayor. Los datos de descriptor se etiquetarán y visualizarán para todas las fuentes de sonido activas en el espacio de modo que el participante remoto 109 pueda ver dónde están ubicadas todas las fuentes de sonido y configurar su experiencia de escucha en consecuencia. Si están presentes cinco fuentes de sonido activas, se visualizan cinco campos de datos de descriptor.
Las Figuras 9a y 9b ilustran la capacidad del sistema para presentar, a través de los altavoces del sistema de audio en el espacio 209, dónde está ubicado virtualmente el participante remoto 109 en el espacio 101. El participante remoto 109 está inicialmente en la sección superior izquierda del espacio 101, como se ilustra en la Figura 9a. Como resultado, los altavoces 901a en el sistema de altavoces 209 están activos, por lo que la persona 902 en el espacio 101 está escuchando el sonido como si el participante remoto 109 estuviera realmente en el espacio 101 en su ubicación configurada. Esto se logra a través del mezclador de salida 208, que envía una mezcla específica al sistema de altavoces de audio 209 para habilitar esta presentación. La Figura 9b ilustra el participante remoto 109 reubicándose en la esquina superior derecha del espacio a medida que el sonido sigue al grupo de altavoces 901b--creando por tanto una experiencia realista como si la persona remota virtual 109 se moviera. Debería observarse que, esta capacidad es configurable y puede activarse y desactivarse a través de la configuración y ajustes de usuario del sistema de sonido Nureva 200.
La Figura 10, ilustra cómo la pluralidad de burbujas de micrófono virtual 1001 se mapean a un espacio 1003 (por ejemplo, el espacio 101) con las coordenadas (x,y,z) 1002 para localizar su posición exacta en el espacio 3D. Dado que la ganancia de procesamiento puede derivarse a través del procesador de burbujas 207, puede conocerse la intensidad de la señal o señales de fuente de sonido en diversas ubicaciones en el espacio. Dado que un mapa de campo de sonido puede derivarse de la matriz de burbujas de micrófono 1001, pueden derivarse los patrones de sonido relacionales de ubicación que son específicos de la posición de un participante remoto virtual 109 en el espacio 101.
Aunque esta invención se ha ilustrado en un escenario de espacio multiusuario de conferencia, los principios y la aplicación son directamente aplicables a cualquier entorno de espacio de sonido--tal como, pero sin limitación, cabinas de pasajeros, salas y espacios de control, salas de conferencias, espacios de clase, espacios de reunión y/o cualquier configuración que permita un espacio que sea adecuado para configurar con un sistema de sonido Nureva para permitir la participación remota y el control de la experiencia de escucha de audio.
Los componentes individuales mostrados en esquema o designados por bloques en los dibujos adjuntos se conocen todos bien en las técnicas de procesamiento electrónico, y su contribución y operación específicas no son críticas para la operación o mejor modo para efectuar la invención.
Mientras la presente invención se ha descrito con respecto a lo que se considera actualmente como las realizaciones preferidas, debe apreciarse que la invención no se limita a las realizaciones divulgadas. El alcance de la invención se define por las reivindicaciones adjuntas.
Claims (20)
1. Un método para cada uno de una pluralidad de participantes remotos (109), que están remotos de un espacio físico compartido (101) que tiene (i) una pluralidad de micrófonos físicos (224) y (ii) una pluralidad de fuentes de sonido, para configurar individualmente el propio mapeo de campo de sonido individual del participante remoto (501) en el espacio físico compartido para centrarse en al menos una fuente de sonido (701), comprendiendo el método:
recibir, desde la pluralidad de micrófonos físicos (224) en el espacio físico compartido, señales de sonido del espacio físico compartido (101);
identificar, mediante uno o más procesadores (222), la pluralidad de fuentes de sonido en el espacio físico compartido (101) basándose en las señales de sonido recibidas desde los micrófonos físicos (224); mapear, por el uno o más procesadores (222), ubicaciones físicas respectivas de la pluralidad de fuentes de sonido en el espacio físico compartido (101) basándose en las señales de sonido recibidas desde los micrófonos físicos (224);
recibir, por el uno o más procesadores (222) y desde uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos (109), señales que incluyen ajustes del mapeo de campo de sonido del participante remoto (501) en el espacio físico compartido (101), incluyendo los ajustes (i) un tamaño del mapeo de campo de sonido, (ii) una posición de orientación para el participante remoto en el espacio físico compartido, y (iii) una colocación de posición del participante remoto en el espacio físico compartido;
mezclar, por el uno o más procesadores (222), las señales de sonido recibidas desde los micrófonos físicos (224) desde el espacio físico compartido (101) para emitir una respectiva salida de audio de dos canales L/R (216) para su presentación a cada uno de los participantes remotos (109) basándose en las relaciones entre (i) la ubicación o ubicaciones físicas respectivas de la pluralidad de fuentes de sonido en el espacio físico compartido (101) y (ii) los ajustes del mapeo de campo de sonido del participante remoto (501), de modo que la respectiva salida de audio de dos canales L/R (216) presentada a cada participante remoto está configurada para ser percibida por ese participante remoto como si el participante remoto estuviera ubicado en el espacio físico compartido con la dirección de orientación y la colocación de posición de sus ajustes de mapeo de campo de sonido; transmitir, por el uno o más procesadores (222), la respectiva salida de audio de dos canales L/R (213) a cada participante remoto; y
ajustar, por el uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos (109), los ajustes del mapeo de campo de sonido del participante remoto (501), incluyendo el ajuste del tamaño del mapeo de campo de sonido (501), la posición de orientación y la colocación de posición del participante remoto, de tal manera que la respectiva salida de audio de dos canales L/R (216) se reconfigura para centrarse o descentrarse en una o más de la pluralidad de fuentes de sonido.
2. El método de acuerdo con la reivindicación 1, que comprende, además: controlar independientemente, por el uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos, los ajustes del mapeo de campo de sonido de ese participante remoto (501) en el espacio físico compartido (101).
3. El método de acuerdo con la reivindicación 2, que comprende, además: permitir, por el uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos, que cada participante remoto controle independientemente en tiempo real su (i) tamaño y/o forma de campo de sonido, (ii) posición de orientación, y (iii) colocación de posición, dentro del espacio físico compartido (101).
4. El método de acuerdo con la reivindicación 3, que comprende, además: permitir, por el uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos, que cada participante remoto atenúe su recepción de sonido de una cualquiera o más de la pluralidad de fuentes de sonido en el espacio físico compartido (101).
5. El método de acuerdo con cualquier reivindicación anterior, que comprende además visualizar a cada participante remoto la pluralidad de fuentes de sonido dentro del espacio físico compartido (101).
6. El método de acuerdo con la reivindicación 5, que comprende además visualizar a cada participante remoto indicios de volúmenes de al menos dos fuentes de sonido dentro del espacio físico compartido (101).
7. El método de acuerdo con cualquier reivindicación anterior, que comprende, además: posibilitar, por el uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos, que cada participante remoto independientemente (i) centre la pluralidad de micrófonos físicos en al menos una fuente de sonido deseada en el espacio físico compartido (101), y (ii) descentre la pluralidad de micrófonos físicos de una fuente de sonido no deseada en el espacio físico compartido (101).
8. El método de acuerdo con cualquier reivindicación anterior, en donde el espacio físico compartido (101) incluye una fuente de sonido no deseada, y en donde el método comprende además permitir, por el uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos (109), a cada participante remoto controlar independientemente los ajustes de su mapeo de campo de sonido en el espacio físico compartido (101) para descentrar una fuente de sonido no deseada.
9. El método de acuerdo con cualquier reivindicación anterior, en donde la etapa de ajustar el mapeo de campo de sonido del participante remoto (501) comprende rastrear una fuente de sonido (701) en el espacio físico compartido (101) mientras esa fuente de sonido se está moviendo.
10. Un aparato para cada uno de una pluralidad de participantes remotos (109), que están remotos de un espacio físico compartido (101) que tiene (i) una pluralidad de micrófonos físicos (224) y (ii) una pluralidad de fuentes de sonido, para configurar individualmente el propio mapeo de campo de sonido individual del participante remoto (501) en el espacio físico compartido para centrarse en al menos una fuente de sonido, comprendiendo el aparato:
una interfaz configurada para recibir, desde una pluralidad de micrófonos físicos en el espacio físico compartido (101), señales de sonido de los micrófonos físicos (224);
una interfaz de red configurada para recibir, desde uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos, ajustes del mapeo de campo de sonido del participante remoto (501) en el espacio físico compartido (101), incluyendo los ajustes (i) un tamaño del mapeo de campo de sonido, (ii) una posición de orientación para el participante remoto en el espacio físico compartido, y (iii) una colocación de posición del participante remoto en el espacio físico compartido; y
uno o más procesadores (222) configurados para:
identificar la pluralidad de fuentes de sonido en el espacio físico compartido (101) basándose en las señales de sonido recibidas desde los micrófonos físicos (224);
mapear las ubicaciones físicas respectivas de la pluralidad de fuentes de sonido en el espacio físico compartido basándose en las señales de sonido recibidas desde los micrófonos físicos (224);
mezclar las señales de sonido recibidas desde el espacio físico compartido (101) para emitir una respectiva salida de audio de dos canales L/R (216) para su presentación a cada uno de los participantes remotos basándose en las relaciones entre (i) la ubicación o ubicaciones físicas respectivas de la pluralidad de fuentes de sonido y (ii) los ajustes del mapeo de campo de sonido del participante remoto (501), de modo que la respectiva salida de audio de dos canales L/R (216) presentada a cada participante remoto está configurada para ser percibida por ese participante remoto como si el participante remoto estuviera ubicado en el espacio físico compartido con la dirección de orientación y la colocación de posición de sus ajustes de mapeo de campo de sonido;
transmitir la salida de audio de dos canales L/R (216) a cada participante remoto a través de la interfaz de red;
en donde el uno o más procesadores (106) asociados con cada uno de la pluralidad de participantes remotos está configurado para permitir el ajuste del mapeo de campo de sonido de ese participante remoto (501), incluyendo el ajuste del tamaño del mapeo de campo de sonido (501), la posición de orientación y la colocación de la posición del participante remoto, de tal manera que la salida de audio de dos canales L/R respectiva se reconfigura para centrarse o descentrarse en una o más de la pluralidad de fuentes de sonido.
11. El aparato de acuerdo con la reivindicación 10, en donde el uno o más procesadores asociados con cada uno de la pluralidad del uno o más participantes remotos comprende al menos un procesador de participante configurado para controlar independientemente los ajustes del mapeo de campo de sonido del participante remoto (501) en el espacio físico compartido (101).
12. El aparato de acuerdo con la reivindicación 11, en donde el procesador participante está configurado para controlar independientemente en tiempo real los ajustes del mapeo de campo de sonido de ese participante remoto (501) en el espacio físico compartido (101) que incluye (i) tamaño y/o forma de campo de sonido, (ii) posición de orientación y (iii) colocación de posición, dentro del espacio compartido.
13. El aparato de acuerdo con una cualquiera de las reivindicaciones 10 a 12, en donde el uno o más procesadores (106) asociados con cada participante remoto están configurados para atenuar la propia recepción de sonido del participante remoto desde una cualquiera o más de la pluralidad de fuentes de sonido en el espacio físico compartido (101).
14. El aparato de acuerdo con una cualquiera de las reivindicaciones 10 a 13, que comprende además una o más pantallas de participante remoto configuradas para visualizar a cada participante remoto la pluralidad de fuentes de sonido dentro del espacio físico compartido (101).
15. El aparato de acuerdo con la reivindicación 14, en donde la una o más pantallas de participante remoto están configuradas para visualizar a cada participante remoto indicios de volúmenes de al menos dos fuentes de sonido dentro del espacio físico compartido (101).
16. El aparato de acuerdo con una cualquiera de las reivindicaciones 10 a 15, en donde el uno o más procesadores (106) asociados con cada participante remoto están configurados para independientemente (i) centrar la pluralidad de micrófonos físicos en la fuente de sonido deseada en el espacio físico compartido, y (ii) descentrar la pluralidad de micrófonos físicos de una fuente de sonido no deseada en el espacio físico compartido (101).
17. El aparato de acuerdo con una cualquiera de las reivindicaciones 10 a 16, en donde el espacio físico compartido incluye una fuente de sonido no deseada, y en donde el uno o más procesadores (106) asociados con cada participante remoto están configurados para permitir que cada participante remoto controle independientemente su mapeo de campo de sonido en el espacio físico compartido para descentrar la fuente de sonido no deseada.
18. El aparato de acuerdo con una cualquiera de las reivindicaciones 10 a 17, en donde el uno o más procesadores (106) asociados con cada participante remoto están configurados para rastrear al menos una fuente de sonido en el espacio físico compartido mientras esa fuente de sonido se está moviendo.
19. Al menos un medio de almacenamiento legible por ordenador no transitorio que almacena uno o más programas, comprendiendo el uno o más programas instrucciones que, cuando se ejecutan por uno o más procesadores, realizan el método de una cualquiera de las reivindicaciones 1 a 9.
20. El método de una cualquiera de las reivindicaciones 1 a 9, o el aparato de una cualquiera de las reivindicaciones 10 a 18, o el al menos un medio de almacenamiento legible por ordenador no transitorio de la reivindicación 19, en donde cada respectiva salida de audio de dos canales L/R comprende una salida de sonido estéreo.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662345208P | 2016-06-03 | 2016-06-03 | |
| PCT/CA2017/050672 WO2017205986A1 (en) | 2016-06-03 | 2017-06-02 | Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2981005T3 true ES2981005T3 (es) | 2024-10-04 |
Family
ID=60478384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES17805457T Active ES2981005T3 (es) | 2016-06-03 | 2017-06-02 | Método, aparato y medio legible por ordenador para el posicionamiento virtual de un participante remoto en un espacio de sonido |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10587978B2 (es) |
| EP (1) | EP3466113B1 (es) |
| ES (1) | ES2981005T3 (es) |
| WO (1) | WO2017205986A1 (es) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9132352B1 (en) | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
| US10079941B2 (en) * | 2014-07-07 | 2018-09-18 | Dolby Laboratories Licensing Corporation | Audio capture and render device having a visual display and user interface for use for audio conferencing |
| US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
| WO2017210785A1 (en) * | 2016-06-06 | 2017-12-14 | Nureva Inc. | Method, apparatus and computer-readable media for touch and speech interface with audio location |
| US10945080B2 (en) | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
| US10356362B1 (en) * | 2018-01-16 | 2019-07-16 | Google Llc | Controlling focus of audio signals on speaker during videoconference |
| EP3588986A1 (en) * | 2018-06-29 | 2020-01-01 | Nokia Technologies Oy | An apparatus and associated methods for presentation of audio |
| EP3594802A1 (en) * | 2018-07-09 | 2020-01-15 | Koninklijke Philips N.V. | Audio apparatus, audio distribution system and method of operation therefor |
| JP7029031B2 (ja) * | 2019-01-21 | 2022-03-02 | アウター・エコー・インコーポレイテッド | 時間的に変化する再帰型フィルタ構造による仮想聴覚レンダリングのための方法およびシステム |
| CN112073663B (zh) * | 2019-06-10 | 2023-08-11 | 海信视像科技股份有限公司 | 音频增益调节方法、视频聊天方法及显示设备 |
| US11700353B2 (en) * | 2020-04-06 | 2023-07-11 | Eingot Llc | Integration of remote audio into a performance venue |
| KR20210130325A (ko) * | 2020-04-21 | 2021-11-01 | 현대자동차주식회사 | 노이즈 제어 장치, 그를 가지는 차량 및 그 제어 방법 |
| KR102799716B1 (ko) * | 2020-06-25 | 2025-04-23 | 현대자동차주식회사 | 차량용 다중 대화 모드 지원 방법 및 시스템 |
| US11714595B1 (en) * | 2020-08-07 | 2023-08-01 | mmhmm inc. | Adaptive audio for immersive individual conference spaces |
| JP2023155920A (ja) * | 2020-09-10 | 2023-10-24 | ソニーグループ株式会社 | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
| US11662975B2 (en) | 2020-10-06 | 2023-05-30 | Tencent America LLC | Method and apparatus for teleconference |
| WO2022115803A1 (en) * | 2020-11-30 | 2022-06-02 | The Regents Of The University Of California | Systems and methods for sound-enhanced meeting platforms |
| US12342137B2 (en) * | 2021-05-10 | 2025-06-24 | Nureva Inc. | System and method utilizing discrete microphones and virtual microphones to simultaneously provide in-room amplification and remote communication during a collaboration session |
| US12003660B2 (en) | 2021-12-31 | 2024-06-04 | Avila Technology, LLC | Method and system to implement secure real time communications (SRTC) between WebRTC and the internet of things (IoT) |
| US12167225B2 (en) * | 2022-11-02 | 2024-12-10 | Roblox Corporation | Distributed processing of sounds in virtual environments |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4499578A (en) | 1982-05-27 | 1985-02-12 | At&T Bell Laboratories | Method and apparatus for controlling signal level in a digital conference arrangement |
| US5469511A (en) | 1990-10-05 | 1995-11-21 | Texas Instruments Incorporated | Method and apparatus for presentation of on-line directional sound |
| WO1992009921A1 (en) | 1990-11-30 | 1992-06-11 | Vpl Research, Inc. | Improved method and apparatus for creating sounds in a virtual world |
| US5337363A (en) | 1992-11-02 | 1994-08-09 | The 3Do Company | Method for generating three dimensional sound |
| KR940021467U (ko) | 1993-02-08 | 1994-09-24 | 푸쉬-풀 사운드 캐취 마이크로폰 | |
| US5889843A (en) | 1996-03-04 | 1999-03-30 | Interval Research Corporation | Methods and systems for creating a spatial auditory environment in an audio conference system |
| JP3154468B2 (ja) * | 1996-03-19 | 2001-04-09 | 日本電信電話株式会社 | 受音方法及びその装置 |
| US6335927B1 (en) | 1996-11-18 | 2002-01-01 | Mci Communications Corporation | System and method for providing requested quality of service in a hybrid network |
| FR2761562B1 (fr) | 1997-03-27 | 2004-08-27 | France Telecom | Systeme de visioconference |
| US6912718B1 (en) | 1999-03-25 | 2005-06-28 | International Business Machines Corporation | Event notification channel between supplier and consumer objects in object oriented programming system with proxy consumer objects to maintain uninterrupted event transmission during consumer object off line maintenance |
| US20020077830A1 (en) | 2000-12-19 | 2002-06-20 | Nokia Corporation | Method for activating context sensitive speech recognition in a terminal |
| US7058168B1 (en) * | 2000-12-29 | 2006-06-06 | Cisco Technology, Inc. | Method and system for participant control of privacy during multiparty communication sessions |
| US7130705B2 (en) | 2001-01-08 | 2006-10-31 | International Business Machines Corporation | System and method for microphone gain adjust based on speaker orientation |
| US6961439B2 (en) | 2001-09-26 | 2005-11-01 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for producing spatialized audio signals |
| AUPR989802A0 (en) * | 2002-01-09 | 2002-01-31 | Lake Technology Limited | Interactive spatialized audiovisual system |
| US7848531B1 (en) | 2002-01-09 | 2010-12-07 | Creative Technology Ltd. | Method and apparatus for audio loudness and dynamics matching |
| US6882971B2 (en) * | 2002-07-18 | 2005-04-19 | General Instrument Corporation | Method and apparatus for improving listener differentiation of talkers during a conference call |
| US7177413B2 (en) * | 2003-04-30 | 2007-02-13 | Cisco Technology, Inc. | Head position based telephone conference system and associated method |
| US7559026B2 (en) | 2003-06-20 | 2009-07-07 | Apple Inc. | Video conferencing system having focus control |
| US7415117B2 (en) | 2004-03-02 | 2008-08-19 | Microsoft Corporation | System and method for beamforming using a microphone array |
| US7720212B1 (en) * | 2004-07-29 | 2010-05-18 | Hewlett-Packard Development Company, L.P. | Spatial audio conferencing system |
| JP4451794B2 (ja) * | 2005-01-25 | 2010-04-14 | パナソニック株式会社 | 音声対話装置 |
| DE602006016121D1 (de) | 2005-06-09 | 2010-09-23 | Koninkl Philips Electronics Nv | Verfahren und system zur ermittlung des abstands zwischen lautsprechern |
| US20080085014A1 (en) | 2006-02-13 | 2008-04-10 | Hung-Yi Chen | Active gain adjusting method and related system based on distance from users |
| JP5134876B2 (ja) * | 2007-07-11 | 2013-01-30 | 株式会社日立製作所 | 音声通信装置及び音声通信方法並びにプログラム |
| US8073125B2 (en) * | 2007-09-25 | 2011-12-06 | Microsoft Corporation | Spatial audio conferencing |
| DE102008051757A1 (de) | 2007-11-12 | 2009-05-14 | Volkswagen Ag | Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen |
| EP2063419B1 (en) | 2007-11-21 | 2012-04-18 | Nuance Communications, Inc. | Speaker localization |
| WO2009117450A1 (en) | 2008-03-18 | 2009-09-24 | Invism, Inc. | Enhanced immersive soundscapes production |
| US8239201B2 (en) | 2008-09-13 | 2012-08-07 | At&T Intellectual Property I, L.P. | System and method for audibly presenting selected text |
| US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
| US8363810B2 (en) * | 2009-09-08 | 2013-01-29 | Avaya Inc. | Method and system for aurally positioning voice signals in a contact center environment |
| US8294683B2 (en) | 2009-09-25 | 2012-10-23 | Mitac International Corp. | Method of processing touch commands and voice commands in parallel in an electronic device supporting speech recognition |
| US9736312B2 (en) * | 2010-11-17 | 2017-08-15 | Avaya Inc. | Method and system for controlling audio signals in multiple concurrent conference calls |
| US9107020B2 (en) | 2011-10-21 | 2015-08-11 | Zetta Research And Development Llc-Forc Series | System and method for wireless microphone apparent positioning |
| US8185387B1 (en) | 2011-11-14 | 2012-05-22 | Google Inc. | Automatic gain control |
| US9152376B2 (en) | 2011-12-01 | 2015-10-06 | At&T Intellectual Property I, L.P. | System and method for continuous multimodal speech and gesture interaction |
| US8958569B2 (en) * | 2011-12-17 | 2015-02-17 | Microsoft Technology Licensing, Llc | Selective spatial audio communication |
| US20130257780A1 (en) | 2012-03-30 | 2013-10-03 | Charles Baron | Voice-Enabled Touchscreen User Interface |
| US9436382B2 (en) | 2012-09-18 | 2016-09-06 | Adobe Systems Incorporated | Natural language image editing |
| US9609141B2 (en) | 2012-10-26 | 2017-03-28 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Loudspeaker localization with a microphone array |
| EP4560630A3 (en) | 2013-02-07 | 2025-08-06 | Apple Inc. | Voice trigger for a digital assistant |
| CN104010265A (zh) * | 2013-02-22 | 2014-08-27 | 杜比实验室特许公司 | 音频空间渲染设备及方法 |
| WO2014151813A1 (en) * | 2013-03-15 | 2014-09-25 | Dolby Laboratories Licensing Corporation | Normalization of soundfield orientations based on auditory scene analysis |
| DE102014012158A1 (de) | 2013-09-12 | 2015-03-12 | Mechaless Systems Gmbh | Gestenerkennungsverfahren und Gestenerkennungsvorrichtung |
| US10079941B2 (en) | 2014-07-07 | 2018-09-18 | Dolby Laboratories Licensing Corporation | Audio capture and render device having a visual display and user interface for use for audio conferencing |
| US9821470B2 (en) | 2014-09-17 | 2017-11-21 | Brain Corporation | Apparatus and methods for context determination using real time sensor data |
| US20160103655A1 (en) | 2014-10-08 | 2016-04-14 | Microsoft Corporation | Co-Verbal Interactions With Speech Reference Point |
| US10276158B2 (en) | 2014-10-31 | 2019-04-30 | At&T Intellectual Property I, L.P. | System and method for initiating multi-modal speech recognition using a long-touch gesture |
| US20180357032A1 (en) | 2015-06-12 | 2018-12-13 | Nureva, Inc. | System, apparatus, and method for facilitating and perpetuating a collaborative ideation session |
| US9823893B2 (en) * | 2015-07-15 | 2017-11-21 | International Business Machines Corporation | Processing of voice conversations using network of computing devices |
-
2017
- 2017-06-01 US US15/610,910 patent/US10587978B2/en active Active
- 2017-06-02 WO PCT/CA2017/050672 patent/WO2017205986A1/en not_active Ceased
- 2017-06-02 EP EP17805457.3A patent/EP3466113B1/en active Active
- 2017-06-02 ES ES17805457T patent/ES2981005T3/es active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3466113A1 (en) | 2019-04-10 |
| US10587978B2 (en) | 2020-03-10 |
| EP3466113B1 (en) | 2024-04-10 |
| US20170353811A1 (en) | 2017-12-07 |
| EP3466113A4 (en) | 2020-02-26 |
| WO2017205986A1 (en) | 2017-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3466113B1 (en) | Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space | |
| US10979842B2 (en) | Methods and systems for providing a composite audio stream for an extended reality world | |
| US11589184B1 (en) | Differential spatial rendering of audio sources | |
| US11109177B2 (en) | Methods and systems for simulating acoustics of an extended reality world | |
| US10491643B2 (en) | Intelligent augmented audio conference calling using headphones | |
| US9161152B2 (en) | Multidimensional virtual learning system and method | |
| US20230135750A1 (en) | Device and method for providing augmented reality interaction | |
| US20230247384A1 (en) | Information processing device, output control method, and program | |
| US10757240B1 (en) | Headset-enabled ad-hoc communication | |
| CN111492342B (zh) | 音频场景处理 | |
| US20230370801A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
| US20240031759A1 (en) | Information processing device, information processing method, and information processing system | |
| US20240334112A1 (en) | Virtual auditory display devices and associated systems, methods, and devices | |
| US20240340605A1 (en) | Information processing device and method, and program | |
| US20240064485A1 (en) | Systems and methods for sound-enhanced meeting platforms | |
| Hyder et al. | Placing the participants of a spatial audio conference call | |
| US20250324188A1 (en) | Audio mixed reality and associated systems, methods, devices, and non-transitory computer-readable media | |
| US20250267423A1 (en) | Virtual auditory display filters and associated systems, methods, and non-transitory computer-readable media | |
| CN119601025B (zh) | 音频处理方法、相关装置及通信系统 | |
| JP7743865B2 (ja) | 情報処理装置、情報処理方法、及び情報処理システム | |
| CN117409804A (zh) | 音频信息的处理方法、介质、服务器、客户端及系统 | |
| JP2023043698A (ja) | オンライン通話管理装置及びオンライン通話管理プログラム | |
| Tikander | Development and evaluation of augmented reality audio systems | |
| WO2024209549A1 (ja) | 映像表示システム、映像表示方法、及び携帯情報端末 | |
| Hendrikse et al. | Interaction of hearing aids with self-motion and the influence of hearing impairment |