ES3041333T3 - Audiovisual rendering apparatus and method of operation therefor - Google Patents

Audiovisual rendering apparatus and method of operation therefor

Info

Publication number
ES3041333T3
ES3041333T3 ES21790203T ES21790203T ES3041333T3 ES 3041333 T3 ES3041333 T3 ES 3041333T3 ES 21790203 T ES21790203 T ES 21790203T ES 21790203 T ES21790203 T ES 21790203T ES 3041333 T3 ES3041333 T3 ES 3041333T3
Authority
ES
Spain
Prior art keywords
coordinate system
category
representation
user
audiovisual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES21790203T
Other languages
English (en)
Inventor
Paulus Dillen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Application granted granted Critical
Publication of ES3041333T3 publication Critical patent/ES3041333T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Un aparato de renderizado audiovisual comprende un receptor (201) que recibe elementos audiovisuales y un receptor (209) que recibe metadatos que incluyen poses de entrada, proporcionadas con referencia a un sistema de coordenadas de entrada, e indicaciones de categoría de renderizado. Un receptor (213) recibe datos de movimiento de la cabeza del usuario y un mapeador (211) asigna las poses de entrada a poses de renderizado en un sistema de coordenadas de renderizado en respuesta a dichos datos. Un renderizador (203) renderiza los elementos audiovisuales utilizando las poses de renderizado. Cada categoría de renderizado está vinculada a una transformación de sistema de coordenadas diferente, desde un sistema de coordenadas del mundo real al sistema de coordenadas de la categoría; al menos una de estas transformaciones es variable con respecto a ambos sistemas. El mapeador selecciona una categoría de renderizado para un elemento audiovisual en respuesta a una indicación de categoría de renderizado y asigna una pose de entrada a poses de renderizado que corresponden a poses fijas en un sistema de coordenadas de categoría para diferentes movimientos de la cabeza del usuario. El sistema de coordenadas de la categoría se determina a partir de la transformación de sistema de coordenadas de la categoría de renderizado. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Aparato de representación audiovisual y procedimiento de operación del mismo
CAMPO DE LA INVENCIÓN
La invención se refiere a un aparato de representación audiovisual y a un procedimiento de operación del mismo y, en particular, pero no exclusivamente, a su uso para admitir, por ejemplo, una aplicación de realidad aumentada/virtual.
ANTECEDENTES DE LA INVENCIÓN
La variedad y la gama de experiencias basadas en contenidos audiovisuales han aumentado sustancialmente en los últimos años con nuevos servicios y formas de utilizar y consumir dichos contenidos que se desarrollan e introducen continuamente. En particular, se están desarrollando muchos servicios, aplicaciones y experiencias espaciales e interactivas para ofrecer a los usuarios una experiencia más participativa e inmersiva.
Ejemplos de tales aplicaciones son las aplicaciones de realidad virtual(Virtual Reality,VR), realidad aumentada(Augmented Reality,AR) y realidad mixta(Mixed Reality,MR) que se están convirtiendo rápidamente en la corriente principal, con una serie de soluciones dirigidas al mercado de consumo. Varios organismos de estandarización también están desarrollando una serie de estándares. Dichas actividades de estandarización están desarrollando activamente estándares para los diversos aspectos de los sistemas VR/AR/MR, incluyendo, por ejemplo, la transmisión, la radiodifusión, la representación, etc.
Las aplicaciones de VR tienden a proporcionar experiencias de usuario correspondientes al usuario que se encuentra en un mundo/entorno/escena diferente, mientras que las aplicaciones de<a>R (incluyendo la realidad mixta(Mixed Reality,MR) tienden a proporcionar experiencias de usuario correspondientes al usuario que se encuentra en el entorno actual, pero con información adicional u objetos virtuales o información que se agrega. Por lo tanto, las aplicaciones de realidad virtual tienden a proporcionar un mundo/escena, generado sintéticamente totalmente inmersivo, mientras que las aplicaciones de realidad aumentada tienden a proporcionar un mundo/escena, parcialmente sintético que se superpone a la escena real donde el usuario está físicamente presente. Sin embargo, los términos a menudo se usan indistintamente y tienen un alto grado de superposición. A continuación, se utilizará el término Realidad Virtual/VR para denotar tanto la Realidad Virtual como la Realidad Aumentada.
Como ejemplo, un servicio cada vez más popular es la provisión de imágenes y audio de tal manera que un usuario pueda interactuar activa y dinámicamente con el sistema para cambiar los parámetros de la representación de tal manera que esto se adapte al movimiento y los cambios en la posición y orientación del usuario. Una característica muy atractiva en muchas aplicaciones es la capacidad de cambiar la posición de visualización efectiva y la dirección de visualización del espectador, tal como, por ejemplo, permitir que el espectador se mueva y “mire a su alrededor” en la escena que se presenta.
Dicha característica puede permitir específicamente que se proporcione una experiencia de realidad virtual a un usuario. Esto puede permitir al usuario moverse (relativamente) libremente en un entorno virtual y cambiar dinámicamente su posición y dónde está mirando. Por lo general, dichas aplicaciones de realidad virtual se basan en un modelo tridimensional de la escena y el modelo se evalúa dinámicamente para proporcionar la vista específica solicitada. Esta estrategia es bien conocida, por ejemplo, en aplicaciones de juegos, como en la categoría deshootersen primera persona, para ordenadores y consolas.
También es deseable, en particular para aplicaciones de realidad virtual, que la imagen que se presente sea una imagen tridimensional. De hecho, con el fin de optimizar la inmersión del espectador, normalmente se prefiere que el usuario experimente la escena presentada como una escena tridimensional. De hecho, una experiencia de realidad virtual debería permitir preferentemente que un usuario seleccione su propia posición, punto de vista de la cámara y momento en el tiempo en relación con un mundo virtual.
Además de la representación visual, la mayoría de las aplicaciones de VR/AR proporcionan una experiencia de audio correspondiente. En muchas aplicaciones, el audio proporciona preferentemente una experiencia de audio espacial donde se percibe que las fuentes de audio llegan desde posiciones que corresponden a las posiciones de los objetos correspondientes en la escena visual (incluyendo tanto objetos que son actualmente visibles como objetos que no son actualmente visibles (por ejemplo, detrás del usuario)). Por lo tanto, las escenas de audio y vídeo se perciben preferentemente como consistentes y con ambas proporcionando una experiencia espacial completa.
Para el audio, la estrategia hasta ahora se ha centrado principalmente en la reproducción de auriculares utilizando la tecnología de representación de audio binaural. En muchos escenarios, la reproducción de auriculares permite una experiencia altamente inmersiva y personalizada para el usuario. Mediante el seguimiento del movimiento de la cabeza(headtracking),la representación puede hacerse sensible a los movimientos de la cabeza del usuario, lo que aumenta en gran medida la sensación de inmersión.
Con el fin de servicios de voz y audio inmersivos(Immersive Voice and Audio Services,IVAS), el consorcio 3GPP desarrolla el llamado códec Iv As (3GPP SP-170611 'New WID on EVS Codec Extension for Immersive Voice and Audio Services'). Este códec comprende un renderizador para traducir varios flujos de audio a una forma adecuada para la reproducción en el extremo receptor. En particular, el audio se puede representar en un formato binaural para su reproducción a través de auriculares o dispositivos de realidad virtual montados en la cabeza con auriculares incorporados.
En muchas de estas aplicaciones, un dispositivo de representación puede recibir datos de entrada que describen una escena de audio y/o visual tridimensional, y el renderizador puede disponerse para representar estos datos de modo que se proporcione a un usuario una experiencia audiovisual que proporcione una percepción de la escena tridimensional.
Sin embargo, proporcionar una experiencia adecuada es una perspectiva desafiante en muchas aplicaciones y, especialmente, adaptar la representación en respuesta a los movimientos de la cabeza de modo que se proporcione una experiencia deseable al usuario es un desafío.
Por ejemplo, se sabe que la percepción humana de la dirección y la distancia de las fuentes de sonido no solo se debe al retraso y al filtrado (típicamente diferentes) del sonido desde la fuente hasta ambos oídos, sino también en gran medida a cómo estos varían con los movimientos de la cabeza, como las rotaciones. Del mismo modo, el paralaje y el movimiento similar de los objetos visuales proporcionan fuertes señales visuales tridimensionales. Inconscientemente, dado que (a menudo sutilmente) nos movemos y movemos la cabeza en la vida diaria, el sonido cambia de maneras igualmente sutiles pero definidas, y esto se suma significativamente a la experiencia auditiva/visual inmersiva “a nuestro alrededor” a la que estamos acostumbrados.
Los experimentos con la reproducción de auriculares han demostrado que, incluso si las trayectorias del sonido desde una fuente de sonido hasta los oídos se modelan adecuadamente mediante filtros, al hacer que estas sean estáticas (es decir, por la falta de cambios relacionados con el movimiento de la cabeza), la experiencia de inmersión se reduce y el sonido puede tender a parecer “dentro de nuestra cabeza”.
Por lo tanto, para crear la impresión de un mundo virtual inmersivo, se han desarrollado algunas aplicaciones que representan fuentes de audio y/u objetos visuales en posiciones que se perciben como fijas con respecto al mundo real. Sin embargo, esta es una operación difícil de hacer de manera óptima y es posible que no siempre conduzca a una experiencia de usuario deseada. En algunas aplicaciones, se presenta una escena tridimensional que sigue el movimiento de la cabeza y, por lo tanto, aparece fija con respecto a la cabeza del usuario. Esta puede ser una experiencia deseable en muchas aplicaciones, pero puede proporcionar una experiencia antinatural en otras aplicaciones y puede, por ejemplo, no permitir una experiencia inmersiva de “estar presente” en la escena virtual. El documento US10015620B2 describe otro ejemplo donde el audio se representa con respecto a una orientación de referencia que representa al usuario. Otros ejemplos de representación de audio y vídeo para experiencias virtuales se pueden encontrar en los documentos WO2020/012067A1, WO2019/141900A1 y US2019/215638. La publicación “3rd Generation Partnership Project; Technical Specification Group Services and System Aspects; Virtual Reality (VR) profiles for streaming applications (Release 15)”, vol. SA WG4, no. V15.2.027 de septiembre de 2019 (27-09-2019), páginas 1-69, describe la memoria descriptiva de la norma correspondiente.
Sin embargo, aunque dichas aplicaciones pueden proporcionar experiencias de usuario adecuadas en muchas realizaciones, tienden a no proporcionar experiencias de usuario óptimas o incluso deseadas para algunas aplicaciones.
Por lo tanto, una estrategia mejorada para la representación de elementos audiovisuales, en particular para una experiencia/aplicación de realidad virtual/aumentada/mixta, sería ventajosa. En particular, una estrategia que permita una operación mejorada, una mayor flexibilidad, una complejidad reducida, una implementación facilitada, una experiencia de usuario mejorada, una percepción más consistente de una escena de audio y/o visual, una personalización mejorada, una personalización mejorada; una experiencia de realidad virtual mejorada y/o un rendimiento y/u operación mejorados sería ventajoso.
RESUMEN DE LA INVENCIÓN
Por consiguiente, la invención busca preferentemente mitigar, aliviar o eliminar una o más de las desventajas mencionadas anteriormente individualmente o en cualquier combinación.
Según un aspecto de la invención, se proporciona un aparato de representación audiovisual comprendiendo: un primer receptor dispuesto para recibir elementos audiovisuales; un receptor de metadatos dispuesto para recibir metadatos comprendiendo poses de entrada para cada uno de al menos algunos de los elementos audiovisuales e indicaciones de categoría de representación para cada uno de al menos algunos de los elementos audiovisuales, estando proporcionadas las poses de entrada con referencia a un sistema de coordenadas de entrada y las indicaciones de categoría de representación indicando una categoría de representación de un conjunto de categorías de representación; un receptor dispuesto para recibir datos de movimiento de la cabeza del usuario indicativos del movimiento de la cabeza de un usuario; un módulo de asignación(mapper)dispuesto para asignar las poses de entrada a las poses de representación en un sistema de coordenadas de representación en respuesta a los datos de movimiento de la cabeza del usuario, estando el sistema de coordenadas de representación fijo con respecto al movimiento de la cabeza; un renderizador dispuesto para representar los elementos audiovisuales usando las poses de representación; donde cada categoría de representación está vinculada con una transformada del sistema de coordenadas de un sistema de coordenadas del mundo real a un sistema de coordenadas de categoría, siendo la transformada del sistema de coordenadas diferente para diferentes categorías y siendo al menos un sistema de coordenadas de categoría variable con respecto al sistema de coordenadas del mundo real y el sistema de coordenadas de representación; y el módulo de asignación está dispuesto para seleccionar una primera categoría de representación del conjunto de categorías de representación para un primero elemento audiovisual en respuesta a una indicación de categoría de representación para el primer elemento audiovisual, y para asignar una pose de entrada para el primer elemento audiovisual a poses de representación en el sistema de coordenadas de representación que corresponden a poses fijas en un sistema de coordenadas de primera categoría para variar el movimiento de la cabeza del usuario, determinándose el sistema de coordenadas de primera categoría a partir de una primera transformada del sistema de coordenadas para la primera categoría de representación.
La estrategia puede proporcionar una experiencia de usuario mejorada en muchas realizaciones y puede proporcionar específicamente una experiencia de usuario mejorada para muchas aplicaciones de realidad virtual (incluyendo realidad aumentada y mixta), incluyendo específicamente experiencias sociales o compartidas. La estrategia puede proporcionar una estrategia muy flexible donde la operación de representación y la percepción espacial de los elementos audiovisuales se pueden adaptar individualmente a los elementos audiovisuales individuales. La estrategia puede, por ejemplo, permitir que algunos elementos audiovisuales que se van a representar aparezcan completamente fijos con respecto al mundo real, que algunos elementos audiovisuales que se van a representar aparezcan completamente fijos para el usuario (siguiendo los movimientos de la cabeza del usuario) y que algunos elementos audiovisuales que se van a representar aparezcan fijos en el mundo real para algunos movimientos y siguiendo al usuario para otros movimientos. En muchas realizaciones, la estrategia puede permitir una representación flexible donde se percibe que un elemento audiovisual sigue sustancialmente al usuario, pero aún puede proporcionar una experiencia espacial fuera de la cabeza del elemento audiovisual.
La estrategia puede reducir la complejidad y los requisitos de recursos en muchas realizaciones y puede, en muchas realizaciones, permitir el control del lado de la fuente de las operaciones de representación.
La categoría de representación puede ser indicativa de si el elemento audiovisual representa una fuente de audio con una propiedad espacial que se fija a la orientación de la cabeza o no se fija a la orientación de la cabeza (posición dependiente de la pose del oyente correspondiente y posición no dependiente de la pose del oyente, respectivamente). La categoría de representación puede ser indicativa de si el elemento de audio es diegético o no.
En muchas realizaciones, el módulo de asignación puede estar dispuesto además para seleccionar una segunda categoría de representación del conjunto de categorías de representación para un segundo elemento audiovisual en respuesta a una indicación de categoría de representación para el segundo elemento audiovisual, y para asignar una pose de entrada para el primer elemento audiovisual a poses de representación en el sistema de coordenadas de representación que corresponden a poses fijas en un sistema de coordenadas de segunda categoría para variar el movimiento de la cabeza del usuario, determinándose el sistema de coordenadas de segunda categoría a partir de una segunda transformada del sistema de coordenadas para la segunda categoría de representación. El módulo de asignación puede estar dispuesto de manera similar para realizar tales operaciones para un tercer, cuarto, quinto, etc. elemento audiovisual.
Un elemento audiovisual puede ser un elemento de audio y/o un elemento visual/vídeo/imagen/ escena. El elemento audiovisual puede ser una representación visual o de audio de un objeto de escena de una escena representada por los elementos audiovisuales. En algunas realizaciones, el término elemento audiovisual puede reemplazarse por el término elemento de audio (o elemento). En algunas realizaciones, el término elemento audiovisual puede reemplazarse por el término elemento visual (u objeto de escena).
En muchas realizaciones, el renderizador puede estar dispuesto para generar señales de audio binaurales de salida para un dispositivo de representación binaural aplicando una representación binaural a los elementos audiovisuales (que son elementos de audio) utilizando las poses de representación.
El término pose puede representar una posición y/u orientación. En algunas realizaciones, el término “pose” puede reemplazarse por el término “posición”. En algunas realizaciones, el término “pose” puede reemplazarse por el término “orientación”. En algunas realizaciones, el término “pose” puede reemplazarse por el término “posición y orientación”.
El receptor puede estar dispuesto para recibir datos de movimiento de la cabeza del usuario del mundo real con referencia a un sistema de coordenadas del mundo real indicativo de un movimiento de la cabeza de un usuario.
El renderizador dispuesto para representar los elementos audiovisuales utilizando las poses de representación con los elementos audiovisuales referenciados/ubicados en el sistema de coordenadas de representación.
El módulo de asignación puede disponerse para asignar una pose de entrada para el primer elemento audiovisual para representar poses en el sistema de coordenadas de representación que corresponden a poses fijas en un sistema de coordenadas de primera categoría para los datos de movimiento de la cabeza que son indicativos de diferentes movimientos variables de la cabeza del usuario.
Enalgunas realizaciones, las indicaciones de categoría de representación son indicativas de un tipo de fuente, tal como un tipo de audio para un elemento de audio o un tipo de objeto de escena para un elemento visual.
Esto puede proporcionar una experiencia de usuario mejorada en muchas realizaciones. Las indicaciones de categoría de representación pueden ser indicativas de un tipo de fuente de audio de un conjunto de tipos de fuente de audio incluyendo al menos un tipo de fuente de audio del grupo de: audio de voz; audio de música; audio de primer plano; audio de fondo; voz sobre audio; y audio de narrador.
Según una característica opcional de la invención, una segunda transformada de sistema de coordenadas para una segunda categoría es tal que un sistema de coordenadas de categoría para la segunda categoría está alineado con el movimiento de la cabeza del usuario.
Esto puede proporcionar una experiencia de usuario mejorada y/o un rendimiento mejorado y/o una implementación facilitada en muchas realizaciones. En particular, puede apoyar que algunos elementos audiovisuales puedan parecer fijos con respecto a la cabeza del usuario, mientras que otros no lo son.
Según una característica opcional de la invención, una tercera transformada de sistema de coordenadas para una tercera categoría es tal que un sistema de coordenadas de categoría para la tercera categoría está alineado con el sistema de coordenadas del mundo real.
Esto puede proporcionar una experiencia de usuario mejorada y/o un rendimiento mejorado y/o una implementación facilitada en muchas realizaciones. En particular, puede apoyar que algunos elementos audiovisuales puedan parecer fijos con respecto al mundo real, mientras que otros no lo son.
Según una característica opcional de la invención, la primera transformada del sistema de coordenadas depende de los datos de movimiento de la cabeza del usuario.
Esto puede proporcionar una experiencia de usuario mejorada y/o un rendimiento mejorado y/o una implementación facilitada en muchas realizaciones. En particular, en algunas aplicaciones, puede proporcionar una experiencia muy ventajosa donde la pose del elemento audiovisual sigue los movimientos generales del usuario, pero no los movimientos de la cabeza más pequeños/más rápidos, proporcionando así una experiencia de usuario mejorada con una experiencia fuera de la cabeza mejorada.
Según una característica opcional de la invención, donde la primera transformada del sistema de coordenadas depende de una pose de cabeza promedio.
Según una característica opcional de la invención, la primera transformada del sistema de coordenadas alinea el sistema de coordenadas de primera categoría con una pose de cabeza promedio.
Según una característica opcional de la invención, una transformada de sistema de coordenadas diferente para una categoría de representación diferente depende de los datos de movimiento de cabeza de usuario, la dependencia del movimiento de cabeza de usuario para la primera transformada de sistema de coordenadas y la transformada de sistema de coordenadas diferente que tiene diferentes propiedades de promediado temporal.
Según una característica opcional de la invención, el aparato de representación audiovisual comprende un receptor para recibir datos de pose de torso de usuario indicativos de una pose de torso de usuario, y la primera transformada de sistema de coordenadas depende de los datos de pose de torso de usuario.
Esto puede proporcionar una experiencia de usuario mejorada y/o un rendimiento mejorado y/o una implementación facilitada en muchas realizaciones. En particular, en algunas aplicaciones, puede proporcionar una experiencia muy ventajosa donde la pose del elemento audiovisual sigue los movimientos generales del usuario, pero no los movimientos de la cabeza más pequeños/más rápidos, proporcionando así una experiencia de usuario mejorada con una experiencia fuera de la cabeza mejorada.
Según una característica opcional de la invención, la primera transformada del sistema de coordenadas depende de una pose promedio del torso.
Según una característica opcional de la invención, la primera transformada del sistema de coordenadas alinea el sistema de coordenadas de primera categoría con una pose del torso del usuario.
Según una característica opcional de la invención, el aparato de representación audiovisual comprende además un receptor para recibir datos de pose de dispositivo indicativos de una pose de un dispositivo externo, y la primera transformada de sistema de coordenadas depende de los datos de pose de dispositivo.
Esto puede proporcionar una experiencia de usuario mejorada y/o un rendimiento mejorado y/o una implementación facilitada en muchas realizaciones. En particular, en algunas aplicaciones, puede proporcionar una experiencia muy ventajosa donde la pose del elemento audiovisual sigue los movimientos generales del usuario, pero no los movimientos de la cabeza más pequeños/más rápidos, proporcionando así una experiencia de usuario mejorada con una experiencia fuera de la cabeza mejorada.
Según una característica opcional de la invención, la primera transformada del sistema de coordenadas depende de una pose promedio del dispositivo. Según una característica opcional de la invención, la primera transformada del sistema de coordenadas alinea el sistema de coordenadas de primera categoría con una pose de un dispositivo. Según una característica opcional de la invención, el módulo de asignación está dispuesto para seleccionar la primera categoría de representación en respuesta a un parámetro de movimiento de usuario indicativo de un movimiento del usuario.
Según una característica opcional de la invención, el módulo de asignación está dispuesto para determinar una transformada de sistema de coordenadas entre el sistema de coordenadas del mundo real y un sistema de coordenadas para los datos de movimiento de la cabeza del usuario en respuesta a un parámetro de movimiento del usuario indicativo de un movimiento del usuario.
Según una característica opcional de la invención, el módulo de asignación está dispuesto para determinar el parámetro de movimiento del usuario en respuesta a los datos de movimiento de la cabeza del usuario.
Según una característica opcional de la invención, al menos algunas indicaciones de categoría de representación son indicativas de si los elementos audiovisuales para las al menos algunas indicaciones de categoría de representación son elementos audiovisuales diegéticos o no diegéticos.
Según una característica opcional de la invención, los elementos audiovisuales son elementos de audio y el renderizador está dispuesto para generar señales de audio binaurales de salida para un dispositivo de representación binaural aplicando una representación binaural a los elementos de audio usando las poses de representación.
Según otro aspecto de la invención, se proporciona un procedimiento de representación de elementos audiovisuales, comprendiendo el procedimiento: recibir elementos audiovisuales; recibir metadatos comprendiendo poses de entrada para cada uno de al menos algunos de los elementos audiovisuales e indicaciones de categoría de representación para cada uno de al menos algunos de los elementos audiovisuales, proporcionándose las poses de entrada con referencia a un sistema de coordenadas de entrada y las indicaciones de categoría de representación que indican una categoría de representación de un conjunto de categorías de representación; recibir datos de movimiento de la cabeza del usuario indicativos del movimiento de la cabeza de un usuario; asignar las poses de entrada a poses de representación en un sistema de coordenadas de representación en respuesta a los datos de movimiento de la cabeza del usuario, estando el sistema de coordenadas de representación fijo con respecto al movimiento de la cabeza; representar los elementos audiovisuales usando las poses de representación; donde cada categoría de representación está vinculada con una transformada de sistema de coordenadas de un sistema de coordenadas del mundo real a un sistema de coordenadas de categoría, siendo la transformada de transformada de sistema de coordenadas diferente para diferentes categorías y siendo al menos un sistema de coordenadas de categoría variable con respecto al sistema de coordenadas del mundo real y el sistema de coordenadas de representación; y el procedimiento incluye seleccionar una primera categoría de representación del conjunto de categorías de representación para un primer elemento audiovisual en respuesta a una indicación de categoría de representación para el primer elemento audiovisual, y asignar una pose de entrada para el primer elemento audiovisual para representar poses en el sistema de coordenadas de representación que corresponden a poses fijas en un sistema de coordenadas de primera categoría para variar el movimiento de la cabeza del usuario, determinándose el sistema de coordenadas de primera categoría a partir de una primera transformada de sistema de coordenadas para la primera categoría de representación.
Estos y otros aspectos, características y ventajas de la invención resultarán evidentes y se esclarecerán en referencia a las realizaciones que se describen a continuación.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Las realizaciones de la invención se describirán solo a modo de ejemplo, con referencia a los dibujos, donde la FIG. 1 ilustra un ejemplo de un sistema de realidad virtual basado en servidor cliente;
la FIG. 2 ilustra un ejemplo de elementos de un aparato de representación audiovisual según algunas realizaciones de la invención;
la FIG. 3 ilustra un ejemplo de una posible estrategia de representación mediante el aparato de representación audiovisual de la FIG. 2;
la FIG. 4 ilustra un ejemplo de una posible estrategia de representación mediante el aparato de representación audiovisual de la FIG. 2;
la FIG. 5 ilustra un ejemplo de una posible estrategia de representación mediante el aparato de representación audiovisual de la FIG. 2;
la FIG. 6 ilustra un ejemplo de una posible estrategia de representación mediante el aparato de representación audiovisual de la FIG. 2; y
la FIG. 7 ilustra un ejemplo de una posible estrategia de representación mediante el aparato de representación audiovisual de la FIG. 2.
DESCRIPCIÓN DETALLADA DE ALGUNAS REALIZACIONES DE LA INVENCIÓN
La siguiente descripción se centrará en realizaciones donde los elementos audiovisuales que incluyen tanto elementos de audio como elementos visuales se presentan mediante una representación que incluye tanto la representación de audio como la representación visual. Sin embargo, se apreciará que las estrategias y principios descritos también se pueden aplicar individualmente y por separado, por ejemplo, solo a la representación de audio de elementos de audio o solo a la representación de vídeo/visual/imagen de elementos visuales, como objetos visuales en una escena de vídeo.
La descripción también se centrará en aplicaciones de realidad virtual, aunque se apreciará que las estrategias descritas se pueden usar en muchas otras aplicaciones, incluidas las aplicaciones de realidad aumentada y mixta.
Las experiencias de realidad virtual (incluida la realidad aumentada y mixta) que permiten a un usuario moverse en un mundo virtual o aumentado son cada vez más populares y se están desarrollando servicios para satisfacer tales demandas. En muchas de estas estrategias, los datos visuales y de audio pueden generarse dinámicamente para reflejar la pose actual de un usuario (o espectador).
En el campo, los términos colocación y pose se usan como un término común para posición y/o dirección/orientación. La combinación de la posición y la dirección/orientación de, por ejemplo, un objeto, una cámara, una cabeza o una vista se puede denominar pose o colocación. Por lo tanto, una indicación de colocación o pose puede comprender hasta seis valores/componentes/grados de libertad con cada valor/componente que describe típicamente una propiedad individual de la posición/ubicación o la orientación/dirección del objeto correspondiente. Por supuesto, en muchas situaciones, una colocación o pose puede estar representada por menos componentes, por ejemplo, si uno o más componentes se consideran fijos o irrelevantes (por ejemplo, si se considera que todos los objetos están a la misma altura y tienen una orientación horizontal, cuatro componentes pueden proporcionar una representación completa de la pose de un objeto). A continuación, el término pose se usa para referirse a una posición y/u orientación que puede estar representada por uno a seis valores (correspondientes a los máximos grados de libertad posibles).
Muchas aplicaciones de realidad virtual se basan en una pose que tiene los grados máximos de libertad, es decir, tres grados de libertad de cada una de la posición y la orientación, lo que da como resultado un total de seis grados de libertad. Por lo tanto, una pose puede representarse mediante un conjunto o vector de seis valores que representan los seis grados de libertad y, por lo tanto, un vector de pose puede proporcionar una posición tridimensional y/o una indicación de dirección tridimensional. Sin embargo, se apreciará que, en otras realizaciones, la pose puede estar representada por menos valores.
Un sistema o entidad basado en proporcionar el máximo grado de libertad para el espectador generalmente se conoce como tener 6 grados de libertad (6DoF). Muchos sistemas y entidades proporcionan solo una orientación o posición y estos generalmente se conocen como que tienen 3 grados de libertad (3DoF).
Típicamente, la aplicación de realidad virtual genera una salida tridimensional en forma de imágenes de vista separadas para los ojos izquierdo y derecho. A continuación, estos pueden presentarse al usuario por medios adecuados, tales como pantallas de los ojos izquierdo y derecho, típicamente individuales de un auricular de VR. En otras realizaciones, una o más imágenes de visualización pueden, por ejemplo, presentarse en una pantalla autoestereoscópica, o de hecho, en algunas realizaciones solo se puede generar una única imagen bidimensional (por ejemplo, usando una pantalla bidimensional convencional).
De manera similar, para una pose dada de espectador/usuario/oyente, se puede proporcionar una representación de audio de la escena. La escena de audio se representa típicamente para proporcionar una experiencia espacial donde se percibe que las fuentes de audio se originan desde las posiciones deseadas. Como las fuentes de audio pueden estar estáticas en la escena, los cambios en la pose del usuario darán como resultado un cambio en la posición relativa de la fuente de audio con respecto a la pose del usuario. Por consiguiente, la percepción espacial de la fuente de audio puede cambiar para reflejar la nueva posición con respecto al usuario. Por consiguiente, la representación de audio puede adaptarse según la pose del usuario.
La entrada de pose de espectador o usuario puede determinarse de diferentes maneras en diferentes aplicaciones. En muchas realizaciones, el movimiento físico de un usuario puede rastrearse directamente. Por ejemplo, una cámara que inspecciona un área de usuario puede detectar y rastrear la cabeza del usuario (o incluso los ojos (seguimiento ocular)). En muchas realizaciones, el usuario puede usar un auricular de realidad virtual que puede ser rastreado por medios externos y/o internos. Por ejemplo, los auriculares pueden comprender acelerómetros y giroscopios que proporcionan información sobre el movimiento y la rotación de los auriculares y, por lo tanto, de la cabeza. En algunos ejemplos, los auriculares de VR pueden transmitir señales o comprender identificadores (por ejemplo, visuales) que permiten que un sensor externo determine la posición y orientación de los auriculares de VR.
En algunos sistemas, la aplicación de VR puede proporcionarse localmente a un espectador mediante, por ejemplo, un dispositivo independiente que no usa, o incluso no tiene acceso a, ningún procesamiento o datos de VR remotos. Por ejemplo, un dispositivo tal como una consola de juegos puede comprender un almacén para almacenar los datos de escena, una entrada para recibir/generar la pose del espectador y un procesador para generar las imágenes y/o audios correspondientes a partir de los datos de escena.
En otros sistemas, los datos de VR/escena pueden proporcionarse desde un dispositivo o servidor remoto.
Por ejemplo, un dispositivo remoto puede generar datos de audio que representan una escena de audio y puede transmitir componentes/objetos/señales de audio u otros elementos de audio correspondientes a diferentes fuentes de audio en la escena de audio junto con información de posición indicativa de la posición de estos (que puede, por ejemplo, cambiar dinámicamente para objetos en movimiento). Los elementos de audio pueden incluir elementos asociados con posiciones específicas, pero también pueden incluir elementos para fuentes de audio más distribuidas o difusas. Por ejemplo, se pueden proporcionar elementos de audio que representen sonido de fondo genérico (no localizado), sonido ambiental, reverberación difusa, etc.
A continuación, el dispositivo de VR local puede representar los elementos de audio de manera apropiada, por ejemplo, aplicando un procesamiento binaural apropiado que refleje la posición relativa de las fuentes de audio para los componentes de audio.
De manera similar, un dispositivo remoto puede generar datos visuales y de vídeo que representan una escena de audio visual y puede transmitir componentes/objetos/señales de escenas visuales u otros elementos visuales correspondientes a diferentes objetos en la escena visual junto con información de posición indicativa de la posición de estos (que puede, por ejemplo, cambiar dinámicamente para objetos en movimiento). Los elementos visuales pueden incluir elementos asociados con posiciones específicas, pero también pueden incluir elementos de vídeo para fuentes más distribuidas.
En algunas realizaciones, los elementos visuales pueden proporcionarse como elementos individuales y separados, tales como, por ejemplo, como descripciones de objetos de escena individuales (por ejemplo, dimensiones, textura, opacidad, reflectividad, etc.). Como alternativa o adicionalmente, los elementos visuales pueden representarse como parte de un modelo general de la escena, por ejemplo, incluyendo descripciones de diferentes objetos y su relación entre sí.
Para un servicio de VR, un servidor central puede, en consecuencia, en algunas realizaciones generar datos audiovisuales que representan una escena tridimensional, y puede representar específicamente el audio por una cantidad de elementos de audio y la escena visual por una cantidad de elementos de vídeo que pueden ser representados por el cliente/dispositivo local.
La FIG. 1 ilustra un ejemplo de un sistema de VR donde un servidor central 101 se comunica con una serie de clientes remotos 103, por ejemplo, a través de una red 105, tal como, por ejemplo, Internet. El servidor central 101 puede estar dispuesto para admitir simultáneamente un número potencialmente grande de clientes remotos 103.
En muchos escenarios, dicho estrategia puede proporcionar una compensación mejorada, por ejemplo, entre la complejidad y las demandas de recursos para diferentes dispositivos, requisitos de comunicación, etc. Por ejemplo, los datos de escena pueden transmitirse solo una vez o con relativamente poca frecuencia con el dispositivo de representación local (el cliente remoto 103) recibiendo una pose de espectador y procesando localmente los datos de escena para representar audio y/o vídeo para reflejar cambios en la pose de espectador. Esta estrategia puede proporcionar un sistema eficiente y una experiencia de usuario atractiva. Puede, por ejemplo, reducir sustancialmente el ancho de banda de comunicación requerido al tiempo que proporciona una experiencia en tiempo real de baja latencia al tiempo que permite que los datos de la escena se almacenen, generen y mantengan centralmente. Puede ser adecuado, por ejemplo, para aplicaciones donde se proporciona una experiencia de realidad virtual a una pluralidad de dispositivos remotos.
La FIG. 2 ilustra elementos de un aparato de representación audiovisual que puede proporcionar una representación audiovisual mejorada en muchas aplicaciones y escenarios. En particular, el aparato de representación audiovisual puede proporcionar una representación mejorada para muchas aplicaciones de VR, y el aparato de representación audiovisual puede disponerse específicamente para realizar el procesamiento y la representación para un cliente de VR 103 de la FIG. 1.
El aparato de audio de la FIG. 2 está dispuesto para representar una escena tridimensional mediante la representación de audio y vídeo espacial para proporcionar una percepción tridimensional de la escena. La descripción específica del aparato de representación audiovisual se centrará en una aplicación que proporcione la estrategia descrita tanto para audio como para vídeo, pero se apreciará que en otras realizaciones la estrategia se puede aplicar solo al procesamiento de audio o vídeo/visual, y de hecho en algunas realizaciones el aparato de representación puede comprender funcionalidad solo para representar audio o solo para representar vídeo, es decir, el aparato de representación audiovisual puede ser cualquier aparato de representación de audio o cualquier aparato de representación de vídeo.
El aparato de representación audiovisual comprende un primer receptor 201 que está dispuesto para recibir elementos audiovisuales de una fuente local o remota. En el ejemplo específico, el primer receptor 201 recibe datos que describen los elementos audiovisuales desde el servidor 101. El primer receptor 201 puede estar dispuesto para recibir datos que describen la escena virtual. Los datos pueden incluir datos que proporcionan una descripción visual de la escena y pueden incluir datos que proporcionan una descripción de audio de la escena. Por lo tanto, los datos recibidos pueden proporcionar una descripción de escena de audio y una descripción de escena visual.
Los elementos de audio pueden ser datos de audio codificados, tales como señales de audio codificadas. Los elementos de audio pueden ser diferentes tipos de elementos de audio que incluyen diferentes tipos de señales y componentes, y de hecho en muchas realizaciones el primer receptor 201 puede recibir datos de audio que definen diferentes tipos/formatos de audio. Por ejemplo, los datos de audio pueden incluir audio representado por señales de canal de audio, objetos de audio individuales, audio basado en escenas tal como Ambisónica de Orden Superior(Higher Order Ambisonics,HOA), etc. El audio puede representarse, por ejemplo, como audio codificado para un componente de audio dado que se va a representar.
El primer receptor 201 está acoplado a un renderizador 203 que procede a representar la escena en base a los datos recibidos que describen los elementos audiovisuales. En el caso de datos codificados, el renderizador 203 también puede estar dispuesto para decodificar los datos (o en algunas realizaciones, la decodificación puede ser realizada por el primer receptor 201).
Específicamente, el renderizador 203 puede comprender un renderizador de imágenes 205 que está dispuesto para generar imágenes correspondientes a la pose de visualización actual de un espectador. Por ejemplo, los datos pueden incluir datos de imágenes espaciales en 3D (por ejemplo, imágenes y profundidad o una descripción del modelo de la escena) y a partir de esto el renderizador visual 203 puede generar imágenes estéreo (imagen para los ojos izquierdo y derecho de un usuario) como sabrá el experto en la materia. Las imágenes pueden presentarse al usuario, por ejemplo, a través de pantallas individuales de los ojos izquierdo y derecho de un auricular de VR.
El renderizador 203 comprende además un renderizador de audio 207 que está dispuesto para representar la escena de audio generando señales de audio basadas en los elementos de audio. En el ejemplo, el renderizador de audio 207 es un renderizador de audio binaural que genera señales de audio binaurales para el oído izquierdo y derecho de un usuario. Las señales de audio binaurales se generan para proporcionar una experiencia espacial deseada y generalmente se reproducen mediante auriculares o audífonos que específicamente pueden ser parte de un auricular usado por un usuario, comprendiendo también el auricular las pantallas del ojo izquierdo y derecho.
Por lo tanto, en muchas realizaciones, la representación de audio por el renderizador de audio 207 es un proceso de representación binaural que utiliza funciones de transferencia binaural adecuadas para proporcionar el efecto espacial deseado para un usuario que usa un auricular. Por ejemplo, el renderizador de audio 207 puede estar dispuesto para generar un componente de audio que se percibe que llega desde una posición específica usando procesamiento binaural.
Se sabe que el procesamiento binaural se utiliza para proporcionar una experiencia espacial mediante el posicionamiento virtual de fuentes de sonido utilizando señales individuales para los oídos del oyente. Con un procesamiento de representación binaural adecuado, se pueden calcular las señales requeridas en los tímpanos para que el oyente perciba el sonido desde cualquier dirección deseada, y las señales se pueden representar de tal manera que proporcionen el efecto deseado. A continuación, estas señales se recrean en el tímpano utilizando auriculares o un procedimiento de cancelación de diafonía (adecuado para representar a través de altavoces estrechamente espaciados). La representación binaural puede considerarse como una estrategia para generar señales para los oídos de un oyente, lo que resulta en engañar al sistema auditivo humano para que perciba que un sonido proviene de las posiciones deseadas.
La representación binaural se basa en funciones de transferencia binaural que varían de persona a persona debido a las propiedades acústicas de la cabeza, las orejas y las superficies reflectantes, como los hombros. Por ejemplo, se pueden usar filtros binaurales para crear una grabación binaural que simule múltiples fuentes en varias ubicaciones. Esto puede realizarse convolucionando cada fuente de sonido con el par de, por ejemplo, respuestas al impulso relacionadas con la cabeza(Head Related Impulse Responses,HRIR) que corresponden a la posición de la fuente de sonido.
Un procedimiento bien conocido para determinar las funciones de transferencia binaural es el registro binaural. Es un procedimiento de grabación de sonido que utiliza una disposición de micrófono dedicada y está destinado a la reproducción con auriculares. La grabación se realiza colocando micrófonos en el canal auditivo de un sujeto o usando una cabeza ficticia con micrófonos incorporados, un busto que incluye pabellones auditivos (orejas externas). El uso de tal cabeza ficticia que incluye pabellones proporciona una impresión espacial muy similar como si la persona que escucha las grabaciones estuviera presente durante la grabación.
Al medir, por ejemplo, las respuestas de una fuente de sonido en una ubicación específica en el espacio 2D o 3D a los micrófonos colocados en o cerca de los oídos humanos, se pueden determinar los filtros binaurales apropiados. En base a dichas mediciones, se pueden generar filtros binaurales que reflejen las funciones de transferencia acústica a los oídos del usuario. Se pueden usar los filtros binaurales para crear una grabación binaural que simule múltiples fuentes en varias ubicaciones. Esto se puede realizar, por ejemplo, convolucionando cada fuente de sonido con el par de respuestas de impulso medidas para una posición deseada de la fuente de sonido. Para crear la ilusión de que una fuente de sonido se está moviendo alrededor del oyente, normalmente se requiere un gran número de filtros binaurales con una cierta resolución espacial, por ejemplo, 10 grados.
Las funciones de transferencia binaural relacionadas con la cabeza pueden representarse, por ejemplo, como respuestas de impulso relacionadas con la cabeza(Head Related Impulse Responses,HRIR), o equivalentemente como funciones de transferencia relacionadas con la cabeza(Head Related Transfer Functions,HRTF) o respuestas de impulso de sala binaural(Binaural Room Impulse Responses,BRIR) o funciones de transferencia de sala binaural(Binaural Room Transfer Functions,BRTF). La función de transferencia (por ejemplo, estimada o supuesta) desde una posición dada a los oídos (o tímpanos) del oyente puede darse, por ejemplo, en el dominio de la frecuencia, en cuyo caso se denomina típicamente HRTF o BRTf , o en el dominio del tiempo, en cuyo caso se denomina típicamente HRIR o BRIR. En algunos escenarios, se determina que las funciones de transferencia binaural relacionadas con la cabeza incluyen aspectos o propiedades del entorno acústico y específicamente de la habitación donde se realizan las mediciones, mientras que en otros ejemplos solo se consideran las características del usuario. Ejemplos del primer tipo de funciones son las BRIR y las BRTF.
Por consiguiente, el renderizador de audio 207 puede comprender un almacén con funciones de transferencia binaural para un número, típicamente alto, de posiciones diferentes, proporcionando cada función de transferencia binaural información de cómo se debe procesar/filtrar una señal de audio para que se perciba que se origina desde esa posición. La aplicación individual de procesamiento binaural a una pluralidad de señales/fuentes de audio y la combinación del resultado se pueden usar para generar una escena de audio con una serie de fuentes de audio colocadas en posiciones apropiadas en la etapa de sonido.
El renderizador de audio 207 puede, para un elemento de audio dado que debe percibirse que se origina desde una posición dada con respecto a la cabeza del usuario, seleccionar y recuperar la función de transferencia binaural almacenada que coincida más estrechamente con la posición deseada (o en algunos casos puede generar esto interpolando entre una pluralidad de funciones de transferencia binaural cercanas). A continuación, puede aplicar la función de transferencia binaural seleccionada a la señal de audio del elemento de audio, generando así una señal de audio para el oído izquierdo y una señal de audio para el oído derecho.
La señal estéreo de salida generada en forma de la señal del oído izquierdo y derecho es entonces adecuada para la representación de auriculares y puede amplificarse para generar señales de accionamiento que se alimentan a los auriculares de un usuario. El usuario percibirá a continuación que el elemento de audio se origina desde la posición deseada.
Se apreciará que los elementos de audio también pueden procesarse en algunas realizaciones para, por ejemplo, añadir efectos de entorno acústico. Por ejemplo, el elemento de audio puede procesarse para añadir reverberación o, por ejemplo, decorrelación/difusividad. En muchas realizaciones, este procesamiento puede realizarse en la señal binaural generada en lugar de directamente en la señal del elemento de audio.
Por lo tanto, el renderizador de audio 207 puede estar dispuesto para generar las señales de audio de tal manera que un elemento de audio dado se represente de tal manera que un usuario que usa los auriculares perciba que el elemento de audio se recibe desde una posición deseada. Otros elementos de audio pueden, por ejemplo, distribuirse y difundirse y pueden representarse como tales.
Se apreciará que muchos algoritmos y estrategias para la representación de audio espacial, por ejemplo, usando auriculares, y específicamente para la representación binaural, serán conocidos por el experto en la materia y que se puede usar cualquier estrategia adecuada sin restar importancia a la invención.
El aparato de representación audiovisual comprende además un segundo receptor 209 que es un receptor de metadatos dispuesto para recibir metadatos para los elementos audiovisuales. Los metadatos en particular comprenden datos de posición para uno o más de los elementos audiovisuales. Los metadatos pueden incluir posiciones de entrada que indican una posición para uno o más de los elementos audiovisuales.
Los datos audiovisuales recibidos pueden comprender datos de audio y/o visuales que describen la escena. Los datos audiovisuales comprenden específicamente datos audiovisuales para un conjunto de elementos audiovisuales correspondientes a fuentes de audio y/u objetos visuales en la escena. Algunos elementos de audio pueden representar fuentes de audio localizadas en la escena que están asociadas con una posición y/u orientación específica en la escena (donde la posición y/u orientación puede cambiar dinámicamente para un objeto en movimiento). Los datos visuales pueden comprender datos que describen objetos de escena que permiten generar y representar una representación visual de estos en una imagen/vídeo presentada al usuario (típicamente una imagen 3D que usa pantallas separadas de un auricular).
A menudo, un elemento de audio puede representar audio generado por un objeto de escena específico en la escena virtual y, por lo tanto, puede representar una fuente de audio en una posición correspondiente a la del objeto de escena (por ejemplo, un ser humano). En tales casos, los mismos datos/indicación de posición pueden incluirse y usarse tanto para un elemento de audio como para el objeto de escena visual correspondiente (y de manera similar para la orientación).
Otros elementos pueden representar fuentes de audio más distribuidas o difusas, tales como, por ejemplo, ruido ambiental o de fondo que puede ser difuso. Como otro ejemplo, algunos elementos de audio pueden representar total o parcialmente componentes de audio no localizados espacialmente de fuentes de audio localizadas, tal como, por ejemplo, una reverberación difusa de una fuente de audio espacialmente bien definida.
De manera similar, algunos objetos de escena visuales pueden tener posiciones extendidas y, por ejemplo, los datos de posición pueden indicar un centro o posición de referencia para el objeto de escena.
Los metadatos pueden comprender datos de pose que indican una posición y/u orientación de los elementos audiovisuales y específicamente la posición y/u orientación de una fuente de audio y/o un objeto o elemento de escena visual. Los datos de pose pueden incluir, por ejemplo, datos de posición y/u orientación absolutos que definen una posición de cada uno, o al menos algunos de los elementos.
Las poses se proporcionan con referencia a un sistema de coordenadas de entrada, es decir, el sistema de coordenadas de entrada es el sistema de coordenadas de referencia para las indicaciones de pose proporcionadas en los metadatos recibidos por el segundo receptor. El sistema de coordenadas de entrada suele ser fijo con referencia a la escena que se está representando/renderizando. Por ejemplo, la escena puede ser una escena virtual (o real) donde las fuentes de audio y los objetos de escena están presentes en posiciones que se proporcionan con referencia a la escena, es decir, el sistema de coordenadas de entrada es típicamente un sistema de coordenadas de escena para la escena que se representa por los datos audiovisuales.
Con el fin de proporcionar una representación de usuario de la escena, la escena se representará a partir de una pose de espectador o usuario, es decir, la escena se representará como se percibiría en una pose de espectador/usuario dada en la escena y con la representación de audio y visual que proporciona el audio y las imágenes que se percibirían para esa pose de espectador.
La representación por el renderizador 203 se realiza con respecto a un sistema de coordenadas de representación que está fijo con respecto a la cabeza y los movimientos de la cabeza del usuario. La reproducción de las señales de audio representadas es típicamente un dispositivo de reproducción usado o montado en la cabeza, como auriculares/auriculares y pantallas individuales para los ojos. Típicamente, la reproducción es mediante un dispositivo de auriculares comprendiendo medios de reproducción de audio y vídeo. El renderizador está dispuesto para generar los elementos audiovisuales representados con referencia al dispositivo/medio de reproducción, y se asume que la pose del usuario es constante/fija con referencia al dispositivo/medio de reproducción. Por ejemplo, la posición de una fuente de audio se determina con respecto a los auriculares (es decir, la posición en el sistema de coordenadas de representación) y los filtros HRTF apropiados para esa posición se recuperan y utilizan para representar las señales de audio de modo que se perciba que las fuentes de audio llegan desde la posición relativa requerida en el sistema de coordenadas de representación. De manera similar, para un objeto de escena dado, se determina la posición relativa con respecto a las pantallas (es decir, la posición en el sistema de coordenadas de representación) y las imágenes correspondientes a las vistas desde las poses izquierda y ocular relativas a esta posición, respectivamente.
Por lo tanto, el sistema de coordenadas de representación puede considerarse como un sistema de coordenadas que se fija a la cabeza del usuario, y específicamente como un sistema de coordenadas de representación que es independiente de los movimientos de la cabeza o, de hecho, plantea cambios del usuario. Se supone/considera que el dispositivo de reproducción (ya sea de audio, visual o tanto de audio como visual) es fijo con respecto a la cabeza del usuario y, por lo tanto, con respecto al sistema de coordenadas de representación.
Se puede considerar que el sistema de coordenadas de reproducción que es fijo con respecto al movimiento de la cabeza del usuario corresponde a un sistema de coordenadas de reproducción fijo con respecto a un dispositivo de reproducción para reproducir los elementos audiovisuales representados. El término sistema de coordenadas de representación puede ser equivalente al sistema de coordenadas del dispositivo/medio de reproducción y puede reemplazarse por este. De manera similar, el término “sistema de coordenadas de reproducción que está fijado con respecto al movimiento de la cabeza del usuario” puede ser equivalente a “dispositivo de reproducción/sistema de coordenadas de medios fijado con respecto a un dispositivo de reproducción para reproducir los elementos audiovisuales representados” y puede reemplazarse de ese modo.
A medida que el renderizador realiza la representación basada en poses con referencia a un sistema de coordenadas de representación y las poses para los elementos audiovisuales se proporcionan con referencia a un sistema de coordenadas de entrada, el aparato de representación audiovisual comprende un módulo de asignación 211 que está dispuesto para asignar las posiciones de entrada en el sistema de coordenadas de entrada a las posiciones de representación en el sistema de coordenadas de representación.
El aparato de representación audiovisual comprende un receptor de datos de movimiento de cabeza 213 para recibir datos de movimiento de cabeza de usuario indicativos de movimiento de cabeza de usuario. Los datos de movimiento de cabeza de usuario pueden ser indicativos del movimiento de la cabeza del usuario en el mundo real y, por lo general, se proporcionan con referencia a un sistema de coordenadas del mundo real. Los datos de movimiento de cabeza pueden ser indicativos del movimiento absoluto o relativo de la cabeza del usuario en el mundo real y pueden reflejar específicamente cambios de pose del usuario absolutos o relativos con respecto a un sistema de coordenadas del mundo real. Los datos de movimiento de la cabeza pueden ser indicativos de un cambio (o ningún cambio) en la pose de la cabeza (orientación y/o posición), y también se pueden denominar datos de pose de la cabeza.
Se apreciará que se conocen muchas estrategias posibles diferentes para detectar y representar el movimiento de la cabeza y que se puede usar cualquier estrategia adecuada sin restar importancia a la invención. El receptor de datos de movimiento de la cabeza 213 puede recibir específicamente datos de movimiento de la cabeza desde un auricular de VR o un detector de movimiento de la cabeza de VR como se conoce en la técnica.
El módulo de asignación 211 está acoplado al receptor de datos de movimiento de la cabeza 213 y recibe los datos de movimiento de la cabeza del usuario. El módulo de asignación está dispuesto para realizar la asignación entre las posiciones de entrada en el sistema de coordenadas de entrada y las posiciones de representación en el sistema de coordenadas de representación en respuesta a los datos de movimiento de la cabeza del usuario. Por ejemplo, el módulo de asignación 211 puede procesar continuamente los datos de movimiento de la cabeza del usuario para rastrear continuamente una pose de usuario actual en un sistema de coordenadas del mundo real. La asignación entre las poses de entrada y las poses de representación puede basarse en las poses del usuario.
Por ejemplo, en muchas aplicaciones, se desea que el usuario tenga una experiencia como si estuviera presente en la escena tridimensional que se representa. Por lo tanto, se desea que el audio y las imágenes representadas reflejen las poses del usuario que siguen los movimientos de la cabeza del usuario. Por consiguiente, se desea que los elementos audiovisuales se representen de tal manera que se perciban como fijos con referencia al mundo real, ya que esto da como resultado que los movimientos del mundo real se reproduzcan en la representación de la escena (típicamente virtual).
En tal caso, la asignación de las poses de entrada a las poses de representación es tal que los elementos audiovisuales parecen estar fijos con respecto al mundo real, es decir, se representan para ser percibidos como fijos con referencia al mundo real. Por lo tanto, la misma pose de entrada se asigna a diferentes poses de representación para reflejar el cambio en la pose de la cabeza del usuario. Por ejemplo, si el usuario gira la cabeza, por ejemplo, 30°, una escena del mundo real se hace con referencia al usuario girado en -30°. El módulo de asignación 211 puede realizar un cambio correspondiente de modo que la asignación de las poses de entrada a las poses de representación se modifique para incluir una rotación adicional de 30° con respecto a la situación anterior a la rotación de la cabeza del usuario. Como consecuencia, los elementos audiovisuales estarán en diferentes poses en el sistema de coordenadas de representación, pero se percibirán como en la misma pose del mundo real. Por lo tanto, la asignación puede cambiarse dinámicamente de modo que se perciba que los elementos audiovisuales están fijos con referencia al mundo real y, por lo tanto, se proporciona una experiencia muy natural.
Por ejemplo, para crear la ilusión de un mundo virtual inmersivo, la representación tridimensional de audio y/o visual se controla típicamente por medio del seguimiento de la cabeza donde la representación se compensa por las poses de la cabeza, comprendiendo particularmente cambios de orientación de la cabeza (en 3 grados de libertad espacial o 3-DoF, como rotación horizontal, vertical o lateral). La representación es tal que los elementos audiovisuales se perciben como fijos con respecto al usuario. El efecto de este seguimiento de la cabeza y la consiguiente adaptación de la representación es un alto realismo y una percepción fuera de la cabeza del contenido representado, en comparación con una representación estática.
Sin embargo, otra estrategia es asignar las poses de entrada a las poses de representación que son fijas con respecto al sistema de coordenadas de representación. Esto puede ser realizado, por ejemplo, por el módulo de asignación 211 aplicando una asignación fija de poses de entrada a poses de representación donde la asignación es independiente de los datos de movimiento de la cabeza y específicamente donde los cambios en la pose del usuario no dan como resultado una asignación cambiada entre las poses de entrada y las poses de representación. El efecto de dicha asignación es efectivamente que la escena percibida se mueve junto con la cabeza, es decir, es estática con respecto a la cabeza del usuario. Aunque esto puede parecer antinatural para la mayoría de las escenas, puede ser ventajoso en algunos escenarios. Por ejemplo, puede proporcionar una experiencia deseable para la música o para escuchar un sonido que no forma parte de la escena, como, por ejemplo, un narrador.
Es posible aplicar diferentes estrategias a diferentes elementos audiovisuales. En la terminología MPEG, los términos “orientación fija a la cabeza” u “orientación no fija a la cabeza” se usan para referirse a elementos de audio que deben representarse para seguir o ignorar completamente los movimientos del usuario.
Por ejemplo, un elemento de audio puede considerarse “No fijo a la cabeza”, lo que significa que es un elemento de audio que está destinado a tener una ubicación fija en el entorno (virtual o real), por lo que su representación se adapta dinámicamente a (cambios en) la orientación de la cabeza del usuario. Otro elemento de audio puede considerarse “fijo a la cabeza”, lo que significa que es un elemento de audio destinado a tener una ubicación fija con respecto a la cabeza del usuario. Dichos elementos de audio pueden representarse independientemente de la pose del oyente. Por lo tanto, la representación de dichos elementos de audio no tiene en cuenta (cambios en) la orientación de la cabeza del usuario, en otras palabras, dichos elementos de audio son elementos de audio para los cuales la posición relativa no cambia cuando el usuario gira la cabeza (por ejemplo, audio no espacial, como ruido ambiental o, por ejemplo, música que está destinada a seguir al usuario sin cambiar una posición relativa).
En el sistema descrito, el segundo receptor 209 está dispuesto para recibir metadatos que también incluyen una indicación de categoría de representación para al menos algunos de los elementos audiovisuales. Una indicación de categoría de representación es indicativa de una categoría de representación de un conjunto de categorías de representación y la representación de un elemento audiovisual se realiza según la categoría de representación indicada para el elemento audiovisual. Las diferentes categorías de representación pueden definir diferentes parámetros y operaciones de representación.
Las indicaciones de categoría de representación pueden ser cualquier indicación que se pueda usar para seleccionar una categoría de representación del conjunto de categorías de representación. En muchas realizaciones, pueden ser datos que se proporcionan solo con el fin de seleccionar una categoría de representación y/o pueden ser datos que especifican directamente una categoría. En otras realizaciones, una indicación de categoría de representación puede ser una indicación que también puede proporcionar información adicional o proporcionar alguna descripción del elemento audiovisual correspondiente. En algunas realizaciones, la indicación de categoría de representación puede ser un parámetro que se considera al seleccionar una categoría de representación y también se pueden tener en cuenta otros parámetros.
Como un ejemplo específico, en algunas realizaciones, los elementos de audio pueden ser datos de audio codificados, tales como señales de audio codificadas donde los elementos de audio pueden ser diferentes tipos de elementos de audio que incluyen diferentes tipos de señales y componentes, y de hecho en muchas realizaciones el receptor de metadatos 201 puede recibir metadatos que definen diferentes tipos/formatos de audio. Por ejemplo, los datos de audio pueden incluir audio representado por señales de canal de audio, objetos de audio individuales, Ambisonics de orden superior(Higher Order Ambisonics,HOA), etc. Los metadatos pueden incluirse como parte de los elementos de audio o por separado de los elementos de audio que describen el tipo de audio para cada elemento de audio. Estos metadatos pueden ser una indicación de categoría de representación y pueden usarse para seleccionar la categoría de representación apropiada para el elemento de audio.
Las categorías de representación están asociadas específicamente con diferentes sistemas de coordenadas de referencia y específicamente cada categoría de representación está vinculada con una transformada del sistema de coordenadas de un sistema de coordenadas del mundo real a un sistema de coordenadas de categoría. Específicamente, para cada categoría, se puede definir una transformada de sistema de coordenadas que puede transformar un sistema de coordenadas del mundo real, como específicamente el sistema de coordenadas del mundo real con referencia al cual se proporcionan los datos de movimiento de la cabeza, en un sistema de coordenadas diferente que viene dado por la transformada. Como las diferentes categorías tienen diferentes transformadas del sistema de coordenadas, se vincularán a diferentes sistemas de referencia de categorías.
La transformada del sistema de coordenadas suele ser para una, algunas o todas las categorías una transformada dinámica del sistema de coordenadas. Por lo tanto, la transformada del sistema de coordenadas no es típicamente una transformada del sistema de coordenadas fija o estática, sino que puede variar con el tiempo y dependiendo de diferentes parámetros. Por ejemplo, como se describirá con más detalle a continuación, la transformada del sistema de coordenadas puede depender de parámetros que cambian dinámicamente, como, por ejemplo, movimientos del torso del usuario, movimientos del dispositivo externo y/o, de hecho, incluso los datos de movimiento de la cabeza. La transformada del sistema de coordenadas para una categoría es, por lo tanto, en muchas realizaciones, una transformada del sistema de coordenadas que varía temporalmente y que depende de un parámetro de movimiento del usuario. El parámetro de movimiento del usuario puede ser indicativo de un movimiento del usuario con respecto a un sistema de coordenadas del mundo real.
La asignación realizada por el módulo de asignación 211 para un elemento audiovisual determinado depende del sistema de coordenadas de la categoría para la categoría de representación a la que se indica que pertenece el elemento audiovisual. Específicamente, basándose en la indicación de categoría de representación, el módulo de asignación 211 puede determinar una categoría de representación destinada a usarse para la representación del elemento audiovisual. El módulo de asignación puede determinar la transformada del sistema de coordenadas vinculada a la categoría seleccionada. A continuación, el módulo de asignación 211 puede proceder a realizar la asignación desde las poses de entrada hasta las poses de representación de modo que estas correspondan a las poses fijas en el sistema de coordenadas de categoría resultante de la transformada del sistema de coordenadas seleccionada.
Por lo tanto, el sistema de coordenadas de categoría puede considerarse un sistema de coordenadas de referencia con referencia al cual los elementos audiovisuales se representan fijos. El sistema de coordenadas de categoría también se puede denominar sistema de coordenadas de referencia o sistema de coordenadas de referencia fijo (para la categoría dada).
En muchas realizaciones, una categoría de representación puede corresponder a una representación donde las fuentes de audio y los objetos de escena representados por los elementos audiovisuales son fijos con respecto al mundo real como se describió anteriormente. En tales realizaciones, la transformada del sistema de coordenadas es tal que el sistema de coordenadas de la categoría para la categoría está alineado con el sistema de coordenadas del mundo real. Para tal categoría, la transformada del sistema de coordenadas puede ser una transformada del sistema de coordenadas fijo y, por ejemplo, puede ser una asignación uno a uno unitario del sistema de coordenadas del mundo real. Por lo tanto, el sistema de coordenadas de categoría puede ser efectivamente el sistema de coordenadas del mundo real o, por ejemplo, una traslación, escala y/o rotación fija y estática.
En muchas realizaciones, una categoría de representación puede corresponder a una representación donde las fuentes de audio y los objetos de escena representados por los elementos audiovisuales son fijos con respecto al movimiento de la cabeza, es decir, al sistema de coordenadas de representación. En tales realizaciones, la transformada del sistema de coordenadas es tal que el sistema de coordenadas de categoría para la categoría está alineado con la cabeza del usuario/el dispositivo de reproducción/el sistema de coordenadas de representación. Para tal categoría, la transformada del sistema de coordenadas puede ser una transformada del sistema de coordenadas que sigue completamente el movimiento de la cabeza del usuario. Por ejemplo, cualquier rotación de la cabeza es seguida por una rotación correspondiente en la transformada del sistema de coordenadas, cualquier cambio de posición en la cabeza del usuario es seguido por el mismo cambio en la transformada del sistema de coordenadas. Por lo tanto, según dicha categoría de representación, la transformada del sistema de coordenadas se modifica dinámicamente para seguir los datos de movimiento de la cabeza de modo que el sistema de coordenadas de la categoría resultante se alinee con el sistema de coordenadas de representación, lo que da como resultado una asignación fija del sistema de coordenadas de entrada al sistema de coordenadas de representación como se describió anteriormente.
Aunque no es esencial, en muchas realizaciones, las categorías de representación pueden incluir, en consecuencia, una categoría donde el elemento audiovisual se representa fijo con respecto al sistema de coordenadas del mundo real y una donde se representa fijo con respecto al sistema de coordenadas de representación. Sin embargo, en el sistema descrito, una o más de las categorías de representación incluyen una categoría de representación donde el elemento audiovisual se fija en un sistema de coordenadas que no es ni el sistema de coordenadas del mundo real ni el sistema de coordenadas de representación, es decir, se proporciona una categoría de representación donde la representación del elemento audiovisual no se fija en el mundo real ni se fija en relación con la cabeza del usuario. En consecuencia, al menos un sistema de coordenadas de categoría es variable con respecto a un sistema de coordenadas del mundo real y el sistema de coordenadas de representación. Específicamente, el sistema de coordenadas es diferente del sistema de coordenadas de representación y del sistema de coordenadas del mundo real, y de hecho la diferencia entre estos y el sistema de coordenadas de categoría no es constante, sino que puede cambiar.
Por lo tanto, al menos una categoría de representación puede proporcionar una representación que no está fijada al mundo real ni al usuario. Más bien, en muchas realizaciones puede proporcionar una experiencia intermedia.
Por ejemplo, la transformada del sistema de coordenadas puede ser tal que el sistema de coordenadas correspondiente sea fijo con respecto al mundo real, excepto cuando se cumple un criterio de actualización. Sin embargo, si se cumple el criterio, la transformada del sistema de coordenadas puede adaptarse para proporcionar una relación diferente entre el sistema de coordenadas del mundo real y el sistema de coordenadas de la categoría. Por ejemplo, la asignación puede ser tal que el audiovisual se representa fijo con respecto al sistema de coordenadas del mundo real, es decir, el elemento audiovisual parece estar en una posición fija. Sin embargo, si el usuario gira su cabeza más de una cantidad determinada, la relación entre el sistema de coordenadas del mundo real y el sistema de coordenadas de la categoría se cambia para compensar esta rotación. Por ejemplo, siempre que el movimiento de la cabeza del usuario sea inferior a, por ejemplo, 20°, el elemento audiovisual se representa de tal manera que esté en una posición fija. Sin embargo, si el usuario mueve la cabeza más de 20°, el sistema de coordenadas de categoría se gira 20° con respecto al sistema de coordenadas del mundo real. Esto puede proporcionar una experiencia donde el usuario percibe una experiencia tridimensional natural con respecto al elemento audiovisual representado, siempre que los movimientos sean lo suficientemente pequeños. Sin embargo, para un movimiento grande de la cabeza, la representación del elemento audiovisual se realinea con la posición modificada de la cabeza.
Como un ejemplo específico, una fuente de audio correspondiente a un narrador puede presentarse inicialmente para colocarse directamente frente al usuario. Para movimientos pequeños del usuario, el audio se representa de tal manera que se percibe que el narrador está estático en la misma posición. Esto proporciona una experiencia y percepción natural y, en particular, proporciona una percepción fuera de la cabeza del narrador. Sin embargo, si el usuario gira su cabeza más de, por ejemplo, 20° desde la dirección original hacia la fuente de audio del narrador, el sistema adapta la asignación para reposicionar la fuente de audio del narrador frente a la nueva orientación del usuario. Para pequeños movimientos alrededor de este punto, la fuente de audio del narrador se representa en esta nueva posición fija (con respecto al sistema de coordenadas del mundo real). Si el movimiento nuevamente excede un umbral dado con respecto a esta nueva posición de la fuente de audio, se puede llevar a cabo nuevamente una actualización en el sistema de coordenadas de la categoría y, por lo tanto, la posición percibida de la fuente de audio del narrador. Por lo tanto, el usuario puede estar provisto de un narrador que se fija en relación con el mundo real para movimientos más pequeños, pero sigue al usuario para movimientos más grandes. En el ejemplo descrito, puede permitir que el narrador sea percibido como fijo y proporcione señales espaciales apropiadas con respecto al movimiento de la cabeza, pero siempre estará sustancialmente frente al usuario (incluso si, por ejemplo, el usuario gira 180°).
En la estrategia, los metadatos comprenden indicadores de categoría de representación para una pluralidad de elementos audiovisuales, permitiendo así que el extremo de origen controle la representación flexible en el extremo de recepción, estando la representación adaptada específicamente al elemento audiovisual individual. Por ejemplo, se pueden aplicar diferentes representaciones y percepciones espaciales a, por ejemplo, elementos correspondientes a música de fondo, narración, fuentes de audio correspondientes a objetos específicos fijados en la escena, diálogo, etc.
En algunas realizaciones, la transformada del sistema de coordenadas para una categoría de representación depende de los datos de movimiento de la cabeza del usuario. Por lo tanto, en algunas realizaciones, al menos un parámetro que varía la transformada del sistema de coordenadas depende de los datos de movimiento de la cabeza del usuario.
En muchas realizaciones, la transformada del sistema de coordenadas puede depender de una propiedad o parámetro de pose de cabeza de usuario determinado a partir de los datos de movimiento de cabeza de usuario. Por ejemplo, como se describió anteriormente, si la pose de la cabeza del usuario indica una rotación en más de una cierta cantidad, la transformada del sistema de coordenadas puede adaptarse para incluir una rotación correspondiente a esa cantidad. Como otro ejemplo, el módulo de asignación 211 puede detectar que el usuario ha mantenido una pose (suficientemente) constante durante más de una duración determinada y, de ser así, la transformada del sistema de coordenadas puede adaptarse para colocar el elemento audiovisual en una posición determinada en el sistema de coordenadas de representación, es decir, con una posición específica con respecto al usuario (por ejemplo, directamente frente al usuario).
En algunas realizaciones, la transformada del sistema de coordenadas depende de una pose de cabeza promedio. En particular, en algunas realizaciones, la transformada del sistema de coordenadas puede ser tal que el sistema de coordenadas de la categoría esté alineado con la pose promedio de la cabeza. En algunas realizaciones, la transformada del sistema de coordenadas puede ser tal que el sistema de coordenadas de la categoría sea fijo con respecto a la pose promedio de la cabeza.
La pose de cabeza promedio puede determinarse, por ejemplo, mediante el filtrado de paso bajo de una medida de pose de cabeza mediante un filtro de paso bajo con una frecuencia de corte adecuada, tal como específicamente mediante la aplicación de un promedio no ponderado sobre una ventana de una duración adecuada.
En algunas realizaciones, la referencia para la representación puede, para una o más categorías de representación, elegirse para que sea la orientación de cabeza promedio h. Esto crea el efecto de que el elemento audiovisual sigue cambios de orientación de la cabeza más lentos y duraderos, lo que hace que la fuente de sonido parezca permanecer en el mismo lugar en relación con la cabeza (por ejemplo, frente a la cara), pero los movimientos rápidos de la cabeza harán que el elemento audiovisual parezca fijo con respecto al mundo real (y, por lo tanto, también parezca fijo en el mundo virtual) en lugar de relativo a la cabeza. Por lo tanto, los movimientos pequeños y rápidos típicos de la cabeza durante la vida diaria seguirán creando una ilusión inmersiva y fuera de la cabeza, al tiempo que permitirán una percepción general del elemento audiovisual que sigue al usuario.
En algunas realizaciones, la adaptación y el seguimiento pueden hacerse no lineales de modo que si la cabeza gira significativamente, la referencia de orientación de la cabeza promedio está, por ejemplo, “recortada” para no desviarse más de un cierto ángulo máximo con respecto a la orientación instantánea de la cabeza. Por ejemplo, si este máximo es de 20 grados, entonces siempre que la cabeza se “mueva” dentro de esos /- 20 grados, se realiza la experiencia fuera de la cabeza. Si la cabeza gira rápidamente y va más allá del máximo, la referencia seguirá la orientación de la cabeza (rezago de máximo 20 grados), y una vez que el movimiento se detiene, la referencia se vuelve estable de nuevo.
En algunas realizaciones, al menos una categoría de representación está asociada con una transformada del sistema de coordenadas que depende de una pose del torso del usuario. En tales realizaciones, el aparato de representación audiovisual puede comprender un receptor de pose de torso 215 que está dispuesto para recibir datos de pose de torso de usuario indicativos de una pose de torso de usuario.
La pose del torso puede determinarse, por ejemplo, mediante una unidad de sensor inercial dedicada colocada o usada en el torso. Como otro ejemplo, la pose del torso puede ser determinada por los sensores en un dispositivo inteligente, como un teléfono inteligente, mientras se lleva en el bolsillo. Como otro ejemplo más, se podrían colocar bobinas en el torso y la cabeza de un usuario, respectivamente, y los movimientos de la cabeza en relación con el torso pueden determinarse en base a los cambios en el acoplamiento entre estas.
En tales realizaciones, al menos un parámetro que varía la transformada del sistema de coordenadas depende de los datos de la pose del torso.
En muchas realizaciones, la transformada del sistema de coordenadas puede depender de una propiedad o parámetro de datos de pose del torso determinado a partir de los datos de pose del torso.
Por ejemplo, si la pose de datos de pose del torso indica una rotación del torso en más de una cierta cantidad, la transformada del sistema de coordenadas puede adaptarse para incluir una rotación correspondiente a esa cantidad. Como otro ejemplo, el módulo de asignación 211 puede detectar que el usuario ha mantenido una pose de torso (suficientemente) constante durante más tiempo que una duración dada y, de ser así, la transformada del sistema de coordenadas puede adaptarse para colocar el elemento audiovisual en una posición dada en el sistema de coordenadas de representación donde la posición corresponde a la pose de torso.
En particular, en algunas realizaciones, la transformada del sistema de coordenadas puede ser tal que el sistema de coordenadas de la categoría esté alineado con la pose del torso del usuario. En algunas realizaciones, la transformada del sistema de coordenadas puede ser tal que el sistema de coordenadas de categoría sea fijo con respecto a la pose del torso del usuario. Por lo tanto, en algunas realizaciones, el elemento audiovisual puede representarse para seguir el torso del usuario y, por lo tanto, se puede proporcionar una percepción y experiencia donde el elemento audiovisual sigue el movimiento del usuario de todo su cuerpo, pero parece estar fijo con respecto a los movimientos de la cabeza en relación con el torso. Esto puede proporcionar una experiencia deseable tanto de una percepción fuera de la cabeza como de una representación de un elemento audiovisual que sigue al usuario.
En algunas realizaciones, la transformada del sistema de coordenadas puede depender de una pose promedio del torso. La pose de torso promedio puede determinarse, por ejemplo, mediante el filtrado de paso bajo de una medida de pose de cabeza mediante un filtro de paso bajo con una frecuencia de corte adecuada, tal como específicamente mediante la aplicación de un promedio no ponderado sobre una ventana de una duración adecuada.
Por lo tanto, en algunas realizaciones, una o más de las categorías de representación pueden emplear una transformada del sistema de coordenadas que proporciona una referencia para la representación que está alineada con la orientación del pecho/torso instantánea o promedio t. De esta manera, el elemento audiovisual puede parecer que permanece frente al cuerpo del usuario en lugar de frente al rostro del usuario. Al girar la cabeza con respecto al pecho/torso, el elemento audiovisual aún se puede percibir desde varias direcciones, lo que de nuevo aumenta en gran medida la experiencia de inmersión fuera de la cabeza.
En algunas realizaciones, la transformada del sistema de coordenadas para una categoría de representación depende de los datos de pose del dispositivo indicativos de una pose de un dispositivo externo. En tales realizaciones, el aparato de representación audiovisual puede comprender un receptor de pose de dispositivo 217 que está dispuesto para recibir datos de pose de dispositivo indicativos de una pose de torso de dispositivo.
El dispositivo puede ser, por ejemplo, un dispositivo (que se supone que está) usado, transportado, unido o fijado de otro modo con respecto al usuario. En muchas realizaciones, el dispositivo externo puede ser, por ejemplo, un teléfono móvil o un dispositivo personal, tal como, por ejemplo, un teléfono inteligente en el bolsillo, un dispositivo montado en el cuerpo o un dispositivo de mano (por ejemplo, un dispositivo inteligente utilizado para ver el contenido visual de VR).
Muchos dispositivos incluyen giroscopios, acelerómetros, receptores GPS, etc., que permiten una orientación relativa o absoluta del dispositivo. El dispositivo puede a continuación determinar una orientación relativa o absoluta actual y transmitirla al receptor de pose del dispositivo 217 usando una comunicación adecuada que típicamente es inalámbrica. Por ejemplo, la comunicación puede ser a través de conexiones WiFi o Bluetooth.
En tales realizaciones, al menos un parámetro que varía la transformada del sistema de coordenadas depende de los datos de la pose del dispositivo.
En muchas realizaciones, la transformada del sistema de coordenadas puede depender de una propiedad de datos de pose de dispositivo o parámetro determinado a partir de los datos de pose de dispositivo.
Por ejemplo, si la pose de datos de pose de dispositivo indica una rotación del dispositivo en más de una cierta cantidad, la transformada del sistema de coordenadas puede adaptarse para incluir una rotación correspondiente a esa cantidad. Como otro ejemplo, el módulo de asignación 211 puede detectar que el dispositivo ha mantenido una pose de torso (suficientemente) constante durante más tiempo que una duración dada, y si es así, la transformada del sistema de coordenadas puede adaptarse para colocar el elemento audiovisual en una posición dada en el sistema de coordenadas de representación donde la posición corresponde a la pose del dispositivo.
En particular, en algunas realizaciones, la transformada del sistema de coordenadas puede ser tal que el sistema de coordenadas de la categoría esté alineado con la pose del dispositivo. En algunas realizaciones, la transformada del sistema de coordenadas puede ser tal que el sistema de coordenadas de categoría esté fijo con respecto a la pose del dispositivo. Por lo tanto, en algunas realizaciones, el elemento audiovisual puede representarse para seguir la pose del dispositivo y, por lo tanto, se puede proporcionar una percepción y experiencia donde el elemento audiovisual sigue el movimiento del dispositivo. En muchos escenarios prácticos, el dispositivo puede proporcionar una buena indicación de una referencia de pose de usuario. Por ejemplo, un dispositivo que se usa en el cuerpo o, por ejemplo, un teléfono inteligente en un bolsillo puede proporcionar un buen reflejo del movimiento del usuario en su conjunto. Puede proporcionar una buena referencia para determinar los movimientos relativos de la cabeza y, por lo tanto, puede proporcionar una experiencia que combine una respuesta realista a los movimientos de la cabeza al tiempo que permite que el elemento audiovisual siga los movimientos más grandes de un usuario.
Además, el uso de un dispositivo externo como referencia puede ser muy práctico y proporcionar una referencia que conduzca a una experiencia de usuario deseable. La estrategia puede basarse en dispositivos que a menudo ya son usados o portados por un usuario y comprendiendo la funcionalidad requerida para determinar y transmitir una pose de dispositivo. Por ejemplo, la mayoría de las personas actualmente llevan un teléfono inteligente que ya comprende acelerómetros, etc. para determinar una pose del dispositivo y medios de comunicación (tales como Bluetooth) adecuados para transmitir datos de pose del dispositivo al aparato de representación audiovisual.
En algunas realizaciones, la transformada del sistema de coordenadas puede depender de una pose de dispositivo promedio. La pose promedio del dispositivo puede determinarse, por ejemplo, mediante el filtrado de paso bajo de una medida de pose del dispositivo mediante un filtro de paso bajo con una frecuencia de corte adecuada, tal como específicamente mediante la aplicación de un promedio no ponderado sobre una ventana de una duración adecuada.
Por lo tanto, en algunas realizaciones, una o más de las categorías de representación pueden emplear una transformada de sistema de coordenadas que proporciona una referencia para la representación que está alineada con la orientación instantánea o promedio del dispositivo. De esta manera, el elemento audiovisual puede parecer que permanece en una posición fija con respecto al dispositivo, de modo que se mueve cuando el dispositivo se mueve, pero permanece fijo con respecto a los movimientos de la cabeza, proporcionando así una sensación más natural y una experiencia de inmersión fuera de la cabeza.
Por lo tanto, la estrategia puede proporcionar una estrategia donde los metadatos se pueden usar para controlar la representación de elementos audiovisuales de manera que estos se puedan controlar individualmente para proporcionar diferentes experiencias de usuario para diferentes elementos audiovisuales. La experiencia incluye una o más opciones que proporcionan percepciones de elementos audiovisuales que no están completamente fijados en el mundo real ni siguen completamente al usuario (fijados a la cabeza). Específicamente, se pueden proporcionar experiencias intermedias donde el elemento audiovisual, en cierta medida, se representa fijo con referencia al mundo real y, en cierta medida, sigue los movimientos del usuario.
Se apreciará que las posibles categorías de representación pueden en algunas realizaciones estar predeterminadas con cada categoría asociada con una transformada de sistema de coordenadas predeterminada. En tales realizaciones, el aparato de representación audiovisual puede almacenar transformadas de sistema de coordenadas, o equivalentemente, cuando sea apropiado, almacenar directamente asignaciones correspondientes a la transformada de sistema de coordenadas, para cada categoría. El módulo de asignación 211 puede estar dispuesto para recuperar la transformada (o asignación) del sistema de coordenadas almacenado para la categoría de representación seleccionada y aplicar esto cuando se realiza la asignación para el elemento audiovisual.
Por ejemplo, para un primer elemento audiovisual, el indicador de categoría de representación puede indicar que debe representarse según una primera categoría. La primera categoría puede ser una para representar elementos audiovisuales fijados a la pose de la cabeza y, por lo tanto, el módulo de asignación puede recuperar una asignación que proporciona una asignación fija uno a uno entre la pose de entrada y la pose de representación. Para un segundo elemento audiovisual, el indicador de categoría de representación puede indicar que debe representarse según una segunda categoría. La segunda categoría puede ser una para representar elementos audiovisuales fijados al mundo real y, por lo tanto, el módulo de asignación puede recuperar una transformada del sistema de coordenadas que adapta la asignación de tal manera que el movimiento de la cabeza se compensa, lo que da como resultado las poses de representación correspondientes a posiciones fijas en el espacio real. Para un tercer elemento audiovisual, el indicador de categoría de representación puede indicar que debe representarse según una tercera categoría. La tercera categoría puede ser una para representar elementos audiovisuales fijados a una pose de dispositivo o pose de torso. El módulo de asignación puede recuperar una transformada o asignación del sistema de coordenadas que adapta la asignación de tal manera que el movimiento de la cabeza con respecto al dispositivo o la pose del torso se compensa, lo que resulta en una representación del elemento audiovisual que se fija con respecto al dispositivo o la pose del torso.
Se apreciará que, si bien las diferentes categorías de representación están asociadas con diferentes transformadas del sistema de coordenadas, de modo que la asignación da como resultado que las posiciones de representación sean fijas en relación con el sistema de coordenadas de categoría, el módulo de asignación 211 no necesita determinar explícitamente dicha transformada del sistema de coordenadas o sistema de coordenadas de categoría. Más bien, en realizaciones típicas, se define una función de asignación para la categoría de representación individual de modo que las poses de representación resultantes se fijan con respecto al sistema de coordenadas de categoría. Por ejemplo, una función de asignación que es una función de una pose de la cabeza con respecto a una pose del dispositivo (o torso) se puede usar para asignar directamente las posiciones de entrada a las posiciones de representación que están fijas con respecto a un sistema de coordenadas de categoría que está fijo con respecto a la pose del dispositivo (o torso).
En algunas realizaciones, los metadatos pueden comprender datos que caracterizan, describen y/o definen parcial o totalmente una o más de la pluralidad de categorías de representación. Por ejemplo, los metadatos pueden incluir también, además de las indicaciones de categoría de representación, datos que describen la transformada del sistema de coordenadas y/o la función de asignación que se aplicará para una o más de las categorías. Por ejemplo, los metadatos pueden indicar que una primera categoría de representación requiere una asignación fija desde las posiciones de entrada hasta las posiciones de representación, una segunda categoría requiere una asignación que compense completamente el movimiento de la cabeza de modo que los elementos parezcan fijos con respecto al mundo real, y una tercera categoría de representación donde la asignación debe compensarse por el movimiento de la cabeza en relación con un movimiento promedio de la cabeza de modo que se perciba una experiencia intermedia donde los elementos parecen fijos para movimientos de la cabeza más pequeños y más rápidos, pero también parecen seguir al usuario para movimientos promedio lentos.
En diferentes realizaciones, se pueden usar diferentes estrategias y datos como indicaciones de categoría de representación. En algunas realizaciones, cada categoría puede, por ejemplo, estar asociada con un número de categoría y la indicación de categoría de representación puede proporcionar directamente el número de la categoría que se utilizará para el elemento audiovisual.
En muchas realizaciones, la indicación de categoría de representación puede indicar una propiedad o característica del elemento audiovisual y esto puede asignarse a una indicación de categoría de representación específica.
En algunas realizaciones, una indicación de categoría de representación puede indicar específicamente si el elemento audiovisual es un elemento audiovisual diegético o no diegético. Un elemento audiovisual diegético puede ser uno que pertenece a la escena, por ejemplo, de una película o historia que se presenta; en otras palabras, el elemento audiovisual diegético se origina en fuentes dentro de la película, la historia, etc. (por ejemplo, un actor en el guion, un pájaro con sus sonidos en una película sobre la naturaleza, etc.). Los elementos audiovisuales no diegéticos pueden ser elementos que se originan fuera de dicha película o historia (por ejemplo, comentarios de audio de un director, música de estado de ánimo, etc.). En muchos escenarios, un elemento audiovisual diegético puede corresponder a una “orientación no fija a la cabeza” y un elemento audiovisual no diegético puede corresponder a una “orientación fija a la cabeza” según la terminología MPEG.
En algunas realizaciones, de hecho, puede haber solo dos categorías de representación y específicamente una puede corresponder a la representación de elementos audiovisuales que se indica que son diegéticos y una puede corresponder a la representación de elementos audiovisuales que se indica que no son diegéticos.
Por ejemplo, en algunas aplicaciones y sistemas, la señalización diegética puede transmitirse aguas abajo al aparato de representación audiovisual, y que el comportamiento de representación deseado pueda depender depende de esta señalización, como se ejemplifica con respecto a la FIG. 3:
•Al utilizar el seguimiento de la cabeza con orientación del mundo real como referencia, se desea que una fuente diegética D parezca mantenerse firme en su ubicación en el mundo virtual V y, por lo tanto, debe representarse para que parezca fija con referencia al mundo real. En un ejemplo dado para una aplicación de película, si la voz de un actor se representa directamente frente al usuario, y el usuario gira la cabeza 50 grados hacia la izquierda, el sonido se representará en los auriculares proyectados 50 grados hacia la derecha, lo que hace que parezca permanecer en el mismo lugar virtual.
•Una fuente de sonido N no diegética puede representarse independientemente de la orientación de la cabeza. En otras palabras, el audio permanece en una posición fija de “acoplamiento duro” con respecto a la cabeza (por ejemplo, delante de él) y gira con la cabeza. Esto se logra no aplicando una asignación dependiente de la orientación de la cabeza al audio, sino utilizando una asignación fija desde las posiciones de entrada hasta las posiciones de representación. En el ejemplo de la película, el audio del comentario del director podría representarse precisamente frente al usuario, y cualquier movimiento de la cabeza no tendrá ningún efecto sobre esto, es decir, el sonido permanece frente a la cabeza.
El aparato de representación audiovisual de la FIG. 2 está dispuesto para proporcionar una estrategia más flexible donde al menos una categoría de representación seleccionable permite una representación de elementos audiovisuales que permite que la representación de elementos audiovisuales sea fija con respecto al mundo real/virtual para algunos movimientos, pero sigue al usuario para otros movimientos. La estrategia puede aplicarse específicamente a elementos audiovisuales no diegéticos.
En el ejemplo específico, las opciones alternativas o adicionales para representar fuentes de sonido no diegéticas pueden incluir una o más de las siguientes:
•Se puede elegir una referencia para la representación que sea la orientación/pose promedio de la cabezah(como se ilustra en la FIG. 4). Esto crea el efecto de que la fuente de sonido no diegética sigue cambios de orientación de la cabeza más lentos y duraderos, lo que hace que la fuente de sonido parezca permanecer en el mismo lugar en relación con la cabeza (por ejemplo, frente a la cara), pero los movimientos rápidos de la cabeza harán que la fuente de sonido no diegética parezca fija en el mundo virtual (en lugar de en relación con la cabeza). Por lo tanto, los movimientos pequeños y rápidos típicos de la cabeza durante la vida diaria seguirán creando una ilusión inmersiva y fuera de la cabeza.
Como un refinamiento para algunas realizaciones, dado que normalmente se desea que el audio no diegético permanezca al menos estrechamente en la misma posición virtual, el seguimiento puede hacerse no lineal de modo que, si la cabeza gira significativamente, la referencia de orientación de cabeza promedio está, por ejemplo, “recortada” para no desviarse más de un cierto ángulo máximo con respecto a la orientación de cabeza instantánea. Por ejemplo, si este máximo es de 20 grados, entonces siempre que la cabeza se “mueva” dentro de esos /- 20 grados, se realiza la experiencia fuera de la cabeza. Si la cabeza gira rápidamente y va más allá del máximo, la referencia seguirá la orientación de la cabeza (rezago de máximo 20 grados), y una vez que el movimiento se detiene, la referencia se vuelve estable de nuevo.
•Se puede elegir una referencia para el seguimiento de la cabeza para que sea la orientación/pose instantánea o promedio del pecho/torsoh(como se ilustra en la FIG. 5). De esta manera, el contenido no diegético parecerá permanecer delante del cuerpo del usuario en lugar de la cara del usuario. Al girar la cabeza con respecto al pecho/torso, el contenido no diegético aún se puede escuchar desde varias direcciones, lo que nuevamente se suma en gran medida a la experiencia de inmersión fuera de la cabeza.
•Se puede elegir una referencia para el seguimiento de la cabeza a una orientación/pose instantánea o promedio de un dispositivo externo, como un teléfono móvil o un dispositivo que se lleva en el cuerpo. De esta manera, el contenido no diegético parecerá permanecer delante del dispositivo en lugar de la cara del usuario. Al girar la cabeza con respecto al dispositivo, el contenido no diegético aún se puede escuchar desde varias direcciones, lo que nuevamente aumenta en gran medida la experiencia de inmersión fuera de la cabeza.
En algunas realizaciones, la representación puede estar dispuesta para operar en diferentes modos dependiendo del movimiento del usuario. Por ejemplo, si el movimiento del usuario cumple con un criterio de movimiento, el aparato de representación audiovisual puede operar en un primer modo y, si no lo hace, puede operar en un segundo modo. En el ejemplo, los dos modos pueden proporcionar diferentes sistemas de coordenadas de categoría para la misma indicación de categoría de representación, es decir, dependiendo del movimiento del usuario, el aparato de representación audiovisual puede representar un elemento audiovisual dado con una indicación de categoría de representación dada fija con referencia a diferentes sistemas de coordenadas.
En algunas realizaciones, el módulo de asignación 211 puede estar dispuesto para seleccionar la categoría de representación para una indicación de categoría de representación dada en respuesta a un parámetro de movimiento del usuario que es indicativo del movimiento del usuario. Por lo tanto, se pueden seleccionar diferentes categorías de representación para un elemento audiovisual dado y un valor de indicación de categoría de representación dependiendo del parámetro de movimiento del usuario. Específicamente, si el parámetro de movimiento del usuario cumple con un primer criterio, se puede usar un enlace dado entre los posibles valores de indicación de categoría de representación y un conjunto de categorías de representación para seleccionar la categoría de representación para una indicación de categoría de representación recibida. Sin embargo, si no se cumple el criterio (o, por ejemplo, se cumple un criterio diferente), el módulo de asignación 211 puede usar un enlace diferente entre los posibles valores de indicación de categoría de representación y el mismo conjunto o un conjunto diferente de categorías de representación para seleccionar la categoría de representación para una indicación de categoría de representación recibida.
La estrategia puede, por ejemplo, permitir que el aparato de representación audiovisual proporcione diferentes representaciones y experiencias para un usuario móvil y un usuario estacionario.
En algunas realizaciones, la selección de la categoría de representación también puede depender de otros parámetros, tales como, por ejemplo, un ajuste de usuario o un ajuste de configuración por la aplicación (por ejemplo, una aplicación en un dispositivo móvil).
En otra estrategia, el módulo de asignación puede disponerse para determinar una transformada del sistema de coordenadas entre el usuario del sistema de coordenadas del mundo real como referencia para la transformada del sistema de coordenadas de la categoría seleccionada y el sistema de coordenadas con referencia al cual se proporcionan los datos de movimiento de la cabeza del usuario en respuesta a un parámetro de movimiento del usuario indicativo de un movimiento del usuario.
Por lo tanto, en algunas realizaciones, se puede introducir una adaptación de la representación mediante la transformada del sistema de coordenadas de la categoría de representación con respecto a una referencia que puede variar con respecto al sistema de coordenadas (típicamente del mundo real) que indica el movimiento de la cabeza. Por ejemplo, en base al movimiento del usuario, se puede aplicar cierta compensación a los datos de movimiento de la cabeza, por ejemplo, para compensar algún movimiento del usuario en su conjunto. Como ejemplo, si un usuario está, por ejemplo, a bordo de un barco, los datos de movimiento de la cabeza del usuario pueden no solo indicar el movimiento del usuario con respecto al cuerpo, o el cuerpo con respecto al barco, sino que también pueden reflejar el movimiento del barco. Esto puede ser indeseable y, en consecuencia, el módulo de asignación 211 puede compensar los datos de movimiento de la cabeza por los datos de parámetros de movimiento del usuario que reflejan el componente del movimiento del usuario que se debe al movimiento del barco. Los datos de movimiento de la cabeza modificados/compensados resultantes se proporcionan con respecto a un sistema de coordenadas que se ha compensado por el movimiento del barco y la transformada del sistema de coordenadas de la categoría seleccionada se puede aplicar directamente a este sistema de coordenadas modificado para lograr la representación deseada y la experiencia del usuario.
Se apreciará que el parámetro de movimiento del usuario puede determinarse de cualquier manera adecuada. Por ejemplo, en algunas realizaciones, puede determinarse mediante sensores dedicados que proporcionan datos relevantes. Por ejemplo, los acelerómetros y/o giroscopios pueden estar unidos a un vehículo, tal como un coche o barco, que transporta al usuario.
En muchas realizaciones, el módulo de asignación puede estar dispuesto para determinar el parámetro de movimiento del usuario en respuesta a los datos de movimiento de la cabeza del usuario en sí. Por ejemplo, se puede usar un promedio a largo plazo, o un análisis de movimiento subyacente que identifica, por ejemplo, componentes periódicos (por ejemplo, correspondientes a olas que mueven un barco), para determinar un parámetro de usuario indicativo de un parámetro de movimiento de usuario.
En algunas realizaciones, la transformada del sistema de coordenadas para dos categorías de representación diferentes puede depender de los datos de movimiento de la cabeza del usuario, pero con las dependencias que tienen diferentes propiedades de promediado temporal. Por ejemplo, una categoría de representación puede estar asociada con una transformada del sistema de coordenadas que depende de un movimiento medio de la cabeza pero con un tiempo de promediado relativamente bajo (es decir, una frecuencia de corte relativamente alta para el filtro de paso bajo de promediado), mientras que otra categoría de representación también está asociada con una transformada del sistema de coordenadas que depende de un movimiento medio de la cabeza pero con un tiempo de promediado más alto (es decir, una frecuencia de corte relativamente baja para el filtro de paso bajo de promediado).
Como ejemplo, el módulo de asignación 211 puede evaluar los datos de movimiento de la cabeza contra un criterio que refleja una consideración de que el usuario está posicionado en un entorno estático. Por ejemplo, un cambio de posición filtrado de paso bajo puede compararse con un umbral dado y si está por debajo del umbral, se puede considerar que el usuario está en un entorno estático. En este caso, la representación puede ser como en el ejemplo específico descrito anteriormente para elementos de audio diegéticos y no diegéticos. Sin embargo, si el cambio de posición está por encima del umbral, se puede considerar que el usuario está en un entorno móvil, como durante un paseo, o utilizando el transporte, como un automóvil, tren o avión. En este caso, se pueden aplicar las siguientes estrategias de representación (ver también las Figuras 6 y 7):
•Las fuentes de sonido no diegéticas N se pueden representar utilizando la orientación promedio de la cabezahcomo referencia, para mantener la fuente de sonido no diegética principalmente delante de la cara, pero permitiendo pequeños movimientos de la cabeza para crear una experiencia “fuera de la cabeza”. En otros ejemplos, por ejemplo, el torso del usuario o las poses del dispositivo pueden usarse como referencias. Por lo tanto, esta estrategia puede corresponder a la estrategia que se puede usar para las fuentes de sonido diegético en el caso estático.
•Las fuentes de sonido diegético D también pueden representarse utilizando la orientación promedio de la cabezahcomo referencia, pero con un desplazamiento adicional correspondiente a una orientación promedio de la cabezah' a largo plazo. Por lo tanto, en este caso, las fuentes de sonido virtuales diegéticas parecerán estar en ubicaciones fijas con respecto al mundo virtual V, pero con este mundo virtual V que parece “moverse junto con el usuario”, es decir, mantiene una orientación más o menos fija con respecto al usuario. El promedio (u otro proceso de filtro) utilizado para obtenerh' a partir de la orientación instantánea de la cabeza generalmente se elige sustancialmente más lento que el utilizado parah. Por lo tanto, las fuentes no diegéticas seguirán movimientos más rápidos de la cabeza, mientras que el contenido diegético (y el mundo virtual V en su conjunto) tardará un tiempo en reorientarse con la cabeza del usuario.
Se apreciará que la descripción anterior para mayor claridad ha descrito realizaciones de la invención con referencia a diferentes circuitos, conjuntos y procesadores funcionales. Sin embargo, será evidente que se puede usar cualquier distribución adecuada de funcionalidad entre diferentes circuitos, conjuntos o procesadores funcionales sin restar importancia a la invención. Por ejemplo, la funcionalidad ilustrada para realizarse mediante procesadores o controladores separados se puede realizar mediante el mismo procesador o controladores. Por lo tanto, las referencias a conjuntos o circuitos funcionales específicos solo deben verse como referencias a medios adecuados para proporcionar la funcionalidad descrita en lugar de ser indicativas de una estructura u organización lógica o física estricta.
La invención se puede implementar en cualquier forma adecuada, incluyendo hardware, software, firmware o cualquier combinación de estos. La invención se puede implementar opcionalmente al menos en parte como software informático que se ejecuta en uno o más procesadores de datos y/o procesadores de señales digitales. Los elementos y componentes de una realización de la invención pueden implementarse física, funcional y lógicamente de cualquier manera adecuada. De hecho, la funcionalidad puede implementarse en un solo conjunto, en una pluralidad de conjuntos o como parte de otros conjuntos funcionales. Como tal, la invención puede implementarse en un solo conjunto o puede distribuirse física y funcionalmente entre diferentes conjuntos, circuitos y procesadores.
Aunque la presente invención se ha descrito en relación con algunas realizaciones, no pretende quedar limitada a la forma específica expuesta en esta invención. Más bien, el alcance de la presente invención está limitado únicamente por las reivindicaciones adjuntas. Además, aunque puede parecer que se describe una característica en relación con realizaciones particulares, un experto en la materia reconocerá que se pueden combinar diversas características de las realizaciones descritas según la invención. En las reivindicaciones, el término 'comprendiendo' no excluye la presencia de otros elementos o etapas.
Además, aunque se enumeran individualmente, se puede implementar una pluralidad de medios, elementos, circuitos o etapas de procedimiento, por ejemplo, por un único circuito, conjunto o procesador. Además, aunque pueden incluirse características individuales en diferentes reivindicaciones, estas pueden combinarse posiblemente de manera ventajosa, y la inclusión en diferentes reivindicaciones no implica que una combinación de características no sea factible y/o ventajosa. Además, la inclusión de una característica en una categoría de reivindicaciones no implica una limitación a esta categoría, sino que indica que la característica es igualmente aplicable a otras categorías de reivindicaciones, según corresponda. Además, el orden de las características en las reivindicaciones no implica ningún orden específico donde deban trabajarse las características y, en particular, el orden de las etapas individuales en una reivindicación de procedimiento no implica que las etapas deban realizarse en este orden. Más bien, las etapas se pueden realizar en cualquier orden adecuado. Además, las referencias singulares no excluyen una pluralidad. Por lo tanto, las referencias a “un”, “uno/a”, “primer(o)/primera”, “segundo/segunda”, etc., no excluyen una pluralidad. Los signos de referencia en las reivindicaciones se proporcionan meramente como un ejemplo aclaratorio y de ninguna manera deben interpretarse como limitativos del alcance de las reivindicaciones.

Claims (18)

REIVINDICACIONES
1. Un aparato de representación audiovisual comprendiendo:
un primer receptor (201) dispuesto para recibir elementos audiovisuales;
un receptor de metadatos (209) dispuesto para recibir metadatos comprendiendo poses de entrada para cada uno de al menos algunos de los elementos audiovisuales e indicaciones de categoría de representación para cada uno de al menos algunos de los elementos audiovisuales, proporcionándose las poses de entrada con referencia a un sistema de coordenadas de entrada y las indicaciones de categoría de representación indicando una categoría de representación de un conjunto de categorías de representación;
un receptor (213) dispuesto para recibir datos de movimiento de la cabeza del usuario indicativos del movimiento de la cabeza de un usuario;
un módulo de asignación (211) dispuesto para asignar las poses de entrada a las poses de representación en un sistema de coordenadas de representación en respuesta a los datos de movimiento de la cabeza del usuario, estando fijo el sistema de coordenadas de representación con respecto al movimiento de la cabeza;
un renderizador (203) dispuesto para representar los elementos audiovisuales utilizando las poses de representación;
donde
cada categoría de representación está vinculada con una transformada del sistema de coordenadas de un sistema de coordenadas del mundo real a un sistema de coordenadas de categoría, la transformada del sistema de coordenadas es diferente para diferentes categorías y al menos un sistema de coordenadas de categoría es variable con respecto al sistema de coordenadas del mundo real y al sistema de coordenadas de representación; y
el módulo de asignación está dispuesto para seleccionar una primera categoría de representación del conjunto de categorías de representación para un primero elemento audiovisual en respuesta a una indicación de categoría de representación para el primer elemento audiovisual, y para asignar una pose de entrada para el primer elemento audiovisual a poses de representación en el sistema de coordenadas de representación que corresponden a poses fijas en un sistema de coordenadas de primera categoría para variar el movimiento de la cabeza del usuario, determinándose el sistema de coordenadas de primera categoría a partir de una primera transformada del sistema de coordenadas para la primera categoría de representación.
2. El aparato de representación audiovisual según la reivindicación 1, donde una segunda transformada de sistema de coordenadas para una segunda categoría es tal que un sistema de coordenadas de categoría para la segunda categoría está alineado con el movimiento de la cabeza del usuario.
3. El aparato de representación audiovisual según la reivindicación 1 o 2, donde una tercera transformada de sistema de coordenadas para una tercera categoría es tal que un sistema de coordenadas de categoría para la tercera categoría está alineado con el sistema de coordenadas del mundo real.
4. El aparato de representación audiovisual según cualquier reivindicación anterior, donde la primera transformada del sistema de coordenadas depende de los datos de movimiento de la cabeza del usuario.
5. El aparato de representación audiovisual según la reivindicación 4, donde la primera transformada del sistema de coordenadas depende de una pose promedio de la cabeza.
6. El aparato de representación audiovisual según la reivindicación 5, donde la primera transformada del sistema de coordenadas alinea el sistema de coordenadas de la primera categoría con una pose de cabeza promedio.
7. El aparato de representación audiovisual según cualquier reivindicación anterior 4-6, donde una transformada de sistema de coordenadas diferente para una categoría de representación diferente depende de los datos de movimiento de cabeza de usuario, la dependencia del movimiento de cabeza de usuario para la primera transformada de sistema de coordenadas y la transformada de sistema de coordenadas diferente que tiene diferentes propiedades de promediado temporal.
8. El aparato de representación audiovisual según cualquier reivindicación anterior comprendiendo además un receptor (215) dispuesto para recibir datos de pose de torso de usuario indicativos de una pose de torso de usuario, y la primera transformada del sistema de coordenadas depende de los datos de pose de torso de usuario.
9. El aparato de representación audiovisual según la reivindicación 8, donde la primera transformada del sistema de coordenadas alinea el sistema de coordenadas de la primera categoría con una pose del torso del usuario.
10. El aparato de representación audiovisual según cualquier reivindicación anterior comprendiendo además un receptor (217) dispuesto para recibir datos de pose del dispositivo indicativos de una pose de un dispositivo externo, y la primera transformada del sistema de coordenadas depende de los datos de pose del dispositivo.
11. El aparato de representación audiovisual según la reivindicación 10, donde la primera transformada del sistema de coordenadas alinea el sistema de coordenadas de la primera categoría con una pose del dispositivo.
12. El aparato de representación audiovisual según cualquier reivindicación anterior, donde el módulo de asignación (211) está dispuesto para seleccionar la primera categoría de representación en respuesta a un parámetro de movimiento de usuario indicativo de un movimiento del usuario.
13. El aparato de representación audiovisual según cualquier reivindicación anterior, donde el módulo de asignación (211) está dispuesto para determinar una transformada de sistema de coordenadas entre el sistema de coordenadas del mundo real y un sistema de coordenadas para los datos de movimiento de la cabeza del usuario en respuesta a un parámetro de movimiento del usuario indicativo de un movimiento del usuario.
14. El aparato de representación audiovisual según la reivindicación 12 o 13, donde el módulo de asignación (211) está dispuesto para determinar el parámetro de movimiento del usuario en respuesta a los datos de movimiento de la cabeza del usuario.
15. El aparato de representación audiovisual según cualquier reivindicación anterior, donde al menos algunas indicaciones de categoría de representación son indicativas de si los elementos audiovisuales para al menos algunas indicaciones de categoría de representación son elementos audiovisuales diegéticos o no diegéticos.
16. El aparato de representación audiovisual según cualquier reivindicación anterior, donde los elementos audiovisuales son elementos de audio y el renderizador (203) está dispuesto para generar señales de audio binaurales de salida para un dispositivo de representación binaural aplicando una representación binaural a los elementos de audio usando las poses de representación.
17. Un procedimiento de representación de elementos audiovisuales, comprendiendo:
recibir elementos audiovisuales;
recibir metadatos comprendiendo poses de entrada para cada uno de al menos algunos de los elementos audiovisuales e indicaciones de categoría de representación para cada uno de al menos algunos de los elementos audiovisuales, proporcionándose las poses de entrada con referencia a un sistema de coordenadas de entrada y las indicaciones de categoría de representación indicando una categoría de representación de un conjunto de categorías de representación;
recibir datos de movimiento de cabeza de usuario indicativos de movimiento de cabeza de un usuario; asignar las poses de entrada a las poses de representación en un sistema de coordenadas de representación en respuesta a los datos de movimiento de la cabeza del usuario, estando fijo el sistema de coordenadas de representación con respecto al movimiento de la cabeza;
representar los elementos audiovisuales utilizando las poses de representación;
donde
cada categoría de representación está vinculada con una transformada del sistema de coordenadas de un sistema de coordenadas del mundo real a un sistema de coordenadas de categoría, la transformada del sistema de coordenadas es diferente para diferentes categorías y al menos un sistema de coordenadas de categoría es variable con respecto al sistema de coordenadas del mundo real y al sistema de coordenadas de representación; y
el procedimiento incluye seleccionar una primera categoría de representación del conjunto de categorías de representación para un primero elemento audiovisual en respuesta a una indicación de categoría de representación para el primer elemento audiovisual, y para asignar una pose de entrada para el primer elemento audiovisual a poses de representación en el sistema de coordenadas de representación que corresponden a poses fijas en un sistema de coordenadas de primera categoría para variar el movimiento de la cabeza del usuario, determinándose el sistema de coordenadas de primera categoría a partir de una primera transformada del sistema de coordenadas para la primera categoría de representación.
18. Un producto de programa de computadora comprendiendo medios de código de programa de ordenador adaptados para realizar todas las etapas según la reivindicación 17 cuando dicho programa se ejecuta en una computadora.
ES21790203T 2020-10-13 2021-10-11 Audiovisual rendering apparatus and method of operation therefor Active ES3041333T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20201448.6A EP3985482A1 (en) 2020-10-13 2020-10-13 Audiovisual rendering apparatus and method of operation therefor
PCT/EP2021/078039 WO2022078952A1 (en) 2020-10-13 2021-10-11 Audiovisual rendering apparatus and method of operation therefor

Publications (1)

Publication Number Publication Date
ES3041333T3 true ES3041333T3 (en) 2025-11-11

Family

ID=72852418

Family Applications (1)

Application Number Title Priority Date Filing Date
ES21790203T Active ES3041333T3 (en) 2020-10-13 2021-10-11 Audiovisual rendering apparatus and method of operation therefor

Country Status (8)

Country Link
US (4) US12299823B2 (es)
EP (6) EP3985482A1 (es)
JP (5) JP7714030B2 (es)
KR (5) KR20250049435A (es)
CN (5) CN120298630A (es)
ES (1) ES3041333T3 (es)
PL (1) PL4229601T3 (es)
WO (1) WO2022078952A1 (es)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2601805A (en) * 2020-12-11 2022-06-15 Nokia Technologies Oy Apparatus, Methods and Computer Programs for Providing Spatial Audio
US12510254B2 (en) * 2022-07-12 2025-12-30 Whirlpool Corporation Active venting control system
EP4307722A1 (en) * 2022-07-15 2024-01-17 Bayerische Motoren Werke Aktiengesellschaft Road-based vehicle and method and system for controlling an acoustic output device in a road-based vehicle
US12250534B2 (en) * 2022-11-11 2025-03-11 Bang & Olufsen A/S Adaptive sound scene rotation
CN117475007A (zh) * 2023-10-08 2024-01-30 北京字跳网络技术有限公司 一种环境标定方法、装置、设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796776B2 (ja) * 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
CN102318374B (zh) 2009-02-13 2015-02-25 皇家飞利浦电子股份有限公司 头部跟踪方法和系统、以及音频再现系统
WO2017218973A1 (en) 2016-06-17 2017-12-21 Edward Stein Distance panning using near / far-field rendering
US10028071B2 (en) * 2016-09-23 2018-07-17 Apple Inc. Binaural sound reproduction system having dynamically adjusted audio output
GB201800920D0 (en) 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback
KR102429241B1 (ko) * 2018-06-01 2022-08-04 노키아 테크놀로지스 오와이 전방향성 콘텐츠에 대한 오버레이에서 사용자 상호작용을 시그널링하고 백그라운드에 오버레이를 그루핑하는 방법 및 장치
GB2575511A (en) * 2018-07-13 2020-01-15 Nokia Technologies Oy Spatial audio Augmentation
EP3617871A1 (en) 2018-08-28 2020-03-04 Koninklijke Philips N.V. Audio apparatus and method of audio processing
IL281936B2 (en) * 2018-11-13 2026-04-01 Dolby Laboratories Licensing Corp Audio Processing at Investor Audio Services
CN119065500A (zh) * 2019-10-22 2024-12-03 谷歌有限责任公司 可穿戴装置的空间音频
US20210405743A1 (en) * 2020-06-26 2021-12-30 Apple Inc. Dynamic media item delivery
US11558707B2 (en) * 2020-06-29 2023-01-17 Qualcomm Incorporated Sound field adjustment
US11750998B2 (en) * 2020-09-30 2023-09-05 Qualcomm Incorporated Controlling rendering of audio data

Also Published As

Publication number Publication date
JP7826542B2 (ja) 2026-03-09
EP4229601C0 (en) 2025-08-27
EP3985482A1 (en) 2022-04-20
PL4229601T3 (pl) 2025-11-12
EP4557055B1 (en) 2026-08-05
EP4229601A1 (en) 2023-08-23
JP2025102860A (ja) 2025-07-08
US20250239023A1 (en) 2025-07-24
KR20250049436A (ko) 2025-04-11
JP2023546839A (ja) 2023-11-08
CN120298632A (zh) 2025-07-11
CN116529773A (zh) 2023-08-01
WO2022078952A1 (en) 2022-04-21
EP4557057B1 (en) 2026-07-29
JP2025106335A (ja) 2025-07-15
US20230377276A1 (en) 2023-11-23
EP4557058A2 (en) 2025-05-21
EP4557057A2 (en) 2025-05-21
KR20250048808A (ko) 2025-04-10
CN120298631A (zh) 2025-07-11
CN120298630A (zh) 2025-07-11
EP4557058A3 (en) 2025-07-09
KR20230088428A (ko) 2023-06-19
EP4557057A3 (en) 2025-07-09
US20250239024A1 (en) 2025-07-24
KR20250050115A (ko) 2025-04-14
JP7802225B2 (ja) 2026-01-19
JP2025102861A (ja) 2025-07-08
EP4557056B1 (en) 2026-07-15
JP7802226B2 (ja) 2026-01-19
EP4557056A3 (en) 2025-07-09
EP4229601B1 (en) 2025-08-27
JP2025102862A (ja) 2025-07-08
US20260148504A1 (en) 2026-05-28
EP4557056A2 (en) 2025-05-21
EP4557055A2 (en) 2025-05-21
JP7714030B2 (ja) 2025-07-28
EP4557058B1 (en) 2026-08-05
JP7826541B2 (ja) 2026-03-09
CN120298629A (zh) 2025-07-11
US12299823B2 (en) 2025-05-13
EP4557055A3 (en) 2025-07-09
KR20250049435A (ko) 2025-04-11

Similar Documents

Publication Publication Date Title
ES2980463T3 (es) Aparato de audio y método de procesamiento de audio
US12299823B2 (en) Audiovisual rendering apparatus and method of operation therefor
BR122025005494A2 (pt) Aparelho de renderização audiovisual e método de renderização de itens audiovisuais
BR122025005487A2 (pt) Aparelho de renderização audiovisual e método de renderização de itens audiovisuais
BR122025005501A2 (pt) Aparelho de renderização audiovisual e método de renderização de itens audiovisuais
BR122025005498A2 (pt) Aparelho de renderização audiovisual e método de renderização de itens audiovisuais
GB2558279A (en) Head mountable display system