ES2953685T3 - Aparato y procedimiento para el remapeo de objetos de audio relacionado con la pantalla - Google Patents

Aparato y procedimiento para el remapeo de objetos de audio relacionado con la pantalla Download PDF

Info

Publication number
ES2953685T3
ES2953685T3 ES18248305T ES18248305T ES2953685T3 ES 2953685 T3 ES2953685 T3 ES 2953685T3 ES 18248305 T ES18248305 T ES 18248305T ES 18248305 T ES18248305 T ES 18248305T ES 2953685 T3 ES2953685 T3 ES 2953685T3
Authority
ES
Spain
Prior art keywords
screen
audio
metadata
audio object
indicates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18248305T
Other languages
English (en)
Inventor
Simone NEUKAM
Jan Plogsties
Sascha Dick
Johannes Hilpert
Julien Robilliard
Achim Kuntz
Andreas Hölzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Application granted granted Critical
Publication of ES2953685T3 publication Critical patent/ES2953685T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Stereophonic System (AREA)

Abstract

Se proporciona un aparato para generar señales de altavoz. El aparato comprende un procesador de metadatos de objetos (110) y un procesador de objetos (120). El procesador de objetos (120) está configurado para recibir un objeto de audio. El procesador de metadatos de objeto (110) está configurado para recibir metadatos, que comprenden una indicación sobre si el objeto de audio está relacionado con la pantalla y que comprende además una primera posición del objeto de audio. El procesador de metadatos de objetos (110) está configurado para calcular una segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de una pantalla, si el objeto de audio se indica en los metadatos como relacionado con la pantalla. . El representador de objetos (120) está configurado para generar las señales de altavoz dependiendo del objeto de audio y dependiendo de la información de posición. El procesador de metadatos de objetos (110) está configurado para alimentar la primera posición del objeto de audio como información de posición en el procesador de objetos (120), si el objeto de audio se indica en los metadatos como no relacionado con la pantalla. El procesador de metadatos de objetos (110) está configurado para alimentar la segunda posición del objeto de audio como información de posición en el procesador de objetos (120), si el objeto de audio se indica en los metadatos como relacionado con la pantalla. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Aparato y procedimiento para el remapeo de objetos de audio relacionado con la pantalla
[0001] La presente invención se refiere al procesamiento de señales de audio, en particular, a un aparato y un procedimiento para el remapeo de objetos de audio y, más específicamente, a un aparato y un procedimiento para el remapeo de objetos de audio relacionado con la pantalla.
[0002] Con el creciente consumo de contenido de multimedia en la vida diaria, la demanda de soluciones multimedia sofisticadas aumenta constantemente. En este contexto, la integración del contenido visual y de audio desem­ peña un papel importante. Sería ventajoso un ajuste óptimo del contenido multimedia audiovisual a la configuración de reproducción audiovisual existente.
[0003] En el estado de la técnica, se conocen los objetos de audio. Los objetos de audio se pueden considerar, p. ej., como pistas de sonido con metadatos asociados. Los metadatos pueden describir, p. ej., las características de los datos de audio brutos, p. ej., la posición de reproducción deseada o el nivel de volumen. Una ventaja del audio basado en objetos es que se puede reproducir un movimiento predefinido mediante un proceso de renderización es­ pecial del lado de la reproducción de la mejor manera posible para todas las disposiciones de altavoces para la repro­ ducción.
[0004] Se pueden emplear metadatos geométricos para definir dónde se debe renderizar un objeto de audio, p. ej., los ángulos del azimut o elevación o las posiciones absolutas con respecto a un punto de referencia, p. ej., el oyente. Los metadatos se almacenan o transmiten junto con las señales de audio de objetos.
[0005] En el contexto de MPEG-H, en la 105a reunión de MPEG el grupo de audio revisó los requisitos y los plazos de diferentes normas de aplicación (MPEG = Moving Picture Experts Group, Grupo de Expertos en Imágenes en Movimiento). Según esa revisión, sería esencial cumplir con ciertos puntos de tiempo y requisitos específicos para un sistema de transmisión de la próxima generación. De acuerdo con eso, un sistema debería poder aceptar objetos de audio a la entrada del codificador. Además, el sistema debería admitir la señalización, transmisión y renderizacion de objetos de audio debería habilitar el control de los objetos por el usuario, p. ej., para la mejora de diálogos, pistas de lenguajes alternativos y lenguaje de descripción de audio.
[0006] En el estado de la técnica, se han dado a conocer diferentes conceptos. Según una primera técnica anterior, presentada en “Method and apparatus for playback of a higher-order ambisonics audio signal” (véase [1]), se adapta la reproducción del audio orientado al campo del sonido espacial a sus objetos visibles asociados mediante la aplicación de un proceso de distorsión espacial (warping). En esa técnica anterior, el decodificador deforma el campo sonoro de tal manera que todos los objetos sonoros en la dirección de la pantalla se compriman o estiren de acuerdo con la relación de los tamaños de las pantallas pretendidas y de referencia. Se incluye la posibilidad de codificar y transmitir el tamaño de referencia (o el ángulo de visualización desde una posición de escucha de referencia) de la pantalla empleada en la producción del contenido en forma de metadatos junto con el contenido. Por otro lado, se presume un tamaño de pantalla de referencia fijo al codificar y decodificar, y el decodificador conoce el tamaño real de la pantalla objetivo. En esta técnica anterior, el decodificador distorsiona el campo sonoro de tal manera que todos los objetos sonoros en la dirección de la pantalla se compriman o estiren de acuerdo con la relación del tamaño de la pantalla pretendida y el tamaño de la pantalla de referencia. Se utilizan las denominadas funciones de warping o por lineal por segmentos de a dos segmentos (“two-segment piecewise linear”). El estiramiento se limita a las posiciones angulares de los elementos sonoros. En esa técnica anterior, en el caso de las pantallas centradas, la definición de la función de distorsión o warping es similar a la definición de la función de mapeo correspondiente al remapeo relacio­ nado con la pantalla. El primero y tercer segmentos de la función de mapeo lineal segmentario de tres segmentos se podría definir como la función lineal segmentaria de dos segmentos. Sin embargo, con esa técnica anterior, la aplicación se limita a HOA (señales HOA = ambisonics de orden superior) (orientado al campo sonoro) en el dominio espa­ cial. Además, la función de distorsión sólo depende de la relación entre la pantalla de referencia y la pantalla de reproducción, y no se presenta definición alguna con respecto a las pantallas no centradas.
[0007] En otra técnica anterior, “Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition“ (véase [2]), se describe un procedimiento para adaptar la posición de una fuente de sonido a la reproducción de vídeo. La posición de reproducción de la fuente de sonido se determina de forma individual para cada objeto sonoro dependiendo de la dirección y la distancia hasta el punto de referencia y de los parámetros de la cámara. Esa técnica anterior también describe una pantalla con un tamaño de referencia fijo presunto. Se lleva a cabo el escalado lineal de todos los parámetros de posición (en coordenadas cartesianas) para adaptar la escena a una pantalla de reproducción que es más pequeña o más grande que la pantalla de referencia. Sin embargo, según esa técnica anterior, la incorporación de parámetros físicos de la cámara y de proyección es compleja, y no siempre se dispone de esos parámetros. Ade­ más, el procedimiento de esa técnica anterior funciona con coordenadas cartesianas (x,y,z), por lo que no sólo la posición sino también la distancia de un objeto cambia con el escalado de la escena. Además, esta técnica anterior no es aplicable a la adaptación de la posición del objeto con respecto a los cambios de tamaño relativo de la pantalla (ángulo de apertura, ángulo de visualización) en las coordenadas angulares.
[0008] En otra técnica anterior, “Verfahren zur Audiocodierung” (véase [3]), se describe un procedimiento que incluye una transmisión del ángulo de visualización horizontal y vertical en curso (variable en el tiempo) en el flujo de datos (ángulo de visualización de referencia, en relación con la posición del oyente en la escena original). Del lado de la reproducción, se analiza el tamaño y la posición de la reproducción y se optimiza la reproducción de los objetos de audio de forma individual para equipararlos a la pantalla de referencia.
[0009] En otra técnica anterior, “Acoustical Zooming Based on a parametric Sound Field Representation” (véase [4]), se describe un procedimiento que produce la renderización de audio que sigue el movimiento de la escena visual (“zoom acústico”). El proceso de zoom acústico (acercamiento-alejamiento) se define como desplazamiento de la posición de grabación virtual. El modelo de escena para el algoritmo de zooming coloca todas las fuentes de sonido en un círculo con un radio fijo, aunque arbitrario. Sin embargo, el procedimiento de esa técnica anterior actúa en el dominio de los parámetros DirAC, se cambian la distancia y los ángulos (dirección de llegada), la función de mapeo no es lineal y depende de un factor/parámetro de zoom y no se admiten las pantallas no centradas.
[0010] El objeto de la presente invención es dar a conocer conceptos mejorados para la integración de conte­ nido multimedia audiovisual empleando configuraciones de reproducción multimedia existentes. El objeto de la pre­ sente invención se resuelve mediante un aparato según la reivindicación 1, mediante un dispositivo decodificador según la reivindicación 13, mediante un procedimiento según la reivindicación 14 y mediante un programa informático según la reivindicación 15.
[0011] Se presenta un aparato para el remapeo de objetos de audio. El aparato comprende un procesador de metadatos de objetos y un renderizador de objetos. El renderizador de objetos está configurado para recibir un objeto de audio. El procesador de metadatos de objetos está configurado para recibir metadatos, que comprenden una indi­ cación de si el objeto de audio tiene relación con la pantalla, y que además comprenden una primera posición del objeto de audio. Además, el procesador de metadatos de objetos está configurado para calcular una segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo de un tamaño de una pantalla, si en los metadatos se indica que el objeto de audio tiene relación con la pantalla. El renderizador de objetos está configurado para generar las señales de altavoces dependiendo del objeto de audio y dependiendo de la infor­ mación de posición. El procesador de metadatos de objetos está configurado para alimentar la primera posición del objeto de audio en forma de información sobre la posición al renderizador de objetos, si en los metadatos se indica que el objeto de audio no está relacionado con la pantalla. Además, el procesador de metadatos de objetos está configurado para alimentar la segunda posición del objeto de audio como información sobre la posición al renderizador de objetos, si en los metadatos se indica que el objeto de audio depende del tamaño de la pantalla,
en el que la primera posición indica al menos un primer azimut y una primera elevación, en el que la segunda posición indica al menos al menos un segundo azimut y una segunda elevación,
en el que el procesador de metadatos del objeto está configurado para calcular la segunda posición del objeto de audio dependiendo de al menos una de una primera función de mapeo lineal y una segunda función de mapeo lineal, en la que la primera función de mapeo lineal se define para mapear un primer valor de azimut a un segundo valor de azimut, en el que la segunda función de mapeo lineal se define para mapear un primer valor de elevación a un segundo valor de elevación.
[0012] Según una realización, el procesador de metadatos de objetos puede estar configurado para no calcular la segunda posición del objeto de audio, si en los metadatos se indica que el objeto de audio no está relacionado con la pantalla.
[0013] En una realización, el renderizador de objetos está configurado para no determinar si la información sobre la posición es la primera posición del objeto de audio o la segunda posición del objeto de audio.
[0014] Según una realización, el renderizador de objetos está configurado para generar las señales de altavo­ ces dependiendo además del número de los altavoces de un entorno de reproducción.
[0015] En una realización, el renderizador de objetos está configurado para generar las señales de altavoces dependiendo además de una posición de altavoces de cada uno de los altavoces del entorno de reproducción.
[0016] Según una realización, el procesador de metadatos de objetos está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si en los metadatos se indica que el objeto de audio tiene relación con la pantalla, donde la primera posición indica la primera posición en un espacio tridimensional, y donde la segunda posición indica la segunda posición en el espacio tridimensional.
[0017] En una realización, el procesador de metadatos de objetos está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si en los metadatos se indica que el objeto de audio tiene relación con la pantalla, donde la primera posición indica un primer azimut, una primera elevación y una primera distancia, y donde la segunda posición indica un segundo azimut, una segunda elevación y una segunda distancia.
[0018] Según una realización, el procesador de metadatos de objetos está configurado para recibir los metadatos, que comprenden la indicación de si el objeto de audio tiene relación con la pantalla como primera indicación, y que comprenden asimismo una segunda indicación, si el objeto de audio tiene relación con la pantalla, donde dicha segunda indicación indica si el objeto de audio es un objeto en pantalla. El procesador de metadatos de objetos está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, de tal manera que la segunda posición tome un primer valor en el área de pantalla de la pantalla si la segunda indicación indica que el objeto de audio es un objeto en pantalla.
[0019] En una realización, el procesador de metadatos de objetos está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, de tal manera que la segunda posición asuma un segundo valor, que está en el área de pantalla o no está en el área de pantalla, si la segunda indicación indica que el objeto de audio no es un objeto en pantalla.
[0020] Según una realización, el procesador de metadatos de objetos está configurado para recibir los metadatos, que comprenden la indicación de si el objeto de audio tiene relación con la pantalla como primera indicación, y que comprenden además una segunda indicación, si el objeto de audio tiene relación con la pantalla, donde dicha segunda indicación indica si el objeto de audio es un objeto en pantalla. El procesador de metadatos de objetos está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio, dependiendo del tamaño de la pantalla y dependiendo de una primera curva de mapeo como curva de mapeo, si la segunda indicación indica que el objeto de audio es un objeto en pantalla, donde la primera curva de mapeo define un mapeo de las posiciones originales de los objetos en un primer intervalo de valores con las posiciones remapeadas de los objetos en un segundo intervalo de valores. Además, el procesador de metadatos de objetos está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio, dependiendo del tamaño de la pantalla, y dependiendo de una segunda curva de mapeo como curva de mapeo, si la segunda indicación indica que el objeto de audio no es un objeto en pantalla, donde la segunda curva de mapeo define el mapeo de las posiciones originales de los objetos en el primer intervalo de valores con las posiciones remapeadas de los objetos en un tercer intervalo de valores, y donde dicho segundo intervalo de valores está comprendido en el tercer intervalo de valores, y donde dicho segundo intervalo de valores es menor que dicho tercer intervalo de valores.
[0021] En una realización, cada uno del primer intervalo de valores y el segundo intervalo de valores y el tercer intervalo de valores puede ser, p. ej., un intervalo de valores de ángulos azimutales, o cada uno del primer intervalo de valores y el segundo intervalo de valores y el tercer intervalo de valores es un intervalo de valores de ángulos de elevación.
nominal
Figure imgf000004_0001
Figure imgf000005_0001
y donde el segundo valor de elevación 6 puede ser el resultado, p. ej., de un segundo mapeo del primer valor de elevación 0 según la segunda función de mapeo lineal según
Figure imgf000005_0002
[0023] Además, se proporciona un dispositivo decodificador. El dispositivo decodificador comprende un deco­ dificador USAC para decodificar un flujo de bits para obtener uno o más canales de entrada de audio, para obtener uno o más canales de audio, para obtener uno o más objetos de audio de entrada, para obtener metadatos de objeto comprimidos y para obtener uno o más canales de transporte para SAOC. Además, el dispositivo decodificador com­ prende un decodificador SAOC para decodificar dichos uno o más canales de transporte para SAOC para obtener un primer grupo de uno o más objetos de audio renderizados. Además, el dispositivo decodificador comprende un aparato según las realizaciones antes descritas. El aparato comprende un decodificador de metadatos de objetos, que es el procesador de metadatos de objetos del aparato según las realizaciones antes descritas, y que está implementado para decodificar los metadatos de objeto comprimidos para obtener metadatos no comprimidos, y el aparato com­ prende además el renderizador de objetos del aparato según las realizaciones antes descritas, para renderizar dichos uno o más objetos de audio de entrada dependiendo de los metadatos no comprimidos para obtener un segundo grupo de uno o más objetos de audio renderizados. Por añadidura, el dispositivo decodificador comprende un conversor de formato para convertir dichos uno o más canales de entrada de audio para obtener uno o más canales convertidos. Además, el dispositivo decodificador comprende un mezclador para mezclar dichos uno o más objetos de audio del primer grupo de uno o más objetos de audio renderizados, dichos uno o más objetos de audio del segundo grupo de uno o más objetos de audio renderizados y dichos uno o más canales convertidos para obtener uno o más canales de audio decodificados.
[0024] De igual modo, se proporciona un procedimiento para generar señales de altavoces según la reivindi­ cación 14.
[0025] A continuación se describen las realizaciones de la presente invención en forma más detallada con referencia a las figuras, en las cuales:
Fig. 1 es un aparato para generar señales de altavoces según una realización,
Fig. 2 ilustra un renderizador de objetos según una realización,
Fig. 3 ilustra un procesador de metadatos de objeto según una realización,
Fig. 4 ilustra el remapeo del azimut según las realizaciones,
Fig. 5 ilustra el remapeo de la elevación según las realizaciones,
Fig. 6 ilustra el remapeo del azimut según las realizaciones,
Fig. 7 ilustra el remapeo de la elevación según las realizaciones,
Fig. 8 ilustra una vista general de un codificador de audio 3D,
Fig. 9 ilustra una vista general de un decodificador de audio 3D según una realización,
Fig. 10 ilustra una estructura de un conversor de formato,
Fig. 11 ilustra la renderización de audio basada en objetos según una realización,
Fig. 12 ilustra un preprocesador de metadatos de objeto según una realización,
Fig. 13 ilustra el remapeo del azimut según una realización,
Fig. 14 ilustra el remapeo de los ángulos de elevación según una realización,
Fig. 15 ilustra el remapeo de los ángulos azimutales según una realización,
Fig. 16 ilustra el remapeo de la elevación según otras realizaciones y
Fig. 17 ilustra el remapeo de la elevación según otras realizaciones.
[0026] La Fig. 1 ilustra un aparato para el remapeo de objetos de audio según una realización. El aparato comprende un procesador de metadatos de objeto 110 y un renderizador de objetos 120.
[0027] El renderizador de objetos 120 está configurado para recibir un objeto de audio.
[0028] El procesador de metadatos de objetos 110 está configurado para recibir metadatos, que comprenden una indicación de si el objeto de audio tiene relación con la pantalla, y que además comprende una primera posición del objeto de audio. Además, el procesador de metadatos de objetos 110 está configurado para calcular una segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de una pantalla, si en los metadatos se indica que el objeto de audio tiene relación con la pantalla.
[0029] El renderizador de objetos 120 está configurado para generar las señales de altavoces dependiendo del objeto de audio y dependiendo de información de posición.
[0030] El procesador de metadatos de objetos 110 está configurado para alimentar la primera posición del objeto de audio como información sobre la posición al renderizador de objetos 120, si en los metadatos se indica que el objeto de audio no está relacionado con la pantalla.
[0031] De igual forma, el procesador de metadatos de objetos 110 está configurado para alimentar la segunda posición del objeto de audio como la información sobre la posición al renderizador de objetos 120, si en los metadatos se indica que el objeto de audio tiene relación con la pantalla.
[0032] Según una realización, el procesador de metadatos de objetos 110 puede estar configurado, p. ej., para no calcular la segunda posición del objeto de audio, si en los metadatos se indica que el objeto de audio no está relacionado con la pantalla.
[0033] En una realización, el renderizador de objetos 120 puede estar configurado, p. ej., para no determinar si la información sobre la posición es la primera posición del objeto de audio o la segunda posición del objeto de audio.
[0034] Según una realización, el renderizador de objetos 120 puede estar configurado, p. ej., para generar las señales de altavoces dependiendo además del número de los altavoces de un entorno de reproducción.
[0035] En una realización, el renderizador de objetos 120 puede estar configurado, p. ej., para generar las señales de altavoces dependiendo además de una posición de altavoces de cada uno de los altavoces del entorno de reproducción.
[0036] Según una realización, el procesador de metadatos de objetos 110 está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si en los metadatos se indica que el objeto de audio tiene relación con la pantalla, donde la primera posición indica la primera posición en un espacio tridimensional, y donde la segunda posición indica la se­ gunda posición en el espacio tridimensional.
[0037] En una realización, el procesador de metadatos de objetos 110 puede estar configurado, p. ej., para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si en los metadatos se indica que el objeto de audio tiene relación con la pantalla, donde la primera posición indica un primer azimut, una primera elevación y una primera distancia, y donde la segunda posición indica un segundo azimut, una segunda elevación y una segunda distancia.
[0038] Según una realización, el procesador de metadatos de objetos 110 puede estar configurado, p. ej., para recibir los metadatos, que comprenden la indicación de si el objeto de audio tiene relación con la pantalla como una primera indicación, y que además comprende una segunda indicación, si el objeto de audio tiene relación con la pantalla, dicha segunda indicación que indica si el objeto de audio es un objeto en pantalla. El procesador de metadatos de objetos 110 puede estar configurado, p. ej., para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, de tal manera que la segunda posición asuma un primer valor en un área de pantalla de la pantalla, si la segunda indicación indica que el objeto de audio es un objeto en pantalla.
[0039] En una realización, el procesador de metadatos de objetos 110 puede estar configurado, p. ej., para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, de tal manera que la segunda posición asuma un segundo valor, que está en el área de pantalla o no está en el área de pantalla, si la segunda indicación indica que el objeto de audio no es un objeto en pantalla.
[0040] Según una realización, el procesador de metadatos de objetos 110 puede estar configurado, p. ej., para recibir los metadatos, que comprenden la indicación de si el objeto de audio tiene relación con la pantalla como primera indicación, y que además comprende una segunda indicación, donde si el objeto de audio tiene relación con la pantalla, dicha segunda indicación indica si el objeto de audio es un objeto en pantalla. El procesador de metadatos de objetos 110 puede estar configurado, p. ej., para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio, dependiendo del tamaño de la pantalla, y dependiendo de una primera curva de mapeo como curva de mapeo, si la segunda indicación indica que el objeto de audio es un objeto en pantalla, donde la primera curva de mapeo define el mapeo de las posiciones originales de los objetos en un primer intervalo de valores con las posiciones remapeadas de los objetos en un segundo intervalo de valores. Además, el procesador de metadatos de objetos 110 puede estar configurado, p. ej., para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio, dependiendo del tamaño de la pantalla, y dependiendo de una segunda curva de mapeo como curva de mapeo si la segunda indicación indica que el objeto de audio no es un objeto en pantalla, donde la segunda curva de mapeo define el mapeo de las posiciones originales de los objetos en el primer intervalo de valores con las posiciones remapeadas de los objetos en un tercer intervalo de valores, y donde dicho segundo intervalo de valores está comprendido en el tercer intervalo de valores, y donde dicho segundo intervalo de valores es menor que dicho tercer intervalo de valores.
[0041] En una realización, cada uno del primer intervalo de valores y el segundo intervalo de valores y el tercer intervalo de valores puede ser, p. ej., un intervalo de valores de ángulos azimutales, o cada uno del primer intervalo de valores y el segundo intervalo de valores y el tercer intervalo de valores puede ser, p. ej., un intervalo de valores de ángulos de elevación.
[0042] A continuación se describen realizaciones específicas de la presente invención y las características opcionales de una pluralidad de realizaciones de la presente invención.
[0043] Podría haber objetos de audio (señal de audio asociada a una posición en el espacio 3D, p. ej., dados el azimut, la elevación y la distancia) que no están destinados a una posición fija, sino cuya posición debería cambiar con el tamaño de una pantalla en la configuración de reproducción.
[0044] Si se señaliza un objeto como relacionado con la pantalla (p. ej., por medio de una bandera en los metadatos), su posición se remapea/recalcula con respecto al tamaño de la pantalla según una regla específica.
[0045] La Fig. 2 ilustra un renderizador de objetos según una realización.
[0046] Como introducción, se señala lo siguiente:
[0047] En los formatos de audio basado en objetos se almacenan o transmiten metadatos junto con las señales de objeto. Los objetos de audio se renderizan del lado de la reproducción empleando los metadatos e información acerca del entorno de reproducción. Esa información es p. ej. el número de altavoces o el tamaño de la pantalla.
T l 1: E m l m :
Figure imgf000007_0001
(continuación)
Figure imgf000008_0001
[0048] En el caso de los objetos se pueden utilizar metadatos geométricos para definir de qué manera se deben renderizar, p. ej. los ángulos de azimut o elevación o las posiciones absolutas con respecto a un punto de referencia, p. ej. el oyente. El renderizador calcula las señales de altavoces sobre la base de los datos geométricos y los altavoces disponibles y su posición.
[0049] Las realizaciones según la presente invención surgen de lo anterior de la siguiente manera.
[0050] Para controlar la renderización relacionada con la pantalla, un campo de metadatos adicional controla la manera de interpretar los metadatos geométricos:
Si se ajusta el campo a OFF (apagado), el renderizador interpreta por los metadatos geométricos que debe computar las señales de altavoces.
[0051] Si se ajusta el campo a ON (encendido) los metadatos geométricos son mapeados de los datos nomi­ nales con otros valores. El mapeo se realiza sobre los metadatos geométricos, de tal manera que el renderizador que sigue el procesador de metadatos de objetos desconoce el preprocesamiento de los metadatos de objeto y opera sin cambios. En las siguientes tablas se presentan ejemplos de dichos campos de metadatos.
Tabla 2: Ejemplo de metadatos para controlar la renderización relacionada con la pantalla y su significado: AzimuthScreenRelated Se ajusta el azimut al tamaño de la pantalla
ElevationScreenRelated Se ajusta la elevación al tamaño de la pantalla
. _ r i t robjh' t Se remapea el azimut y la elevación para renderizar objetos __________________ j____________con la pantalla__________________________________________
Figure imgf000008_0002
isOnScreenObject_____________ Se relaciona la señal de objeto con un objeto colocado en pantalla [0052] Además, se podría enviar el tamaño nominal de pantalla o el tamaño de la pantalla utilizado durante la producción del contenido de audio como información de metadatos.
Figure imgf000009_0001
[0053] La siguiente tabla presenta un ejemplo de cómo se deben codificar esos metadatos de manera eficiente.
T l — in xi M nfi n n r liz i n:
Figure imgf000009_0002
hasOnScreenObjects Esta bandera especifica si hay presencia de objetos relacionados con la pantalla.
isScreenRelatedObject Esta bandera define si la posición de un objeto está relacionada con la pantalla (la posición debe ser renderizada de manera diferente, de tal manera que se remapee su posición, aunque de todos modos puede contener todos los valores angulares válidos.
isOnScreenObject Esta bandera define que el correspondiente objeto está “onscreen” (en pantalla). Los objetos donde esta bandera es igual a 1 deben ser renderizados de modo diferente, de tal manera que su posición sólo pueda asumir valores en el área de pantalla. De conformidad con una alternativa, no se utiliza la bandera, sino que se define un ángulo de la pantalla de referencia. Si isScreenRelativeObject=1 entonces todos los ángulos se consideran con respecto a este ángulo de referencia. Podría haber otros casos de uso cuando es necesario saber que el objeto de audio está en pantalla.
[0054] Cabe señalar, con respecto a isScreenRelativeObject, que según una realización, hay dos posibilida­ des: el remapeo de la posición, aunque de todos modos puede asumir todos los valores (relacionados con la pantalla) y el remapeo de tal modo que sólo pueda contener valores que estén en área de pantalla (en pantalla).
[0055] El remapeo se realiza en un procesador de metadatos de objeto que toma en cuenta el tamaño de pantalla local y ejecuta el mapeo de los metadatos geométricos.
[0056] La Fig. 3 ilustra un procesador de metadatos de objeto según una realización.
[0057] En cuando a la modificación de los metadatos geométricos relacionados con la pantalla, se dice lo si­ guiente.
[0058] Dependiendo de la información isScreenRelativeObject e isOnScreenObject hay dos posibilidades de señalización de los elementos de audio relacionados con la pantalla:
a) Elementos de audio relativos a la pantalla
b) Elementos de audio en pantalla
[0059] En ambos casos, los datos de posición de los elementos de audio son remapeados por el procesador de metadatos de objetos. Se aplica una curva que mapea los ángulos azimutal y de elevación originales de la posición con un azimut remapeado y un ángulo de elevación remapeado
[0060] La referencia es el tamaño de pantalla nominal en los metadatos o un presunto tamaño de pantalla por defecto.
[0061] Por ejemplo, se puede utilizar un ángulo de visualización definido en ITU-R REC-BT.2022 (Condiciones de visualización generales para la evaluación subjetiva de la calidad de imágenes de televisión SDTV y HDTV en pantallas de panel plano).
[0062] La diferencia entre los dos tipos de relación con la pantalla es la definición de la curva de remapeo.
[0063] En el caso a) el azimut remapeado puede asumir valores de entre -180° y 180° y la elevación remapeada puede asumir valores de entre -90° y 90°. La curva se define de tal manera que los valores de azimut entre un azimut del borde izquierdo por defecto y un azimut del borde derecho por defecto se mapeen (compriman o expandan) con el intervalo entre el borde izquierdo dado de la pantalla y el borde derecho dado de la pantalla (y de manera consiguiente en el caso de la elevación). Los demás valores de azimut y elevación se comprimen o expanden de manera correspondiente, de tal manera que se abarque el intervalo total de los valores.
[0064] La Fig. 4 ilustra el remapeo del azimut según las realizaciones.
[0065] En el caso b) el azimut y la elevación remapeados sólo pueden asumir valores que describen posiciones en el área de pantalla (Azimut(borde izquierdo de la pantalla) Azimut(remapeado) Azimut(borde derecho de la pantalla) y Elevación(borde inferior de la pantalla) Elevación(remapeado) Elevación(borde superior de la pantalla)).
[0066] Hay diferentes posibilidades de tratar los valores fuera de estos intervalos. Podrían ser mapeados con los bordes de la pantalla de tal manera que todos los objetos entre -180° de azimut y el borde izquierdo de la pantalla terminen en el borde izquierdo de la pantalla y todos los objetos entre el borde derecho de la pantalla y 180° de azimut terminen a la derecha de la pantalla. Otra posibilidad consiste en mapear los valores del hemisferio posterior con el hemisferio anterior. En el hemisferio izquierdo se mapean entonces las posiciones entre -180° Azimut(borde iz­ quierdo de la pantalla) y Azimut(borde izquierdo de la pantalla) con el borde izquierdo de la pantalla. Los valores entre -180° y -180° Azimut(borde izquierdo de la pantalla) se mapean con los valores entre 0° y Azimut(borde izquierdo de la pantalla). De la misma manera se trata el hemisferio derecho y los ángulos de elevación.
[0067] La Fig. 5 ilustra el remapeo de la elevación según las realizaciones.
[0068] Los puntos -x1 y x2 (que podrían ser diferentes o iguales a x1) de la curva en que el gradiente cambia pueden ser fijados en valores por defecto (tamaño de pantalla asumido por defecto posición) o pueden estar pre­ sentes en los metadatos (p. ej., por el productor, que a continuación podría poner ahí el tamaño de pantalla de la producción).
[0069] También existen funciones de mapeo posibles que no consisten en segmentos lineales sino que, por el contrario, son curvos.
[0070] Otros metadatos podrían controlar la forma de remapeo, p. ej., definiendo desviaciones o coeficientes no lineales para dar cuenta del comportamiento de paneo o la resolución de la audición.
[0071] También se podría señalizar la manera de ejecutar el mapeo, p. ej., “proyectando” todos los objetos destinados para la parte posterior de la pantalla.
[0072] Dichos procedimientos de mapeo alternativos están enumerados en las siguientes figuras.
[0073] En ellas, la Fig. 6 ilustra el remapeo del azimut según las realizaciones.
[0074] La Fig. 7 ilustra el remapeo de la elevación según las realizaciones.
[0075] En lo que respecta al comportamiento de un tamaño de pantalla desconocido:
si no se da el tamaño de pantalla de reproducción,
- se asume entonces un tamaño de pantalla por defecto, o bien
- no se aplica mapeo alguno, incluso si un objeto está marcado como relacionado con la pantalla o en pantalla.
[0076] Volviendo a la Fig. 4, en otra realización, en el caso b) el azimut y la elevación remapeados sólo pueden asumir valores que describen posiciones en el área de pantalla (Azimut(borde izquierdo de la pantalla) < Azimut(remapeado) < Azimut(borde derecho de la pantalla) y Elevación(borde inferior de la pantalla) < Elevación(remapeada) < Elevación(borde superior de la pantalla)). Hay diferentes posibilidades para tratar los valores fuera de estos intervalos: En algunas realizaciones, podrían ser mapeados con los bordes de la pantalla de tal manera que todos los objetos entre 180° de azimut y el borde izquierdo de la pantalla terminen en el borde izquierdo de la pantalla y todos los objetos entre el borde derecho de la pantalla y -180° de azimut terminen en el borde derecho de la pantalla. Otra posibilidad consiste en mapear los valores del hemisferio posterior con el hemisferio anterior.
[0077] En el hemisferio izquierdo entonces, se mapean las posiciones entre 180° - de Azimut(borde izquierdo de la pantalla) y Azimut(borde izquierdo de la pantalla) con el borde izquierdo de la pantalla. Los valores entre 180° y 180° - Azimut(borde izquierdo de la pantalla) se mapean con los valores entre 0° y Azimut(borde izquierdo de la pantalla). El hemisferio derecho y los ángulos de elevación son tratados de la misma manera.
[0078] La Fig. 16 ilustra una figura similar a la Fig. 5. En las realizaciones ilustradas por la Fig. 16, en ambos diagramas, se expone un intervalo de valores en el eje de las abscisas de -90° a 90° y un intervalo de valores en el eje de las ordenadas de -90° a 90°.
[0079] La Fig. 17 ilustra una figura similar a la Fig. 7. En las realizaciones ilustradas por la Fig. 17, en ambos diagramas, se expone un intervalo de valores en el eje de las abscisas de -90° a 90° y un intervalo de valores en el eje de las ordenadas de -90° a 90°.
[0080] En lo sucesivo, se describen otras realizaciones de la invención y características opcionales de otras realizaciones con referencia a la Fig. 8 - Fig. 15.
[0081] Según algunas realizaciones, el remapeo de elementos relacionados con la pantalla sólo se puede pro­ cesar, por ejemplo, si el flujo de bits contiene elementos relacionados con la pantalla (bandera isScreenRelativeObject == 1 con respecto al menos a un elemento de audio) que estén acompañados por datos OAM (datos OAM = metadatos de objetos asociados) y si se señaliza al decodificador el tamaño de pantalla local a través de la interfaz LocalScreen-Size().
[0082] Los datos geométricos de posición (los datos OAM antes de que haya tenido lugar alguna modificación de la posición) pueden ser, p. ej., mapeados con un intervalo diferente de valores mediante la definición y uso de una función de mapeo. El remapeo puede cambiar, p. ej., los datos geométricos de posición como etapa de procesamiento previa a la renderización por lo que el renderizador no tiene conocimiento del remapeo y opera sin cambios.
[0083] Para el remapeo se puede tomar en cuenta, p. ej., el tamaño de pantalla de una pantalla de referencia nominal (utilizada en el proceso de mezcla y monitoreo) y/o la información de tamaño de pantalla en el recinto de la reproducción.
[0084] Si no se da ningún tamaño de pantalla nominal de referencia, se pueden utilizar, por ejemplo, los valores de referencia por defecto, por ejemplo previendo una pantalla de 4k y una distancia de visualización óptima.
[0085] En caso de no darse ningún tamaño de pantalla local, por ejemplo no se aplica el remapeo.
[0086] Se pueden definir dos funciones de mapeo lineal, por ejemplo, para el remapeo de los valores de ele­ vación y azimut:
Los bordes de la pantalla del tamaño de pantalla nominal pueden estar dados, por ejemplo, por:
Figure imgf000011_0001
[0087] Los bordes de la pantalla de reproducción se pueden abreviar, por ejemplo, de la siguiente manera:
Figure imgf000011_0002
[0088] El remapeo de los datos de posición por azimut y elevación se pueden definir, por ejemplo, por las siguientes funciones de mapeo lineal:
Figure imgf000012_0001
[0089] La Fig. 13 ilustra una función de remapeo de los datos de posición según una realización. En particular, en la Fig. 13, se ilustra una función de mapeo para el mapeo del azimut. En la Fig. 13, la curva se define de tal manera que los valores de azimut entre el azimut de borde izquierdo nominal de referencia y el azimut de borde derecho nominal de referencia se mapean (comprimen o expanden) con el intervalo entre el borde izquierdo de la pantalla local dado y el borde derecho de la pantalla local dado. Los demás valores de azimut se comprimen o expanden de modo correspondiente, de tal manera que se cubra la totalidad del intervalo de valores.
[0090] El azimut remapeado puede asumir valores, por ejemplo, de entre -180° y 180° y la elevación remapeada puede asumir valores, por ejemplo, de entre -90° y 90°.
[0091] Según una realización, por ejemplo, si la bandera isScreenRelativeObject se ajusta a cero, no se aplica el remapeo de los elementos relacionados con la pantalla para el correspondiente elemento y el renderizador utiliza directamente los datos geométricos de posición (datos OAM más el cambio de posición por la interactividad del usua­ rio) para computar las señales de reproducción.
[0092] Según algunas realizaciones, las posiciones de todos los elementos relacionados con la pantalla pueden ser, p. ej., remapeadas de acuerdo con el tamaño de la pantalla de reproducción como adaptación al recinto de la reproducción. Por ejemplo, si no se proporciona información sobre tamaño de la pantalla de reproducción o no existe ningún elemento relacionado con la pantalla, no se aplica el remapeo.
[0093] El remapeo se puede definir, p. ej., por funciones de mapeo lineal que toman en cuenta la información sobre el tamaño de la pantalla de reproducción en el recinto de la reproducción e información de tamaño de la pantalla de una pantalla de referencia, p. ej., usada en el proceso de mezcla y monitoreo.
[0094] En la Fig. 13 se ilustra una función de mapeo del azimut según una realización. En dicha Fig. 13, se ilustra una función de mapeo de los ángulos azimutales. Como en la Fig. 13, esta se puede definir de tal manera, por ejemplo, que se mapeen los valores de azimut entre el borde izquierdo y el borde derecho de la pantalla de referencia (se compriman o expandan) con el intervalo entre el borde izquierdo y el borde derecho de la pantalla de reproducción. Los demás valores de azimut se comprimen o expanden de tal manera que se cubra el intervalo total de valores.
[0095] De manera correspondiente ser puede definir una función de mapeo de la elevación, p. ej., (véase la Fig. 14). El procesamiento relacionado con la pantalla puede tomar en cuenta asimismo, p. ej., un área de zooming (acercamiento o alejamiento) en el contenido de vídeo de alta resolución. El procesamiento relacionado con la pantalla puede definirse sólo, p. ej., con respecto a los elementos que van acompañados por datos dinámicos de posición y están marcados como relacionados con la pantalla.
[0096] A continuación se presenta una reseña general de sistema de un sistema de códec de audio 3D. Las realizaciones de la presente invención se pueden utilizar en ese tipo de sistema de códec de audio 3D. El sistema de códec de audio 3D se puede basar, p. ej., en un Códec de MPEG-D USAC para la codificación de señales de canales y objetos.
[0097] Según las realizaciones, para aumentar la eficiencia para la codificación de una gran cantidad de obje­ tos, se ha adaptado la tecnología de MPEG SAOC (SAOC = Spatial Audio Object Coding, Codificación de Objetos de Audio Espacial). Por ejemplo, según algunas realizaciones, tres tipos de renderizadores pueden ejecutar, p. ej., las tareas de renderización de objetos a canales, renderización de canales a auriculares o renderización de canales a una configuración de altavoces diferente.
[0098] Cuando se transmiten explícitamente señales de objeto o se codifican paramétricamente empleando SAOC, la correspondiente información de Metadatos de Objeto se comprime y multiplexa en el flujo de bits de audio 3D.
[0099] La Fig. 8 y la Fig. 9 muestran los diferentes bloques algorítmicos del sistema de Audio 3D. En particular, la Fig. 8 ilustra una vista general de un codificador de audio 3D. La Fig. 9 ilustra una vista general de un decodificador de audio 3D según una realización.
[0100] Se describen ahora las posibles realizaciones de los módulos de la Fig. 8 y la Fig. 9.
[0101] En la Fig. 8, se ilustra un prerenderizador 810 (al que también se hace referencia como mezclador). En la configuración de la Fig. 8, el prerenderizador 810 (mezclador) es opcional. El prerenderizador 810 también se puede utilizar de manera opcional para convertir una escena de entrada de Canal Objeto a una escena de canal antes de la codificación. Funcionalmente, el prerenderizador 810 del lado del codificador puede estar relacionado, p. ej., con la funcionalidad del renderizador/mezclador de objetos 920 del lado del decodificador, que se describe a continuación. La prerenderización de objetos garantiza una entropía de la señal determinística a la entrada del codificador que es básicamente independiente del número de señales de objeto activas de forma simultánea. Con la prerenderización de objetos, no es necesaria la transmisión de metadatos de objeto. Se renderizan las señales de objeto a la Disposición de Canales que el codificador está configurado para usar. Las ponderaciones de los objetos por cada canal se obtienen de los metadatos de objeto asociados (OAM).
[0102] El códec núcleo correspondiente a las señales de canales de los altavoces, las señales de objeto discretas, las señales de mezcla descendente de objetos y las señales prerenderizadas se basa en la tecnología MPEG-D USAC (Códec de Núcleo de USAC). El codificador de USAC 820 (p. ej., el ilustrado en la Fig. 8) trata la codificación de la multitud de señales mediante la creación de información de mapeo de canales y objetos basada en la información geométrica y semántica del canal de entrada y la asignación de objetos. Esta información de mapeo describe, cómo se mapean los canales de entrada y objetos con los Elementos de Canales de USAC (CPEs, SCEs, LFEs) y cómo se transmite la información correspondiente al decodificador.
[0103] Todas las cargas útiles adicionales como datos o metadatos de objeto de SAOC han sido pasadas por elementos de extensión y se las puede considerar, p. ej., en el control de la tasa del codificador de USAC.
[0104] La codificación de objetos es posible de diferentes maneras, dependiendo de los requisitos de tasa/distorsión y los requisitos de interactividad del renderizador. Las siguientes variantes de codificación de objetos son po­ sibles:
- Objetos prerenderizados: Las señales de objeto son prerenderizadas y mezcladas con las señales de 22.2 canales antes de la codificación. La cadena de codificación subsiguiente ve señales de 22.2 canales.
- Formas de onda de objetos discretos: Los objetos se proporcionan como formas de onda monofónicas al codificador de USAC 820. El codificador de USAC 820 utiliza elementos de canales únicos SCEs para transmitir los objetos ade­ más de las señales de canal. Los objetos decodificados son renderizados y mezclados del lado del receptor. Se trans­ mite la información comprimida de metadatos de objeto al receptor/renderizador de forma paralela.
- Formas de onda paramétricas de objetos: Las propiedades de los objetos y su relación entre sí se describen por medio de parámetros de SAOC. La mezcla descendente de las señales de objeto es codificada con USAC por el codificador de USAC 820. La información paramétrica se transmite de forma paralela. Se elige el número de canales de mezcla descendente según el número de objetos y de la tasa de datos general. Se transmite la información com­ primida de metadatos de objeto al renderizador SAOC.
[0105] Del lado del decodificador, un codificador USAC 910 lleva a cabo la decodificación según USAC.
[0106] Además, según las realizaciones, se presenta un dispositivo decodificador, véase la Fig. 9. El dispositivo decodificador comprende un decodificador USAC 910 para decodificar un flujo de bits con el fin de obtener uno o más canales de entrada de audio, para obtener uno o más objetos de audio, para obtener metadatos de objeto comprimidos y para obtener uno o más canales de transporte para SAOC.
[0107] De igual forma, el dispositivo decodificador comprende un decodificador SAOC 915 para decodificar dichos uno o más canales de transporte para SAOC para obtener un primer grupo de uno o más objetos de audio renderizados.
[0108] Además, el dispositivo decodificador comprende un aparato 917 según las realizaciones antes descritas con respecto a las Fig. 1 a 7 o como se describe más adelante con respecto a las Figs. 11 a 15. El aparato 917 comprende un decodificador de metadatos de objetos 918 que es, p. ej., el procesador de metadatos de objetos 110 del aparato de la Fig. 1, y que está implementado para decodificar los metadatos de objeto comprimidos para obtener metadatos no comprimidos.
[0109] De igual modo, el aparato 917 según las realizaciones antes descritas comprende un renderizador de objetos 920 que es, p. ej., el renderizador de objetos 120 del aparato de la Fig. 1, para renderizar dichos uno o más objetos de audio de entrada dependiendo de los metadatos no comprimidos para obtener un segundo grupo de uno o más objetos de audio renderizados.
[0110] De igual forma, el dispositivo decodificador comprende un conversor de formato 922 para convertir dichos uno o más canales de entrada de audio para obtener uno o más canales convertidos.
[0111] Además, el dispositivo decodificador comprende un mezclador 930 para mezclar dichos uno o más ob­ jetos de audio del primer grupo de uno o más objetos de audio renderizados, dichos uno o más objetos de audio del segundo grupo de uno o más objetos de audio renderizados y dichos uno o más canales convertidos para obtener uno o más canales de audio decodificados.
[0112] En la Fig. 9 se ilustra una realización específica de un dispositivo decodificador. El codificador SAOC 815 (el codificador SAOC 815 es opcional, véase la Fig. 8) y el decodificador SAOC 915 (véase la Fig. 9) para las señales de objeto se basan en la tecnología de MPEG SAOC. El sistema tiene la capacidad de recrear, modificar y renderizar un número de objetos de audio basándose en un número menor de canales transmitidos y datos paramé­ tricos adicionales (OLDs, IOCs, DMGs) (OLD = object level difference (diferencia de nivel de los objetos), IOC = inter object correlation (correlación entre los objetos), DMG = downmix gain (ganancia de mezcla descendente)). Los datos paramétricos adicionales exhiben una tasa de datos significativamente más baja que la necesaria para transmitir todos los objetos de forma individual, lo que confiere mucha eficiencia a la codificación.
[0113] El codificador SAOC 815 toma como entrada señales de objeto/canales como formas de onda monofónicas y emite la información paramétrica (que está incluida en el flujo de bits de audio 3D) y los canales de transporte para SAOC (que se codifican empleando elementos de canales únicos y se transmiten).
[0114] El decodificador SAOC 915 reconstruye las señales de objeto/canales procedentes de los canales de transporte para SAOC decodificados e información paramétrica y genera la escena de audio de salida basándose en la disposición de la reproducción, en la información descomprimida de metadatos de objeto y opcionalmente en la información de interacción con el usuario.
[0115] En lo que respecta al códec de metadatos de objeto, por cada objeto, los metadatos asociados que especifican la posición geométrica y la expansión del objeto en el espacio 3D se codifican de manera eficiente me­ diante la cuantificación de las propiedades del objeto en tiempo y espacio, p. ej., por medio del codificador de metadatos 818 de la Fig. 8. Los metadatos de objeto comprimidos cOAM (cOAM = metadatos de objeto de audio compri­ midos) se transmiten al receptor en forma de información lateral. En el receptor, los cOAM son decodificados por el decodificador de metadatos 918.
[0116] Por ejemplo, en la Fig. 9, el decodificador de metadatos 918 puede implementar p. ej., un procesador de metadatos de objeto según una de las realizaciones antes descritas.
[0117] Un renderizador de objetos, p. ej., el renderizador de objetos 920 de la Fig. 9, utiliza los metadatos de objeto comprimidos para generar formas de onda de objetos según el formato de reproducción dado. Se renderiza cada objeto a ciertos canales de salida según sus metadatos. La salida de este bloque es el resultado de la suma de los resultados parciales.
[0118] Por ejemplo, en la Fig. 9, el renderizador de objetos 920 se puede implementar, p. ej., según una de las realizaciones antes descritas.
[0119] En la Fig. 9, el decodificador de metadatos 918 se puede implementar, p. ej., como procesador de me­ tadatos de objeto descrito según una de las realizaciones antes descritas o las realizaciones descritas a continuación, con referencia a las Figs. 1 a 7, y las Fig. 11 a 15, y el renderizador de objetos 920 se puede implementar, p. ej., como el renderizador de objetos descrito según una de las realizaciones antes descritas o las realizaciones descritas a continuación, con referencia a las Fig. 1 a 7, y de la Fig. 11 a la Fig. 15. El decodificador de metadatos 918 y el renderizador de objetos 920 pueden implementar, en conjunto, p. ej., un aparato 917 para generar señales de altavoces como el descrito anteriormente o según se describe más adelante con referencia a las Figs. 1 a 7, y de la Fig. 11 a la Fig. 15.
[0120] Si se decodifica tanto contenido basado en canales como objetos discretos/paramétricos, se mezclan las formas de onda basadas en canales y las formas de onda de objetos renderizados antes de emitir las formas de onda consiguientes, p. ej., mediante el mezclador 930 de la Fig. 9 (o antes de alimentarlas a un módulo post-procesador como el renderizador binaural o el módulo renderizador de altavoces).
[0121] Un módulo renderizador binaural 940, puede producir, p. ej., una mezcla descendente binaural del ma­ terial de audio multicanal, de tal manera que cada canal de entrada esté representado por una fuente de sonido virtual. El procesamiento se lleva a cabo trama por trama en el dominio QMF La binauralización se puede basar, p. ej., en respuestas al impulso medidas del recinto binaural.
[0122] Un renderizador de altavoces 922 puede realizar la conversión, p. ej., entre la configuración de canales transmitida y el formato de reproducción deseado. Por consiguiente, a continuación se le denomina conversor de formato 922. El conversor de formato 922 realiza conversiones para reducir los números de canales de salida, p. ej., genera mezclas descendentes. El sistema genera automáticamente matrices optimizadas de mezcla descendente correspondientes a la combinación dada de formatos de entrada y salida y aplica estas matrices en un proceso de mezcla descendente. El conversor de formato 922 admite las configuraciones normales de altavoces, así como tam­ bién configuraciones aleatorias con posiciones de altavoces que no son las normales.
[0123] La Fig. 10 ilustra una estructura de un conversor de formato. La Fig. 10 ilustra un configurador de mezcla descendente 1010 y un procesador de mezcla descendente para procesar la mezcla descendente en el dominio QMF (dominio QMF = quadrature mirror filter domain (dominio de filtros espejo en cuadratura).
[0124] Según algunas realizaciones, el renderizador de objetos 920 puede estar configurado para realizar el remapeo de objetos de audio relacionado con la pantalla descrito con respecto a una de la pluralidad de realizaciones antes descritas con referencia a la Fig. 1 - Fig. 7, o descritas con respecto a una de la pluralidad de realizaciones que se describen a continuación con referencia a la Fig. 11 - Fig. 15.
[0125] A continuación se describen otras realizaciones y conceptos de las realizaciones de la presente inven­ ción.
[0126] Según algunas realizaciones, el control de los objetos por el usuario puede emplear, p. ej., metadatos descriptivos, p. ej., información acerca de la existencia de un objeto dentro del flujo de bits y las propiedades de alto nivel de los objetos y puede emplear, p. ej., metadatos restrictivos, p. ej., información sobre cómo la interacción es posible o es habilitada por el creador de contenidos.
[0127] Según algunas realizaciones, la señalización, transmisión y renderización de objetos de audio pueden emplear, p. ej., metadatos de posición, metadatos estructurales, por ejemplo, el agrupamiento y jerarquía de los objetos, la capacidad de renderizar a un canal específico y para señalizar el contenido del canal en forma de objetos y medios para adaptar la escena de los objetos al tamaño de la pantalla.
[0128] Las realizaciones proporcionan nuevos campos de metadatos además de la posición geométrica ya definida y el nivel del objeto en el espacio 3D.
[0129] Si se reproduce una escena de audio basado en objetos en diferentes configuraciones de reproducción, según algunas realizaciones, las posiciones de las fuentes de sonido renderizadas pueden ser, p. ej., escaladas au­ tomáticamente a la dimensión de la reproducción. En caso de presentarse contenido audiovisual, la renderización normal de los objetos de audio a la reproducción puede llevar, p. ej., a una violación de la coherencia audiovisual posicional como las ubicaciones de las fuentes de sonido y la posición de lo que originó visualmente el sonido, por ejemplo, ya puede no ser coherente.
[0130] Para evitar este efecto, se puede emplear, p. ej., una posibilidad que consiste en señalizar que los objetos de audio no están destinados a una posición fija en el espacio 3D, sino cuya posición debe cambiar con el tamaño de una pantalla en la configuración de reproducción. Según algunas realizaciones, un tratamiento especial de estos objetos de audio y una definición correspondiente a un algoritmo de escalado de escenas pueden dar lugar, p. ej., a una experiencia más inmersiva ya que la reproducción se puede optimizar, p. ej., con respecto a las caracterís­ ticas locales del entorno de reproducción.
[0131] En algunas realizaciones, un renderizador o un módulo de preprocesamiento puede tomar en cuenta, p. ej., el tamaño de la pantalla local en el recinto de la reproducción y de esa manera puede, p. ej., preservar la relación entre audio y vídeo en el contexto de una película o un juego. En esas realizaciones, la escena de audio puede ser escalada automáticamente entonces, p. ej., según la configuración de reproducción, de tal manera que las posiciones de los elementos visuales y la posición de una fuente de sonido correspondiente coincidan. Se puede mantener, por ejemplo, la coherencia audiovisual posicional para pantallas con variación de tamaño.
[0132] Por ejemplo, según las realizaciones, el diálogo y la voz pueden ser percibidos, p. ej., desde la dirección de alguien que habla en la pantalla independientemente del tamaño de la pantalla de reproducción. Esto es posible entonces para fuentes fijas, así como también en el caso de fuentes en movimiento en que las trayectorias del sonido y el movimiento de los elementos visuales tienen que corresponder.
[0133] Para controlar la renderización relacionada con la pantalla, se introduce un campo de metadatos adicio­ nal que permite marcar los objetos como relacionados con la pantalla. Si el objeto está marcado como relacionado con la pantalla, sus metadatos de posición geométrica se remapean con otros valores antes de la renderización. Por ejemplo, la Fig. 13 ilustra un ejemplo de función de (re)mapeo correspondiente a los ángulos azimutales.
[0134] Entre otras cosas, algunas realizaciones pueden lograr, por ejemplo, una sencilla función de mapeo que se define por actuar en el dominio angular (azimut, elevación).
[0135] Además, algunas realizaciones, pueden logar, p. ej., que la distancia de los objetos no cambie; no se lleva a cabo ningún alejamiento ni acercamiento (“zooming”) ni movimiento virtual hacia la pantalla o alejándose de la pantalla, sino un escalado sólo de la posición de los objetos.
[0136] De igual forma, algunas realizaciones pueden manipular, p. ej., pantallas de reproducción no centra-
Figure imgf000016_0001
ya que la función de mapeo no sólo se basa en la relación de pantalla,
sino que toma en cuenta el azimut y elevación de los bordes de la pantalla
[0137] Además, algunas realizaciones pueden definir, p. ej., funciones de mapeo especiales para los objetos en pantalla. Según algunas realizaciones, las funciones de mapeo correspondientes al azimut y elevación pueden ser independientes, p. ej., por lo que se las puede elegir para remapear sólo los ángulos azimutales o de elevación.
[0138] A continuación se presentan otras realizaciones.
[0139] La Fig. 11 ilustra la renderización del audio basado en objetos según una realización. Los objetos de audio pueden ser renderizados, p. ej., del lado de la reproducción empleando los metadatos e información acerca del entorno de reproducción. Dicha información consiste, p. ej., en el número de altavoces o el tamaño de la pantalla. El renderizador 1100 puede calcular, p. ej., las señales de altavoces sobre la base de los datos geométricos y los alta­ voces disponibles y sus posiciones.
[0140] Se describe ahora un (pre)procesador de metadatos de objetos 1210 según una realización con refe­ rencia a la Fig. 12.
[0141] En la Fig. 12, el procesador de metadatos de objetos 1210 está configurado para llevar a cabo el remapeo que toma en cuenta el tamaño de pantalla local y realiza el mapeo de los metadatos geométricos.
[0142] Los datos de posición de los objetos relacionados con la pantalla son remapeados por el procesador de metadatos de objetos 1210. Se puede aplicar una curva, p. ej., que mapea los ángulos azimutal y de elevación origi­ nales de la posición con un azimut remapeado y un ángulo de elevación remapeado.
[0143] Se puede emplear el tamaño de pantalla de una pantalla nominal de referencia, p. ej., para el proceso de mezclado y monitoreo, y se puede tomar en cuenta la información de tamaño de la pantalla local en el recinto de la reproducción, p. ej., para el remapeo.
[0144] Se puede transmitir el tamaño de pantalla de referencia , al que se hace referencia como tamaño de pantalla de producción, p. ej., en los metadatos.
[0145] En algunas realizaciones, si no se da el tamaño de pantalla nominal, se puede prever, p. ej., un tamaño de pantalla por defecto.
[0146] Por ejemplo, se puede utilizar un ángulo de visualización definido en ITU-R REC-BT.2022 (véase: Ge­ neral viewing conditions for subjective assessment of quality of SDTVy HDTV televisión pictures on fíat panel displays).
[0147] En algunas realizaciones, se pueden definir, por ejemplo, dos funciones de mapeo lineal para el remapeo de los valores de elevación y azimut.
[0148] A continuación se describe la modificación de los metadatos geométricos relacionados con la pantalla según algunas realizaciones con referencia a la
Figure imgf000017_0002
[0149] El azimut remapeado puede asumir valores de entre -180° y 180° y la elevación remapeada puede asumir valores de entre -90° y 90°. La curva de mapeo se define, en general, de tal manera que se mapeen (compriman o expandan) los valores de azimut entre un azimut de borde izquierdo por defecto y un azimut de borde derecho por defecto con el intervalo entre el borde izquierdo dado de la pantalla y el borde derecho dado de la pantalla (y, en consecuencia, en el caso de la elevación). Los demás valores de azimut y elevación se comprimen o expanden de modo correspondiente, de tal manera que se cubra la totalidad del intervalo de valores.
[0150] Como ya se señalara anteriormente, los bordes de pantalla del tamaño de pantalla nominal pueden estar
Figure imgf000017_0001
[0151] Los bordes de la pantalla de reproducción se pueden abreviar, p. ej., de la siguiente manera:
Figure imgf000017_0003
[0152] El remapeo de los datos de posición de azimut y elevación se puede definir, p. ej., por las siguientes funciones de mapeo lineal:
Figure imgf000017_0004
[0153] La función de mapeo correspondiente al azimut se ilustra en la Fig. 13 y la función de mapeo corres­ pondiente a la elevación se ilustra en la Fig. 14.
[0154] Los puntos
Figure imgf000017_0005
de las curvas en que los cambios de gradiente se pue­ den establecer como valores por defecto (tamaño de pantalla normal presunto por defecto y posición de pantalla normal presunta por defecto), o pueden estar presentes en los metadatos (p. ej., introducidos por el productor, que en ese caso podría poner el tamaño de pantalla de producción / monitoreo ahí).
[0155] Con respecto a la definición de metadatos de objeto para el remapeo relacionado con la pantalla, para controlar la renderización relacionada con la pantalla, se define una bandera de metadatos adicional denominada “isScreenRelativeObject”. Esta bandera puede definir, p. ej., si un objeto de audio debe ser procesado/ renderizado en relación con tamaño de la pantalla de reproducción local.
[0156] Si hay elementos relacionados con la pantalla presentes en la escena de audio, se ofrece la posibilidad, en ese caso, de incluir la información de tamaño de la pantalla de una pantalla nominal de referencia que se ha utilizado para mezclar y monitorear (tamaño de pantalla utilizado durante la producción del contenido de audio).
T l 4 — in xi M nfi n n r liz i n:
Figure imgf000018_0004
__________________________________________________
hasScreenRelativeObjects Esta bandera especifica si hay objetos relacionados con la pantalla presentes.
hasScreenSize Esta bandera especifica si se define un tamaño de pantalla nominal. La definición se realiza mediante la visualización de los ángulos correspondientes a los bordes de la pantalla. En caso de que hasScreenSize sea cero, se utilizan como defecto los siguientes valores:
Figure imgf000018_0001
bsScreenSizeAz Este campo define el azimut correspondiente a los bordes izquierdo y derecho de la pantalla:
Figure imgf000018_0002
bsScreenSizeTopEl Este campo define la elevación correspondiente al borde superior de la pantalla:
Figure imgf000018_0003
bsScreenSizeBottomEl Este campo define la elevación correspondiente al borde inferior de la pantalla:
Figure imgf000019_0003
isScreenRelativeObject Esta bandera define si la posición de un objeto está relacionada con la pantalla (la posición debe ser renderizada de manera diferente, de tal manera que se remapee su posición, aunque de todas modos puede contener todos los valores angulares válidos).
[0157] Según una realización, si no se da el tamaño de la pantalla de reproducción, se prevé un tamaño de pantalla de reproducción por defecto o no se aplica mapeo, aunque un objeto esté marcado como relacionado con la pantalla.
[0158] Algunas de las realizaciones admiten variaciones posibles.
[0159] En algunas realizaciones, se emplean funciones de mapeo no lineales. Estas funciones de mapeo po­ sibles no consisten en segmentos lineales, sino que por el contrario, son curvos. En algunas realizaciones, hay metadatos adicionales que controlan la manera de remapear, p. ej., definiendo desviaciones o coeficientes no lineales para dar cuenta del comportamiento de paneo o la resolución de la audición.
[0160] Algunas realizaciones efectúan un procesamiento independiente del azimut y la elevación. El azimut y la elevación podrían ser marcados y procesados independientemente en relación con la pantalla. La Tabla 5 ilustra la sintaxis de ObjectMetadataConfig() según esa realización.
T l : in xi M nfi n n r liz i n:
Figure imgf000019_0001
___________________________________________________
[0161] Algunas realizaciones emplean una definición de objetos en pantalla. Se puede distinguir entre objetos relacionados con la pantalla y objetos en pantalla. Entonces una sintaxis posible podría ser la siguiente de la tabla 6:
T l — in xi M nfi n n r liz i n:
Figure imgf000019_0002
___________________________________________________
hasOnScreenObjects Esta bandera especifica si hay presencia de objetos relacionados con la pantalla.
isScreenRelatedObject Esta bandera define si la posición de un objeto se relaciona con la pantalla (la posición se debe renderizar de manera diferente, de tal manera que su posición se remapee, aunque de todas maneras contenga todos los valores angulares válidos).
isOnScreenObject Esta bandera define si el correspondiente objeto es “onscreen” (en pantalla). Los objetos con respecto a los cuales esta bandera es igual a 1 se deben renderizar de manera diferente, de tal manera que su posición sólo pueda asumir valores en el área de pantalla.
[0162] En el caso de los objetos en pantalla, el azimut y la elevación remapeados sólo pueden asumir valores que describan posiciones en el área de pantalla
Figure imgf000020_0001
[0163] Según algunas realizaciones, hay diferentes posibilidades para tratar los valores fuera de estos intervalos. Se podrían mapear con los bordes de la pantalla. En el hemisferio izquierdo entonces, las posiciones entre nominal nominal
Figure imgf000020_0002
y q se mapean con el borde izquierdo de la pantalla
Figure imgf000020_0004
lzq . El hemisferio derecho y los ángulos
de elevación se tratan de la misma manera (función de mapeo sin guiones 1510 de la Fig. 15).
[0164] Otra posibilidad ofrecida por algunas de las realizaciones consiste en mapear los valores del hemisfenominal
rio posterior con el hemisferio anterior. Los valores entre
Figure imgf000020_0003
se mapean con los valores entre 0° y
Figure imgf000020_0005
lzq. . El hemisferio derecho y los ángulos de elevación se tratan de la misma manera (función de mapeo con guio­
nes 1520 de la Fig. 15).
[0165] La Fig. 15 ilustra el remapeo de los ángulos azimutales (objetos en pantalla) según estas realizaciones.
[0166] La elección del comportamiento deseado se podría señalar mediante metadatos adicionales
Figure imgf000020_0007
nominal una bandera para “proyectar” todos los objetos en pantalla destinados a la parte posterior y
Figure imgf000020_0006
Figure imgf000020_0008
[0167] Aunque se han descrito algunos aspectos en el contexto de un aparato, es claro que estos aspectos también representan una descripción del procedimiento correspondiente, en el cual un bloque o dispositivo corres­ ponde a una etapa del procedimiento o a una característica de una etapa del procedimiento. De manera análoga, los aspectos descritos en el contexto de una etapa del procedimiento también representan una descripción de un bloque o elemento correspondiente o de una característica de un aparato correspondiente.
[0168] La señal descompuesta de la presente invención se puede almacenar en un medio digital o se puede transmitir por un medio de transmisión tal como un medio de transmisión inalámbrico o un medio de transmisión por cable tal como Internet.
[0169] Dependiendo de ciertos requisitos de implementación, las realizaciones de la invención se pueden implementar en hardware o en software. La implementación se puede realizar empleando un medio de almacenamiento digital, por ejemplo un disco flexible, un Dv D, un CD, una r Om , una PROM, una EPROM, una EEPROM o una me­ moria FLASH, que tiene almacenadas en la misma señales de control legibles electrónicamente, que cooperan (o tienen capacidad para cooperar) con un sistema de computación programable de tal manera que se ejecute el procedimiento respectivo.
[0170] Algunas realizaciones según la invención comprenden un soporte de datos que comprende señales de control legibles electrónicamente, con capacidad para cooperar con un sistema informático programable de tal manera que se ejecute uno de los procedimientos descritos en esta invención.
[0171] En general, las realizaciones de la presente invención se pueden implementar en forma de producto de programa informático con un código de programa, donde el código de programa cumple la función de ejecutar uno de los procedimientos al ejecutarse el programa informático en un ordenador. El código de programa se puede almacenar, por ejemplo, en un soporte legible por una máquina.
[0172] Otras realizaciones comprenden el programa informático para ejecutar uno de los procedimientos des­ critos en esta invención, almacenado en un soporte legible por una máquina.
[0173] En otras palabras, una realización del procedimiento de la invención consiste, por lo tanto, en un programa informático que consta de un código de programa para realizar uno de los procedimientos descritos en esta invención al ejecutarse el programa informático en un ordenador.
[0174] Otra realización de los procedimientos de la invención consiste, por lo tanto, en un soporte de datos (o medio de almacenamiento digital, o medio legible por ordenador) que comprende, grabado en el mismo, el programa informático para ejecutar uno de los procedimientos descritos en esta invención.
[0175] Otra realización del procedimiento de la invención es, por lo tanto, un flujo de datos o una secuencia de señales que representa el programa informático para ejecutar uno de los procedimientos descritos en esta invención. El flujo de datos o la secuencia de señales pueden estar configurados, por ejemplo, para ser transferidos a través de una conexión de comunicación de datos, por ejemplo a través de Internet.
[0176] Otra realización comprende un medio de procesamiento, por ejemplo un ordenador, o un dispositivo lógico programable, configurado o adaptado para ejecutar uno de los procedimientos descritos en esta invención.
[0177] Otra realización comprende un ordenador en el que se ha instalado el programa informático para ejecu­ tar uno de los procedimientos descritos en esta invención.
[0178] En algunas realizaciones, se puede utilizar un dispositivo lógico programable (por ejemplo una matriz de puertas programables en el campo) para ejecutar algunas o todas las funcionalidades de los procedimientos des­ critos en esta invención. En algunas realizaciones, una matriz de puertas programables en el campo puede cooperar con un microprocesador para ejecutar uno de los procedimientos descritos en esta invención. Por lo general, los pro­ cedimientos son ejecutados preferentemente por cualquier aparato de hardware.
[0179] Las realizaciones anteriormente descritas son meramente ilustrativas de los principios de la presente invención. Se entiende que las modificaciones y variaciones de las disposiciones y detalles descritos en esta invención serán evidentes para los expertos en la técnica. Por lo tanto, sólo es intención limitarse al alcance de las siguientes reivindicaciones de patente y no a los detalles específicos presentados a modo de descripción y explicación de las realizaciones presentadas en esta invención.
Bibliografía
[0180]
[1] “Method and apparatus for playback of a higher-order ambisonics audio signal”, Solicitud de patente número EP20120305271
[2] “Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition“, Solicitud de patente número WO2004073352A1
[3] “Verfahren zur Audiocodierung”, Solicitud de patente número EP20020024643
[4] “Acoustical Zooming Based on a Parametric Sound Field Representation” http://www.aes.org/tmpFiles/elib/20140814/15417.pdf

Claims (15)

REIVINDICACIONES
1. Un aparato para generar señales de altavoces, que comprende:
un procesador de metadatos de objeto (110), y
un renderizador de objetos (120),
donde el renderizador de objetos (120) está configurado para recibir un objeto de audio,
donde el procesador de metadatos de objetos (110) está configurado para recibir metadatos, que comprenden una indicación de si el objeto de audio depende del tamaño de la pantalla, y que además comprenden una primera posición del objeto de audio,
donde el procesador de metadatos de objetos (110) está configurado para calcular una segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si en los metadatos se indica que el objeto de audio depende del tamaño de la pantalla,
donde el renderizador de objetos (120) está configurado para generar las señales de altavoces dependiendo del objeto de audio y dependiendo de la información de posición,
donde el procesador de metadatos de objetos (110) está configurado para alimentar la primera posición del objeto de audio como información sobre la posición al renderizador de objetos (120), si en los metadatos se indica que el objeto de audio no depende del tamaño de la pantalla, y
donde el procesador de metadatos de objetos (110) está configurado para alimentar la segunda posición del objeto de audio como información sobre la posición al renderizador de objetos (120), si en los metadatos se indica que el objeto de audio depende del tamaño de la pantalla,
donde la primera posición indica al menos un primer azimut y una primera elevación, donde la segunda posición indica al menos un segundo azimut y una segunda elevación,
donde el procesador de metadatos del objeto (110) está configurado para calcular la segunda posición del objeto de audio dependiendo de al menos una de una primera función de mapeo lineal y una segunda función de mapeo lineal, donde la primera función de mapeo lineal se define para mapear un primer valor de azimut a un segundo valor de azimut, donde la segunda función de mapeo lineal se define para mapear un primer valor de elevación a un segundo valor de elevación.
2. Un aparato según la reivindicación 1, en el que el procesador de metadatos de objetos (110) está configurado para no calcular la segunda posición del objeto de audio, si en los metadatos se indica que el objeto de audio no depende del tamaño de la pantalla.
3. Un aparato según la reivindicación 1 o 2, en el que el renderizador de objetos (120) está configurado para no determinar si la información sobre la posición es la primera posición del objeto de audio o la segunda posición del objeto de audio.
4. Un aparato según una de las reivindicaciones anteriores, en el que el renderizador de objetos (120) está configurado para generar las señales de altavoces que dependen además del número de los altavoces de un entorno de reproducción.
5. Un aparato según la reivindicación 4, en el que el renderizador de objetos (120) está configurado para generar las señales de altavoces dependiendo además de una posición de altavoces de cada uno de los altavoces del entorno de reproducción.
6. Un aparato según una de las reivindicaciones anteriores, en el que el procesador de metadatos de objetos (110) está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si en los metadatos se indica que el objeto de audio depende del tamaño de la pantalla, donde la primera posición indica la primera posición en un espacio tridimensional, y donde la segunda posición indica la segunda posición en el espacio tridimensional.
7. Un aparato según la reivindicación 6, en el que el procesador de metadatos de objetos (110) está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si en los metadatos se indica que el objeto de audio tiene relación con la pantalla, donde la primera posición indica un primer azimut, una primera elevación y una primera distancia, y donde la segunda posición indica un segundo azimut, una segunda elevación y una segunda distancia.
8. Un aparato según una de las reivindicaciones anteriores,
donde el procesador de metadatos de objetos (110) está configurado para recibir los metadatos que comprenden la indicación de si el objeto de audio depende del tamaño de la pantalla como una primera indicación, y que además comprenden una segunda indicación, si el objeto de audio depende del tamaño de la pantalla, donde dicha segunda indicación indica si el objeto de audio es un objeto en pantalla y
donde el procesador de metadatos de objetos (110) está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, por lo que la segunda posición asume un primer valor en un área de pantalla de la pantalla, si la segunda indicación indica que el objeto de audio es un objeto en pantalla.
9. Un aparato según la reivindicación 8, en el que el procesador de metadatos de objetos (110) está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, por lo que la segunda posición asume un segundo valor, que está en el área de pantalla o no está en el área de pantalla, si la segunda indicación indica que el objeto de audio no es un objeto en pantalla.
10. Un aparato según una de las reivindicaciones 1 a 7,
donde el procesador de metadatos de objetos (110) está configurado para recibir los metadatos que comprenden la indicación de si el objeto de audio depende del tamaño de la pantalla como una primera indicación, y que además comprende una segunda indicación de si el objeto de audio depende del tamaño de la pantalla, donde dicha segunda indicación indica si el objeto de audio es un objeto en pantalla,
donde el procesador de metadatos de objetos (110) está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio, dependiendo del tamaño de la pantalla, y dependiendo de una primera curva de mapeo como curva de mapeo, si la segunda indicación indica que el objeto de audio es un objeto en pantalla, donde la primera curva de mapeo define un mapeo de las posiciones originales de los objetos en un primer intervalo de valores con las posiciones remapeadas de los objetos en un segundo intervalo de valores y
donde el procesador de metadatos de objetos (110) está configurado para calcular la segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio, dependiendo del tamaño de la pantalla, y dependiendo de una segunda curva de mapeo como curva de mapeo, si la segunda indicación indica que el objeto de audio no es un objeto en pantalla, donde la segunda curva de mapeo define un mapeo de las posiciones originales de los objetos en el primer intervalo de valores con las posiciones remapeadas de los objetos en un tercer intervalo de valores, y donde dicho segundo intervalo de valores está comprendido en el tercer intervalo de valores, y donde dicho segundo intervalo de valores es menor que dicho tercer intervalo de valores.
11. Un aparato según la reivindicación 10,
donde cada uno del primer intervalo de valores y el segundo intervalo de valores y el tercer intervalo de valores es un intervalo de valores de ángulos azimutales o
donde cada uno del primer intervalo de valores y el segundo intervalo de valores y el tercer intervalo de valores es un intervalo de valores de ángulos de elevación.
12. Un aparato según una de las reivindicaciones anteriores,
nominal
donde ^ indica una referencia al borde de pantalla del azimut izquierdo,
_ nominal
donde 0 ^ d deerr.. indica una referencia al borde de pantalla del azimut derecho,
an no min al
donde sup. indica una referencia al borde de pantalla de elevación superior,
0n no min al
donde inf. indica una referencia al borde de pantalla de elevación inferior,
0. repro
donde ’~q' indica un borde azimutal izquierdo de la pantalla,
^ p r o
donde ^ indica un borde azimutal derecho de la pantalla,
^repro
donde ^ indica un borde de elevación superior de la pantalla,
0Tcpra
donde irtf indica un borde de elevación inferior de la pantalla,
donde ^ indica el primer valor de azimut,
donde ^ indica el segundo valor de azimut,
donde 6 indica la primer valor de elevación,
donde 0 ' indica el segundo valor de elevación,
donde el segundo valor de azimut ( ^ P es el resultado de un primer mapeo del primer valor de azimut ^ según la primera función de mapeo lineal según
Figure imgf000024_0001
y
donde el segundo valor de elevación 6 resulta de un segundo mapeo del primer valor de elevación 9 según la segunda función de mapeo lineal según
Figure imgf000024_0002
sup.
13. Un dispositivo decodificador que comprende:
un primer decodificador (910) para la decodificación unificada de voz y audio para decodificar un flujo de bits para obtener uno o más canales de entrada de audio, para obtener uno o más objetos de audio de entrada, para obtener metadatos de objetos comprimidos y para obtener uno o más canales de transporte,
un segundo decodificador (915) para la decodificación de objetos de audio espacial para decodificar uno o más canales de transporte para obtener un primer grupo de uno o más objetos de audio renderizados,
un aparato (917) según una de las reivindicaciones anteriores, en el que el aparato comprende
un tercer decodificador que es un decodificador de metadatos de objeto (918), siendo el procesador de metadatos del objeto (110) del aparato según una de las reivindicaciones anteriores, y se implementa para decodificar los metadatos del objeto comprimido para obtener metadatos sin comprimir y
el renderizador del objeto (920; 120) del aparato según una de las reivindicaciones anteriores, para renderizar uno o más objetos de audio de entrada dependiendo de los metadatos sin comprimir para obtener un segundo grupo de uno o más objetos de audio renderizados,
un conversor de formato (922) para convertir uno o más canales de entrada de audio para obtener uno o más canales convertidos, y
un mezclador (930) para mezclar uno o más objetos de audio del primer grupo de uno o más objetos de audio renderizados, uno o más objetos de audio del segundo grupo de uno o más objetos de audio renderizados y uno o más canales convertidos para obtener uno o más canales de audio decodificados.
14. Un procedimiento para generar señales de altavoces, que comprende:
recibir un objeto de audio,
recibir metadatos que comprenden una indicación de si el objeto de audio depende del tamaño de la pantalla, y que además comprenden una primera posición del objeto de audio,
calcular una segunda posición del objeto de audio dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si en los metadatos se indica que el objeto de audio depende del tamaño de la pantalla,
generar las señales de altavoces dependiendo del objeto de audio y dependiendo de la información de posición, donde la información sobre la posición es la primera posición del objeto de audio, si en los metadatos se indica que el objeto de audio no depende del tamaño de la pantalla y
donde la información sobre la posición es la segunda posición del objeto de audio, si en los metadatos se indica que el objeto de audio depende del tamaño de la pantalla,
donde el cálculo de la segunda posición del objeto de audio se realiza dependiendo de la primera posición del objeto de audio y dependiendo del tamaño de la pantalla, si el objeto de audio se indica en los metadatos como dependientes del tamaño de la pantalla, en el que el la primera posición indica al menos un primer azimut y una primera elevación, en la que la segunda posición indica al menos un segundo azimut y una segunda elevación, donde el cálculo de la segunda posición del objeto de audio se realiza dependiendo de al menos una de una primera función de mapeo lineal y una segunda función de mapeo lineal, en la que la primera función de mapeo lineal se define para asignar un primer valor de azimut a un segundo valor de azimut, en el que la segunda función de mapeo lineal se define para asignar un primer valor de elevación a un segundo valor de elevación.
15. Un programa informático para implementar el procedimiento de la reivindicación 14 al ejecutarse en un ordenador o un procesador de señales.
ES18248305T 2014-03-26 2015-03-25 Aparato y procedimiento para el remapeo de objetos de audio relacionado con la pantalla Active ES2953685T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14161819 2014-03-26
EP14196769.5A EP2928216A1 (en) 2014-03-26 2014-12-08 Apparatus and method for screen related audio object remapping

Publications (1)

Publication Number Publication Date
ES2953685T3 true ES2953685T3 (es) 2023-11-15

Family

ID=52015948

Family Applications (3)

Application Number Title Priority Date Filing Date
ES23167354T Active ES3009786T3 (en) 2014-03-26 2015-03-25 Apparatus and method for screen related audio object remapping
ES18248305T Active ES2953685T3 (es) 2014-03-26 2015-03-25 Aparato y procedimiento para el remapeo de objetos de audio relacionado con la pantalla
ES15716439T Active ES2723965T3 (es) 2014-03-26 2015-03-25 Aparato y procedimiento para el remapeo de objetos de audio relacionado con la pantalla

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES23167354T Active ES3009786T3 (en) 2014-03-26 2015-03-25 Apparatus and method for screen related audio object remapping

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES15716439T Active ES2723965T3 (es) 2014-03-26 2015-03-25 Aparato y procedimiento para el remapeo de objetos de audio relacionado con la pantalla

Country Status (19)

Country Link
US (6) US10192563B2 (es)
EP (5) EP2928216A1 (es)
JP (4) JP6422995B2 (es)
KR (1) KR101920356B1 (es)
CN (2) CN111276153B (es)
AR (1) AR099835A1 (es)
AU (1) AU2015238354B2 (es)
BR (1) BR112016022045B1 (es)
CA (1) CA2943570C (es)
ES (3) ES3009786T3 (es)
FI (1) FI3487189T3 (es)
MX (1) MX355455B (es)
MY (1) MY184715A (es)
PL (3) PL3123741T3 (es)
PT (2) PT3487189T (es)
RU (1) RU2683380C2 (es)
SG (1) SG11201607953TA (es)
TW (1) TWI595785B (es)
WO (1) WO2015144766A1 (es)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
US10631025B2 (en) 2014-10-10 2020-04-21 Sony Corporation Encoding device and method, reproduction device and method, and program
US9940937B2 (en) * 2014-10-10 2018-04-10 Qualcomm Incorporated Screen related adaptation of HOA content
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
CN107615767B (zh) 2015-06-02 2021-05-25 索尼公司 发送装置、发送方法、媒体处理装置、媒体处理方法以及接收装置
KR102539973B1 (ko) * 2015-07-16 2023-06-05 소니그룹주식회사 정보 처리 장치 및 방법, 및 프로그램
DE102015220595A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Batteriezelle mit teilweise flexibel formbarer Wandung
EP3378240B1 (en) * 2015-11-20 2019-12-11 Dolby Laboratories Licensing Corporation System and method for rendering an audio program
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
EP3453190A4 (en) 2016-05-06 2020-01-15 DTS, Inc. SYSTEMS FOR IMMERSIVE AUDIO PLAYBACK
JP6984596B2 (ja) * 2016-05-30 2021-12-22 ソニーグループ株式会社 映像音響処理装置および方法、並びにプログラム
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
WO2018190151A1 (ja) * 2017-04-13 2018-10-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
US20200126582A1 (en) * 2017-04-25 2020-04-23 Sony Corporation Signal processing device and method, and program
US10405126B2 (en) 2017-06-30 2019-09-03 Qualcomm Incorporated Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems
WO2019013400A1 (ko) * 2017-07-09 2019-01-17 엘지전자 주식회사 비디오 화면 줌에 연동되는 오디오 출력 방법 및 출력 장치
CN111133775B (zh) * 2017-09-28 2021-06-08 株式会社索思未来 音响信号处理装置以及音响信号处理方法
WO2019149337A1 (en) * 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
WO2019171907A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
KR102637876B1 (ko) * 2018-04-10 2024-02-20 가우디오랩 주식회사 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치
IL319278A (en) * 2018-07-02 2025-04-01 Dolby Laboratories Licensing Corp Methods and devices for generating or decoding a bit sequence comprising embedded audio signals
CN112352278A (zh) * 2018-07-04 2021-02-09 索尼公司 信息处理装置和方法以及程序
GB2577698A (en) * 2018-10-02 2020-04-08 Nokia Technologies Oy Selection of quantisation schemes for spatial audio parameter encoding
EP3857919B1 (en) 2019-12-02 2022-05-18 Dolby Laboratories Licensing Corporation Methods and apparatus for conversion from channel-based audio to object-based audio
JP2023517709A (ja) 2020-03-16 2023-04-26 ノキア テクノロジーズ オサケユイチア エンコードされた６ｄｏｆオーディオビットストリームのレンダリング及び遅延型更新
WO2021252795A2 (en) 2020-06-11 2021-12-16 Dolby Laboratories Licensing Corporation Perceptual optimization of magnitude and phase for time-frequency and softmask source separation systems
GB202014572D0 (en) * 2020-09-16 2020-10-28 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
US11743670B2 (en) * 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
EP4243014A4 (en) 2021-01-25 2024-07-17 Samsung Electronics Co., Ltd. DEVICE AND METHOD FOR PROCESSING A MULTI-CHANNEL AUDIO SIGNAL
GB202118094D0 (en) * 2021-12-14 2022-01-26 Nokia Technologies Oy A method and apparatus for AR scene modification

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
DE10154932B4 (de) 2001-11-08 2008-01-03 Grundig Multimedia B.V. Verfahren zur Audiocodierung
DE10305820B4 (de) 2003-02-12 2006-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition
US7606372B2 (en) * 2003-02-12 2009-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for determining a reproduction position
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
JP5174527B2 (ja) * 2008-05-14 2013-04-03 日本放送協会 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
US8639368B2 (en) 2008-07-15 2014-01-28 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR101387902B1 (ko) * 2009-06-10 2014-04-22 한국전자통신연구원 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
KR101805212B1 (ko) * 2009-08-14 2017-12-05 디티에스 엘엘씨 객체-지향 오디오 스트리밍 시스템
PT2483887T (pt) * 2009-09-29 2017-10-23 Dolby Int Ab Descodificador de sinal de áudio mpeg-saoc, método para fornecer uma representação de sinal de mistura ascendente usando descodificação mpeg-saoc e programa de comutador usando um valor comum de parâmetros de correlação inter-objetos dependente de tempo/frequência
CN113490133B (zh) * 2010-03-23 2023-05-02 杜比实验室特许公司 音频再现方法和声音再现系统
EP2450880A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
SG194199A1 (en) * 2011-03-18 2013-12-30 Fraunhofer Ges Forschung Frame element positioning in frames of a bitstream representing audio content
PL2727381T3 (pl) * 2011-07-01 2022-05-02 Dolby Laboratories Licensing Corporation Sposób i urządzenie do renderowania obiektów audio
MY207992A (en) * 2011-07-01 2025-04-03 Dolby Laboratories Licensing Corp System and method for adaptive audio signal generation, coding and rendering
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2637327A1 (en) 2012-03-09 2013-09-11 Harman International Industries Ltd. Audio mixing console with lighting control and method of mixing by means of a mixing console
US9190065B2 (en) * 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9516446B2 (en) * 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
EP2823650B1 (en) * 2012-08-29 2020-07-29 Huawei Technologies Co., Ltd. Audio rendering system
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping

Also Published As

Publication number Publication date
AU2015238354B2 (en) 2018-11-08
JP2019036987A (ja) 2019-03-07
US11527254B2 (en) 2022-12-13
AU2015238354A1 (en) 2016-11-10
US11900955B2 (en) 2024-02-13
US10192563B2 (en) 2019-01-29
EP3487189B1 (en) 2023-05-24
JP6734343B2 (ja) 2020-08-05
EP3487189A1 (en) 2019-05-22
US20170011751A1 (en) 2017-01-12
US20260065921A1 (en) 2026-03-05
PL3123741T3 (pl) 2019-08-30
RU2016141642A3 (es) 2018-04-26
US20210065729A1 (en) 2021-03-04
BR112016022045B1 (pt) 2022-09-27
EP4254988B1 (en) 2024-12-11
TW201603584A (zh) 2016-01-16
EP4254988C0 (en) 2024-12-11
BR112016022045A2 (es) 2017-08-22
PT3123741T (pt) 2019-06-04
US12380903B2 (en) 2025-08-05
KR20160140784A (ko) 2016-12-07
CN106463128A (zh) 2017-02-22
SG11201607953TA (en) 2016-10-28
ES3009786T3 (en) 2025-03-31
EP4254988A3 (en) 2023-11-01
EP4524959A3 (en) 2025-04-09
EP2928216A1 (en) 2015-10-07
AR099835A1 (es) 2016-08-24
JP2017513390A (ja) 2017-05-25
FI3487189T3 (fi) 2023-08-11
RU2683380C2 (ru) 2019-03-28
CN106463128B (zh) 2020-02-21
US20230162749A1 (en) 2023-05-25
CN111276153A (zh) 2020-06-12
EP3123741A1 (en) 2017-02-01
JP2023175947A (ja) 2023-12-12
MY184715A (en) 2021-04-19
PT3487189T (pt) 2023-08-29
EP3123741B1 (en) 2019-02-20
TWI595785B (zh) 2017-08-11
KR101920356B1 (ko) 2018-11-21
CA2943570A1 (en) 2015-10-01
MX355455B (es) 2018-04-18
JP6422995B2 (ja) 2018-11-14
EP4254988A2 (en) 2023-10-04
US20240265930A1 (en) 2024-08-08
PL4254988T3 (pl) 2025-04-14
US10854213B2 (en) 2020-12-01
WO2015144766A1 (en) 2015-10-01
CN111276153B (zh) 2024-03-29
ES2723965T3 (es) 2019-09-04
MX2016012286A (es) 2016-11-30
RU2016141642A (ru) 2018-04-26
JP7675506B2 (ja) 2025-05-13
CA2943570C (en) 2019-12-17
JP2020182227A (ja) 2020-11-05
EP4524959A2 (en) 2025-03-19
US20190139562A1 (en) 2019-05-09
PL3487189T3 (pl) 2023-09-18

Similar Documents

Publication Publication Date Title
ES2953685T3 (es) Aparato y procedimiento para el remapeo de objetos de audio relacionado con la pantalla
HK40123737A (en) Apparatus and method for screen related audio object remapping
HK40097804A (en) Apparatus and method for screen related audio object remapping
HK40097804B (en) Apparatus and method for screen related audio object remapping
HK40007230B (en) Apparatus and method for screen related audio object remapping
HK40007230A (en) Apparatus and method for screen related audio object remapping
HK1233102B (en) Apparatus and method for screen related audio object remapping
HK1233102A1 (en) Apparatus and method for screen related audio object remapping