ES2330274T3 - Procedimiento y dispositivo de especializacion sonora binaural eficaz en el dominio transformado. - Google Patents
Procedimiento y dispositivo de especializacion sonora binaural eficaz en el dominio transformado. Download PDFInfo
- Publication number
- ES2330274T3 ES2330274T3 ES07731710T ES07731710T ES2330274T3 ES 2330274 T3 ES2330274 T3 ES 2330274T3 ES 07731710 T ES07731710 T ES 07731710T ES 07731710 T ES07731710 T ES 07731710T ES 2330274 T3 ES2330274 T3 ES 2330274T3
- Authority
- ES
- Spain
- Prior art keywords
- delay
- channels
- domain
- subband
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 24
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 24
- 230000003111 delayed effect Effects 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims abstract 2
- 230000000295 complement effect Effects 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 11
- 230000005236 sound signal Effects 0.000 claims description 10
- 238000007792 addition Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000007717 exclusion Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000001934 delay Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 7
- 238000000844 transformation Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000706 filtrate Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Stereophonic System (AREA)
Abstract
Procedimiento de espacialización sonora de una escena de audio que comprende un primer conjunto que comprende un número, superior o igual a la unidad, de canales de audio codificados espacialmente sobre un número de subbandas de frecuencias determinado, y decodificados en un dominio transformado en un segundo conjunto que comprende un número superior o igual a dos de canales sonoros de restitución en el dominio de tiempo, a partir de filtros de modelado de la propagación acústica de las señales de audio de dicho primer conjunto de canales, caracterizado porque, para cada filtro de modelado convertido en forma de al menos una ganancia y de un retardo aplicables en dicho dominio transformado, dicho procedimiento incluye al menos, para cada subbanda de frecuencias de dicho dominio transformado: - el filtrado por ecualización-retardo de la señal en subbanda mediante aplicación de una ganancia o respectivamente de un retardo sobre dicha señal en subbanda, para generar, a partir de los canales codificados espacialmente, una componente ecualizada y retardada un valor de retardo determinado en la subbanda de frecuencias considerada; - la adición de un subconjunto de componentes ecualizadas y retardadas, para crear un número de señales filtradas en el dominio transformado correspondiente al número de dicho segundo conjunto superior o igual a dos de canales sonoros de restitución en el dominio de tiempo; - la síntesis de cada una de las señales filtradas en el dominio transformado mediante un filtro de síntesis, para obtener dicho segundo conjunto de número superior o igual a dos de canales sonoros de restitución en el dominio de tiempo.
Description
Procedimiento y dispositivo de espacialización
sonora binaural eficaz en el dominio transformado.
La invención se refiere a la espacialización,
denominada renderizado en 3D, de señales de audio comprimidas.
Una operación de este tipo se ejecuta, por
ejemplo, durante la descompresión de una señal comprimida de audio
en 3D, por ejemplo representada sobre un cierto número de canales,
hacia un número de canales diferentes, dos por ejemplo, para
permitir la restitución de los efectos en 3D de audio en unos
auriculares de audición.
Así, el término "binaural" se refiere a la
restitución en unos auriculares estereofónicos de una señal sonora,
pero con efectos de espacialización. La invención no se limita sin
embargo a la técnica anteriormente mencionada y se aplica,
especialmente, a técnicas derivadas de la "binaural", tales
como las técnicas de restitución denominadas técnicas TRANSAURAL®,
es decir en altavoces distantes. TRANSAURAL® es una marca comercial
registrada por la empresa COOPER BAUCK CORPORATION. Tales técnicas
pueden utilizar por tanto una "anulación de diafonía"
("cross-talk cancellation" en inglés), que
consiste en anular las trayectorias acústicas cruzadas, de manera
que un sonido, tratado de este modo y después emitido por los
altavoces, se puede percibir únicamente por uno solo de los dos
oídos de un oyente.
En consecuencia, la invención se refiere también
a la transmisión y a la restitución de señales de audio multicanal
y a su conversión hacia un dispositivo de restitución, transductor,
impuesto por el equipo de un usuario. Éste es por ejemplo el caso
para la restitución de una escena sonora 5.1 por unos auriculares de
audición de audio, o por un par de altavoces.
La invención también se refiere a la
restitución, en el marco de un juego o grabación de vídeo por
ejemplo, de una o varias muestras sonoras almacenadas en archivos,
con vistas a su espacialización.
Entre las técnicas conocidas en el campo de la
espacialización sonora binaural, se han propuesto diferentes
enfoques.
Un procedimiento de espacialización sonora del
tipo indicado en el preámbulo de la reivindicación 1 más adelante
se describe en la solicitud de patente FR 2851879 A.
En particular, la síntesis binaural bicanal
consiste, en referencia a la figura 1a, en filtrar la señal de las
diferentes fuentes S_{i} sonoras que se desea posicionar, en la
restitución, en una posición en el espacio, mediante funciones de
transferencia acústicas izquierda HRTF-l y derecha
HRTF-r en el dominio de frecuencia correspondiente
a la dirección apropiada, definida en coordenadas polares
(\theta_{1}, \varphi_{1}). Las funciones de transferencia
HRTF, por "Head Related Transfer Functions" en inglés,
anteriormente citadas son las funciones de transferencia acústica
de la cabeza del oyente entre las posiciones del espacio y el
conducto auditivo. Se designa además como "HRIR" por "Head
Related Impulse Response" su forma temporal. Estas funciones
pueden comprender además un efecto sala.
Se obtienen, para cada fuente S_{i} sonora dos
señales izquierda y derecha que se añaden entonces a las señales
izquierda y derecha procedentes de la espacialización de las otras
fuentes sonoras, para dar finalmente las señales L y R difundidas a
los oídos izquierdo y derecho del oyente.
El número de filtros, o funciones de
transferencia, necesarios es entonces 2N para una síntesis binaural
estática y 4N para una síntesis binaural dinámica, representando N
el número de fuentes sonoras o flujos de audio que hay que
espacializar.
Los trabajos titulados "A model of
head-related transfer functions based on principal
components analysis and minimum - fase reconstruction"
realizados por D. Kistler y F. L. Wightman, publicados en J. Acoust.
Soc. Am. 91(3): p 1637-1647 (1992) y por A.
Kulkami 1995 "IEEE ASSP Workshop on Applications of Signal
Processing to Audio and Acoustics" IEEE catalog number:
95TH8144, han permitido verificar que las fases de las HRTF se
pueden descomponer en la suma de dos términos, uno correspondiente
al retardo interaural y el otro igual a la fase mínima asociada al
módulo de la HRTF.
Así, para una función de transferencia HRTF
expresada en la forma:
H(f) =
\arrowvertH(f)\arrowverte^{-j \varphi
(f)}
\varphi(f) =
\varphiretardo(f) +
\varphimin(f)
\varphiretardo(f) =
2\pif\tau corresponde al retardo interaural;
\varphimin(f) = H(log(|H(f)|)) es la fase
mínima asociada al módulo del filtro
H.
\newpage
La implementación de los filtros binaurales se
realiza, en general, en forma de dos filtros de fase mínima y de un
retardo puro, correspondiente a la diferencia de los retardos
izquierdo y derecho aplicados al oído más alejado de la fuente.
Este retardo se implementa en general con ayuda de una línea de
retardo.
El filtro de fase mínima es un filtro de
respuesta impulsional finita y se puede ejecutar en el dominio de
tiempo o de frecuencia. Se pueden buscar filtros de respuesta
impulsional finita para aproximar el módulo de los filtros HRTF de
fase mínima.
Por lo que respecta a la binauralización, se
considera, en referencia a la figura 1b, el marco no limitativo de
una escena sonora espacializada en modo 5.1, con vistas a la
restitución de ésta en los auriculares de audio de un ser humano
HB.
Cinco altavoces C: Centre, Lf: Left
front, Rf: Right front, Sl: Surround
left, Sr: Surround right, producen cada uno un sonido
que se percibe por el ser humano HB por los dos receptores que son
sus oídos. Se modelan las transformaciones experimentadas por el
sonido mediante una función de filtrado que representa la
modificación que este sonido experimenta durante su propagación
entre el altavoz que restituye este sonido y un oído dado.
En particular, el sonido que emana del altavoz
Lf afecta al oído izquierdo LE a través de un filtro A HRTF, pero
este mismo sonido llega al oído derecho RE modificado por un filtro
B HRTF.
La posición de los altavoces con respecto al
individuo HB anteriormente citado puede o no ser simétrica.
\vskip1.000000\baselineskip
Cada oído recibe por tanto la contribución de
los cinco altavoces en la forma modelada a continuación:
Oído izquierdo
LE: Bl = ALf + CC + BRf + DSi +
ESr
Oído derecho
RE: Br = ARf + CC + BLf + DSr +
ESl
donde Bl es la señal binauralizada
para el oído izquierdo LE y Br es la señal binauralizada para el
oído derecho
RE.
RE.
\vskip1.000000\baselineskip
Los filtros A, B, C, D y E se modelan, de la
manera más habitual, por filtros digitales lineales y es necesario
por tanto, en la configuración representada en la figura 1b, aplicar
diez funciones de filtrado, que se pueden reducir a cinco teniendo
en cuenta las simetrías.
De manera conocida en sí misma, las operaciones
de filtrado anteriormente citadas se pueden realizar en el dominio
de frecuencia, por ejemplo gracias a una convolución rápida
ejecutada en el dominio de Fourier. Se utiliza entonces una
transformada de Fourier rápida FFT, por "Fast Fourier
Transform" en inglés, para ejecutar la binauralización de manera
eficaz.
Los filtros A, B, C, D y E HRTF se pueden
simplificar en forma de un ecualizador en frecuencia y de un
retardo. El filtro A HRTF se puede realizar en forma de un sencillo
ecualizador, ya que se trata de una trayectoria directa, mientras
que el filtro B HRTF incluye un retardo complementario. De manera
clásica, los filtros HRTF se pueden descomponer en un filtro de
fase mínima y un retardo puro. El retardo para el oído más próximo a
la fuente puede ser igual
cero.
cero.
La operación de reconstrucción por
decodificación espacial de una escena sonora en 3D de audio, a
partir de un número reducido de canales transmitidos, tal como se
representa en la figura 1c, se conoce también por el estado de la
técnica. La configuración representada en la figura 1c es la
relativa a la decodificación de una vía sonora codificada
disponiendo de parámetros de localización en el dominio de
frecuencia, con el fin de reconstruir una escena sonora
espacializada 5.1.
La reconstrucción anteriormente citada se
efectúa por un decodificador espacial mediante subbandas de
frecuencias, tal como se representa en la figura 1c. La señal m de
audio codificada se somete a cinco etapas de tratamiento de
espacialización, que se controlan mediante parámetros o coeficientes
CLD e ICC complejos de espacialización calculados por el
codificador y que permiten, a través de operaciones de
descorrelación y de corrección de ganancia, reconstruir de manera
realista la escena sonora compuesta por seis canales, los cinco
canales representados en la figura 1b, a los que se añade un canal
lfe de efecto de baja frecuencia.
Cuando se desea proceder a una binauralización
de los canales sonoros procedentes de un decodificador espacial tal
como se representa en la figura 1c, actualmente existen
restricciones para poner en práctica un tratamiento según el
esquema representado en la figura 1d.
\newpage
En referencia al esquema anteriormente citado,
parece necesario realizar la transformación de los canales sonoros
de los que se dispone en el dominio de tiempo, antes de proceder a
la binauralización de la señal. Esta operación de retorno en el
dominio de tiempo está simbolizada por los bloques sintetizadores
"Synth" que ejecutan la operación de transformación
frecuencia-tiempo para cada uno de los canales
procedentes del decodificador espacial (SD). El filtrado por
filtros HRTF se puede realizar a continuación por los filtros A, B,
C, D, E, con o sin aplicación del esquema ecualizado,
correspondiente a un filtrado clásico.
Una variante de binauralización de los canales
sonoros de un decodificador espacial también puede consistir, tal
como se representa en la figura 1e, en convertir cada canal sonoro
suministrado por el decodificador de audio en el dominio de tiempo
por un sintetizador "Synth" y después en ejecutar la operación
de decodificación espacial y de binauralización, o espacialización,
en el dominio de frecuencia de Fourier, tras la transformación por
FFT.
En este supuesto, cada módulo OTT
correspondiente a una matriz de coeficientes de decodificación se
debe convertir entonces en el dominio de Fourier, a costa de una
aproximación, ya que las operaciones no se realizan en el mismo
dominio. Además, la complejidad aumenta todavía más, porque la
operación de síntesis "Synth" va seguida de tres
transformaciones FFT.
Así, para binauralizar una escena sonora
procedente de un decodificador espacial, no existe ninguna otra
posibilidad que realizar:
- o bien seis transformaciones
tiempo-frecuencia, si se quiere realizar la
binauralización fuera del decodificador espacial;
- o bien una operación de síntesis seguida de
tres transformaciones de Fourier, FFT, si se quiere realizar la
operación en el dominio FFT.
\vskip1.000000\baselineskip
En última instancia, otra solución puede
consistir en efectuar el filtrado HRTF directamente en el dominio
de las subbandas, tal como se representa en la figura 1f.
No obstante, en este supuesto, los filtrados
HRTF son complejos de realizar, ya que estos últimos imponen la
utilización de filtros en subbandas, cuya longitud mínima está
fijada y que deben tener en cuenta el fenómeno de repliegue
espectral de las subbandas.
El ahorro introducido por la reducción de
operaciones de transformación se compensa negativamente por la
explosión del número de operaciones necesarias para el filtrado,
debido a la ejecución de estas operaciones en el dominio PQMF por
"Pseudo Quadrature Mirror Filter" en inglés.
La presente invención tiene como objetivo
solucionar los numerosos inconvenientes de las técnicas anteriores
citadas de espacialización sonora de las escenas de audio en 3D,
especialmente de transauralización o de binauralización de escenas
de audio en 3D.
En particular, un objetivo de la presente
invención es la ejecución de un filtrado específico de señales o
canales de audio codificados espacialmente en el dominio de las
subbandas de frecuencias de una decodificación espacial, con el fin
de limitar el número de transformaciones dos a dos, al tiempo que se
reducen las operaciones de filtrado al mínimo, aunque conservando
una buena calidad de espacialización fuente, especialmente en
transauralización o binauralización.
Según un aspecto particularmente notable de la
presente invención, la ejecución del filtrado específico
anteriormente mencionado se basa en la conformación
ecualizador-retardo de los filtros de
espacialización, transaural o binaural, para una aplicación directa
de un filtrado por ecualización-retardo en el
dominio de las subbandas.
Otro objetivo de la presente invención es la
obtención de una calidad de renderizado en 3D muy próxima a la
obtenida a partir de filtros de modelado tales como los filtros HRTF
originales, mediante la simple adición de un tratamiento espacial
transaural de muy poca complejidad, a continuación de una
decodificación espacial clásica en el dominio transformado.
Un objetivo de la presente invención es,
finalmente, una nueva técnica de espacialización fuente aplicable
no sólo al renderizado transaural o binaural de un sonido
monofónico, sino también a varios sonidos monofónicos y
especialmente a los canales múltiples de sonidos estéreo 5.1, 6.1,
7.1, 8.1 o superiores.
La presente invención tiene por tanto como
objeto un procedimiento de espacialización sonora de una escena de
audio que comprende un primer conjunto que comprende un número
superior o igual a la unidad de canales de audio codificados
espacialmente sobre un número de subbandas de frecuencias
determinado y decodificados en un dominio transformado en un
segundo conjunto que comprende un número superior o igual a dos de
canales sonoros de restitución en el dominio de tiempo, a partir de
filtros de modelado de la propagación acústica de las señales de
audio del primer conjunto de canales.
Según la invención este procedimiento es notable
porque, para cada filtro de modelado convertido en forma de al
menos una ganancia y de un retardo aplicables en el dominio
transformado, consiste en realizar al menos, para cada subbanda de
frecuencias del dominio transformado:
- un filtrado por
ecualización-retardo de la señal en subbanda,
mediante aplicación de una ganancia o respectivamente de un retardo
sobre la señal en subbanda, para generar a partir de los canales
codificados espacialmente, una componente ecualizada y retardada un
valor determinado en la subbanda de frecuencias considerada,
- una adición de un subconjunto de componentes
ecualizadas y retardadas, para crear un número de señales filtradas
en el dominio transformado correspondiente al número del segundo
conjunto, superior o igual a dos, de canales sonoros de restitución
en el dominio de tiempo,
- una síntesis de cada una de las señales
filtradas en el dominio transformado por un filtro de síntesis,
para obtener el segundo conjunto de número superior o igual a dos de
señales sonoras de restitución en el dominio de tiempo.
\vskip1.000000\baselineskip
El procedimiento objeto de la invención también
es notable porque el filtrado por
ecualización-retardo de la señal en subbanda
incluye al menos la aplicación de un desfase y dado el caso de un
retardo puro mediante memorización, para al menos una de las
subbandas de frecuencias.
El procedimiento objeto de la invención también
es notable porque incluye un filtrado por
ecualización-retardo en un dominio transformado
híbrido, que comprende una etapa complementaria de corte en
frecuencia en subbandas complementarias, con o sin decimación.
El procedimiento objeto de la invención es
notable finalmente porque, para convertir cada filtro de modelado
en un valor de ganancia o respectivamente de retardo en el dominio
transformado, consiste al menos en asociar como valor de ganancia a
cada subbanda un valor real definido como la media del módulo del
filtro de modelado en esta subbanda y en asociar como valor de
retardo a cada subbanda un valor de retardo correspondiente al
retardo de recepción entre el oído izquierdo y el oído derecho para
diferentes posiciones.
La presente invención tiene, correlativamente,
como objeto un dispositivo de espacialización sonora de una escena
de audio que comprende un primer conjunto que comprende un número,
superior o igual a la unidad, de canales de audio codificados
espacialmente sobre un número de subbandas de frecuencias
determinado y decodificados en un dominio transformado en un
segundo conjunto que comprende un número superior o igual a dos de
canales sonoros de restitución en el dominio de tiempo, a partir de
filtros de modelado de la propagación acústica de las señales de
audio del primer subconjunto de canales.
Según la invención este dispositivo es notable
porque, para cada subbanda de frecuencias de un decodificador
espacial en el dominio transformado, este dispositivo comprende
además de este decodificador espacial:
- un módulo de filtrado por
ecualización-retardo de la señal en subbanda
mediante aplicación de una ganancia o respectivamente de un retardo
sobre la señal en subbanda, para generar a partir de cada uno de los
canales de audio codificados espacialmente una componente
ecualizada y retardada un valor de retardo determinado en la
subbanda de frecuencias considerada,
- un módulo de adición de un subconjunto de
componentes ecualizadas y retardadas para crear un número de señales
filtradas en el dominio transformado correspondiente al número del
segundo conjunto superior o igual a dos de los canales sonoros de
restitución en el dominio de tiempo,
- un módulo de síntesis de cada una de las
señales filtradas en el dominio transformado para obtener el segundo
conjunto que comprende un número superior o igual a dos de los
canales sonoros de restitución en el dominio de tiempo.
\vskip1.000000\baselineskip
El procedimiento y el dispositivo objetos de la
invención encuentran aplicación en la industria electrónica de los
aparatos de audio y/o vídeo de alta fidelidad, en la industria de
los videojuegos con audio ejecutados localmente o en línea.
Se entenderán mejor con la lectura de la
descripción y con la observación de los dibujos a continuación en
los que, además de las figuras 1a a 1f relativas a la técnica
anterior:
- la figura 2a representa un organigrama
ilustrativo de las etapas de puesta en práctica del procedimiento
de espacialización sonora objeto de la invención;
- la figura 2b representa a título ilustrativo,
una variante de puesta en práctica del procedimiento objeto de la
invención representada en la figura 2a, obtenida mediante la
creación de subbandas complementarias, en ausencia de
decimación;
- la figura 2c representa a título ilustrativo,
una variante de puesta en práctica del procedimiento objeto de la
invención representada en la figura 2a obtenida mediante la creación
de subbandas complementarias, en presencia de decimación;
- la figura 3a representa, a título ilustrativo,
una fase, para una subbanda de frecuencias de un decodificador
espacial, de un dispositivo de espacialización sonora objetos de la
invención;
- la figura 3b representa, a título ilustrativo,
un detalle de puesta en práctica de un filtro por
ecualización-retardo que permite la puesta en
práctica del dispositivo objeto de la invención representado en la
figura 3a;
- la figura 4 representa a título ilustrativo,
un ejemplo de puesta en práctica del dispositivo objeto de la
invención en el que el cálculo de los filtros de
ecualización-retardo está deslocalizado.
Una descripción más detallada del procedimiento
de espacialización sonora de una escena de audio según el objeto de
la presente invención se dará ahora en relación con la figura 2a y
las figuras siguientes.
El procedimiento objeto de la invención se
aplica a una escena de audio tal como una escena de audio en 3D
representada por un primer conjunto que comprende un número N de
canales de audio codificados espacialmente superior o igual a la
unidad, N\geq1, sobre un número de subbandas de frecuencias
determinado y decodificado en un dominio transformado.
El dominio transformado se entiende que es un
dominio de frecuencia transformado tal como el dominio de Fourier,
el dominio PQMF o cualquier dominio híbrido procedente de estos
últimos mediante la creación de subbandas de frecuencias
complementarias, sometidas o no a un proceso de decimación en el
tiempo.
En consecuencia, los canales de audio
codificados espacialmente constitutivos del primer conjunto N de
canales, están representados de manera no limitativa por los
canales Fl, Fr, Sr, Sl, C, lfe anteriormente descritos en la
descripción y correspondientes a un modo de decodificación de una
escena de audio en 3D en el dominio transformado correspondiente,
como se ha descrito anteriormente en la descripción. Este modo no es
otro que el modo 5.1 anteriormente mencionado.
Además, estas señales se decodifican en el
dominio transformado anteriormente mencionado según un número de
subbandas determinado apropiadas para la decodificación, indicándose
el conjunto de las subbandas como. k representa el rango de la
subbanda considerada.
El procedimiento objeto de la invención permite
transformar el conjunto de los canales de audio codificados
espacialmente anteriormente mencionados en un segundo conjunto que
comprende un número, superior o igual a dos, de canales sonoros de
restitución en el dominio de tiempo, indicándose los canales sonoros
de restitución como Bl y Br para los canales binaurales izquierdo y
respectivamente derecho, de manera no limitativa en el marco de la
figura 2a. En particular, se entiende que en lugar de dos canales
binaurales, el procedimiento objeto de la invención se aplica a
cualquier número de canales superior a dos, permitiendo por ejemplo
la restitución sonora en tiempo real de la escena de audio en 3D,
tal como se representa y se describe en la descripción en relación
con la figura 1b.
Según un aspecto notable del procedimiento
objeto de la invención, éste se pone en práctica a partir de filtros
de modelado de la propagación acústica de las señales de audio del
primer conjunto de canales de audio codificados espacialmente,
teniendo en cuenta una conversión en forma de al menos una ganancia
y de un retardo aplicables en el dominio transformado, tal como se
describirá posteriormente en la descripción. De manera no
limitativa, los filtros de modelado se denominarán filtros HRTF a
continuación en la descripción.
La conversión anteriormente mencionada se indica
para cada filtro HRTF considerado para una subbanda SB_{k} de
rango k para establecer un valor de ganancia g_{k} y de retardo
d_{k} correspondiente, indicándose entonces la conversión
anteriormente mencionada, tal como se representa en la figura 2a,
como HRTF\equiv(g_{k}, d_{k}).
Teniendo en cuenta la conversión anteriormente
mencionada, el procedimiento objeto de la invención consiste, para
cada subbanda de frecuencias del dominio transformado de rango k, en
realizar un filtrado en la etapa A por
ecualización-retardo de la señal en subbanda
mediante aplicación de una ganancia g_{k} o respectivamente de un
retardo d_{k} sobre la señal en subbanda, para generar a partir de
los canales codificados espacialmente anteriormente mencionados, es
decir los canales Fl, C, Fr, Sr, Sl e lfe, una componente ecualizada
y retardada un valor de retardo determinado en la subbanda de
frecuencias SB_{k} considerada de rango k.
En la figura 2a, la operación de filtrado por
ecualización-retardo se indica de manera simbólica
como CED_{kx} = {Fl, C, Fr, Sr, Sl, lfe}(g_{kx}, d_{kx}).
En la relación simbólica anteriormente
mencionada, FEB_{kx} representa cada componente ecualizada y
retardada obtenida mediante aplicación de la ganancia g_{kx} y
del retardo d_{kx} sobre cada uno de los canales de audio
codificados espacialmente, es decir los canales Fl, C, Fr, Sr, Sl,
lfe.
\newpage
En consecuencia y en la relación simbólica
anteriormente mencionada, x, para la subbanda de rango k
correspondiente, puede adoptar de hecho los valores Fl, C, Fr, Sr,
Sl, lle.
Entonces la etapa A va seguida en el dominio
transformado por una etapa B de adición de un subconjunto de
componentes ecualizadas y retardadas para crear un número de señales
filtradas en el dominio transformado correspondiente al número N'
del segundo conjunto, superior o igual a 2, de canales sonoros de
restitución en el dominio de tiempo.
En la etapa B de la figura 2a, la operación de
adición viene dada por la relación simbólica:
F{Fl, C, Fr,
Sr, Sl, lfe} =
\sumCDE_{kx}
En la relación simbólica anteriormente
mencionada, F{Fl, C, Fr, Sr, Sl, lfe} representa el subconjunto de
las señales filtradas en el dominio transformado obtenido mediante
suma de un subconjunto de componentes ecualizadas y retardadas
CED_{kx}.
A modo de ejemplo no limitativo y para fijar las
ideas, para un primer conjunto que comprende un número de canales
de audio codificados espacialmente N = 6, correspondiente a un modo
5.1, el subconjunto de componentes ecualizadas y retardadas puede
consistir en añadir cinco de estas componentes ecualizadas y
retardadas para cada oído para obtener el número N' igual a 2 de
señales filtradas en el dominio transformado, tal como se
describirá de manera más detallada posteriormente en la
descripción.
Entonces, la etapa de adición B anteriormente
mencionada va seguida por una etapa C de síntesis de cada una de
las señales filtradas en el dominio transformado por un filtro de
síntesis para obtener el segundo conjunto de número N' superior o
igual a dos de señales sonoras de restitución en el dominio de
tiempo.
En la etapa C de la figura 2a, la operación
correspondiente de síntesis está representada por la relación
simbólica:
Bl, Br =
Synth(F{Fl, C, Fr, Sr, Sl,
lfe})
De una manera general, se indica que el
procedimiento objeto de la invención se puede aplicar a cualquier
escena en 3D de audio compuesta por N, que varía de 1 a infinito,
vías o canales de audio codificados de manera espacial hacia N',
que varía de 2 al infinito, canales sonoros de restitución.
Por lo que respecta a la etapa de suma
representada en la etapa B de la figura 2a, se indica que ésta
consiste de manera más específica en añadir un subconjunto de
componentes retardadas de manera diferente por los diferentes
retardos para generar las N' componentes para cada subbanda.
De manera más específica, se indica que el
filtrado por ecualización-retardo de la señal en
subbanda incluye al menos la aplicación de un desfase completado
dado el caso por un retardo puro por memorización, para al menos
una de las subbandas de frecuencia.
La noción de aplicación de un retardo puro se
simboliza en la etapa A de la figura 2a por la relación g_{Ex} =
1, que representa la ausencia de ecualización para el conjunto de
los canales de audio de índice x en la subbanda de rango k = E,
indicando el valor 1 una transmisión sin modificación de la amplitud
de cada uno de los canales de audio codificados espacialmente.
El dominio transformado puede corresponder, tal
como se mencionó anteriormente en la descripción, a un dominio
transformado híbrido tal como se describirá con relación a la figura
2b en el caso en el que no se aplica ninguna decimación en
frecuencia en la subbanda correspondiente.
En referencia a la figura 2b anteriormente
mencionada, el filtrado por ecualización retardo representado en la
etapa A de la figura 2a se ejecuta entonces en tres subetapas
A_{1}, A_{2}, A_{3} representadas en la figura 2b.
En estas condiciones, la etapa A comprende una
etapa complementaria de corte en frecuencia en subbandas
complementarias sin decimación, para aumentar el número de valores
de ganancia aplicados y por tanto la precisión en frecuencia,
seguida por una etapa de reagrupamiento de subbandas
complementarias, a las que se les han aplicado los valores de
ganancia anteriormente mencionados.
Las operaciones de corte en frecuencia y después
de reagrupamiento se representan en las subetapas A_{1} y A_{2}
de la figura 2b.
La etapa de los cortes en frecuencia se
representa en la subetapa A_{1} por la relación:
HRTF \equiv
{g_{kz},
dkz}^{z=Z}_{z=l}
La etapa de reagrupamiento se representa en la
subetapa A_{2} por la relación:
[GCEB_{kz}]^{z}_{l} x =
{Fl, C, Fl, Sr, Sl,
lfe}(g_{kz})
En la subetapa A_{1}, se entiende que los
valores de ganancia y de retardo para la subbanda de rango k
considerada están subdivididos en Z valores de ganancia
correspondientes, un valor de ganancia g_{kz} para cada subbanda
complementaria y en la subetapa 1_{2} se entiende que el
reagrupamiento de las subbandas complementarias se realiza a partir
de los canales de audio codificados correspondientes para el índice
x correspondiente al que se le ha aplicado el valor de ganancia
g_{kz} en la subbanda complementaria considerada.
En la relación anterior,
[GCEB_{kz}]^{z}_{l} x representa el reagrupamiento de las
subbandas complementarias a las que se han aplicado los valores de
ganancia para las subbandas complementarias consideradas.
La subetapa A_{2} va seguida entonces por una
subetapa A_{3} que consiste en aplicar el retardo a las subbandas
complementarias reagrupadas y en particular a los canales de audio
codificados espacialmente de índice x correspondiente por medio del
retardo d_{kx} de manera similar a la etapa A de la figura 2a.
La operación correspondiente se indica por la
relación:
CED_{kz}x =
[GCED_{kz}]^{z=Z}_{z=l} x
(dk_{x})
Además, el procedimiento objeto de la invención
también puede consistir en realizar un filtrado por
ecualización-retardo en un dominio transformado
híbrido que comprende una etapa complementaria de corte de
frecuencia en subbandas complementarias con decimación, tal como se
representa en la figura 2c.
En este supuesto, la etapa A'_{1} de la figura
2c es idéntica a la etapa A_{1} de la figura 2b, para ejecutar la
creación de las subbandas complementarias con decimación.
En este supuesto, la operación de decimación en
la etapa A'_{1} de la figura 2c se ejecuta en el dominio de
tiempo.
La etapa A'_{1} va seguida entonces por una
etapa A'_{2} correspondiente a un reagrupamiento de las subbandas
complementarias a las que se han aplicado los valores de ganancia
anteriormente mencionados teniendo en cuenta la decimación.
La etapa A'_{2} de reagrupamiento está a su
vez precedida o seguida por la aplicación del retardo dkx tal como
se representa por la doble flecha de inversión de las etapas
A'_{2} y A'_{3}.
En particular, se entiende que cuando la
aplicación del retardo se realiza previamente al reagrupamiento, el
retardo se aplica directamente sobre las señales de las subbandas
complementarias previamente al reagrupamiento.
En lo que se refiere a la conversión de cada
filtro HRTF en un valor de ganancia y de retardo en el dominio
transformado, esta operación puede consistir, ventajosamente, en
asociar, como valor de ganancia a cada subbanda de rango k, un
valor real definido como la media del módulo del filtro HRTF
correspondiente y en asociar, como valor de retardo a cada subbanda
de rango k, un valor de retardo correspondiente al retardo de
propagación entre el oído izquierdo y el oído derecho de un oyente
para diferentes posiciones.
Así, a partir de un filtro HRTF, es posible
calcular de manera automática las ganancias y los periodos de
retardo aplicados en subbanda. A partir de la resolución de
frecuencia del banco de filtro HRTF, se asocia a cada una de las
subbandas SB_{k} un valor de retardo correspondiente al retardo de
propagación entre el oído izquierdo y el oído derecho de un oyente
para diferentes posiciones.
Así, a partir de un filtro HRTF, se pueden
calcular de manera automática las ganancias y los periodos de
retardo que se deben aplicar en subbanda.
A partir de la resolución de frecuencia del
banco de filtro, se asocia a cada una de las bandas un valor real.
A modo de ejemplo no limitativo, es posible a partir del módulo del
filtro HRTF, calcular, para cada subbanda, la media del módulo del
filtro HRTF anteriormente mencionado. Una operación de este tipo es
similar a un análisis en banda de octava o de Bark de los filtros
HRTF. Igualmente, se determina el retardo que se debe aplicar para
los canales indirectos, es decir los valores de retardo que son
aplicables más particularmente a los canales cuyo retardo no es
mínimo. Existen numerosos métodos para determinar de manera
automática los retardos interaurales también denominados ITD por
"Interaural Time Difference" y que corresponden a los retardos
entre el oído izquierdo y el oído derecho, para diferentes
posiciones del oyente. Se puede usar, a modo de ejemplo no
limitativo, el método del umbral descrito por S. Busson en la tesis
doctoral de la Université de la Méditerranée
Est-Marseille II, 2006, titulada
"Individualisation d'indices acoustiques pour la synthèse
binaurale". El principio de los métodos de estimación del
retardo interaural de tipo umbral es determinar el tiempo de
llegada, o incluso el retardo inicial de la onda en el oído derecho
Td y en el oído izquierdo Tg. El retardo interaural viene dado por
la relación ITD umbral = Td - Tg.
El método más habitual estima el tiempo de
llegada como el instante en el que el filtro de tiempo HRIR supera
un umbral dado. Por ejemplo el tiempo de llegada puede corresponder
al tiempo durante el cual la respuesta del filtro HRIR alcanza el
10% de su máximo.
A continuación se facilitará ahora un ejemplo de
puesta en práctica específica en el dominio transformado PQMF.
De una manera general, se indica que la
aplicación de una ganancia en el dominio PQMF complejo consiste en
multiplicar el valor de cada muestra de la señal en subbanda,
representada por un valor complejo, por el valor de ganancia
formado por un número real.
En efecto, se conoce bien que el uso de un
dominio transformado PQMF complejo permite aplicar las ganancias
franqueando los problemas de repliegue espectral generados por el
submuestreo inherente a los bancos de filtros. A cada subbanda
SB_{k} de cada canal se le asigna por tanto una ganancia
determinada.
Además, la aplicación de un retardo en el
dominio transformado PQMF consiste al menos, para cada muestra de
la señal en subbanda, representada por un valor complejo, en
introducir una rotación en el plano complejo mediante
multiplicación de esta muestra por un valor exponencial complejo en
función del rango de la subbanda considerada, de la tasa de
submuestreo en la subbanda considerada y de un parámetro de retardo
asociado a la diferencia de retardo interaural de un oyente.
Entonces la rotación en el plano complejo va
seguida por un retardo de tiempo puro de la muestra tras la
rotación. Este retardo de tiempo puro es en función de la
diferencia del retardo interaural de un oyente y de la tasa de
submuestreo en la subbanda considerada.
De manera práctica, se indica que los retardos
anteriormente mencionados se aplican sobre las señales resultantes,
es decir las señales ecualizadas, y en particular sobre los
subconjuntos de estas señales o canales que no se benefician de una
trayectoria directa.
En particular, la rotación se realiza en forma
de una multiplicación compleja por un valor exponencial de la
forma:
exp(-j*pi*(k+0,5)*d/M)
y por un retardo puro implementado
por una línea de retardo, por ejemplo realizando la
operación:
y(k,n) =
x(k,n -
D)
En las relaciones anteriores:
- exp es la función exponencial;
- j es tal que j*j = -1;
- k el rango de la subbanda SB_{k}
considerada;
- M es la tasa de submuestreo en la subbanda
considerada, se quiere tomar M igual a 64, por ejemplo;
- y(k, n) es el valor de la muestra de
salida tras la aplicación del retardo puro sobre la muestra de
tiempo de rango n de la subbanda SB_{k} de rango k, es decir la
muestra x(k, n) a la que se le aplica el retardo B;
- d y D en las relaciones anteriores son tales
que corresponden a la aplicación de un retardo de D*M+d en el
dominio de tiempo no sometido a submuestreo. El retardo D*M+d
corresponde al retardo interaural calculado anteriormente. d puede
adoptar valores negativos lo que permite simular un avance de fase
en lugar de un retardo.
\vskip1.000000\baselineskip
La operación así realizada induce una
aproximación que es conveniente para el efecto buscado.
Por lo que respecta a las operaciones de
cálculo, el tratamiento puesto en práctica consiste por tanto en
realizar una multiplicación compleja entre un exponencial complejo y
una muestra en subbanda formada por un valor complejo.
Se debe insertar un eventual retardo, si el
retardo total que se debe aplicar es superior al valor M, pero esta
operación no comprende operaciones aritméticas.
El procedimiento objeto de la invención también
se puede poner en práctica en un dominio transformado híbrido. Este
dominio transformado híbrido es un dominio de frecuencia en el que
las bandas PQMF se vuelven a cortar ventajosamente por un banco de
filtros decimado o no.
\newpage
Si el banco de filtros está decimado,
entendiéndose la decimación como una decimación en el tiempo,
entonces la introducción de un retardo sigue ventajosamente el
procedimiento que incluye un retardo puro y un desfasador.
Si el banco de filtro no está decimado, entonces
el retardo sólo se puede aplicar una vez durante la síntesis. En
efecto es inútil aplicar el mismo retardo sobre cada una de las
ramas ya que la síntesis es una operación lineal, sin
submuestreador.
La aplicación de las ganancias sigue siendo
idéntica, siendo éstas sencillamente más numerosas, tal como se
describió anteriormente en relación con la figura 2b por ejemplo, y
permitiendo por tanto hacer un seguimiento del corte más preciso en
frecuencia. Entonces se aplica una ganancia real por subbanda
complementaria.
Finalmente, según una variante de puesta en
práctica, se repite el procedimiento según la invención para al
menos dos pares ecualización-retardo y se suman las
señales obtenidas para obtener los canales sonoros en el dominio de
tiempo.
Ahora se describirá, con relación a las figuras
3a y 3b, una descripción más detallada de un dispositivo de
espacialización sonora de una escena de audio que comprende un
primer conjunto que comprende un número superior o igual a la
unidad de canales de audio codificados espacialmente sobre un número
de subbandas de frecuencias determinado y decodificado en un
dominio transformado en un segundo conjunto que comprende un número
superior o igual a 2 de canales sonoros de restitución en el
dominio de tiempo, según el objeto de la presente invención.
Tal como se mencionó anteriormente, el
dispositivo objeto de la invención se basa en el principio de la
conversión en forma de al menos una ganancia y de un retardo
aplicable en el dominio transformado de filtros de modelado de la
propagación acústica de las señales de audio del primer conjunto de
canales anteriormente mencionado. El dispositivo objeto de la
invención permite la espacialización sonora de una escena de audio,
tal como una escena de audio en 3D, en un segundo conjunto que
comprende un número, superior o igual a dos, de canales sonoros de
restitución en el dominio de tiempo.
El dispositivo objeto de la invención
representado en la figura 3a se refiere a una fase de este
dispositivo específico en cada subbanda SB_{k} de rango k de
decodificación en el dominio transformado.
Se entiende en particular que la fase, para cada
subbanda de rango k representada en la figura 3a, se aplica de
hecho para cada una de las subbandas para constituir finalmente el
dispositivo de espacialización sonora según el objeto de la
presente invención.
Por convención, la fase representada en la
figura 3a se denominará a continuación dispositivo de
espacialización sonora objeto de la invención.
En referencia a la figura anteriormente
mencionada, el dispositivo objeto de la invención tal como se
representa en la figura 3a comprende, además del decodificador
espacial representado, que comprende los módulos OTT_{0} a
OTT_{4}, correspondiente sensiblemente a un decodificador espacial
SD de la técnica anterior tal como se representa en la figura 1c,
pero en el que se procede además, de manera conocida en sí misma en
el estado de la técnica, a una suma del canal C frontal y del canal
lfe de baja frecuencia mediante un sumador S, un módulo 1 de
filtrado por ecualización-retardo de la señal en
subbanda mediante aplicación de una ganancia o respectivamente de
un retardo sobre la señal en subbanda.
En la figura 3a, se representa la aplicación de
una ganancia sobre cada uno de los canales de audio codificados
espacialmente, representados por amplificadores 1_{0} a 1_{8},
generando estos últimos una componente ecualizada que se puede
someter o no a un retardo por medio de elementos de retardo
indicados como 1_{9} a 1_{12} para generar a partir de cada uno
de los canales de audio codificados espacialmente una componente
ecualizada y retardada de un valor de retardo determinado en la
subbanda de frecuencias SB_{k}.
En referencia a la figura 3a, las ganancias de
los amplificadores 1_{0} a 1_{8} tienen valores arbitrarios A,
B, B, A, C, D, E, E, D respectivamente. Además, los valores de
retardo aplicados por los módulos 1_{9} a 1_{12} de retardo
tienen los valores Df, Bf, Ds, Ds. En la figura anteriormente
mencionada, la estructura de las ganancias y los retardos
introducidos es simétrica. Se puede poner en práctica una estructura
no simétrica sin salirse del marco del objeto de la invención.
El dispositivo objeto de la invención también
comprende un módulo 2 de adición de un subconjunto de componentes
ecualizadas y retardadas para crear un número de señales filtradas
en el dominio transformado correspondiente al número N' del segundo
conjunto superior o igual a dos de canales sonoros de restitución en
el dominio de tiempo.
Finalmente el dispositivo objeto de la invención
comprende un módulo 3 de síntesis de cada una de las señales
filtradas en el dominio transformado para obtener el segundo
conjunto que comprende un número N' superior o igual a dos de
señales sonoras de restitución en el dominio de tiempo. El módulo 3
de síntesis comprende por tanto, en el modo de realización de la
figura 3a, un sintetizador 3_{0} y 3_{1} que permiten cada uno
suministrar una señal sonora de restitución en el dominio de tiempo
B_{l} para la señal binaural izquierda, respectivamente B_{r}
para la señal binaural derecha.
\newpage
Las componentes ecualizadas y retardadas en el
modo de realización de la figura 3a se obtienen de la siguiente
manera:
- A[k] representa la ganancia de los
amplificadores 1_{0}, 1_{3} para la subbanda SB_{k} de rango
k,
- B[k] representa la ganancia del
amplificador 1_{1}, 1_{2} representado en la figura 3a,
- C[k] representa la ganancia del
amplificador 1_{4},
- D[k] representa la ganancia de los
amplificadores 1_{5}, 1_{8},
- E[K] representa la ganancia de los
amplificadores 1_{6}, 1_{7}.
Por lo que respecta a los canales de audio
codificados espacialmente y en particular estos canales Fl, Fr,
Clfe, SI y Sr para la subbanda SB_{k}, se denomina como
Fl[k][n], Fr[k][n], Fc[k][n], lfe[k][n],
Sl[k][n], Sr[k][n], la enésima muestra de la subbanda
SB_{k}. Así cada amplificador, 1_{0} a 1_{8} suministra las
siguientes componentes ecualizadas sucesivamente:
- A[k]*Fl[k][n],
- B[k]*Fl[k][n],
- B[k]*Fr[k][n],
- A[k]*Fr[k][n],
- C[k]*Fc[k][n],
- D[k]*Sl[k][n],
- E[k]*Sl[k][n],
- E[k]*Sr[k][n],
- D[k]*Sr[k][n].
Las operaciones anteriores, tal como se mencionó
anteriormente en la descripción, se realizan en forma de una
multiplicación real que actúa en este caso sobre números
complejos.
Los retardos introducidos por los elementos
1_{9}, 1_{10}, 1_{11} y 1_{12} de retardo se aplican sobre
las componentes ecualizadas anteriormente mencionadas para generar
las componentes ecualizadas y retardadas.
En el ejemplo representado en la figura 3a,
estos retardos se aplican sobre el subconjunto que no se beneficia
de una trayectoria directa. Éstas son, en la descripción de la
figura 3a, las señales que se han sometido a las multiplicaciones
por las ganancias B[k] y E[k] aplicadas por los
amplificadores o los multiplicadores 1_{1}, 1_{2} y 1_{6} y
1_{7}.
Ahora se realizará, con relación a la figura 3b,
una descripción más detallada de un filtro o elemento de filtrado
por ecualización-retardo constituido por ejemplo por
un amplificador multiplicador 1_{1} y un elemento 1_{9}
retardador.
En lo que se refiere a la aplicación de la
ganancia, se indica que el elemento de filtrado, correspondiente,
representado en la figura 3b, comprende un multiplicador digital, es
decir uno de los multiplicadores o amplificadores 1_{0} a 1_{8}
y representado por el valor de ganancia g_{kx} en la figura 3b,
permitiendo este multiplicador la multiplicación de cualquier
muestra compleja de cada canal de audio codificado de índice x
correspondiente a los canales Fl, Fr, Clfe, Sl o Sr por un valor
real, es decir el valor de ganancia anteriormente mencionado en la
descripción.
Además, el elemento de filtrado representado en
la figura 3b comprende al menos un multiplicador digital complejo
que permite introducir una rotación en el plano complejo de
cualquier muestra de la señal en subbanda por un valor exponencial
complejo, el valor exp(-j\varphi(k, SS_{k})) en el que
\varphi(k, SS_{k}) representa un valor de fase en
función de la tasa de submuestreo de la subbanda considerada y del
rango de la subbanda considerada k.
En un modo de realización \varphi(k,
SS_{k}) = \varphi*(k+0,5)*d/M.
El multiplicador digital complejo va seguido por
una línea de retardo denominada como L.D.R. que introduce un
retardo puro de cada muestra tras la rotación, permitiendo
introducir un retardo de tiempo puro en función de la diferencia
del retardo interaural de un oyente y de la tasa de submuestreo M en
la subbanda SB_{k} considerada.
Así, la línea de retardo L.D.R. permite
introducir el retardo sobre la muestra compleja tras la rotación de
la forma y(k, n) = x(k, n-D).
Finalmente, se indica que los valores de d y D
son tales que estos valores corresponden a la aplicación de un
retardo D*M+d en el dominio de tiempo no sometido a muestreo y que
el retardo D*M+d corresponde al retardo interaural anteriormente
mencionado.
Para la puesta en práctica del dispositivo
objeto de la invención, tal como se representa en la figura 3a, se
puede observar que la señal Fr[k][n] se multiplica por la
ganancia B[k] y después se retarda, lo que, según uno de los
aspectos notables del objeto de la invención, equivale a multiplicar
esta señal por una ganancia compleja. El producto de la ganancia
B[k] y del exponencial complejo se puede realizar de una vez
por todas evitando así una operación complementaria para cada
muestra Fr[k][n] sucesiva. Las componentes ecualizadas y
retardadas izquierdas tienen las referencias L_{0} a L_{4} y las
derechas R_{0} a R_{4} y se representan en el dibujo agrupadas
por los módulos 2_{0} o respectivamente 2_{1} sumadores, y
verifican entonces las relaciones siguientes:
Para obtener los canales sonoros de restitución
en el dominio de tiempo, a saber los canales B_{l} izquierdo o
respectivamente B_{r} derecho representados en la figura 3a, es
decir señales binauralizadas en el modo de realización de la figura
3a, se añaden para cada muestra de rango n las componentes
ecualizadas y retardadas espaciales, es decir, la adición de las
componentes:
L0[k][n]+L1[k][n]+L2[k][n]+L3[k][n]+L4[k][n]
para el módulo 2_{0} sumador, y
R0[k][n]+R1[k][n]+R2[k][n]+R3[k][n]+R4[k][n]
para el módulo 2_{1} sumador.
A continuación, las señales resultantes
suministradas por los módulos 2_{0} y 2_{1} de suma se hacen
pasar en los bancos 3_{0} o respectivamente 3_{1} de filtros de
síntesis con el fin de obtener las señales binauralizadas en el
dominio de tiempo, B_{l} o respectivamente B_{r}.
Las señales anteriormente mencionadas pueden
alimentar a continuación un convertidor
digital-analógico, con el fin de permitir la
audición de los sonidos B_{l} izquierdo y B_{r} derecho en
auriculares de audición de audio por ejemplo.
La operación de síntesis realizada por los
módulos 3_{0} y 3_{1} de síntesis incluye, dado el caso, la
operación de síntesis híbrida tal como se describió anteriormente en
la descripción.
El procedimiento objeto de la invención puede
consistir ventajosamente en disociar las operaciones de ecualización
y de retardo, que se pueden realizar sobre subbandas de frecuencias
de número diferente. En una variante, la ecualización se puede
realizar por ejemplo en el dominio híbrido y el retardo en el
dominio PQMF.
Se entiende que el procedimiento y el
dispositivo objetos de la invención, aunque se han descrito para la
binauralización de seis canales hacia unos auriculares de audición,
también se pueden aplicar para realizar la transauralización, es
decir la restitución de un campo sonoro en 3D en un par de altavoces
o para convertir de manera poco compleja una representación de N
canales de audio o fuentes sonoras procedentes de un decodificador
espacial o de varios decodificadores monofónicos hacia N' canales de
audio disponibles al nivel de la restitución. Entonces puede que se
tengan que multiplicar las operaciones de filtrado, dado el
caso.
A modo de ejemplo complementario no limitativo,
el procedimiento y el dispositivo objeto de la invención se pueden
aplicar al caso de un juego en 3D interactivo en los sonidos
emitidos por los diferentes objetos o fuentes sonoras, que se
pueden entonces espacializar en función de su posición relativa con
respecto al oyente. Entonces se comprimen y se almacenan muestras
sonoras en diferentes archivos o diferentes zonas de memoria. Para
reproducirse y espacializarse, se decodifican parcialmente con el
fin de permanecer en el dominio codificado y se filtran en el
dominio codificado por filtros binaurales adecuados de manera
ventajosa usando el procedimiento del escrito según el objeto de la
presente invención.
En efecto, reagrupando las operaciones de
decodificación y de espacialización, la complejidad global del
proceso se reduce enormemente sin por ello conllevar una pérdida de
calidad.
La invención cubre finalmente un programa de
ordenador que comprende una sucesión de instrucciones memorizadas
en un soporte de memorización para su ejecución por un ordenador o
un dispositivo dedicado de espacialización sonora, que, durante
esta ejecución, ejecuta las etapas de filtrado, de adición y de
síntesis tal como se describieron con relación a las figuras 2a a
2c y 3a, 3b anteriormente en la descripción.
Se entiende en particular que las operaciones
representadas en las figuras anteriormente mencionadas se pueden
poner en práctica ventajosamente sobre muestras digitales complejas
por medio de una unidad central de tratamiento, de una memoria de
trabajo y de una memoria de programa, no representadas en el dibujo
de la figura 3a.
Finalmente, el cálculo de las ganancias y de los
retardos que constituyen los filtros de
ecualización-retardo se puede ejecutar de manera
externa al dispositivo objeto de la invención representado en la
figura 3a y 3b, tal como se describirá a continuación con relación
a la figura 4.
En referencia a la figura anteriormente
mencionada, se considera una primera unidad I de codificación
espacial y de codificación con reducción de caudal, que incluye un
dispositivo objeto de la invención tal como se representa en la
figura 3a, 3b, que permite realizar la codificación espacial
anteriormente mencionada a partir de una escena de audio en modo
5.1 por ejemplo y la transmisión de audio codificada, por una parte,
y de parámetros espaciales, por otra parte, hacia una unidad II de
decodificación y de decodificación espacial.
Entonces se puede realizar el cálculo de los
filtros de ecualización-retardo por una unidad III
distinta, que, a partir de los filtros de modelado, filtros HRTF,
calcula los valores de ecualización de ganancia y de retardo y los
transmite a la unidad I de codificación espacial y a la unidad II de
decodificación espacial.
La codificación espacial puede por tanto tener
en cuenta las HRTF que se aplicarán para corregir sus parámetros
espaciales y mejorar el renderizado en 3D. Igualmente el codificador
con reducción de caudal podrá aprovechar estas HRTF para medir los
efectos perceptivos de una cuantificación en frecuencia.
Por lo que respecta a la decodificación, son las
HRTF transmitidas las que se aplicarán en el decodificador
espacial, y permitirán dado el caso reconstruir las vías
restituidas.
Como en los ejemplos anteriores, se restituirán
dos vías a partir de cinco, pero otros casos pueden incluir la
construcción de cinco vías a partir de tres tal como se ilustró
anteriormente. El procedimiento de decodificación espacial
procederá entonces de la siguiente manera:
- proyección de los tres canales recibidos sobre
un conjunto de canales virtuales (superior a los cinco de salida)
usando las informaciones espaciales (upmix, mezcla
ascendente);
- reducción de los canales virtuales a los cinco
canales de salida usando las HRTF.
Si las HRTF se han aplicado al codificador,
entonces se podrá eventualmente suprimir su contribución antes de
la mezcla ascendente para realizar el esquema anterior.
Las HRTF tras la conversión en su forma
ganancia/retardo, se pueden cuantificar de manera privilegiada en
la siguiente forma: codificación diferencial de sus valores y
después cuantificación de sus diferencias: si se denomina
G[k] a los valores de las ganancias del ecualizador, entonces
se transmitirán los valores cuantificados:
e[k] =
G[k+1] -
G[k]
de manera lineal o
logarítmica.
De manera más específica en referencia a la
figura 4 anteriormente mencionada, el proceso puesto en práctica
por el dispositivo y el procedimiento objetos de la invención
permite por tanto ejecutar una espacialización sonora de una escena
de audio en la que el primer conjunto comprende un número
determinado de canales de audio codificados espacialmente, y el
segundo conjunto comprende un número inferior de canales sonoros de
restitución en el dominio de tiempo. Permite además en la
decodificación realizar una transformación inversa de un número de
canales de audio codificados espacialmente hacia un conjunto que
comprende un número superior o igual de canales sonoros de
restitución en el dominio de tiempo.
Claims (17)
1. Procedimiento de espacialización sonora de
una escena de audio que comprende un primer conjunto que comprende
un número, superior o igual a la unidad, de canales de audio
codificados espacialmente sobre un número de subbandas de
frecuencias determinado, y decodificados en un dominio transformado
en un segundo conjunto que comprende un número superior o igual a
dos de canales sonoros de restitución en el dominio de tiempo, a
partir de filtros de modelado de la propagación acústica de las
señales de audio de dicho primer conjunto de canales,
caracterizado porque, para cada filtro de modelado convertido
en forma de al menos una ganancia y de un retardo aplicables en
dicho dominio transformado, dicho procedimiento incluye al menos,
para cada subbanda de frecuencias de dicho dominio
transformado:
- el filtrado por
ecualización-retardo de la señal en subbanda
mediante aplicación de una ganancia o respectivamente de un retardo
sobre dicha señal en subbanda, para generar, a partir de los canales
codificados espacialmente, una componente ecualizada y retardada un
valor de retardo determinado en la subbanda de frecuencias
considerada;
- la adición de un subconjunto de componentes
ecualizadas y retardadas, para crear un número de señales filtradas
en el dominio transformado correspondiente al número de dicho
segundo conjunto superior o igual a dos de canales sonoros de
restitución en el dominio de tiempo;
- la síntesis de cada una de las señales
filtradas en el dominio transformado mediante un filtro de síntesis,
para obtener dicho segundo conjunto de número superior o igual a
dos de canales sonoros de restitución en el dominio de tiempo.
2. Procedimiento según la reivindicación 1,
caracterizado porque dicho filtrado por
ecualización-retardo de la señal en subbanda
incluye al menos la aplicación de un desfase para al menos una de
las subbandas de frecuencias.
3. Procedimiento según la reivindicación 2,
caracterizado porque dicho filtrado por
ecualización-retardo incluye además un retardo puro
mediante memorización para al menos una de las subbandas de
frecuencias.
4. Procedimiento según una de las
reivindicaciones 1 a 3, caracterizado porque dicho filtrado
por ecualización-retardo en un dominio transformado
híbrido, comprende una etapa complementaria de corte en frecuencia
en subbandas complementarias sin decimación, para aumentar el
número de valores de ganancia aplicados, seguida de una etapa de
reagrupamiento de dichas subbandas complementarias a las que se han
aplicado dichos valores de ganancia, y después de aplicación de
dicho retardo.
5. Procedimiento según una de las
reivindicaciones 1 a 3, caracterizado porque dicho filtrado
por ecualización-retardo en un dominio transformado
híbrido comprende una etapa complementaria de corte en frecuencia en
subbandas complementarias con decimación, para aumentar el número
de valores de ganancia aplicados, seguida de una etapa de
reagrupamiento de dichas subbandas complementarias a las que se han
aplicado dichos valores de ganancia, estando dicha etapa de
reagrupamiento a su vez precedida o seguida por la aplicación de
dicho retardo.
6. Procedimiento según una de las
reivindicaciones anteriores, caracterizado porque, para
convertir cada filtro de modelado en un valor de ganancia o
respectivamente de retardo en el dominio transformado, éste consiste
al menos en:
- asociar como valor de ganancia a cada subbanda
un valor real definido como la media del módulo del filtro de
modelado;
- asociar como valor de retardo a cada subbanda
un valor de retardo correspondiente al retardo de propagación entre
el oído izquierdo y el oído derecho para diferentes posiciones.
7. Procedimiento según una de las
reivindicaciones 1 a 3 ó 6, con exclusión de las reivindicaciones 4
ó 5, caracterizado porque la aplicación de una ganancia en
el dominio PQMF consiste en multiplicar el valor de cada muestra de
la señal en subbanda, representada por un valor complejo, por el
valor de ganancia formado por un número real.
8. Procedimiento según una de las
reivindicaciones 1 a 3 ó 6 ó 7, con la exclusión de las
reivindicaciones 4 ó 5, caracterizado porque la aplicación
de un retardo en el dominio transformado PQMF consiste al menos,
para cada muestra de la señal en subbanda, representada por un valor
complejo, en:
- introducir una rotación en el plano complejo
mediante multiplicación de esta muestra por un valor exponencial
complejo en función del rango de la subbanda considerada, de la tasa
de submuestreo en la subbanda considerada y de un parámetro de
retardo asociado a la diferencia de retardo interaural de un
oyente;
- introducir un retardo de tiempo puro de la
muestra tras la rotación, siendo dicho retardo de tiempo puro en
función de la diferencia del retardo interaural de un oyente y de la
tasa de submuestreo en la subbanda considerada.
\newpage
9. Procedimiento según una de las
reivindicaciones 1 a 8, caracterizado porque para una
espacialización sonora binaural de una escena de audio en la que el
primer conjunto comprende un número de canales de audio codificados
espacialmente igual a N=6, en modo 5.1, dicho segundo conjunto
comprende dos canales sonoros de restitución en el dominio de
tiempo, para una restitución por unos auriculares de audición de
audio.
10. Procedimiento según una de las
reivindicaciones 1 a 9, caracterizado porque se repite el
procedimiento para al menos dos pares
ecualización-retardo y se suman las señales
obtenidas para obtener los canales sonoros en el dominio de
tiempo.
11. Procedimiento según una de las
reivindicaciones 1 a 9, caracterizado porque para una
espacialización sonora de una escena de audio en la que el primer
conjunto comprende un número determinado de canales de audio
codificados espacialmente y el segundo conjunto comprende un número
inferior de canales sonoros de restitución en el dominio de tiempo,
este procedimiento consiste, en la decodificación, en efectuar una
transformación inversa de un número de canales de audio codificados
espacialmente hacia un conjunto que comprende un número superior o
igual de canales sonoros de restitución en el dominio de tiempo.
12. Procedimiento según una de las
reivindicaciones anteriores, caracterizado porque los valores
de ganancia y de retardo asociados al filtro de modelado se
transmiten en forma cuantificada.
13. Dispositivo de espacialización sonora de una
escena de audio que comprende un primer conjunto que comprende un
número, superior o igual a la unidad, de canales de audio
codificados espacialmente sobre un número de subbandas de
frecuencias determinado y decodificados en un dominio transformado
en un segundo conjunto que comprende un número superior o igual a
dos de canales sonoros de restitución en el dominio de tiempo, a
partir de filtros de modelado de la propagación acústica de las
señales de audio de dicho primer conjunto de canales,
caracterizado porque, para cada subbanda de frecuencias de un
decodificador espacial, en el dominio transformado, dicho
dispositivo comprende, además de este decodificador espacial:
- medios de filtrado por
ecualización-retardo de la señal en subbanda
mediante aplicación de al menos una ganancia o respectivamente de
un retardo sobre dicha señal en subbanda, para generar, a partir de
cada uno de los canales de audio codificados espacialmente una
componente ecualizada y retardada un valor de retardo determinado
en la subbanda de frecuencias considerada;
- medios de adición de un subconjunto de
componentes ecualizadas y retardadas, para crear un número de
señales filtradas en el dominio transformado correspondiente al
número de dicho segundo conjunto superior o igual a dos de canales
sonoros de restitución en el dominio de tiempo;
- medios de síntesis de cada una de las señales
filtradas en el dominio transformado, para obtener dicho segundo
conjunto que comprende un número superior o igual a dos de señales
sonoras de restitución en el dominio de tiempo.
14. Dispositivo según la reivindicación 13,
caracterizado porque dichos medios de filtrado mediante
aplicación de una ganancia comprenden un multiplicador digital de
cualquier muestra compleja de cada canal de audio codificado
espacialmente por un valor real.
15. Dispositivo según la reivindicación 13 ó 14,
caracterizado porque dichos medios de filtrado mediante
aplicación de un retardo comprenden al menos un multiplicador
digital complejo, que permite introducir una rotación en el plano
complejo de cualquier muestra de la señal en subbanda por un valor
exponencial complejo, en función del rango de la subbanda
considerada, de la tasa de submuestreo en la subbanda considerada y
de un parámetro de retardo asociado a la diferencia de retardo
interaural de un oyente.
16. Dispositivo según la reivindicación 15,
caracterizado porque dichos medios de filtrado comprenden
además una línea de retardo puro de cada muestra tras la rotación,
que permite introducir un retardo de tiempo puro en función de la
diferencia del retardo interaural de un oyente y de la tasa de
submuestreo en la subbanda considerada.
17. Programa de ordenador que comprende una
sucesión de instrucciones memorizadas en un soporte de memorización
para la ejecución por un ordenador o un dispositivo dedicado,
caracterizado porque durante esta ejecución, dicho programa
ejecuta las etapas de filtrado, de adición y de síntesis según una
de las reivindicaciones 1 a 12.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0602685A FR2899423A1 (fr) | 2006-03-28 | 2006-03-28 | Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme. |
| FR0602685 | 2006-03-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2330274T3 true ES2330274T3 (es) | 2009-12-07 |
Family
ID=37649439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES07731710T Active ES2330274T3 (es) | 2006-03-28 | 2007-03-08 | Procedimiento y dispositivo de especializacion sonora binaural eficaz en el dominio transformado. |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US8605909B2 (es) |
| EP (1) | EP2000002B1 (es) |
| JP (1) | JP5090436B2 (es) |
| KR (1) | KR101325644B1 (es) |
| CN (1) | CN101455095B (es) |
| AT (1) | ATE439013T1 (es) |
| BR (1) | BRPI0709276B1 (es) |
| DE (1) | DE602007001877D1 (es) |
| ES (1) | ES2330274T3 (es) |
| FR (1) | FR2899423A1 (es) |
| PL (1) | PL2000002T3 (es) |
| WO (1) | WO2007110519A2 (es) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101218776B1 (ko) * | 2006-01-11 | 2013-01-18 | 삼성전자주식회사 | 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 |
| US8027479B2 (en) * | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
| PL2299734T3 (pl) * | 2006-10-13 | 2013-05-31 | Auro Tech | Sposób i koder do łączenia zestawów danych cyfrowych, sposób dekodowania i dekoder do takich połączonych zestawów danych cyfrowych oraz nośnik zapisu do przechowywania takiego połączonego zestawu danych cyfrowych |
| KR101464977B1 (ko) * | 2007-10-01 | 2014-11-25 | 삼성전자주식회사 | 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치 |
| KR100954385B1 (ko) * | 2007-12-18 | 2010-04-26 | 한국전자통신연구원 | 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템 |
| FR2938947B1 (fr) * | 2008-11-25 | 2012-08-17 | A Volute | Procede de traitement du signal, notamment audionumerique. |
| FR2969804A1 (fr) * | 2010-12-23 | 2012-06-29 | France Telecom | Filtrage perfectionne dans le domaine transforme. |
| JP6038312B2 (ja) * | 2012-07-27 | 2016-12-07 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ラウドスピーカ・エンクロージャ・マイクロホンシステム記述を提供する装置及び方法 |
| CN105009207B (zh) * | 2013-01-15 | 2018-09-25 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
| CN104010264B (zh) * | 2013-02-21 | 2016-03-30 | 中兴通讯股份有限公司 | 双声道音频信号处理的方法和装置 |
| KR102163266B1 (ko) * | 2013-09-17 | 2020-10-08 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
| US9067135B2 (en) | 2013-10-07 | 2015-06-30 | Voyetra Turtle Beach, Inc. | Method and system for dynamic control of game audio based on audio analysis |
| US9716958B2 (en) | 2013-10-09 | 2017-07-25 | Voyetra Turtle Beach, Inc. | Method and system for surround sound processing in a headset |
| US9143878B2 (en) | 2013-10-09 | 2015-09-22 | Voyetra Turtle Beach, Inc. | Method and system for headset with automatic source detection and volume control |
| US10063982B2 (en) | 2013-10-09 | 2018-08-28 | Voyetra Turtle Beach, Inc. | Method and system for a game headset with audio alerts based on audio track analysis |
| US9338541B2 (en) | 2013-10-09 | 2016-05-10 | Voyetra Turtle Beach, Inc. | Method and system for in-game visualization based on audio analysis |
| US8979658B1 (en) | 2013-10-10 | 2015-03-17 | Voyetra Turtle Beach, Inc. | Dynamic adjustment of game controller sensitivity based on audio analysis |
| CN104681034A (zh) | 2013-11-27 | 2015-06-03 | 杜比实验室特许公司 | 音频信号处理 |
| EP4246513B1 (en) * | 2013-12-23 | 2025-09-17 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and audio signal processing device |
| US9848275B2 (en) * | 2014-04-02 | 2017-12-19 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
| DE102017103134B4 (de) * | 2016-02-18 | 2022-05-05 | Google LLC (n.d.Ges.d. Staates Delaware) | Signalverarbeitungsverfahren und -systeme zur Wiedergabe von Audiodaten auf virtuellen Lautsprecher-Arrays |
| US10142755B2 (en) * | 2016-02-18 | 2018-11-27 | Google Llc | Signal processing methods and systems for rendering audio on virtual loudspeaker arrays |
| CN106412793B (zh) * | 2016-09-05 | 2018-06-12 | 中国科学院自动化研究所 | 基于球谐函数的头相关传输函数的稀疏建模方法和系统 |
| US10313819B1 (en) * | 2018-06-18 | 2019-06-04 | Bose Corporation | Phantom center image control |
| CN109166592B (zh) * | 2018-08-08 | 2023-04-18 | 西北工业大学 | 基于生理参数的hrtf分频段线性回归方法 |
| US11363402B2 (en) | 2019-12-30 | 2022-06-14 | Comhear Inc. | Method for providing a spatialized soundfield |
| CN112437392B (zh) * | 2020-12-10 | 2022-04-19 | 科大讯飞(苏州)科技有限公司 | 声场重建方法、装置、电子设备和存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2755081B2 (ja) * | 1992-11-30 | 1998-05-20 | 日本ビクター株式会社 | 音像定位制御方法 |
| JP2001306097A (ja) * | 2000-04-26 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 音声符号化方式及び装置、音声復号化方式及び装置、並びに記録媒体 |
| JP3624884B2 (ja) * | 2001-12-28 | 2005-03-02 | ヤマハ株式会社 | 音声データ処理装置 |
| JP2003230198A (ja) * | 2002-02-01 | 2003-08-15 | Matsushita Electric Ind Co Ltd | 音像定位制御装置 |
| JP2004023486A (ja) * | 2002-06-17 | 2004-01-22 | Arnis Sound Technologies Co Ltd | ヘッドホンによる再生音聴取における音像頭外定位方法、及び、そのための装置 |
| US7542896B2 (en) | 2002-07-16 | 2009-06-02 | Koninklijke Philips Electronics N.V. | Audio coding/decoding with spatial parameters and non-uniform segmentation for transients |
| FR2851879A1 (fr) * | 2003-02-27 | 2004-09-03 | France Telecom | Procede de traitement de donnees sonores compressees, pour spatialisation. |
| EP1695335A1 (fr) * | 2003-12-15 | 2006-08-30 | France Telecom | Procede de synthese et de spatialisation sonores |
| US7805313B2 (en) * | 2004-03-04 | 2010-09-28 | Agere Systems Inc. | Frequency-based coding of channels in parametric multi-channel coding systems |
| KR100644617B1 (ko) * | 2004-06-16 | 2006-11-10 | 삼성전자주식회사 | 7.1 채널 오디오 재생 방법 및 장치 |
| US7391870B2 (en) * | 2004-07-09 | 2008-06-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V | Apparatus and method for generating a multi-channel output signal |
| US7853022B2 (en) * | 2004-10-28 | 2010-12-14 | Thompson Jeffrey K | Audio spatial environment engine |
| EP1994796A1 (en) * | 2006-03-15 | 2008-11-26 | Dolby Laboratories Licensing Corporation | Binaural rendering using subband filters |
-
2006
- 2006-03-28 FR FR0602685A patent/FR2899423A1/fr not_active Withdrawn
-
2007
- 2007-03-08 ES ES07731710T patent/ES2330274T3/es active Active
- 2007-03-08 US US12/225,677 patent/US8605909B2/en active Active
- 2007-03-08 BR BRPI0709276-8A patent/BRPI0709276B1/pt active IP Right Grant
- 2007-03-08 CN CN200780020028XA patent/CN101455095B/zh active Active
- 2007-03-08 WO PCT/FR2007/050894 patent/WO2007110519A2/fr not_active Ceased
- 2007-03-08 DE DE602007001877T patent/DE602007001877D1/de active Active
- 2007-03-08 AT AT07731710T patent/ATE439013T1/de not_active IP Right Cessation
- 2007-03-08 PL PL07731710T patent/PL2000002T3/pl unknown
- 2007-03-08 EP EP07731710A patent/EP2000002B1/fr active Active
- 2007-03-08 KR KR1020087026354A patent/KR101325644B1/ko active Active
- 2007-03-08 JP JP2009502159A patent/JP5090436B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| DE602007001877D1 (de) | 2009-09-17 |
| US8605909B2 (en) | 2013-12-10 |
| KR101325644B1 (ko) | 2013-11-06 |
| BRPI0709276B1 (pt) | 2019-10-08 |
| PL2000002T3 (pl) | 2010-01-29 |
| EP2000002B1 (fr) | 2009-08-05 |
| JP2009531905A (ja) | 2009-09-03 |
| ATE439013T1 (de) | 2009-08-15 |
| BRPI0709276A2 (pt) | 2011-07-12 |
| EP2000002A2 (fr) | 2008-12-10 |
| CN101455095A (zh) | 2009-06-10 |
| KR20080109889A (ko) | 2008-12-17 |
| WO2007110519A3 (fr) | 2007-11-15 |
| CN101455095B (zh) | 2011-03-30 |
| FR2899423A1 (fr) | 2007-10-05 |
| WO2007110519A2 (fr) | 2007-10-04 |
| JP5090436B2 (ja) | 2012-12-05 |
| US20090232317A1 (en) | 2009-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8605909B2 (en) | Method and device for efficient binaural sound spatialization in the transformed domain | |
| US12165656B2 (en) | Encoding of a multi-channel audio signal to generate binaural signal and decoding of an encoded binauralsignal | |
| JP7559106B2 (ja) | オーディオ・デコーダおよびデコード方法 | |
| KR101010464B1 (ko) | 멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성 | |
| CN108476366B (zh) | 用于参数化双耳输出系统和方法的头部跟踪 | |
| ES2261994T3 (es) | Metodo de tratamiento de datos sonoros y dispositivos de adquisicion sonoro que ejecuta este procedimiento. | |
| CN1762178B (zh) | 用于处理电声音信号的方法 | |
| JP2009530916A (ja) | サブフィルタを用いたバイノーラル表現 | |
| KR20080047446A (ko) | 오디오 코딩 | |
| CN112218229A (zh) | 用于双耳对话增强的方法和装置 | |
| US11284213B2 (en) | Multi-channel crosstalk processing | |
| RU2427978C2 (ru) | Кодирование и декодирование аудио | |
| Vancheri et al. | Multiband time-domain crosstalk cancellation | |
| KR20150005439A (ko) | 오디오 신호 처리 방법 및 장치 | |
| EA048865B1 (ru) | Аудиодекодер и способ декодирования |