BRPI0709276B1

BRPI0709276B1 - Processo e dispositivo de espacialização sonora binaural eficaz no domínio transformado

Info

Publication number: BRPI0709276B1
Application number: BRPI0709276-8A
Authority: BR
Inventors: Marc Emerit; Pierrick Philippe; David Virette
Original assignee: France Telecom
Priority date: 2006-03-28
Filing date: 2007-03-08
Publication date: 2019-10-08
Also published as: KR101325644B1; WO2007110519A2; WO2007110519A3; US20090232317A1; CN101455095A; PL2000002T3; EP2000002B1; US8605909B2; ES2330274T3; KR20080109889A; DE602007001877D1; FR2899423A1; JP5090436B2; BRPI0709276A2; EP2000002A2; ATE439013T1; CN101455095B; JP2009531905A

Abstract

<b>processo e dispositivo de espacialização sonora binaural eficaz no domínio transformado<d>a invenção refere-se a um processo e um sistema de espacialízação sonora de um primeiro conjunto de um número superior ou igual a um de canais áudio codificados em um número de sub-bandas de frequências (sbk) e decodíficados em um domínio transformado (f1, c, fr, sr, s1, ife) em um segundo conjunto de um número superior ou igual a dois (b1, br) de canais sonoros no domíniotemporal, a partir de filtros de modelação convertidos em um ganho e um retardo, aplicáveis no domínio transformado, efetuando: uma filtragem (a) por retardo do sinal de sub- banda por aplicação de pelo menos um ganho e de um retardo para gerar, a partir de cada um dos canais codificadosespacíalmente, uma componente egualizada e retardada, a adição (b) de um sub-conjunto de componentes equalizadas e retardadas para criar um número de sinais filtrados nodomínio transformado correspondente ao número superior ou igual a dois; a síntese (c) de cada um dos sinais filtrados no domínio transformado por um filtro de síntese para obter o segundo conjunto de um número superior ou igual a dois de canais sonoros de restituição (b1, br) no domínio temporal.

Description

PROCESSO E DISPOSITIVO DE ESPACIALIZAÇÃO SONORA BINAURAL EFICAZ NO DOMÍNIO TRANSFORMADO.

Campo da Invenção

Ά invenção é referente à espacialização, conhecida como som renderizado em 3D, de sinais de áudio comprimidos.

Descrição da Técnica Anterior

Uma operação desse tipo é, por exemplo, executada durante a descompressão de um sinal de áudio comprimido em 3D, por exemplo, representado em um certo número de canais, para diferentes números de canais, dois, por exemplo, para permitir a reprodução dos efeitos de áudio 3D em um fone de ouvido.

Assim, o termo binaural visa à reprodução em um fone de ouvido estereofônico de sinal de áudio, mas com efeitos de espacialização. A invenção não se limita, no entanto, à técnica precitada e se aplica, notadamente, às técnicas derivadas do binaural, tais como as técnicas de reprodução conhecidas como TRANSAURAL®, isto é, em altofalantes distantes. TRANSAURAL® é uma marca comercial da companhia COOPER BAUCK CORPORATION. Tais técnicas podem então utilizar cancelamento de interferência (cross-talk cancellation) , a qual consiste em eliminar os canais acústicos cruzados, de maneira que o som, ao ser processado e emitido pelos alto-falantes, possa ser ouvido apenas por um dos dois ouvidos do ouvinte.

Em consequência, a invenção refere-se também à transmissão e à reprodução de sinais de áudio de multicanal e à sua conversão para um dispositivo de reprodução, transdutor, imposto pelo equipamento do usuário. É, por exemplo, o caso para a reprodução de uma cena sonora 5.1 por um fone de ouvido, ou por um par de alto-falantes.

2/32

A invenção refere-se também à reprodução, em uma estrutura de jogo ou gravação em video, por exemplo, de uma ou mais amostras sonoras armazenadas em arquivos, com vistas à sua espacialização.

Dentre as técnicas conhecidas no domínio da espacialização sonora binaural, diferentes abordagens foram propostas.

Em particular, a síntese binaural bicanal consiste, com referência à Figura la, em filtrar o sinal das diferentes fontes sonoras Si que se deseja posicionar, na reprodução, em uma posição no espaço, por intermédio de funções de transferência acústicas esquerda HRTF-1 e direita HRTF-r no domínio da frequência correspondendo à direção apropriada, definida em coordenadas polares (θ], φ_χ) . As funções de transferência HRTF, abreviação de Head Related Transfer Functions, acima citadas são as funções de transferência acústica da cabeça do ouvinte entre as posições do espaço e o canal auditivo. Em adição, sua forma temporal é denotada por HRIR, abreviação de Head Related Impulse Response. Essas funções podem também compreender um efeito ambiente.

Para cada fonte sonora Si, dois sinais, esquerdo e direito são obtidos, os quais são então adicionados aos sinais esquerdo e direito provenientes da espacialização de outras fontes sonoras, para produzir finalmente os sinais L e R transmitidos para os ouvidos esquerdo e direito do ouvinte.

número de filtros, ou funções de transferência, necessário é então 2.N para uma síntese binaural estática e 4.N para uma síntese binaural dinâmica, em que N designa o número de fontes sonora ou fluxo de áudio a ser espacializado.

Trabalhos intitulados A model of head-related

3/32 transfer functions based on principal components analysis and miniiiiüm - phase reconstruction conduzidos por D. Kistler e F. L. Wightman, publicados no J. Accoust. Soc. Am. 91(3) : p 1637-1647 (1992) e por A. Kulkami 1995 IEEE ASSP Workshop on Applications of Signal Processing to Audio and Acoustics” IEEE catalog number: 95^TH8144, permitiram verificar que as fases das HRTF podem ser decompostas na soma de dois termos, um correspondendo ao retardo interaural e o outro igual à fase mínima associada ao módulo da HRTF.

Assim, para uma função de transferência HRTF expressa sob a forma:

H(f)=\H(f)\e<p(f) =φ retardo (f) + pmin(f) φ retardo (f)= 2nnf corresponde ao retardo interaural;

ç?min(/)= ZT(log(| H(J) |)) é a fase mínima associada com os módulos do filtro H.

A implementação de filtros binaurais se faz, em geral, sob a forma de dois filtros com fase mínima e de um retardo puro, correspondendo à diferença dos retardos esquerdo e direito aplicada no ouvido mais afastado da fonte. Esse retardo é, em geral, implementado com o auxílio de uma linha de retardo.

O filtro de fase mínima é um filtro de resposta de impulso finita e pode ser executado no domínio do tempo ou frequência. Filtros de resposta de impulso infinita podem ser buscados para aproximar o módulo dos filtros HRTF de fase mínima.

No que diz respeito à binauralização, com referência à Figura 1b, a situação é uma estrutura não limitativa de uma cena sonora espacializada no modo 5.1,

4/32 com vistas à reprodução desta no fone de ouvido de um ser humano HB.

Cinco alto-falantes C: Centro, Lf: Left front, Rf: Right front, Sl: Surround .left, Sr: Surround right, produzem, cada um, um som que é percebido pelo ser humano HB nos dois receptores que são seus ouvidos. As transformações sofridas pelo som são modeladas por uma função de filtragem representando a modificação que este som sofre durante sua propagação entre o alto-falante que reproduz este som e o ouvido dado.

Em particular, o som emanando do alto-falante Lf afeta o ouvido esquerdo LE através de um filtro HRTF A, mas este mesmo som alcança o ouvido direito RE modificado por um filtro HRTF B.

A posição dos alto-falantes em relação ao indivíduo HB acima mencionado pode ser simétrica ou não.

Cada ouvido recebe então a contribuição dos 5 alto-falantes na forma modelada a seguir:

	Ouvido esquerdo LE:	BI = ALf + CC	+ BRf +	DS1 +
ESr,
	Ouvido direito RE:	Br = ARf + CC	+ BLf +	DSr +
ESI,
	onde BI é o sinal	binauralizado	para o	ouvido
esquerdo	LE e Br é o sinal	binauralizado	para o	ouvido
direito	RE.
	Os filtros A, B, C,	D e E são mais	frequentemente

modelados por filtros digitais lineares e, na configuração representada na Figura 1b, 10 funções de filtragem são necessárias para serem aplicadas, as quais podem ser reduzidas a 5, em vista das simetrias.

De maneira conhecida como tal, as operações de filtragem precitadas podem ser realizadas no domínio da frequência, por exemplo, por meio de uma convolução rápida

5/32 executada no domínio de Fourier. Utiliza-se, então, uma transformada de Fourier rápida FFT (Fast Fourier Transform), para executar a binauralização de forma eficaz.

Os filtros HRTF A, B, C, D e E podem ser simplificados na forma de um equalizador de frequência e de um retardo. O filtro HRTF A pode ser realizado na forma de um equalizador simples, visto que se trata de uma trajetória direta, enquanto que o filtro HRTF B inclui um retardo adicional. De maneira clássica, os filtros HRTF podem ser decompostos em um filtro de fase mínima e um retardo puro. 0 retardo para o ouvido mais próximo da fonte pode ser considerado igual a zero.

A operação de reconstrução por decodificação espacial de uma cena sonora de áudio 3D, usando um número reduzido de canais transmitidos, tal como representada na Figura 1c, é igualmente conhecida do estado da técnica. A configuração representada na Figura lc é relativa à decodificação de um canal de áudio codificado dispondo de parâmetros de localização no domínio da frequência, a fim de reconstruir uma cena sonora espacializada 5.1.

A reconstrução precitada é efetuada por um decodificador espacial por sub-bandas de frequência, tal como representado na Figura lc. O sinal de áudio codificado m sofre 5 etapas de processamento de espacialização, que são controladas por parâmetros ou coeficientes complexos de espacialização CLD e ICC calculados pelo codificador e que permitem, através das operações de dês-correlação e de correção de ganho, que a cena sonora seja composta de seis canais, os cinco canais representados na Figura lb, para os quais é acrescentado um canal de baixa frequência Ife, a ser reconstruído de maneira realista.

Quando se deseja proceder a uma binauralização dos canais de áudio provenientes de um decodificador

6/32 espacial tal como representado na Figura 1c, se está, de fato, restrito, no momento atual, a implementar um método de processamento de acordo com o esquema representado na Figura Id.

Com referência ao esquema acima mencionado, parece necessário realizar a transformação dos canais de áudio, os quais estão disponíveis no domínio do tempo, antes de proceder à binauralização do sinal. Esta operação de retorno no domínio do tempo é simbolizada pelos blocos sintetizadores Sint que executam a operação de transformação freqüência-tempo para cada um dos canais provenientes do decodificador espacial (SD) . A filtragem por filtros HRTF pode ser então realizada pelos filtros A, B, C, D, E, com ou sem aplicação do esquema equalizado, correspondendo a uma filtragem clássica.

Uma variante de binauralização dos canais de áudio de um decodificador espacial pode também consistir, como representado na Figura le, em converter cada canal de áudio entregue pelo decodificador de áudio no domínio do tempo por um sintetizador Sint e depois em executar a operação de decodificação espacial e de binauralização, ou espacialização, no domínio da frequência de Fourier, após a transformada FFT.

Neste cenário, cada módulo OTT correspondendo a uma matriz de coeficientes de decodificação deve ser então convertido no domínio de Fourier, ao preço de uma aproximação, uma vez que as operações não são efetuadas no mesmo domínio. Além disso, a complexidade é também aumentada, uma vez que a operação de sintetização Sint é seguida por três transformações FFT.

Assim, para binauralizar uma cena sonora proveniente de um decodificador espacial, não existe outras possibilidades a não ser realizar:

7/32 transformações tempo-freqüência, se for desejado realizar a binauralização fora do decodificador espacial;

- ou uma operação de sintetização seguida por 3 transformações de Fourier FFT, se for desejado executar a operação no domínio FFT.

Uma outra solução poderia consistir em efetuar a filtragem HRTF diretamente no domínio das sub-bandas, assim como representado na Figura If.

No entanto, neste cenário, as operações de filtragem HRTF são complexas de realizar, uma vez que estas últimas impõem a utilização de filtros de sub-bandas, cujo comprimento mínimo é fixo e que devem levar em consideração o fenômeno de serrilhado (aliasing) espectral das subbandas .

A economia introduzida pela redução de operações de transformada é compensada negativamente pela explosão do número de operações necessárias para a filtragem, em razão da execução destas operações no domínio PQMF (Pseudo Quadrature Mirror Filter).

Resumo da Invenção

A presente invenção tem por objetivo solucionar as inúmeras desvantagens das técnicas anteriores acima mencionadas para espacialização sonora das cenas de áudio 3D, e notadamente para transauralização ou de binauralização de cenas de áudio 3D.

Em particular, um objetivo da presente invenção é a execução de uma filtragem específica de sinais ou canais de áudio codificados espacialmente no domínio das subbandas de frequência de uma decodificação espacial, a fim de limitar o número de pares de transformação, reduzindo as operações de filtragem ao mínimo, mas conservando uma boa qualidade de espacialização de fonte, notadamente em

8/32 transauralização ou binauralização.

De acordo com um aspecto particularmente notável da presente invenção, a execução da filtragem especifica precitada confia na renderização dos filtros de espacialização, transaural ou binaural na forma de um equalizador-retardo, para uma aplicação direta de uma filtragem por equalização-retardo no domínio das subbandas.

Outro objetivo da presente invenção é a obtenção de uma qualidade de renderização 3D muito próxima da obtida a partir de filtros de modelagem tais como filtros HRTF originais, pela adição simples de um processamento espacial transaural de complexidade muito baixa, em seguida a uma decodificação espacial convencional no domínio transformado.

Um objetivo da presente invenção é, enfim, uma nova técnica de espacialização de fonte aplicável não apenas para a renderização transaural ou binaural de um som monofônico, mas também para vários sons monofônicos e notadamente para os canais múltiplos de som estéreo nos modos 5.1, 6.1, 7.1, 8.1 ou superiores.

A presente invenção tem, assim, por objeto um processo de espacialização sonora de uma cena de áudio compreendendo um primeiro conjunto compreendendo um número superior ou igual à unidade de canais de áudio codificados espacialmente em um número de sub-bandas de frequência determinado, e decodificados no domínio transformado, em um segundo conjunto compreendendo um número superior ou igual a dois dos canais de reprodução de áudio no domínio do tempo, usando filtros de modelagem de propagação acústica dos sinais de áudio do primeiro conjunto de canais.

Em conformidade com a invenção, este processo é notável pelo fato de que, para cada filtro de modelagem

9/32 convertido sob a forma de pelo menos um ganho e de um retardo aplicáveis no domínio transformado, este consiste em executar, para cada sub-banda de frequência do domínio transformado, pelo menos:

- a filtragem por equalização-retardo do sinal de sub-banda, ao aplicar um ganho e um retardo, respectivamente, no sinal de sub-banda, para gerar, a partir dos canais codificados espacialmente, um componente equalizado retardado por um valor determinado na sub-banda de frequência considerada,

- a adição de um sub-conjunto de componentes equalizados e retardados, para criar um número de sinais filtrados no domínio transformado correspondendo ao número do segundo conjunto, superior ou igual a dois, dos canais de reprodução de áudio no domínio do tempo,

- a sintetização de cada um dos sinais filtrados no domínio transformado por um filtro de sintetização, para obter o segundo conjunto de número superior ou igual a dois dos sinais de reprodução de áudio no domínio do tempo.

O processo objeto da invenção é também notável pelo fato de que a filtragem por equalização-retardo do sinal de sub-banda inclui pelo menos a aplicação de um deslocamento de fase e, quando necessário, de um retardo puro por armazenamento, para pelo menos uma das sub-bandas de frequência.

O processo objeto da invenção é também notável pelo fato de que inclui uma filtragem por equalizaçãoretardo em um domínio transformado híbrido, compreendendo uma etapa adicional de divisão de frequência em sub-bandas adicionais, com ou sem decimação.

O processo objeto da invenção é, então, notável pelo fato de que, para converter cada filtro de modelagem em um valor de ganho e, respectivamente, um valor de

10/32 retardo, no domínio transformado, este consiste pelo menos em associar como valor de ganho para cada sub-banda um valor real definido como a média do módulo do filtro de modelagem dentro desta sub-banda e em associar como valor de retardo para cada sub-banda um valor de retardo correspondendo ao retardo de recepção entre o ouvido esquerdo e o ouvido direito para diferentes posições.

A presente invenção tem correlativamente por objeto um dispositivo de espacialização sonora de uma cena de áudio compreendendo um primeiro conjunto compreendendo um número, superior ou igual à unidade, de canais de áudio codificados espacialmente em um número de sub-bandas de frequência determinado, e decodificados em um domínio transformado, em um segundo conjunto compreendendo um número superior ou igual a dois dos canais de reprodução de áudio no domínio do tempo, usando filtros de modelagem de propagação acústica dos sinais de áudio do primeiro subconjunto de canais.

Em conformidade com a invenção, este dispositivo é notável pelo fato de que, para cada sub-banda de frequência de um decodificador espacial no domínio transformado, este dispositivo compreende, além deste decodificador espacial:

- um módulo de filtragem por equalização-retardo do sinal de sub-banda ao aplicar um ganho e um retardo, respectivamente, no sinal de sub-banda, para gerar, a partir de cada um dos canais de áudio codificados espacialmente, um componente equalizado e retardado de um valor de retardo determinado na sub-banda de frequência considerada, um módulo de adição de um sub-conjunto de componentes equalizados e retardados para criar um número de sinais filtrados no domínio transformado correspondendo

11/32 ao número do segundo conjunto superior ou igual a dois dos canais de reprodução de áudio no domínio do tempo,

- um módulo de sintetização de cada um dos sinais filtrados no domínio transformado para obter o segundo conjunto compreendendo um número superior ou igual a dois dos canais de reprodução de áudio no domínio do tempo.

processo e o dispositivo, objetos da invenção, encontram aplicação na indústria eletrônica dos aparelhos de áudio e/ou vídeo com alta fidelidade, na indústria dos jogos de áudio-vídeo executados localmente ou em linha.

Breve Descrição das Figuras

Elas serão mais bem compreendidas pela leitura do relatório e pela observação dos desenhos logo a seguir, nos quais, além das Figuras la a If referentes à técnica anterior,

- Figura 2a representa um fluxograma ilustrativo das etapas de implementação do processo de espacialização sonora objeto da invenção;

- Figura 2b representa, a título ilustrativo, uma variante de implementação do processo, objeto da invenção, representado na Figura 2a, obtido por criação de sub-bandas adicionais, na ausência de decimação;

- Figura 2c representa, a título ilustrativo, uma variante de implementação do processo, objeto da invenção, representado na Figura 2a, obtido por criação de sub-bandas adicionais, na presença de decimação;

- Figura 3a representa, a título ilustrativo, um estágio, para uma sub-banda de frequência de um decodificador espacial, de um dispositivo de espacialização sonora objeto da invenção;

- Figura 3b representa, a título ilustrativo, um detalhe de implementação de um filtro de equalização

12/32 retardo permitindo a implementação do dispositivo, objeto da invenção, representado na Figura 3a;

- Figura 4 representa, a título ilustrativo, um exemplo de implementação do dispositivo, objeto da invenção, no qual o cálculo dos filtros de equalizaçãoretardo é removido.

Descrição Detalhada da Invenção

Uma descrição mais detalhada do processo de espacialização sonora de uma cena de áudio em conformidade com o objeto da presente invenção será agora dada em conexão com a Figura 2a e as figuras seguintes.

processo, objeto da invenção, se aplica a uma cena de áudio tal como uma cena de áudio 3D representada por um primeiro conjunto compreendendo um número N, superior ou igual à unidade, N 1, de canais de áudio codificados espacialmente em um número de sub-bandas de frequência determinado e decodificado em um domínio transformado.

domínio transformado é entendido para significar um domínio de frequência transformado, tal como o domínio de Fourier, domínio PQMF ou qualquer domínio híbrido provenientes desses últimos por criação de subbandas de frequência adicionais, submetidas ou não a um procedimento de decimação de tempo.

Em conseqüência, os canais de áudio codificados espacialmente formando o primeiro conjunto N de canais são representados de maneira não limitativa pelos canais Fl, Fr, Sr, Sl, C, Ife previamente descritos no relatório e correspondendo a um modo de decodificação de uma cena de áudio 3D no domínio transformado correspondente, assim como descrito previamente no relatório. Este modo não é outro que o modo 5.1 acima mencionado.

13/32

Além disso, estes sinais são decodificados no domínio transformado acima mencionado de acordo com um número determinado de sub-bandas específicas para a decodificação, o conjunto das sub-bandas sendo denotado por (SBk)kZf t onde k designa a ordenação (rang) da sub-banda considerada.

processo, objeto da invenção, permite que o conjunto dos canais de áudio codificados espacialmente seja transformado em um segundo conjunto compreendendo um número, superior ou igual a dois, de canais de reprodução de áudio no domínio do tempo, os canais de reprodução de áudio sendo denotados por BI e Br para os canais binaurais esquerdo e direito, respectivamente, de maneira não limitativa no quadro da Figura 2a. Compreende-se, em particular, que no lugar de dois canais binaurais, o processo, objeto da invenção, é aplicável a qualquer número de canais superior a dois, permitindo, por exemplo, a reprodução sonora em tempo real da cena de áudio 3D, assim como representado e descrito no relatório em conexão com a Figura 1b.

De acordo com um aspecto notável do processo, objeto da invenção, este é implementado usando filtros de modelagem de propagação acústica dos sinais de áudio do primeiro conjunto de canais de áudio codificados espacialmente, levando em conta uma conversão na forma de pelo menos um ganho e de um retardo aplicáveis no domínio transformado, assim como será descrito posteriormente no relatório. De maneira não-limitativa, os filtros de modelagem serão denotados como filtros HRTF na seqüência da descrição.

A conversão precitada é denotada para cada filtro HRTF considerado para uma sub-banda SB_k de ordenação k para estabelecer um valor de ganho g_k e um valor de retardo d_k

14/32 correspondente, a conversão precedente sendo então denotada, como representada na Figura 2a, HRTF ξ (g_k, d_k) .

Levando em conta a conversão precitada, o processo, objeto da invenção consiste, para cada sub-banda de frequência do domínio transformado de ordenação k, em realizar, na etapa A, uma filtragem por equalização-retardo do sinal de sub-banda ao aplicar um ganho g_k e um retardo d_k, respectivamente, no sinal de sub-banda, para gerar a partir dos canais codificados espacialmente precitados, isto é, os canais Fl, C, Fr, Sr, SI e Ife, um componente equalizado e retardado com um valor de retardo determinado na sub-banda de frequência Sb_k considerada de ordenação k.

Na Figura 2a, a operação de filtragem por equalização-retardo é denotada de maneira simbólica por CED_kx = {Fl, C, Fr, Sr, Sl, Ife} (g_kx, d_kx) .

Na equação simbólica acima mencionada, FEB_kxdenota cada componente equalizado e retardado obtido ao aplicar o ganho g_kx e o retardo d_kx em cada um dos canais de áudio codificados espacialmente, isto é, os canais Fl, C, Fr, Sr, Sl e Ife.

Em consequência e na equação simbólica mencionada acima, x, para a sub-banda de ordenação k correspondente, pode obter de fato os valores Fl, C, Fr, Sr, Sl, Ife.

A etapa A é então seguida no domínio transformado por uma etapa B para adição de um sub-conjunto de componentes equalizados e retardados para criar um número de sinais filtrados no domínio transformado correspondendo ao número Ν', superior ou igual a 2, do segundo conjunto de canais de reprodução de áudio no domínio do tempo.

Na etapa B da Figura 2a, a operação de adição é dada pela equação simbólica:

F{F1, C, Fr, Sr, Sl, Ife} = Σ CED_kx.

15/32

Na equação simbólica acima mencionada, F{F1, C, Fr, Sr, Sl, Ife} denota o sub-conjunto dos sinais filtrados no domínio transformado obtido pela soma de um sub-conjunto de componentes equalizados e retardados CED_kx.

A título de exemplo não-limitativo, para um primeiro conjunto compreendendo um número de canais de áudio codificados espacialmente N=6, correspondendo ao modo 5.1, o sub-conjunto de componentes equalizados e retardados pode consistir em adicionar cinco destes componentes equalizados e retardados para cada ouvido para obter o número Ν' igual a 2 de sinais filtrados no domínio transformado, assim como será descrito de maneira mais detalhada posteriormente no relatório.

A etapa de adição B precitada é então seguida por uma etapa C para sintetização de cada um dos sinais filtrados no domínio transformado por um filtro de sintetização para obter o segundo conjunto de número Ν' , superior ou igual a dois, dos sinais de reprodução de áudio no domínio do tempo.

Na etapa C da Figura 2a, a operação de sintetização correspondente é representada pela equação simbólica:

BI, Br = Sint (F{F1, C, Fr, Sr, Sl, Ife}) .

De uma maneira geral, indica-se que o processo objeto da invenção pode ser aplicado a qualquer cena de áudio 3D composta de N, variando de 1 ao infinito, de caminhos ou canais de áudio codificados de forma espacial para Ν', variando de 2 ao infinito, de canais de reprodução de áudio.

No que diz respeito à etapa de soma representada na etapa B da Figura 2a, indica-se que esta consiste, de

16/32 maneira mais específica, em adicionar um sub-conjunto de componentes retardados de forma diferente por diferentes retardos para gerar os Ν' componentes para cada sub-banda.

Mais especificamente, é indicado que a filtragem por equalização-retardo do sinal em sub-banda inclui pelo menos a aplicação de um deslocamento de fase completado, quando necessário, por um retardo puro por armazenamento, para pelo menos uma das sub-bandas de frequência.

A noção de aplicação de um retardo puro é simbolizada na etapa A da Figura 2a pela equação g_Ex = 1, a qual representa a ausência de equalização para o conjunto dos canais de áudio de índice x na sub-banda de ordenação k = E, o valor 1 indicando uma transmissão sem modificação da amplitude de cada um dos canais de áudio codificados espacialmente.

O domínio transformado pode, assim como mencionado acima no relatório, corresponder a um domínio transformado híbrido como será descrito em conexão com a Figura 2b no caso onde nenhuma decimação em freqüência é aplicada na sub-banda correspondente.

Com referência à Figura 2b precitada, a filtragem por equalização-retardo representada na etapa A da Figura 2a é então executada em três sub-etapas Al, A2, A3 representadas na Figura 2b.

Nestas condições, a etapa A compreende uma etapa adicional de divisão de freqüência em sub-bandas adicionais sem decimação, para aumentar o número de valores de ganho aplicados e, assim, a precisão de freqüência, seguida de uma etapa de reagrupamento de sub-bandas adicionais, às quais foram aplicados os valores de ganho precitados.

As operações de divisão de freqüência depois do reagrupamento são representadas nas sub-etapas Ai e A₂ da Figura 2b.

17/32

A etapa de divisão de frequência é representada na sub-etapa A_x pela equação:

HRTF^{g_k2,dkz}^

A etapa de reagrupamento é representada na subetapa A₂ pela equação:

[GCEBJf x = {FI,C,FI,Sr,Sl,lfe}(g_kz)

Na sub-etapa Ai, compreende-se que os valores de ganho e de retardo para a sub-banda de ordenação k considerada são subdivididos em Z valores de ganho correspondentes, um valor de ganho g_kz para cada sub-banda adicional, e na sub-etapa 1₂, compreende-se que o reagrupamento das sub-bandas adicionais é executado usando os canais de áudio codificados correspondentes para o índice x correspondente, para o qual o valor de ganho g_kzfoi aplicado na sub-banda adicional considerada.

Na equação prévia, [GCED^]^ x denota o reagrupamento das sub-bandas adicionais para as quais os valores de ganho para as sub-bandas adicionais consideradas foram aplicados.

A sub-etapa A₂ é então seguida de uma sub-etapa A3 consistindo na aplicação de retardo às sub-bandas adicionais reagrupadas e, em particular, para os canais de áudio codificados espacialmente de índice x correspondente por intermédio do retardo d_kx de maneira similar à etapa A da Figura 2a.

A operação correspondente é denotada pela equação:

CED_kzx = [GCED_kz]_z:_i ^z x(dk_x)

18/32

Além disso, o processo objeto da invenção pode também consistir em executar uma filtragem por equalização-retardo em um domínio transformado híbrido compreendendo uma etapa adicional por divisão de frequência em sub-bandas adicionais com decimação, como representado na Figura 2c.

Neste cenário, a etapa A'i da Figura 2c é idêntica à etapa Ai da Figura 2b, para executar a criação das sub-bandas adicionais com decimação.

Neste cenário, a operação de decimação na etapa A' i da Figura 2c é executada no domínio do tempo.

A etapa A'i é então seguida por uma etapa A'₂correspondente a um reagrupamento das sub-bandas adicionais para as quais os valores de ganho precitados foram aplicados considerando a decimação.

A etapa A'₂ de reagrupamento é então precedida ou seguida pela aplicação do retardo dk_X como representado pela seta dupla de alternação das etapas A'_{2 e}A'₃.

Compreende-se, em particular, que quando a aplicação de retardo é executada anteriormente ao reagrupamento, o retardo é aplicado diretamente nos sinais das sub-bandas adicionais antes do reagrupamento.

No que diz respeito à conversão de cada filtro HRTF em um valor de ganho e de retardo no domínio transformado, esta operação pode consistir, vantajosamente, em associar, como valor de ganho, com cada sub-banda de ordenação k, um valor real definido como a média do módulo do filtro HRTF correspondente e em associar, como valor de retardo, com cada sub-banda de ordenação k, um valor de retardo correspondendo ao retardo de propagação entre o ouvido esquerdo e o ouvido direito de um ouvinte para diferentes posições.

Assim, usando um filtro HRTF, é possível calcular automaticamente os ganhos e os tempos de retardo aplicados

19/32 na sub-banda. Com base na resolução da frequência do banco de filtros HRTF, um valor de retardo correspondendo ao retardo de propagação entre o ouvido esquerdo e o ouvido direito de um ouvinte para diferentes posições é associado com cada uma das sub-bandas SB_k.

Assim, usando um filtro HRTF, os ganhos e os tempos de retardo a serem aplicados na sub-banda podem ser calculados automaticamente.

Com base na resolução da frequência do banco de filtros, um valor real é associado com cada uma das subbandas. A título de exemplo não-limitativo, é possível a partir do módulo do filtro HRTF, calcular a média do módulo do filtro HRTF acima mencionado para cada sub-banda. Tal operação é similar a uma análise em banda de oitava ou de Bark dos filtros HRTF. Da mesma maneira, determina-se o retardo a ser aplicado para os canais indiretos, isto é, os valores de retardo que são aplicáveis mais particularmente aos canais cujo retardo não é mínimo. Existem inúmeros métodos para determinar automaticamente retardos interaurais, também denotados por ITD (Interaural Time Difference), e que correspondem aos retardos entre o ouvido esquerdo e o ouvido direito, para diferentes posições do ouvinte. Pode-se utilizar, a título de exemplo nãolimitativo, o método do limiar descrito por S. Busson na tese de doutorado da Université de la Mediterranée EstMarseille II, 2006, intitulada Individualization of acoustic índices for binaural synthesís. O princípio dos métodos para estimar o retardo interaural do tipo limiar é para determinar o tempo de chegada, ou ainda o retardo inicial da onda no ouvido direito Td e no ouvido esquerdo Tg. O retardo interaural é dado pela equação:

ITD limiar=Td-Tg

20/32

O método mais frequentemente usado estima o tempo de chegada como o momento quando o filtro temporal HRIR excede um limite determinado. Por exemplo, o tempo de chegada pode corresponder ao tempo para o qual a resposta do filtro HRIR alcança 10% de seu máximo.

Um exemplo de implementação especifica no domínio transformado PQMF será agora dado logo a seguir.

De uma maneira geral, indica-se que a aplicação de um ganho no domínio PQMF complexo consiste em multiplicar o valor de cada amostra do sinal de sub-banda, representado por um valor complexo, pelo valor de ganho formado por um número real.

De fato, é bem conhecido que o uso de um domínio transformado PQMF complexo permite que os ganhos sejam aplicados enquanto evita os problemas de serrilhado espectral gerados pela sub-amostragem inerente para os bancos de filtros. Cada sub-banda SBk de cada canal obtém então um dado ganho designado.

Além disso, a aplicação de um retardo no domínio transformado PQMF consiste pelo menos, para cada amostra do sinal de sub-banda, representado por um valor complexo, em introduzir uma rotação no plano complexo ao multiplicar esta amostra por um valor exponencial complexo, dependente da ordenação da sub-banda considerada, da taxa de subamostragem na sub-banda considerada e de um parâmetro de retardo ligado à diferença de retardo interaural de um ouvinte.

A rotação no plano complexo é então seguida por um retardo de tempo puro da amostra após rotação. Este retardo de tempo puro é uma função da diferença do retardo interaural de um ouvinte e da taxa de sub-amostragem na sub-banda considerada.

21/32

De maneira prática, indica-se que os retardos acima citados são aplicados nos sinais resultantes, isto é, os sinais equalizados e, em particular, nos sub-conjuntos destes sinais ou canais que não se beneficiam de uma trajetória direta.

Em particular, a rotação é executada sob a forma de uma multiplicação complexa por um valor exponencial da forma:

exp(-j*pi*(k + 0,5)*d/M) e por um retardo puro implementado por uma linha de retardo, por exemplo, realizando a operação:

y(k, n) = x(k, n-D)

Nas equações precedentes:

- exp é a função exponencial;

- j é tal que j*j= -1;

- k é a ordenação da sub-banda SB_k considerada;

- M é a taxa de sub-amostragem na sub-banda considerada, M deveria ser considerado igual a 64, por exemplo;

- y(k, n) é o valor da amostra de saida após aplicação do retardo puro na amostra de tempo da ordenação n da sub-banda SB_k de ordenação k, isto é, a amostra x(k, n) para a qual o retardo B é aplicado;

- d e D nas equações precedentes são tais que eles correspondem à aplicação de um retardo de D*M + d no domínio do tempo não sub-amostrado. O retardo D*M + d corresponde ao retardo interaural calculado previamente, d pode ter valores negativos o que permite simular um avanço de fase no lugar de um retardo.

22/32

A operação então executada conduz a uma aproximação que é conveniente para o efeito buscado.

Nos termos das operações de cálculo, o processamento implementado consiste então em executar uma multiplicação complexa entre uma exponencial complexa e uma amostra de sub-banda formada por um valor complexo.

Um retardo é potencialmente para ser inserido se o retardo total a ser aplicado for superior ao valor M, mas esta operação não compreende qualquer operação aritmética.

processo, objeto da invenção, pode ser também implementado em um domínio transformado híbrido. Este domínio transformado híbrido é um domínio da frequência no qual as bandas PQMF são vantajosamente re-divididas por um banco de filtros decimado ou não.

Se o banco de filtros for decimado, a decimação é entendida para ser uma decimação no tempo, então a introdução de um retardo segue vantajosamente o procedimento incluindo um retardo puro e um deslocador de f ase.

Se o banco de filtros não for decimado, então o retardo pode ser aplicado apenas uma vez durante a síntese. E, de fato, inútil aplicar o mesmo retardo em cada uma das ramificações, uma vez que a síntese é uma operação linear, sem sub-amostrador.

A aplicação dos ganhos permanece idêntica, estes sendo simplesmente mais numerosos, tal como descrito previamente em conexão com a Figura 2b, por exemplo, e então permite prosseguir com a divisão de frequência de precisão mais precisa. Um ganho real é então aplicado por sub-banda adicional.

Enfim, de acordo com uma variante de implementação, reitera-se o processo de acordo com a invenção para pelo menos dois pares de equalização-retardo

23/32 e somam os sinais obtidos para obter os canais de áudio no domínio do tempo.

Uma descrição mais detalhada de um dispositivo de espacialização sonora de uma cena de áudio compreendendo um primeiro conjunto compreendendo um número, superior ou igual à unidade, de canais de áudio codificados espacialmente em um número de sub-bandas de frequência determinado e decodificados em um domínio transformado, em um segundo conjunto compreendendo um número, superior ou igual a dois, de canais de reprodução de áudio no domínio do tempo, em conformidade com o objeto da presente invenção, será agora descrito em conexão com as Figuras 3a e 3b.

Como mencionado previamente, o dispositivo, objeto da invenção, é baseado no princípio da conversão na forma de pelo menos um ganho e de um retardo aplicável no domínio transformado de filtros para modelar a propagação acústica dos sinais de áudio do primeiro conjunto de canais acima mencionado. O dispositivo, objeto da invenção, permite a espacialização sonora de uma cena de áudio, tal como uma cena de áudio 3D, em um segundo conjunto compreendendo um número, superior ou igual a dois, dos canais de reprodução de áudio no domínio do tempo.

dispositivo, objeto da invenção, representado na Figura 3a refere-se a um estágio deste dispositivo específico em cada sub-banda SB_k de ordenação k para decodificação no domínio transformado.

Compreende-se, em particular, que o estágio, para cada sub-banda de ordenação k representada na Figura 3a, é, na realidade, replicado para cada uma das sub-bandas para constituir finalmente o dispositivo de espacialização sonora em conformidade com o objeto da presente invenção.

24/32

Por convenção, o estágio representado na Figura 3a será designado logo a seguir dispositivo de espacialização sonora, objeto da invenção.

Com referência à figura acima mencionada, o dispositivo, objeto da invenção, tal como representado na Figura 3a à parte do decodificador espacial representado, compreende os módulos OTTq a OTT4 correspondendo substancialmente a um decodificador espacial SD da técnica anterior tal como representado na Figura 1c, mas no qual a soma do canal frontal C e do canal de frequência baixa Ife é também aplicada, de maneira conhecida por si na técnica anterior, por um somador S, e um módulo 1 para filtrar por equalização-retardo do sinal de sub-banda ao aplicar um ganho e um retardo, respectivamente, no sinal de sub-banda.

Na Figura 3a, a aplicação de um ganho é representada em cada um dos canais de áudio codificados espacialmente, representados por amplificadores l₀ a 1₈, estes últimos gerando um componente equalizado que pode ser submetido ou não a um retardo por intermédio de elementos de retardo denotados por 1₉ a I12 para gerar, a partir de cada um dos canais de áudio codificados espacialmente, um componente equalizado e retardado por um valor de retardo determinado na sub-banda de frequência SB^.

Com referência à Figura 3a, os ganhos dos amplificadores l₀ a 1₈ têm valores arbitrários A, B, B, A, C, D, E, E, D, respectivamente. Além disso, os valores de retardo aplicados pelos módulos de retardo I9 a li₂ têm como valores Df, Bf, Ds, Ds. Na figura supracitada, a estrutura dos ganhos e retardos introduzidos é simétrica. Uma estrutura não-simétrica pode ser implementada sem sair do escopo do objeto da invenção.

dispositivo, objeto da invenção, também compreende um módulo 2 de adição de um sub-conjunto de

25/32 componentes equalizados e retardados para criar um número de sinais filtrados no domínio transformado correspondente ao número N', superior ou igual a dois, do segundo conjunto de canais de reprodução de áudio no domínio do tempo.

Enfim, o dispositivo, objeto da invenção, compreende um módulo 3 de sintetização de cada um dos sinais filtrados no domínio transformado para obter o segundo conjunto compreendendo um número Ν', superior ou igual a dois, dos sinais de áudio para reprodução no domínio do tempo. O módulo de sintetização 3 então compreende, no modo de realização da Figura 3a, um sintetizador 3o e 3i que permite entregar um sinal de áudio para reprodução no domínio do tempo, BI para sinal binaural esquerdo e Br para sinal binural direito, respectivamente.

Os componentes equalizados e retardados no modo de realização da Figura 3a são obtidos da maneira a seguir com:

- A[k] denotando o ganho dos amplificadores l₀, 1₃ para a sub-banda SB_k de ordenação k,

B[k] denota o ganho do amplificador l_lf 1₂

representado na	Figura	3a	f
- C[k]	denota	0	ganho	do	amplificador 1₄,
- D[k]	denota	0	ganho	dos	amplificadores	Í5z	Í8z
- E[k]	denota	0	ganho	dos	amplificadores	Í6z	I7.
No que diz		respeito	aos canais de	áudio

codificados espacialmente e, em particular, estes canais Fl, Fr, Clfe, Sl e Sr para a sub-banda SB_k, designa-se por Fl[k][n], Fr[k][n], Fc[k][n], lfe[k][n], SI[k][n],

Sr[k][n], a n-ésima amostra da sub-banda SB_k. Assim, cada amplificador l₀ a 1₈ entrega os componentes equalizados a seguir:

- A[k] *F1 [k] [n] ,

- B[k]*F1[k][n],

26/32

- B[k]*Fr[k][n],

- A[k] *Fr [ k] [n] ,

- C[k]*Fc[k][n],

- D [ k] *S1[k] [n],

- E [ k] *Sl[k] [n] ,

- E[k]*Sr[k][n],

- D[k]*Sr[k][n].

As operações precedentes, como mencionado previamente no relatório, são executadas na forma de uma multiplicação real atuando, neste caso, nos números complexos.

Os retardos introduzidos pelos elementos de retardo 1₉, l₁₀, ln e 1₁₂ são aplicados nos componentes equalizados precitados para gerar os componentes equalizados e retardados.

No exemplo representado na Figura 3a, estes retardos são aplicados no sub-conjunto que não se beneficia de uma trajetória direta. Na descrição da Figura 3a, estes são os sinais que sofreram as multiplicações pelos ganhos B[k] e E[k] aplicadas pelos amplificadores ou multiplicadores l_lz 1₂, 1₆ e 1₇.

Uma descrição mais detalhada de um filtro ou elemento de filtragem por equalização-retardo constituída, por exemplo, por um amplificador multiplicador li e um elemento de retardo 1₉ será agora apresentado em conexão com a Figura 3b.

No que diz respeito à aplicação do ganho, indicase que o elemento de filtragem correspondente, representado na Figura 3b, compreende um multiplicador digital, isto é, um dos multiplicadores ou amplificadores l₀ a 1₈, representado pelo valor de ganho g_kx na Figura 3b, este multiplicador permite que qualquer amostra complexa de cada canal de áudio codificado de índice x correspondendo aos

27/32 canais Fl, Fr, C, Ife, SI ou Sr seja multiplicada por um valor real, isto é, o valor de ganho previamente mencionado no relatório.

Além disso, o elemento de filtragem representado na Figura 3b compreende pelo menos um multiplicador digital complexo permitindo que uma rotação seja introduzida no plano complexo de qualquer amostra do sinal de sub-banda, ao multiplicar por um valor exponencial complexo, o valor ^exP (^_ j Ç (k, SS_k) ) onde (p(k,SS_k) denota um valor de fase, dependente da taxa de sub-amostragem da sub-banda considerada e da ordenação da sub-banda considerada k.

Em um modo de realização, (p(k,SS_k) = φ*(k+0,5)*d/M.

multiplicador digital complexo é seguido de uma linha de retardo denotada por L.A.R. introduzindo um retardo puro de cada amostra após rotação, permitindo introduzir um retardo temporal puro que é uma função da diferença do retardo interaural de um ouvinte e da taxa de sub-amostragem M na sub-banda SB_k considerada.

Assim, a linha de retardo L.A.R. permite introduzir o retardo na amostra complexa após rotação da forma y(k, n) = x(k, n-D) .

Enfim, indica-se que os valores de d e D são tais que estes valores correspondam à aplicação de um retardo D*M+d no domínio do tempo não-amostrado e que o retardo D*M+d corresponda ao retardo interaural acima mencionado.

Para a implementação do dispositivo, objeto da invenção, tal como representado na Figura 3a, pode-se observar que o sinal Fr[k] [n] é multiplicado pelo ganho B [k] e depois retardado, o que, em conformidade com um dos aspectos notáveis do objeto da invenção, retorna a multiplicar este sinal por um ganho complexo. 0 produto do ganho B[k] e da exponencial complexa pode ser realizado uma

28/32 vez e para todos, evitando assim uma operação complementar para cada amostra Fr[k][n] sucessiva. Os componentes equalizados e retardados esquerdos sendo referenciados como L_o a L₄ e direitos R_o a R₄ e são representados no desenho reagrupados pelos módulos somadores 2q e 2i, respectivamente, então, verificam-se as equações a seguir:

Tabela T

LO [k]	[n]	=	A[k] Fl [k]	[n]
RO [k]	[n]	=	B[k] Fl[k]	[n]	retardado	por	Df	amostras
Rl[k]	[n]	=	A[k] Fr[k]	[n]
LI [k]	[n]	=	B[k] Fr[k]	[n]	retardado	por	Df	amostras
L2 [k]	[n]	—	R2[k] [n]	= C[k](Fc[k][n] +	lfe[k][n])
L3 [k]	[n]	—	D[k]Sl[k]	[n]
R3 [k]	[n]	=	E[k]Sl[k]	[n]	retardado	por	Ds	amostras
R4 [k]	[n]	=	D[k]Sr[k]	[n]
L4 [k]	[n]	=	E[k]Sr[k]	[n]	retardado	por	Ds	amostras
Para	obter	os canais c	ie reprodução	de	áudio no

domínio do tempo, denominados de canais B₄ esquerdo e Br direito, respectivamente, representados na Figura 3a, isto é, os sinais binauralizados no modo de realização da Figura 3a, para cada amostra de ordenação n, em que os componentes equalizados e retardados espaciais são adicionados, isto é, a adição dos componentes:

LO[k][n] + LI[k][n]

L2[k] [n] +

L3 [k]

L4[k][n] para o módulo somador 2₀, e

RO [k] [n] + RI [k] [n]

R2[k] [n] +

R3 [k]

R4[k][n] para o módulo somador 2i.

Os sinais resultantes entregues pelos módulos somador 2q e 2_X são, em seguida, passados através dos bancos de filtros de sintetização 3q e 3i, respectivamente,

29/32 a fim de obter os sinais binauralizados no domínio do tempo Bi e B_r, respectivamente.

Os sinais acima mencionados podem, então, alimentar um conversor digital-analógico, a fim de permitir a escuta dos sons esquerdo Bi e direito B_r em um fone de ouvido, por exemplo.

A operação de sintetização executada pelos módulos de sintetização 3o e 3i inclui, no caso em questão, a operação de sintetização híbrida tal como descrita previamente na descrição.

O processo, objeto da invenção, pode vantajosamente consistir em desassociar as operações de equalização e retardo, as quais podem se basear em um número diferente de sub-bandas de frequência. Como uma variante, a equalização pode, por exemplo, ser executada no domínio híbrido e o retardo no domínio PQMF.

Compreende-se que o processo e o dispositivo, objetos da invenção, apesar de descritos para a binauralização de seis canais para fone de ouvido podem também ser aplicados para executar a transauralização, isto é, a reprodução de um campo sonoro 3D em um par de altofalantes ou para converter, de forma pouco complexa, uma representação de N canais de áudio ou fontes sonoras provenientes de um decodificador espacial ou de vários decodificadores monofônicos na direção de Ν' canais de áudio disponíveis para a reprodução. As operações de filtragem podem então serem multiplicadas se necessário.

A título de exemplo complementar não-limitativo, o processo e o dispositivo, objetos da invenção, podem ser aplicados no caso de um jogo 3D interativo nos sons emitidos por diferentes objetos ou fontes sonoras, os quais podem ser então espacializados como uma função de sua posição relativa em relação ao ouvinte. Amostras sonoras

30/32 são então comprimidas e armazenadas em diferentes arquivos ou diferentes áreas de memória. Para serem jogados e espacializados, eles são parcialmente decodificados a fim de permanecer no domínio codificado e são filtrados no domínio codificado por filtros binaurais adequados vantajosamente utilizando o processo descrito de acordo com o objeto da presente invenção.

De fato, ao reagrupar as operações de decodificação e espacialização, a complexidade total do processo é fortemente reduzida sem, no entanto, causar a perda de qualidade.

A invenção cobre, enfim, um programa de computador compreendendo uma série de instruções armazenadas em um meio de armazenamento para execução por um computador ou um dispositivo dedicado de espacialização sonora que, durante esta execução, executa as etapas de filtragem, adição e de síntese tais como descritas em conjunção com as Figuras 2a a 2c e 3a, 3b no relatório.

Compreende-se, em particular, que as operações representadas nas figuras acima mencionadas podem vantajosamente ser implementadas nas amostras digitais complexas por meio de uma unidade de processamento central, uma memória de trabalho e de uma memória de programa, não representadas no desenho da Figura 3a.

Enfim, o cálculo dos ganhos e dos retardos formando os filtros de equalização-retardo pode ser executado externamente para o dispositivo, objeto da invenção, representado nas Figuras 3a e 3b, como será descrito logo a seguir em conexão com a Figura 4.

Com referência à figura acima mencionada, uma primeira unidade para codificação espacial e decodificação com redução da taxa de dados I é considerada, incluindo um dispositivo, objeto da invenção, tal como representado nas

31/32

Figuras 3a, 3b, permitindo executar a codificação espacial acima mencionada, a partir de uma cena de áudio no modo 5.1, por exemplo, a transmissão de áudio codificado, por um lado, e a transmissão de parâmetros espaciais, por outro lado, para uma unidade de decodificação e de decodificação espacial II.

cálculo dos filtros de equalização-retardo pode então ser efetuado por uma unidade separada III, a qual usa ^os filtros de modelagem, filtros HRTF, calculam os valores de equalização de ganho e de retardo e os transmite à unidade I de codificação espacial e à unidade II de decodificação espacial.

A codificação espacial pode, assim, levar em consideração as HRTF que serão aplicadas para corrigir seus parâmetros espaciais e melhorar a renderização 3D. Da mesma forma, o codificador com redução de taxa de dados será capaz de usar estas HRTF para medir os efeitos audíveis de uma quantificação de frequência.

Na decodificação estão as HRTF transmitidas que serão aplicadas no decodificador espacial, e permitirão, quando necessário, reconstruir os canais reproduzidos.

Como nos exemplos precedentes, são 2 canais a partir de 5 que serão reproduzidos, mas outros casos podem incluir a construção de 5 canais a partir de 3 como ilustrado acima. O processo de decodificação espacial procederá então como a seguir:

- projeção dos 3 canais recebidos em um conjunto de canais virtuais (superior aos 5 canais de saída) utilizando a informação espacial (upmix);

- redução dos canais virtuais para os 5 canais de saída utilizando as HRTF.

32/32

Se as HRTF forem aplicadas ao codificador, então sua contribuição poderia ser opcionalmente eliminada antes do upmix para executar o esquema acima.

As HRTF após conversão, na sua forma de ganho/retardo podem ser preferivelmente quantificadas na forma a seguir: codificação no modo diferencial de seus valores depois da quantificação de suas diferenças: se os valores dos ganhos do equalizador forem denotados G[k], então os valores quantificados:

e[k]=G[k + l] -G[k] serão transmitidos linearmente ou logaritmicamente.

Mais especificamente, com referência à Figura 4 acima mencionada, o processo implementado pelo dispositivo e o processo, objetos da invenção, então permite que uma espacialização sonora de uma cena de áudio seja executada na qual o primeiro conjunto compreende um número determinado de canais de áudio codificados espacialmente e o segundo conjunto compreende um número inferior de canais de reprodução de áudio no domínio do tempo. Isto permite que a decodificação realize uma transformada inversa de um número de canais de áudio codificados espacialmente em um conjunto compreendendo um número superior ou igual de canais de reprodução de áudio no domínio do tempo.

Claims

REIVINDICAÇÕES

1. Processo para espacialização sonora de uma cena de áudio compreendendo um primeiro conjunto, compreendendo um número, maior ou igual à unidade, de canais de áudio codificados espacialmente em um número de sub-bandas de frequência determinado, e decodificados em um domínio transformado, em um segundo conjunto compreendendo um número maior ou igual a dois de canais de reprodução de áudio no domínio do tempo, com base nos filtros para modelar a propagação acústica dos sinais de áudio do primeiro conjunto de canais, CARACTERIZADO pelo fato de que para cada filtro de modelagem convertido na forma de pelo menos um ganho e um retardo aplicáveis no domínio transformado, o processo inclui pelo menos, para cada subbanda de frequência do domínio transformado:

- filtrar por equalização-retardo o sinal em subbanda ao aplicar um ganho e um retardo, respectivamente, no sinal de sub-banda, de forma a gerar, com base nos canais codificados espacialmente, um componente equalizado retardado por um valor de retardo determinado na sub-banda de freqüência considerada;

- adicionar um sub-conjunto de componentes equalizados e retardados, para criar um número de sinais filtrados no domínio transformado correspondendo ao número do segundo conjunto maior ou igual a dois de canais de reprodução de áudio no domínio do tempo;

- sintetizar cada um dos sinais filtrados no domínio transformado por um filtro de sintetização, para obter o segundo conjunto de número maior ou igual a dois dos canais de reprodução de áudio no domínio do tempo.
2. Processo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que filtrar por equalizaçãoretardo o sinal de sub-banda inclui pelo menos a aplicação

Petição 870190055224, de 14/06/2019, pág. 6/14

2/6 de um deslocamento de fase para pelo menos uma das subbandas de frequência.
3. Processo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que filtrar por equalizaçãoretardo inclui adicionalmente um retardo puro para armazenamento de pelo menos uma das sub-bandas de frequência.
4. Processo, de acordo com qualquer uma das reivindicações 1 a 3, CARACTERI ZADO pelo fato de que filtrar por equalização-retardo em um domínio transformado híbrido compreende uma etapa adicional de dividir a frequência em sub-bandas adicionais sem decimação, para aumentar o número de valores de ganho aplicados, seguida de uma etapa de agrupar as sub-bandas adicionais para as quais valores de ganho foram aplicados, e então aplicar o retardo.
5. Processo, de acordo com qualquer uma das reivindicações 1 a 3, CARACTERI ZADO pelo fato de que filtrar por equalização-retardo em um domínio transformado híbrido compreende uma etapa adicional de dividir a frequência em sub-bandas adicionais com decimação, para aumentar o número de valores de ganho aplicados, seguida de uma etapa de agrupar as sub-bandas adicionais para as quais valores de ganho foram aplicados, a etapa de agrupar sendo precedida ou seguida pela aplicação de retardo.
6. Processo, de acordo com qualquer uma das reivindicações 1 a 5, CARACTERIZADO pelo fato de que, para converter cada filtro de modelagem em um valor de ganho respectivamente em um valor de retardo no domínio transformado, este consiste pelo menos em:

- associar como valor de ganho para cada subbanda um valor real definido como a média do módulo do filtro de modelagem;

Petição 870190055224, de 14/06/2019, pág. 7/14

3/6

- associar como valor de retardo para cada subbanda um valor de retardo correspondendo ao retardo de propagação entre o ouvido esquerdo e o ouvido direito para várias posições.
7. Processo, de acordo com qualquer uma das reivindicações 1 a 3 ou 6, CARACTERIZADO pelo fato de que a aplicação de um ganho no domínio PQMF consiste em multiplicar o valor de cada amostra do sinal de sub-banda, representada por um valor complexo, pelo valor de ganho formado por um número real.
8. Processo, de acordo com qualquer uma das reivindicações 1 a 3, 6 ou 7, CARACTERIZADO pelo fato de que a aplicação de um retardo no domínio PQMF consiste, para cada amostra do sinal de sub-banda, representada por um valor complexo, pelo menos em:

- introduzir uma rotação no plano complexo por multiplicação desta amostra por um valor exponencial complexo dependente da ordenação da sub-banda considerada, na taxa de sub-amostragem na sub-banda considerada, e em um parâmetro de retardo relacionado à diferença de retardo interaural de um ouvinte;

- introduzir um retardo de tempo puro da amostra após rotação, o retardo de tempo puro sendo uma função da diferença do retardo interaural de um ouvinte e da taxa de sub-amostragem na sub-banda considerada.
9. Processo, de acordo com qualquer uma das reivindicações 1 a 8, CARACTERIZADO pelo fato de que para uma espacialização sonora binaural de uma cena de áudio na qual o primeiro conjunto compreende um número de canais de áudio codificados espacialmente igual a N=6, no modo 5.1, o segundo conjunto compreende dois canais de reprodução de áudio no domínio do tempo, para reprodução pelo fone de ouvido.

Petição 870190055224, de 14/06/2019, pág. 8/14

4/6
10. Processo, de acordo com qualquer uma das reivindicações 1 a 9, CARACTERIZADO pelo fato de que o processo é repetido para pelo menos dois pares de equalização-retardo e os sinais obtidos são somados para obter os canais de áudio no domínio do tempo.
11. Processo, de acordo com qualquer uma das reivindicações 1 a 9, CARACTERIZADO pelo fato de que para uma espacialização sonora de uma cena de áudio na qual o primeiro conjunto compreende um número determinado de canais de áudio codificados espacialmente e o segundo conjunto compreende um número inferior de canais de reprodução de áudio no domínio do tempo, na decodificação, esse processo consiste, em executar uma transformação inversa de um número de canais de áudio codificados espacialmente para um conjunto compreendendo um número maior ou igual de canais de reprodução de áudio no domínio do tempo.
12. Processo, de acordo com qualquer uma das reivindicações 1 a 11, CARACTERIZADO pelo fato de que os valores de ganho e de retardo associados com o filtro de modelagem são transmitidos na forma quantizada.
13. Dispositivo para espacialização sonora de uma cena de áudio compreendendo um primeiro conjunto, compreendendo um número maior ou igual à unidade, de canais de áudio codificados espacialmente em um número de subbandas de frequência determinado, e decodificados em um domínio transformado, em um segundo conjunto compreendendo um número maior ou igual a dois dos canais de reprodução de áudio no domínio do tempo, com base em filtros para modelar a propagação acústica dos sinais de áudio do primeiro conjunto de canais, CARACTERIZADO pelo fato de que, para cada sub-banda de frequência de um decodificador espacial,

Petição 870190055224, de 14/06/2019, pág. 9/14

5/6 no domínio transformado, o dispositivo compreende, além deste decodificador espacial:

- um módulo de filtragem por equalização-retardo do sinal em sub-banda ao aplicar pelo menos um ganho e um retardo, respectivamente, no sinal de sub-banda, de forma a gerar, a partir de cada um dos canais de áudio codificados espacialmente, um componente equalizado e retardado por um valor de retardo determinado na sub-banda de frequência considerada;

- um módulo de adição de um sub-conjunto de componentes equalizados e retardados, para criar um número de sinais filtrados no domínio transformado correspondendo ao número no segundo conjunto maior ou igual a dois dos canais de reprodução de áudio no domínio do tempo;

- um módulo de sintetização para cada um dos sinais filtrados no domínio transformado, para obter o segundo conjunto compreendendo número maior ou igual a dois dos canais de reprodução de áudio no domínio do tempo.
14. Dispositivo, de acordo com a reivindicação

13, CARACTERIZADO pelo fato de que o módulo de filtragem ao aplicar um ganho compreende um multiplicador digital para multiplicar qualquer amostra complexa de cada canal de áudio codificado espacialmente por um valor real.
15. Dispositivo, de acordo com a reivindicação 13 ou 14, CARACTERIZADO pelo fato de que o módulo de filtragem ao aplicar um retardo compreende pelo menos um multiplicador digital complexo, permitindo introduzir uma rotação no plano complexo de qualquer amostra do sinal de sub-banda, para multiplicar por um valor exponencial complexo, dependente da ordenação da sub-banda considerada, da taxa de sub-amostragem na sub-banda considerada e de um parâmetro de retardo relacionado à diferença de retardo interaural de um ouvinte.

Petição 870190055224, de 14/06/2019, pág. 10/14

6/6
16. Dispositivo, de acordo com a reivindicação

15, CARACTERIZADO pelo fato de que o módulo de filtragem também compreende uma linha de retardo puro para cada amostra após rotação, permitindo introduzir um retardo de

5 tempo puro dependente da diferença do retardo interaural de um ouvinte e da taxa de sub-amostragem na sub-banda considerada.
17. Memória legível por computador caracterizada pelo fato de que compreende instruções armazenadas na

10 mesma, as instruções sendo executadas por um computador para realizar o processo conforme definido em qualquer uma das reivindicações 1 a 12.