BRPI0706285A2 - métodos para decodificar um fluxo de bits de áudio envolvente de multicanal paramétrico e para transmitir dados digitais representando som a uma unidade móvel, decodificador envolvente paramétrico para decodificar um fluxo de bits de áudio envolvente de multicanal paramétrico, e, terminal móvel - Google Patents

Abstract

METODOS PARA DECODIFICAR UM FLUXO DE BITS DE áUDIO ENVOLVENTE DE MULTICANAL PARAMETRICO E PARA TRANSMITIR DADOS DIGITAIS REPRESENTANDO SOM A UMA UNIDADE MóVEL, DECODIFICADOR ENVOLVENTE PARAMETRICO PARA DECODIFICAR UM FLUXO DE BITS DE áUDIO ENVOLVENTE DE MULTICANAL PARAMETRICO, E, TERMINAL MóVEL Um fluxo de bits de áudio envolvente de multicanal paramétrico é recebido em um decodificador de multicanal (13). Os parâmetros espaciais recebidos são na unidade de combinação (37) transformados em um novo conjunto de parâmetros espaciais que são usados a fim de obter uma decodificação do som envolvente de multicanal que não é um simples equivalente do sinal envolvente de multicanal de entrada original, mas por exemplo pode ser personalizado fazendo a transformação baseada em uma representação de filtros relacionados à cabeça de usuário obtidos de uma unidade (43). Tais parâmetros espaciais personalizados também podem ser obtidos combinando os parâmetros espaciais recebidos e uma representação dos filtros relacionados à cabeça de usuário com um conjunto de parâmetros de renderização adicionais que por exemplo são determinados interativamente pelo usuário e assim são dependentes de tempo.

Description

"MÉTODOS PARA DECODIFICAR UM FLUXO DE BITS DE ÁUDIOENVOLVENTE DE MULTICANAL PARAMÉTRICO E PARATRANSMITIR DADOS DIGITAIS REPRESENTANDO SOM A UMAUNIDADE MÓVEL, DECODIFICADOR ENVOLVENTE PARAMÉTRICOPARA DECODIFICAR UM FLUXO DE BITS DE ÁUDIO ENVOLVENTEDE MULTICANAL PARAMÉTRICO, E, TERMINAL MÓVEL"

PEDIDO RELACIONADO

Este pedido reivindica prioridade e benefício do Pedido dePatente Provisório US N0 60/743.096, depositado em 5 de janeiro de 2006, osensinos inteiros de qual estão incorporados por referência.

CAMPO TÉCNICO

A presente invenção está relacionada a decodificar um fluxode bits de áudio de som envolvente de multicanal.

FUNDAMENTO

Em cinemas ao redor do mundo, sistemas de áudio envolventede multicanal têm audiências de filme colocadas há muito tempo no centrodos espaços de áudio das cenas de filme que estão sendo exibidas antes delase estão lhes dando um sentimento realístico e convincente de "estar lá". Estatecnologia de áudio se mudou para as casas de pessoas comuns como sistemasde cinema de som envolvente doméstico e está provendo agora o senso de"estar lá" nas suas próprias salas de estar.

O próximo campo onde esta tecnologia de áudio será usadainclui unidades ou terminais sem fio móveis, em particular pequenas unidadestais como telefones celulares e PDAs. Lá a natureza de imersão do somenvolvente é até mesmo mais importante por causa dos pequenos tamanhosdos mostradores. Mover esta tecnologia para unidades móveis, porém, não éum assunto trivial. Os obstáculos principais incluem que:

1. A taxa de bit disponível é em muitos casos baixa em canaismóveis sem fio.2. A potência de processamento de terminais móveis éfreqüentemente limitada.

3. Terminais móveis pequenos geralmente só têm dois microalto-falantes e fones de ouvido ou fones de cabeça.

Isto significa, em particular para terminais móveis tais comotelefones celulares, que uma solução de som envolvente para um terminalmóvel tem que usar uma taxa de bit muito mais baixa que os 384 kbit/susados no sistema Dolby Digital 5.1. Devido à potência de processamentolimitada, os decodificadores dos terminais móveis devem ser otimizadoscomputacionalmente e devido à configuração de alto-falante do terminalmóvel, o som envolvente deve ser entregue pelos fones de ouvido ou fones decabeça.

Um modo padrão de entregar som envolvente de multicanalpor fones de cabeça ou fones de ouvido é executar uma renderização de áudio3D ou biauricular de cada um dos sinais de alto-falante.

Em geral, em reprodução de áudio 3D, um modelo da cena deáudio é usado e cada sinal monofônico entrante é filtrado por um conjunto defiltros que modelam as transformações criadas pela cabeça, torso e orelhashumanas. Estes filtros são chamados filtros relacionados à cabeça (HRFs)tendo funções de transferência relacionadas à cabeça (HRTFs) e se projetadosapropriadamente, eles dão uma boa percepção de cena de áudio 3D.

O diagrama da Figura 1 ilustra um método de completereprodução de áudio 3D de um sinal de áudio de acordo com o sistema DolbyDigital 5.1. Os seis sinais de multicanal de acordo com o sistema DolbyDigital 5.1 são:

direito envolvente (SR);direito (R);centro (C);baixa freqüência (LFE);esquerdo (L);

esquerdo envolvente (SL).

No exemplo ilustrado na Figura 1, os sinais de centro e debaixa freqüência são combinados em um sinal. Então, cinco filtros diferentesHBi, Hbc, Hc, e HcF são precisados a fim de implementar este método defiltragem relacionada à cabeça. O sinal SR é introduzido a filtros H ι e H c, osinal R é introduzido a filtros Hif e Hfc. Os sinais C e LFE são introduzidosjuntamente a filtro Hc, o sinal L é introduzido a filtros Hfc e Hf e o sinal SL éintroduzido a filtros Hbc e HBi. Os sinais saídos dos filtros Hbi, Hfi, Hc, Hfc eHBc são somados em um elemento somador direito IR para dar um sinalpretendido a ser provido ao fone direito, não mostrado. Os sinais saídos dosfiltros Hbc, HFc, Hc, HFi e HBi são somados em um elemento somadoresquerdo IL para dar um sinal pretendido a ser provido ao fone esquerdo, nãomostrado.

A qualidade em termos de percepção 3D de tal renderizaçãodepende de quão perto os HRFs modelam ou representam a própria filtragemrelacionada à cabeça do ouvinte quando ele está escutando.Conseqüentemente, pode ser vantajoso se os HRFs puderem ser adaptados epersonalizados para cada ouvinte se uma qualidade boa ou muito boa fordesejada. Esta etapa de adaptação e personalização pode incluir modelagem,medição e em geral uma afinação dependente de usuário a fim de refinar aqualidade da cena de áudio 3D percebida.

Codecs de áudio de multicanal padronizados do estado datécnica atuais requerem uma alta quantidade de largura de banda ou um altataxa de bit a fim de alcançar uma qualidade aceitável, e assim eles proíbem ouso de tais codecs para serviços tais como transmissão em fluxo móvel semfio.

Por exemplo, até mesmo se o sistema Dolby Digital 5.1 (codecAC-3) tiver complexidade muito baixa quando comparado a um codec demulticanal de AAC5 requer uma taxa de bit muito mais alta para qualidadesemelhante. Ambos os codecs, o codec de multicanal AAC e o codec CA-3,permanecem até hoje inutilizáveis no domínio móvel sem fio por causa dasdemandas altas que eles fazem em complexidade computacional e taxa de bit.

Novos codecs de multicanal paramétricos baseados nosprincípios de codificação biauricular foram desenvolvidos. A ferramentaestéreo paramétrica recentemente padronizada é um bom exemplo da técnicaparamétrica de baixa complexidade/alta qualidade para codificar somestereofônico. A extensão de estéreo paramétrico para codificação demulticanal está atualmente sob padronização em MPEG sob o nomeCodificação de Áudio Espacial, e também é conhecido como MPEGenvolvente.

Os princípios de codificação de multicanal paramétrica podemser explicados e entendidos do diagrama de bloco da Figura 2, que ilustra umcaso geral. Um codificador paramétrico envolvente 3, também chamado umcodificador envolvente paramétrico de multicanal, recebe um sinal de áudiocomposto de multicanal incluindo os sinais individuais Xi (n) a xN (n), onde Né o número de canais de entrada. Para um sistema envolvente de DolbyDigital 5.1 N = 6 como declarado acima. O codificador 3 então forma emunidade de mistura descendente um sinal misturado descendentementecomposto incluindo os sinais misturados descendentemente individuais z\(n) azM(n). O número M de canais misturados descendentemente (Μ < N) édependente da taxa de bit máxima requerida ou permissível, da qualidaderequerida e da disponibilidade de um codificador de áudio de M canais 7. Umaspecto fundamental do processo de codificação é que o sinal compostomisturado descendentemente, tipicamente um sinal estéreo, mas tambémpoderia ser um sinal mono, é derivado do sinal de entrada de multicanal, e éeste sinal composto misturado descendentemente que é comprimido nocodificador de áudio 7 para transmissão através do canal sem fio 9 em lugardo sinal de multicanal original. O codificador paramétrico 3 e em particular aunidade de mistura descendente 5 dele pode ser capaz de executar umprocesso de mistura descendente, tal que crie um equivalente do sinal maisverdadeiro do sinal de multicanal na mistura descendente mono ou estéreo. Ocodificador envolvente paramétrico também inclui uma unidade de estimaçãode parâmetro espacial 9, que dos sinais de entrada xi(n) a xN(n) computa osparâmetros de sugestão ou espaciais que de algum modo pode ser ditodescrever o processo de mistura descendente ou as suposições feitas nele. Osinal de áudio comprimido que é saído do codificador de áudio de M canais etambém é o sinal principal junto com os parâmetros espaciais que constitueminformação lateral transmitida através de uma interface 11 tal como umainterface sem fio para o lado receptor, que no caso considerado aquitipicamente é um terminal móvel.

Alternativamente, a mistura descendente poderia ser providapor alguma unidade externa, tal como de uma unidade empregando Misturadescendente Artística.

No lado receptor, um decodificador envolvente complementarparamétrico 13 inclui um decodificador de áudio 15 e deveria ser construídopara ser capaz de criar a decodificação de multicanal melhor possível baseadoem conhecimento do algoritmo de mistura descendente usado no ladotransmissor e nos parâmetros espaciais codificados ou sugestões que sãorecebidas em paralelo ao sinal de multicanal comprimido. O decodificador deáudio 15 produz sinais ζ ,(n) a ^μ(π), que deveriam ser tão semelhantesquanto possível aos sinais Zi(n) a zM(n) no lado transmissor. Estes estão juntocom os parâmetros espaciais introduzidos a uma unidade de síntese espacial17 que produz sinais de saída *i(n) a ^N(n), que deveriam ser tãosemelhantes quanto possível aos sinais de entrada originais Xi(n) a Χν(π) nolado transmissor. Os sinais de saída xi(n) a xN(n) podem ser introduzidos aum sistema de renderização biauricular tal como aquele mostrado na Figura 1.É óbvio, que dependendo da largura de banda do canaltransmissor através da interface 11, que geralmente é relativamente baixa,haverá uma perda de informação e conseqüentemente os sinais z i(n) a z M (n)e * i(n) a ^N(n) no lado receptor não podem ser iguais às suas contrapartes nolado transmissor. Embora eles não sejam equivalentes bastante verdadeirosdas suas contrapartes, eles podem ser equivalentes suficientemente bons.

Em geral, um tal processo de codificação envolvente éindependente do algoritmo de compressão usado para os canais transmitidosusados no codificador de áudio de unidades 7 e decodificador de áudio 15 naFigura 2. O processo de codificação pode usar quaisquer de vários algoritmosde compressão de alto desempenho tais como AMR-WB+, MPEG-I CamadaIII, MPEG-4 AAC ou MPEG-4 AAC de Alta Eficiência, e poderia até mesmousar PCM.

Em geral, as operações anteriores são feitas no domínio desinal transformado, tal como transformada de Fourier ou MDCT. Isto éespecialmente benéfico se a estimação de parâmetro espacial e síntese nasunidades 9 e 17 usarem o mesmo tipo de transformada como aquela usada nocodificador de áudio 7, também chamado codec de núcleo.

Figura 3 é um diagrama de bloco detalhado de um codificadorde áudio paramétrico eficiente. O sinal de entrada de tempo discreto de Ncanais, denotado em forma de vetor como χν(π), é transformado primeiro aodomínio de freqüência em uma unidade de transformada 21, e em geral a umdomínio de transformada que dá um sinal * N(k, m). O índice k é o índice doscoeficientes de transformada, ou sub-bandas se um transformada de domíniode freqüência for escolhida. O índice m representa o índice de domínio detempo dizimado que também está relacionado ao sinal de entradapossivelmente por quadros sobrepostos.

O sinal é depois disso misturado descendentemente em umaunidade de mistura descendente 5 para gerar o sinal de mistura descendentede M canais zM(k, m), onde M < N. Uma seqüência de vetores de parâmetrode modelo espacial pN(k, m) é estimada em uma unidade de estimação 9. Istopode ser feito tanto de um modo de malha aberta ou malha fechada.

Parâmetros espaciais consistem em sugestões psico-acústicasque são representativas da sensação de som envolvente. Por exemplo, nocodificador envolvente de MPEG, estes parâmetros consistem em diferençasinter-canal em nível, fase e coerência equivalente às sugestões de ILD, ITD eIC para capturar a imagem espacial de um sinal de áudio de multicanalrelativo a um sinal misturado descendentemente transmitido zM(k, m) (ou seem malha fechada, o sinal decodificado ^M(k, m)). AS sugestões pN(k, m)podem ser codificadas em uma forma muito compacta tal como em umaunidade de quantização de parâmetro espacial 23 produzindo o sinal P N(k, m)seguido por um codificador de parâmetro espacial 25. O codificador de áudiode M canais 7 produz o fluxo de bits principal, que em um multiplexador 27 émultiplexado com a informação lateral espacial produzida pelo codificador deparâmetro. Do multiplexador, o sinal multiplexado é transmitido paradesmultiplexador 29 no lado receptor em que a informação lateral e o fluxo debits principal são recuperados como visto no diagrama de bloco da Figura 4.

No lado receptor, o fluxo de bits principal é decodificado parasintetizar uma representação de multicanal de alta qualidade usando osparâmetros espaciais recebidos. O fluxo de bits principal é decodificadoprimeiro em um decodificador de áudio de M canais 31 de qual os sinaisdecodificados XM(k, m) são introduzidos à unidade de síntese espacial 17. Ainformação lateral espacial contendo os parâmetros espaciais é extraída pelodesmultiplexador 29 e provida a um decodificador de parâmetro espacial 33que produz os parâmetros decodificados P N(k, m) e os transmite à unidade desíntese 17. A unidade de síntese espacial produz o sinal ^N(k, m), que éprovido à unidade de transformada de F/T de sinal 35 transformando nodomínio de tempo para produzir o sinal ^N(n), isto é, o sinal decodificado demulticanal.

Uma renderização de áudio 3D de um som envolvente demulticanal pode ser entregue a um usuário de terminal móvel usando umdecodificador envolvente paramétrico eficiente para obter primeiro osmúltiplos canais de som envolvente, usando por exemplo o decodificador demulticanal descrito acima com referência à Figura 4. Logo após, o sistemailustrado na Figura 1 é usado para sintetizar um sinal de multicanalrenderizado de áudio 3 D biauricular. Esta operação é mostrada noesquemático da Figura 5.

Trabalho também foi feito em que filtragem de áudio espacialou 3D foi executada no domínio de sub-banda. Em C. A. Lanciani, e R. W.Schafer, "Application of Head-related Transfer Functions to MPEG AudioSignals", Proc. 31° Simpósio sobre Teoria de Sistema, 21-23 de março de1999, Auburn, AL, E.U.A., é exposto como um sinal mono de codificado deMPEG poderia ser feito espacial executando a operação de filtragem de HRno domínio de sub-banda. Em A. B. Touimi, M. Emerit e J. M. Pernaux,"Efficient Method for Multiple Compressed Audio Streams Spatialization",Proc. 3a Conferência Internacional sobre Multimídia Móvel e Onipresente, pp.229-235, 27-29 de outubro de 2004, College Park, Maiyland, E.U.A., éexposto como vários sinais mono codificados de MPEG individualmentepodem ser feitos espaciais fazendo as operações de filtragem de HR nodomínio de sub-banda. A solução é baseada em uma implementação especialdos filtros de HR, em que todos os filtros de HR são modelados como umacombinação linear de alguns filtros de base predefinidos.

Aplicações de renderização de áudio 3 D são múltiplas eincluem jogo, a amostras de TV móvel, usando padrões tais como 3GPPMBMS ou DVB-H, escutar concertos de música, assistir filmes e serviços demultimídia em geral, que contêm um componente de áudio de multicanal.

Os métodos descritos acima para renderizar som envolvente demulticanal, embora atraentes desde que eles permitem a um novo conjuntointeiro de serviços ser provido a unidades móveis sem fio, têm muitasdesvantagens:

Primeiramente, as demandas computacionais de talrenderização são proibitivas desde que ambas decodificação e renderização3D têm que ser executadas em paralelo e em tempo real. A complexidade deum decodificador de multicanal paramétrico até mesmo se baixa quandocomparada a um decodifícador de multicanal de forma de onda completaainda é bastante alta e pelo menos mais alta que aquela de um decodifícadorestéreo simples. O estágio de síntese de decodificação espacial tem umacomplexidade que é pelo menos proporcional ao número de canaiscodificados. Adicionalmente, as operações de filtragem de renderização 3Dtambém são proporcionais ao número de canais.

A segunda desvantagem consiste na memória temporária que éprecisada a fim de armazenar os canais intermediários decodificados. Eles sãona realidade memorizados desde que eles são precisados no segundo estágiode renderização 3D.

Finalmente, as possíveis etapas de pós-processamento quenormalmente fazem parte de codecs de fala e áudio podem afetar a qualidadede tal renderização de áudio 3D. Estes pós-processamentos são benéficos paraescutar em um ambiente de alto-falante. Porém, eles podem introduzirdistorção de fase não linear severa que é distribuída desigualmente atravésdos múltiplos canais e que pode impactar a qualidade de renderização deáudio 3D.

SUMÁRIO

É um objetivo da invenção prover um método eficiente eversátil de decodificar um fluxo de bits de áudio envolvente de multicanalparamétrico.

É outro objetivo da invenção prover um terminal móvel noqual um fluxo de bits de áudio envolvente de multicanal paramétrico pode serdecodificado eficazmente para produzir um sinal ou sinais adequados paraserem providos a equipamento de escuta no ou conectado ao terminal móvel.

Em um método para decodificar um fluxo de bits de áudioenvolvente de multicanal paramétrico, conceitos tais como decodificar somenvolvente de multicanal e em particular decodificar em biauricular somenvolvente de multicanal são usados.

Em tal método, os parâmetros espaciais recebidos por umdecodificador de multicanal paramétrico podem ser transformados em umnovo conjunto de parâmetros espaciais que são usados a fim de obter umadecodificação diferente de som envolvente de multicanal.

Os parâmetros transformados também podem serpersonalizados parâmetros espaciais e podem então ser obtidos combinandoambos os parâmetros espaciais recebidos e uma representação de filtrosrelacionadas à cabeça de usuário.

Os parâmetros espaciais personalizados também podem serobtidos combinando os parâmetros espaciais recebidos e uma representaçãodos filtros relacionados à cabeça de usuário e um conjunto de parâmetros derenderização adicionais determinados pelo usuário.

Um subconjunto do conjunto de parâmetros de renderizaçãoadicionais podem ser parâmetros interativos que são fixados com respeito aescolhas de usuário que podem ser mudadas durante o processo de escuta.

O conjunto de parâmetros de renderização adicionais pode serparâmetros dependentes de tempo.

O método como descrito aqui pode permitir um modo simplese eficiente para renderizar som envolvente, que é codificado por codificadoresparamétricos em dispositivos móveis. A vantagem principal consiste em umacomplexidade reduzida e um interatividade aumentada ao escutar por fones decabeça usando um dispositivo móvel.Objetivos e vantagens adicionais da invenção serão publicadasna descrição que segue, e em parte serão óbvios da descrição, ou podem seraprendidos por prática da invenção. Os objetivos e vantagens da invençãopodem ser realizados e obtidos por meio dos métodos, processos,instrumentalidades e combinações particularmente mostradas nasreivindicações anexas.

BREVE DESCRIÇÃO DOS DESENHOS

Enquanto as características modernas da invenção sãopublicadas particularmente nas reivindicações anexas, uma compreensãocompleta da invenção, ambos sobre organização e conteúdo, e dascaracterísticas anteriores e outras disso, pode ser obtida e a invenção seráapreciada melhor de uma consideração da descrição detalhada seguinte deconcretizações não limitantes apresentadas em seguida com referência aosdesenhos acompanhantes, em que:

Figura 1 é um diagrama de bloco ilustrando uma possívelrenderização de áudio 3D ou biauricular de um sinal de áudio 5.1;

Figura 2 é uma descrição de alto nível dos princípios de umsistema de codificação e decodificação de multicanal paramétrica;

Figura 3 é uma descrição detalhada do codificador de áudio demulticanal paramétrico;

Figura 4 é uma descrição detalhada do decodificador de áudiode multicanal paramétrico;

Figura 5 é renderização de áudio 3D de sinal de multicanaldecodificado (Arte Anterior);

Figura 6 é uma decodificação biauricular personalizada de somenvolvente de multicanal;

Figura 7 é um diagrama generalizado do processamento deáudio espacial no decodificador de MPEG envolvente;

Figura 8 é uma concretização da invenção para decodificaçãobiauricular personalizada;

Figura 9 é um esquemático ilustrando parâmetros combinados;

e

Figura 10 é um diagrama ilustrando resultados de teste deescuta.

DESCRIÇÃO DETALHADA

O diagrama de bloco da Figura 6 ilustra as etapas principaisem um método para decodificar um fluxo de bits de áudio envolvente demulticanal paramétrico como executado em um decodificador de somparamétrico 13. No desmultiplexador 29, o fluxo de bits principal e ainformação lateral espacial são recuperados. O fluxo de bits principal édecodificado primeiro em um decodificador de áudio de M canais 31, de qualos sinais decodificados ζ M(k, m) são introduzidos à unidade de sínteseespacial personalizada 17'. A informação lateral espacial contendo osparâmetros espaciais é provida do desmultiplexador 29 a um decodificador deparâmetro espacial 33, que produz os parâmetros decodificados m). Osparâmetros espaciais decodificados são introduzidos a uma unidadecombinadora de parâmetro 37, que também pode receber outra informação deparâmetro, em particular parâmetros personalizados e informação de HRF. Aunidade combinadora produz novos parâmetros que em particular podem serparâmetros espaciais personalizados e são introduzidos à unidade de síntese-17'. A unidade de síntese espacial produz o sinal *(k, m), que é provido àunidade de transformada de F/T de sinal 35 transformando de volta nodomínio de tempo. O sinal de domínio de tempo é provido por exemplo afones de ouvido 39 de um terminal móvel 41, em que o decodificadorenvolvente paramétrico está correndo. A informação adicional e parâmetrosrecebidos pela unidade combinadora 37 podem ser obtidos de uma unidade deparâmetro 43, que por exemplo pode ser construída para receber entrada deusuário interativamente durante uma sessão de escuta tal como de apertaralguma tecla adequada do terminal ou unidade móvel 41.

O método como concretizado em um decodificador demulticanal de MPEG envolvente, veja Texto de ISO/IEC 14496-3:200X/PDAM 4, MPEG Envolvente, N7530, outubro de 2005, Nice, França,será descrito agora. Porém, é óbvio que o método pode ser usado igualmentebem em outros contextos.

O processamento no decodificador de MPEG envolvente podeser definido por duas multiplicações de matriz como ilustrado no diagrama daFigura 7, as multiplicações mostradas como incluindo unidades de matriz Mle M2, também chamada a unidade de matriz de pré-descorrelator e a unidadede matriz de mistura, respectivamente, à qual os sinais respectivos sãointroduzidos. A primeira multiplicação de matriz forma os sinais de entrada àsunidades de descorrelação ou descorrelatores Dl, D2,..., e a segundamultiplicação de matriz forma os sinais de saída baseado na entrada demistura descendente e na saída dos descorrelatores. As operações anterioressão feitas para cada sub-banda híbrida, indexadas pelo índice de sub-bandahíbrida k.

No seguinte, o índice η é usado para um número de umintervalo de tempo, k é usado para indexar uma sub-banda híbrida, e 1 é usadopara indexar o conjunto de parâmetro. O processamento dos canais de entradapara formar os canais de saída pode ser descrito então como:

<formula>formula see original document page 14</formula>

onde Min'k é uma matriz bidimensional mapeando um certonúmero de canais de entrada a um certo número de canais entrando nosdescorrelatores, e é definida para todo intervalo de tempo η e toda sub-bandahíbrida k, e M2n'k é uma matriz bidimensional mapeando um certo número decanais pré-processados a um certo número de canais de saída e é definida paratodo intervalo de tempo η e toda sub-banda híbrida k. A matriz M2"'141 vem emduas versões dependendo de se formação temporal de domínio de tempo (TP)ou formação de envelope temporal (TES) do sinal descorrelatado é usada, asduas versões denotadas M^we,e M"2k_dry.

O vetor de entrada xn'k para a primeira unidade de matriz Mlcorresponde aos sinais decodificados ^ M(k, m) da Figura 6 obtido dodecodificador de áudio 31. O vetor Wn* que é introduzido à unidade de matrizde mistura M2 é uma combinação da saída dl, d2,..., dos descorrelatores Dl,D2,..., a saída da primeira multiplicação de matriz, isto é, da unidade dematriz de pré-descorrelator Ml, e sinais residuais resi, res2,..., e é definidapara todo intervalo de tempo η e toda sub-banda híbrida k. O vetor de saídayn'k tem componentes lf, ls, rf, rs, cf e Ife que correspondem basicamente aossinais L, SL, R, SR, C e LFE como descrito acima. Os componentes devemser transformados aos domínios de tempo e de algum modo seremrenderizados para serem providos a fones de ouvido usados, isto é, eles nãopodem ser usados diretamente.

Um método para renderização de áudio 3D e em particulardecodificação personalizada usa um decodificador que inclui um bloco de"Reconstrução de Modelo" que leva entrada extra tal como uma representaçãodos filtros de áudio 3D pessoais no domínio de banco de filtro híbrido e a usapara transformar derivados dos parâmetros de modelo a outros parâmetros demodelo que permite gerar os dois sinais biauriculares diretamente no domíniode transformada, de forma que só o sinal de 2 canais biauriculares tem que sertransformados no domínio de tempo discreto, compare a unidade detransformada 35 na Figura 6.

Uma concretização para decodificação biauricularpersonalizada baseado no MPEG envolvente é ilustrada no diagrama daFigura 8.

Uma terceira matriz M3n'k, mostrada simbolicamente como amatriz de modificação de parâmetro M3, é neste exemplo um mapeamentolinear de 6 canais para dois canais, que são usados como entrada para os fonesde usuário 39 pela unidade de transformada 35. A multiplicação de matrizpode ser escrita como:

<formula>formula see original document page 16</formula>

Pós-processamento biauricular adicional também pode serfeito e estar fora da extensão do método como descrito aqui. Isto pode incluirpós-processamento adicional dos canais esquerdo e direito.

Por linearidade (lei associativa) está claro que as matrizesM2n'keM3n'k podem ser combinadas juntas para formar um novo conjunto deparâmetros armazenados em uma nova matriz de mistura M4n'k = M3n'k M2n'k.

Esta operação de combinação é ilustrada na Figura 9, onde a unidade demultiplicação correspondendo à nova matriz é mostrada como a unidade dematriz de mistura M4 e a multiplicação das duas matrizes é feita em umaunidade multiplicadora 45.

A nova matriz de mistura M4"'14 tem parâmetros que dependemambos dos parâmetros de fluxo de bit e dos filtros relacionados à cabeça deusuário predefinidos HRPs e igualmente em outros parâmetros derenderização dinâmicos, se desejado.

Para o caso só de filtros relacionados à cabeça, a matriz M3"'kpode ser escrita como:

<formula>formula see original document page 16</formula>

os elementos de matriz sendo os cinco filtros diferentes quesão usados para implementar a filtragem relacionada à cabeça e como acimasão denotados Hbi, Hbc, Hc, HFi e Hfc. Neste caso, os filtros sãorepresentados no domínio híbrido. Tal operação para representar filtros nodomínio de tempo para o domínio de freqüência ou transformada é bemconhecida na literatura de processamento de sinal. Aqui, os filtros queformam a matriz M3n'k são funções do índice de sub-banda híbrida k e sãosemelhantes àquelas ilustradas na Figura 1.

Deveria ser notado que para este caso simples a matriz M3n'k éindependente do índice de intervalo de tempo n. Filtros relacionados à cabeçatambém poderiam ser mudados dinamicamente se o usuário quiser outraconfiguração de alto-falante virtual ser experimentada pelos fones 39.

Em outra concretização, o usuário pode querer mudarinterativamente sua posição espacial. Por isto é significado que o usuário podequerer experimentar como é estar perto da cena de concerto se por exemploum concerto ao vivo for executado, ou ademais longe. Isto poderia serimplementado facilmente adicionando linhas de atraso à matriz demodificação de parâmetro M3n'k. A ação de usuário pode ser dinâmica e nessecaso, a matriz M3n'k é dependente do índice de intervalo de tempo n.

Em ainda outra concretização, o usuário pode quererexperimentar sensações espaciais diferentes. Neste caso, reverberação eoutros efeitos sonoros podem ser introduzidos eficientemente na matriz M3n'k.

A natureza dinâmica da matriz M3n'k relacionada àinteratividade de usuário poderia se beneficiar de interpolação entre duasações de usuário. Métodos de interpolação de parâmetro são bem conhecidose não são descritos aqui.

Como já declarado, a matriz de modificação de parâmetroM3n'k pode conter parâmetros de renderização adicionais que são interativos esão mudados em resposta à entrada de usuário.

A concretização particular da invenção descrita acima foiimplementada e testada como parte do esforço de padronização de MPEGpara uma extensão biauricular do decodificador de MPEG envolvente. Osresultados de teste de vários testes de escuta executados por gruposindependentes são mostrados no diagrama da Figura 10. Lá é visto claramenteque a qualidade percebida da renderização biauricular da concretizaçãoparticular da invenção é para a maioria dos sinais de teste melhor do aquelaobtida do método de pós-processamento de áudio 3D padrão como mostradona Figura 5.

Embora as concretizações descritas aqui se refiram adecodificação para escuta de fone biauricular, é óbvio a alguém qualificado natécnica que elas podem ser aplicadas também para escuta de alto-falante eoutras configurações espaciais sem partir da idéia básica de mapeamento ecombinação de parâmetro.

Enquanto concretizações específicas da invenção foramilustradas e descritas aqui, é percebido que numerosas outras concretizaçõespodem ser idealizadas e que numerosas vantagens, modificações e mudançasadicionais ocorrerão prontamente àqueles qualificados na técnica sem partirdo espírito e extensão da invenção. Portanto, a invenção em seus aspectosmais amplos não está limitada aos detalhes específicos, dispositivosrepresentativos e exemplos ilustrados mostrados e descritos aqui. Porconseguinte, várias modificações podem ser feitas sem partir do espírito ouextensão do conceito inventivo geral como definido pelas reivindicaçõesanexas e seus equivalentes. E portanto para ser entendido que asreivindicações anexas são pretendidas cobrirem todas as tais modificações emudanças como caem dentro de um espírito verdadeiro e extensão dainvenção. Numerosas outras concretizações podem ser idealizadas sem partirdo espírito e extensão da invenção.

Claims (18)

1. Método para decodificar um fluxo de bits de áudioenvolvente de multicanal paramétrico recebido por um decodificador demulticanal paramétrico, caracterizado pelo fato de que inclui as etapas de:desmultiplexar dito fluxo de bits para formar um fluxo de bitsprincipal e informação lateral espacial;decodificar a informação lateral espacial para formar umprimeiro conjunto de parâmetros espaciais;modificar o primeiro conjunto de parâmetros espaciais paraformar um segundo conjunto de parâmetros espaciais;sintetizar de dito fluxo de bits principal, baseado ou usando osegundo conjunto de parâmetros espaciais, um sinal de áudio envolvente a serprovido a equipamento de escuta.

2. Método de acordo com a reivindicação 1, caracterizado pelofato de que na etapa de modificação, o segundo conjunto de parâmetrosespaciais é obtido combinando o primeiro conjunto de parâmetros espaciais euma representação de filtros relacionados à cabeça de usuário de forma que osnovos parâmetros sejam personalizados e também o sinal de áudio envolventeseja personalizado.

3. Método de acordo com a reivindicação 2, caracterizado pelofato de que na etapa de combinação, os parâmetros espaciais recebidos e umarepresentação de filtros relacionados à cabeça de usuário também sãocombinados com parâmetros de renderização adicionais determinados pelousuário.

4. Método de acordo com a reivindicação 3, caracterizado pelofato de que os parâmetros de renderização adicionais são parâmetrosinterativos fixados em resposta a escolhas de usuário.

5. Método de acordo com a reivindicação 3, caracterizado pelofato de que os parâmetros de renderização adicionais são dependentes detempo.

6. Método para transmitir dados digitais representando som auma unidade móvel, os dados digitais incluindo um primeiro número (N) deprimeiros canais, cada primeiro canal em particular representando som tendouma característica especial, tal como som recebido de uma direção particulare estando em uma banda de freqüência particular, o método incluindo asetapas de:analisar ditos dados digitais para determinar característica deparâmetros do som, os parâmetros em particular sendo determinados pararepresentar uma relação espacial entre os sons que são representados pelosdados digitais em cada um dos primeiros canais;misturar descendentemente dados digitais dos primeiros canaisum ao outro para produzir dados digitais em um segundo número (M) desegundos canais, o segundo número sendo menor do que o primeiro número(M < N);transmitir por modo sem fio os dados digitais nos segundoscanais e os parâmetros para uma unidade móvel;receber na unidade móvel os dados digitais nos segundoscanais e os parâmetros;transformar os dados digitais recebidos nos segundos canais,baseado nos parâmetros recebidos, para produzir dados digitais transformadosadequados para serem renderizados a emissores de som da unidade móvel; erenderizar os dados digitais transformados aos emissores desom da unidade móvel,caracterizado pelo fato de ser da etapa adicional de modificar,antes da etapa de transformar, os parâmetros recebidos para formar novosparâmetros que são usados na etapa de transformação.

7. Decodificador envolvente paramétrico para decodificar umfluxo de bits de áudio envolvente de multicanal paramétrico, o fluxo de bitsincluindo parâmetros espaciais indicando o caráter de som representado noscanais do fluxo de bits recebido pelo decodificador, caracterizado pelo fato deuma unidade de modificação para modificar os parâmetros espaciais paraformar novos parâmetros espaciais usados em sintetização de forma que umadecodificação diferente do som envolvente de multicanal original seja obtida.

8. Decodificador envolvente paramétrico de acordo com areivindicação 7, caracterizado pelo fato de que a unidade de modificação éarranjada para usar, em modificar os parâmetros espaciais, uma representaçãode filtros relacionados à cabeça de usuário de forma que os novos parâmetrossejam personalizados e também um sinal de áudio envolvente resultante sejapersonalizado.

9. Decodificador envolvente paramétrico de acordo com areivindicação 8, caracterizado pelo fato de que a unidade de modificação éarranjada para usar, em modificar os parâmetros espaciais, tambémparâmetros de renderização adicionais determinados pelo usuário.

10. Decodificador envolvente paramétrico de acordo com areivindicação 7, caracterizado pelo fato de que a unidade de modificação éarranjada para modificar os parâmetros espaciais em um modo dependente detempo.

11. Terminal móvel incluindo um decodificador envolventeparamétrico para decodificar um fluxo de bits de áudio envolvente demulticanal paramétrico recebido pela unidade móvel, o fluxo de bits incluindoparâmetros espaciais indicando o caráter de som representado em canais dodecodificador de fluxo de bits recebido, caracterizado pelo fato de que odecodificador envolvente paramétrico inclui uma unidade de modificaçãopara modificar os parâmetros espaciais para formar novos parâmetrosespaciais usados em sintetização de forma que uma decodificação diferente dosom envolvente de multicanal original seja obtida.

12. Terminal móvel de acordo com a reivindicação 11,caracterizado pelo fato de que a unidade de modificação é arranjada para usar,em modificar os parâmetros espaciais, uma representação de filtrosrelacionados à cabeça de usuário de forma que os novos parâmetros sejampersonalizados e também um sinal de áudio envolvente resultante sejapersonalizado.

13. Terminal móvel de acordo com a reivindicação 12,caracterizado pelo fato de que a unidade de modificação é arranjada para usar,em modificar os parâmetros espaciais, também parâmetros de renderizaçãoadicionais determinados pelo usuário ou introduzidos do usuário, tal comoapertando uma ou mais teclas da unidade móvel.

14. Terminal móvel de acordo com a reivindicação 12,caracterizado pelo fato de que a unidade de modificação é arranjada paramodificar os parâmetros espaciais interativamente de acordo com entrada dousuário.

15. Terminal móvel de acordo com a reivindicação 7,caracterizado pelo fato de que a unidade de modificação é arranjada paramodificar os parâmetros espaciais em um modo dependente de tempo.

16. Método para decodificar um fluxo de bits de áudioenvolvente de multicanal paramétrico incluindo um primeiro número (N) decanais de áudio, dito fluxo de bits recebido por um decodificador demulticanal paramétrico, caracterizado pelo fato de que inclui as etapas de:desmultiplexar dito fluxo de bits para formar um fluxo de bitsprincipal e informação lateral espacial;decodificar o fluxo de bits principal para formar fluxos de bitsseparados para dita pluralidade de canais de áudio;decodificar a informação lateral espacial para formar umprimeiro conjunto de parâmetros espaciais;sintetizar de ditos fluxos de bits separados, baseado ou usandoo primeiro conjunto de parâmetros espaciais, sinais de áudio envolventes emum segundo número (M) de canais de áudio adequado para ser provido aequipamento de escuta, em que o segundo número (M) é menor do que oprimeiro número (N).

17. Método de acordo com a reivindicação 16, caracterizadopelo fato de que o segundo número (M) é igual a 2.

18. Método de acordo com a reivindicação 16, caracterizadopelo fato de que o primeiro número (N) é igual a 5 ou 6.