BRPI0514059B1

BRPI0514059B1 - processo e aparelho para mixar três canais de áudio de entrada em dois canais de áudio de saída

Info

Publication number: BRPI0514059B1
Application number: BRPI0514059-5A
Authority: BR
Inventors: John Smithers Michael
Original assignee: Dolby Laboratories Licensing Corp
Priority date: 2004-08-03
Filing date: 2005-07-13
Publication date: 2019-11-12
Also published as: US7508947B2; IL180712A; PL1787495T3; CA2574834C; CN101002505A; TWI374435B; HK1101053A1; BRPI0514059A; TW200608352A; ATE470322T1; DE602005021648D1; ES2346070T3; JP4740242B2; JP2008509600A; EP1787495B1; AU2005275257B2; MX2007001262A; DK1787495T3; KR20070049146A; US20060029239A1

Abstract

combinação de sinais de áudio usando uma análise de cena auditiva. a invenção refere-se a um processo para combinar canais de áudio que combina os canais de áudio para produzir um canal de áudio combinado e aplicar dinamicamente um ou mais ajustes de tempo, fase, e amplitude ou potência aos canais, ao canal combinado, ou a ambos os canais e o canal combinado. um ou mais dos ajustes são controlados pelo menos parcialmente por uma medida de eventos auditivos em um ou mais dos canais e/ou no canal combinado. aplicações incluem a apresentação do áudio de múltiplos canais em cinemas e veículos. não apenas métodos, mas também implementações em programas de computador e implementações em aparelhos correspondentes estão incluídas.

Description

Relatório Descritivo da Patente de Invenção para COMBINAÇÃO DE SINAIS DE ÁUDIO USANDO UMA ANÁLISE DE CENA AUDITIVA.

Campo Técnico

A presente invenção refere-se à mudança do número de canais em um sinal de áudio de múltiplos canais, no qual alguns dos canais de áudio são combinados. As aplicações incluem a apresentação de um áudio de múltiplos canais em cinemas e veículos. A presente invenção inclui não apenas métodos, mas também implementações de programas de computador e implementações de aparelhos correspondentes.

Antecedentes da Invenção

Nas últimas décadas, observa-se um aumento cada vez maior na produção, distribuição, e apresentação de um material de áudio de múltiplos canais. Significativamente, este aumento tem a ver com a indústria do cinema, na qual os sistemas de reprodução de áudio de canais 5.1 são praticamente ubíquos e, mais recentemente, com a indústria musical, que está começando a produzir música em múltiplos canais 5.1.

Tipicamente, este material de áudio é apresentado através de um sistema de reprodução de áudio que tem o mesmo número de canais que o material. Por exemplo, uma trilha sonora de filme de canal 5.1 pode ser apresentada em um cinema de canal 5.1 ou através de um sistema de áudio de home-theater de canal 5.1. No entanto, há um desejo cada vez maior de se exibir material de múltiplos canais ao invés dos sistemas ou de ambientes que não possuem o mesmo número de canais de apresentação que o número de canais de um material de áudio - por exemplo, a reprodução de áudio do material de canais 5.1 em um veículo que só tem dois ou quatro canais de reprodução de áudio, ou a reprodução de áudio com trilhas sonoras de cinema maior que um canal 5.1 em um cinema que é equipado com apenas um sistema de canal 5.1. Em tais situações, existe a necessidade de se combinar ou misturar alguns ou todos os canais do sinal de múltiplos canais para apresentação.

A combinação de canais pode produzir artefatos audíveis. Por exemplo, alguns componentes de frequência podem cancelar, enquanto outros componentes de freqüência se reforçam ou ficam mais altos. Mais comumente, isto vem a ser o resultado da existência de componentes de sinal de áudio similares ou correlates em dois ou mais dentre os canais que estão sendo combinados.

É um objeto da presente invenção minimizar ou suprimir os artefatos que ocorrem como o resultado da combinação de canais. Outros objetos serão apreciados durante a leitura e o entendimento do presente relatório descritivo.

Deve-se notar que a combinação de canais pode ser solicitada para outros fins, não apenas para a redução do número de canais. Por exemplo, pode haver a necessidade de se criar um canal de reprodução de áudio adicional que seja alguma combinação de dois ou mais canais originais no sinal de múltiplos canais. Isto pode ser caracterizado como um tipo de mistura ascendente no sentido de que o resultado é maior que o número original de canais. Sendo assim, quer no contexto de uma mistura descendente ou de uma mistura ascendente, a combinação de canais para criar um canal adicional pode levar a artefatos audíveis.

As técnicas comuns para minimizar a mistura ou os artefatos de combinação de canais envolvem a aplicação, por exemplo, de um ou mais ajustes de tempo, fase, e amplitude (ou força) para os canais a serem combinados, para o canal combinado resultante, ou para ambos os casos. Os sinais de áudio são inerentemente dinâmicos - ou seja, suas características mudam com o passar do tempo. Sendo assim, estes ajustes nos sinais de áudio são tipicamente calculados e aplicados de uma maneira dinâmica. Ao se remover alguns artefatos resultantes da combinação, este processamento dinâmico pode introduzir outros artefatos. A fim de minimizar estes artefatos de processamento dinâmico, a presente invenção emprega a Análise de Cena Auditiva de modo que, em geral, os ajustes de processamento dinâmico sejam mantidos substancialmente constantes durante as cenas ou eventos auditivos e as mudanças de tais ajustes só são feitas nos ou próximos aos limites da cena ou evento auditivo.

Análise de Cena Auditiva

A divisão de sons em unidades percebidas como separadas é às vezes referida como análise de evento auditivo ou análise de cena auditiva (ASA). Uma discussão extensiva da análise de cena auditiva é apresentada por Albert S. Bregman em seu livro Auditory Scene Analysis - The Perceptual Organization of Sound, Massachusetts Institute of Technology, 1991, Quarta impressão, 2001, Segunda edição em documento impresso MIT.

As técnicas para identificar eventos auditivos (incluindo os limites do evento) de acordo com os aspectos da Análise de Cena auditiva são apresentadas no Pedido de Patente U.S. N. de Série 10/478.538, de Brett G. Crockett, depositado em 20 de novembro de 2003, intitulado Segmenting Audio Signals into Auditory Events, caso do procurador N. DQL098US, que vem a ser o pedido de patente norte-americano, resultante do Pedido de Patente Internacional PCT/US02/05999, depositado em 2 de fevereiro de 2002, designando os Estados Unidos, e publicado como a publicação WO 02/097792, em 5 de dezembro de 2002. Os ditos pedidos de patente são aqui incorporados à guisa de referência ao presente documento em sua totalidade. Certas aplicações das técnicas de identificação de evento auditivo dos ditos pedidos de patente de Crockett são apresentados no Pedido de Patente U.S. N. de Série 10/478.397 de Brett G. Crockett e Michael J. Smithers, depositado em 20 de novembro de 2003, intitulado Comparing Audio Using Characterizations Based on Auditory Events, caso do procurador N. DOL092US, que vem a ser o pedido de patente norte-americano resultante do Pedido de Patente Internacional PCT/US02/05329, depositado em 22 de fevereiro de 2002, designando os Estados Unidos, e publicado como a publicação WO 02/097790, em 5 de dezembro de 2002, e no Pedido de Patente U.S. N. de Série 10/478.398 de Brett G. Crockett e Michael J. Smithers, depositado em 20 de novembro de 2003, intitulado Method for Time Aligning Audio Signals Using Characterizations Based on Auditory Events, publicado em 29 de julho de 2004 como a Patente U.S. N. 2004/0148159 A1, caso do procurador N. DQL09201US, que vem a ser o pedido de patente norteamericano resultante do Pedido de Patente Internacional PCT/US02/05806, depositado em 25 de fevereiro de 2002, designando os Estados Unidos, e publicado como a publicação WO 02/097791, em 5 de dezembro de 2002. Cada um dos pedidos de patente de Crockett e Smithers encontram-se incorporados ao presente documento à guisa de referência em sua totalidade.

Embora as técnicas descritas nos ditos pedidos de patente de Crockett e Crockett/Smithers sejam particularmente úteis com relação aos aspectos da presente invenção, outras técnicas para identificar eventos auditivos e limites de eventos podem ser empregadas nos aspectos da presente invenção.

Descrição da Invenção

De acordo com um aspecto da presente invenção, um processo para combinar canais de áudio compreende a combinação de canais de áudio no sentido de produzir um canal de áudio combinado, e a aplicação dinâmica de um ou mais ajustes de tempo, fase, e amplitude ou força em ambos os canais e no canal combinado, em que um ou mais dentre os ditos ajustes são controlados pelo menos em parte por uma medida de eventos auditivos em um ou mais dentre os canais e/ou no canal combinado. Os ajustes podem ser controlados de modo a permanecerem substancialmente constantes durante eventos auditivos e permitir mudanças nos próximos aos limites de evento auditivo.

O objetivo principal da presente invenção é melhorar a qualidade do som dos sinais de áudio combinados. Isto pode ser obtido, por exemplo, ao se fazer, de forma variável, correções de tempo, de fase e/ou de amplitude (ou força) nos sinais de áudio, e ao se controlar tais correções pelo menos em parte com uma medida de informação de análise de cena auditiva. De acordo com os aspectos da presente invenção,os ajustes aplicados aos sinais de áudio de modo geral podem ser mantidos relativamente constantes durante um evento auditivo e mudando os mesmos nos ou próximo aos limites ou transições entre os eventos auditivos. Evidentemente, estes ajustes não precisam ocorrer frequentemente, como em cada limite, por exemplo. O controle de tais ajustes pode ser feito canal a canal em resposta às informações de evento auditivo em cada canal. De maneira alternativa, alguns ou todos estes ajustes podem ser feitos em resposta às informações de evento auditivo que foram combinadas em todos os canais ou em somente alguns canais.

Outros aspectos da presente invenção incluem o aparelho ou dispositivos para a execução dos processos acima descritos ou de outros processos descritos no presente pedido de patente juntamente com as implementações de programas de computador de tais processos. Outros aspectos poderão ainda ser apreciados ao longo da leitura e entendimento do presente documento.

Descrição dos Desenhos

A figura 1 é um diagrama em blocos esquemático funcional de uma modalidade generalizada da presente invenção.

A figura 2 é um diagrama em blocos esquemático funcional de um processo de sinal de áudio ou método de processamento incorporando aspectos da presente invenção.

A figura 3 é um diagrama em blocos esquemático funcional mostrando a Correção de Tempo e Fase 202 da figura 2 em mais detalhes.

A figura 4 é um diagrama em blocos esquemático funcional mostrando a Mistura de Canais 206 da figura 2 em mais detalhes.

A figura 5a é uma resposta idealizada mostrando o espectro de magnitude de um sinal de ruído branco. A figura 5b é uma resposta idealizada mostrando o espectro de magnitude resultante da simples combinação de um primeiro canal que consiste em um ruído branco com um segundo sinal que é o mesmo sinal de ruído branco, porém atrasado no tempo em aproximadamente uma fração de milissegundo. Tanto na figura 5a como na figura 5b, o eixo geométrico horizontal é a frequência em Hz e o eixo geométrico vertical é um nível relativo em decibéis (dB).

A figura 6 é um diagrama em blocos esquemático funcional de uma mistura descendente de três canais a dois canais de acordo com aspectos da presente invenção.

As figuras 7a e 7b são representações idealizadas mostrando as localizações espaciais de dois aparelhos de canais de áudio em um ambien te, como, por exemplo, em um auditório de cinema. A figura 7a mostra as localizações espaciais próximas dos canais de conteúdo de um sinal de áudio de múltiplos canais, enquanto a figura 7b mostra as localizações espaciais próximas da reprodução de áudio em um cinema equipado para reproduzir um material de áudio de cinco canais.

A figura 7 é um diagrama em blocos esquemático funcional de uma mistura descendente de dez canais para cinco canais de acordo com aspectos da presente invenção.

Modos para se Executar a Invenção

Uma modalidade generalizada da presente invenção é mostrada na figura 1, na qual é mostrado um combinador de canal de áudio ou processo de combinação 100. Uma pluralidade de canais de entrada de áudio, os canais de entrada P, o 101-1 ao 101-P são aplicados a um combinador de canais ou função de combinação (Combinar Canais) 102 e a um analisador de cena auditiva ou função de análise (Análise de Cena auditiva) 103. Pode haver dois ou mais canais de entrada a serem combinados. Os canais 1 a P podem constituir alguns ou todos dentre um conjunto de canais de entrada. A etapa Combinar Canais 102 combina os canais aplicados à mesma. Embora tal combinação possa ser, por exemplo, uma combinação linear, aditiva, a técnica de combinação não é uma questão crítica para a presente invenção. Além de combinar os canais aplicados à mesma, a etapa Combinar Canais 102 também aplica dinamicamente um ou mais ajustes de tempo, fase, e amplitude ou força aos canais a serem combinados, ao canal combinado resultante, ou a ambos os canais a serem combinado e o canal combinado resultante. Estes ajustes podem ser feitos com o propósito de melhorar a qualidade da combinação de canais ao reduzir a mistura ou os artefatos de combinação de canais. As técnicas de ajuste em particular não vêm a ser uma questão crítica para a presente invenção. Exemplos de tais técnicas adequadas para a combinação e ajuste são apresentados no Pedido de Patente Provisório U.S. N. de Série 60/549.368 de Mark Franklin Davis, depositado em 1 de março de 2004, intitulado Low Bit Rate Audio Encoding and Decoding in Which Multiple Channels Are Represented by a Mo nophonic Channel and Auxiliary Information, caso do procurador DOL11501, no Pedido de Patente Provisório U.S. N. de Série 60/579.974 de Mark Franklin Davis et al., depositado em 14 de junho de 2004, intitulado Low Bit Rate Audio Encoding and Decoding in Which Multiple Channels Are

Represented by a Monophonic Channel and Auxiliary Information, caso do procurador DOL11502, e no Pedido de Patente Provisório U.S. N. de Série 60/588.256 de Mark Franklin Davis et al., depositado em 14 de junho de 2004, intitulado Low Bit Rate Audio Encoding and Decoding in Which Multiple Channels Are Represented by a Monophonic Channel and Auxiliary In10 formation, caso do procurador DOL11503. Cada um dos ditos três pedidos de patente provisórios de Davis e de Davis et al. encontram-se incorporados ao presente documento à guisa de referência em suas totalidades. A Análise de cena auditiva 103 deriva informações de cena auditiva de acordo, por exemplo, com as técnicas descritas em um ou mais dentre os pedidos de 15 patente acima identificados por meio de ou de algum outro analisador de cena auditiva ou processo de análise. Estas informações 104, que devem incluir pelo menos a localização de limites entre eventos auditivos, aplicamse à etapa Combinar Canais 102. Um ou mais dos ditos ajustes são controlados pelo menos em parte por uma medida de eventos auditivos em um ou 20 mais dentre os canais a serem combinados e/ou ao canal combinado resultante.

A figura 2 mostra um exemplo de um processador de sinal de áudio ou método de processamento 200 que incorpora aspectos da presente invenção. Os sinais 101-1 a 101-P de uma pluralidade de canais de áudio 1 25 a P que devem ser combinados são aplicados a um dispositivo ou processo de correção de tempo e/ou fase (Correção de Tempo & Fase) 202 e a um dispositivo ou processo de análise de cena auditiva (Análise de cena auditiva) 103, conforme descrito com relação à figura 1. Os canais 1 a P podem constituir algumas ou todas dentre um conjunto de canais de entrada. A aná30 lise de cena auditiva 103 deriva de informações de cena auditiva 104 e aplica as mesmas à Correção de Tempo & Fase 202, que aplica uma correção de tempo e/ou fase individualmente a cada um dos canais a serem combi nados, e é descrita abaixo com relação à figura 3. Os canais corrigidos 2051 a 205-P são em seguida aplicados a um dispositivo ou processo de mistura de canais (Mistura de Canais) 206 que combina os canis a fim de criar um único canal de saída 207. Opcionalmente, o processo de Mistura de Canais 206 pode também ser controlado pelas informações de Análise de cena auditiva 104, conforme é descrito abaixo em mais detalhes. Um processador de sinal de áudio ou método de processamento de sinal de áudio incorporando os aspectos da presente invenção como nos exemplos das figuras 1 e 2 pode também combinar vários dentre os canais 1 a P no sentido de produzir mais de um canal de saída.

Análise de cena auditiva 103 (figuras 1 e 2)

A pesquisa de análise de cena auditiva mostrou que o ouvido usa vários sinais auditivos diferentes para identificar o início e o fim de um evento auditivo percebido. Conforme ensinado nos pedidos de patente acima identificados, um dos sinais mais poderosos é uma mudança no conteúdo espectral do sinal de áudio. Para cada canal de entrada, a Análise de Cena Auditiva 103 realiza uma análise espectral no áudio de cada canal 1 a P em intervalos de tempo definidos de modo a criar uma seqüência de representações de freqüência do sinal. Da maneira descrita nos ditos pedidos de patente acima identificados, as representações sucessivas podem ser comparadas a fim de encontrar uma mudança no conteúdo espectral maior que um limite. Encontrar tal mudança indica um limite de evento auditivo entre aquele par de representações de freqüência sucessivas, indicando aproximadamente o fim de um evento auditivo e o início de um outro. As localizações dos limites de eventos auditivos para cada canal de entrada são saídas como componentes das informações de Análise de Cena Auditiva 104. Embora isto possa ser feito da maneira descrita nos pedidos de patente acima identificados, os eventos auditivos e seus limites podem ser detectados por meio de outras técnicas adequadas.

Os eventos auditivos são unidades de som percebidas com características que permanecem substancialmente constantes por todo o evento. Se os ajustes de tempo, fase e/ou amplitude (ou força), tais como os que podem ser usados nas modalidades da presente invenção, variam significativamente dentro de um evento auditivo, os efeitos de tais ajustes podem se tornar audíveis, constituindo artefatos indesejáveis. Ao manter os ajustes constantes ao longo de todo um evento e só mudar os ajustes suficientemente próximos aos limites de evento, a similaridade de um evento auditivo não é quebrada e as mudanças provavelmente ficarão escondidas entre mais mudanças perceptíveis no conteúdo de áudio que inerentemente significam o limite do evento.

Em termos ideais, de acordo com os aspectos da presente invenção, os parâmetros de combinação ou de mistura descendente devem ser deixados mudar somente nos limites de eventos auditivos, de modo que nenhuma mudança dinâmica ocorra dentro de um evento. No entanto, os sistemas práticos para a detecção de eventos auditivos tipicamente operam no domínio digital no qual blocos de amostras de áudio digital no domínio de tempo são transformados no domínio de freqüência de tal modo que a resolução de tempo dos limites de eventos auditivos apresente uma resolução de tempo muito grosseira, cuja resolução está relacionada ao alcance de bloco das amostras de áudio digital. Se esta resolução for escolhida (com uma transferência entre alcance de bloco e resolução de freqüência) no sentido de produzir aproximações úteis nos limites de eventos em questão, ou seja, se a resolução produzir limites aproximados que ficam próximos o suficiente de modo os erros não fiquem perceptíveis a um ouvinte, neste caso para os fins de uma mistura descendente dinâmica de acordo com a presente invenção, é adequado não se usar os limites em questão, que são desconhecidos, e sim as aproximações providas pelos limites de bloco. Sendo assim, de acordo com um exemplo dos pedidos de patente acima identificados de Crockett, os limites de evento podem ser determinados na metade de um alcance de bloco, ou cerca de 5,8 milissegundoss para o exemplo de um alcance de 512 blocos de amostra em um sistema que emprega uma taxa de amostragem de 44.1 kHz.

Em uma implementação prática de aspectos da presente invenção, cada canal de entrada é um sinal de áudio de domínio de tempo discre to. Este sinal discreto pode ser dividido em blocos sobrepostos de aproximadamente 10.6 milissegundos, nos quais a sobreposição é de aproximadamente 5,3 milissegundos. Para uma taxa de amostra de áudio de 48 kHz, isto é equivalente a 512 blocos de amostra, dos quais 256 amostras se sobrepõem ao bloco anterior. Cada bloco pode ser em janela usando, por exemplo, uma janela de Hanning e transformado no domínio de frequência usando, por exemplo, uma Transformação Discreta de Fourier (implementada como Transformação Rápida de Fourier para velocidade). A força, nas unidades de decibéis (dB), é calculada para cada valor espectral e em seguida o espectro é normalizado a um valor espectral em dB maior. Os blocos não sobrepostos ou parcialmente sobrepostos podem ser usados no sentido de reduzir o custo da computação. Ainda, outras funções de janela podem ser usadas, no entanto, a janela de Hanning foi considerada com bem adequada para esta aplicação.

Conforme descrito nos pedidos de patente acima citados de Crockett, o espectro de freqüência normalizado para um bloco corrente pode ser comparado a um espectro normalizado para o bloco anterior seguinte a fim de obter uma medida de sua diferença. Em termos específicos, uma única medida de diferença pode ser calculada ao somar o valor absoluto da diferença nos valores espectrais dB dos espectros anteriores corrente e seguinte.

Este medida de diferença pode ser comparada a um limite. Se a medida de diferença for maior que o limite, um limite de evento é indicado entre o bloco corrente e anterior, de outra forma nenhum limite de evento será indicado entre o bloco corrente e anterior. Considera-se como um valor adequado para este limite 2500 (em unidades de dB). Deste modo, os limites de evento podem ser determinados dentro de uma precisão de cerca da metade de um bloco.

Esta abordagem limite pode ser aplicada a sub-bandas de freqüência nas quais cada sub-banda tem uma medida de diferença distinta. No entanto, no contexto da presente invenção, uma única medida baseada em um áudio de uma largura de banda completa é suficiente para visualizar a capacidade humana percebida para focalizar um evento a qualquer momento.

As informações de limite de evento auditivo para cada canal 1 a P são emitidas como um componente das informações de Análise de Cena Auditiva 104.

Correção de Tempo & Fase 202 (figura 2)

A Correção de Tempo e Fase 200 procura altas diferenças de correlação e de tempo ou fase entre pares de canais de entrada. A figura 3 mostra a Correção de Tempo e Fase 202 em mais detalhes. Conforme explicado abaixo, um canal de cada par é um canal de referência. Uma técnica de detecção de correlação adequada é descrita abaixo. Outras técnicas de detecção de correlação adequadas podem ser empregadas. Quando existe uma alta correlação entre um canal de não referência e um canal de referência, o dispositivo ou processo tenta reduzir as diferenças de fase ou tempo entre o par de canais por meio da modificação das características de fase ou tempo do canal de não referência, reduzindo, assim, ou eliminando os artefatos de combinação de canal audíveis que de outra forma resultariam da combinação daquele par de canais. Alguns destes artefatos podem ser descritos à guisa de exemplo. A figura 5a mostra o espectro de magnitude de um sinal de ruído branco. A figura 5b mostra o espectro de magnitude resultante da simples combinação de um primeiro canal que consiste em um ruído branco com um segundo sinal que vem a ser o mesmo sinal de ruído branco, porém atrasado em aproximadamente 0,21 milissegundo. Uma combinação das versões não atrasadas e atrasadas do sinal de ruído branco tem cancelamentos e uma formação espectral, comumente chamada de filtração de pente, e audivelmente soa muito diferente do ruído branco de cada sinal de entrada.

A figura 3 mostra um dispositivo ou método 300 adequado para a remoção de retardos de fase ou tempo. Os sinais 101-1 a 101-P de cada canal de áudio de entrada são aplicados a um dispositivo ou processo de cálculo de retardo (Cálculo de Retardos) 301 que emite um sinal indicativo de retardo 302 para cada canal. As informações de limite de evento auditivo

104, que pode ter um componente para cada canal 1 a P, são usadas por um dispositivo ou processo que inclui um dispositivo ou processo de memória temporária (Segurar) 303 de modo a condicionalmente atualizar os sinais de retardo 304-1 a 304-P que são usados, respectivamente, por dispositivos ou funções de retardo (Retardar) 305-1 a 305-P para cada canal de modo a produzir canais de saída 306-1 a 306-P.

Cálculo de Retardos 301 (figura 3)

O Cálculo de Retardos 301 mede o retardo relativo entre pares de canais de entrada. Um método preferido é, primeiramente, selecionar um canal de referência dentre os canais de entrada. Esta referência pode ser fixa ou pode variar com o passar do tempo. Ao se permitir que o canal de referência varie, faz superar o problema, por exemplo, de um canal de referência silencioso. Se o canal de referência varia, o mesmo pode ser determinado, por exemplo, pela altura do canal (por exemplo, o mais alto é a referência). Conforme mencionado acima, os sinais de áudio de entrada para cada canal de entrada podem ser divididos em blocos de sobreposição de aproximadamente 10,6 milissegundos de alcance, sobrepondo-se em aproximadamente 5,3 milissegundos. Para uma taxa de amostra de áudio de 48 kHz, isto é equivalente a 512 blocos de amostra dos quais 256 amostras se sobrepõem ao bloco anterior.

O retardo entre cada canal de não referência e o canal de referência pode ser calculado usando qualquer método de correlação cruzada adequado. Por exemplo, supondo que Si (alcance de Ni) seja um bloco de amostras do canal de referência e S2 (alcance de N2), um bloco de amostras de um dentre os canais de não referência. O primeiro calcula o arranjo de correlação cruzada R1,2.

Λ,₂(0= ySdn).S₂(n-r> / = 0,+1,+2,.... (1)

H=-oO .

A correlação cruzada pode ser feita usando-se as técnicas baseadas na transformação FFT padrão para reduzir o tempo de execução. Uma vez que tanto S1 como S2 são finitos em alcance, o componente não zero de Ri,₂ tem um alcance de N1 + N₂ - 1. O atraso / correspondente ao elemento máximo em R_1i2 representa o retardo de S₂ com relação a Sv

Lpico = 1 para MAX[Ri.₂(L)] (2)

Este atraso ou retardo tem as mesmas unidades de amostra que os arranjos Si e S₂.

O resultado da correlação cruzada para o bloco em questão é o tempo atenuado com o resultado da correlação cruzada do bloco anterior usando um filtro de resposta de impulso infinito de primeira ordem a fim de criar uma correlação cruzada atenuada Qi,₂. A equação a seguir mostra a computação do filtro, na qual m indica o bloco corrente e m-1 indica o bloco anterior.

Q₁.₂(/,m)=axR₁,₂(l)+(1-a)xQi.₂(/,m-1) 1=0,+1,+2.....(3)

Descobriu-se que um valor útil para α é 0.1. Quanto à correlação cruzada Ri,_2> o atraso I correspondente ao elemento máximo em Qi,₂ representa o retardo de S₂ com relação àSi. O atraso ou retardo para cada canal de não referência é emitido como um componente de sinal do sinal 302. Um valor zero pode também ser emitido como um componente do sinal 302, representando o retardo do canal de referência.

A faixa de retardo que pode ser medida é proporcional ao tamanho de bloco de sinal de áudio. Ou seja, quanto maior o tamanho de bloco, maior a faixa de retardos que pode ser medida usando-se este método. Segurar 303 (figura 3)

Quando um limite de evento é indicado através das informações de análise ASA 104 para um canal, a etapa de Segurar 303 copia o valor de retardo para aquele canal de 302 para o sinal de retardo de canal de saída correspondente 304. Quando nenhum limite de evento é indicado, a etapa de Segurar 303 mantém o último valor de retardo 304. Desta maneira, ocorrem mudanças de alinhamento de tempo nos limites do evento e, portanto, são menos prováveis de trazer artefatos audíveis.

Retardo 305-1 a 305-P (figura 3)

Uma vez que o sinal de retardo 304 pode ser positivo ou negativo, cada um dos Retardos 305-1 a 305-P por padrão pode ser implementado de modo a retardar cada canal pelo retardo máximo absoluto que pode ser calculado pelo Cálculo de Retardos 301. Sendo assim, o retardo de amostra total em cada um dos Retardos 305-1 a 305-P é a soma do respectivo sinal de retardo de entrada 304-1 a 304-P mais a quantidade padrão de retardo. Isto permite que os sinais 302 e 304 sejam positivo ou negativo, em que negativo indica que um canal é avançado no tempo com relação ao canal de referência.

Quando qualquer um dos sinais de retardo de entrada 304-1 a 304-P muda seu valor, pode ser necessário remover ou replicar amostras. De preferência, isto é feito de uma maneira que não cause artefatos audíveis. Estes métodos podem incluir amostras de sobreposição e de flutuação cruzada. De maneira alternativa, uma vez que os sinais de saída 306-1 a 306-P podem ser aplicados a um banco de filtro (vide figura 4), pode ser útil combinar o retardo e o banco de filtro de tal modo que o retardo controle o alinhamento das amostras que são aplicadas ao banco de filtro.

De maneira alternativa, um método mais complexo pode medir e corrigir as diferenças de tempo ou fase em bandas de freqüência individuais ou em grupos de bandas de freqüência. Neste método mais complexo, tanto o Cálculo de Retardos 301 como os Retardos 305-1 a 305-P podem operar em domínio de freqüência, em cujo caso os Retardos 305-1 a 305-P realizam ajustes de fase nas bandas ou sub-bandas, ao invés de retardos no domínio de tempo. Neste caso, os sinais 306-1 a 306-P já se encontram no domínio de freqüência, negando a necessidade de Banco de Filtro 401 subseqüente (figura 4, conforme descrita abaixo).

Alguns dos dispositivos ou processos, como, por exemplo, o Cálculo de Retardos 301 e a Análise de Cena Auditiva 103 podem ficar à frente nos canais de áudio a fim de prover estimativas mais precisas de limites de evento e de correções de tempo ou fase a serem aplicadas nos eventos.

Mistura de Canais 206 (figura 2)

Os detalhes da Mistura de Canais 206 da figura 2 são mostrados como o dispositivo ou processo 400 na figura 4, que mostra como os canais de entrada podem ser combinados, com correção de força, a fim de criar um canal de saída de mistura descendente. Além da mistura ou combinação dos canais, este dispositivo ou processo pode corrigir os cancelamentos de frequência residuais que não foram completamente corrigidos pela Correção de Tempo & Fase 203 na figura 2. A mesma também funciona no sentido de manter a conservação da força. Em outras palavras, a Mistura de Canais 206 busca garantir que a força do sinal de mistura descendente de saída 414 (figura 4) seja substancialmente igual à soma da força dos canais de entrada ajustados em tempo ou fase 205-1 a 205-P. Além disso, a mesma busca garantir que a força de cada banda de freqüência do sinal de mistura descendente seja substancialmente a soma da força das bandas de freqüência correspondentes dos canais de entrada ajustados em tempo ou fase individuais. O processo atinge este objetivo ao comparar a força da banda do canal de mistura descendente com as forças de banda dos canais de entrada e, em seguida, ao calcular um valor de correção de ganho para cada banda. Uma vez que as mudanças nos ajustes de ganho através tanto do tempo como da freqüência podem resultar em artefatos audíveis, os ganhos de preferência são atenuados tanto em tempo como em freqüência antes de serem aplicados a um sinal de mistura descendente. Este dispositivo ou processo representa uma maneira possível de se combinar canais. Outros dispositivos ou processos adequados podem ser empregados. O dispositivo ou processo de combinação em particular não vem a ser uma questão crítica para a presente invenção.

Banco de Filtro (FB) 401-1 a 401-P (figura 4)

Os sinais de áudio de entrada para cada canal de entrada são sinais de domínio de tempo e podem ser divididos em blocos de sobreposição de aproximadamente 10,6 milissegundos em alcance, sobrepondo aproximadamente 5,3 milissegundos, conforme acima mencionado. Para uma taxa de amostra de áudio de 48 kHz, isto se equivale a 512 blocos de amostra, dos quais 256 amostras se sobrepõem ao bloco anterior. Os blocos de amostra podem ser dispostos em janela ou convertidos ao domínio de freqüência por meio dos bancos de filtro 401-1 a 401-P (um banco de filtro para cada sinal de entrada). Embora qualquer um dentre vários tipos de janela

possa ser usado, considera-se adequada a janela de Hanning. Embora possa ser usado qualquer um dentre os vários conversores de domínio de tempo a domínio de freqüência ou processos de conversão, um conversor ou método de conversão adequado pode usar a Transformação Discreta de Fourier (implementada como uma Transformação Rápida de Fourier para velocidade). A saída de cada banco de filtro é um respectivo array 402-1 a 402-P de valores espectrais complexos - um valor para cada banda de freqüência (ou binário).

Força de Banda (BND) 403-1 a 403-P (figura 4)

Para cada canal, um calculador ou processo de cálculo de força de banda (Força BND) 403-1 a 403-P, respectivamente, computa e calcula a força dos valores espectrais complexos 402-1 a 402-P, e emite os mesmos como os respectivos espectros de força 404-1 a 404-P. Os valores de espectro de força de cada canal são somados em um combinador aditivo ou função de combinação 415 a fim de criar um novo espectro de força combinado 405. Os valores espectrais complexos correspondentes 402-1 a 402-P de cada canal são também somados em um combinador aditivo ou função de combinação 416 a fim de criar um espectro complexo de mistura descendente 406. A força do espectro complexo de mistura descendente 406 é computada em um outro calculador de força ou processo de cálculo (Força BND) 403 e emitida como um espectro de força de mistura descendente 407. Ganho de Banda (BND) 408 (figura 4)

Um calculador de ganho de banda ou processo de cálculo (Ganho de Banda 408) divide o espectro de força 405 pelo espectro de força de mistura descendente 407 a fim de criar um array de ganhos de força ou razões de força, um para cada valor espectral. Se um valor espectral de força de mistura descendente for zero (fazendo com que o ganho de força seja infinito), o ganho de força correspondente é definido em 1. A raiz quadrada dos ganhos de força é em seguida calculada de modo a criar um array de ganhos de amplitude 409.

Limite, Tempo e Atenuação de Freqüência 410 (figura 4)

Um limitador e atenuador ou função de limitação e atenuação (Atenuação de Limite, Tempo & Freqüência) 410 realiza uma limitação de ganho e atenuação de tempo / freqüência apropriada. Os ganhos de amplitude espectral apresentados acima podem ter uma ampla faixa. Os melhores resultados podem ser obtidos se os ganhos forem mantidos dentro de uma faixa limitada. Por exemplo, se algum ganho for maior que um limite superior, o mesmo é ajustado igual ao limite superior. Da mesma forma, por exemplo, se algum ganho for menor que um limite inferior, o mesmo é definido igual ao limite inferior. Os limites úteis são de 0,5 e 2,0 (equivalentes a +6 dB).

Os ganhos espectrais podem em seguida ser temporariamente atenuados usando-se um filtro de resposta de impulso infinito (IIR) de primeira ordem. A equação a seguir mostra a computação do filtro, na qual b indica o índice de banda espectral, B indica o número total de bandas, n indica o bloco corrente, n-1 indica o bloco anterior, G indica os ganhos não atenuados e Gs indica os ganhos atenuados temporariamente.

G_s(b,n)=õ(b)xG(b)+(1-õ(b))xG_s(b,n-1) b=0,...B-1 (4)

Um valor útil para ô(b) é de 0,5, exceto para as bandas abaixo de aproximadamente 200 Hz. Abaixo desta freqüência, Ô(b) tende para um valor final de 0 na banda b=0 ou DC. Se os ganhos atenuados G_s forem inicializados em 1.0, o valor em DC fica igual a 1.0. Ou seja, o DC nunca será ajustado em ganho e o ganho das bandas abaixo de 200 Hz variará mais lentamente que o das bandas do resto do espectro. Isto pode ser útil na prevenção de modulações audíveis em freqüências mais baixas. Isto se deve ao fato de que nas freqüências inferiores a 200 Hz, o comprimento de onda de tais freqüências se aproxima ou excede o tamanho de bloco pelo banco de filtro, levando a imprecisões na capacidade de os bancos de filtro discriminarem de uma forma precisa estas freqüências. Este é um fenômeno comum e bem-conhecido.

Os ganhos temporariamente atenuados são ainda mais atenuados através da freqüência a fim de impedir mudanças grandes no ganho entre bandas adjacentes. Em uma implementação preferida, os ganhos de banda são atenuados usando uma média oscilante de cinco bandas (ou de aproximadamente 470 Hz). Ou seja, cada binário é atualizado à média de si mesmo e duas bandas adjacentes tanto acima como abaixo em freqüência. Na borda superior e inferior do espectro, os valores de borda (bandas 0 e N-

1) são usados repetidamente de modo que ainda possa ser feita uma média de cinco bandas.

Os ganhos de banda atenuados são emitidos como o sinal 411 e multiplicados pelos valores espectrais complexos de mistura descendente em um multiplicador ou função de multiplicação 419 a fim de criar o espectro complexo de mistura descendente corrigido 412. Opcionalmente, o sinal de saída 411 pode ser aplicado ao multiplicador ou função de multiplicação 419 via um dispositivo ou processo de memória temporária (Segurar) 417 sob o controle das informações da análise ASA 104. A etapa de Segurar 417 opera da mesma maneira que a etapa de Segurar 303 da figura 3. Por exemplo, os ganhos podem ser mantidos relativamente constantes durante um evento e modificados apenas nos limites do evento. Desta maneira, podem ser impedidas mudanças de ganho possivelmente audíveis e dramáticas durante um evento.

Banco de Filtro Inverso (Inv FB) 413 (figura 4)

O espectro de mistura descendente 412 do multiplicador ou função de multiplicação 419 passa por um banco de filtro ou função de banco de filtro (INV FB) 413 a fim de criar blocos de amostras de tempo de saída. Este banco de filtro é inverso ao banco de filtro de entrada 401. Os blocos adjacentes são sobrepostos e adicionados aos blocos anteriores, conforme é bem-conhecido, de modo a criar um sinal de domínio de tempo de saída 414.

As disposições descritas não prejudicam a prática comum de se separar a janela, no banco de filtro posterior 401, em duas janelas (uma usada no banco de filtro dianteiro e uma usada no banco de filtro inverso), cuja multiplicação é tal que um sinal unitário é mantido por todo o sistema. Aplicações de Mistura Descendente

Uma aplicação de mistura descendente de acordo com os aspectos da presente invenção é a reprodução de áudio de um conteúdo de canal 5.1 em um veículo motorizado. Os veículos motorizados podem repro duzir apenas quatro canais de conteúdo de canal 5.1, correspondente aproximadamente aos canais Esquerdo, Direito, Surround Esquerdo e Surround Direito de tal sistema. Cada canal é dirigido para um ou mais alto-falantes localizados em posições consideradas adequadas para a reprodução de in5 formações direcionais associadas a um canal em particular. No entanto, os veículos motorizados geralmente não possuem uma posição de alto-falante central para a reprodução de canal Central de tal sistema de reprodução de áudio 5.1. Para acomodar esta situação, é conhecido se atenuar o sinal do canal Central (em 3 dB ou 6 dB, por exemplo) e combinar o mesmo com ca10 da um dos sinais de canal Esquerdo e Direito a fim de prover um canal central fantasma. No entanto, esta combinação simples resulta nos artefatos previamente descritos.

Ao invés de aplicar tal combinação simples, pode ser aplicada a combinação de canais ou a mistura descendente de acordo com os aspectos 15 da presente invenção. Por exemplo, a disposição da figura 1 ou a disposição da figura 2 pode ser aplicada duas vezes, uma para combinar os sinais Esquerdo e Central, e outra para combinar os sinais Central e Direito. No entanto, pode ser ainda benéfico se atenuar o sinal de canal Central em, por exemplo, 3 dB ou 6 dB (6 dB podendo ser mais apropriado que 3 dB no es20 paço de campo próximo do interior de um veículo motorizado) antes de combinar o mesmo com cada um dos Sinais de Canal Esquerdo e de Canal Direito, de modo que a força acústica saída do sinal de canal Central seja aproximadamente igual ao que seria se apresentado através de um altofalante de canal Central dedicado. Além disso, pode ser benéfico indicar o 25 sinal Central como um canal de referência ao combinar o mesmo com cada um dos sinais de Canal Esquerdo e Canal Direito de tal modo que a Correção de Tempo & Fase 103 à qual o sinal de canal Central é aplicado não altere o alinhamento de tempo ou a fase do canal Central, mas altere apenas o alinhamento de tempo ou fase dos sinais do Canal Esquerdo e Canal Direi30 to. Consequentemente, o sinal de Canal Central não seria ajustado diferentemente em nenhuma das duas somas (isto é, na soma dos sinais de Canal Esquerdo mais Canal Central ou na soma dos sinais de Canal Direito mais

Canal Central), garantindo, assim, que a imagem de Canal Central fantasma permaneça estável.

O inverso pode também ser aplicável. Ou seja, o tempo e a fase se ajustam somente no canal Central, novamente garantindo que a imagem de Canal Central fantasma permaneça estável.

Uma outra aplicação da mistura descendente de acordo com os aspectos da presente invenção é na reprodução de áudio do áudio de múltiplos canais em um cinema. Os padrões em desenvolvimento para a próxima geração dos sistemas de cinema digital requerem a liberação de até, ou em breve mais de, 16 canais de áudio. A maior parte dos sistemas de cinema instalados provê somente canais de reprodução de áudio 5.1 ou canais de apresentação (conforme é bem-conhecido, o canal 0.1 representando o canal de efeitos de baixa freqüência). Sendo assim, até que os sistemas de reprodução de áudio sejam atualizados, a um custo significante, haverá a necessidade de se fazer a mistura descendente do conteúdo com mais canais 5.1 a canais 5.1. Esta mistura descendente ou combinação de canais resulta nos artefatos conforme acima apresentados.

Sendo assim, se os canais P forem misturados descendentes aos canais Q (onde P > Q), a mistura descendente de acordo com os aspectos da presente invenção (por exemplo, como nas modalidades exemplares das figuras 1 e 2) poderá ser aplicada no sentido de se obter um ou mais canais de saída Q, nos quais alguns ou todos os canais de saída serão uma combinação de dois ou mais dentre os respectivos canais dos canais de entrada P. Se um canal de entrada for combinado a mais de um canal de saída, poderá ser vantajoso indicar tal canal como um canal de referência, de tal modo que a Correção de Tempo & Fase 202 na figura 2 não altere o alinhamento de tempo ou fase de tal canal de entrada diferentemente para cada canal de saída no qual o mesmo é combinado.

Alternativas

O ajuste de tempo ou fase, conforme descrito no presente documento, serve para minimizar o cancelamento completo ou parcial de freqüências durante a mistura descendente. Anteriormente, foi descrito que,

quando um canal de entrada é combinado em mais de um canal de saída, este canal de preferência é indicado como o canal de referência, de tal modo que o mesmo não seja ajustado em tempo ou fase diferente de quando misturado a múltiplos canais de saída. Isto funciona bem quando os demais canais não possuem um conteúdo que seja substancialmente igual. No entanto, podem surgir situações nas quais dois ou mais outros canais tenham um conteúdo que seja igual ou substancialmente igual. Se estes canais forem combinados em mais de um canal de saída, ao se ouvir os canais de saída resultantes, o conteúdo comum é percebido como uma imagem fantasma no espaço em uma direção que venha a ser qualquer lugar entre as localizações físicas dos alto-falantes que recebem estes canais de saída. Surge um problema quando estes dois ou mais canais de entrada, com um conteúdo substancialmente equivalente, são ajustados em fase de maneira independente antes de se combinarem com outros canais de modo a criar os canais de saída. O ajuste de fase independente pode resultar tanto em uma localização de imagem fantasma incorreta, e/ou em uma localização de imagem indeterminada, ambos os casos podendo ser percebidos em termos audíveis como não naturais.

É possível se pensar em um sistema que procura canais de entrada tendo um conteúdo substancialmente similar e tenta ajustar em tempo ou fase estes canais da mesma maneira ou de uma maneira similar, de tal modo que suas localizações de imagem fantasma não sejam alteradas. No entanto,tal sistema se torna muito complexo, especialmente conforme o número de canais de entrada se torna substancialmente maior que o número de canais de saída. Nos sistemas nos quais um conteúdo substancialmente similar ocorre freqüentemente em mais de um canal de entrada, pode ser mais simples se dispensar um ajuste de fase, e realizar apenas a correção de força.

Este problema de ajuste pode ser explicado em mais detalhes na aplicação em automóvel descrita acima, na qual o sinal de canal Central é combinado com cada um dos canais Esquerdo e Direito para uma reprodução de áudio através dos alto-falantes Esquerdo e Direito, respectivamen22 te. Em um material de canais 5.1, os canais de entrada Esquerdo e Direito com frequência contêm uma pluralidade de sinais (por exemplo, instrumentos, vocais, diálogos e/ou efeitos), alguns dos quais sendo diferentes e alguns dos quais sendo iguais. Quando o canal Central é misturado com cada um dos canais Esquerdo e Direito, o canal Central é indicado como um canal de referência e não ajustado em tempo ou fase. O canal Esquerdo é ajustado em tempo ou fase de modo a produzir um cancelamento de fase mínimo quando combinado com o canal Central, e de maneira similar o canal Direito é ajustado em tempo ou fase de modo a produzir um cancelamento de fase mínimo quando combinado com o canal Central. Uma vez que os canais Esquerdo e Direito são ajustados em tempo ou fase de maneira independente, os sinais que são comuns aos canais Esquerdo e Direito não mais poderão ter uma imagem fantasma entre as localizações físicas dos alto-falantes Esquerdo e Direito. Além disso, a imagem fantasma pode não se localizar em nenhuma direção, mas poderá ser difundida através do espaço auditivo - um efeito não natural e indesejável.

Uma solução para o problema de ajuste é extrair sinais que sejam comuns a mais de um canal de entrada a partir destes canais de entrada e colocar os mesmos em canais de entrada novos e separados. Embora isto aumente o número geral de canais de entrada P a serem misturados descendentes, isto também reduz a distorção de imagem fantasma espúria e indesejável nos canais de saída misturados descendentes. Um dispositivo ou processo exemplar automotivo 600 é mostrado na figura 6 para o caso de três canais serem misturados descendentes em dois. Os sinais comuns aos canais de entrada Esquerdo e Direito são extraídos dos canais Esquerdo e Direito para um outro novo canal usando qualquer multiplicador de canal ou processo de multiplicação de canal adequado (Descorrelacionar Canais) 601, como, por exemplo, um decodificador de matriz ativa ou outro tipo de multiplicador de canais que extrai componentes de sinais comuns. Tal dispositivo pode ser caracterizado como um tipo de descorrelacionador ou função de descorrelação. Um decodificador de matriz ativa, conhecido como Dolby Surround Pro Logic II, é descrito no Pedido de Patente U.S. N. de Série

09/532.711 de James W. Fosgate, depositado em 22 de março de 2000, intitulado Method for deriving at least three audio signals from two input audio signals, caso do procurador DOL07201, e no Pedido de Patente U.S. N. de Série 10/362.786 de James W. Fosgate et al., depositado em 25 de fevereiro de 2003, intitulado Method for apparatus for audio matrix decoding, publicado como a Patente US 2004/0125960 A1 em 1 de julho de 2004, caso do procurador DOL07203US, que vem a ser o pedido de patente de fase nacional nos EUA resultante do Pedido internacional PCT/US01/27006, depositado em 30 de agosto de 2001, designando os Estados Unidos da América, publicado como WO 02/19768 em 7 de março de 2002. Os ditos pedidos de patente de Fosgate e Fosgate et al encontram-se incorporados ao presente documento à guisa de referência em suas totalidades. Um outro tipo de multiplicador e descorrelacionador de canal adequado que pode ser empregado é descrito no Pedido de Patente U.S. N. de Série 10/467.213 de Mark Franklin Davis, depositado em 05 de agosto de 2003, intitulado Audio Channel Translation, publicado como a Patente US 2004/0062401 A1 em 1 de abril de 2004, caso do procurador DOL088US, que vem a ser o pedido de fase nacional nos EUA resultante do Pedido Internacional PCT/US02/03619, depositado em 7 de fevereiro de 2002, designando os Estados Unidos, publicado como WO 02/063925 em 7 de agosto de 2003, e do Pedido Internacional PCT/US03/24570, depositado em 06 de agosto de 2003, designando os Estados Unidos, caso do procurador DOL08801PCT, publicado como WO 2004/019656 em 04 de março de 2004. Cada um dos ditos pedidos de patente de Davis é incorporado ao presente documento à guisa de referência em suas totalidades. Uma outra técnica de multiplicação / descorrelação de canais adequada é descrita no documento Intelligent Audio Source Separation using Independent Component Analysis, de Mitianoudis e Davies, Audio Engineering Society Convention Paper 5529, apresentado na 112^a Convenção, de 10 a 13 de maio de 2002, em Munique, Alemanha. O dito documento é incorporado ao presente documento à guisa de referência em sua totalidade. O resultado são quatro canais, o novo canal C_D, o canal Central original C e os canais Esquerdo e Direito modificados, I_d e Rd24

O dispositivo ou processo 602, com base na disposição da figura 2, porém aqui com dois canais de saída, combina os quatro canais de modo a criar os canais de reprodução de áudio Esquerdo e Direito Lp e Rp. Os canais modificados L_D e Rd são, cada qual, misturados a apenas um canal de reprodução de áudio L_P e R_P, respectivamente. Uma vez que os mesmos não contêm substancialmente nenhum conteúdo correlacionado, os canais modificados L_D e Rd, a partir dos quais o seu componente comum C_D é extraído, podem ser ajustados em tempo ou fase sem afetar nenhuma imagem central fantasma presente nos canais de entrada L e R. Para realizar o ajuste de tempo e/ou fase, um dos canais, como, por exemplo, o canal C_D, é indicado como o canal de referência. Os outros canais L_D, Rd θ C são em seguida ajustados em tempo e/ou fase com relação ao canal de referência. De maneira alternativa, uma vez que os canais L_D e Rd provavelmente não serão correlacionados com o canal C, e, uma vez que os mesmos são descorrelacionados do canal C_D por meio do processo 601, os mesmos podem ser passados a fim de misturar canais sem nenhum ajuste de tempo e fase. Tanto o canal C original como o canal central derivado Cd podem ser misturados com cada um dos canais intermediários Ld θ Rd, respectivamente, na porção de Mistura de Canais do dispositivo ou processo 602 a fim de produzir os canais de reprodução de áudio L_P e R_P. Embora tenha se observado que uma proporção igual de C e Cd produza resultados satisfatórios, a proporção exata não vem a ser uma questão crítica e pode ser diferente. Conseqüentemente, qualquer ajuste de tempo e fase aplicado aos canais C_D e C pode aparecer em ambos os canais de reprodução de áudio, mantendo, assim, a direção das imagens centrais fantasmas. Uma determinada atenuação (por exemplo, de 3 dB) pode ser requerida em cada um dos canais centrais, uma vez que estes canais são reproduzidos através de dois alto-falantes, e não em um. Ainda, a quantidade de cada um dos canais centrais C e C_D que é misturada nos canais de saída pode ser controlada pelo ouvinte. Por exemplo, o ouvinte pode querer todo o canal central original C, porém uma determinada atenuação no canal central derivado C_D.

A solução pode também ser explicada por meio de um exemplo no áudio de um cinema. As figuras 7a e 7b mostram as localizações ambiente ou espacial de dois aparelhos de canais de áudio. A figura 7a mostra as localizações espaciais próximas dos canais conforme apresentados no sinal de áudio de múltiplos canais, de outra forma indicados como canais de conteúdo. A figura 7b mostra as localizações próximas de canais, indicados como canais de reprodução de áudio, que podem ser reproduzidos em um cinema que é equipado para reproduzir um material de áudio de cinco canais. Alguns dos canais de conteúdo possuem localizações de canais de reprodução de áudio correspondentes, quais sejam os canais L, C. R, Rs θ Ls. Outros canais de conteúdo não possuem localizações de canais de reprodução de áudio correspondentes e, portanto, devem ser misturados em um ou mais canais de reprodução de áudio. Uma abordagem típica é combinar estes canais de conteúdo com os dois canais de reprodução de áudio mais próximos.

Conforme acima mencionado, uma combinação aditiva simples pode resultar em artefatos audíveis. Conforme também mencionado, a combinação conforme descrita com relação às figuras 1 e 2 pode igualmente resultar em artefatos de geração de imagem fantasma quando os canais que têm um conteúdo substancialmente comum são ajustados em fase ou tempo de maneira diferente. Uma solução inclui a extração dos sinais que são comuns para mais de um canal de entrada a partir destes canais de entrada e a colocação dos mesmos em canais novos e separados.

A figura 7c mostra um dispositivo ou processo 700 para o caso no qual são criados cinco canais adicionais Qi a Q₅ por meio da extração de informações comuns a algumas combinações dentre os canais de conteúdo ou de entrada, usando o dispositivo ou o processo (Descorrelacionar Canais) 701. O dispositivo ou o processo 701 pode empregar uma técnica de multiplicação / descorrelação de canais adequada, tal como a descrita acima para uso no dispositivo ou função Descorrelacionar Canais 601. O número real e a localização espacial destes canais intermediários adicionais podem variar de acordo com as variações nos sinais de áudio contidos nos canais de conteúdo. O dispositivo ou processo 702, com base na disposição da fi gura 2, porém, aqui, com cinco canais de saída, combina os canais intermediários da função Descorrelacionar Canais 701 de modo a criar os cinco canais de reprodução de áudio.

Na correção de tempo e fase, um dos canais intermediários, como, por exemplo, o canal C, pode ser indicado como o canal de referência e todos os demais canais intermediários podem ser ajustados em tempo e fase com relação a esta referência. De maneira alternativa, pode ser benéfico indicar mais de um dentre os canais como canais de referência e, deste modo, realizar correções de tempo ou fase em grupos menores de canais que o número total de canais intermediários. Por exemplo, se o canal Qi representar sinais comuns extraídos dos canais de conteúdo L e C, e se os canais Qi e Lc são combinados com os canais intermediários L e C de modo a criar os canais de reprodução de áudio L e C, o canal Lc pode ser indicado como o canal de referência. Os canais intermediários L, C, e Qi são em seguida ajustados em tempo ou fase com relação ao canal intermediário de referência Lc- Cada grupo menor de canais intermediários é ajustado em tempo ou fase em sucessão até que todos os canais intermediários sejam considerados pelo processo de correção de tempo e fase.

Ao criar os canais de reprodução de áudio, o dispositivo ou processo 702 pode assumir um conhecimento a priori das localizações espaciais dos canais de conteúdo. As informações relativas ao número e à localização espacial dos canais intermediários adicionais podem ser assumidas ou podem ser passadas para o dispositivo ou processo 702 a partir do dispositivo ou processo de descorrelação 701 via o caminho 703. Isto permite que o processo ou dispositivo 702 combine os canais intermediários adicionais com, por exemplo, os dois canais de reprodução de áudio mais próximos de modo que uma direção de imagem fantasma deste canais adicionais seja mantida.

Implementação

A presente invenção pode ser implementada em hardware ou em software, ou em uma combinação de ambos (por exemplo, arrays lógicos programáveis). A menos que de outra forma especificado, os algoritmos in cluídos como parte da presente invenção não se referem inerentemente a nenhum computador em particular ou a outros aparelhos. Em particular, várias máquinas de uso geral podem ser usadas com os programas escritos de acordo com os ensinamentos do presente documento, ou pode ser mais conveniente se construir mais aparelhos especializados (por exemplo, circuitos integrados) a fim de realizar as necessárias etapas de método. Deste modo, a presente invenção pode ser implementada em um ou mais programas de computador executados em um ou mais sistemas de computador programável, cada qual compreendendo pelo menos um processador, pelo menos um sistema de armazenamento de dados (inclusive uma memória volátil e não-volátil e/ou elementos de armazenamento), pelo menos um dispositivo ou porta de entrada, e pelo menos um dispositivo ou porta de saída. O código de programa é aplicado aos dados de entrada no sentido de realizar as funções descritas no presente documento e gerar outras informações. As informações de saída são aplicadas a um ou mais dispositivos de saída, de uma maneira conhecida.

Cada programa pode ser implementado em qualquer linguagem de computador desejada (inclusive em linguagens de máquina, de montagem, ou em uma linguagem procedural de alto nível, em uma linguagem lógica, ou em linguagens de programação orientadas em objeto) a fim de se comunicar com um sistema de computador. De qualquer forma, a linguagem pode ser uma linguagem compilada ou uma linguagem interpretada.

Cada programa de computador é de preferência armazenado em ou transferido para uma mídia ou dispositivo de armazenamento (por exemplo, uma memória ou mídia de estado sólido, ou um meio magnético ou ótico) legível por um computador programável de uso especial ou geral, de modo a configurar e operar o computador quando a mídia ou dispositivo de armazenamento é lido pelo sistema de computador a fim de realizar os procedimentos descritos no presente documento. O sistema inventivo pode também ser considerado para ser implementado como um meio de armazenamento legível em computador, configurado com um programa de computador, no qual o meio de armazenamento assim configurado faz com que um sistema de computador opere de uma maneira específica e predefinida no sentido de executar as funções descritas no presente documento.

Foram descritas diversas modalidades da presente invenção. No entanto, será entendido que várias modificações podem ser feitas sem se 5 afastar do espírito ou âmbito da presente invenção. Por exemplo, algumas etapas descritas acima podem ser independentes de ordem, e, deste modo, podem ser realizadas em uma ordem diferente da descrita. Por conseguinte, outras modalidades encontram-se dentro do âmbito das reivindicações a seguir.

Claims

REIVINDICAÇÕES

1. Processo para combinar canais de áudio, compreendendo:

- combinar os canais de áudio de modo a produzir um canal de áudio combinado, e

5 - aplicar dinamicamente um ou mais ajustes de tempo, fase e amplitude ou força aos canais, ao canal combinado, ou a ambos os canais e ao canal combinado, em que um ou mais dentre os ditos ajustes é controlado pelo menos em parte por meio de uma medida de eventos auditivos em um ou mais dentre os canais e/ou o canal combinado.

10
2. Processo, de acordo com a reivindicação 1, no qual os ditos ajustes são controlados de modo a permanecerem substancialmente constantes durante eventos auditivos e a permitirem mudanças nos ou próximo aos limites dos eventos auditivos.
3. Processo para a mistura descendente de canais de áudio P a

15 canais de áudio Q, em que P é maior que Q, e no qual pelo menos um dentre os canais de áudio Q é obtido pelo processo como definido na reivindicação 1 ou 2.
4. Processo para a mistura descendente de três canais de áudio de entrada α, β, e δ a dois canais de áudio de saída a e δ, em que os três

20 canais de áudio de entrada representam, em ordem, as direções espaciais consecutivas α, β, e δ, e os dois canais de saída a e δ representam as direções espaciais não-consecutivas α e δ, compreendendo:

- extrair os componentes de sinal comuns dos dois canais de áudio de entrada que representam as direções α e δ de modo a produzir três

25 canais intermediários:

- o canal a’, uma modificação de canal α representando a direção α, o canal α compreendendo os componentes de sinal do canal α a partir do qual os componentes de sinal comuns aos canais de entrada α e δ são substancialmente removidos,

30 - o canal δ’, uma modificação do canal δ representando a direção δ, o canal δ’ compreendendo os componentes de sinal do canal δ a partir do qual os componentes de sinal comuns aos canais de entrada α e δ são substan cialmente removidos, e

- o canal β’, um novo canal representando a direção β, o canal β’ compreendendo os componentes de sinal comuns aos canais de entrada α e δ,

- combinar o canal intermediário α’, o canal intermediário β’, e o canal de entrada β de modo a produzir o canal de saída a, e

- combinar o canal intermediário δ’, o canal intermediário β’, e o canal de entrada β de modo a produzir o canal de saída δ’.
5. Processo, de acordo com a reivindicação 4, compreendendo ainda aplicar dinamicamente um ou mais dentre os ajustes de tempo, fase, e amplitude ou força a um ou mais dentre os canais intermediários α’, β’, e δ’, e ao canal de entrada β, e/ou a um ou ambos os canais de saída combinados a e δ.
6. Processo, de acordo com a reivindicação 5, no qual um ou mais dentre os ditos ajustes é controlado pelo menos em parte por uma medida de eventos auditivos em um ou mais canais dentre os canais de entrada, os canais intermediários, e/ou o canal de canais de saída combinados.
7. Processo, de acordo com a reivindicação 6, no qual os ditos ajustes são controlados de modo a permanecerem substancialmente constantes durante eventos auditivos e a permitirem mudanças nos ou próximo aos limites de eventos auditivos.
8. Processo, de acordo com a reivindicação 4, no qual as direções espaciais consecutivas α, β, e δ vêm a ser uma dentre os conjuntos de direções:

- esquerda, central, e direita;

- esquerda, central esquerda, e central,

- central, central direita, e direita,

- direita, intermediária direita, e surround direita.

- surround direita, traseira central, e surround esquerda, e

- surround esquerda, intermediária esquerda, e esquerda.
9. Aparelho adaptado para executar os processos como definidos em qualquer uma das reivindicações 1 a 8.
10. Programa de computador, armazenado em um meio legível em computador de modo a fazer com que um computador execute osprocessos como definidos em qualquer uma das reivindicações 1 a 8.