BRPI0711063A2 - controle de ganho de áudio utilizando detecção de evento auditivo baseado em sonoridade especìfica - Google Patents

Abstract

CONTROLE DE GANHO DE áUDIO UTILIZANDO DETECçãO DE EVENTO AUDITIVO BASEADO EM SONORIDADE ESPECìFICA. A presente invenção refere-se a modificações de ganho dinâmico aplicadas a um sinal de áudio pelo menos parcialmente em resposta a eventos auditivos e/ou o grau de mudança em características de sinal associadas aos ditos limites de evento auditivo. Em outro aspecto, um sinal de áudio é dividido em eventos auditivos pela comparação da diferença em sonoridade específica entre os sucessivos blocos de tempo do sinal de áudio.

Description

Relatório Descritivo da Patente de Invenção para "CONTROLEDE GANHO DE ÁUDIO UTILIZANDO DETECÇÃO DE EVENTO AUDITIVOBASEADO EM SONORIDADE ESPECÍFICA". '

Campo da Técnica

A presente invenção refere-se a métodos e aparelho de controlede faixa dinâmica de áudio nos quais um dispositivo de processamento deáudio analisa um sinal de áudio e muda o nível, o ganho ou a faixa dinâmicado áudio, e todos ou alguns dos parâmetros do ganho de áudio e do proces-samento dinâmico são gerados como uma função de eventos auditivos. Ainvenção também refere-se a programas de computador para praticar taismétodos ou controlar tal aparelho.

A presente invenção também refere-se a métodos e aparelhoque utilizam uma detecção baseada em sonoridade específica de eventosauditivos. A invenção também refere-se a programas de computador parapraticar tais métodos ou controlar tal aparelho.

Antecedentes da Técnica

Processamento Dinâmico de Áudio

As técnicas de controle de ganho automático (AGC) e controlede faixa dinâmica (DRC) são bens conhecidas e são um elemento comumem muitos percursos de sinal de áudio. Em um senso abstrato, ambas astécnicas medem o nível de um sinal de áudio em algum modo e então modi-ficam em ganho o sinal por um valor que é uma função do nível medido. Emum sistema de processamento dinâmico linear, 1:1, o áudio de entrada não éprocessado e o sinal de áudio de saída idealmente coincide com o sinal deáudio de entrada. Além disso, se tivesse um sistema de processamento di-nâmico de áudio que mede automaticamente as características do sinal deentrada e utiliza esta medição para controlar o sinal de saída, se o sinal deentrada aumentar de nível por 6 dB e o sinal de saída for processado demodo que este somente aumente de nível por 3 dB, então o sinal de saídafoi comprimido por uma razão de 2:1 em relação ao sinal de entrada. A Pu-blicação Internacional Número WO 2006/047600 A1 ("Calculando e Ajustan-do a Sonoridade Percebida e/ou o Balanço Espectral Percebido de Um Sinalde Áudio" por Alan Jeffrey Seefeldt) provê uma vista geral detalhada dos cin-co tipos básicos de processamento dinâmico de áudio: compressão, limita-ção, controle de ganho automático (AGC)1 expansão e obstrução.

Eventos Auditivos e Detecção de Evento Auditivo

A divisão de sons em unidades ou segmentos percebidos comoseparados e distintos é algumas vezes referida como "análise de evento au-ditivo" ou "análise de cena auditiva" ("ASA") e os segmentos são algumasvezes referido como "eventos auditivos" ou "eventos de áudio". Uma discus-são extensa de análise de cena auditiva é apresentada por Albert S. Breg-man no seu livro Auditory Scene Analysis - The Perceptual Organization ofSound, Massachusetts Institute of Technology, 1991, Quarta impressão,2001, Segunda edição de brochura de MIT Press. Além disso, a PatenteU.S. Número 6.002.776 para Bhadkamkar et al., 14 de Dezembro de 1999sita publicações que datam até 1976 como "trabalho de técnica anterior rela-tivo à separação de som por análise de cena auditiva", No entanto, a patentede Bhadkamkar et al. desencoraja a utilização prática de análise de cenaauditiva, concluindo que "[t]écnicas que envolvem a análise de cena auditiva,apesar de interessantes de um ponto de vista científico como modelos deprocessamento auditivo humano, são atualmente computacionalmente solici-tantes demais e especializados para serem consideradas técnicas práticaspara separação de som até que urrrprogresso fundamental seja feito".

Um modo útil para identificar os eventos auditivos é apresentadopor Crockett e Crocket et al. em vários pedidos de patente e documentosabaixo listados sob o cabeçalho "Incorporação Por Referência". De acordocom estes documentos, um sinal de áudio está dividido em eventos auditi-vos, cada um dos quais tende a ser percebido como separado e distinto, pe-la detecção de mudanças em composição espectral (amplitude como umafunção de freqüência) em relação ao tempo. Isto pode ser feito, por exemplo,calculando o conteúdo espectral de blocos de tempo sucessivos do sinal deáudio, calculando a diferença em conteúdo espectral entre blocos de temposucessivos do sinal de áudio, e identificando um limite de evento auditivocomo o limite entre sucessivos blocos de tempo quando a diferença no con-teúdo espectral entre tais blocos de tempo sucessivos excede um limite. Al-ternativamente, mudanças em amplitude em relação ao tempo podem sercalculadas ao invés de ou em adição a mudançaá em composição espectralcom relação ao tempo.

Em sua implementação menos computacionalmente solicitante,o processo divide o áudio em segmentos de tempo pela análise da banda defreqüência inteira (áudio de largura de banda total) ou substancialmente abanda de freqüência inteira (em implementações práticas, uma filtragem delimitação de banda nas extremidades do espectro é freqüentemente empre-gada), e dando o maior peso para os componentes de sinal de áudio maisaltos. Esta proposta aproveita-se de um fenômeno psicoacústico no qual emmenores escalas de tempo (20 milissegundos (ms) e menos) o ouvido podetender a focalizar sobre um único evento auditivo a um dado tempo. Isto im-plica em que apesar de múltiplos eventos poderem estar ocorrendo aomesmo tempo, um componente tende a ser perceptualmente mais proemi-nente e pode ser processado individualmente como se este fosse o únicoevento acontecendo. O aproveitamento deste efeito também permite que adetecção de evento auditivo escale com a complexidade do áudio que estásendo processado. Por exemplo, se o sinal de áudio de entrada que estásendo processado for um instrumento solo, os eventos de áudio que sãoidentificados provavelmente serão as notas individuais que estão sendo to-cadas. Similarmente para um sinal de voz de entrada, os componentes indi-viduais de fala, as vogais e as consoantes por exemplo, serão provavelmen-te identificados como elementos de áudio individuais. Conforme a complexi-dade do áudio aumenta, tal como uma música com bateria ou múltiplos ins-trumentos e voz, a detecção de evento auditivo identifica o elemento de áu-dio "mais proeminente" (isto é, o mais alto) em qualquer dado momento.

A expensas de uma maior complexidade computacional, o pro-cesso pode também levar em consideração as mudanças em composiçãoespectral em relação ao tempo em sub-bandas de freqüência discretas (sub-bandas fixas ou dinamicamente determinadas ou tanto fixas quanto dinami-camente determinadas) ao invés da largura de banda total. Esta propostaalternativa leva em conta mais do que um fluxo de áudio em diferentes sub-bandas de freqüência ao invés de assumir que somente um único fluxo éperceptível em um tempo específico. ·

Uma detecção de evento auditivo pode ser implementada divi-dindo uma forma de onda de áudio de domínio de tempo em intervalos oublocos de tempo e então convertendo os dados em cada bloco para o domí-nio de freqüência, utilizando ou um banco de filtros ou uma transformação detempo - freqüência, tal como a FFT. A amplitude do conteúdo espectral decada bloco pode ser normalizada de modo a eliminar ou reduzir o efeito demudanças de amplitude. Cada representação de domínio de freqüência re-sultante provê uma indicação do conteúdo espectral do áudio nò bloco espe-cífico. O conteúdo espectral de blocos sucessivos é comparado e as mudan-ças maiores do que um limite podem ser tomadas para indicar o início tem-poral ou o fim temporal de um evento auditivo.

Preferencialmente, os dados de domínio de freqüência são nor-malizados, como é descrito abaixo.

O grau no qual os dados de domínio de freqüência precisam sernormalizados fornece uma indicação de amplitude. Com isto, se uma mu-dança neste grau exceder um limite predeterminado isto também pode sertomado para indicar um limite de evento. Os pontos de início e fim de eventoque resultam de mudanças espectrais e de mudanças, de amplitude podemser ÒRed juntos de modo que os limites de evento que resultam de cada tipode mudança sejam identificados.

Apesar das técnicas descritas nos ditos pedidos e documentosde Crockett e Crocket et al. serem especificamente úteis em conexão comos aspectos da presente invenção, outras técnicas para identificar os even-tos auditivos e os limites de eventos podem ser empregadas em aspectos dapresente invenção.Descrição da Invenção

O processamento dinâmico de áudio da técnica anterior conven-cional envolve multiplicar o áudio por um sinal de controle que varia no tem-po que ajusta o ganho do áudio produzindo um resultado desejado. "Ganho"é um fator de escalagem que escala a amplitude de áudio. Este sinal de con-trole pode ser gerado em uma base contínua ou de blocos de dados de áu-dio, mas é geralmente derivado por alguma formá de medição do áudio queestá sendo processado, e esta taxa de mudança é determinada por filtros de suavização, algumas vezes com características fixas e algumas vezes comcaracterísticas que variam com a dinâmica do áudio. Por exemplo, os tem-pos de resposta podem ser ajustáveis de acordo com as mudanças na mag-nitude ou na potência do áudio. Os métodos da técnica anterior tais como ocontrole de ganho automático (AGC) e a compressão de faixa dinâmica (DRC) não avaliam em nenhum modo psicoacusticamente baseado os inter-valos de tempo durante os quais as mudanças de ganho podem ser percebi-das como deteriorações e quando estas podem ser aplicadas sem imprimirartefatos audíveis. Portanto, os processos de dinâmica de áudio convencio-nais podem freqüentemente introduzir artefatos audíveis, isto é, os efeitos doprocessamento de dinâmica podem introduzir mudanças perceptíveis inde-sejadas no áudio.

A análise de cena auditiva identifica os eventos auditivos percep-tualmente discretos, com cada evento ocorrendo entre dois limites de eventoauditivo consecutivos. As deteriorações audíveis causadas por uma mudan- ça de.ganho podem ser grandemente reduzidas assegurando que dentro deum evento auditivo o ganho é mais praticamente constante e confinandomuitas das mudanças à vizinhança de um limite de evento. No contexto decompressores ou expansores, a resposta a um aumento em nível de áudio(freqüentemente denominada o ataque) pode ser rápida, comparável com ou mais curta do que a duração mínima de eventos auditivos, mas a resposta auma diminuição (a liberação ou recuperação) pode ser mais lenta do que ossons que deveriam parecer constantes ou decair gradualmente mas audi-velmente perturbados. Sob tais circunstâncias, é muito benéfico retardar arecuperação de ganho até o próximo limite ou diminuir a taxa de mudança de ganho durante um evento. Para as aplicações de controle de ganho au-tomáticas, onde o nível médio a longo prazo ou sonoridade do áudio é nor-malizado e tanto o tempo de ataque quanto de liberação podem portanto serlongos comparados com a duração mínima de um evento auditivo, é benéfi-co durante os eventos retardar as mudanças ou diminui as taxas de mudan-ça em ganho até o próximo limite de evento tanto 1^ara os ganhos crescentesquanto decrescentes.

De acordo com um aspecto da presente invenção, um sistemade processamento de áudio recebe um sinal de áudio e analisa e altera oganho e/ou as características de faixa dinâmica do áudio. A modificação defaixa dinâmica do áudio é freqüentemente controlada por parâmetros de umsistema de processamento de dinâmica (tempo de ataque e liberação, taxade compressão, etc.) que tem efeitos significativos sobre os artefatos per-ceptuais introduzidos pelo processamento de dinâmica. As mudanças emcaracterísticas de sinal em relação ao tempo no sinal de áudio são detecta-das e identificadas como limites de evento auditivo, de modo que um seg-mento de áudio entre limites consecutivos constitui um evento auditivo nosinal de áudio. As características dos eventos auditivos de interesse podemincluir as características dos eventos tais como força perceptual ou duração.Alguns dos ditos um ou mais parâmetros de processamento de dinâmica sãogerados pelo menos parcialmente em resposta a eventos auditivos e/ou ograu de mudança em características de sinal associadas com os ditos limitesde evento auditivo.

Tipicamente, um evento auditivo é um segmento de áudio quetende a ser percebido como separado e distinto. Uma medida utilizável decaracterísticas de sinal inclui uma medida do conteúdo espectral do áudio,por exemplo, como descrito nos documentos de Crockett e Crocket et al.citados. Todos ou alguns dos um ou mais parâmetros de processamento dedinâmica de áudio podem ser gerados pelo menos parcialmente em respostaà presença ou à ausência e às características de um ou mais eventos auditi-vos. Um limite de evento auditivo pode ser identificado como uma mudançaem características de sinal em relação ao tempo que excede um limite. Al-ternativamente, todos ou alguns dos um ou mais parâmetros podem ser ge-rados pelo menos parcialmente em resposta a uma medida continuada dograu de mudança em características de sinal associadas com os ditos limitesde evento auditivo. Apesar de que, em princípio, os aspectos da invençãopodem ser implementados em domínios analógicos e/ou digitais, as imple-mentações práticas são prováveis serem implementadas no domínio digitalno qual cada um dos sinais de áudio está representado por amostras indivi-duais ou amostras dentro de blocos de dados. Neste caso, as característicasde sinal podem ser o conteúdo espectral de áudio dentro de um bloco, a de-tecção de mudanças em características de sinal em relação ao tempo po-dem ser a detecção de mudanças em conteúdo espectral de áudio de blocopara bloco, e os limites de início e fim temporais de evento auditivo cada umcoincide com um limite de um bloco de dados. Deve ser notado que para ocaso mais tradicional de executar as mudanças de ganho dinâmico em umabase de amostra por amostra, que a análise de cena auditiva descrita pode-ria ser executada em uma base de bloco e as informações de evento auditi-vo resultantes sendo utilizadas para executar as mudanças de ganho dinâ-mico que são aplicadas amostra por amostra.

Pelo controle dos parâmetros de processamento de dinâmica deáudio chaves utilizando os resultados de análise de cena auditiva, uma re-dução dramática de artefatos audíveis introduzidos por processamento dedinâmica pode ser conseguida.

A presente invenção apresenta dois modos para executar umaanálise de cena. auditiva. O pi-imeiro-executa um análise espectral e identificaa localização de eventos de áudio perceptíveis que são utilizados para con-trolar os parâmetros de ganho dinâmico pela identificação de mudanças emconteúdo espectral. O segundo modo transforma o áudio em um domínio desonoridade perceptual (que pode prover mais informações psicoacustica-mente relevantes do que o primeiro modo) e identifica a localização de even-tos auditivos que são subseqüentemente utilizados para controlar os parâ-metros de ganho dinâmico. Deve ser notado que o segundo modo requerque o processamento de áudio esteja ciente de níveis de reprodução acústi-ca absolutos, o que pode não ser possível em algumas implementações. Aapresentação de ambos os métodos de análise de cena auditiva permite im-plementações de modificação de ganho dinâmico controladas por ASA utili-zando os processos ou dispositivos que podem ser calibrados ou não paralevar em conta os níveis de reprodução absolutos.

Os aspectos da presente invenção eStão aqui descritos em umambiente de processamento de dinâmica de áudio que inclui os aspectos deoutras invenções. Tais outras invenções estão descritas em vários Pedidosde Patente Pendentes dos Estados Unidos ou Internacionais do Dolby Labo-ratories Dcensing Corporation, o proprietário do presente pedido, cujos pedi-dos estão aqui identificados.

Descrição dos Desenhos

Figura 1 é um fluxograma que mostra um exemplo de etapas deprocessamento para executar uma análise de cena auditiva.

Figura 2 mostra um exemplo de processamento de bloco, aber-tura de janelas e execução de DFT em áudio enquanto executando a análisede cena auditiva.

Figura 3 está na natureza de um fluxograma ou diagrama deblocos funcional, que mostra um processamento paralelo no qual o áudio éutilizado para identificar os eventos auditivos e identificar as característicasdos eventos auditivos de modo que os eventos e suas características sejamutilizados para modificar os parâmetros de processamento de dinâmica.

Figura 4 está na natureza de um fluxograma ou diagrama, deblocos funcional, que mostra um processamento no qual o áudio é.utilizadosomente para identificar os eventos auditivos e as características de eventosão determinadas da detecção de evento de áudio de modo que os eventose suas características sejam utilizados para modificar os parâmetros de pro-cessamento de dinâmica.

Figura 5 está na natureza de um fluxograma ou diagrama deblocos funcional, que mostra um processamento no qual o áudio é utilizadosomente para identificar os eventos auditivos e as características de eventosão determinadas da detecção de evento de áudio de modo que somente ascaracterísticas de eventos auditivos sejam utilizadas para modificar os pa-râmetros de processamento de dinâmica.

Figura 6 mostra um conjunto de respostas características de fil-tro auditivo idealizadas que aproximam um requadramento crítico na escalade ERB. A escala horizontal é a freqüência em Hertz e escala vertical é onível em decibéis.

Figura 7 mostra contornos de sonoridade iguais da ISO 226. Aescala horizontal é a freqüência em Hertz (escala logarítmica de base 10) ea escala vertical e o nível de pressão de som em decibéis.

Figuras 8a-c mostram as características de entrada / saída idea-lizadas e as características de ganho de entrada de um compressor de faixadinâmica de áudio.

Figuras 9a-f mostram um exemplo da utilização de eventos audi-tivos para controlar o tempo de liberação em uma implementação digital deum Controlador de Faixa Dinâmica (DRC) tradicional no qual o controle deganho é derivado da potência de Valor Médio Quadrático (RMS) do sinal.

As figuras 10a-f mostram um exemplo da utilização de eventosauditivos para controlar o tempo de liberação em uma implementação digitalde um Controlador de Faixa Dinâmica (DRC) tradicional no qual o controlede ganho é derivado da potência de Valor Médio Quadrático (RMS) do sinalpara um sinal alternativo àquele utilizado na figura 9.

Figura 11 apresenta um conjunto adequado de curvas de AGC ede DRC idealizadas para a aplicação de AGC seguido por DRC em um sis-tema de processamento dedinâmica de domínio de sonoridade. O objetivoda çiombinação é fazer com que todo a áudio processado tenha aproxima-damente a mesma sonoridade percebida enquanto ainda mantendo pelomenos alguma da dinâmica de áudio original.

Melhor Modo para Executar a Invenção

Análise de CenaAuditiva (Método de Domínio Original, Sem Sonoridade)

De acordo com uma modalidade de um aspecto da presente in-venção, uma análise de cena auditiva pode ser composta de quatro etapasde processamento gerais como mostrado em uma porção da figura 1. A pri-meira etapa 1-1 ("Executar Análise Espectral") toma um sinal de áudio dedomínio de tempo, divide-o em blocos e calcula um perfil espectral ou conte-údo espectral para cada um dos blocos. A análise espectral transforma osinal de áudio no domínio de freqüência de curto prazo. Isto pode ser execu-tado utilizando qualquer banco de filtros, ou baseado em transformadas oubancos de filtros de passagem de banda, e em espaço de freqüência ou li-near ou. distorcido (tal como a escala de Bark ou banda crítica, a qual melhorse aproxima das características do ouvido humano). Com qualquer banco defiltros existe uma negociação entre o tempo e a freqüência. Uma maior reso-lução dé tempo, e com isto intervalos de tempo mais curtos, leva a uma me-nor resolução de freqüência. Uma maior resolução de freqüência, e com istosub-bandas mais estreitas, leva a intervalos de tempo mais longos.

A primeira etapa, ilustrada conceitualmente na figura 1, calcula oconteúdo espectral de sucessivos segmentos de tempo do sinal de áudio.Em uma modalidade prática, o tamanho de bloco de ASA pode ser que qual-quer número de amostras do sinal de áudio de entrada, apesar de que 512amostras provêem uma boa negociação de tempo e resolução de freqüên-cia. Na segunda etapa 1-2, as diferenças em conteúdo espectral de blocopara bloco são determinadas ("Executar medições de diferença de perfil es-pectral"). Assim, a segunda etapa calcula a diferença em conteúdo espectralentre os sucessivos segmentos de tempo do sinal de áudio. Como acimadiscutido, um indicador poderoso do início ou do fim de um evento auditivopercebido acredita-se ser uma mudança em conteúdo espectral. Na terceiraetapa 1-2 ("Identificar a localização de limites de evento auditivo"), quando adiferença espectral entre um bloco de perfil espectral e o seguinte é maior doque um limite, o limite de bloco é considerado ser um limite de evento auditi-vo. O segmento de áudio entre limites consecutivos constitui um evento au-ditivo. Assim, a terceira etapa determina um limite de evento auditivo entreos sucessivos segmentos de tempo quando a diferença no conteúdo de per-fil espectral entre tais segmentos de tempo sucessivos excede um limite,assim definindo os eventos auditivos. Nesta modalidade, os limites de even-to auditivo definem os eventos auditivos que tem um comprimento que é ummúltiplo integral de blocos de perfil espectral com um comprimento mínimode um bloco de perfil espectral (512 amostras neste exemplo). Em princípio,os limites de eventos não precisam ser tão limitados. Como uma alternativaàs modalidades práticas aqui discutidas, o tamanho de bloco de entrada po-de variar, por exemplo, de modo a ter essencialmente o tamanho de um e-vento auditivo.

Após a identificação dos limites de eventos, as característicaschave do evento auditivo são identificadas, como mostrado na etapa 1-4.

Os segmentos sobrepostos ou não sobrepostos do áudio podemser abertos em janelas e utilizados para computar os perfis espectrais doáudio de entrada. A sobreposição resulta em uma resolução mais fina quantoà localização de eventos auditivos e, também, torna menos provável perderum evento, tal como um transiente curto. No entanto, a sobreposição tam-bém aumenta a complexidade computacional. Assim, a sobreposição podeser omitida. A figura 2 mostra uma representação conceituai de N blocos deamostra não sobrepostos sendo abertos em janelas e transformados no do-mínio de freqüência pela Transformada de Fourier Discreta (DFT). Cada blo-co pode ser. aberto em janela e transformado no domínio de freqüência, talcomo pela utilização da DFT, dé preferência implementada como uma Trans-formada de Fourier Rápida (FFT) para velocidade.

As seguintes variáveis podem ser utilizadas para computar operfil espectral do bloco de entrada:

M = número de amostras abertas em janelas em um bloco utili-zado para computar um perfil espectral

P = número de amostras de sobreposição de computação es-pectral

Em geral, quaisquer números inteiros podem ser utilizados paraas variáveis acima. No entanto, a implementação será mais eficiente se Mfor determinado igual a uma potência de 2 de modo que FFTs padrão podemser utilizadas para os cálculos de perfil espectral. Em uma modalidade práti-ca do processo de análise de cena auditiva, os parâmetros listados podemser ajustados para:

M = 512 amostras (ou 11,6 ms a 44,1 kHz)

P = O amostras (sem sobreposição)

Os valores acima listados foram determinados experimentalmen-te e foram descobertos geralmente identificar com uma precisão suficiente alocalização e a duração de eventos auditivos. No entanto, ajustando o valorde P para 256 amostras (50% de sobreposição) *ao invés de zero amostras(sem sobreposição) foi descoberto ser útil na identificação de eventos difí-ceis de encontrar. Apesar de muitos diferentes tipos de janelas poderem serutilizados para minimizar os artefatos espectrais devido à abertura em jane-la, a janela utilizada nos cálculos de perfil espectral é uma janela de M pon-tos de Hanning, Kaiser-Bessel ou outra janela adequada, de preferência nãoretangular. Os valores acima indicados e um tipo de janela de Hanning foramselecionados após uma extensa análise experimental já que estes mostra-ram prover excelentes resultados através de uma ampla faixa de material deáudio. A abertura em janela não retangular é preferida para o processamentode sinais de áudio com conteúdo de freqüência predominantemente baixo. Aabertura em janela retangular produz artefatos espectrais que podem causaruma detecção incorreta de eventos. Ao contrário de certas aplicações decodificador / decodificador (codec) onde um processo de sobreposição / adi-ção total deve prover um nível constante, tal restrição não aplica-se aqui e ajanela pode ser escolhida por características tais como a sua resolução detempo / freqüência e rejeição de banda de corte.

Na etapa 1-1 (figura 1), o espectro de cada bloco de amostras Mpode ser computado abrindo~em janela os dados com uma janela de M pon-tos de Hanning, Kaiser-Bessel ou outra janela adequada, convertendo para odomínio de freqüência utilizando uma Transformada de Fourier Rápida de Mpontos, e calculando a magnitude dos coeficientes de FFT complexos. Osdados resultantes são normalizados de modo que a maior magnitude é ajus-tada para a unidade, e a matriz normalizada de M números é convertida parao domínio log. Os dados podem também ser normalizados por alguma outramétrica tal como o valor de magnitude média ou o valor de potência médiados dados. A matriz não precisa ser convertida para o domínio log, mas aconversão simplifica o cálculo da medida de diferença na etapa 1-2. Maisainda, o domínio Iog coincide mais proximamente com a natureza do sistemaauditivo humano. Os valores de domínio Iog resultantes tem uma faixa demenos infinito até zero. Uma modalidade prática, um limite inferior pode serimposto sobre a faixa de valores; o limite pode ser fixo, por exemplo -60 dB,ou ser dependente de freqüência para refletir a audibilidade mais baixa desons discretos em freqüências baixas e muito altas. (Note que seria possívelreduzir o tamanho da matriz para M/2 em que a FFT representa as freqüên-cias negativas assim como as positivas).

A etapa 1-2 calcula uma medida da diferença entre os espectrosde blocos adjacentes. Para cada bloco, cada um dos M (Iog) coeficientesespectrais da etapa 1-1 é subtraído do coeficiente correspondente para obloco precedente, e a magnitude da diferença calculada (o sinal é ignorado).Estas M diferenças são então somadas para um número. Esta medida dediferença pode também ser expressa como uma diferença média por coefici-ente espectral dividindo a medida de diferença pelo número de coeficientesespectrais utilizados na soma (neste caso M coeficientes).

A etapa 1-3 identifica as localizações de limites de eventos audi-tivos pela aplicação de um limite à matriz de medidas de diferença da etapa1-2 com um valor limite. Quando uma medida de diferença excede um limite,a mudança em espectro é considerada suficiente para sinalizar um novo e-vento e o número de bloco da mudança é gravado como um limite de even-to. Para os valores de M e P acima fornecidos e para os valores de domíniolog (na etapa 1-1) expressos em unidades de dB, o limite pode ser determi-nado igual a 2500 se a FFT de magnitude inteira (incluindo a parte espelha-da) for comparada ou 1250 se metade da FFT for comparada (como acimanotado, a FFT representa as freqüências negativas assim como positivas -para a magnitude da FFT, uma é a imagem de espelho da outra). Este valorfoi escolhido experimentalmente e este provê uma boa detecção de limite deevento auditivo. Este valor de parâmetro pode ser mudado para reduzir (au-mentar o limite) ou aumentar (diminuir o limite) a detecção de eventos.

O processo da figura 1 pode ser representado mais generica-mente pelas disposições equivalentes das figuras 3, 4 e 5. Na figura 3, umsinal de áudio é aplicado em paralelo a uma função de "Identificar os Even-tos Auditivos" ou etapa 3-1 que divide o sinal de áudio em eventos auditivos,cada um dos quais tende a ser percebido como separado e distinto e parauma função de "Identificar as Características de Eventos Auditivos" opcionalou etapa 3-2. O processo da figura 1 pode ser empregado para dividir o sinalde áudio em eventos auditivos e as suas características identificadas ou al-gum outro processo adequado pode ser empregado. As informações de e-vento auditivo, as quais podem ser uma identificação de limites de eventoauditivo, determinada pela função ou etapa 3-1 são então utilizadas paramodificar os parâmetros de processamento de dinâmica de áudio (tais comoataque, liberação, razão, etc.), conforme desejado, por uma função de "Mo-dificar os Parâmetros de Dinâmica" ou etapa 3-3. A função de "IdentificarCaracterísticas" opcional ou etapa 3-3 também recebe as informações deevento auditivo. A função de "Identificar Características" ou etapa 3-3 podecaracterizar alguns ou todos os eventos auditivos por uma ou mais caracte-rísticas. Tais características podem incluir uma identificação da sub-bandadominante do evento auditivo, como descrito em conexão com o processoda figura 1. As características podem também incluir uma ou mais caracterís-ticas de áudio, que incluem, por exemplo, uma medida de potência do even-to auditivo, uma medida de amplitude do evento auditivo, uma medida denivelamento espectral do evento auditivo, e se o evento auditivo é substan-cialmente silencioso, ou outras características que ajudam a modificar-os-parâmetros de dinâmica de modo que os artefatos audíveis negativos doprocessamento sejam reduzidos ou removidos. As características podemtambém incluir outras características tais como se o evento auditivo inclui umtransiente.

Alternativas à disposição da figura 3 estão mostradas nas figuras4 e 5. Na figura 4, o sinal de entrada de áudio não é aplicado diretamente nafunção de "Identificar Características" ou etapa 4-3, mas este recebe as in-formações da função de "Identificar os Eventos Auditivos" ou etapa 4-1. Adisposição da figura 1 é um exemplo específico de tal disposição. Na figura5, as funções ou etapas 5-1, 5-2 e 5-3 estão dispostas em série.

Os detalhes desta modalidade prática não são críticos. Outrosmodos de calcular o conteúdo espectral de segmentos de tempo sucessivosdo sinal de áudio, calcular as diferenças entre os segmentos de tempo su-cessivos, e determinar os limites de evento auditivo nos respectivos limitesentre os sucessivos segmentos de tempo quando a diferença no conteúdode perfil espectral entre tais segmentos de tempo sucessivos excede um Ii-mite podem ser empregados.

Análise de Cena Auditiva (Novo Método de Domínio de Sonoridade)

O Pedido Internacional sob o Tratado de Cooperação de Paten-tes S.N. PCT/US2005/038579, depositado em 25 de Outubro de 2005, publi-cado como Publicação Internacional Número WO 2006/047600 A1 ("Calcu-lando e Ajustando a Sonoridade Percebida e/ou o Balanço Espectral Perce-bido de Um Sinal de Áudio" por Alan Jeffrey Seefeldt) descreve, entre outrascoisas, uma medida objetiva de sonoridade percebida com base em um mo-delo psicoacústico. O dito pedido está por meio disto incorporado por refe-rência em sua totalidade. Como descrito no dito pedido, de um sinal de áu-dio, x[n], um sinal de excitação E[b,t] é computado que aproxima a distribui-ção de energia ao longo da membrana basilar do ouvido interno na bandacrítica b durante o bloco de tempo t. Esta excitação pode ser computada daTransformada de Fourier Discreta de Curto Prazo (STDFT) do sinal de áudiocomo segue:

<formula>formula see original document page 16</formula>

onde X[k,t] representa a STDFT de x[n] no bloco de tempo t e na caixa k.Note que na equação 1 t representa o tempo em unidades discretas de blo-cos de transformadas em oposição a uma medida contínua, tal como segun-dos. T[k] representa a resposta de freqüência de um filtro que simula atransmissão de áudio através do ouvido externo e médio, e Cb[k] representaa resposta de freqüência da membrana basilar em uma localização que cor-responde à banda crítica b. A figura 6 apresenta um conjunto adequado derespostas de filtro de banda crítica no qual 40 bandas estão espaçadas uni-formemente ao longo da escala de Largura de Banda Retangular Equivalen-te (ERB), como definido por Moore e Glasberg. Cada forma de filtro estádescrita por uma função exponencial arredondada e as bandas estão distri-buídas utilizando um espaçamento de 1 ERB. Pinalmente, a constante detempo de suavização na equação 1 pode ser vantajosamente escolhidaproporcional ao tempo de integração de percepção de sonoridade humanadentro da banda b.

Utilizando contornos de sonoridade iguais, tais como aquelesapresentados na figura 7, a excitação em cada banda é transformada em umnível de excitação que geraria a mesma sonoridade percebida a 1 kHz. Asonoridade específica, uma medida de sonoridade perceptual distribuídaatravés de freqüência e tempo, é então computada da excitação transforma-da, EikHz[b,t], através de uma não linearidade compressiva. Uma tal funçãoadequada para computar a sonoridade específica N[b,t] é dada por:

<formula>formula see original document page 17</formula>

onde TQ1kHz é o limite em silêncio a 1 kHz e as constantes β e α são esco-lhidas para coincidir com o crescimento de dados de sonoridade como cole-tados de experiências de escuta. Abstratamente, esta transformação dè exci-tação para sonoridade específica pode ser representada pela funçãoΨ{} de modo que:

<formula>formula see original document page 17</formula>

Finalmente, a sonoridade total, L[t], representada em unidadesde sone, é computada somando a sonoridade específica através das bandas:

<formula>formula see original document page 17</formula>A sonoridade específica N[b,t] é uma representação espectraldestinada a simular o modo no qual um humano percebe o áudio como umafunção de freqüência e tempo. Esta captura as váriações em sensibilidade adiferentes freqüências, variações em sensibilidade a nível, e variações em resolução de freqüência. Como tal, esta é uma representação espectral bemcoincidida com a detecção de eventos auditivos. Apesar de mais computa-cionalmente complexo, comparar a diferença de N[b,t] através das bandasentre os sucessivos blocos de tempo pode em muitos casos resultar em umadetecção perceptualmente mais precisa de eventos auditivos em compara- ção com a utilização direta de sucessivos espectros de FFT acima descrito.

No dito pedido de patente, diversas aplicações para modificar oáudio com base neste modelo de sonoridade psicoacústico estão descritas.Entre estas estão diversos algoritmos de processamento de dinâmica, talcomo AGC e DRC. Estes algoritmos descritos podem beneficiar-se da utili- zação de eventos auditivos para controlar os vários parâmetros associados.Como a sonoridade específica já está computada, esta está prontamentedisponível para o propósito de detectar os ditos eventos. Os detalhes deuma modalidade preferida estão abaixo discutidos.

Controle de Parâmetro de Processamento de Dinâmica de Áudio com Even-tos Auditivos

Dois exemplos de modalidades da invenção serão agora apre-sentados. O primeiro descreve a utilização de eventos auditivos para contro-lar o tempo de liberação em uma implementação digital de um Controladorde Faixa Dinâmica (DRC) no qual o controle de ganho é derivado da potên- cia de Valor Médio Quadrático (RMS) do sinal. A segunda modalidade des-creve a utilização de eventos auditivos para controlar certos aspectos deuma combinação mais sofisticada de AGC e DRC implementada dentro docontexto do modelo de sonoridade psicoacústico acima descrito. Estas duasmodalidades destinam-se a servir como exemplos da invenção somente, e não deve ser compreendido que a utilização de eventos auditivos para con-trolar os parâmetros de um algoritmo de processamento de dinâmica nãoestá restrita às especificidades abaixo descritas.Controle de Faixa Dinâmica

A implementação digital descrita de um DRC segmenta um sinalde áudio x[n] em blocos abertos em janela, semi-sobrepostos, e para cadabloco um ganho de modificação com base em uma medida da potência localdo sinal e uma curva de compressão selecionada é computado. O ganho ésuavizado através dos blocos e então multiplicado com cada bloco. Os blo-cos modificados são finalmente adicionados sobrepostos para gerar o sinalde áudio modificado y[n].

Deve ser notado, que apesar da análise de cena auditiva e daimplementação digital de DRC como aqui descrito dividir o sinal de áudio dedomínio de tempo em blocos para executar a análise e o processamento, oprocessamento de DRC não precisa ser executado utilizando a segmenta-ção de blocos. Por exemplo, a análise de cena auditiva poderia ser executa-da utilizando a segmentação de blocos e análise espectral como acima des-crito e as localizações e características de eventos auditivos resultantes po-deriam ser utilizadas para prover as informações de controle para uma im-plementação digital de uma implementação de DRC tradicional que tipica-mente opera em uma base de amostra por amostra. Aqui, no entanto, amesma estrutura de bloqueio utilizada para a análise de cena auditiva é em·pregada para o DRC para simplificar a descrição de sua combinação.

Prosseguindo com a descrição de umaimplementação de DRCbasèada em blocos, os blocos sobrepostos do sinal de áudio podem ser re-presentados como:

<formula>formula see original document page 19</formula>

onde M é o comprimento de bloco e o tamanho de salto é M/2, w[n] é a jane-la, n é o índice de amostra dentro do bloco, e t é o índice de bloco (note queaqui t é utilizado no mesmo modo como com a STDFT na equação 1; esterepresenta o tempo em unidades discretas de blocos ao invés de segundos,por exemplo). Idealmente, a janela w[n] afila para zero em ambas as extre-midades e soma à unidade quando semi-sobreposta com si mesma; a janelade seno comumente utilizada atende estes critérios, por exemplo.

Para cada bloco, pode-se então computar a potência de RMSpara gerar uma medida de potência P[t] em dB poi* bloco:

<formula>formula see original document page 20</formula>

(5)

Como anteriormente mencionado, poderia suavizar-se esta me-dida de potência com um rápido ataque e uma lenta liberação antes do pro-cessamento com uma curva de compressão, mas como uma alternativa apotência instantânea P[t] é processada e o ganho resultante é suavizado.Esta proposta alternativa tem a vantagem que uma simples curva de com-pressão com pontos de cotovelo agudos pode ser utilizada, mas os ganhosresultantes são ainda suavizados conforme a potência des[oca-se através doponto de cotovelo. Representando uma curva de compressão como mostra-do na figura 8c como uma função F de nível de sinal que gera um ganho, oganho de bloco G[t] é dado por:

<formula>formula see original document page 20</formula>

(6)

Assumindo que a curva de compressão aplica uma maior atenu-ação conforme o nível de sinal aumenta, o ganho será decrescente quandoo sinal estiver em "modo de ataque" e crescente quando no "modo de libera-ção". Portanto, um ganho suavizado G[t] pode ser computado de acordocom:

<formula>formula see original document page 20</formula>

(7a)

onde<formula>formula see original document page 21</formula>

Finalmente, o ganho suavizado G[t], o qual é em dB, é aplicado

a cada bloco do sinal, e os blocos modificados são adicionados sobrepostos

<formula>formula see original document page 21</formula>

Note que como os blocos'foram multiplicados por uma janelaafinada, como mostrado na equação 4, a síntese de adição de sobreposiçãoacima mostrada efetivamente suaviza os ganhos através de amostras dosinal processado y[n]. Assim, o sinal de controle de ganho recebe suaviza-ção além daquela mostrada na equação 7a. Em uma implementação maistradicional de DRC operando amostra por amostra ao invés de bloco porblocp, uma suavização de ganho mais sofisticada do que o simples filtro deum pólo mostrado na equação 7a poderia ser necessária de modo a impediruma distorção audível no sinal processado. Também, a utilização de um pro-cessamento baseado em bloco introduz um retardo inerente de M/2 amos-tras no sistema, e desde que o tempo de decaimento associado com (Xattackfique próximo deste retardo, o sinal x[n] não precisa ser retardado adicional-mente antes da aplicação dos ganhos para os propósitos de impedir exce-der.

As figuras 9a até 9c apresentam o resultado de aplicar o proces-samento de DRC descrito a um sinal de áudio. Para esta implementaçãoespecífica, um comprimento de bloco de M = 512 é utilizado na taxa de a -mostragem de 44,1 kHz. Uma curva de compressão similar àquela mostradapara produzir o áudio modificado:na figura 8b é utilizada:

acima de -20 dB em relação a digital em escala total o sinal éatenuado dom uma razão de 5:1, e

abaixo de -30 dB o sinal é intensificado com uma razão de 5:1.O ganho é suavizado com um coeficiente de ataque otattack que correspondea um meio tempo de decaimento de 10 ms e um coeficiente de liberaçãoOtreiease que corresponde a um meio tempo de decaimento de 500 ms. O sinalde áudio original apresentado na figura 9a consiste em seis acordes de pia-no consecutivos, com o acorde final localizado ao redor da amostra de 1,75χ 10^5, decaindo para o silêncio. Examinando um gráfico do ganho G-[t] nafigura 9b, deve ser notado que o ganho permanece próximo de 0 dB enquan-to os seis acordes são tocados. Isto é porque a energia de sinal permanece,pela maior parte, entre -30 dB e -20 dB, a região dentro da qual a curva deDRC não pede nenhuma modificação. No entanto, após a execução do últi-mo acorde, a energia de sinal cai abaixo de -30 dB, e o ganho começa aaumentar, eventualmente além de 15 dB, conforme o acorde decai. A figura9c apresenta o sinal de áudio modificado resultante, e pode-se ver que acauda do acorde final é intensificada significativamente. Audivelmente, estaintensificação do som de decaimento de baixo nível, natural do acorde criaum resultado extremamente não natural. É o objetivo da presente invençãoimpediros problemas deste tipo que estão associados com um processadorde dinâmica tradicional.

As figuras 10a até 10c apresentam os resultados da aplicaçãodo mesmo sistema de DRC exato a um sinal de áudio diferente. Neste casoa primeira metade do sinal consiste uma peça de música de tempo crescen-te em um alto nível, e então a aproximadamente a amostra 10 χ 10^4 o sinalmuda para uma segunda peça de música de tempo crescente, mas a umnível significativamente mais baixo. Examinando o ganho na figura 6b, vê-seque o sinal é atenuado por aproximadamente 10 dB durante a primeira me-tade, e então o ganho sobe novamente para 0 dB durante a segunda metadequando a peça mais suave está tocando. Neste caso, o ganho comporta-secomo desejado. Se desejaria que a segunda peça fosse intensificada emrelação à primeira, e o ganho deveria aumentar rapidamente após a transi-ção para a segunda peça para ser audivelmente não obstrusiva. Vê-se umcomportamento de ganho que é similar àquele pára o primeiro sinal discuti-do, mas aqui o comportamento é desejável. Portanto, se gostaria de fixar oprimeiro caso sem afetar o segundo. A utilização de eventos auditivos paracontrolar o tempo de liberação deste sistema de DRC provê tal solução.

No primeiro sinal que foi examinado na figura 9, a intensificaçãodo decaimento do último acorde parece não natural porque o acorde e o seudecaimento são percebidos com um único evento auditivo cuja integridade éesperada ser mantida. No segundo caso, no entanto, muitos eventos auditi-vos ocorrem enquanto o ganho aumenta, significando que para qualquer e-vento individual, pouca mudança é imposta. Portanto a mudança de ganhototal não é tão discutível. Pode-se portanto questionar que uma mudança deganho deveria ser permitida somente na vizinhança quase temporal de umlimite de evento auditivo. Pode-se aplicar este princípio a um ganho enquan-to este está ou no modo de ataque ou de liberação, mas para a maioria dasimplementações práticas de um DRC, o ganho move-se tão rapidamente nomodo de ataque em comparação com a resolução temporal humana de per-cepção de eventos que nenhum controle é necessário. Pode-se portantoutilizar os-eventos para controlar a suavização do ganho de DRC somentequando este está no modo de liberação.

Um comportamento adequado do controle de liberação será a-gora descrito. Em termos qualitativos, se um evento por detectado, o ganhoé suavizado com o tempo de liberação constante como acima especificadona Equação 7a. Conforme o tempo evolui passando pelo evento detectado,e se nenhum evento subsequente for detectado, a constante de tempo deliberação aumenta continuamente de modo que eventualmente o ganho su-avizado é "congelado" no lugar. Se outro evento for detectado, então a cons-tante de tempo de suavização é reajustada para o valor original e o processorepete-se. De modo a modular o tempo de liberação, pode-se primeiro gerarum sinal de controle baseado nos limites de evento detectados.

Como anteriormente discutido, os limites de evento podem serdetectados procurando por mudanças em espectros sucessivos do sinal deáudio. Nesta implementação específica, a DFT de cada bloco sobrepostox[n,t] pode ser computada para gerar a STDFT do sinal de áudio x[n]:

<formula>formula see original document page 24</formula>

A seguir, a diferença entre os espectros de magnitude Iog nor-malizados de blocos sucessivos pode ser computada de acordo com:

<formula>formula see original document page 24</formula>

onde

<formula>formula see original document page 24</formula>

Aqui o máximo de |X[k,t]| através das caixas k é utilizado para anormalização, apesar de que se poderia empregar outros fatores de normali-zação; por exemplo, a média de |X[k,t]| através das caixas. Se a diferençaD[t] exceder um limite Dmin, então um evento é considerado ter ocorrido. A-lém disso, pode-se atribuir uma força a este evento, que fica entre zero eum, com base no tamanho de D[t] em comparação com um limite máximoDmax. O sinal de força de evento auditivo resultante A[t] pode ser computadocomo:

<formula>formula see original document page 24</formula>Atribuindo uma força para o evento auditivo proporcional à quan-tidade de mudança espectral associada com aquele evento, um maior con-trole sobre o processamento de dinâmica é conseguido em comparação comuma decisão de evento binário. Os inventores descobriram que maiores mu-danças de ganho são aceitáveis durante os eventos mais fortes, e o sinal naequação 11 permite tal controle variável.

O sinal A[t] é um sinal impulsivo com um impulso ocorrendo nalocalização de um limite de evento. Para os propósitos de controlar o tempode liberação, pode-se adicionalmente suavizar o sinal A[t] de modo que estedecaia suavemente para zero após a detecção de um limite de evento. Osinal de controle de evento suavizado A[t] pode ser computado de A[t] deacordo com:

<formula>formula see original document page 25</formula>

Aqui Oevent controla o tempo de decaimento do sinal de controlede evento. As figuras 9d e 10d apresentam o sinal de controle de evento A[t]para os dois sinais de.áudio correspondentes, com o tempo de meio decai-mento do mais suave ajustado para 250 ms. No primeiro caso, vê-se que umlimite de evento é detectado para cada um dos seis acordes de piano, e queo sinal de controle de evento decai suavemente na direção de zero após ca-da evento. Para o segundo sinal, muitos eventos são detectados muito pró-ximos uns dos outros no tempo, e portanto o sinal de controle de eventonunca decai totalmente para zero.

Pode-se agora utilizar o sinal de controle de evento A[t] paravariar a constante de tempo de liberação utilizada para suavizar o ganho.Quando o sinal de controle é igual a um, o coeficiente de suavização a[t] daEquação 7a é igual a areiease. como antes, e quando o sinal de controle é i-gual a zero, o coeficiente é igual a um de modo que o ganho suavizado éimpedido de mudar. O coeficiente de suavização é interpolado entre estesdois extremos utilizando o sina de controle de acordo com:

<formula>formula see original document page 26</formula>

Pela interpolação do coeficiente de suavização continuamentecomo uma função do sinal de controle de evento, o tempo de liberação éreajustado para um valor proporcional à força de evento no início de um e-vento e então aumenta suavemente para infinito após a ocorrência de umevento. A taxa deste aumento é ditada pelo coeficiente otevent utilizado paragerar o sinal de controle de evento suavizado.

As figuras 9e e 10e mostram o efeito de suavização do ganhocom o coeficiente controlado por evento da Equação 13 em oposição aocoeficiente não controlado por evento da Equação 7b. No primeiro caso, osinal de controle de evento cai para zero após o último acorde de piano pormeio disto impedindo que o ganho mova-se para cima. Como um resultado,o áudio modificado correspondente na figura 9f não sofre uma intensificaçãonão natural do decaimento do acorde. No segundo caso, o sinal de controlede evento nunca se aproxima de zero, e portanto o sinal de ganho suavizadoé muito pouco inibido através da aplicação do controle de evento. A trajetória -do ganho suavizado é quase idêntica ao ganho não controlado por evento nafigura 10b. Este é exatamente o efeito desejado.

AGC e DRC baseados em sonoridade

Como uma alternativa às técnicas de processamento de dinâmi-ca tradicionais onde as modificações de sinal são uma função direta de sim-ples medições de sinal tal como o Pico ou a potência de RMS, o Pedido dePatente Internacional S.N. PCT/US2005/038579 descreve a utilização domodelo de sonoridade baseado em psicoacústica anteriormente descritocomo uma estrutura dentro da qual executar o processamento de dinâmica.Diversas vantagens são citadas. Primeiro, as medições e as modificaçõessão especificadas em unidades de sone, a qual é uma medida mais precisade percepção de sonoridade do que as medições mais básicas tais como oPico ou a potência de RMS. Segundamente, o áudio pode ser modificado demodo que o balanço espectral percebido do áudio original é mantido confor-me a sonoridade total é mudada. Deste modo, mutianças na sonoridade totaltornam-se menos perceptualmente aparentes em comparação com um pro-cessador de dinâmica que utiliza um ganho de banda larga, por exemplo,para modificar o áudio. Finalmente, o modelo psicoacústico é inerentementede múltiplas bandas, e portanto o sistema é facilmente configurado para e-xecutar um processamento de dinâmica de múltiplas bandas de modo a ali-viar os problemas de bombeamento espectral cruzado bem conhecido asso-ciados com um processador de dinâmica de banda larga.

Apesar da execução dé processamento de dinâmica neste do-mínio de sonoridade já apresenta diversas vantagens sobre um processa-mento de dinâmica mais tradicional, a técnica pode ser adicionalmente aper-feiçoada através da utilização de eventos auditivos para controlar vários pa-râmetros. Considere o segmento de áudio que contém os acordes. de pianocomo apresentado em 27a e o DRC associado mostrado nas figuras 10b e c.Poderia-se executar um DRC similar no domínio de sonoridade, e neste ca-so, quando a sonoridade do decaimento do acorde do piano final é intensifi-cada, a intensificação seria menos aparente porque o balanço espectral danota errrdecaimento seria mantido conforme a intensificação é aplicada. Noentanto, uma melhor solução é não intensificar o decaimento, e portanto po-de-se vantajosamente aplicar o mesmo princípio de controlar os tempos deataque e de liberação com os eventos auditivos no domínio de sonoridadecomo foi anteriormente descrito para o DRC tradicional.

O sistema de processamento de dinâmica de domínio de sonori-dade que é agora descrito consiste em AGC seguido por DRC. O objetivodesta combinação é fazer com que todo o áudio processado tenha aproxi-madamente a mesma sonoridade percebida enquanto ainda mantendo pelomenos alguma da dinâmica de áudio original. A figura 11 apresenta um con-junto adequado de curvas de AGC e de DRC para esta aplicação. Note quea entrada e a saída de ambas as curvas estão representadas em unidadesde sone já que o processamento é executado no domínio de sonoridade. Acurva de AGC esforça-se para trazer o áudio de saída mais próximo a algumnível alvo, e, como anteriormente mencionado, o faz com constantes detempo relativamente lentas. Pode-se pensar do AGC como fazendo a sono-ridade de longo prazo do áudio igual ao alvo, mas em uma base de curtoprazo, a sonoridade pode flutuar significativamente ao redor deste alvo. Por-tanto, pode-se empregar um DRC que atue mais rápido para limitar estasflutuações a alguma faixa considerada aceitável para a aplicação específica.A figura 11 mostra tal curva de DRC onde o alvo de AGC cai dentro da "ban-da nula" do DRC, a porção da curva que não requer nenhuma modificação.Com esta combinação de curvas, o AGC coloca a sonoridade de longo prazodo áudio dentro da banda nula da curva de DRC de modo que modificaçõesde DRC de atuação rápida mínimas precisam ser aplicadas. Se a sonoridadede curto prazo ainda flutuar fora da banda nula, o DRC então atua para mo-ver a sonoridade do áudio na direção de sua banda nula. Como uma notageral final, pode-se aplicar o AGC de atuação lenta de modo que todas asbandas do modelo de sonoridade recebam a mesma quantidade de modifi-cação de sonoridade, por meio disto mantendo o balanço espectral percebi-do, e pode-se aplicar o DRC de atuação rápida em um modo que permitaque a modificação de sonoridade varie através das bandas de modo a aliviaro bombeamentorespectral cruzado que poderia de outro modo resultar damodificação de sonoridade-independente de banda da atuação rápida.

Os eventos auditivos podem ser utilizados para controlar o ata-que e a liberação tanto do AGC quanto do DRC. No caso do AGC, tanto otempo de ataque quanto de liberação são grandes em comparação com aresolução temporal de percepção de evento, e portanto o controle de eventopode ser vantajosamente empregado em ambos os casos. Com o DRC, oataque é relativamente curto, e portanto o controle de evento pode ser ne-cessário somente para a liberação como com o DRC tradicional acima des-crito.

Como anteriormente descrito, pode-se utilizar o espectro de so-noridade específico associado com o modelo de sonoridade empregado paraos propósitos de detecção de evento. Um sinal de diferença D[t], similar à-quele nas Equações 10a e b pode ser computado da sonoridade específicaN[b,t], definida na Equação 2, como segue:

<formula>formula see original document page 29</formula>

onde

<formula>formula see original document page 29</formula>

Aqui o máximo de |N[b,t]| através das bandas de freqüência b éutilizado para a normalização, apesar de que se poderia empregar outrosfatores de normalização; por exemplo, a média de |N[b,t]| através das ban-das de freqüência. Se a diferença D[t] exceder um limite Dmin, então um e-vento é considerado ter ocorrido. O sinal de diferença pode então ser pro-cessado no mesmo modo mostrado nas Equações 11 e 12 para gerar umsinal de controle de evento suave A[t] utilizado para controlar os tempos deataque e de liberação.

A curva de AGG apresentada na figura 11 pode ser representadacomo uma função que toma como a sua entrada uma medida de sonoridadee gera uma sonoridade de saída desejada:

<formula>formula see original document page 29</formula>

A curva de DRC pode ser similarmente representada:

<formula>formula see original document page 29</formula>

Para o AGC, a sonoridade de entrada é uma medida da sonori-dade de longo prazo do áudio. Pode-se computar tal medida suavizando asonoridade instantânea L[t], definida na Equação 3, utilizando constantes detempo relativamente longas (na ordem de diversos segundos). Foi mostradoque no julgamento de sonoridade de longo prazo de um segmento de áudio,os seres humanos ponderam as porções mais altas mais pesadamente doque as suaves, e pode-se utilizar um ataque mais rápido do que a liberaçãona suavização para simular este efeito. Com a incorporação de controle deevento tanto para o ataque quanto a liberação, a sonoridade de longo prazoutilizada para determinar a modificação de AGC pode portanto ser computa-da de acordo:

<formula>formula see original document page 30</formula>

onde

<formula>formula see original document page 30</formula>

Além disso, pode ser computar um espectro de sonoridade es-pecífica de longo prazo associado que posteriormente será utilizado para oDRC de múltiplas bandas:

<formula>formula see original document page 30</formula>

Na prática pode-se escolher os coeficientes de suavização demodo que o tempo de ataque seja aproximadamente a metade daquele daliberação. Dada a medida de sonoridade de longo prazo, pode-se entãocomputar a escalagem de modificação de sonoridade associada com o AGCcomo a razão da sonoridade de saída para a sonoridade de entrada:<formula>formula see original document page 31</formula>

A modificação de DRC pode agora ser computada da sonoridadeapós a aplicação da escalagem de AGC. Ao invés de suavizar uma medidada sonoridade antes da aplicação da curva de DRC, pode-se alternativamen-te aplicar a curva de DRC na sonoridade instantânea e então subsequente-mente suavizar a modificação resultante. Isto é similar à técnica anterior-mente descrita para suavizar o ganho do DRC tradicional. Além disso, oDRC pode ser aplicado em um modo de múltiplas bandas, significando que amodificação de DRC é uma função da sonoridade específica N[b,t] em cadabanda d, ao invés da sonoridade total L[t]. No entanto, de modo a manter obalanço espectral médio do áudio original, pode-se aplicar o DRC a cadabanda de modo que as modificações resultantes tenham o mesmo efeitomédio que resultaria da aplicação de DRC na sonoridade total. Isto pode serconseguido escalando cada banda pela razão da sonoridade total de longoprazo (após a aplicação da escalagem de AGC) para a sonoridade específi-ca a longo prazo, e utilizando este valor como o argumento para a função deDRÇ. O resultado é então reescalado pelo inverso da dita razão para produ-zir à sonoridade específica de saída. Assim a escalagem de DRC em cadabanda pode ser computada de acordo com:

<formula>formula see original document page 31</formula>

As modificações de AGC e de DRC podem então ser combina-das para formar a escalagem de sonoridade total por banda:

<formula>formula see original document page 31</formula>

Esta escalagem total pode então ser suavizada através do tem-po independentemente para cada banda com um rápido ataque e uma lentaliberação e o controle de evento aplicado somente à liberação. Idealmente, asuavização é executada no Iogaritmo da escalagém análogo aos ganhos doDRC tradicional sendo suavizados em sua representação de decibel, apesardisto não ser essencial. Para assegurar que a escalagem total suavizadamove-se em sincronismo com a sonoridade específica em cada banda, osmodos de ataque e de liberação podem ser determinados através da suavi-zação simultânea da própria sonoridade específica:

<formula>formula see original document page 32</formula>

onde

<formula>formula see original document page 32</formula>

Finalmente pode-se computar uma sonoridade específica alvocom base na escalagem suavizada aplicada na sonoridade específica origi-nal

<formula>formula see original document page 32</formula>

e então resolver para os ganhos G[b,t] que quando aplicados à excitaçãooriginal resultam em uma sonoridade específica igual ao alvo:

<formula>formula see original document page 32</formula>

Os ganhos podem ser aplicados a cada banda do banco de fil-tros utilizado para computar a excitação, e o áudio modificado pode entãoser gerado pela inversão do banco de filtros para produzir um sinal de áudiode domínio de tempo modificado.

Controle de Parâmetro Adicional

Apesar da discussão acima ter focalizado no controle dos parâ-metros de ataque e de liberação de AGC e de DRC através de análise decena auditiva do áudio que está sendo processado, outros parâmetros im-portantes podem também beneficiar-se de serem controlados através dosresultados de ASA. Por exemplo, o sinal de controle de evento Ã[t] da E-quação 12 pode ser utilizado para variar o valor do parâmetro de razão deDRC que é utilizado para ajustar dinamicamente o ganho do áudio. O parâ-metro de Razão, similarmente aos parâmetros de tempo de ataque e de libe-ração, pode contribuir significativamente para os artefatos perceptuais intro-duzidos por ajustes de ganho dinâmico.

Implementação

A. invenção pode ser implementada em hardware ou em softwa-re, ou uma combinação de ambos (por exemplo, matrizes de lógica progra-mável). A menos que de outro modo especificado, os algoritmos incluídoscomo parte da invenção não estão inerentemente relacionados a nenhumcomputador ou outro aparelho específico. Especificamente, várias máquinasde uso geral podem ser utilizadas com os programas escritos de acordo comos ensinamentos aqui, ou pode ser mais conveniente construir um aparelhomais especializado (por exemplo, circuitos integrados) para executar as eta-pas de método requeridas. Assim, a invenção pode ser implementada emum ou mais programas de computador que executam em um ou mais siste-mas de computador programáveis cada um compreendendo pelo menos umprocessador, pelo menos um sistema de armazenamento de dados (incluin-do uma memória volátil e não-volátil e/ou elementos de armazenamento),pelo menos um dispositivo ou porta de entrada, e pelo menos um dispositivoou porta de saída. Um código de programa é aplicado aos dados de entradapara executar as funções aqui descritas e gerar as informações de saída. Asinformações de saídas são aplicadas a um ou mais dispositivo de saída, emum modo conhecido.Cada tal programa pode ser implementado em qualquer lingua-gem de computador desejada (incluindo as linguagens de programação demáquina, assembly, ou de procedimentais de alto nível, lógicas, ou orienta-das em objeto) para comunicar com um sistema de computador. Em qual-quer caso, a linguagem pode ser uma linguagem compilada ou interpretada.

Cada tal programa de computador está de preferência armaze-nado em ou carregado para um meio ou dispositivo de armazenamento (porexemplo, uma memória ou mídia de estado sólido, ou mídia magnética ouótica) legível por um computador programado de uso geral ou especial, paraconfigurar e operar o computador quando o meio ou dispositivo de armaze-namento é lido pelo sistema de computador para executar os procedimentosaqui descritos. O sistema inventivo pode também ser considerado ser im-plementado como um meio de armazenamento legível por computador, con-figurado com um programa de computador, onde o meio de armazenamentoassim configurado faz com que um sistema de computador opere em ummodo específico e predefinido para executar as funções aqui descritas.

Um número de modalidades da invenção foi descrito. Apesar detudo, será compreendido que várias modificações podem ser feitas sem a-fastar-se do espírito e do escopo da invenção. Por exemplo, algumas dasetapas aqui descritas podem ser independentes de ordem, e assim podem-ser executadas em uma ordem diferente daquela descrita.

Deve ser compreendido que a implementação de outras varia-ções e modificações da invenção e seus vários aspectos serão aparentespara aqueles versados na técnica, e que a invenção não está limitada porestas modalidades específicas descritas. É portanto contemplado cobrir pelapresente invenção quaisquer e todas modificações, variações, ou equivalen-tes que caiam dentro do verdadeiro espírito e escopo dos princípios subja-centes básicos aqui descritos e reivindicados.

Incorporação por Referência

As seguintes patentes, pedidos de patente e publicações estãopor meio disto incorporadas por referência, cada uma em sua totalidade.Processamento de Dinâmica de ÁudioAudio Engineer1S Reference Book, editado por Michael Talbot-Smith, 2- edição. Limiters and Compressors, Alan Tutton, 2-1492-165. FocaiPress, Reed Educational and Professional Publishing1 Ltd., 1999.

Detectando e Utilizando os Eventos Auditivos

Pedido de Patente U.S. S.N. 10/474.387, "High Quality Time-Scaling and Pitch-Scaling of Audio Signals" de Brett Graham Crockett, publi-cado em 24 de Junho de 2004 como US 2004/0122662 A1.

Pedido de Patente U.S. S.N. 10/478.398, "Method for Time Alig-ning Audio Signals Using Characterizations Based on Auditory Events" deBrett G. Crockett et al, publicado em 29 de Julho de 2004 como US2004/0148159 A1.

Pedido de Patente U.S. S.N. 10/478.538, "Segmenting AudioSignals Into Auditory Events" de Brett G. Crockett, publicado em 26 de Agos-to de 2004 como US 2004/0165730 A1. Aspectos da presente invenção pro-vêem um meio para detectar os eventos auditivos além daqueles descritosno dito pedido de Crockett.

Pedido de Patente U.S. S.N. 10/478.397, "Comparing Audio U-sing Characterizations Based on Auditory Events" de Brett G. Crockett et al,publicado em 02 de Setembro de 2004 como US 2004/0172240 A1.

Pedido InternacionaL spb o Tratado de. Cooperação de PatentesS.N. PCT/US 05/24630 depositado em 13 de Julho de 2005, intitulado "Me-thod for Combining Audio Signals Using Auditory Scene Analysis", de Micha-el John Smithers, publicado em 09 de Março de 2006 como WO2006/026161.

Pedido Internacional sob o Tratado de Cooperação de PatentesS.N. PCT/US 2004/016964, depositado em 27 de maio de 2004, intitulado"Method, Apparatus and Computer Program for Calculating and Adjusting thePerceived Loudness of an Audio Signal" de Alan Jeffrey Seefeldt et al, publi-cado em 23 de Dezembro de 2004 como WO 2004/111994 A2.

Pedido Internacional sob o Tratado de Cooperação de PatentesS.N. PCT/US2005/038579, depositado em 25 de Outubro de 2005, intitulado"Calculating and Adjusting the Perceived Loudness and/or the PerceivedSpectral Balance ,of an Audio Signal" por Alan Jeffrey Seefeldt e publicadocomo Publicação Internacional Número WO 2006/047600.

"A Method for Characterizing and ldentifying Audio Based onAuditory Scene Analysis", por Brett Crockett e Michael Smithers, Audio Engi-neering Society Convention Paper 6416, 118th Convention, Barcelona, 28-31de Maio de 2005.

"High Quality Multichannel Time Scaling and Pitch-Shifting usingAuditory Scene Analysis", por Brett Crockett1 Audio Engineering SocietyConvention Paper 5948, New York, Outubro de 2003.

"A New Objective Measure of Perceived Loudness" por AlanSeefeldt et al, Audio Engineering Society Convention Paper 6236, San Fran-cisco, 28 de Outubro de 2004.

Handbook for Sound Engineers, The New Audio Cyclopedia, edi-tado por Glen M. Bailou, 2- Edição. Dynamics, 850-851. Focai Press an im-print of Butterworth-HeiF.cmann, 1998.

Audio Engineer1S Reference Book, editado por Michael Talbot-Smith, 2a Edição, Seção 2.9 ("Limiters and Compressors" por Alan Tutton),pp. 2.149-2.165, Focai Press, Reed Educational and Professional Publishing,Ltd., 1999.

Claims (18)

1. Método de processamento de áudio no qual um processadorrecebe um canal de entrada e gera um canal dê saída que é gerado pelaaplicação de modificações de ganho dinâmico no canal de entrada, quecompreende:detectar as mudanças em características de sinal em relação aotempo no canal de entrada de áudio,identificar como limites de evento auditivo as mudanças em ca-racterísticas de sinal em relação ao tempo no dito canal de entrada, em queum segmento de áudio entre os limites consecutivos constitui um evento au-ditivo no canal, egerar todos ou alguns de um ou mais parâmetros do método demodificação de ganho dinâmico pelo menos parcialmente em resposta a e-ventos auditivos e/ou o grau de mudança em características de sinal associ-sdas aos ditos limites de evento auditivo.

2. Método de acordo com a reivindicação 1, em que um eventoauditivo é um segmento de áudio que tende a ser percebido como separadoe distinto.

3. Método de acordo com a reivindicação 1 ou reivindicação 2,em que as ditas características de;sirial incluem o conteúdo espectral do áudio.

4. Método de acordo com a reivindicação 1 ou reivindicação 2,em que as ditas características de sinal incluem a sonoridade perceptual doáudio.

5. Método de acordo com qualquer uma das reivindicações 1 a-4, em que todos ou alguns dos ditos um ou mais parâmetros são geradospelo menos parcialmente em resposta à presença ou à ausência de um oumais eventos auditivos.

6. Método de acordo com qualquer uma das reivindicações 1 a-4, em que a dita identificação identifica como um limite de evento auditivouma mudança em características de sinal em relação ao tempo que excedeum limite.

7. Método de acordo com qualquer uma das reivindicações 1 a 4, em que o dito limite de evento auditivo pode ser modificado por uma fun-ção para criar um sinal de controle que é utilizado'para modificar os parâme-tros de modificação de ganho dinâmico de áudio.

8. Método de acordo com qualquer uma das reivindicações 1 a 4, em que todos ou alguns dos ditos um ou mais parâmetros são geradospelo menos parcialmente em resposta a uma medida continuada do grau demudança em características de sinal associadas aos ditos limites de eventosauditivos.

9. Aparelho adaptado para executar os métodos como definidosem qualquer uma das reivindicações 1 a 8.

10. Programa de computador armazenado em um meio legívelpor computador, para fazer com que um computador controle o aparelhocomo definido na reivindicação 9.

11. Programa de computador armazenado em um meio legívelpor computador, para fazer com que um computador execute os métodos deacordo com qualquer uma das reivindicações 1 a 8.

12. Método para dividir um sinal de áudio em eventos auditivos,cada um dos quais tende a ser percebido como separado e distinto, que compreende:calcular a diferença em conteúdo espectral entre os sucessivosblocos de tempo do dito sinal de áudio, em que a diferença é calculada pelacomparação.da diferença em sonoridade específica entre os sucessivos blo-cos de tempo, em que a sonoridade específica é uma medida de sonoridadeperceptual como uma função de freqüência e tempo, eidentificar um limite de evento auditivo como o limite entre ossucessivos blocos de tempo quando a diferença em conteúdo espectral en-tre tais sucessivos blocos de tempo excede um limite.

13. Método de acordo com a reivindicação 12, em que o dito si-nal de áudio é representado por uma seqüência de tempo discreta x[n] quefoi mostrada de uma fonte de áudio a uma freqüência de amostragem /s e adiferença é calculada pela comparação da diferença em sonoridade especí-fica N[b,t] através de bandas de freqüência b entre os sucessivos blocos detempo t.

14. Método de acordo com a reivindicàção 13, em que a diferen-ça em conteúdo espectral entre os sucessivos blocos de tempo do sinal deáudio é calculada de acordo com<formula>formula see original document page 39</formula>

15. Método de acordo com a reivindicação 13, em que a diferen-ça em conteúdo espectral entre os sucessivos blocos de tempo do sinal deáudio é calculada de acordo com<formula>formula see original document page 39</formula>

16. Aparelho adaptado para executar os métodos como definidosem qualquer uma das reivindicações 12 a 15.

17. Programa de computador, armazenado em um meio legívelpor computador, para fazer com que um computador controle o aparelhocomo definido na reivindicação 16.

18. Programa de computador armazenado em um meio legívelpor computador, para fazer com que um computador execute os métodoscomo definidos em qualquer uma das reivindicações 12 a 15.