BRPI0711192A2 - áudio aperfeiçoado com capacidade de remixagem - Google Patents

áudio aperfeiçoado com capacidade de remixagem Download PDF

Info

Publication number
BRPI0711192A2
BRPI0711192A2 BRPI0711192-4A BRPI0711192A BRPI0711192A2 BR PI0711192 A2 BRPI0711192 A2 BR PI0711192A2 BR PI0711192 A BRPI0711192 A BR PI0711192A BR PI0711192 A2 BRPI0711192 A2 BR PI0711192A2
Authority
BR
Brazil
Prior art keywords
audio signal
power
signals
subband
signal
Prior art date
Application number
BRPI0711192-4A
Other languages
English (en)
Inventor
Christof Faller
Hyen O Oh
Yang Won Jung
Original Assignee
Lg Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36609240&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=BRPI0711192(A2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Lg Electronics Inc filed Critical Lg Electronics Inc
Publication of BRPI0711192A2 publication Critical patent/BRPI0711192A2/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0018Speech coding using phonetic or linguistical decoding of the source; Reconstruction using text-to-speech synthesis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

AUDIO APERFEIçOADO COM CAPACIDADE DE REMIXAGEM Um ou mais atributos (por exp., varredura, ganho, etc.) associados com um ou mais objetos (por exp., um instrumento) de um sinal de áudio estéreo ou de múltiplos canais podem ser modificados para proporcionamento de capacidade de remixagem.

Description

"ÁUDIO APERFEIÇOADO COM CAPACIDADE DE REMIXAGEM"
PEDIDOS RELACIONADOS
Este pedido reivindica o benefício de prioridade a partir do Pedido de PatenteEuropeu N0 EP06113521, para "Áudio Estéreo Aperfeiçoado com Capacidade DeRemixagem", depositado em 04 de Maio de 2006, cujo pedido é aqui incluído comoreferência em sua integridade.
Este pedido reivindica o benefício de prioridade a partir do Pedido de PatenteProvisório Norte-Americano N0 60/829350, para "Áudio Estéreo Aperfeiçoado ComCapacidade De Remixagem", depositado em 13 de Outubro de 2006, cujo pedido é aquiincluído como referência em sua integridade.
Este pedido reivindica o benefício de prioridade a partir do Pedido de PatenteProvisório Norte-Americano N0 60/884594, para " Volume Para Diálogo Em Separado",depositado em 11 de Janeiro de 2007, cujo pedido é aqui incluído em sua integridade.
Este pedido reivindica o benefício de prioridade a partir do Pedido de PatenteProvisório Norte-Americano N0 60/885742, para "Áudio Estéreo Aperfeiçoado comCapacidade De Remixagem", depositado em 19 de Janeiro de 2007, cujo pedido é aquiincluído como referência em sua integridade.
Este pedido reivindica o benefício de prioridade a partir do Pedido de PatenteProvisório Norte-Americano N0 60/888413, para "Reprodução de Sinal Orientado a Objeto",depositado em 06 de Fevereiro de 2007, cujo pedido é aqui incluído em sua integridade.
Este pedido reivindica o benefício de prioridade a partir do Pedido de PatenteProvisório Norte-Americano N0 60/894162, para " Fluxo de Bits e Informação Paralela ParaRemix/SAOC", depositado em 09 de Março de 2007, cujo pedido é aqui incluído comoreferência em sua integridade.
CAMPO TÉCNICO
A matéria em questão deste pedido apresenta-se, genericamente, relacionada aoprocessamento do sinal de áudio.
ANTECEDENTES
Muitos dispositivos de áudio para consumidores (por exp., estéreos, reprodutoresde som, telefones portáteis, consolos de jogos, etc.) possibilitam que os consumidoresmodifiquem os sinais de áudio estéreo fazendo uso de controles de equalização (por exp.,equalização do grave, agudo), de volume, e de efeitos acústicos no ambiente, etc. Estasmodificações, entretanto, atuam na integridade do sinal de áudio e não para os objetos deáudio individual (por exp., instrumentos) que personificam o sinal de áudio. Por exemplo, umusuário não pode individualmente modificar a varredura ou o ganho em estéreo do som dasguitarras, baterias ou vocais em uma canção sem afetar toda a canção.Tem sido propostas técnicas que proporcionam uma flexibilidade de mixagem juntoa um decodificador. Estas técnicas se baseiam em uma Codificação de InstruçãoBiauricular (BCC)1 no decodificador de áudio espacial ou paramétrico para a geração de umsinal de saída mixado do decodificador. Contudo, nenhuma dessas técnicas mixa em códigodiretamente o estéreo (por exp., música mixada de forma profissional) viabilizando umacompatibilidade anterior sem haver compromissado a qualidade sonora.
As técnicas de codificação de áudio espacial tem sido propostas pararepresentação dos canais de áudio em estéreo ou em múltiplos canais utilizando asinstruções entre canais (por exp., diferença de nível, diferença de tempo, diferença de fase,coerência). As instruções entre canais são transmitidas na forma de "informação paralela"junto a um decodificador para uso na geração de um sinal de saída para múltiplos canais.Estas técnicas de codificação de áudio espacial convencionais, contudo, apresentam váriasdeficiências. Por exemplo, pelo menos, algumas destas técnicas precisam de um sinalseparado, para cada objeto de áudio, a ser transmitido para o decodificador, mesmo caso oobjeto de áudio não venha a ser modificado no decodificador. Tal requerimento resulta emdesnecessários processamentos no codificador e decodificador. Uma outra deficiência é alimitação de instrução do codificador tanto em questão a um sinal de áudio estéreo (oumúltiplos canais) como a um sinal de alimentação de áudio, resultando numa limitadaflexibilidade junto ao decodificador. Finalmente, pelo menos, algumas destas técnicasconvencionais necessitam de complexo processamento para se desfazer a correlação juntoao decodificador, tornando tais técnicas inadequadas para tais aplicações ou dispositivos.
SUMÁRIO
Um ou mais atributos (por exp., varredura, ganho, etc.) associados com um ou maisobjetos (por exp., um instrumento) de um sinal de áudio estéreo ou de múltiplos canaispodem ser modificados para fornecimento de capacidade de remixagem.
Em algumas implementações, um método inclui: obtenção de um primeiro sinal deáudio de uma pluralidade de canais apresentando um conjunto de objetos; obtenção deinformação paralela, pelo menos, parte dela representando uma relação entre o primeirosinal de áudio da pluralidade de canais, e um ou mais sinais de alimentação representandoobjetos a
serem remixados; obtenção de um conjunto de parâmetros de mixagem; e geraçãode um segundo sinal de áudio da pluralidade de canais fazendo uso da informação paralelae do conjunto de parâmetros de mixagem.
Em algumas implementações, um método inclui: obtenção de um sinal de áudio apresentando um conjunto de objetos; obtenção de um subconjunto de sinais dealimentação representando um subconjunto dos objetos; e geração da informação paralela apartir do subconjunto de sinais de alimentação, pelo menos, parte da informação paralelarepresentando uma relação entre o sinal de áudio e o subconjunto dos sinais dealimentação.
Em algumas implementações, um método inclui: obtenção de um sinal de áudio demúltiplos canais; determinação de fatores de ganho para um conjunto de sinais dealimentação fazendo uso das diferenças de nível de alimentação desejadas representandoas direções desejadas para o som do conjunto de sinais de alimentação em um estágiosonoro; estimação de uma potência da sub-faixa para um direcionamento direto do som doconjunto de sinais de alimentação fazendo uso do sinal de áudio da pluralidade de canais; eestimação das potências de sub-faixas para, pelo menos, parte dos sinais de alimentaçãono conjunto de sinais de alimentação através da modificação da potência da sub-faixa paradirecionar diretamente o som em função da direção do som direto e da direção desejada dosom.
Em algumas implementações, um método inclui: obtenção de um sinal de áudiomixado; obtenção de um conjunto de parâmetros de mixagem para a remixagem do sinal deáudio mixado; caso a informação paralela esteja disponível, remixagem do sinal de áudiomixado fazendo uso da informação paralela e do conjunto de parâmetros de mixagem; casoa informação paralela não se apresente disponível, geração de um conjunto de parâmetroscegos a partir do sinal de áudio mixado; e geração de um sinal de áudio remixado fazendouso dos parâmetros cegos e do conjunto de parâmetros de mixagem.
Em algumas implementações, um método inclui: obtenção de um sinal de áudiomixado incluindo sinais de alimentação para conversação; obtenção de parâmetros demixagem especificando um desejado acentuamento junto a um ou mais dos sinais dealimentação para conversação; geração de um conjunto de parâmetros cegos a partir dosinal de áudio mixado; geração de parâmetros a partir dos parâmetros cegos e dosparâmetros de mixagem; e aplicação dos parâmetros junto ao sinal mixado para acentuarum ou mais dos sinais de alimentação para conversação, de acordo com os parâmetros demixagem.
Em algumas implementações, um método inclui: geração de uma interface parausuário para recebimento de instrução especificando os parâmetros de mixagem; obtençãode um parâmetro de mixagem através da interface para usuário; obtenção de um primeirosinal de áudio incluindo sinais de alimentação; obtenção de informação paralela, pelomenos, parte da mesma representando uma relação entre o primeiro sinal de áudio e um oumais sinais de alimentação; e remixagem de um ou mais dos sinais de alimentação fazendouso da informação paralela e do parâmetro de mixagem para geração de um segundo sinalde áudio.
Em algumas implementações, um método inclui: obtenção de um primeiro sinal deáudio da pluralidade de canais apresentando um conjunto de objetos; obtenção deinformação paralela, pelo menos, parte da mesma representando uma relação entre oprimeiro sinal de áudio da pluralidade de canais e um ou mais sinais de alimentaçãorepresentando um subconjunto de objetos a serem remixados; obtenção de um conjunto deparâmetros de mixagem; e geração de um segundo sinal da pluralidade de canais fazendouso da informação paralela e do conjunto de parâmetros de mixagem.
Em algumas implementações, um método inclui: obtenção de um sinal de áudiomixado; obtenção de um conjunto de parâmetros de mixagem para a remixagem do sinal deáudio mixado; geração de parâmetros de remixagem fazendo uso do sinal de áudio mixadoe do conjunto de parâmetros de mixagem: e geração de um sinal de áudio remixado atravésda aplicação de parâmetros de remixagem junto ao sinal de áudio mixado fazendo uso deuma matriz η por n.
Outras implementações são descritas para áudio aperfeiçoado com capacidade deremixagem, incluindo implementações direcionadas para sistemas, métodos, aparelhagens,mídias fixas e interfaces para usuários.
DESCRIÇÃO DOS DESENHOS
A Figura 1A representa um diagrama de blocos de uma implementação de umsistema de codificação para a codificação de um sinal estéreo mais os sinais de alimentaçãoM correspondendo a objetos a serem remixados junto a um decodificador.
A Figura 1B representa um fluxograma de uma implementação de um processopara codificação de um sinal estéreo mais os sinais de alimentação M correspondendo aosobjetos a serem remixados junto a um decodificador.
A Figura 2 ilustra uma representação gráfica da freqüência pelo tempo para análisee processamento de um sinal estéreo e dos sinais de alimentação M.
A Figura 3A representa um diagrama de blocos de uma implementação de umsistema de remixagem para a estimativa de um sinal estéreo remixado fazendo uso de umsinal estéreo original mais a informação paralela.
A Figura 3B representa um fluxograma de uma implementação de um processopara estimação de um sinal estéreo remixado fazendo uso do sistema de remixagem daFigura 3A.
A Figura 4 ilustra os índices i dos coeficientes de intervalos curtos da transformadade Fourier (STFT) fazendo parte de uma partição com índice b.
A Figura 5 ilustra o agrupamento de coeficientes espectrais de um espectrouniforme STFT imitando uma resolução não-uniforme da freqüência de um sistema deaudição humano.
A Figura 6A representa um diagrama de blocos de uma implementação do sistemade codificação da Figura 1 combinado com um codificador de áudio estéreo convencional.
A Figura 6B representa um fluxograma de uma implementação de um processo de5
codificação fazendo uso do sistema de codificação da Figura 1A combinado com umcodificador de áudio estéreo convencional.
A Figura 7A compreende de um diagrama de blocos de uma implementação dosistema de remixagem da Figura 3A combinado com um decodificador de áudio estéreoconvencional.
A Figura 7B compreende de um fluxograma de uma implementação de umprocesso de remixagem fazendo uso do sistema de remixagem da Figura 7A combinadocom um decodificador de áudio estéreo.
A Figura 8A compreende de um diagrama de blocos de uma implementação de umsistema de codificação implementando geração total de informação paralela cego
A Figura 8B compreende de um fluxograma de uma implementação de umprocesso de codificação fazendo uso do sistema de codificação da Figura 8A.
A Figura 9 ilustra um exemplo da função de ganho, f{M), para uma desejadadiferença de nível de alimentação, Li = L dB.
A Figura 10 representa um diagrama de uma implementação de um processo degeração de informação paralela fazendo uso de uma técnica de geração cega parcial.
A Figura 11 representa um diagrama de blocos de uma implementação de umaestrutura de cliente/servidor para proporcionamento de sinais estéreos e sinais dealimentação M e/ou informação paralela para dispositivos de áudio com capacidade deremixagem.
A Figura 12 ilustra uma implementação de uma interface para usuário para umaparelho para jogos padrão com capacidade de remixagem.
A Figura 13 ilustra uma implementação de um sistema de decodificaçãocombinando a decodificação de objeto de áudio espacial (SAOC) com a decodificação deremixagem.
A Figura 14A ilustra um modelo de mixagem genérico para Controle de VolumeSeparado Para Diálogo (SDV).
A Figura 14B ilustra uma implementação de um sistema combinando SDV etecnologia de remixagem.
A Figura 15 ilustra uma implementação do componente de renderização demixagem-equalização, mostrado na Figura 14B.
A Figura 16 ilustra uma implementação de um sistema de distribuição paratecnologia de remixagem descrita em referência as Figuras de 1 a 15.
A Figura 17A ilustra elementos de várias implementações de fluxos de bits paraproporcionamento de informação de remixagem.
A Figura 17B ilustra uma implementação de uma interface de codificador deremixagem para a geração de fluxo de bits ilustrados na Figura 17A.A Figura 17C ilustra uma implementação de uma interface do decodificador deremixagem para o recebimento de fluxo de bits gerados pela interface do codificador,ilustrada na Figura 17B.
A Figura 18 compreende de um diagrama de blocos de implementação de umsistema, incluindo extensões para a geração de informação paralela adicional referente acertos sinais de objeto e proporcionando um melhor desempenho da remixagem.
A Figura 19 representa um diagrama de blocos de uma implementação docomponente de renderização de remixagem mostrado na Figura 18.
DESCRIÇÃO DETALHADA
A Figura 1A representa um diagrama de blocos de uma implementação de umsistema de codificação 100 para codificação de um sinal estéreo mais M sinais dealimentação correspondendo a objetos a serem remixados junto a um decodificador. Emalgumas implementações, o sistema de codificação 100, em regra, inclui uma disposição debanco de filtro 102, um gerador de informação paralela 104, e um codificador 106.
A. Sinal Remixado Desejado e o Sinal Original
Os dois canais de um sinal de áudio estéreo discreto em tempo são representadospor
<formula>formula see original document page 7</formula>
onde n é o índice de tempo. Assume-se que o sinal estéreo possa ser representadocomo
<formula>formula see original document page 7</formula>
onde I compreende o número de sinais de alimentação (por exp., instrumentos) que
estão contidos no sinal estéreo (por exp., MP3) e os
<formula>formula see original document page 7</formula>
representam os sinais dealimentação. Os fatores ai, e bi, determinam o ganho e a varredura de amplitude para cadasinal de alimentação. Assume-se que todos os sinais de alimentação apresentem-semutuamente independentes. Os sinais de alimentação podem não ser todos puros sinais dealimentação. Ao contrário, alguns dos sinais de alimentação podem conter reverberaçãoe/ou outros componentes sonoros afetando o sinal. Em algumas implementações, retardos,dj, podem ser introduzidos no sinal de áudio original da mixagem representado por (1) parafacilitar o alinhamento do tempo com os parâmetros de remixagem:<formula>formula see original document page 8</formula>
Em algumas implementações, o sistema de codificação 100 fornece ou gerainformação (daqui em diante referida como "informação paralela") para modificação de umsinal de áudio estéreo original (daqui em diante referido como "sinal estéreo"), de modo queos M sinais de alimentação são "remixados" no sinal estéreo com diferentes fatores deganho. O sinal estéreo modificado desejado pode ser representado como
<formula>formula see original document page 8</formula>
onde c, e of, representam novos fatores de ganho (daqui em diante referidos como"ganhos de mixagem" ou "parâmetros de mixagem") para M sinais de alimentação a seremremixados (ou seja, sinais de alimentação com índices 1,2,.....M).
Um objetivo do sistema de codificação 100 é o fornecimento ou a geração deinformação para remixagem de um sinal estéreo a partir somente do sinal estéreo original ede uma pequena quantidade de informação paralela (por exp., pequena em relação àinformação contida na forma de onda do sinal estéreo). A informação paralela fornecida ougerada pelo sistema de codificação 100 pode ser empregada em um decodificador paraimitar de forma perceptiva o sinal estéreo modificado desejado representado por (2),fornecido o sinal estéreo original representado por (1). Com o sistema de codificação 100, ogerador de informação paralela 104 gera a informação paralela para a remixagem do sinalestéreo original, e um sistema de decodificador 300 (Figura 3A) gera o sinal de áudioestéreo remixado desejado fazendo uso da informação paralela e do sinal estéreo original.
B. Processamento do Codificador
Através de referência sendo feita novamente a Figura 1A, o sinal estéreo original eos M sinais de alimentação são fornecidos como instruções na disposição de banco de filtro102. O sinal estéreo original é também liberado diretamente a partir do codificador 102. Emalgumas implementações, o sinal estéreo liberado diretamente do codificador 102 pode serretardado para sincronização com o fluxo de bits da informação paralela. Em outras
<formula>formula see original document page 8</formula>implementações, a saída do sinal estéreo pode ser sincronizada com a informação paralelano decodificador. Em algumas implementações, o sistema de codificação 100 adapta asestatísticas referentes ao sinal na forma de uma função do tempo e freqüência. Assim, parafins de análise e síntese, o sinal estéreo e os M sinais de alimentação são processados em uma representação de tempo por freqüência, conforme descrito pelas Figuras 4 e 5.
A Figura 1B compreende de um fluxograma de implementação de um processo 108para codificação de um sinal estéreo mais M sinais de alimentação correspondendo aobjetos a serem remixados junto a um decodificador. Um sinal estéreo de entrada e M sinaisde alimentação são decompostos em sub-faixas (110). Em algumas implementações, adecomposição é implementada com uma disposição de banco de filtro. Para cada sub-faixa,são estimados fatores de ganho para M sinais de alimentação (112), conforme melhordescrição adiante. Os fatores de ganho estimados e as potências de sub-faixas podem serquantizados e codificados para geração da informação paralela(116).
A Figura 2 ilustra uma representação gráfica da freqüência pelo tempo para análise e processamento de um sinal estéreo e M sinais de alimentação. O eixo y do gráficorepresenta a freqüência que é dividida em sub-faixas múltiplas não-uniformes 202. O eixo χrepresenta o tempo e é dividido em intervalos de tempo 204. Cada um dos blocossombreados na Figura 2 representa um respectivo par de sub-faixa e intervalo de tempo.Assim, para um dado intervalo de tempo 204, uma ou mais sub-faixas 202 correspondendo ao intervalo de tempo 204 pode ser processada na forma de um grupo 206. Em algumasimplementações, as larguras das sub-faixas 202 são escolhidas com base nas limitações depercepção associadas com o sistema auditivo humano, conforme descrito pelas Figuras 4 e5.
Em algumas implementações, um sinal estéreo de entrada e M sinais de alimentação são decompostos pela disposição de banco de filtro 102 em uma quantidade desub-faixas 202. As sub-faixas 202 em cada freqüência central podem ser processadas deforma semelhante. Um par de sinais de entrada de áudio estéreo em sub-faixa, para umafreqüência específica, é representado por X1(k) e X2(k), aonde k compreende o índice detempo amostrado rebaixado dos sinais de sub-faixas. Similarmente, os sinais de sub-faixas correspondentes dos M sinais de alimentação são representados por S1(k), S2(k) ,...,
SM(k).Observe-se que para simplicidade de anotação, os índices para as sub-faixas foramomitidos neste exemplo. Com respeito à amostragem rebaixada, os sinais de sub-faixas commenores taxas de amostragem podem ser empregados com eficiência. Normalmente, osbanco de filtro e o STFT apresentam sinais de sub-amostragens (ou coeficientes espectrais) de forma eficiente.
Em algumas implementações, a informação paralela necessária para remixagem deum sinal de alimentação com índice i inclui os fatores de ganho a, e b, em cada sub-faixa,uma estimativa da potência do sinal de sub-faixa na forma de uma função do tempo5,
E{Si2(k)}. Os fatores de ganho a, e ò, podem ser fornecidos (caso seja conhecido osinal estéreo) ou podem ser estimados. Para muitos sinais em estéreo, a, e b, são estáticos.Se a, ou bj variam em função do tempo k, esses fatores de ganho podem ser estimadoscomo uma função do tempo. Não é necessário se fazer uso de uma média ou estimativa dapotência da sub-faixa para gerar-se informação paralela, pelo contrário, em algumasimplementações, a potência da sub-faixa presente Si 2 pode ser utilizada como umaestimativa de potência.
Em algumas implementações, uma potência da sub-faixa de intervalo curto podeser estimada utilizando-se uma ponderação para pólo singular, aonde E{si2(k)} pode sercomputado como
<formula>formula see original document page 10</formula>
onde αE[0,1] determina uma constante no tempo de uma janela de estimação comdecaimento exponencial,
<formula>formula see original document page 10</formula>
onde fs representa uma freqüência de amostragem de sub-faixa. Um valoradequado para T pode ser, por exemplo, 40 milisegundos. Nas equações a seguir, E{.}, emregra, representa a ponderação de intervalos curtos.
Em algumas implementações, parte ou o todo da informação paralela a, e b, eE{Si2(k)}, podem ser fornecidos na mesma mídia na forma de sinal estéreo. Por exemplo, umpublicitário musical, um estúdio de gravação, um artista ou algo semelhante, podem fornecera informação paralela com o sinal estéreo correspondente em um disco compacto (CD), ouem um Disco de Vídeo Digital (DVD), drive instantâneo, etc. Em algumas implementações,parte ou o todo da informação paralela pode ser fornecida através de uma rede de trabalho(por exp., a Internet, Ethernet, rede de trabalho sem fio) embutindo-se a informação paralelano fluxo de bits do sinal estéreo ou transmitindo a informação em um fluxo de bits emseparado.
Caso a, e 6, não sejam fornecidos, então esses fatores podem ser estimados. Umavez, que <formula>formula see original document page 10</formula>
ai podendo ser computado como<formula>formula see original document page 11</formula>
De modo análogo, b, pode ser computado como
<formula>formula see original document page 11</formula>
Caso ai e bi sejam adaptativos no tempo, o operador E{.} representa uma operaçãode ponderação para intervalo curto. Por outro lado, caso os fatores de ganho ai e bi sejamestáticos, os fatores de ganho podem ser computados considerando-se os sinais de áudioestéreo em suas integridades. Em algumas implementações, os fatores de ganho ai e bipodem ser estimados independentemente para cada sub-faixa. Observe-se que em [5] e em[6], os sinais de alimentação si são independentes, mas, em regra, não é o caso para umsinal de alimentação si e os sinais em estéreo X1 e x2, uma vez que Si encontra-se inclusonos canais em estéreo X1 e X2.
Em algumas implementações, as estimativas de potência para intervalos curtos efatores de ganho para cada sub-faixa são quantizados e codificados pelo codificador 106para constituírem a informação paralela (por exp., um fluxo de bits de baixa taxa de bits).Observe-se que esses valores podem não se apresentar quantizados e codificadosdiretamente, mas devem ser primeiramente convertidos para outros valores mais adequadospara quantização e codificação, conforme descrito em referência nas Figuras 4 e 5. Emalgumas implementações, E{si2(k)} pode ser normalizado em relação à potência da sub-faixado sinal de áudio de entrada estéreo, tornando o sistema de codificação 100 robusto emrelação as mudanças quando um codificador de áudio convencional é utilizado paracodificador de maneira eficiente o sinal de áudio estéreo, conforme descrito através dasFiguras 6-7.
C. Processamento do Decodificador
A Figura 3A representa um diagrama de blocos de uma implementação de umsistema de remixagem 300 para estimativa de um sinal estéreo remixado,fazendo uso deum sinal estéreo original mais a informação paralela. Em algumas implementações, osistema de remixagem 300, em regra, inclui uma disposição de banco de filtro 302, umdecodificador 304, um módulo de remixagem 306, e uma disposição de banco de filtroinversa 308.
A estimativa do sinal de áudio estéreo remixado pode ser conduzida de maneiraindependente para uma quantidade de sub-faixas. A informação paralela inclui a potência dasub-faixa, E{Sj2(k)} e os fatores de ganho a, e ô,, com os quais os M sinais de alimentaçãoapresentam-se inclusos no sinal estéreo. Os novos fatores de ganho ou os ganhos demixagem do sinal estéreo remixado desejado são representados por c, e d,. Os ganhos demixagem c, e d, podem ser especificados por um usuário através da interface para usuáriode um dispositivo de áudio, tal conforme descrito pela Figura 12.
Em algumas implementações, o sinal estéreo de entrada é decomposto em sub-faixas pela disposição de banco de filtro 302, aonde um par de sub-faixa para umafreqüência específica é denominado Xi(Tc) e x2(k). Conforme ilustrado na Figura 3A, ainformação paralela é decodificada pelo decodificador 304, viabilizando que cada um dossinais de alimentação M sejam remixados, os fatores de ganho a, e b, que estejam contidosno sinal estéreo de entrada, e para cada sub-faixa, uma estimativa de potência, E{s?(k)}. Adecodificação da informação paralela é descrita em maiores detalhes com referência àsFiguras 4 e 5.
Fornecida a informação paralela, o par de sub-faixa correspondente do sinal deáudio estéreo remixado pode ser estimado pelo módulo de remixagem 306 na forma de umafunção de ganhos de mixagem , c, e d,· do sinal estéreo remixado. A disposição de banco defiltro inversa 308 é aplicada junto aos pares de sub-faixas estimados para proporcionamentode um sinal estéreo remixado no domínio de tempo.
A Figura 3B compreende de um fluxograma de uma implementação de umprocesso de remixagem 310 para a estimativa de um sinal estéreo remixado fazendo uso dosistema de remixagem da Figura 3A. Um sinal estéreo de entrada é decomposto em paresde sub-faixas (312). A informação paralela é decodificada para os pares de sub-faixas (314).Os pares de sub-faixas são remixados fazendo uso da informação paralela e dos ganhos demixagem (318). Em algumas implementações, os ganhos de mixagem são fornecidos pelousuário, conforme descrito com referência à Figura 12. De maneira alternativa, os ganhos demixagem podem ser fornecidos de modo programático através de aplicação de um sistemaoperacional ou algo do gênero. Os ganhos de mixagem podem ser fornecidos tambématravés de uma rede de trabalho (por exp., a Internet, Ethernet, rede de trabalho semfiação), conforme descrito com referência à Figura 11.
D. O Processo de Remixagem
Em algumas implementações, o sinal estéreo remixado pode ser aproximado emum sentido matemático fazendo emprego da estimativa dos mínimos quadrados. Demaneira opcional, as considerações de percentuais podem ser utilizadas para se alterar aestimativa.
As Equações [1] e [2] apresentam também os pares de sub-faixas x1(k) e x2(k) ey1(k) e y2(k), respectivamente. Neste caso, os sinais de alimentação são repostos por sinaisde alimentação de sub-faixas, si(k).
Um par de sub-faixa do sinal estéreo é dado por
<formula>formula see original document page 13</formula>
e um par de sub-faixa do sinal de áudio estéreo remixado é
<formula>formula see original document page 13</formula>
Dado um par de sub-faixa do sinal estéreo original, Xj(Zc) e x2(k), o par de sub-faixado sinal estéreo com ganhos diferentes é estimado como uma combinação linear do par desub-faixa esquerdo e direito original.
<formula>formula see original document page 13</formula>
aonde W11(k), W12(k), W21 (k) e W22(k) são fatores de ponderação com valores reais.O erro de estimativa é definido como
<formula>formula see original document page 13</formula>
Os pesos W11(k), w12(k), W21(k) e W22(k) podem ser computados, para cada tempo kpara as sub-faixas em cada freqüência, de modo que os erros médios quadrados, E{e12(k)} eE{e22(k)} sejam minimizados. Para a computação de wu(k) e w12(k), observa-se queE(e12(k)) é minimizado quando o erro erfk) é ortogonal a Xi(k) e x2(k), ou seja
<formula>formula see original document page 14</formula>
Observa-se que, por questão de conveniência de anotação, o índice de tempo /c foiomitido.
Essas equações podem ser re-rescritas na forma
<formula>formula see original document page 14</formula>
Os fatores de ganho representam a solução deste sistema de equação linear:
<formula>formula see original document page 14</formula>
Enquanto E{x12}, E(X22) e E(X1X2) podem ser estimados diretamente, dado o par desub-faixa do sinal estéreo de entrada, E(X1Y1) e E(X2Y2) podem ser estimados fazendoemprego da informação paralela (E(s12), a,, òj e os ganhos de mixagem, c, e d, do sinalestéreo remixado desejado:
<formula>formula see original document page 14</formula>De modo análogo, W21 e W22 são computados, resultando em
<formula>formula see original document page 15</formula>
com
<formula>formula see original document page 15</formula>
quando os sinais de sub-faixas esquerdo e direito apresentam-se coerentes ouproximamente coerentes, isto é, quando
<formula>formula see original document page 15</formula>
encontra-se próximo da unidade, então, a solução para os pesos é múltipla ouapresenta-se mal-condicionada. assim, caso □ seja maior do que um certo valor limite (porexp., 0,95), então os pesos são computados, por exemplo, através de
<formula>formula see original document page 15</formula>
Considerando que ' 1, a equação [18] é uma das múltiplas soluçõessatisfazendo a [12] e o sistema de equações de ortogonalidade análogo para os outros doispesos. Observe-se que a coerência em [17] é utilizada para avaliar quão similar X1 e X2 seapresentam um para o outro. Caso a coerência seja zero, então X1 e X2 são independentes.Caso a coerência seja um, então X1 e X2 são análogos (mas, podem se apresentar emníveis diferentes). Caso X1 e X2 sejam bastantes semelhantes (a coerência próxima àunidade), então a computação de Wiener para dois canais (computação para quatro pesos)apresenta-se mal-condicionada. Um exemplo da faixa para valor limite é entre 0,4 até emtorno de 1,0.
O sinal estéreo remixado resultante obtido pela conversão dos sinais de sub-faixascomputados junto ao domínio de tempo, soa semelhante a um sinal estéreo que poderia serverdadeiramente mixado com diferentes ganhos de mixagem, ci e di (na seqüência este sinalé representado como "sinal desejado"). Por outro lado, em termos matemáticos, isto requerque os sinais de sub-faixas computados apresentem-se análogos aos verdadeiramentesinais de sub-faixas mixados de maneira diferente. Esta é a situação até uma certa altura.Uma vez que tenha sido levada a termo a estimativa em um domínio de sub-faixa motivadode modo percentual, o requisito de analogia é menos necessário. Desde que as instruçõesde localização relevantes de modo percentual (por exp., diferença de nível e instruções decoerência) apresentem-se suficientemente similares, o sinal estéreo remixado computado irásoar semelhante ao sinal desejado.
E. Opcional: Ajuste de Instruções De Diferença de Nível
Em algumas implementações, caso o processamento aqui descrito seja utilizado,bons resultados podem ser obtidos. Não obstante, para se estar seguro que a importânciadas instruções de localização de diferença de nível se aproxime bastante das instruções dediferença de nível do sinal desejado, pode-se aplicar uma graduação posterior das sub-faixas para "ajuste" das instruções da diferença de nível para se ter garantia que aquelasinstruções se conjuguem com as instruções de diferença de nível do sinal desejado.
Para a modificação das estimativas do sinal de sub-faixa dos mínimos quadradosem [9], considera-se a potência da sub-faixa. Caso a potência de sub-faixa esteja correta,então a importante diferença de nível da instrução espacial estará também correta. Apotência de sub-faixa do sinal desejado [8] é
<formula>formula see original document page 16</formula>/=1
e a potência da sub-faixa da estimativa a partir de [9] é<formula>formula see original document page 17</formula>
Assim, para y1(k) apresentar a mesma potência de yrfk) tem de ser multiplicado por
<formula>formula see original document page 17</formula>
De forma análoga, sendo y2(k) multiplicado por
<formula>formula see original document page 17</formula>
apresentará a mesma potência do sinal de sub-faixa desejado yiik).
II. QUANTIZAÇÃO E CODIFICAÇÃO DA INFORMAÇÃO PARALELA
A. Codificação
Conforme descrito na seção anterior, a informação paralela necessária para aremixagem de um sinal de alimentação com índice /' compreende os fatores a, e b„ e paracada sub-faixa a potência, a potência como uma função do tempo, E{s?(k)}. Em algumasimplementações, os valores de ganho e diferença de nível correspondentes para os fatoresde ganho a, e ò, podem ser computados em dB como se segue:
<formula>formula see original document page 17</formula>
Em algumas implementações, os valores de ganho e diferença de nível sãoquantizados e codificados no modo Huffman. Por exemplo, um quantizador uniforme comum tamanho de degrau para quantizador de 2 dB e um codificador Huffman uni-dimensionalpode ser empregado para quantização e codificação, respectivamente. Outros codificadorese quantizadores conhecidos podem ser utilizados (por exp., o quantizador vetorial).
Caso a, e ò, sejam constantes no tempo, e assumindo-se que a informação paralelaatinga um nível de confiabilidade no decodificador, os valores codificados correspondentesnecessitam de serem somente transmitidos uma vez. De outra forma, a, e b, podem sertransmitidos em intervalos de tempo regulares ou em resposta a um evento de disparo (porexp., toda vez que os valores codificados se alterem).
Para ser robusta em relação à graduação do sinal estéreo e do ganho/perda depotência devido a codificação do sinal estéreo, em algumas implementações, a potência desub-faixa E{si2(k)} não e diretamente codificado como informação paralela. Ao contrário,uma medida definida em relação ao sinal estéreo pode ser empregada:
4 W = IOlog10 (24>
Pode ser vantajoso se utilizar as mesmas janelas de estimação /constantes detempo para a computação de E{.} para os vários sinais. Uma vantagem da definição dainformação paralela, no modo de um valor de potência relativa [24], é que o decodificador deuma janela de estimação/constante de tempo diferente daquela do codificador original podeser empregada, caso desejado. Ainda, o efeito do mau alinhamento do tempo entre ainformação paralela e o sinal estéreo é reduzido em comparação com a situação quando aforça de alimentação deveria ser transmitida com um valor absoluto. Para a quantização ecodificação Aj(k), em algumas implementações, um quantizador uniforme é empregado comum tamanho de etapa de, por exemplo, 2dB, e um codificador uni-dimensional Huffman. Ataxa de bits resultante pode ser tão pequena quanto em torno de 3 kb/s (quilo bit porsegundo) por áudio de objeto que deva ser remixado.
Em algumas implementações, a taxa de bits pode ser reduzida quando um sinal dealimentação introduzido correspondendo a um objeto a ser remixado no decodificadorencontra-se silenciosa. Um modo de codificação do codificador pode detectar o objeto emsilêncio, e daí transmitir a informação ao decodificador (por exp., um único bit por quadro)para indicação que o objeto encontra-se em silêncio.
B. Decodificação
Dado os valores decodificados de Huffman(quantizados) [23] e [24], os valoresnecessários para remixagem podem ser computados como se segue:<formula>formula see original document page 19</formula>
III. IMPLEMENTAÇÃO DE DETALHES
A. Processamento de Tempo-Frequência
Em algumas implementações, a STFT (transformada de Fourier para intervaloscurtos) com base no processamento é empregada para os sistemas decodificação/decodificação com referência as Figuras de 1 a 3. Outras transformadas detempo-frequência podem ser empregadas para se chegar a um resultado desejado,incluindo, mas não se estando limitado a um banco de filtro de filtro para quadraturaespelhada (qmf), uma transformada modificada discreta de coseno (MDCT), um banco defiltro de onda pequena, etc.
Para processamento da análise (por exp., uma operação de banco de filtrodianteiro), em algumas implementações um quadro de N amostras pode ser multiplicadocom uma janela antes de uma transformada discreta de Fourier de N-pontos (DFT) ou umatransformada rápida de Fourier (FFT) serrem aplicadas. Em algumas implementações, podeser empregado a janela de seno abaixo:
<formula>formula see original document page 19</formula>
Caso o processamento do tamanho do bloco seja diferente do tamanho DFT/FFT,então algumas implementações zeradas podem ser utilizadas de modo eficienteapresentando uma janela menor do que Ν. O processamento da análise descrita pode, porexemplo, ser repetido a cada N/2 amostras (idênticos tamanhos de saltos de janela),resultando em uma ultrapassagem de janela a 50 por cento. Outras funções de janela epercentuais de ultrapassagem podem ser empregadas para se chegar a um resultadodesejado.
Para se transformar o domínio espectral STFT em um domínio temporal, pode-seaplicar junto ao espectro uma inversa DFT ou FFT. O sinal resultante é multiplicadonovamente com a janela descrita em [26], e os blocos de sinal adjacentes resultantes dessamultiplicação com a janela são combinados com a ultrapassagem adicionada para se obtero sinal de domínio temporal contínuo.
Em algumas situações, a resolução espectral uniforme do STFT pode não seapresentar bem adaptada à percepção humana. Em algumas situações, em oposição a seprocessar cada coeficiente de freqüência STFT de forma individual, esses coeficientesSTFT podem ser "agrupados", de modo que um grupo apresente uma largura de faixaaproximadamente duas vezes a largura de faixa retangular equivalente (ERB), querepresenta uma resolução de freqüência adequada para o processamento de áudioespacial.
A Figura 4 ilustra índices i dos coeficientes STFT pertencendo a uma partição comíndice b. Em algumas implementações, somente o primeiro dos coeficientes espectraisN/2+1 do espectro são considerados devido ao espectro ser simétrico. Os índices doscoeficientes STFT que façam parte da partição com índice b(1≤b≤B ) são
i Є{Ab-1, Ab-1 + 1,..., Ab} com A0=O, conforme ilustrado na Figura 4. Os sinaisrepresentados pelos coeficientes espectrais das partições correspondem a decomposiçãode sub-faixa motivada de modo perceptual empregado pelo sistema de codificação. Assim,dentro de cada partição o processo descrito é aplicada conjuntamente junto a coeficientesSTFT no interior da partição.
A Figura 5 ilustra de modo exemplar o agrupâmento dos coeficientes espectrais deum espectro uniforme STFT para imitar a resolução da freqüência não-uniforme de umsistema de audição humana. Na Figura 5, N=1024 para uma taxa de amostragem de 44,1kHz e o número de partições, B=20, com cada partição apresentando uma largura de faixade aproximadamente 2 ERB. Observe-se que a última partição é menor do que dois ERBdevido ao corte na freqüência Nyquist.
B. Estimação dos Dados Estatísticos
Dado dois coeficientes STFT, xi(k) e Xj(k), os valores de E{xi(k)xj(k)}, necessáriospara computação do sinal de áudio estéreo remixado podem ser estimados de modoiterativo. Neste caso, a freqüência de amostragem de sub-faixa fs compreende a freqüênciatemporal aonde são computados os espectros para STFT. Para se conseguir estimativaspara cada partição perceptual (e não para cada coeficiente STFT), os valores estimadospodem ser ponderados no interior das partições antes de serem utilizados, adicionalmente.
O processamento descrito nas várias seções pode ser aplicado para cada partiçãoconforme seria aplicada para uma sub-faixa. O nivelamento entre partições pode ser levadoa termo utilizando-se, por exemplo, a ultrapassagem de janelas espectrais para se evitarmudanças abruptas no processamento da freqüência, reduzindo assim os periféricos.
C. Combinação com Codificadores de Áudio Convencionais
A Figura 6A compreende de um diagrama de blocos de uma implementação dosistema de codificação 100 da Figura 1A combinado com um codificador de áudio estéreoconvencional. Em algumas implementações, um sistema de codificação combinado 600inclui um codificador de áudio convencional 602, um codificador proposto 604 (por exp.,sistema de codificação 100) e um combinador de fluxo de bits 606. No exemplo mostrado,os sinais de entrada de áudio estéreo são codificados pelo codificador de áudioconvencional 602 (por exp., MP, AAC, MPEG surround, etc.) e analisados pelo codificador604 proposto para fornecimento da informação paralela, conforme previamente descrito comreferência as Figuras de 1 a 5. Os dois fluxos de bits resultantes são combinados pelocombinador de fluxo de bits 606 para fornecimento de um fluxo de bits compatível com os anteriores. Em algumas implementações, a combinação dos fluxos de bits resultantes incluise embutir a informação paralela à baixa taxa de bits (por exp., fatores de ganho a„ ò, e apotência de sub-faixa E{s?(k)}) junto ao fluxo de bits compatível anterior.
A Figura 6B compreende de um fluxograma de uma implementação de umprocesso de codificação 608 fazendo uso do sistema de codificação 100 da Figura 1Acombinada com um codificador de áudio estéreo convencional. Um sinal estéreo de entradaé codificado fazendo-se uso de um codificador de áudio estéreo convencional (610). Ainformação paralela é gerada a partir do sinal estéreo e dos sinais de alimentação Mfazendo uso do sistema de codificação 100 da Figura 1A (612). Um ou mais fluxos de bitscompatíveis com o anterior incluindo o sinal estéreo codificado e a informação paralela sãogerados em (614).
A figura 7A compreende de um diagrama de blocos de uma implementação dosistema de remixagem 3) 0 da Figura 3A combinado com um decodificador de áudio estéreoconvencional para fornecimento de um sistema combinado 700. Em algumasimplementações, o sistema combinado 700, em regra, inclui um analisador gráfico de fluxode bits 702, um decodificador de áudio convencional 704, (por exp., MP3,AAC) e umdecodificador proposto 706. Em algumas implementações, o decodificador proposto 706compreende o sistema de remixagem 300 da Figura 3A.
No exemplo mostrado, o fluxo de bits é separado em um fluxo de bits de áudioestéreo e um fluxo de bits contendo informação paralela necessária pelo decodificador 706proposto para fornecimento da capacidade de remixagem. O sinal estéreo é decodificadopelo decodificador de áudio convencional 704 e alimentado ao decodificador 706 proposto,que modifica o sinal estéreo na forma de uma função da informação paralela obtida a partirdo fluxo de bits e da entrada do usuário (por exp., ganhos de mixagem c, e d).
A Figura 7B compreende de um fluxograma de uma implementação de umprocesso de remixagem 708 fazendo uso do sistema combinado 700 da Figura 7A. Um fluxode bits recebido a partir de um codificador é analisado para fornecimento de um fluxo de bitsde sinal estéreo codificado e do fluxo de bits com informação paralela (710). O sinal estéreocodificado é decodificado fazendo uso de um decodificador de áudio convencional (712).Exemplos de decodificadores incluem MP3, AAC
(incluindo os vários perfis padronizados do AAC), estéreo paramétrico, reaplicaçãode faixa espectral (SBR)1 surround MPEG, ou qualquer combinação dos mesmos. O sinalestéreo decodificado é remixado utilizando-se a informação paralela e a entrada do usuário(por exp., c, e d,).
IV. Remixagem dos Sinais de Áudio de Múltiplos Canais
Em algumas implementações, os sistemas de codificação e remixagem 100, 300descritos nas seções anteriores podem ser estendidos para a remixagem dos sinais deáudio de múltiplos canais (por exp., sinais surround de formato 5.1). Um sinal estéreo e umsinal de múltiplos canais podem ser referidos como sinais de canais plurais. Os especialistasna área poderão conceber reformulações das relações de [7] a [22] para um esquema decodificação/decodificação de múltiplos canais, ou seja, para mais de dois canais Xi(k), X2(k),x3(k),...,xc(k), onde C é o número de canais de áudio do sinal mixado.
A equação [9] para a situação de múltiplos canais torna-se
<formula>formula see original document page 22</formula>
Uma equação como em [11] com C equações pode ser derivada e resolvida paradeterminação dos pesos, conforme anteriormente previsto.
Em algumas implementações, certos canais podem ser deixados sem o devidoprocessamento. Por exemplo, para o surround formato de 5.1, os dois canais traseirospodem ser deixados sem processamento e a remixagem sendo aplicada somente para oscanais de centro, direita e esquerda frontais. Nesta situação, um algoritmo de remixagempara três-canais pode ser aplicado para os canais frontais.
A qualidade de áudio resultante do esquema de remixagem descrito depende danatureza da modificação sendo conduzida. Para modificações relativamente fracas, porexemplo, mudança de varredura de 0 dB até a 15 dB ou modificação de ganho de 10 dB, aqualidade de áudio resultante pode ser maior do quer a atingida pelas técnicasconvencionais. Ainda, a qualidade do esquema de remixagem descrito proposto pode sermais elevada do que os esquemas de remixagem convencionais devido que o sinal estéreoé modificado somente conforme o necessário para se chegar a remixagem desejada.
O esquema de remixagem aqui descrito fornece várias vantagens em relação àstécnicas convencionais. Primeiramente, ele possibilita a remixagem de menos do que onúmero total de objetos em um dado sinal de áudio de múltiplos canais ou estéreo. Isto éalcançado pela estimação da informação paralela como uma função do sinal de áudioestéreo fornecido, mais os M sinais de alimentação representando M objetos no sinal deáudio estéreo, que são para ser viabilizados para a remixagem junto a um decodificador. Osistema de remixagem descrito processa o sinal estéreo fornecido na forma de uma funçãoda informação paralela e como uma função da entrada de usuário (a remixagem desejada)para gerar um sinal estéreo que é perceptualmente semelhante ao sinal estéreo mixado demodo verdadeiramente diferente.
V. APERFEIÇOAMENTOS JUNTO AO ESQUEMA BÁSICO DE REMIXAGEM
A. Pré-Processamento da Informação Paralela
Quando uma sub-faixa é atenuada demais em relação às sub-faixas vizinhas, osartifícios de áudio ocorrem de foram demasiada. Assim, é desejado se restringir aatenuação máxima. Mais ainda, uma vez que as estatísticas do sinal estéreo e do sinal dealimentação de objeto são medidos de maneira independente junto ao codificador edecodificador, respectivamente, a razão entre a potência de sub-faixa do sinal estéreomedido e a potência de sub-faixa de sinal de objeto (conforme representado pelainformação paralela) pode se desviar da realidade. Devido a esta razão, a informaçãoparalela pode ser tal que seja fisicamente impossível, por exp., a potência de sinal do sinalremixado [19] pode se tornar negativa. Ambas questões podem ser endereçadas conformedescrito abaixo.
A potência de sub-faixa do sinal remixado esquerdo e direito é dada por
<formula>formula see original document page 23</formula>
ONDE P"si é igual a estimativa de potência de sub-faixa codificada e quantizadadada por [25], que é computado como uma função da informação paralela. A potência desub-faixa do sinal remixado pode ser limitada de modo que nunca se apresente menor doque L dB abaixo da potência de sub-faixa do sinal estéreo original, Efx12) De modo similar,E{y22} não é limitado no sentido de ter de ser menor do que L dB abaixo de E{x22}. Esteresultado pode ser alcançado com as seguintes operações:
1. Computar a potência de sub-faixa do sinal remixado esquerdo e direito de acordocom [28].
2. Caso E{y1"2) < Q E{X1"2}, então ajuste-se os valores computados Psiida informaçãoparalela, de modo que E{y1"2)= QE{x1"2) se mantenha. Para se limitar a potência de E{y1"2) aque não apresente um valor menor do que A dB abaixo da potência de E{x1"2}, então Q podeser ajustado como Q = 10 -A/10. Então, Psi pode ser ajustado multiplicando-o pela relaçãoabaixo
<formula>formula see original document page 24</formula>)
3. Caso E{y2"2}< Q E{x2"2), então ajuste-se os valores computados da informaçãoparalela Psi, de modo que E{y2"2)= Q E{x2"2) se mantenha. Isto pode ser alcançadomultiplicando Psi por
<formula>formula see original document page 24</formula>
4. O valor de ÊfsF(k)} é estabelecido para se ajustar ao Psi, e os pesos W11, w12, W21e W22 são calculados.
B. Decisão Entre a Utilização de Quatro ou Dois Pesos
Para muitos casos, dois pesos [18] são adequados para a computação das sub-faixas de sinal remixado esquerdo e direito [9], Em alguns casos, melhores resultadospodem ser alcançados pela utilização de quatro pesos [13] e [15]. Fazendo-se uso de doispesos significa que para a geração do sinal de saída esquerdo somente é empregado osinal esquerdo original e é feito o mesmo para o sinal de saída direito. Assim, um cenárioaonde se é desejável quatro pesos é aquele quando um objeto em um lado é remixado parase apresentar no outro lado. Neste caso, deve ser aguardado que o emprego de quatropesos é favorável porque o sinal que originalmente se encontrava somente em um lado (porexp., no canal esquerdo), se apresentará quase que completamente no outro lado (por exp.,no canal direito) após a remixagem. Assim, os quatro pesos podem ser utilizados para sepossibilitar o trânsito do sinal de um canal esquerdo original para um canal direito remixadoe vice-versa.
Quando o problema de computação dos mínimos quadrados para quatro pesosapresenta-se mal-condicionado, a magnitude dos pesos pode se apresentar ampla. Deforma similar, quando a remixagem descrita acima do tipo de um lado para outro éempregada, a magnitude dos pesos, quando são empregados somente dois pesos, pode serampla. Motivado por esta observação, em algumas implementações o critério a seguir podeser usado para se decidir o emprego de quatro ou dois pesos.
Caso A<B, então faz-se emprego de quatro pesos, caso contrário use-se doispesos. AeB compreendem uma medida da magnitude dos pesos para quatro e dois pesos,respectivamente. Em algumas implementações, AeB são computados como se segue.Para computação de A, primeiro se compute os quatro pesos de acordo com [13] e [15] eentão envie A = W112 + W122 + W212 + W22 . Para computação de S, os pesos podem sercomputados de acordo com [18] e então B = W112 + W22 é computado.
C. Melhoramento do Grau de Atenuação Quando Desejado
Quando uma fonte deve ser totalmente removida, por exp,, removendo-se a trilhado vocal principal para uma utilização Karaokê, os ganhos de mixagem são c,=0, e dj=Q.Contudo, quando um usuário escolhe ganhos de mixagem nulos, o grau de atenuaçãoalcançada pode ser limitado. Assim, para melhoramento da atenuação, os valores depotência de sub-faixa de alimentação dos sinais de alimentação correspondentes obtidos apartir da informação paralela, ÊfèPfk)}, podem ser graduados por um valor maior do que aunidade (por exp., 2) antes de serem empregados para computação dos pesos W11, w12, W21e w22.
D. Qualidade de Áudio Aperfeiçoada Através do Nivelamento do Peso
Tem-se observado que o esquema de remixagem descrito pode introduzir artifíciosno sinal desejado, especialmente quando um sinal de áudio é tonai ou estacionário. Para semelhorar a qualidade do áudio, em cada sub-faixa, uma medida da tonalidade/estacionáriapode ser computada. Caso a medida estacionária/tonalidade exceda um certo valor limite,TON0, então a estimação dos pesos será nivelada com o tempo. A operação de nivelamentoé descrita a seguir. Para cada sub-faixa, e para cada índice de tempo k, os pesos que sãoaplicados para computação das sub-faixas de saída são obtidos como se segue:
. Caso TON(Zc) > TON0, então<formula>formula see original document page 26</formula>
onde comprendem pesos nivelados e
<formula>formula see original document page 26</formula>
são pesos sem nivelamento computados conforme descrição
anterior.
ou então,
<formula>formula see original document page 26</formula>
E. Controle do Ambiente/Reverberação
A técnica de remixagem aqui descrita proporciona o controle ao usuário em termosde ganhos de mixagem c, e d,. Isto corresponde a determinação para cada objeto do ganhoGi, e a varredura da amplitude, Li (direção), onde o ganho e varredura são plenamentedeterminados por c, e di,
<formula>formula see original document page 26</formula>
Em algumas implementações, pode-se desejar se controlar outras característicasda mixagem em estéreo que não compreenda o ganho e a varredura de amplitude dossinais de alimentação. Na descrição a seguir, uma técnica é descrita para a modificação deum grau de ambientação de um sinal de áudio estéreo. Não se é utilizada nenhumainformação paralela para esta tarefa do decodificador.
Em algumas implementações, o modelo de sinal dado por [44] pode ser utilizadopara modificar o grau de ambientação de um sinal estéreo, onde a potência de sub-faixa deH1 e n2 são assumidas como sendo iguais , ou seja,<formula>formula see original document page 27</formula>
Novamente, pode-se assumir que s , D1 e n2 são mutuamente independentes.Dadas essas considerações, a coerência dada por [17] pode ser escrita como
<formula>formula see original document page 27</formula>
Isto corresponde a uma equação quadrática com a variável PN(k),
<formula>formula see original document page 27</formula>
As soluções desta equação quadrática são
<formula>formula see original document page 27</formula>
A solução fisicamente possível é aquela com o sinal negativo antes da raizquadrada,
<formula>formula see original document page 27</formula>
devido que PN(k) tenha de ser menor ou igual a E{x12(k)} + E{x22(k)}.
Em algumas implementações, o controle da ambientação esquerda e direita, atécnica de remixagem pode ser aplicada em relação a dois objetos. Um objeto compreendede uma alimentação com índice I1 com potência de sub-faixa E{sn2(k)}= PN(k) no ladoesquerdo, ou seja, a,j=1 e 6,7=0. O outro objeto compreende de uma alimentação com índicei2 com potência de sub-faixa E{si22(k)}=PN(k) no lado direito, ou seja, a,2=0 e ò2=1. Para sealterar a proporção de ambientação, um usuário pode escolher Ci1= dn = 10 ga/20 e ci22 = di1 =0, onde gaêo ganho em ambientação em dB.
F. Informação Paralela Diferenciada
Em algumas implementações, a informação paralela diferenciada ou modificadapode ser empregada no esquema de remixagem descrito que se apresenta mais eficienteem termos de taxa de bits. Por exemplo, em [24] Aj(k) podem apresentar valores arbitrários.Ocorre também uma dependência no nível do sinal de alimentação original stfn). Assim, parase conseguir informação paralela em um nível desejado, o nível do sinal de alimentação deentrada necessitaria de ser ajustado. Para se evitar este ajustamento, e para se remover adependência da informação paralela no nível de sinal de alimentação original, em algumasimplementações, a potência de sub-faixa de alimentação pode ser normalizada nãosomente em relação a potência de sub-faixa de sinal estéreo como em [24], mas também osganhos de mixagem podem ser considerados:
<formula>formula see original document page 28</formula>
Isto corresponde a se fazer uso da informação paralela como a potência dealimentação contida no sinal estéreo (e não diretamente na potência de alimentação),normalizada com o sinal estéreo. Alternativamente, pode-se fazer uso de uma normalizaçãode acordo com :
<formula>formula see original document page 28</formula>
Esta informação paralela é também mais eficiente uma vez que Aj(k) podeapresentar somente valores menores do que ou iguais a 0 dB. Observe-se que [39] e [40]podem ser resolvidos para a potência de sub-faixa E(SFfk)).
G. Objetos/Sinais de Alimentação Em Estéreo
O esquema de remixagem aqui descrito pode ser estendido com facilidade para semanipular com os sinais de alimentação. A partir de uma perspectiva de informaçãoparalela, os sinais de alimentação em estéreo são tratados como dois sinais de alimentaçãoem mono: um sendo mixado somente à esquerda e o outro sendo mixado somente à direita.Ou seja, o canal de alimentação esquerdo i apresenta um fato de ganho esquerdo não nuloai e um fato de ganho direito zero bi+1. Os fatores de ganho, ai e bi+1 podem ser estimadospor [6]. A informação paralela pode ser transmitida como se a alimentação em estéreocompreendesse duas alimentações mono. Alguma informação necessita de ser transmitidapara o decodificador para indicar ao decodificador quais são as fontes de alimentação emmono e quais são as fontes em estéreo.
Com respeito ao processamento do decodificador e uma interface para usuáriográfica (GUI), uma possibilidade é se apresentar junto a um decodificador um sinal dealimentação estéreo similarmente como um sinal de alimentação mono. Ou seja, o sinal dealimentação estéreo apresenta um ganho e controle de varredura similar ao sinal dealimentação mono. Em algumas implementações, a relação entre o ganho e o controle devarredura do GUI do sinal estéreo não remixado e os fatores de ganho pode ser escolhidacomo sendo:
<formula>formula see original document page 29</formula>
Ou seja, o GUI pode ser ajustado inicialmente para estes valores. A relação entre oGAIN e PAN escolhidos pelo usuário e os novos fatores de ganho podem ser escolhidoscomo sendo:
<formula>formula see original document page 29</formula>
As equações [42] podem ser resolvidas para c, e di+1, que podem ser utilizadascomo ganhos de remixagem ( com ci+1 = Oed,= 0). A funcionalidade descrita é similar a umcontrole de "balanço" em um amplificador estéreo. Os ganhos dos canais direito e esquerdodo sinal de alimentação são modificados sem se introduzir interferências na conversação.
VI. GERAÇÃO CEGA DA INFORMAÇÃO PARALELA
A Total Geração Cega da Informação ParalelaNo esquema de remixagem descrito, o codificador recebe um sinal estéreo e umaquantidade de sinais de alimentação representando objetos que são para serem remixadosno decodificador. A informação paralela necessária para a remixagem de uma única fontecom índice /' no decodificador é determinada a partir dos fatores de ganho, a, e b, e apotência de sub-faixa E{sf(k)}. A determinação da informação paralela foi descrita nasseções anteriores no caso quando os sinais de alimentação são fornecidos.
Enquanto o sinal estéreo é facilmente obtido ( uma vez que isto corresponde aoproduto existente atual), pode ser difícil se obter os sinais de alimentação correspondendoaos objetos a serem remixados junto ao decodificador.
Assim, é desejável se gerar a informação paralela para remixagem mesmo caso ossinais de alimentação do objeto não se apresentem disponíveis. Na descrição que se segue,descreve-se uma técnica de geração totalmente cega para geração da informação paralelapara somente o sinal estéreo.
A Figura 8A compreende de um diagrama de blocos de uma implementação de umsistema de codificação 800 implementando a geração da informação paralela totalmentecega. O sistema de codificação 800 em regra inclui uma disposição de banco de filtro 802,um gerador de informação paralela 804 e um codificador 806. O sinal estéreo é recebidopela disposição de banco de filtro 802 que decompõe o sinal estéreo (por exp., canais direitoe esquerdo) nos pares de sub-faixas. Os pares de sub-faixas são recebidos peloprocessador da informação paralela 804 que gera a informação paralela a partir de pares desub-faixas fazendo uso de uma diferença de nível de alimentação desejado Li e uma funçãode ganho f(M).
A Figura 8B compreende de um fluxograma de uma implementação de umprocesso de codificação 808 fazendo uso do sistema de codificação 800 da Figura 8A. Osinal estéreo de entrada é decomposto em pares de sub-faixas (810). Para cada sub-faixa,os fatores de ganho a, e bh são determinados para cada sinal de alimentação desejadofazendo uso de um valor de diferença de nível de alimentação desejado, Li (812). Para umsinal de alimentação sonoro direto (por exp., um sinal de alimentação localizadocentralmente no estágio sonoro), a diferença de nível de som desejada é Li = 0 dB. Dado L11os fatores de ganho são computados:
<formula>formula see original document page 30</formula>
onde A = 10^Li/10. Observe-se que a, e b, são computados de modo que ai2 + bi2 = 1.Esta condição não é uma necessidade; ao contrário, compreende de uma escolha arbitráriapara se impedir que ai ou bi apresentem valores amplos quando a magnitude de Li toma-seampla.Em seguida, a potência de sub-faixa do som direto é estimada fazendo uso do parde sub-faixas e dos ganhos de mixagem (814). Para se computar a potência de sub-faixa desom direto, pode-se assumir que cada sub-faixa esquerda e direita de sinal de entrada paracada tempo pode ser dada por
X1 = as + n1,,
x2 = bs + n2, (44)
onde a e b compreendem dos ganhos de mixagem, s representa o som direto detodos os sinais de alimentação e n? e n2 representam o som ambiente independente.
Pode-se assumir que a e b são
<formula>formula see original document page 31</formula>
onde B = E{x22(k)}/E{x12(k)}. Observe-se que a e b podem ser computados de modoque a diferença de nível, aonde s apresenta-se contido em X2 e X1, seja igual a diferença denível entre X2 e X1. A diferença de nível em dB do som direto é /W=log10B.
Pode-se computar a potência de sub-faixa de som direto, E{s2(k)}, de acordo com omodelo de sinal dado por [44]. Em algumas implementações, o seguinte sistema deequação é empregado:
<formula>formula see original document page 31</formula>
Assume-se que por [46] que s, R1 e n2 por [34] são mutuamente independentes, asquantidades do lado esquerdo podem ser medidas, e, a e b tornam-se disponíveis. Assim,as três incógnitas em [46] são E{s2(k)}, E{n12(k)} e E{n22(k)}. A potência de sub-faixa de somdireto, E{s2(k)}, pode ser dada por<formula>formula see original document page 32</formula>
A potência de sub-faixa de som direto pode ser escrita também como uma funçãoda coerência [17],
<formula>formula see original document page 32</formula>
Em algumas implementações, a computação da potência de sub-faixa dealimentação desejada, E{s?(k)}, pode ser executada em duas etapas: Primeira, a potênciade sub-faixa de som direto, E{s2(k)}, é computada, onde s representa todas as fontes desom direto (por exp., varredura-central) em [44], Então, as potências de sub-faixas dealimentação desejadas, E{si2(k)}, são computadas (816) através da modificação da potênciade sub-faixa de som direto, E{s2(k)}, como uma função do direcionamento de som direto(representado por M) e um direcionamento de som desejado (representado pela diferençade nível de alimentação desejado L):
<formula>formula see original document page 32</formula>
onde f(.) representa uma função de ganho, que compreende uma função dedireção, retornando um fator de ganho que encontra-se próximo a unidade somente no casopara a direção da fonte de alimentação desejada. Na etapa final, os fatores de ganho e aspotências de sub-faixas E{sF(k)} podem ser quantizados e codificados para gerareminformação paralela (818).
A Figura 9 ilustra um exemplo de função de ganho f(M) para um nível de diferençade alimentação desejado Li= L dB. Observe-se que o grau da capacidade de direcionamentopode ser controlado em termos da escolha de f(M) apresentando um pico mais ou menosestreito em torno da direção desejada L0. Para uma fonte de alimentação desejada nocentro, uma largura de pico de L0= 6 dB pode ser empregada.
Observe-se que com a técnica cega total aqui descrita, a informação paralela (a„ b„E{sf(k)}) para um dado sinal de alimentação si pode ser determinada.
B. Combinação Entre a Geração Cega e Não-Cega de Informação Paralela
A técnica de geração cega total descrita acima pode ser limitada sob certascircunstâncias. Por exemplo, caso dois objetos apresentem a mesma posição (direção) emum estágio sonoro estéreo, então pode não ser possível se gerar aleatoriamente ainformação paralela com relação a um ou ambos objetos.
Uma alternativa para a geração de restringencia total da informação paralela étornar a geração parcialmente cega para a informação paralela. A técnica cega parcial gerauma forma de onda de objeto que grosseiramente corresponde à forma de onda do objetooriginal. Isto pode ser feito, por exemplo, tendo-se cantores ou músicos paratocarem/reproduzirem o sinal específico do objeto. Ou, pode-se fazer uso de dados MIDIpara esta finalidade e deixar um sintetizador gerar o sinal de objeto. Em algumasimplementações, a forma de onda "grosseira" de objeto é alinhada com o tempo do sinalestéreo relativo onde a informação paralela está para ser gerada. Então, a informaçãoparalela pode ser gerada fazendo uso de um processo que compreende uma combinaçãode geração de informação paralela cega e não-cega.
A Figura 10 representa um diagrama de uma implementação de um processo degeração de informação paralela 1000 fazendo uso de uma técnica de geração cega parcial.O processo 1000 tem início pela obtenção de um sinal estéreo de entrada e M sinais dealimentação "grosseiros" (1002). Em seguida, os fatores de ganho a-, e b, são determinadospara os M sinais de alimentação "grosseiros" (1004). Em cada intervalo de tempo em cadasub-faixa, uma primeira estimativa para intervalo curto de potência de sub-faixa, E{si2(k)}, édeterminada para cada sinal de alimentação "grosseiro" (1006). Uma segunda estimativapara intervalo curto de potência de sub-faixa, Ehat{si2(k)}, é determinada para cada sinal dealimentação "grosseiro" fazendo uso de uma técnica de geração com restringência totalaplicada junto ao sinal estéreo de entrada (1008).
Finalmente, a função, é aplicada junto às potências de sub-faixas estimadas, quecombina a primeira e segunda estimativas de potência de sub-faixa e retorna uma estimativafinal, que efetivamente pode ser empregada para computação da informação paralela(1010). Em algumas implementações, a função F() é dada por
<formula>formula see original document page 33</formula>
VI. Arquitetura, Interfaces Para Usuário, Sintaxe de Fluxo de Bits
A. Arquitetura para Cliente/Servidor
A Figura 11 representa um diagrama de blocos de uma implementação de umaarquitetura para cliente/servidor 1100 para fornecimento de sinais em estéreo e M sinais dealimentação e/ou informação paralela junto a dispositivos de áudio 1110 com capacidade deremixagem. A arquitetura 1100 compreende meramente um exemplo. Outras arquiteturassão possíveis, incluindo arquiteturas com mais ou menos componentes.
A arquitetura 1100 em regra inclui um serviço de download 1102 apresentando umcomponente de reposição 1104 (por exp., MySQL™) e um servidor 1106 (por exp., Windows™ NT1 servidor Linux). O componente de reposição 1104 pode armazenar vários tipos deconteúdo, incluindo sinais em estéreo profissionalmente mixados, e sinais de alimentaçãoassociados correspondendo a objetos nos sinais em estéreo e vários efeitos (por exp.,reverberação). Os sinais em estéreo podem ser armazenados em uma variedade deformatos padronizados, incluindo o MP3, PCM, AAC, etc.
Em algumas implementações, os sinais de alimentação são armazenados nocomponente de reposição 1104 e são disponibilizados para download junto a dispositivos deáudio 1110. Em algumas implementações, a informação paralela pré-processada éarmazenada no componente de reposição 1104 e pode estar disponível para download juntoa dispositivos de áudio 1110. A informação paralela pré-processada pode ser gerada peloservidor 1106 fazendo uso de um ou mais esquemas de codificação descritos em referênciaas Figuras 1A, 6A e 8A.
Em algumas implementações, o serviço de download 1102 (por exp., um sítio daWeb, armazenagem de músicas) comunica-se com os dispositivos de áudio 1110 através deuma rede de trabalho 1108 (por exp., Internet, intranet, Ethernet, rede de trabalho sem fio,rede de trabalho de sócio para sócio). Os dispositivos de áudio 1110 podem compreenderqualquer dispositivo capaz de implementar os esquemas de remixagem descritos (por exp.,reprodutores de mídia/gravadores de mídia, fones portáteis, assistentes digitaispersonalizados (PDAs), consolos de jogos, caixas periféricas, receptores de televisão,centros de entretenimento, etc.).
B. Arquitetura Para Dispositivo de Áudio
Em algumas implementações, um dispositivo de áudio 1110 inclui um ou maisprocessadores ou núcleos de processador 1112, dispositivos de entrada 1114 (por exp.,periférico de cliques, mouses, joysticks, toque em tela), dispositivos de saída 1120 (por exp.,LCD), interfaces em redes de trabalho 1118 (por exp., USB, FireWire, Ethernet, cartão deinterface para rede de trabalho, transceptor sem fio) e uma mídia fixa 1116 (por exp.,memória, disco rígido, drive instantâneo). Alguns desses componentes podem enviar e/oureceber informação através dos canais de comunicação 1122( por exp., um barramento,ponte).
Em algumas implementações, a mídia fixa 1116 inclui um sistema operacional,gerenciador de música, processador de áudio, módulo de remixagem e biblioteca musical. Osistema operacional é responsável pelo gerenciamento das tarefas de comunicação eadministrativas básicas de gerenciamento do dispositivo de áudio 1110, incluindogerenciamento de arquivo, acesso a memória, conteúdo do barramento, controle deperiféricos, gerenciamento de interface para usuário, gerenciamento da potência, etc. Ogerenciador musical pode ser uma aplicação que gerencia a biblioteca musical. Oprocessador de áudio pode ser um processador de áudio convencional para reproduzirarquivos musicais (por exp., MP3, CD de áudio, etc.). O módulo de remixagem pode ser deum ou mais componentes de software que implementam a capacidade funcional dosesquemas de remixagem descrita em referência as Figuras de 1 a 10.
Em algumas implementações, o servidor 1106 codifica um sinal estéreo e gerainformação paralela, conforme descrito com referência as Figuras 1A,6A e 8A. O sinalestéreo e a informação paralela são descarregados junto ao dispositivo de áudio 1110através da rede de trabalho 1108. O módulo de remixagem decodifica os sinais e ainformação paralela e proporciona com a capacidade de remixagem com base na entradade usuário recebida através de um dispositivo de entrada 1114 (por exp., teclado, periféricode clique, visor de toque).
C. Interface Para Usuário Para Recebimento de Entrada de Usuário
A Figura 12 compreende de uma implementação de uma interface para usuário1202 para um aparelho para jogos padrão 1200 com capacidade de remixagem. A interfacepara usuário 1202 pode ser adaptada também para outros dispositivos (por exp., fonesportáteis, computadores, etc.). A interface para usuário não se encontra limitada aconfiguração ou ao formato mostrado, e pode incluir diferentes tipos de elementos deinterface para usuários (por exp., controles de navegação, superfícies de toque).
Um usuário pode entrar um modo de "remixagem" para o dispositivo 1200destacando o item apropriado na interface para usuário 1202. Neste exemplo, assume-seque o usuário tenha selecionado uma canção da biblioteca musical e gostaria de alterar oajuste de varredura da trilha do vocal principal. Por exemplo, o usuário pode querer escutarmais do vocal principal no canal de áudio esquerdo.
Para se ganhar acesso ao controle de varredura desejado, o usuário pode navegarem uma série de sub-menus 1204, 1206 e 1208. Por exemplo, o usuário pode percorreratravés de itens presentes nos sub-menus 1204, 1206 e 1208, fazendo uso de uma direção1210. O usuário pode selecionar um item de menu destacado pelo clique de um botão 1212.O sub-menu 1208 proporciona acesso ao controle de varredura desejado para a trilha vocalprincipal. O usuário pode, daí, manipular o deslizador (por exp., fazendo uso da direção1210) para ajusta a varredura do vocal principal conforme desejado, enquanto que a cançãoestá sendo tocada.
D. Sintaxe de Fluxo de Bits
Em algumas implementações, os esquemas de remixagem descritos comreferência as Figuras de 1 a 10 podem ser incluídos nos padrões de codificação de áudioexistentes ou futuros (por exp., MPEG-4). A sintaxe do fluxo de bits para o padrão decodificação futuro e existente pode incluir informação que pode ser utilizada por umdecodificador com capacidade de remixagem para determinar como o processo de fluxo debits possibilitaria a remixagem através de um usuário. Tal sintaxe pode ser projetada paraproporcionar com capacidade de compatibilidade junto à antigos esquemas de codificaçãoconvencionais. Por exemplo, uma estrutura de dados (por exp., um cabeçote de pacote)incluído no fluxo de bits pode incluir informação (por exp., um ou mais bits ou sinalizadores)indicando a disponibilidade de informação paralela (por exp., fatores de ganho, potências desub-faixas) para remixagem.
A descrição e outras modalidades e operações funcionais descritas neste relatórioespecífico podem ser implementadas no conjunto de circuitos eletrônicos digitais, ou juntoao software, firmware, ou hardware computacionais, incluídos nas estruturas descritas nesterelatório e seus equivalentes estruturais, ou em combinações de uma ou mais delas. Asmodalidades descritas e outras modalidades podem ser implementadas na forma de um oumais produtos de programas computacionais, ou seja, um ou mais módulos de instruções deprogramas computacionais codificadas em uma mídia fixa para execução pela aparelhagemde processamento de dados, ou para controle da operação da aparelhagem deprocessamento de dados. A mídia fixa pode compreender um dispositivo de armazenagemfixa, um substrato de armazenagem fixa em máquina, um dispositivo de memória, umacomposição de matéria efetuando um sinal propagado fixo em máquina, ou umacombinação de um ou mais dos mesmos. O termo "aparelhagem de processamento dedados" inclui todas as aparelhagens, dispositivos, e máquinas para processamento dedados, incluindo como forma de exemplo um processador programável, um computador, ouprocessadores múltiplos ou computadores. A aparelhagem pode incluir, em acréscimo aoequipamento de hardware, códigos que criam um ambiente de execução para o programacomputacional em questão, por exp., códigos que constituem o processador de firmware,uma fila de protocolo, um sistema de gerenciamento de base de dados, um sistemaoperacional, ou uma combinação de um ou mais dos mesmos. Um sinal propagadocompreende um sinal gerado artificialmente, por exp., um sinal eletromagnético, ótico,elétrico gerado por máquina, que é gerado para codificar informação para transmissão juntoa aparelhagens de recepção adequada.
Um programa computacional (também conhecido como um programa, software,aplicativo de software, escrita, ou código) pode ser escrito em qualquer formato delinguagem de programação, incluindo linguagens interpretadas ou compiladas, e pode serempregado em qualquer forma, incluindo um programa ou módulo, componente, sub-rotinaavulsos adequados para uso em um ambiente computacional. Um programa de computadornão corresponde necessariamente a um arquivo em um sistema de arquivos. Um programapode ser armazenado em uma porção de um arquivo que sustenta outros programas oudados (por exp., uma ou mais escritas armazenadas no documento de linguagemcaracterizado), em um arquivo avulso dedicado ao programa em questão, ou em arquivoscoordenados múltiplos (por exp., arquivos que armazenagem um ou mais módulos, sub-programas, ou porções do código). Um programa computacional pode ser empregado paraser executado em um computador ou em múltiplos computadores que se apresentamlocalizados em um sítio ou distribuídos através de múltiplos sítios e interconectados por umarede de trabalho de comunicação.
Os processos e os fluxos lógicos descritos neste relatório pode ser executados porum ou mais processadores programáveis executando um ou mais programascomputacionais para desempenharem funções pela operação de dados de entrada egeração de saída. Os processos e fluxos lógicos podem ser também desempenhados poruma aparelhagem que pode ser também implementada na forma de um conjunto decircuitos lógicos com finalidades especiais, por exp., um FPGA (disposição de campoprogramável em ponte ou um ASIC( circuito integrado de aplicação específica).
Os processadores adequados para a execução de um programa de computadorincluem, como forma de exemplo, microprocessadores para finalidades genéricas eespeciais, e qualquer um ou mais processadores de qualquer tipo de computador digital. Emregra, um processador irá receber instruções e dados a partir de uma memória fixa ou umamemória de acesso aleatório ou ambas.
Os elementos essenciais de um computador compreendem um processador paradesempenhar instruções e um ou mias dispositivos de memória para armazenagem deinstruções e dados. Em regra, um computador irá incluir também, ou poderá se apresentaracoplado de modo operacional para recebimento de dados ou então transferir dados para oua partir de um ou mais dispositivos de armazenagem em massa para dados armazenados,por exp., discos magnéticos, discos ótico-magnéticos, ou discos óticos. Entretanto, umcomputador não necessita de ter tais dispositivos. A mídia fixa adequada paraarmazenagem de instruções e dados de programas computacionais inclui todas as formasde memória não-volátil, dispositivos de mídia e memória, incluindo como forma de exemplodispositivos de memória semi-condutores, por exp., EPROM, EEPROM, e dispositivos dememória flash; discos magnéticos, por exp., discos internos rígidos ou discos removíveis;disco ótico-magnéticos; e discos de CD-ROM e DVD-ROM. O processador e a memóriapodem ser suplementados, ou incorporados, em conjuntos de circuitos lógicos com finalidades especiais.
Para fornecimento de interação com um usuário, as modalidades descritas podemser implementadas em um computador apresentando um dispositivo de visualização, porexp., um CRT (tubo de raios catódicos) ou (monitor LCD ( visualizador de cristal líquido),para visualização de informação para um usuário e um teclado e um dispositivo deindicação, por exp., um mouse ou uma esfera de localização, através das quais o usuáriopode fornecer entrada para o computador. Outros tipos de dispositivos podem ser utilizadospara fornecimento de interação com um usuário também, por exp., alimentação visual,alimentação compartilhada, ou alimentação táctil; e a entrada por parte do usuário pode serrecebida em qualquer formato, incluindo o acústico, fala, ou entrada táctil.
As modalidades descritas podem ser implementadas em um sistema computacionalque inclui um componente de segunda linha de frente, por exp., um servidor de dados, ouaquele que inclui um componente intermediário, por exp., um servidor de aplicação, ouaquele que inclui um componente de linha de frente, por exp., um computador de clienteapresentando uma interface gráfica para usuário ou um navegador da Web através do qualum usuário pode interagir com uma implementação, uma que tenha sido aqui descrita, ouqualquer combinação de um ou mais componentes de linha de frente, intermediários, ousegunda linha. Os componentes do sistema podem se apresentar inter-conectados atravésde qualquer formato ou mídia de comunicação de dados digitais, por exp., uma rede detrabalho de comunicação. Exemplos de redes de trabalho de comunicação incluem umarede de trabalho na área local ("LAN") e uma rede de trabalho de ampla área ("WAN"), porexp., a Internet.
O sistema computacional pode incluir clientes e servidores. Um cliente e servidorapresentam-se em regra afastados um do outro e interagem, tipicamente, através de umarede de trabalho de comunicação. A relação entre cliente e servidor surge pela virtude deprogramas de computador funcionando nos respectivos computadores e apresentando umarelação de servidor-cliente entre si.
VII. Exemplos de Sistemas Fazendo Uso da Tecnologia de Remixagem
A Figura 13 ilustra uma implementação de um sistema de decodificador 1300combinando a decodificação de objeto de áudio espacial (SAOC) e decodificação deremixagem. O SAO é uma tecnologia de áudio para manuseio de áudio de múltiplos canais,possibilitando a manipulação interativa de objetos de som codificados.
Em algumas implementações, o sistema 1300 inclui um decodificador de sinal demixagem 1301, um gerador de parâmetro 1302 e um componente de renderização deremixagem 1304. O gerador de parâmetro 1302 inclui um estimador cego 1308, gerador deparâmetro de mixagem-usuário 1310 e um gerador de parâmetro de remixagem 1306. Ogerador de parâmetro de remixagem 1306 inclui um gerador de parâmetro de mixagem-equalização 1312 e um gerador de fortalecimento parâmetro 1314.
Em algumas implementações, o sistema 1300 fornece dois processos de áudio. Noprimeiro processo, a informação paralela fornecida por um sistema de codificação é utilizadapelo gerador de parâmetro de remixagem 1306 para geração de parâmetros de remixagem.Em um segundo processo, os parâmetros cegos são gerados pelo componente deestimação cego 1308 e utilizados pelo gerador de parâmetro de remixagem 1306 paragerarem os parâmetros de remixagem. Os parâmetros cegos e os processos de geraçãoparcial ou totalmente cegos podem ser executados pelo componente de estimação cego1308, conforme descrito pelas Figuras 8A e 8B.
Em algumas implementações, o gerador de parâmetro de remixagem 1306 recebeinformação paralela ou parâmetros cegos, e um conjunto de parâmetros de mixagem deusuário a partir do gerador de parâmetro de mixagem-usuário 1310. O gerador de parâmetrode mixagem-usuário 1310 recebe parâmetros mixados especificados pelos usuários deponta (por exp., GAIN, PAN) e converte os parâmetros de mixagem em um formatoadequado para processamento de remixagem pelo gerador de parâmetro de remixagem1306 (por exp., converter para ganhos c„ di+1). Em algumas implementações, o gerador deparâmetro de mixagem-usuário 1310 possibilita a que uma interface para usuário viabilize aque usuários especifiquem os parâmetros de mixagem desejados, tais como, por exemplo, ainterface para usuário de aparelho para jogos padrão 1200, conforme descrito comreferência a Figura 12.
Em algumas implementações, o gerador de parâmetro de remixagem 1306 podeprocessar tanto os sinais em estéreo e os de múltiplos canais. Por exemplo, o gerador deparâmetro de mixagem-equalização 1312 pode gerar os parâmetros de remixagem para umobjetivo de canal estéreo, e o gerador de fortalecimento de parâmetro 1314 pode gerar osparâmetros de remixagem para um objetivo de múltiplos canais. A geração de parâmetro deremixagem com base nos sinais de áudio de múltiplos canais foi descrita com referência aSeção IV.
Em algumas implementações, o componente de renderização de remixagem 1304recebe os parâmetros de remixagem para um sinal alvo estéreo ou um sinal alvo demúltiplos canais. O componente de renderização 1316 de mixagem-equalização aplicaparâmetros de remixagem em estéreo junto ao sinal estéreo original recebido diretamentedo decodificador de sinal mixado 1301 para fornecimento de um sinal estéreo remixadodesejado com base nos parâmetros de mixagem em estéreo especificados pelo usuárioformatado proporcionada pelo gerador de parâmetro de mixagem-usuário 1310. Emalgumas modalidades, os parâmetros de remixagem em estéreo podem ser aplicados juntoao sinal estéreo original fazendo-se uso de uma matriz n por n ( por exp., uma matriz 2x2)de parâmetros de remixagem em estéreo. O componente de renderização de fortalecimento1318 aplica parâmetros de remixagem de múltiplos canais junto a um sinal original demúltiplos canais recebido diretamente do decodificador de sinal mixado 1301 paraproporcionar um sinal de múltiplos canais remixado desejado com base nos parâmetros demixagem de múltiplos canais especificados pelo usuário formatado fornecidos pelo geradorde parâmetro de mixagem e usuário 1310. Em algumas implementações, um gerador deefeitos 1320 gera sinais de efeitos (por exp., um reverberador) a ser aplicado junto aossinais de múltiplos canais ou ao sinal estéreo original pelo componente de renderização demixagem-equalização 1316 ou componente de renderização de fortalecimento,respectivamente. Em algumas implementações, o componente de renderização defortalecimento 1318 recebe o sinal estéreo original e converte (ou seja fortalece) o sinalestéreo em um sinal em múltiplos canais junto ao sinal de múltiplos canais em acréscimo aaplicação de parâmetros de remixagem para geração de um sinal de múltiplos canaisremixado.
O sistema 1300 pode processar os sinais de áudio apresentando uma variedade deconfigurações de canais, possibilitando que o sistema 1300 seja integrado com osesquemas de codificação de áudio existentes (por exp., SAOC, MPEG AAC1 estéreoparamétrico), enquanto que mantendo a compatibilidade anterior com os tais esquemas decodificação de áudio.
A Figura 14A ilustra um modelo de mixagem genérico para Volume Para Diálogoem Separado (SDV). O SDV compreende de uma técnica de aperfeiçoamento deintensificação do diálogo descrita no Pedido de Patente Norte-Americano Provisório N060/884594, para "Volume Para Diálogo em Separado". Em uma implementação de SDV, ossinais em estéreo são registrados e mixados de modo que para cada alimentação o sinaltransita coerentemente nos canais de sinal esquerdo e direito com instruções direcionaisespecíficas (por exp., diferença de nível, diferença de tempo), e os sinaisrefletidos/reverberados independentes dirigem-se para os canais determinando a largurados eventos compartilhados e as instruções de envolvimento do ouvinte. Com referência aFigura 14A, o fator a determina a direção pela qual um evento compartilhado surge, onde scompreende o som direto e n1 e n2 compreendem as reflexões laterais. O sinal s imita umsom localizado a partir de uma direção determinada pelo fator a. Os sinais independentes n1e n2, correspondem ao som refletido/reverberado, freqüentemente denominados de somambiente ou ambientação. O cenário descrito compreende de uma decomposição motivadade modo perceptivo para os sinais em estéreo com uma fonte de áudio,
<formula>formula see original document page 40</formula>
capturando a localização da fonte de áudio e a ambientação.A Figura 14B ilustra uma implementação de um sistema 1400 combinando SDVcom tecnologia de remixagem. Em algumas implementações, o sistema 1400 inclui umbanco de filtro 1402 (por exp., , STFT), um componente de estimação cego 1404, umcomponente de renderização de mixagem-equalização 1406, um gerador de parâmetro1408 e um banco de filtro inverso 1410 (por exp., STFT inverso).
Em algumas implementações, um sinal rebaixado SDV é recebido e decompostopelo banco de filtro 1402 em sinais de sub-faixas. O sinal rebaixado pode ser um sinalestéreo, X1 e x2, dados por [51]. Os sinais de sub-faixas X1 (i,k), X2(i,k) são introduzidos tantodiretamente no componente de renderização de mixagem e equalização 1406 como nocomponente de estimação cego 1404, que libera os parâmetros cegos A, Ps, Pn- Acomputação desses parâmetros é descrita no Pedido de Patente Provisório Norte-Americano N0 60/884594, para "Volume para Diálogo em Separado". Os componentescegos são introduzidos no gerador de parâmetro 1408, que gera os parâmetros demixagem-equalização, W11 - w22, a partir dos parâmetros cegos e dos parâmetros demixagem especificados pelo usuário g(i,k) ( por exp., ganho central, largura central,freqüência de corte, secura). A computação dos parâmetros de mixagem-equalização édescrita na Seção 1. Os parâmetros de mixagem-equalização são aplicados junto a sinaisde sub-faixas pelo componente de renderização de mixagem-equalização 1406 parafornecimento de sinais de saída renderizados, y1t y2. Os sinais de saída renderizados docomponente de renderização de mixagem -equalização 1406 são introduzidos no banco defiltro inverso 1410, que converte os sinais de saída renderizados no sinal estéreo SDVdesejado com base nos parâmetros de mixagem especificados pelo usuário.
Em algumas implementações, o sistema 1400 pode processar também sinais deáudio utilizados em tecnologia de remixagem, conforme descrito pelas Figuras de 1 a 12.Em um modo de remixagem, o banco de filtro 1402 recebe sinais em estéreo ou de múltiploscanais, tais como os sinais descritos em [1] e [27]. Os sinais são decompostos em sinais desub-faixas X1 (i,k), X2(i,k) pelo banco de filtro 1402 e introduzidos diretamente nocomponente de renderização de equalização 1406 e no componente de estimação 1404para estimação dos parâmetros cegos. Os parâmetros cegos são introduzidos no gerador deparâmetro 1408, em conjunto com a informação paralela a„ bh Psil recebida em um fluxo debits. O gerador de parâmetro 1408 aplica os parâmetros cegos e a informação paralelajunto aos sinais de sub-faixas para geração dos sinais de saída renderizados. Os sinais desaída renderizados são introduzidos junto ao banco de filtro inverso 1410, que gera o sinalde remixagem desejado.
A Figura 15 ilustra uma implementação do componente de renderização demixagem-equalização 1406 mostrado na Figura 14B. Em algumas implementações, um sinalrebaixado X1 é graduado pelos módulos de graduação 1502 e 1504, e um sinal rebaixadoX2 é graduado pelos módulos de graduação 1506 e 1508. O módulo de graduação 1502gradua o sinal rebaixado X1 através do parâmetro de mixagem-equalização W11, o módulo degraduação 1504 gradua o sinal rebaixado X1 através do parâmetro de mixagem- equalizaçãow21, o módulo de graduação 1506 gradua o sinal rebaixado X2 através do parâmetro demixagem-equalização W12 e o módulo de graduação 1508 gradua o sinal rebaixado X2através do parâmetro de mixagem-equalização W22. As saídas dos módulos de graduação1502 e 1506 são somadas para fornecimento de um primeiro sinal de saída renderizado yhe os módulos de graduação 1504 e 1508 são somados para fornecimento de um segundosinal de saída renderizado y2.
A Figura 16 ilustra um sistema de distribuição 1600 para a tecnologia de remixagemem referência as Figuras de 1 a 15. Em algumas implementações, um provedor de conteúdo1602 faz uso de uma ferramenta de autorização 1604 que inclui um codificador deremixagem 1606 para geração de informação paralela, conforme previamente descrito comreferência a Figura 1A. A informação paralela pode ser parte de um ou mais arquivos e/ouincluída em um fluxo de bits para um serviço de encadeamento de bits. Os arquivos deremixagem apresentam uma extensão de arquivo única (por exp., filename.rmx). Um únicoarquivo pode incluir o sinal de áudio mixado original e a informação paralela. De modoalternativo, o sinal de áudio mixado original e a informação paralela podem ser distribuídosna forma de arquivos separados em um pacote, feixe, caixa ou outro tipo de configuraçãoadequado. Em algumas implementações, os arquivos de remixagem podem ser distribuídoscom parâmetros de mixagem pré-estabelecidos para auxiliarem os usuários acompreenderem a tecnologia e/ou para fins comerciais.
Em algumas implementações, o conteúdo original (por exp., o arquivo de áudiomixado original), a informação paralela e os parâmetros de mixagem pré-estabelecidosopcionais ("informação de remixagem") podem ser fornecidos junto ao provedor de serviços1608 (por exp., um portal musical) ou disponibilizado em uma mídia física (por exp., um CD-ROM, DVD, para aparelhos de jogos padrão, drive instantâneo). O provedor de serviço1608 pode operar um ou mais servidores 1610 para servir toda ou parte da informação deremixagem e/ou um fluxo de bits contendo toda ou parte da informação de remixagem. Ainformação de remixagem pode ser armazenada em um repositório 1612. O provedor deserviços 1608 pode fornecer também um ambiente virtual (por exp., uma comunidadesocial, portal, comissão local) para compartilhamento de parâmetros de mixagem geradospelo usuário. Por exemplo, os parâmetros de mixagem gerados pelo usuário em umdispositivo pronto para remixagem 1616 (por exp., um aparelho de jogo padrão, um foneportátil) pode ser armazenado em um arquivo de parâmetro de mixagem que pode sercarregado junto ao provedor de serviço 1608 para compartilhamento com outros usuários.O arquivo de parâmetro de mixagem pode apresentar uma extensão única (por exp.,filename.rms). No exemplo mostrado, um usuário gerou um arquivo de parâmetro demixagem fazendo uso do reprodutor A de remixagem e carregou o arquivo de parâmetro de'mixagem junto ao provedor de serviços 1608, onde o arquivo foi, subseqüentemente,descarregado por um usuário operando um reprodutor B de remixagem.
O sistema 1600 pode ser implementado pelo uso de qualquer esquema degerenciamento de direitos digitais conhecidos e/ou ou outros métodos de segurança paraproteção do conteúdo original e da informação de remixagem. Por exemplo, o usuáriooperando o reprodutor B de remixagem pode precisar de descarregar o conteúdo originalseparadamente e garantir um licenciamento antes do usuário poder acessar ou fazer usodas características de remixagem fornecidas pelo reprodutor B de remixagem.
A Figura 17A ilustra elementos básicos de um fluxo de bits para fornecimento deinformação de remixagem. Em algumas implementações, um fluxo de bits integrado,simples 1702 pode ser fornecido junto a dispositivos viabilizando a remixagem que inclui umsinal de áudio mixado (Mixed_ObjBS), fatores de ganho e potências, de su-faixas(Ref_Mix_Para BS) e parâmetros de mixagem especificados pelo usuário(User_Mix_Para_BS). Em algumas implementações, fluxos de bits múltiplos parainformação de remixagem podem ser enviados de forma independente aos dispositivos queviabilizam a remixagem. Por exemplo, o sinal de áudio mixado pode ser destinado aosdispositivos que viabilizam a remixagem. Por exemplo, o sinal de áudio mixado pode serdestinado a um primeiro fluxo de bits 1704, e os fatores de ganho potências de sub-faixas eparâmetros de mixagem especificados pelo usuário podem ser entregues em um segundofluxo de bits 1706. Em algumas implementações, o sinal de áudio mixado, os fatores deganho e as potências de sub-faixas, e os parâmetros de mixagem especificados pelousuário podem ser fornecidos em três fluxos de bits separados, 1708, 1710 e 1712. Essesfluxos de bits separados podem ser destinados sob taxas de bits idênticas ou diferentes. Osfluxos de bits podem ser processados conforme o necessário utilizando-se umespaçamento entre bits, codificação da entropia (por exp., codificação Huffman), correçãode erro, etc.
A Figura 17B ilustra uma interface de fluxo de bits para um codificador deremixagem 1714. Em algumas implementações, as entradas na interface de codificação deremixagem 1714 podem incluir um sinal de objeto mixado, sinais de alimentação ou objetoindividual e opções de codificação. As saídas da interface de codificador 1714 podem incluirum fluxo de bits com sinal de áudio mixado, um fluxo de bits incluindo fatores de ganho epotências de sub-faixas, e um fluxo de bits incluindo parâmetros de mixagem pré-estabelecidos.
A Figura 17C ilustra uma interface de fluxo de bits para um decodificador deremixagem 1716. Em algumas implementações, entradas na interface de decodificador deremixagem 1716 podem incluir um fluxo de bits de sinal de áudio mixado, um fluxo de bitsincluindo fatores de ganho e potências de sub-faixas, e um fluxo de bits incluindoparâmetros de mixagem pré-estabelecidos. As saídas da interface de decodificador 1716podem incluir um sinal de áudio remixado, um fluxo de bits de componente de renderizaçãofortalecido (por exp., um sinal de múltiplos canais), parâmetros de remixagem cega, eparâmetros de remixagem de usuário.
São possíveis outras configurações para interfaces de codificação e decodificação.As configurações de interface ilustradas nas Figuras 17B e 17C podem ser empregadaspara definirem uma Interface de Programação de Aplicativo (API) para viabilizar osdispositivos que viabilizam a remixagem para processamento da informação de remixagem.As interfaces mostradas ilustradas nas Figuras 17B e 17C são exemplos, e outrasconfigurações são possíveis, incluindo configurações com diferentes números e tipos deentradas e saídas, que podem ser baseadas em parte no dispositivo.
Na Figura 18 tem-se um diagrama de blocos mostrando um sistema de exemplo1800 incluindo extensões para geração de informação paralela adicional para certos sinaisde objeto para provimento melhorada da qualidade percebida do sinal remixado. Emalgumas implementações, o sistema 1800 inclui (no lado de codificação) um codificador desinal de mixagem 1808 e um codificador de remixagem aperfeiçoado 1802, que inclui umcodificador de remixagem 1804 e um codificador de sinal 1806. Em algumasimplementações, o sistema 1800 inclui (no lado de decodificação) um decodificador de sinalde mixagem 1810, um componente de renderização de remixagem 1814 e um gerador deparâmetro 1816.
No lado do codificador, um sinal de áudio mixado é codificado pelo codificador desinal de mixagem 1808 (por exp., codificador MP3) e enviado para o lado de decodificação.Sinais de objetos (por exp., vocal principal, guitarra, bateria ou outros instrumentos) sãointroduzidos no codificador de remixagem 1804, que gera informação paralela (por exp.,fatores de ganho e potências de sub-faixas) conforme previamente descrito com referênciaas Figuras 1A e 3A, por exemplo. Adicionalmente, um ou mais sinais de objetos deinteresse são introduzidos junto ao codificador de sinal 1806 (por exp., codificador MP3)para produção de informação paralela adicional. Em algumas implementações, oalinhamento da informação é introduzido junto ao codificador de sinal 1806 paraalinhamento dos sinais de saída do codificador de sinal de mixagem 1808 e do codificadorde sinal, respectivamente. O alinhamento da informação pode incluir informação dealinhamento do tempo, tipo de código empregado, taxa de bits alvo, informação ouestratégia de alocação de bits, etc.
No lado do decodificador, a saída do codificador de sinal de mixagem é introduzidojunto ao decodificador de sinal de mixagem 1810(por exp., decodificador MP3). A saída dodecodificador de sinal de mixagem 1810 e a informação paralela de codificador (por exp.,fatores de ganho gerados pelo codificador, potências de sub-faixas, informação paralelaadicional) são introduzidas no gerador de parâmetros 1816, que faz uso dessesparâmetros, com conjunção com os parâmetros de controle (por exp., parâmetros demixagem especificados pelo usuário), para gerarem parâmetros de remixagem e dados deremixagem adicionais. Os parâmetros de remixagem e dados de remixagem adicionaispodem ser empregados pelo componente de renderização de remixagem 1814 pararenderização do sinal de áudio remixado.
O dado de remixagem adicional (por exp., um sinal de objeto) é utilizado pelocomponente de renderização 1814 para remixar um objeto particular no sinal de áudio demixagem original. Por exemplo, numa aplicação para Karaokê, um sinal de objetorepresentando um vocal principal pode ser empregado pelo codificador de remixagemaperfeiçoado 1802 para gerar informação paralela adicional (por exp., um sinal de objetocodificado). Este sinal pode ser empregado pelo gerador de parâmetro 1816 para gerardado de remixagem adicional, que pode ser utilizado pelo componente de renderização deremixagem 1814 para remixar o vocal principal no sinal de áudio de mixagem original (porexp., suprimindo ou atenuando o vocal principal).
A Figura 19 compreende de um diagrama de blocos mostrando um exemplo docomponente de renderização 1814 mostrado na Figura 18. Em algumas implementações, ossinais rebaixados X1, X2, são introduzidos nos combinadores 1904, 1906, respectivamente.Os sinais rebaixados Χ1, X2, podem compreender dos canais esquerdo e direito do sinal deáudio original. Os combinadores 1904, 1906, combinam os sinais rebaixados X1, X2, comdado de remixagem adicional providos pelo gerador de parâmetros 1816. No exemploKaraokê, a combinação pode incluir a eliminação do sinal de objeto de vocal principal apartir dos sinais rebaixados X1, X2, antes da remixagem atenuar ou suprimir o vocalprincipal no sinal de áudio remixado.
Em algumas implementações, o sinal rebaixado X1 (por exp., o canal esquerdo dosinal de áudio de mixagem original) é combinado com o dado de remixagem original (porexp., o canal esquerdo do sinal de objeto do vocal principal ) e graduado pelos módulos degraduação 1906a e 1906b, e o sinal rebaixado X2 (por exp., o canal direito do sinal de áudiode mixagem original) é combinado com o dado de remixagem adicional (por exp., canaldireito do sinal de objeto de vocal principal) e graduado pelos módulos de graduação 1906ce 1906d. O módulo de graduação 1906a gradua o sinal rebaixado X1 pelo parâmetro demixagem-equalização W11, o módulo de graduação 1906b gradua o sinal rebaixado X1 peloparâmetro de mixagem -equalização W21 ou ainda o radical, o módulo de graduação 1906c gradua o sinalrebaixado X2 pelo parâmetro de mixagem-equalização W12 e o módulo de graduação 1906dgradua o sinal rebaixado X2 pelo parâmetro de mixagem-equalização w22. A graduaçãopode ser implementada fazendo uso da álgebra linear, tal como utilizando uma matriz η porn (por exp., 2 x 2). As saídas dos módulos de graduação 1906a e 1906c são somadas parafornecimento de um primeiro sinal de saída renderizada Y2, e os módulos de graduação1906b e 1906d são somados para fornecimento de um segundo sinal de saída renderizadoY2.
Em algumas implementações, pode-se implementar um controle (por exp,,comutado, controle deslizante, tecla) numa interface para usuário para movimentar-se entreuma mixagem em estéreo original, modo "Karaokê" e/ou um modo em "capela". Comofunção desta posição de controle, o combinador 1902 controla a combinação linear entre osinal estéreo original e os sinais obtidos pela informação paralela adicional. Por exemplo,para o modo Karaokê, o sinal obtido a partir da informação paralela adicional pode sersubtraído do sinal estéreo. O processamento da remixagem pode ser aplicadoposteriormente para remoção do ruído da quantização (no caso do estéreo e/ou outro sinalterem sido codificados irregularmente). Para se remover parcialmente os vocais, somenteparte do sinal obtido pela informação paralela necessita de ser subtraído. Para reproduçãosomente dos vocais, o combinador 1902 seleciona o sinal obtido pela informação paralelaadicional. Para reprodução dos vocais com alguma música de fundo, o combinador 1902adiciona uma versão graduada do sinal estéreo junto ao sinal obtido pela informaçãoparalela adicional.
Embora este relatório descritivo contenha muitas especificações, elas não devemser entendidas como limitações ao escopo do que se está sendo reivindicado,mas comodescrições das específicas características das modalidades particulares. Certascaracterística, que são descritas neste relatório no contexto de modalidades separadas,podem ser, igualmente, implementadas em combinação com uma única modalidade. Deoutra forma, várias características que são descritas no contexto de uma única modalidadepodem ser implementadas também nas múltiplas modalidades, separadamente, ou emqualquer sub-combinação adequada. Mais ainda, embora sejam descritas característicasatuando em certas combinações e, mesmo sendo inicialmente reivindicadas para tanto, umaou mais características a partir de uma combinação reivindicada podem em algumascircunstâncias, serem excluídas da combinação, e a combinação reivindica pode serdirecionada junto a uma sub-combinação ou variação de uma sub-combinação.
De forma semelhante, embora sejam descritas operações nos desenhos em umaordem particular, isto não deve ser entendido como um requisito para realização de taisoperações na ordem em particular mostrada ou numa ordem seqüencial, ou que todas asoperações ilustradas tenham de ser executadas, para se chegar aos resultados aguardados.Mais ainda, a separação de vários componentes de sistemas nas modalidades descritasacima não devem ser entendidos como necessitando de tal separação em todasmodalidades, e deve-se compreender que os componentes e sistemas de programasdescritos podem em regra serem integrados conjuntamente em um único produto desoftware ou empacotados em múltiplos produtos de software.
Foram apresentadas as modalidades particulares da matéria em questão descritasneste relatório descritivo. Outras modalidades encontram-se incluídas no escopo dasreivindicações a seguir. Por exemplo, as ações descritas nas reivindicações podem serexecutadas em uma ordem diferente e ainda assim alcançarem os resultados desejados,como forma de um exemplo, os processos descritos nas figuras de acompanhamento nãorequerem necessariamente de se apresentarem na ordem em particular apresentada, ou naordem seqüencial para se chegar aos resultados desejados.
Como outro exemplo, o pré-processamento da informação paralela descrita naSeção 5A fornece um limite inferior na potência de sub-faixa do sinal remixado para fornecervalores negativos, o que contradiz com o sinal do modelo dado por [2], Entretanto, este sinaldo modelo não implica somente em potência positiva do sinal remixado, mas também aprodutos cruzados positivos entre os sinais em estéreo originais e os sinais em estéreoremixado, a saber, E(x1y1)1 E(x1y2), E(x2y1) e E(x2y2).
Com início a partir do caso para dois pesos, para se impedir que os produtoscruzados E(x1y1) e E(x2y2) tornem-se negativos, os pesos, definidos em [18], são limitados aum certo valor limite, de modo que eles nunca sejam menores do que A dB.
Então, os produtos cruzados são limitados pela consideração das condições aseguir em que sqrt representa a raiz quadrado e Q é definido como Q= 10Λ-Α/10:
. Caso E(x1y1) < Q* E{x12}, então o produto cruzado é limitado por E(x1y1)=Q*E{x12}.
. Caso E(X1Y2) < Q* sqrt(E{xi2}E{x22}), então o produto cruzado é limitado porE{xiy2}= Q* sqrt (E{X12}E{X22}).
.Caso E(x2y1)<Q* sq ii(E(x2}E(x22}), então o produto cruzado é limitado por E(x2y1)=Q*sqrt (E(X12}E(x22}).
.Caso E(x2y2)< Q * E(x22), então o produto cruzado é limitado por E(x2y2}= Q* E(x2).

Claims (145)

1. Método, CARACTERIZADO pelo fato de compreender:obtenção de um primeiro sinal de áudio da pluralidade de canais apresentando umconjunto de objetos;obtenção de informação paralela, pelo menos, parte da mesma representando umarelação entre o primeiro sinal de áudio da pluralidade de canais e um ou mais sinais dealimentação representando objetos à serem removidos;obtenção de um conjunto de parâmetros de mixagem; egeração de um segundo sinal de áudio da pluralidade de canais fazendo uso dainformação paralela e do conjunto de parâmetros de mixagem.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato doconjunto de parâmetros de mixagem compreender ainda:recebimento de entrada de usuário especificando o conjunto de parâmetros demixagem.
3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato dageração de um segundo sinal de áudio da pluralidade de canais compreender:decomposição do primeiro sinal de áudio da pluralidade de canais em um primeiroconjunto de sinais de sub-faixas;estimação de um segundo conjunto de sinais de sub-faixas correspondendo aosegundo sinal de áudio da pluralidade de canais fazendo uso da informação paralela e doconjunto de parâmetros de mixagem; econversão do segundo conjunto de sinais de sub-faixas no segundo sinal de áudioda pluralidade de canais.
4. Método, de acordo com a reivindicação 3, CARACTERIZADO pelo fato daestimação de um segundo conjunto de sinais de sub-faixas compreender ainda:decodificação da informação paralela para fornecimento de fatores de ganho eestimativas de potência da sub-faixa associados com os objetos a serem remixados;determinação de um ou mais conjuntos de pesos com base nos fatores de ganho,estimativas de potência de sub-faixa e do conjunto de parâmetros de mixagem; eestimativas do segundo conjunto de sinais de sub-faixas fazendo uso de, pelomenos, um conjunto de pesos.
5. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato dadeterminação de um ou mais conjuntos de pesos compreender ainda:determinação da magnitude de um primeiro conjunto de pesos; edeterminação da magnitude de um segundo conjunto de pesos, em que o segundoconjunto de pesos inclui uma diferente quantidade de pesos em relação ao primeiroconjunto de pesos.
6. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato decompreender ainda:comparar-se as magnitudes do primeiro e do segundo conjuntos de pesos; eselecionar-se um dos primeiros e segundos conjuntos de pesos para uso naestimativa do segundo grupo de sinais de sub-faixas com base nos resultados dacomparação.
7. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato dadeterminação de um ou mais conjuntos de pesos compreender ainda:determinação de um conjunto de pesos que minimiza a diferença entre o primeirosinal de áudio da pluralidade de canais e o segundo sinal de áudio da pluralidade de canais.
8. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato dadeterminação de um ou mais conjuntos de pesos compreender ainda:formação de um sistema de equações lineares, em que cada equação no sistemacompreende da soma dos produtos, e em que cada produto é formado através damultiplicação de um sinal de sub-faixa por um peso; edeterminação do peso com a solução do sistema de equações lineares.
9. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato dosistema de equações lineares ser resolvido fazendo-se uso da estimativa dos mínimosquadrados.
10. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de umasolução do sistema de equações lineares proporcionar um primeiro peso, W11, dado pelafórmula<formula>formula see original document page 49</formula>onde E{.} representa a ponderação para intervalo curto, X1 e X2 representam oscanais do primeiro sinal de áudio da pluralidade de canais, e Y1 representa um canal dosegundo sinal de áudio da pluralidade de canais.
11. Método, de acordo com a reivindicação 10, CARACTERIZADO pelo fato deuma solução junto ao sistema de equações lineares fornecer um segundo peso w12, dadopor<formula>formula see original document page 49</formula>onde E{.} representa a ponderação para intervalo curto, X1 e X2 compreendem oscanais do primeiro sinal de áudio da pluralidade de sinais, e y* representa um canal dosegundo sinal de áudio da pluralidade de canais.
12. Método, de acordo com a reivindicação 11, CARACTERIZADO pelo fato deuma solução do sistema de equações lineares fornecer um terceiro peso W2j, dado por<formula>formula see original document page 50</formula>onde E{.} representa a ponderação para intervalo curto , X1 e X2 compreendem oscanais do primeiro sinal de áudio da pluralidade de canais, e y2 representa um canal dosegundo sinal de áudio da pluralidade de canais.
13. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato deuma solução do sistema de equações lineares proporcionar um quarto peso w22, dado por<formula>formula see original document page 50</formula>onde E{.} representa a ponderação para intervalo curto, X1 e X2 representam canaisdo primeiro sinal de áudio da pluralidade de canais, e y2 representa um canal do segundosinal de áudio da pluralidade de canais.
14. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato decompreender ainda:ajustamento de uma ou mais instruções de diferença de nível associadas com osegundo conjunto de sinais de sub-faixas para combinação com uma ou mais instruções dediferença de nível associadas com o primeiro conjunto de sinais de sub-faixas.
15. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato decompreender ainda:limitação de uma estimativa de potência da sub-faixa do segundo sinal de áudio dapluralidade de canais para que esta seja maior ou igual a um valor limite abaixo de umaestimativa de potência da sub-faixa do primeiro sinal de áudio da pluralidade de canais.
16. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato decompreender ainda:graduar as estimativas de potência da sub-faixa por um valor maior do que umantes de utilizar as estimativas de potência da sub-faixa para determinar um ou maisconjuntos de pesos.
17. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato daobtenção do primeiro sinal de áudio da pluralidade de canais compreender ainda;recebimento de um fluxo de bits incluindo um sinal de áudio codificado dapluralidade de canais; edecodificação do sinal de áudio codificado da pluralidade de canais para obtençãodo primeiro sinal de áudio da pluralidade de canais.
18. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato decompreender:nivelamento de um ou mais dos conjuntos de pesos em função do tempo.
19. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato decompreender ainda:controle do nivelamento de um ou mais dos conjuntos de pesos em função dotempo para reduzir-se as distorções de áudio.
20. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato decompreender ainda:nivelamento de um ou mais dos conjuntos de pesos em função do tempo com basena tonalidade ou numa medição estacionária.
21. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato decompreender ainda:determinação de se uma tonalidade ou medição estacionária do primeiro sinal deáudio da pluralidade de canais excede um valor limite; enivelamento de um ou mais dos conjuntos de pesos em função do tempo caso amedição exceda o valor limite.
22. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato decompreender ainda:sincronização com o primeiro sinal de áudio da pluralidade de canais com ainformação paralela.
23. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato dageração do segundo sinal de áudio da pluralidade de canais compreender ainda:remixagem de objetos para um subconjunto de canais de áudio do primeiro sinal deáudio da pluralidade de canais.
24. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato decompreender ainda:modificação de um grau de ambientação do primeiro sinal de áudio da pluralidadede canais fazendo uso das estimativas da potência de sub-faixa e do conjunto deparâmetros de mixagem.
25. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato daobtenção de um conjunto de parâmetros de mixagem compreender ainda:obtenção de valores de ganho e de varredura especificados pelo usuário; edeterminação do conjunto de parâmetros de mixagem a partir dos valores de ganhoe varredura e da informação paralela.
26. Método, CARACTERIZADO pelo fato de compreender:obtenção de um sinal de áudio apresentando um conjunto de objetos;obtenção de sinais de alimentação representando os objetos; egeração de informação paralela a partir dos sinais de alimentação, pelo menos,parte da informação paralela representando uma relação entre o sinal de áudio e os sinaisde alimentação.
27. Método, de acordo com a reivindicação 26, CARACTERIZADO pelo fato dageração de informação paralela compreender ainda;obtenção de um ou mais fatores de ganho;decomposição do sinal de áudio e do sub-conjunto dos sinais de alimentação emum primeiro conjunto de sinais de sub-faixas e um segundo conjunto de sinais de sub-faixas, respectivamente;para cada sinal de sub-faixa no segundo conjunto de sinais de sub-faixas:estimação de uma potência da sub-faixa para o sinal de sub-faixa; egeração de informação paralela a partir de um ou mais fatores de ganho e dapotência da sub-faixa.
28. Método, de acordo com a reivindicação 26, CARACTERIZADO pelo fato dageração da informação paralela compreender ainda:decomposição do sinal de áudio e do sub-conjunto de sinais de alimentação em umprimeiro conjunto de sinais de sub-faixas e em um segundo conjunto de sinais de sub-faixas,respectivamente;para cada sinal de sub-faixa no segundo conjunto de sinais de sub-faixas:estimação de uma potência da sub-faixa para o sinal da sub-faixa;obtenção de um ou mais fatores de ganho; egeração de informação paralela a partir de um ou mais fatores de ganho e dapotência da sub-faixa.
29. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatoda obtenção de um ou mais fatores de ganho compreender ainda :estimação de um ou mais fatores de ganho fazendo uso da potência da sub-faixa eum sinal da sub-faixa correspondente a partir do primeiro conjunto de sinais de sub-faixas.
30. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatoda geração de informação paralela a partir de um ou mais fatores de ganho e da potênciada sub-faixa compreender ainda:quantização e codificação da potência da sub-faixa para geração de informaçãoparalela.
31. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatoda largura de uma sub-faixa ser baseada na percepção auditiva humana.
32. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatoda decomposição do sinal de áudio e do sub-conjunto de sinais de alimentaçãocompreender ainda:multiplicação das amostras do sinal de áudio e do sub-conjunto de sinais dealimentação por uma função de janela; eaplicação de uma transformada de tempo-frequência junto as amostras espelhadaspara geração do primeiro e segundo conjuntos de sinais de sub-faixas.
33. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatoda decomposição do sinal de áudio e do sub-conjunto de sinais de alimentaçãocompreenderem ainda:processamento do sinal de áudio e do sub-conjunto de sinais de alimentaçãofazendo uso de uma transformada de tempo-frequência para produção de coeficientesespectrais; eagrupamento dos coeficientes espectrais em uma quantidade de partiçõesrepresentando uma resolução de freqüências descontínuas de um sistema auditivo humano.
34. Método, de acordo com a reivindicação 33, CARACTERIZADO pelo fato depelo menos um grupo apresentar uma largura de faixa de aproximadamente duas vezes alargura de faixa retangular equivalente (ERB).
35. Método, de acordo com a reivindicação 33, CARACTERIZADO pelo fato datransformada de tempo-frequência ser uma transformada de um grupo de transformadasconsistindo da: transformada de Fourier para intervalos curtos (STFT), um banco de filtro dequadratura espelhada (QMF), uma transformada modificada discreta de coseno (MDCT) eum banco de filtro de onda pequena.
36. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatoda estimação de uma potência de sub-faixa para um sinal de sub-faixa compreender ainda:ponderação para intervalo curto do correspondente sinal de alimentação.
37. Método, de acordo com a reivindicação 36, CARACTERIZADO pelaponderação para intervalo curto correspondente ao sinal de alimentação compreenderainda:ponderação de pólo singular correspondendo ao sinal de alimentação fazendo usode uma janela de estimação com decaimento exponencial.
38. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatode compreender ainda:normalização da potência de sub-faixa relacionada com uma potência de sinal desub-faixa do sinal de áudio.
39. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fato da estimação de uma potência de sub-faixa compreender ainda:utilização de uma medição da potência de sub-faixa na forma de uma estimativa.
40. Método, de acordo com a reivindicação 27, CARACTERIZADO pelo fato decompreender ainda:estimação de um ou mais fatores de ganho na forma de uma função do tempo.
41. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatode que a quantização e codificação compreende ainda:determinação de um ganho e uma diferença de nível a partir de um ou mais fatoresde ganho;quantização do ganho e da diferença de nível; e codificação do ganho quantizado e da diferença de nível.
42. Método, de acordo com a reivindicação 27 ou 28, CARACTERIZADO pelo fatoda quantização e codificação compreender ainda:computação de um fator definindo a potência de sub-faixa relativa a uma potênciade sub-faixa do sinal de áudio e de um ou mais fatores de ganho; quantização do fator; ecodificação do fator quantizado.
43. Método, CARACTERIZADO pelo fato de compreender:obtenção de um sinal de áudio apresentando um conjunto de objetos;obtenção de um sub-conjunto de sinais de alimentação representando um sub- conjunto dos objetos; egeração de informação paralela a partir do sub-conjunto de sinais de alimentação.
44. Método, CARACTERIZADO pelo fato de compreender:obtenção de um sinal de áudio da pluralidade de canais;determinação de fatores de ganho para um conjunto de sinais de alimentação fazendo uso das diferenças de nível de alimentação desejadas representando as direçõessonoras desejadas do conjunto de sinais de alimentação em um estágio sonoro;estimação de uma potência de sub-faixa para um direcionamento de som direto dossinais de alimentação fazendo uso do sinal de áudio da pluralidade de canais;eestimação das potências de sub-faixas para, pelo menos, parte dos sinais de alimentação no conjunto de sinais de alimentação através da modificação da potência desub-faixa para direcionamento de som direto na forma de uma função de direcionamento desom direto e de um direcionamento do som desejado.
45. Método, de acordo com a reivindicação 44, CARACTERIZADO pelo fato dafunção ser uma função de direcionamento do som que retorna um fator de ganho em tornoda unidade somente para a direção de som desejado.
46. Método, CARACTERIZADO pelo fato de compreender:obtenção de um sinal de áudio mixado;obtenção de um conjunto de parâmetros de mixagem para remixagem do sinal deáudio mixado;caso a informação paralela apresente-se disponível,remixagem do sinal de áudio mixado fazendo uso da informação paralela e doconjunto de parâmetros de mixagem;caso a informação paralela não se encontre disponível,geração de um conjunto de parâmetros cegos a partir do sinal de áudio mixado; egeração de um sinal de áudio remixado fazendo uso dos parâmetros cegos e doconjunto de parâmetros de mixagem.
47. Método, de acordo com a reivindicação 46, CARACTERIZADO pelo fato decompreender ainda:geração de parâmetros de remixagem a partir tanto dos parâmetros cegos ou dainformação paralela; e caso os parâmetros de remixagem sejam gerados a partir dainformação paralela,geração do sinal de áudio remixado a partir dos parâmetros de remixagem e dosinal mixado.
48. Método, de acordo com a reivindicação 46, CARACTERIZADO pelo fato decompreender ainda:fortalecimento do sinal de áudio mixado, de modo que o sinal de áudio remixadoapresente mais canais do que o sinal de áudio mixado.
49. Método, de acordo com a reivindicação 46, CARACTERIZADO pelo fato decompreender ainda:adição de um ou mais efeitos junto ao sinal de áudio remixado.
50. Método, CARACTERIZADO pelo fato de compreender:obtenção de um sinal de áudio mixado incluindo sinais de alimentação de fala;obtenção de parâmetros de mixagem especificando um melhoramento desejadojunto a um ou mais sinais de alimentação de fala;geração de um conjunto de parâmetros cegos a partir do sinal de áudio mixado;geração de parâmetros de remixagem a partir de parâmetros cegos e dosparâmetros de mixagem; eaplicação dos parâmetros de remixagem junto ao sinal mixado para melhoramentode um ou mais sinais de alimentação de fala de acordo com os parâmetros de mixagem.
51. Método, CARACTERIZADO pelo fato de compreender:geração de uma interface para usuário para recebimento de entrada especificandoos parâmetros de mixagem;obtenção de um parâmetro de mixagem através da interface para usuário;obtenção de um primeiro sinal de áudio incluindo os sinais de alimentação;obtenção de informação paralela, pelo menos, parte da qual representando umarelação entre o primeiro sinal de áudio e um ou mais sinais de alimentação;eremixagem de um ou mais sinais de alimentação fazendo uso da informaçãoparalela e do parâmetro de mixagem para geração do segundo sinal de áudio.
52. Método, de acordo com a reivindicação 51, CARACTERIZADO pelo fato decompreender ainda:recebimento do primeiro sinal de áudio ou da informação paralela a partir de umaalimentação da rede de trabalho.
53. Método, de acordo com a reivindicação 51, CARACTERIZADO pelo fato decompreender ainda:recebimento do primeiro sinal de áudio ou da informação paralela a partir de umamídia fixa.
54. Método, CARACTERIZADO pelo fato de compreender:obtenção de um primeiro sinal de áudio da pluralidade de canais apresentando umconjunto de objetos;obtenção de informação paralela, pelo menos, parte da mesma representando umarelação entre o primeiro sinal de áudio da pluralidade de canais e um ou mais sinais dealimentação representando um sub-conjunto de objetos a serem remixados;obtenção de um conjunto de parâmetros de mixagem;egeração de um segundo sinal de áudio da pluralidade de canais fazendo uso dainformação paralela e do conjunto de parâmetros de mixagem.
55. Método, de acordo com a reivindicação 54, CARACTERIZADO pelo fato daobtenção do conjunto de parâmetros de mixagem compreender ainda:recebimento de entrada de usuário especificando o conjunto de parâmetros demixagem.
56. Método, de acordo com a reivindicação 54, CARACTERIZADO pelo fato dageração de um segundo sinal de áudio da pluralidade de canais compreender:decomposição do primeiro sinal de áudio da pluralidade de canais em um primeiroconjunto de sinais de sub-faixas;estimação de um segundo conjunto de sinais de sub-faixas correspondendo aosegundo sinal de áudio da pluralidade de canais fazendo uso da informação paralela e doconjunto de parâmetros de mixagem;econversão do segundo conjunto de sinais de sub-faixas em um segundo sinal deáudio da pluralidade de canais.
57. Método, de acordo com a reivindicação 56, CARACTERIZADO pelo fato daestimação de um segundo conjunto de sinais de sub-faixas compreender ainda:decodificação da informação paralela para proporcionamento de fatores de ganho edas estimativas da potência de sub-faixa associadas com os objetos a serem remixados;determinação de um ou mais conjuntos de pesos com base nos fatores de ganho,estimativas da potência de sub-faixa e do conjunto de parâmetros de mixagem;eestimação do segundo conjunto de sinais de sub-faixas fazendo uso de, pelomenos, um conjunto de pesos.
58. Método, de acordo com a reivindicação 57, CARACTERIZADO pelo fato dadeterminação de um ou mais conjuntos de pesos compreender ainda:determinação da magnitude de um primeiro conjunto de pesos; e determinação da magnitude de um segundo conjunto de pesos, em que o segundoconjunto de pesos inclui uma diferente quantidade de pesos em relação ao primeiro conjuntode pesos.
59. Método, de acordo coma reivindicação 58, CARACTERIZADO pelo fato decompreender ainda:comparação das magnitudes do primeiro e segundo conjunto de pesos;eseleção de um dos primeiros e segundos conjuntos de pesos para uso naestimativa do segundo conjunto de sinais de sub-faixas com base nos resultadoscomparativos.
60. Método, CARACTERIZADO pelo fato de compreender:obtenção de um sinal de áudio mixado;obtenção de um conjunto de parâmetros de mixagem para remixagem do sinal deáudio mixado;geração de parâmetros de remixagem fazendo uso do sinal de áudio mixado e doconjunto de parâmetros de mixagem;egeração de um sinal de áudio remixado através da aplicação de parâmetros deremixagem junto ao sinal de áudio mixado fazendo uso de uma matriz n por n.
61. Método, CARACTERIZADO pelo fato de compreender:obtenção de um sinal de áudio apresentando um conjunto de objetos;obtenção de sinais de alimentação representando os objetos;geração de informação paralela a partir dos sinais de alimentação, pelo menos,parte da informação paralela representando uma relação entre o sinal de áudio e os sinaisde alimentação;codificação de, pelo menos, um sinal incluindo pelo menos um sinal dealimèntação; eproporcionamento junto a um decodificador do sinal de áudio, da informaçãoparalela e do sinal de alimentação codificado.
62. Método, CARACTERIZADO pelo fato de compreender:obtenção de um sinal de áudio mixado;obtenção de um sinal de alimentação codificado associado com um objeto no sinalde áudio mixado;obtenção de um conjunto de parâmetros de mixagem para remixagem do sinal deáudio mixado;geração de parâmetros de mixagem fazendo uso do sinal de alimentaçãocodificado, do sinal de áudio mixado e do conjunto de parâmetros de mixagem;egeração de um sinal de áudio remixado através de aplicação de parâmetros deremixagem junto ao sinal de áudio mixado.
63. Aparelhagem, CARACTERIZADA pelo fato de compreender:um decodificador configurável para recebimento de informação paralela e paraobtenção de parâmetros de remixagem a partir da informação paralela, em que, pelo menos,parte da informação paralela representa uma relação entre um primeiro sinal de áudio dapluralidade de canais e um ou mais sinais de alimentação utilizados para geração doprimeiro sinal de áudio da pluralidade de canais;uma interface configurável para obtenção de um conjunto de parâmetros demixagem;eum módulo de remixagem acoplado junto ao decodificador e a interface, o módulode remixagem configurável para remixagem dos sinais de alimentação fazendo uso dainformação paralela e do conjunto de parâmetros de mixagem para geração de um segundosinal de áudio da pluralidade de canais.
64. Aparelhagem, de acordo com a reivindicação 63, CARACTERIZADA pelo fatodo conjunto de parâmetros de mixagem ser especificado por um usuário através dainterface.
65. Aparelhagem, de acordo com a reivindicação 63, CARACTERIZADA pelo fatode compreender ainda;pelo menos, um banco de filtro configurável para decomposição do primeiro sinal deáudio da pluralidade de canais em um primeiro conjunto de sinais de sub-faixas.
66. Aparelhagem, de acordo com a reivindicação 65, CARACTERIZADA pelo fatodo módulo de remixagem estimar um segundo conjunto de sinais de sub-faixascorrespondendo ao segundo sinal de áudio da pluralidade de canais fazendo uso dainformação paralela e do conjunto de parâmetros de mixagem, e converter o segundoconjunto de sinais de sub-faixas no segundo sinal de áudio da pluralidade de canais.
67. Aparelhagem, de acordo com a reivindicação 66, CARACTERIZADA pelo fatodo decodificador decodificar a informação paralela para proporcionamento de fatores deganho e das estimativas da potência de sub-faixa associadas com os sinais de alimentaçãoa serem remixados, e o módulo de remixagem determina um ou mais conjuntos de pesoscom base nos fatores de ganho, as estimativas da potência de sub-faixa e o conjunto deparâmetros de mixagem, e faz a estimativa do segundo conjunto de sinais de sub-faixasfazendo uso de, pelo menos, um conjunto de pesos.
68. Aparelhagem, de acordo com a reivindicação 67, CARACTERIZADA pelo fatodo módulo de remixagem determinar um ou mais conjuntos de pesos pela determinação damagnitude de um primeiro conjunto de pesos, e determinar a magnitude de um segundoconjunto de pesos, o segundo conjunto de pesos incluindo uma quantidade diferente depesos em relação ao primeiro conjunto de pesos.
69. Aparelhagem, de acordo com a reivindicação 68, CARACTERIZADA pelo fatodo módulo de remixagem comparar as magnitudes do primeiro e segundo conjuntos depesos, e selecionar um dos primeiros e segundos conjuntos de pesos para uso naestimativa do segundo conjunto de sinais de sub-faixas com base nos resultadoscomparativos.
70. Aparelhagem, de acordo com a reivindicação 67, CARACTERIZADA pelo fatodo módulo de remixagem determinar um ou mais conjuntos de pesos pela determinação deum conjunto de pesos que minimiza uma diferença entre o primeiro sinal de áudio dapluralidade de canais e o segundo sinal de áudio da pluralidade de canais.
71. Aparelhagem, de acordo com a reivindicação 67, CARACTERIZADA pelo fatodo módulo de remixagem determinar um ou mais conjuntos de pesos pela solução de umsistema de equações lineares, em que cada equação no sistema compreende da soma deprodutos, e cada produto é formado pela multiplicação de um sinal de sub-faixa por umpeso.
72. Aparelhagem, de acordo com a reivindicação 71, CARACTERIZADA pelosistema de equações lineares ser resolvido pelo emprego de estimativa por mínimosquadrados.
73. Aparelhagem, de acordo com a reivindicação 72, CARACTERIZADA pelo fatode uma solução do sistema de equações lineares fornecer um primeiro peso w11, dado por<formula>formula see original document page 59</formula>onde E{.} representa a ponderação para intervalo curto, X1 e X2 compreendemcanais do primeiro sinal de áudio da pluralidade de canais, e y1 representa um canal dosegundo sinal de áudio da pluralidade de canais.
74. Aparelhagem, de acordo com a reivindicação 73, CARACTERIZADA pelo fatoda solução do sistema de equações lineares proporcionar um segundo peso w12, dado por<formula>formula see original document page 60</formula>onde E{.} representa a ponderação para intervalo curto, Xi e X2 representam oscanais do primeiro sinal de áudio da pluralidade de canais, e yf representa um canal dosegundo sinal de áudio da pluralidade de canais.
75. Aparelhagem, de acordo com a reivindicação 74, CARACTERIZADA pelo fatoda solução do sistema de equações lineares proporcionar um terceiro peso w21, dado por<formula>formula see original document page 60</formula>onde E{.} representa a ponderação para intervalo curto, Xi e X2 representam canaisdo primeiro sinal de áudio da pluralidade de canais, e y2 representa um canal do segundosinal de áudio da pluralidade de canais.
76. Aparelhagem, de acordo com a reivindicação 75, CARACTERIZADA pelo fatode uma solução do sistema de equações lineares proporcionar um quarto peso w22, dadopor<formula>formula see original document page 60</formula>onde E{.} representa a ponderação para intervalo curto, X1 e X2 representam canaisdo primeiro sinal de áudio da pluralidade de canais, e y2 representa um canal do segundosinal de áudio da pluralidade de canais.
77. Aparelhagem, de acordo com a reivindicação 67, CARACTERIZADA pelomódulo de remixagem ajustar uma ou mais instruções de diferenças de nível associadascom o segundo conjunto de sinais de sub-faixas para conjugação de uma ou maisinstruções de diferenças de nível associadas com o primeiro conjunto de sinais de sub-faixas.
78. Aparelhagem, de acordo com a reivindicação 67, CARACTERIZADA pelomódulo de remixagem limitar uma estimativa da potência de sub-faixa do segundo sinal deáudio da pluralidade de canais para ser maior ou igual a um valor limite abaixo de umaestimativa de potência de sub-faixa do primeiro sinal de áudio da pluralidade de canais,
79. Aparelhagem, de acordo com a reivindicação 67, CARACTERIZADA pelomódulo de remixagem graduar as estimativas da potência de sub-faixa por um valor maiordo que um antes da utilização das estimativas da potência de sub-faixa para determinar umou mais conjuntos de pesos.
80. Aparelhagem, de acordo com a reivindicação 63, CARACTERIZADA pelo fatodo decodificador receber um fluxo de bits incluindo um sinal de áudio codificado dapluralidade de canais, e decodificar o sinal de áudio decodificado da pluralidade de canaispara obter o primeiro sinal de áudio da pluralidade de canais.
81. Aparelhagem, de acordo com a reivindicação 67, CARACTERIZADA pelo fatodo módulo de remixagem nivelar um ou mais conjuntos de pesos em função do tempo.
82. Aparelhagem, de acordo com a reivindicação 81, CARACTERIZADA pelo fatodo módulo de remixagem controlar o nivelamento de um ou mais conjuntos de pesos emfunção do tempo para reduzir-se as distorções de áudio.
83. Aparelhagem, de acordo com a reivindicação 81, CARACTERIZADA pelo fatodo módulo de remixagem nivelar um ou mais conjuntos de pesos em função do tempo combase em uma tonalidade ou numa medição estacionária.
84. Aparelhagem, de acordo com a reivindicação 81, CARACTERIZADA pelo fatodo módulo de remixagem determinar se uma tonalidade ou uma medição estacionária doprimeiro sinal de áudio da pluralidade de canais excede o valor limite;e nivelar um ou mais conjuntos de pesos em função do tempo caso a medidaexceda o valor limite.
85. Aparelhagem, de acordo com a reivindicação 63, CARACTERIZADA pelo fatodo decodificador sincronizar o primeiro sinal de áudio da pluralidade de canais com ainformação paralela.
86. Aparelhagem, de acordo com a reivindicação 63, CARACTERIZADA pelo fatodo módulo de remixagem remixar os sinais de alimentação para um sub-conjunto de canaisde áudio do primeiro sinal de áudio da pluralidade de canais.
87. Aparelhagem, de acordo com a reivindicação 63, CARACTERIZADA pelomódulo de remixagem modificar um grau de ambientação do primeiro sinal de áudio dapluralidade de canais fazendo uso das estimativas da potência de sub-faixas e do conjuntode parâmetros de mixagem.
88. Aparelhagem, de acordo com a reivindicação 63, CARACTERIZADA pelo fatoda interface obter valores de ganho e varredura especificados pelo usuário; e determinar oconjunto de parâmetros de mixagem para os valores de varredura e ganho e a informaçãoparalela.
89. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface configurável para obtenção de um sinal de áudio apresentando umconjunto de objetos e sinais de alimentação representando os objetos; eum gerador de informação paralela acoplado junto a interface e configurável paragerar informação paralela a partir dos sinais de alimentação, pelo menos, parte dainformação paralela representando uma relação entre o sinal de áudio e os sinais dealimentação.
90. Aparelhagem, de acordo com a reivindicação 89, CARACTERIZADA pelo fatode compreender ainda;pelo menos um banco de filtro configurável para decomposição do sinal de áudio edo sub-conjunto de sinais de alimentação em um primeiro conjunto de sinais de sub-faixas eum segundo conjunto de sinais de sub-faixas, respectivamente.
91. Aparelhagem, de acordo com a reivindicação 90, CARACTERIZADA pelo fatode que para cada sinal de sub-faixa no segundo conjunto de sinais de sub-faixas, o geradorde informação paralela estimar uma potência de sub-faixa para o sinal de sub-faixa, e gerara informação paralela a partir de um ou mais fatores de ganho e da potência de sub-faixa.
92. Método, de acordo com a reivindicação 90, CARACTERIZADO pelo fato de quepara cada sinal de sub-faixa no segundo conjunto de sinais de sub-faixas, o gerador deinformação paralela estimar uma potência de sub-faixa para o sinal de sub-faixa, obtendoum ou mais fatores de ganho, e gerando a informação paralela a partir de um ou maisfatores de ganho e da potência de sub-faixa.
93. Aparelhagem, de acordo com a reivindicação 92, CARACTERIZADA pelo fatodo gerador de informação paralela estimar um ou mais fatores de ganho fazendo uso dapotência de sub-faixa e de um sinal de sub-faixa correspondente a partir do primeiroconjunto de sinais de sub-faixas.
94. Aparelhagem, de acordo com a reivindicação 93, CARACTERIZADA pelo fatode compreender:um codificador acoplado ao gerador de informação paralela e configurável paraquantização e codificação da potência de sub-faixa para geração da informação paralela.
95. Aparelhagem, de acordo com a reivindicação 90, CARACTERIZADA pelo fatode uma largura de uma sub-faixa ser baseada na percepção auditiva humana.
96. Aparelhagem, de acordo com a reivindicação 90, CARACTERIZADA pelo fatode, pelo menos, um banco de filtro decompor o sinal de áudio e o sub-conjunto de sinais dealimentação incluir multiplicação de amostras do sinal de áudio e do sub-conjunto de sinaisde alimentação por uma função de janela, e aplicar uma transformada de tempo-frequênciajunto as amostras espelhadas para geração do primeiro e segundo conjuntos de sinais desub-faixas.
97. Aparelhagem, de acordo com a reivindicação 90, CARACTERIZADA pelo fatode, pelo menos, um banco de filtro processar o sinal de áudio e o sub-conjunto de sinais dealimentação fazendo uso de uma transformada de tempo-frequência para produzir oscoeficientes espectrais, e grupos de coeficientes espectrais em uma quantidade de partiçõesrepresentando uma resolução de freqüências descontínuas de um sistema auditivohumano.
98. Aparelhagem, de acordo com a reivindicação 97, CARACTERIZADA pelo fatode, pelo menos, um grupo apresentar uma largura de faixa de aproximadamente duas vezesa largura de faixa retangular equivalente (ERB).
99. Aparelhagem, de acordo com a reivindicação 97, CARACTERIZADA pelatransformada de tempo-frequência compreender de uma transformada a partir de um grupode transformadas consistindo de: uma transformada de Fourier para intervalos curtos(STFT), um banco de filtro de quadratura espelhada (QMF), uma transformada modificadadiscreta de coseno (MDCT) e um banco de filtro de onda pequena.
100. Aparelhagem, de acordo com a reivindicação 93, CARACTERIZADA pelo fatodo gerador de informação paralela computar uma ponderação para intervalo curto do sinalde alimentação correspondente.
101. Aparelhagem, de acordo com a reivindicação 100, CARACTERIZADA pelaponderação para intervalo curto compreender uma ponderação de pólo singular do sinal dealimentação correspondente e ser computada utilizando-se uma janela de estimação comdecaimento exponencial.
102. Aparelhagem, de acordo com a reivindicação 92, CARACTERIZADA pelapotência de sub-faixa ser normalizada em relação a uma potência de sinal de sub-faixa dosinal de áudio.
103. Aparelhagem, de acordo com a reivindicação 92, CARACTERIZADA pelo fatoda estimativa de uma potência de sub-faixa compreender ainda:utilização de uma medição da potência de sub-faixa na forma de uma estimativa.
104. Aparelhagem, de acordo com a reivindicação 92, CARACTERIZADA pelo fatode um ou mais fatores de ganho serem estimados como uma função do tempo.
105. Aparelhagem, de acordo com a reivindicação 94, CARACTERIZADA pelo fatodo codificador determinar um ganho e nível de diferença a partir de um ou mais fatores deganho, quantizar o ganho e a diferença de nível, e codificar o ganho quantizado e adiferença de nível.
106. Aparelhagem, de acordo com a reivindicação 94, CARACTERIZADA pelo fatodo codificador computarum fator definindo a potência de sub-faixa relativa a uma potênciade sub-faixa do sinal de áudio e de um ou mais fatores de ganho, quantizar o fator, ecodificar o fator quantizado.
107. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface configurável para obtenção de um sinal de áudio apresentando umconjunto de objetos, e um sub-conjunto de sinais de alimentação representando um sub-conjunto dos objetos; eum gerador de informação paralela configurável para gerar informação paralela apartir do sub-conjunto de sinais de alimentação.
108. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface configurável para obtenção de um sinal de áudio da pluralidade decanais;eum gerador de informação paralela configurável para determinação dos fatores deganho para um conjunto de sinais de alimentação fazendo uso das diferenças de nível dealimentação desejadas representando as direções sonoras desejadas do conjunto de sinaisde alimentação em um estágio sonoro, estimação de uma potência de sub-faixa para umdirecionamento de som direto do conjunto de sinais de alimentação fazendo uso do sinal deáudio da pluralidade de canais, e estimação das potências de sub-faixas para, pelo menos,alguns dos sinais de alimentação no conjunto de sinais de alimentação pela modificação dapotência de sub-faixa para direcionamento de som direto como uma função dodirecionamento de som direto e da direção sonora desejada.
109. Aparelhagem, de acordo com a reivindicação 108, CARACTERIZADA pelofato da função ser uma função da direção sonora, que retorna um fator de ganho de emtorno da unidade somente para a direção de som desejada.
110. Aparelhagem, CARACTERIZADA pelo fato de compreender:um gerador de parâmetro configurável para obtenção de um sinal de áudio mixadoe um conjunto de parâmetros de mixagem para remixagem do sinal de áudio mixado, e paradeterminação , caso a informação paralela esteja disponível; eum componente de renderização de remixagem junto ao gerador de parâmetro econfigurável para remixagem do sinal de áudio mixado fazendo uso da informação paralelae do conjunto de parâmetros de mixagem caso esteja disponível a informação paralela, ecaso a informação paralela não esteja disponível, recebimento de um conjunto deparâmetros cegos, e geração de um sinal de áudio remixado fazendo uso de parâmetroscegos e do conjunto de parâmetros de mixagem.
111. Aparelhagem, de acordo com a reivindicação 110, CARACTERIZADA pelofato do gerador de parâmetro de remixagem gerar parâmetros de remixagem tanto dosparâmetros cegos como da informação paralela, e caso os parâmetros de remixagem sejamgerados a partir da informação paralela, o componente de renderização de remixagem gerao sinal de áudio remixado a partir dos parâmetros de remixagem e do sinal mixado.
112. Aparelhagem, de acordo com a reivindicação 110, CARACTERIZADA pelofato do componente de renderização de remixagem compreender ainda:um componente de renderização fortalecido configurável para fortalecimento dosinal de áudio mixado, de modo que o sinal de áudio remixado apresente mais canais doque o sinal de áudio mixado.
113. Aparelhagem, de acordo com a reivindicação 110, CARACTERIZADA pelofato de compreender ainda:um processador de efeitos acoplado a um componente de renderização deremixagem e configurável para adicionar um ou mais efeitos junto ao sinal de áudioremixado.
114. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface configurável para se obter um sinal de áudio mixado incluindo sinaisde alimentação de fala e parâmetros de mixagem especificando um melhoramento desejadopor um ou mais sinais de alimentação de fala;um gerador de parâmetro de remixagem acoplado junto à interface e configurávelpara geração de um conjunto de parâmetros cegos a partir do sinal de áudio mixado, e parageração de parâmetros a partir de parâmetros cegos e de parâmetros de mixagem; e umcomponente de renderização de remixagem configurável para aplicação de parâmetros juntoao sinal remixado para acentuar um ou mais sinais de alimentação de fala, de acordo comos parâmetros de mixagem.
115. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface de usuário configurável para recebimento de entrada especificando ,pelo menos, um parâmetro de mixagem; eum módulo de remixagem configurável para remixagem de um ou mais sinais dealimentação fazendo uso da informação paralela e de, pelo menos, um parâmetro demixagem para geração de um segundo sinal de áudio.
116. Aparelhagem, de acordo com a reivindicação 115, CARACTERIZADA pelofato de compreender ainda:uma interface em rede de trabalho configurável para recebimento do primeiro sinalde áudio ou da informação paralela a partir de um recurso primário na rede trabalho.
117. Aparelhagem, de acordo com a reivindicação 115, CARACTERIZADA pelofato de compreender ainda:uma interface configurável para recebimento do primeiro sinal de áudio ou dainformação paralela a partir de uma mídia fixa.
118. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface configurável para obtenção de um primeiro sinal de !áudio dapluralidade de canais apresentando um conjunto de objetos, obtenção de informaçãoparalela, pelo menos, parte dela representando uma relação entre o primeiro sinal de áudioda pluralidade de canais e um ou mais sinais de alimentação representando um sub-conjunto de objetos à serem remixados: eum módulo de remixagem acoplado junto a interface e configurável para geração deum segundo sinal de áudio da pluralidade de canais fazendo uso da informação paralela ede um conjunto de parâmetros de mixagem.
119. Aparelhagem, de acordo com a reivindicação 118, CARACTERIZADA pelofato do conjunto de parâmetros de mixagem ser especificado pelo usuário.
120. Aparelhagem, de acordo com a reivindicação 118, CARACTERIZADA pelofato de compreender ainda:pelo menos, um banco de filtro configurável para decomposição do primeiro sinal deáudio da pluralidade de canais em um primeiro conjunto de sinais de sub-faixas, em que omódulo de remixagem é acoplado junto a, pelo menos, um banco de filtro e configurávelpara estimação de um segundo conjunto de sinais de sub-faixas correspondendo aosegundo sinal de áudio da pluralidade de canais fazendo uso da informação paralela e doconjunto de parâmetros de mixagem, e para conversão do segundo conjunto de sinais desub-faixas no segundo sinal de áudio da pluralidade de canais.
121. Aparelhagem, de acordo com a reivindicação 120, CARACTERIZADA pelofato de compreender ainda:um decodificador configurável para decodificação da informação paralelaproporcionando fatores de ganho e estimativas da potência de sub-faixa associadas com osobjetos a serem remixados, sendo que o módulo de remixagem determina um ou maisconjuntos de pesos com base nos fatores de ganho, as estimativas da potência de sub-faixae o conjunto de parâmetros de mixagem, e estima o segundo conjunto de sinais de sub-faixas fazendo uso de, pelo menos, um conjunto de pesos.
122. Aparelhagem, de acordo com a reivindicação 121, CARACTERIZADA pelofato do módulo de remixagem determinar um ou mais conjuntos de pesos pela determinaçãoda magnitude de um primeiro conjunto de pesos; e determinar uma magnitude de umsegundo conjunto de pesos, em que o segundo conjunto de pesos inclui uma quantidadediferente de pesos em relação ao primeiro conjunto de pesos.
123. Aparelhagem, de acordo com a reivindicação 122, CARACTERIZADA pelofato do módulo de remixagem comparar as magnitudes do primeiro e segundo conjuntos depesos, e selecionar um dos primeiros e segundos conjuntos de pesos para uso naestimativa do segundo conjunto de sinais de sub-faixas com base nos resultadoscomparativos.
124. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface configurável para obtenção de um conjunto de parâmetros demixagem para remixagem do sinal de áudio mixado;eum módulo de remixagem acoplado junto a interface e configurável para geração deparâmetros de remixagem fazendo uso do sinal de áudio mixado e do conjunto deparâmetros de mixagem, e para geração de um sinal de áudio remixado pela aplicação deparâmetros de remixagem junto ao sinal de áudio mixado fazendo uso de uma matriz η porn.
125. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface configurável para obtenção de um sinal de áudio apresentando umconjunto de objetos, e para obtenção de sinais de alimentação representando os objetos;um gerador de informação paralela acoplado junto a interface e configurável parageração de informação paralela a partir do sub-conjunto de sinais de alimentação, pelomenos, parte da informação paralela representando uma relação entre o sinal de áudio e osub-conjunto de sinais de alimentação; eum codificador acoplado ao gerador de informação paralela e configurável paracodificação de, pelo menos, um sinal incluindo, pelo menos, um sinal de objeto, e parafornecimento junto a um decodificador do sinal de áudio, da informação paralela e do sinalde objeto codificado.
126. Aparelhagem, CARACTERIZADA pelo fato de compreender:uma interface configurável para obtenção de um sinal de áudio mixado e obtençãode um sinal de alimentação codificado associado com um objeto no sinal de áudio mixado;eum módulo de remixagem acoplado juto a interface e configurável para geração dosparâmetros de remixagem fazendo uso do sinal de alimentação codificado, do sinal de áudiomixado e de um conjunto de parâmetros de mixagem, e para geração de um sinal de áudioremixado pela aplicação dos parâmetros de remixagem junto ao sinal de áudio mixado.
127. Mídia fixa, CARACTERIZADA pelo fato de apresentar instruçõesarmazenadas na mesma, as quais, quando executadas por um processador levam a queeste processador desempenhe as seguintes operações:obtenção de um primeiro sinal de áudio apresentando um conjunto de objetos;obtenção de informação paralela, pelo menos, parte dela representando umarelação entre o primeiro sinal de áudio da pluralidade de canais e um ou mais sinais dealimentação representando objetos a serem removidos;obtenção de um conjunto de parâmetros de mixagem; egeração de um segundo sinal de áudio da pluralidade de canais fazendo uso dainformação paralela e do conjunto de parâmetros de mixagem.
128. Mídia fixa, de acordo com a reivindicação 127, CARACTERIZADA pelo fato dageração de um segundo sinal de áudio da pluralidade de canais compreender:decomposição do primeiro sinal de áudio da pluralidade de canais em um primeiroconjunto de sinais de sub-faixas;estimação de um segundo conjunto de sinais de sub-faixas correspondendo aosegundo sinal de áudio da pluralidade de canais fazendo uso da informação paralela e doconjunto de parâmetros de mixagem; econversão do segundo conjunto de sinais de sub-faixas no segundo sinal de áudioda pluralidade de canais.
129. Mídia fixa, de acordo com a reivindicação 128, CARACTERIZADA pelo fato da estimação de um segundo conjunto de sinais de sub-faixas compreender ainda:decodificação de informação paralela para fornecimento de fatores de ganho e deestimativas de potência de sub-faixa associadas com os objetos a serem remixados;determinação de um ou mais conjuntos de pesos com base nos fatores de ganho,estimativas de potência de sub-faixa e do conjunto de parâmetros de mixagem; e estimação do segundo conjunto de sinais de sub-faixas fazendo uso de, pelomenos, um conjunto de pesos.
130. Mídia fixa, CARACTERIZADA pelo fato de apresentar instruçõesarmazenadas na mesma, as quais, quando executadas pelo processador levam a que oprocessador desempenhe as seguintes operações:obtenção de um sinal de áudio apresentando um conjunto de objetos;obtenção de sinais de alimentação representando os objetos; egeração de informação paralela a partir dos sinais de alimentação, pelo menos,parte da informação paralela representando uma relação entre o sinal de áudio e os sinaisde alimentação.
131. Mídia fixa, de acordo com a reivindicação 130, CARACTERIZADA pelo fato deque a geração de informação paralela compreende ainda:obtenção de um ou mais fatores de ganho;decomposição do sinal de áudio e do sub-conjunto de sinais de alimentação em umprimeiro conjunto de sinais de sub-faixas e um segundo conjunto de sinais de sub-faixas, respectivamente;para cada sinal de sub-faixa no segundo conjunto de sinais de sub-faixas:estimação de uma potência de sub-faixa para o sinal de sub-faixa; egeração de informação paralela a partir de um ou mais fatores de ganho e dapotência de sub-faixa.
132. Mídia fixa, de acordo com a reivindicação 131, CARACTERIZADA pelo fato dageração de informação paralela compreender ainda:decomposição do sinal de áudio e do sub-conjunto de sinais de alimentação em umprimeiro conjunto de sinais de sub-faixas e um segundo conjunto de sinais de sub-faixas,respectivamente;para cada sinal de sub-faixa no segundo conjunto de sinais de sub-faixas:estimação de uma potência de sub-faixa para o sinal de sub-faixa;obtenção de um ou mais fatores de ganho; egeração de informação paralela a partir de um ou mais fatores de ganho e dapotência de sub-faixa.
133. Mídia fixa, CARACTERIZADA pelo fato de apresentar instruçõesarmazenadas na mesma, as quais, quando executadas por um processador levam a que ooperador execute as seguintes operações:obtenção de um sinal de áudio apresentando um conjunto de objetos;obtenção de um sub-conjunto de sinais de alimentação representando um sub-conjunto dos objetos; egeração de informação paralela a partir do sub-conjunto de sinais de alimentação.
134. Mídia fixa, CARACTERIZADA pelo fato de apresentar instruçõesarmazenadas na mesma, as quais, quando executadas pelo processador levam a que oprocessador execute as seguintes operações:obtenção de um sinal de áudio da pluralidade de canais;determinação de fatores de ganho para um conjunto de sinais de alimentaçãofazendo uso das diferenças de nível de alimentação desejadas representando as direçõessonoras desejadas do conjunto de sinais de alimentação em um estágio sonoro;estimação de uma potência de sub-faixa para direcionamento de som direto doconjunto de sinais de alimentação fazendo uso do sinal de áudio da pluralidade de canais; eestimação das potências de sub-faixas para, pelo menos, parte dos sinais dealimentação no conjunto de sinais de alimentação pela modificação da potência de sub-faixapara direcionamento de som direto na forma de uma função do direcionamento de somdireto e de uma direção sonora desejada.
135. Mídia fixa, de acordo com a reivindicação 134, CARACTERIZADA pelo fato dafunção ser uma função da direção sonora, que retorna um fator de ganho de em torno daunidade somente para a direção sonora desejada.
136. Sistema, CARACTERIZADO pelo fato de compreender:um processador; euma mídia fixa acoplada junto ao processador e incluindo instruções, as quais,quando executadas pelo processador levam a que o processador execute as seguintesoperações:obtenção de um primeiro sinal de áudio da pluralidade de canais apresentando umconjunto de objetos;obtenção de informação paralela, pelo menos, parte da mesma representando umarelação entre o primeiro sinal de áudio da pluralidade de canais e um ou mais sinais dealimentação representando objetos a serem remixados;obtenção de um conjunto de parâmetros de mixagem;egeração de um segundo sinal de áudio da pluralidade de canais fazendo uso dainformação paralela e do conjunto de parâmetros de mixagem.
137. Sistema, de acordo com a reivindicação 136, CARACTERIZADO pelo fato dageração de um segundo sinal de áudio da pluralidade de canais compreender:decomposição do primeiro sinal de áudio da pluralidade de canais em um primeiroconjunto de sinais de sub-faixas;estimação de um segundo conjunto de sinais de sub-faixas correspondendo aosegundo sinal de áudio da pluralidade de canais fazendo uso da informação paralela e doconjunto de parâmetros de mixagem; econversão do segundo conjunto de sinais de sub-faixas no segundo sinal de áudioda pluralidade de canais.
138. Sistema, de acordo com a reivindicação 137, CARACTERIZADO pelo fato deque a estimação de um segundo conjunto de sinais de sub-faixas compreender ainda:decodificação de informação paralela para fornecimento de fatores de ganho e deestimativas de potência de sub-faixa associadas com os objetos a serem remixados;determinação de um ou mais conjuntos de pesos com base nos fatores de ganho,estimativas de potência de sub-faixas e do conjunto de parâmetros de mixagem; eestimação do segundo conjunto de sinais de sub-faixas fazendo uso de, pelomenos, um conjunto de pesos.
139. Sistema, CARACTERIZADO pelo fato de compreender:um processador; euma mídia fixa acoplada junto ao processador e incluindo instruções, as quais,quando executadas pelo processador levam a que o processador realize as seguintesoperações:obtenção de um sinal de áudio apresentando um conjunto de objetos;obtenção de sinais de alimentação representando os objetos; egeração de informação paralela a partir do sinais de alimentação, pelo menos, parteda informação paralela representando uma relação entre o sinal de áudio e os sinais dealimentação.
140. Sistema, de acordo com a reivindicação 139, CARACTERIZADO pelo fato dageração de informação paralela compreender ainda:obtenção de um ou mais fatores de ganho;decomposição do sinal de áudio e do sub-conjunto de sinais de alimentação em umprimeiro conjunto de sinais de sub-faixas e um segundo conjunto de sinais de sub-faixas,respectivamente;para cada sinal de sub-faixa no segundo conjunto de sinais de sub-faixas:estimação de uma potência de sub-faixa para o sinal de sub-faixa; egeração de informação paralela a partir de um ou mais fatores de ganho e dapotência de sub-faixa.
141. Sistema, de acordo com a reivindicação 140, CARACTERIZADO pelo fato dageração de informação paralela compreender ainda:decomposição do sinal de áudio do sub-conjunto de sinais de alimentação em umprimeiro conjunto de sinais de sub-faixas e um segundo conjunto de sinais de sub-faixas,respectivamente;para cada sinal de sub-faixa no segundo conjunto de sinais de sub-faixas:estimação de uma potência de sub-faixa para o sinal de sub-faixa;obtenção de um ou mais fatores de ganho; egeração de informação paralela a partir de um ou mais fatores de ganho e dapotência de sub-faixa.
142. Sistema, CARACTERIZADO pelo fato de compreender:um processador; euma mídia fixa acoplada ao processador e incluindo instruções, as quis, quandoexecutadas pelo processador levam a que este desempenhe as seguintes operações:obtenção de um sinal de áudio apresentando um conjunto de objetos;obtenção de um sub-conjunto de sinais de alimentação representando um sub-conjunto dos objetos; egeração de informação paralela a partir do sub-conjunto de sinais de alimentação.
143. Sistema, CARACTERIZADO pelo fato de compreender:um processador; euma mídia fixa acoplada junto ao processador e incluindo instruções, as quais,quando executadas pelo processador levam a que o processador execute as seguintesoperações:obtenção de um sinal de áudio da pluralidade de canais;determinação dos fatores de ganho para um conjunto de sinais de alimentaçãofazendo uso das diferenças de nível de alimentação desejadas representando as direçõessonoras desejadas do conjunto de sinais de alimentação em um estágio sonoro;estimação de uma potência de sub-faixa para um direcionamento de som direto doconjunto de sinais de objeto fazendo uso do sinal de áudio da pluralidade de canais; eestimação das potências de sub-faixas para, pelo menos, parte dos sinais dealimentação no conjunto de sinais de alimentação pela modificação da potência de sub-faixapara o direcionamento de som direto como uma função do direcionamento de som direto eda direção sonora desejada.
144. Sistema, de acordo com a reivindicação 143, CARACTERIZADA pelo fato dafunção compreender uma função da direção sonora, que retorna um fator de ganho de emtorno da unidade somente para a direção sonora desejada.
145. Sistema, CARACTERIZADO pelo fato de compreender:mecanismo para obtenção de um primeiro sinal de áudio da pluralidade de canaisapresentando um conjunto de objetos;mecanismo para obtenção de informação paralela, pelo menos, parte da mesmarepresentando uma relação entre a primeiro sinal de áudio da pluralidade de canais e um oumais sinais de alimentação representando objetos a serem remixados;mecanismo para obtenção de um conjunto de parâmetros de mixagem;emecanismo para geração de um segundo sinal de áudio da pluralidade de canaisfazendo uso da informação paralela e do conjunto de parâmetros de mixagem.
BRPI0711192-4A 2006-05-04 2007-05-04 áudio aperfeiçoado com capacidade de remixagem BRPI0711192A2 (pt)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
EP06113521.6 2006-05-04
EP06113521A EP1853092B1 (en) 2006-05-04 2006-05-04 Enhancing stereo audio with remix capability
US82935006P 2006-10-13 2006-10-13
US60/829.350 2006-10-13
US88459407P 2007-01-11 2007-01-11
US60/884.594 2007-01-11
US88574207P 2007-01-19 2007-01-19
US60/885.742 2007-01-19
US88841307P 2007-02-06 2007-02-06
US60/888.413 2007-02-06
US89416207P 2007-03-09 2007-03-09
US60/894.162 2007-03-09
PCT/EP2007/003963 WO2007128523A1 (en) 2006-05-04 2007-05-04 Enhancing audio with remixing capability

Publications (1)

Publication Number Publication Date
BRPI0711192A2 true BRPI0711192A2 (pt) 2011-08-23

Family

ID=36609240

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0711192-4A BRPI0711192A2 (pt) 2006-05-04 2007-05-04 áudio aperfeiçoado com capacidade de remixagem

Country Status (12)

Country Link
US (1) US8213641B2 (pt)
EP (4) EP1853092B1 (pt)
JP (1) JP4902734B2 (pt)
KR (2) KR20110002498A (pt)
CN (1) CN101690270B (pt)
AT (3) ATE527833T1 (pt)
AU (1) AU2007247423B2 (pt)
BR (1) BRPI0711192A2 (pt)
CA (1) CA2649911C (pt)
MX (1) MX2008013500A (pt)
RU (1) RU2414095C2 (pt)
WO (1) WO2007128523A1 (pt)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE527833T1 (de) 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
PL2067138T3 (pl) * 2006-09-18 2011-07-29 Koninl Philips Electronics Nv Kodowanie i dekodowanie obiektów audio
US20100040135A1 (en) * 2006-09-29 2010-02-18 Lg Electronics Inc. Apparatus for processing mix signal and method thereof
WO2008044901A1 (en) 2006-10-12 2008-04-17 Lg Electronics Inc., Apparatus for processing a mix signal and method thereof
CN101529501B (zh) 2006-10-16 2013-08-07 杜比国际公司 音频对象编码器和音频对象编码方法
WO2008046530A2 (en) * 2006-10-16 2008-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for multi -channel parameter transformation
MX2008012439A (es) * 2006-11-24 2008-10-10 Lg Electronics Inc Metodo de codificacion y decodificacion de señal de audio basada en objetos y aparato para lo mismo.
EP2595151A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transcoding apparatus
US9338399B1 (en) 2006-12-29 2016-05-10 Aol Inc. Configuring output controls on a per-online identity and/or a per-online resource basis
WO2008100098A1 (en) * 2007-02-14 2008-08-21 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
WO2008106036A2 (en) 2007-02-26 2008-09-04 Dolby Laboratories Licensing Corporation Speech enhancement in entertainment audio
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
EP2076900A1 (en) * 2007-10-17 2009-07-08 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Audio coding using upmix
BRPI0820488A2 (pt) 2007-11-21 2017-05-23 Lg Electronics Inc método e equipamento para processar um sinal
US8548615B2 (en) * 2007-11-27 2013-10-01 Nokia Corporation Encoder
KR101147780B1 (ko) * 2008-01-01 2012-06-01 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
JP5243556B2 (ja) 2008-01-01 2013-07-24 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US8615088B2 (en) 2008-01-23 2013-12-24 Lg Electronics Inc. Method and an apparatus for processing an audio signal using preset matrix for controlling gain or panning
WO2009093867A2 (en) 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing audio signal
KR100998913B1 (ko) * 2008-01-23 2010-12-08 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
KR101062351B1 (ko) * 2008-04-16 2011-09-05 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
CN102007532B (zh) * 2008-04-16 2013-06-19 Lg电子株式会社 用于处理音频信号的方法和装置
WO2009128662A2 (en) * 2008-04-16 2009-10-22 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8639368B2 (en) 2008-07-15 2014-01-28 Lg Electronics Inc. Method and an apparatus for processing an audio signal
CN102100009B (zh) * 2008-07-15 2015-04-01 Lg电子株式会社 处理音频信号的方法和装置
US8705749B2 (en) * 2008-08-14 2014-04-22 Dolby Laboratories Licensing Corporation Audio signal transformatting
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
KR101545875B1 (ko) * 2009-01-23 2015-08-20 삼성전자주식회사 멀티미디어 아이템 조작 장치 및 방법
US20110069934A1 (en) * 2009-09-24 2011-03-24 Electronics And Telecommunications Research Institute Apparatus and method for providing object based audio file, and apparatus and method for playing back object based audio file
AU2013242852B2 (en) * 2009-12-16 2015-11-12 Dolby International Ab Sbr bitstream parameter downmix
UA101291C2 (ru) * 2009-12-16 2013-03-11 Долби Интернешнл Аб Сводка параметров последовательности бит sbr
EP2522016A4 (en) * 2010-01-06 2015-04-22 Lg Electronics Inc DEVICE FOR PROCESSING AN AUDIO SIGNAL AND METHOD THEREFOR
EP4459881A3 (en) 2010-04-09 2024-12-18 Dolby International AB Mdct-based complex prediction stereo coding
CN101894561B (zh) * 2010-07-01 2015-04-08 西北工业大学 一种基于小波变换和变步长最小均方算法的语音降噪方法
US8675881B2 (en) 2010-10-21 2014-03-18 Bose Corporation Estimation of synthetic audio prototypes
US9078077B2 (en) 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
WO2012093290A1 (en) * 2011-01-05 2012-07-12 Nokia Corporation Multi-channel encoding and/or decoding
KR20120132342A (ko) * 2011-05-25 2012-12-05 삼성전자주식회사 보컬 신호 제거 장치 및 방법
WO2013006330A2 (en) 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
JP5057535B1 (ja) * 2011-08-31 2012-10-24 国立大学法人電気通信大学 ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法
CN103050124B (zh) 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
JP5930441B2 (ja) 2012-02-14 2016-06-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド マルチチャネルオーディオ信号の適応ダウン及びアップミキシングを実行するための方法及び装置
US9696884B2 (en) * 2012-04-25 2017-07-04 Nokia Technologies Oy Method and apparatus for generating personalized media streams
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
EP2856776B1 (en) * 2012-05-29 2019-03-27 Nokia Technologies Oy Stereo audio signal encoder
EP2690621A1 (en) * 2012-07-26 2014-01-29 Thomson Licensing Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side
WO2014020182A2 (en) 2012-08-03 2014-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for a generalized spatial-audio-object-coding parametric concept for multichannel downmix/upmix cases
US9489954B2 (en) 2012-08-07 2016-11-08 Dolby Laboratories Licensing Corporation Encoding and rendering of object based audio indicative of game audio content
CN104520924B (zh) * 2012-08-07 2017-06-23 杜比实验室特许公司 指示游戏音频内容的基于对象的音频的编码和呈现
MX350687B (es) * 2012-08-10 2017-09-13 Fraunhofer Ges Forschung Métodos y aparatos para adaptar información de audio en codificación de objeto de audio espacial.
US9497560B2 (en) 2013-03-13 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Audio reproducing apparatus and method
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
CN104982042B (zh) 2013-04-19 2018-06-08 韩国电子通信研究院 多信道音频信号处理装置及方法
WO2014175668A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법
US9502044B2 (en) 2013-05-29 2016-11-22 Qualcomm Incorporated Compression of decomposed representations of a sound field
CN104240711B (zh) 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、系统和装置
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
US9373320B1 (en) * 2013-08-21 2016-06-21 Google Inc. Systems and methods facilitating selective removal of content from a mixed audio recording
ES2700246T3 (es) * 2013-08-28 2019-02-14 Dolby Laboratories Licensing Corp Mejora paramétrica de la voz
US9380383B2 (en) 2013-09-06 2016-06-28 Gracenote, Inc. Modifying playback of content using pre-processed profile information
KR101815082B1 (ko) * 2013-09-17 2018-01-04 주식회사 윌러스표준기술연구소 멀티미디어 신호 처리 방법 및 장치
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Nttドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
JP2015132695A (ja) 2014-01-10 2015-07-23 ヤマハ株式会社 演奏情報伝達方法、演奏情報伝達システム
JP6326822B2 (ja) * 2014-01-14 2018-05-23 ヤマハ株式会社 録音方法
US10770087B2 (en) * 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
CN110992964B (zh) * 2014-07-01 2023-10-13 韩国电子通信研究院 处理多信道音频信号的方法和装置
CN105657633A (zh) 2014-09-04 2016-06-08 杜比实验室特许公司 生成针对音频对象的元数据
US9774974B2 (en) 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
KR102482162B1 (ko) * 2014-10-01 2022-12-29 돌비 인터네셔널 에이비 오디오 인코더 및 디코더
CN106796804B (zh) * 2014-10-02 2020-09-18 杜比国际公司 用于对话增强的解码方法和解码器
CN105989851B (zh) 2015-02-15 2021-05-07 杜比实验室特许公司 音频源分离
US9747923B2 (en) * 2015-04-17 2017-08-29 Zvox Audio, LLC Voice audio rendering augmentation
KR102537541B1 (ko) * 2015-06-17 2023-05-26 삼성전자주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
GB2543275A (en) * 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
KR20180075610A (ko) * 2015-10-27 2018-07-04 앰비디오 인코포레이티드 사운드 스테이지 향상을 위한 장치 및 방법
US10152977B2 (en) * 2015-11-20 2018-12-11 Qualcomm Incorporated Encoding of multiple audio signals
CN105389089A (zh) * 2015-12-08 2016-03-09 上海斐讯数据通信技术有限公司 一种移动终端音量调控系统及方法
CN108702582B (zh) 2016-01-29 2020-11-06 杜比实验室特许公司 用于双耳对话增强的方法和装置
US10037750B2 (en) * 2016-02-17 2018-07-31 RMXHTZ, Inc. Systems and methods for analyzing components of audio tracks
US10349196B2 (en) * 2016-10-03 2019-07-09 Nokia Technologies Oy Method of editing audio signals using separated objects and associated apparatus
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
US20180293843A1 (en) 2017-04-09 2018-10-11 Microsoft Technology Licensing, Llc Facilitating customized third-party content within a computing environment configured to enable third-party hosting
CN107204191A (zh) * 2017-05-17 2017-09-26 维沃移动通信有限公司 一种混音方法、装置及移动终端
CN109427337B (zh) * 2017-08-23 2021-03-30 华为技术有限公司 立体声信号编码时重建信号的方法和装置
CN110097888B (zh) * 2018-01-30 2021-08-20 华为技术有限公司 人声增强方法、装置及设备
WO2019191611A1 (en) 2018-03-29 2019-10-03 Dts, Inc. Center protection dynamic range control
GB2580360A (en) * 2019-01-04 2020-07-22 Nokia Technologies Oy An audio capturing arrangement
WO2021252795A2 (en) 2020-06-11 2021-12-16 Dolby Laboratories Licensing Corporation Perceptual optimization of magnitude and phase for time-frequency and softmask source separation systems
CN112637627B (zh) * 2020-12-18 2023-09-05 咪咕互动娱乐有限公司 直播中用户交互方法、系统、终端、服务器及存储介质
CN115472177A (zh) * 2021-06-11 2022-12-13 瑞昱半导体股份有限公司 用于梅尔频率倒谱系数的实现的优化方法
CN114285830B (zh) * 2021-12-21 2024-05-24 北京百度网讯科技有限公司 语音信号处理方法、装置、电子设备及可读存储介质
JP2024006206A (ja) * 2022-07-01 2024-01-17 ヤマハ株式会社 音信号処理方法及び音信号処理装置

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0079886B1 (en) 1981-05-29 1986-08-27 International Business Machines Corporation Aspirator for an ink jet printer
WO1992012607A1 (en) 1991-01-08 1992-07-23 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
US5458404A (en) 1991-11-12 1995-10-17 Itt Automotive Europe Gmbh Redundant wheel sensor signal processing in both controller and monitoring circuits
DE4236989C2 (de) 1992-11-02 1994-11-17 Fraunhofer Ges Forschung Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle
JP3397001B2 (ja) 1994-06-13 2003-04-14 ソニー株式会社 符号化方法及び装置、復号化装置、並びに記録媒体
US6141446A (en) 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5838664A (en) 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6128597A (en) 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
WO1998058450A1 (en) 1997-06-18 1998-12-23 Clarity, L.L.C. Methods and apparatus for blind signal separation
US6026168A (en) 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
KR100335609B1 (ko) 1997-11-20 2002-10-04 삼성전자 주식회사 비트율조절이가능한오디오부호화/복호화방법및장치
US6952677B1 (en) 1998-04-15 2005-10-04 Stmicroelectronics Asia Pacific Pte Limited Fast frame optimization in an audio encoder
JP3770293B2 (ja) 1998-06-08 2006-04-26 ヤマハ株式会社 演奏状態の視覚的表示方法および演奏状態の視覚的表示プログラムが記録された記録媒体
US6122619A (en) 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
US7103187B1 (en) 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
JP3775156B2 (ja) 2000-03-02 2006-05-17 ヤマハ株式会社 携帯電話機
WO2001066008A1 (en) 2000-03-03 2001-09-13 Cardiac M.R.I., Inc. Magnetic resonance specimen analysis apparatus
US6739418B2 (en) * 2000-04-27 2004-05-25 Mitsubishi Fuso Truck And Bus Corporation Engine operation controller for hybrid electric vehicle
WO2002007481A2 (en) 2000-07-19 2002-01-24 Koninklijke Philips Electronics N.V. Multi-channel stereo converter for deriving a stereo surround and/or audio centre signal
JP4304845B2 (ja) 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP2002058100A (ja) 2000-08-08 2002-02-22 Yamaha Corp 音像定位制御装置および音像定位制御プログラムが記録された記録媒体
JP2002125010A (ja) 2000-10-18 2002-04-26 Casio Comput Co Ltd 移動体通信装置及びメロディ着信音出力方法
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP3726712B2 (ja) 2001-06-13 2005-12-14 ヤマハ株式会社 演奏設定情報の授受が可能な電子音楽装置及びサーバ装置、並びに、演奏設定情報授受方法及びプログラム
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7032116B2 (en) 2001-12-21 2006-04-18 Intel Corporation Thermal management for computer systems running legacy or thermal management operating systems
JP4714416B2 (ja) 2002-04-22 2011-06-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的オーディオのパラメータ表示
KR101021076B1 (ko) 2002-04-22 2011-03-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 신호 합성
KR101021079B1 (ko) 2002-04-22 2011-03-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 파라메트릭 다채널 오디오 표현
JP4013822B2 (ja) 2002-06-17 2007-11-28 ヤマハ株式会社 ミキサ装置およびミキサプログラム
CN100539742C (zh) 2002-07-12 2009-09-09 皇家飞利浦电子股份有限公司 多声道音频信号编解码方法和装置
EP1394772A1 (en) 2002-08-28 2004-03-03 Deutsche Thomson-Brandt Gmbh Signaling of window switchings in a MPEG layer 3 audio data stream
JP4084990B2 (ja) 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
US7327821B2 (en) * 2003-03-03 2008-02-05 Mitsubishi Heavy Industries, Ltd. Cask, composition for neutron shielding body, and method of manufacturing the neutron shielding body
SE0301273D0 (sv) 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
JP4496379B2 (ja) 2003-09-17 2010-07-07 財団法人北九州産業学術推進機構 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US6937737B2 (en) 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
CA2992125C (en) 2004-03-01 2018-09-25 Dolby Laboratories Licensing Corporation Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100745688B1 (ko) 2004-07-09 2007-08-03 한국전자통신연구원 다채널 오디오 신호 부호화/복호화 방법 및 장치
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
ATE526797T1 (de) 2004-07-14 2011-10-15 Koninkl Philips Electronics Nv Verfahren, vorrichtung, kodierer, dekodierer und audiosystem
DE102004042819A1 (de) 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
DE102004043521A1 (de) 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402650D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
WO2006060278A1 (en) 2004-11-30 2006-06-08 Agere Systems Inc. Synchronizing parametric coding of spatial audio with externally provided downmix
US7787631B2 (en) 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
WO2006132857A2 (en) 2005-06-03 2006-12-14 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
WO2007013783A1 (en) 2005-07-29 2007-02-01 Lg Electronics Inc. Method for processing audio signal
US20070083365A1 (en) 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
EP1640972A1 (en) 2005-12-23 2006-03-29 Phonak AG System and method for separation of a users voice from ambient sound
JP4944902B2 (ja) 2006-01-09 2012-06-06 ノキア コーポレイション バイノーラルオーディオ信号の復号制御
ATE527833T1 (de) 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
JP4399835B2 (ja) 2006-07-07 2010-01-20 日本ビクター株式会社 音声符号化方法及び音声復号化方法

Also Published As

Publication number Publication date
EP1853093A1 (en) 2007-11-07
JP2010507927A (ja) 2010-03-11
CN101690270A (zh) 2010-03-31
MX2008013500A (es) 2008-10-29
EP1853092A1 (en) 2007-11-07
EP2291008A1 (en) 2011-03-02
EP2291007A1 (en) 2011-03-02
US8213641B2 (en) 2012-07-03
JP4902734B2 (ja) 2012-03-21
EP1853092B1 (en) 2011-10-05
EP2291007B1 (en) 2011-10-12
AU2007247423B2 (en) 2010-02-18
CN101690270B (zh) 2013-03-13
RU2414095C2 (ru) 2011-03-10
WO2007128523A1 (en) 2007-11-15
CA2649911C (en) 2013-12-17
AU2007247423A1 (en) 2007-11-15
KR101122093B1 (ko) 2012-03-19
CA2649911A1 (en) 2007-11-15
RU2008147719A (ru) 2010-06-10
EP2291008B1 (en) 2013-07-10
WO2007128523A8 (en) 2008-05-22
EP1853093B1 (en) 2011-09-14
KR20090018804A (ko) 2009-02-23
KR20110002498A (ko) 2011-01-07
US20080049943A1 (en) 2008-02-28
ATE524939T1 (de) 2011-09-15
ATE528932T1 (de) 2011-10-15
ATE527833T1 (de) 2011-10-15

Similar Documents

Publication Publication Date Title
BRPI0711192A2 (pt) áudio aperfeiçoado com capacidade de remixagem
CN101855918B (zh) 通过再混合能力增强音频
JP5291096B2 (ja) オーディオ信号処理方法及び装置
JP2010507927A6 (ja) リミキシング性能を持つ改善したオーディオ
RU2339088C1 (ru) Индивидуальное формирование каналов для схем всс и т.п.
US9025775B2 (en) Apparatus and method for adjusting spatial cue information of a multichannel audio signal
US20110206223A1 (en) Apparatus for Binaural Audio Coding
US20110206209A1 (en) Apparatus
JP2025135018A (ja) 方向メタデータを使用するマルチチャネルオーディオ符号化及び復号化
KR100891669B1 (ko) 믹스 신호의 처리 방법 및 장치

Legal Events

Date Code Title Description
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]
B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]