BRPI0906078B1 - equipamento para mixagem de diversos fluxos de dados de entrada - Google Patents

Abstract

EQUIPAMENTO PARA MIXAGEM DE DIVERSOS FLUXOS DE DADOS DE ENTRADA Um equipamento (500), de acordo com uma configuração da presente invenção para mixagem de um primeiro quadro (540-1) de um primeiro fluxo de dados de entrada (510-1) e de um segundo quadro (540-2) de um segundo fluxo de dados de entrada (510-2) compreende uma unidade de processamento (520) adaptada para gerar um quadro de saída (550), onde o quadro de saída (550) compreende dados espectrais de saída que descrevem uma parte inferior de um espectro de saída que descrevem uma parte inferior de um espectro de saída até uma frequência de transição de saída e onde o quadro de saída compreende ainda dados SBR de saída que descrevem uma parte superior do espectro de saída acima da frequência de transição de saída por meio de valores relacionados à energia em uma resolução de grade de tempo/frequência de saída. A unidade de processamento (520) é ainda adaptada de modo que os dados espectrais de saída, correspondentes às frequências abaixo de um valor mínimo de frequências de transição de saída, sejam gerados em um domínio espectral e de modo que os dados SBR de saída, correspondentes a frequências acima de um valor máximo de frequências de transição do primeiro e (...).

Description

CAMPO DA INVENÇÃO

As configurações de acordo com a presente 5 invenção referem-se a equipamentos para mixagem de diversos fluxos de dados de entrada para obter um fluxo de dados de saida, que pode, por exemplo, ser utilizado no campo de sistemas de conferência, incluindo sistemas de videoconferência e sistemas de teleconferência. 10 DESCRIÇÃO DAS FIGURAS A Figura 1 mostra um diagrama de bloco de um sistema de conferência; A Figura 2 mostra um diagrama de bloco do sistema de conferência baseado em uma codec de áudio geral; 15 A Figura 3 mostra um diagrama de bloco de um sistema de conferência operando em um dominio de freqüência usando a tecnologia de mixagem de fluxo de bits; A Figura 4 mostra um desenho esquematizado de fluxo de dados compreendendo uma pluralidade de quadros; 20 A Figura 5 ilustra formas diferentes de componentes espectrais e dados ou informações espectrais; A Figura 6a mostra um diagrama de bloco simplificado de um equipamento para mixar um primeiro quadro de um primeiro fluxo de dados de entrada e um segundo quadro de um 25 segundo fluxo de dados de entrada de acordo com uma configuração da presente invenção; A Figura 6b mostra um diagrama de bloco de uma resolução de grade de tempo/freqüência de um quadro de um fluxo de dados; A Figura 7 mostra um diagrama de bloco mais detalhado de um equipamento de acordo com uma configuração da presente invenção; 5 A Figura 8 mostra um diagrama de bloco de um equipamento para mixagem de uma pluralidade de fluxos de dados de entrada de acordo com uma configuração adicional da presente invenção no contexto de um sistema de conferência; As Figuras 9a e 9b mostram um primeiro quadro e 10 um segundo quadro de um primeiro e segundo fluxo de dados de entrada conforme provido para um equipamento de acordo com uma configuração da presente invenção, respectivamente; A Figura 9c mostra uma situação de sobreposição dos quadros de entrada mostrados nas Figuras 9a e 9b; 15 A Figura 9d mostra um quadro de saida conforme gerado por um equipamento de acordo com uma configuração da presente invenção com uma frequência de transição de saida sendo a menor das duas frequências de transição dos quadros de entrada. A Figura 9e mostra um quadro de saida conforme 20 gerado por um equipamento de acordo com uma configuração da presente invenção com uma frequência de transição de saida sendo a maior das frequências de transição dos quadros de entrada; e A Figura 10 ilustra resoluções de grade de . freqüência baixa e alta correspondentes.

DESCRIÇÃO DETALHADA

Em diversas aplicações, mais que um sinal de áudio deve ser processado de modo que, a partir dos vários sinais de áudio, um sinal, ou pelo menos um número reduzido de sinais, seja gerado, o que é geralmente denominado "mixagem". O processo de mixagem de sinais de áudio, portanto, pode ser referido como o agrupamento de vários sinais de áudio individuais em um sinal resultante. Esse processo é utilizado, por exemplo, ao se criar 5 trechos de música para um disco compacto ("dubbing"). Nesse caso, diferentes sinais de áudio de diferentes instrumentos com um ou mais sinais de áudio compreendendo performances vocais (canto) são geralmente mixados em uma canção.

Outros campos de aplicação, nos quais a mixagem 10 desempenha um papel importante, são os sistemas de videoconferência e os sistemas de teleconferência. Um sistema desse tipo é geralmente capaz de conectar vários participantes espacialmente distribuídos em uma conferência empregando-se um servidor central que mixa adequadamente os dados de entrada de 15 video e áudio dos participantes registrados e devolve a cada um dos participantes um sinal resultante. Esse sinal resultante ou sinal de saida compreende os sinais de áudio de todos os outros participantes da conferência.

Em sistemas de conferência digital uma série de 20 objetivos e aspectos parcialmente contraditórios competem entre si. A qualidade de um sinal de áudio reconstruído, assim como a aplicabilidade e utilidade de algumas técnicas de codificação e decodificação para diferentes tipos de sinais de áudio (por exemplo, sinais de voz comparados a sinais de áudio gerais e 25 sinais musicais), têm que ser considerados. Aspectos adicionais que devem ser considerados também quando projetando e implementando sistemas de conferência são a largura de banda disponível e fatores de atraso.

Por exemplo, quando equilibrando qualidade por um * lado e largura de banda por outro lado, um compromisso é, na maioria dos casos, inevitável. Entretanto, melhorias referentes à qualidade podem ser atingidas pela implementação de técnicas 5 modernas de codificação e decodificação, tais como a técnica AAC- ELD (AAC = Codec de Áudio Avançada; ELD = Atraso baixo Aumentado). Entretanto, a qualidade atingivel pode ser negativamente afetada em sistemas empregando estas técnicas modernas por problemas e aspectos mais fundamentais. 10 Para mencionar apenas um desafio a ser vencido, todas as transmissões de sinal digital enfrentam o problema de uma quantização necessária que pode, pelo menos em principio, ser evitável sob circunstâncias ideais em um sistema analógico sem ruido. Devido ao processo de quantização, inevitavelmente certa 15 quantidade de ruido de quantização é introduzida no sinal a ser processado. Para neutralizar distorções possiveis e audiveis, é possivel que se tente aumentar o número de niveis de quantização e, assim, consequentemente aumentar a resolução de quantização. Isto, entretanto, conduz a um número maior de valores de sinal a 20 ser transmitido e, dessa maneira, a um aumento da quantidade de dados a ser transmitida. Em outras palavras, melhorar a qualidade pela redução de possiveis distorções introduzidas pelo ruido de quantização pode, sob certas circunstâncias, aumentar a quantidade de dados a ser transmitida e pode, eventualmente, violar 25 restrições de largura de banda impostas em um sistema de transmissão.

No caso de sistemas de conferência, os desafios de melhorar a contrapartida entre qualidade, largura de banda disponível e outros parâmetros podem ser ainda mais complicados pelo fato de que tipicamente mais que um sinal de áudio de entrada deve ser processado. Dessa maneira, condições limítrofes impostas por mais que um sinal de áudio podem ter que ser consideradas ao 5 gerar o sinal de saída ou sinal resultante produzido pelo sistema de conferência.

Especialmente em vista do desafio adicional de implementar sistemas de conferência com um atraso suficientemente baixo para permitir uma comunicação direta entre os participantes 10 de uma conferência, sem a introdução de atrasos substanciais que podem ser considerados inaceitáveis pelos participantes, os desafios são adicionalmente aumentados.

Em implementações de baixo atraso de sistemas de conferência, fontes de atraso são tipicamente restritas em termos 15 de seus números, o que, por outro lado, pode conduzir ao desafio de efetuar processamento de dados fora do domínio de tempo, no qual mixagem dos sinais de áudio pode ser atingida pela superposição ou adição dos sinais respectivos.

Para melhorar a contrapartida entre qualidade e 20 taxa de bits no caso de sinais de áudio gerais, existe um número significativo de técnicas, as quais são capazes de melhorar adicionalmente uma contrapartida entre estes parâmetros contraditórios, tais como a qualidade de um sinal reconstruído, taxa de bits, atraso, complexidade computacional e parâmetros 25 adicionais.

Uma ferramenta altamente flexível para melhorar a contrapartida previamente mencionada é a ferramenta de representação de banda espectral (SBR). tipicamente implementado para ser parte de um codificador central, tal como o codificador MPEG-4 AAC, mas é, ao invés disso, um codificador e decodificador adicional. SBR utiliza uma correlação entre freqüências mais altas e mais baixas dentro de um sinal de 5 áudio. SBR é baseada na pressuposição de que freqüências mais elevadas de um sinal são meramente múltiplos inteiros de uma oscilação de terreno, de modo que as freqüências mais altas podem ser replicadas com base no espectro mais baixo. Devido a resolução audivel do ouvido humano no caso de freqüências logaritmicamente 10 mais altas e as diferenças baixas referentes a faixas de freqüência mais elevadas, além disso, serem percebidas apenas por ouvintes muito experientes, as imprecisões introduzidas pelo codificador SBR irão, muito provavelmente, passar despercebidas pela grande maioria dos ouvintes. 15 O codificador SBR pré-processa o sinal de áudio provido para o codificador MPEG-4 e separa o sinal de entrada em faixas de freqüência. A faixa de freqüência ou banda de freqüência mais baixa é separada de uma banda de freqüência ou faixa de freqüência mais alta por uma freqüência denominada de freqüência 20 de transição, que pode ser definida variavelmente, dependendo da taxa de bits disponível e de parâmetros adicionais. O codificador SBR utiliza um banco de filtro para analisar a freqüência, que é tipicamente implementado para ser uma banda de filtro de espelho de quadratura (QMF). 25 O codificador SBR extrai da representação de freqüência da faixa de freqüência superior valores de energia, que posteriormente serão usados para reconstruir esta faixa de freqüência baseados na banda de freqüência mais baixa. O codificador SBR, dessa maneira, provê dados SBR ou parâmetros SBR juntamente com um sinal de áudio filtrado ou dados de áudio filtrados para um codificador de núcleo, que é aplicado à banda de frequência mais baixa baseada na metade da 5 frequência de amostragem do sinal de áudio original. Isto provê a oportunidade de processamento de valores de amostra significativamente menores, de modo que os niveis de quantização individuais podem ser mais precisamente definidos. Os dados adicionais providos pelo codificador SBR, isto é, os parâmetros 10 SBR, serão armazenados em um fluxo de bits resultante pelo codificador MPEG-4 ou qualquer outro codificador como informação de lado. Isto pode ser atingido usando um muitiplexador de bits apropriado.

No lado do decodif icador, os fluxos de bits de 15 entrada são primeiramente desmultiplexados por um desmultiplexador de bits, que separa pelo menos os dados SBR e provê os mesmos para um decodificador SBR. Entretanto, antes do decodificador SBR processar os parâmetros SBR, a banda de frequência mais baixa primeiramente será decodificada por um decodif icador de núcleo 20 para reconstruir o sinal de áudio da banda de frequência mais baixa. O próprio decodificador SBR calcula, com base nos valores de energia SBR (parâmetros SBR) e na informação espectral da faixa de frequência mais baixa, a parte superior do espectro do sinal de áudio. Em outras palavras, o decodificar SBR replica a banda 25 espectral superior do sinal de áudio com base na banda inferior, assim como os parâmetros SBR transmitidos no fluxo de bits previamente descrito. Além da possibilidade previamente descrita do módulo SBR para aumentar a percepção de áudio geral do sinal de áudio reconstruído, SBR oferece ainda a possibilidade de codificação adicional de fontes de ruido, assim como sinusoides individuais. SBR, dessa maneira, representa uma ferramenta 5 muito flexível para melhorar a contrapartida entre qualidade e taxa de bits, o que também torna SBR um candidato interessante para aplicações no campo de sistemas de conferência. Entretanto, devido à complexidade e ao vasto número de possibilidades e opções, sinais de áudio codificados por SBR têm sido apenas, até 10 agora, mixados no domínio de tempo por decòdificação completa dos sinais de áudio respectivos nos sinais de domínio de tempo, para executar o processo de mixagem real neste domínio e, posteriormente, codificar novamente o sinal mixado em um sinal codificado por SBR. Além do atraso adicional introduzido devido à 15 codificação dos sinais no domínio de tempo, também a reconstrução da informação espectral do sinal de áudio codificado pode requerer uma complexidade computacional significativa que pode, por exemplo, ser desinteressante no caso de aplicações portáteis ou de outras aplicações eficientes em energia ou eficientes em 20 complexidade computacional.

É, portanto, um objetivo da presente invenção reduzir a complexidade computacional envolvida quando mixando sinais de áudio codificados por SBR.

Este objetivo é obtido por um equipamento de 25 acordo com a reivindicação 1 ou 3, um método de acordo com a reivindicação 15, ou um programa de acordo com a reivindicação 16.

Configurações de acordo com a presente invenção são baseadas na descoberta de que a complexidade computacional pode ser reduzida pela execução de mixagem para uma freqüência abaixo de um minimo das freqüências de transição envolvidas pela mixagem da informação espectral no domínio espectral, para uma freqüência acima de um máximo de freqüência de transição no 5 domínio SBR, e para uma freqüência em uma região entre o valor minimo e o valor máximo pelo cálculo de pelo menos um valor SBR e gerando um valor SBR correspondente baseado no valor SBR pelo menos calculado ou para calcular um valor espectral ou uma informação espectral com base nos dados SBR respectivos, e para 10 gerar um valor espectral de uma informação espectral com base neste valor espectral ou nesta informação espectral calculada.

Em outras palavras, configurações de acordo com a presente invenção são baseadas na descoberta de que para uma freqüência acima de uma freqüência de transição máxima, mixagem 15 pode ser executada no domínio SBR, enquanto para uma freqüência abaixo de um mínimo das freqüências de transição, a mixagem pode ser executada no domínio espectral por processamento diretamente correspondente a valores espectrais. Além do mais, um equipamento de acordo com uma configuração da presente invenção pode, para uma 20 freqüência entre o valor máximo e o mínimo, executar a mixagem no domínio SBR ou no domínio espectral pelo cálculo de um valor SBR correspondente, um valor espectral, ou pelo cálculo de um valor espectral de um valor SBR, e para executar a mixagem real com base no valor calculado no domínio SBR, ou no domínio espectral. Neste 25 contexto, deve ser observado que uma freqüência de transição de saída pode ser qualquer uma das freqüências de transição dos fluxos de dado de entrada ou outro valor.

Como uma conseqüência, o número de etapas a serem executadas por um equipamento e, dessa maneira, a complexidade computacional envolvida é reduzida, visto que a mixagem real acima e abaixo de todas as frequências de transição relevantes é executada com base em uma mixagem direta nos dominios respectivos, 5 enquanto um cálculo deve ser executado apenas em uma região intermediária entre o valor minimo de todas as freqüências de transição e um máximo de todas as freqüências de transição envolvidas. Com base neste cálculo, o valor SBR real ou o valor espectral real é, então, calculado ou determinado. Dessa maneira, 10 em muitos casos, mesmo naquela região de frequência intermediária, a complexidade computacional é reduzida visto que uma estimativa e um processamento não são tipicamente requeridos para serem executados para todos os fluxos de dados de entrada envolvidos.

Nas configurações de acordo com uma configuração 15 da presente invenção, a frequência de transição de saida pode ser igual a uma das freqüências de transição dos fluxos de dados de entrada, ou ela pode ser escolhida independentemente, por exemplo, tomando o resultado de uma estimativa psicoacústica em consideração. Além do mais, em configurações de acordo com a 20 presente invenção, os dados SBR gerados ou os valores espectrais gerados podem ser aplicados diferentemente para suavizar, ou para alterar, os dados SBR ou valores espectrais na faixa de freqüência intermediária.

Com relação às Figuras 4 a 10, configurações 25 diferentes de acordo com a presente invenção serão descritas em maiores detalhes. Entretanto, antes de descrever estas configurações em maiores detalhes, primeiramente com respeito às Figuras 1 a 3, uma breve introdução será provida em vista dos desafios e demandas que podem se tornarem importantes na estrutura dos sistemas de conferência.

A Figura 1 mostra um diagrama de blocos de um sistema de conferência 100, que pode também ser referido como uma 5 unidade de controle de pontos múltiplos (MCU). Como se tornará aparente a partir da descrição referente a sua funcionalidade, o sistema de conferência 100, conforme mostrado na Figura 1, é um sistema operando no dominio de tempo.

O sistema de conferência 100, conforme mostrado 10 na Figura 1, é adaptado para receber uma pluralidade de fluxos de dados de entrada por meio de um número apropriado de entradas 110- 1, 110-2, 110-3, ... , dos quais apenas três são mostrados na Figura 1. Cada uma das entradas 110 é acoplada a um decodificador respectivo 120. Para obter mais precisão, a entrada 110-1 para o 15 primeiro fluxo de dados de entrada é acoplada a um primeiro decodificador 120-1, enquanto a segunda entrada 110-2 é acoplada a um segundo decodificador 120-2, e a terceira entrada 110-3 é acoplada a um terceiro decodificador 120-3.

O sistema de conferência 100 compreende ainda um 20 número apropriado de somadores 130-1, 130-2, 130-3, ..., dos quais novamente apenas três são mostrados na Figura 1. Cada um dos somadores está associado com uma das entradas 110 do sistema de conferência 100. Por exemplo, o primeiro somador 130-1 está associado com a primeira entrada 110-1 e com o decodificador 25 correspondente 120-1.

Cada um dos somadores 130 é acoplado às saldas de todos os decodificadores 120, além do decodificador 120 ao qual a entrada 110 está acoplada. Em outras palavras, o primeiro somador 130-1 é acoplado a todos os decodificadores 120, além do primeiro decodificador 120-1. Consequentemente, o segundo somador 130-2 é acoplado a todos os decodificadores 120, além do segundo decodificador 120-2. 5 Cada um dos somadores 130 compreende ainda uma saida que está acoplada a um codificador 140, cada um. Dessa maneira, o primeiro somador 130-1 é acoplado em âmbito de saida ao primeiro codificador 140-1. Consequentemente, o segundo e terceiro somadores 130-2, 130-3 são também acoplados ao segundo e terceiro 10 codificadores 140-2, 140-3, respectivamente.

Por sua vez, cada um dos codificadores 140 é acoplado à respectiva saida 150. Em outras palavras, o primeiro codificador é, por exemplo, acoplado a uma primeira saida 150-1. O segundo e terceiro codificadores 140-2, 140-3 são, também, 15 acoplados a segunda e terceira saidas 150-2, 150-3, respectivamente.

Para ser capaz de descrever a operação de um sistema de conferência 100 conforme mostrado na Figura 1 em maiores detalhes, a Figura 1 também mostra um terminal de 20 conferência 160 de um primeiro participante. O terminal de conferência 160 pode, por exemplo, ser um telefone digital (por exemplo, um telefone ISDN (ISDN = rede digital de serviço integrado)), um sistema compreendendo uma infra-estrutura de voz sobre IP, ou um terminal similar. 25 O terminal de conferência 160 compreende um codificador 170 que é acoplado à primeira entrada 110-1 do sistema de conferência 100. O terminal de conferência 160 também compreende um decodificador 180 que é acoplado à primeira saida 150-1 do sistema de conferência 100.

Terminais de conferência similares 160 podem também estar presentes nos locais de participantes adicionais. Estes terminais de conferência não são mostrados na Figura 1, 5 meramente por uma questão de simplicidade. Deve também ser observado que o sistema de conferência 100 e os terminais de conferência 160 não necessitam estarem fisicamente presentes nas proximidades uns dos outros. Os terminais de conferência 160 e o sistema de conferência 100 podem ser arranjados em diferentes 10 locais que podem, por exemplo, estarem conectados apenas por meio de técnicas WAN (WAN = redes de área ampla).

Os terminais de conferência 160 podem, ainda, compreender ou estarem conectados a componentes adicionais, tais como microfones, amplificadores e alto-falantes ou fones de ouvido 15 para permitir uma contrapartida de sinais de áudio com um usuário humano de uma maneira mais compreensível. Estes não são mostrados na Figura 1 apenas por uma questão de simplicidade.

Conforme indicado anteriormente, o sistema de conferência 100 mostrado na Figura 1 é um sistema operando no 20 dominio de tempo. Quando, por exemplo, o primeiro participante fala no microfone (não mostrado na Figura 1), o codificador 170 do terminal de conferência 160 codifica o respectivo sinal de áudio em um fluxo de bits correspondente e transmite o fluxo de bits para a primeira entrada 110-1 do sistema de conferência 100. 25 Dentro do sistema de conferência 100, o fluxo de bits é decodificado pelo primeiro decodificador 120-1 e transformado de volta no dominio de tempo. Visto que o primeiro decodificador 120-1 está acoplado aos segundo e terceiro mixers 130-1, 130-3, o sinal de áudio, conforme gerado pelo primeiro participante, pode ser mixado no dominio de tempo simplesmente pela adição do sinal de áudio reconstruído com sinais de áudio reconstruídos adicionalmente do segundo e terceiro participantes, 5 respectivamente.

Isto é também verdadeiro para os sinais de áudio providos pelo segundo e terceiro participantes recebidos pela segunda e terceira entradas 110-2, 110-3 e processado pelos segundo e terceiro decodificadores 120-2, 120-3, respectivamente. 10 Estes sinais de áudio reconstruídos dos segundo e terceiro participantes são, então, providos para o primeiro mixer 130-1, que por sua vez, provê o sinal de áudio adicionado no dominio de tempo para o primeiro codificador 140-1. O codificador 140-1 codifica novamente o sinal de áudio adicionado para formar um 15 fluxo de bits e provê os mesmos na primeira saida 150-1 para o primeiro participante do terminal de conferência 160.

Similarmente, também o segundo e terceiro codificadores 140-2, 140-3 codificam os sinais de áudio adicionados no dominio de tempo, recebidos do segundo e terceiro 20 somadores 130-2, 130-3, respectivamente, e transmitem os dados codificados de volta para os respectivos participantes por meio da segunda e terceira saidas 150-2, 150-3, respectivamente.

Para executar a mixagem real, os sinais de áudio são completamente decodificados e adicionados em uma forma não 25 comprimida. Posteriormente, opcionalmente um ajuste de nivel pode ser executado pela compressão dos sinais de saida respectivos para prevenir efeitos de recorte (isto é, sobrecarga de uma faixa permitida de valores). Recorte pode aparecer quando valores de amostra únicos se elevam acima ou caem abaixo de uma faixa permitida de valores, de modo que os valores correspondentes são cortados (recortados) . No caso de uma quantização de 16 bits, como é, por exemplo, empregado no caso de CDs, uma faixa de valores 5 inteiros entre -32768 e 32767 por valor de amostra está disponivel. cima ou para baixo do sinal, algoritmos- de compressão são empregados. Estes algoritmos limitam o desenvolvimento para cima 10 ou para baixo de certo valor limite para manter os valores de amostra dentro de uma faixa permitida de valores.

Ao codificar dados de áudio em sistemas de conferência, tais como o sistema de conferência 100, conforme mostrado na Figura 1, algumas desvantagens são aceitas de modo a 15 executar uma mixagem no estado não codificado de uma maneira mais facilmente alcançável. Além do mais, as taxas de dados dos sinais de áudio codificados são adicionalmente limitadas a uma faixa menor de freqüências transmitidas, visto que uma largura de banda menor permite uma freqüência de amostragem mais baixa e, assim, 20 menos dados, de acordo com o teorema de Amostragem de Nyquist-

Shannon. O teorema de Amostragem de Nyquist-Shannon declara que a freqüência de amostragem depende da largura de banda do sinal amostrado e é requerida ser (pelo menos) duas vezes o tamanho da largura de banda. 25 A União de Telecomunicação Internacional (ITU) e seu setor de padronização de telecomunicação (ITU-T) têm desenvolvido vários padrões para sistemas de conferência de multimidias. O H.320 é o protocolo de conferência padrão para ISDN. H.323 define o sistema de conferência padrão para uma rede baseada em pacote (TCP/IP). O H.324 define sistemas de conferência para redes de telefone analógicas e sistemas de telecomunicações de rádio. 5 Dentro destes padrões, não apenas a transmissão dos sinais, mas também a codificação e processamento dos dados de áudio são definidos. O gerenciamento de uma conferência é efetuado por um ou mais servidores, as unidades denominadas de unidades de controle de pontos múltiplos (MCU) de acordo com o padrão H.231. 10 As unidades de controle de pontos múltiplos são também responsáveis pelo processamento e distribuição de dados de video e áudio dos vários participantes.

Para atingir isto, uma unidade de controle de pontos múltiplos envia para cada participante uma saida mixada ou 15 sinal resultante compreendendo os dados de áudio de todos os outros participantes e provê o sinal para os respectivos participantes. A Figura 1 não apenas mostra um diagrama de bloco de um sistema de conferência 100, mas também um fluxo de sinal nesta situação de conferência. 20 Na estrutura dos padrões H.323 e H.320, codecs de áudio da classe G.7xx são definidos para operação nos respectivos sistemas de conferência. O padrão G.711 é usado para transmissões ISDN em sistemas de telefone ligados a cabo. Em uma freqüência de amostragem de 8 kHz, o padrão G.711 cobre uma largura de banda de 25 áudio entre 300 e 3400 Hz, requerendo uma taxa de bits de 64 Kbit/s em uma profundidade (quantização) de 8-bits. A codificação é formada por uma codificação logarítmica simples denominada μ-Lei ou A-Lei que cria um atraso muito pequeno de apenas 0,125ms.

O padrão G.722 codifica uma largura de banda de áudio maior de 50 a 7000 Hz em uma frequência de amostragem de 16 kHz. Como uma consequência, o codec atinge uma melhor qualidade quando comparado aos codecs de áudio G.7xx de banda mais estreita 5 em taxas de bits de 48, 56, ou 64 Kbits/s, em um atraso de 1,5 ms. Além do mais, dois desenvolvimentos adicionais, o G.722.1 e G.722.2 existem, que provêem qualidade de voz comparável em taxas de bit ainda menores. 0 G722.2 permite uma escolha de taxas de"-" ,, bits entre 6.6 kbit/s e 23.85 kbits/s em um atraso de 25 ms. 10 O padrão G.729 é tipicamente empregado no caso de comunicação de IP-telefone, que é também referida como comunicação de voz sobre IP (VoIP) . O codec é otimizado para voz e transmite um conjunto de parâmetros de voz analisados para uma sintese posterior juntamente com um sinal de erro. Como um resultado, o 15 G.729 atinge uma codificação significativamente melhor de aproximadamente 8 kbits/s em uma taxa de amostra e largura de banda de áudio comparáveis, quando comparado com o padrão G.711. 0 algoritmo mais complexo, entretanto, cria um atraso de aproximadamente 15 ms. 20 Como uma desvantagem, o codec G.7.xx são otimizados para codificação de voz e mostra, além de uma largura de banda de frequência estreita, problemas significativos ao codificar música junto com voz, ou somente música.

Assim, embora o sistema de conferência 100, 25 conforme mostrado na Figura 1, possa ser usado em uma qualidade aceitável quando transmitindo e processando sinais de voz, sinais de áudio gerais não são satisfatoriamente processados quando se emprega codecs de atraso pequeno otimizados para voz.

Em outras palavras, empregar codecs para codificação e decodificação de sinais de voz para processar sinais de áudio gerais incluindo, por exemplo, sinais de áudio com música, não conduz a um resultado satisfatório em termos da 5 qualidade. O emprego de codecs de áudio para codificar e decodificar sinais de áudio gerais na estrutura do sistema de conferência 100, conforme mostrado na Figura 1, torna a qualidade incerta. Entretanto, como será descrito no contexto com a Figura 2- em maiores detalhes, empregar codecs de áudio gerais neste sistema 10 de conferência pode conduzir a efeitos adicionais, indesejados, tais como aumento de atraso, para citar apenas um.

Entretanto, antes de descrever a Figura 2 em maiores detalhes, deve ser observado que na presente descrição, objetos são denotados com os mesmos sinais ou com sinais de 15 referência similares quando os respectivos objetos aparecem mais que uma vez em uma configuração ou uma figura, ou aparecem em várias configurações ou figuras. A menos que denotado implicitamente ou explicitamente de forma diferente, objetos denotados pelos mesmos ou por sinais de referência similares podem 20 ser implementados de uma maneira similar ou igual, por exemplo, em termos de seus conjuntos de circuito, programação, características, ou outros parâmetros. Dessa maneira, objetivos aparecendo em várias configurações de figuras e sendo denotados com os mesmos ou com sinais de referência similares podem ser 25 implementados tendo as mesmas especificações, parâmetros, e características. Naturalmente, também desvios e adaptações podem ser implementados, por exemplo, quando condições limites ou outros parâmetros mudam de figura para figura, ou de configuração para configuração.

Além do mais, sinais de referência sumarizados a seguir serão usados para denotar um grupo ou classe de objetos, ao invés de um objeto individual. Na estrutura da Figura 1, isto já 5 foi feito, por exemplo, quando denotando a primeira entrada como entrada 110-1, a segunda entrada como entrada 110-2, e a terceira entrada como entrada 110-3, enquanto as entradas foram discutidas em termos do sinal de referência 110 apenas sumarizado. Em outras palavras, a menos que explicitamente observado de forma diferente, 10 partes da descrição com referência a objetos denotados com sinais de referência sumarizados pode também se relacionar a outros objetos possuindo os sinais de referência individuais correspondentes.

Visto que isto é também verdade para objetos 15 denotados com os mesmos ou com sinais de referência similares, ambas as medidas ajudam a encurtar as descrições e descrever as configurações reveladas nas mesmas em uma maneira mais clara e concisa.

A Figura 2 mostra um diagrama de bloco de um 20 sistema de conferência 100 adicional juntamente com um terminal de conferência 160, que são ambos similares a estes mostrados na Figura 1. O sistema de conferência 100 mostrado na Figura 2 também compreende entradas 110, decodificadores 120, somadores 130, codificadores 140, e saidas 150, que são igualmente 25 interconectados conforme comparado para o sistema de conferência 100 mostrado na Figura 1. O terminal de conferência 160 mostrado na Figura 2 também compreende novamente um codificador 170 e um decodificador 180. Portanto, é feito referência à descrição do sistema de conferência 100 mostrado na Figura 1.

Entretanto, o sistema de conferência 100 mostrado na Figura 2, assim como o terminal de conferência 160 mostrado na Figura 2, são adaptados para usar um codec de áudio geral 5 (Codificador - DEcodificador). Como uma consequência, cada um dos codificadores 140, 170, compreende uma conexão em série de um conversor de tempo/freqüência 190 acoplado antes de um quantizador/codificador 200. Ô conversor de tempo/freqüência 190 é também ■ilustrado na Figura 2 como "T/F", enquanto o 10 quantizador/codificador 200 são rotulados na Figura 2 como "Q/C".

Os decodificadores 120, 180, cada um, compreendem um decodificador/desquantizador 210, que é referido na Figura 2 como "Q/C" conectado em série com um conversor de freqüência/tempo 220, que é referido na Figura 2 como "T/F". Apenas por uma questão 15 de simplicidade, o conversor de tempo/freqüência 190, o quantizador/codificador 200 e o decodificador/desquantizador 210, assim como o conversor de tempo/freqüência 220, são rotulados como tais apenas no caso do codificador 140-3 e do decodificador 120-3. Entretanto, a descrição a seguir também se refere a outros destes 20 elementos.

Iniciando com um codificador, tal como os codificadores 140, ou o codificador 170, o sinal de áudio provido ao conversor de tempo/freqüência 190 é convertido do dominio de tempo em um dominio de freqüência ou um dominio relacionado à 25 freqüência pelo conversor 190. Posteriormente, os dados de áudio convertidos são, em uma representação espectral, gerados pelo conversor de tempo/freqüência 190, quantizados e codificados para formar um fluxo de bits, que é, então, provida, por exemplo, para as saídas 150 do sistema de conferência 100 no caso do codificador 140.

Em termos dos decodificadores, tal como os decodificadores 120 ou o decodificador 180, o fluxo de bits 5 provido para os decodificadores é primeiramente decodificado e quantizado novamente para formar a representação espectral de pelo menos uma parte de um sinal de áudio, que é, então, convertido de volta no dominio de tempo pelos conversores de freqüência/tempo 220. 10 Os conversores de tempo/f reqüência 190, assim como os elementos inversos, os conversores de freqüência/tempo 220, são, portanto, adaptados para gerar uma representação espectral de pelo menos um pedaço de um sinal de áudio provido aos mesmos e para transformar novamente a representação espectral nas 15 partes correspondentes do sinal de áudio no domínio de tempo, respectivamente.

No processo de conversão de um sinal de áudio do domínio de tempo para o domínio de freqüência, e de volta do domínio de freqüência para o domínio de tempo, desvios podem 20 ocorrer, de modo que sinal de áudio restabelecido, reconstruído ou decodificado pode diferir do original ou do sinal de áudio de fonte. Artefatos adicionais podem ser adicionados pelas etapas adicionais de quantização e desquantização executadas na estrutura do codificador quantizador 200 e o recodif icador 210. Em outras 25 palavras, o sinal de áudio original e também o sinal de áudio restabelecido podem diferir entre si.

Os conversores de tempo/freqüência 190, assim como os conversores de freqüência/tempo 220 podem, por exemplo serem implementados com base em uma MDCT (transformação de cosseno discreta modificada), uma MDST (transformação de seno discreta modificada), um conversor baseado em FFT (FFT = Transformação de Fourier Rápida), ou outro conversor baseado em Fourier. A quantização e a re-quantização na estrutura do quantizador/codificador 200 e do decodificador/desquantizador 210 podem, por exemplo, serem implementadas com base em uma quantização linear, uma quantização loqaritmica, ou outro algoritmo de quantização mais complexo, por exemplo, considerando mais especificamente as características de audição do ser humano. As partes do codificador e decodificador do quantizador/codificador 200 e do decodificador/desquantizador 210 podem, por exemplo, trabalhar empregando um esquema de codificação de Huffman ou decodificação de Huffman.

Entretanto, também conversores de tempo/freqüência e freqüência/tempo mais complexos 190, 220, assim como quanti zador/codif icador e decodificador/desquantizador mais complexos 200, 210 podem ser empregados em diferentes configurações e sistemas conforme descrito aqui, sendo parte ou formando, por exemplo, um codificador AAC-ELD como codificadores 140, 170, e um decodificador AAC-ELD como decodificadores 120, 180.

Desnecessário dizer que pode ser aconselhável implementar codificadores idênticos, ou pelo menos compatíveis, 170, 140 e decodif icadores 180, 120, na estrutura do sistema de conferência 100 e nos terminais de conferência 160.

O sistema de conferência 100, conforme mostrado na Figura 2, baseado em um esquema de codificação e decodificação de sinal de áudio geral, também executa a mixagem real dos sinais de áudio no dominio de tempo. Os somadores 130 são providos com os sinais de áudio reconstruídos no dominio de tempo para executar uma sobreposição e para prover os sinais mixados no dominio de 5 tempo para os conversores de tempo/freqüência 190 dos codificadores 140 a seguir. Dessa maneira, o sistema de conferência novamente compreende uma conexão em série de decodificadores 120 e codificadores 140, que é a razão pela quaí um sistema de conferência 100, conforme mostrado nas Figuras 1 e 10 2, é tipicamente referido como "sistemas de codificação tandem".

Sistemas de codificação tandem frequentemente mostram a desvantagem de uma alta complexidade. A complexidade da mixagem depende fortemente da complexidade dos decodificadores e codificadores empregados, e pode multiplicar-se significativamente 15 no caso de vários sinais de áudio de entrada e de áudio de saida.

Além do mais, devido ao fato de que a maioria dos esquemas de codificação e decodificação não são sem perdas, o esquema de codificação tandem, conforme empregado nos sistemas de conferência 100 mostrados nas Figuras 1 e 2, tipicamente conduzem a uma 20 influência negativa na qualidade.

Como uma desvantagem adicional, as etapas repetidas de decodificação e codificação também aumentam o atraso geral entre as entradas 110 e as saídas 150 do sistema de conferência 100, que é também referido como o atraso de 25 extremidade-a-extremidade. Dependendo de um atraso inicial dos decodificadores e codificadores usados, o sistema de conferência 100, ele mesmo, pode aumentar o atraso até um nível que faz o uso perturbador, ou ainda impossível. Frequentemente, um atraso de aproximadamente 50 ms é considerado ser o atraso máximo que os participantes podem aceitar nas conversações. Como fontes principais para o atraso, os 5 conversores de tempo/freqüência 190, assim como os conversores de freqüência/tempo 220, são responsáveis pelo atraso de extremidade- a-extremidade do sistema de conferência 100, e o atraso adicional imposto pelos terminais de conferência 160. O atraso causado pelos elementos adicionais, isto, é os quantizadores/codificadores 200 e 10 os decodificadores/desquantizadores 210, não possui grande importância visto que estes componentes podem ser operados em uma freqüência muito mais alta comparado com os conversores de tempo/freqüência e os conversores de freqüência/tempo 190, 220. A maioria dos conversores de tempo/freqüência e conversores de 15 freqüência/tempo 190, 220 é operada em bloco ou operada por quadro, o que significa que em muitos casos um atraso mínimo como uma quantidade de tempo tem que ser considerado, o que é igual ao tempo necessário para preencher um armazenador ou uma memória tendo o comprimento de quadro de um bloco. Este tempo é, 20 entretanto, significativamente influenciado pela freqüência de amostragem que está tipicamente na faixa de uns poucos kHz até 10 kHz, enquanto a velocidade operacional do quantizador/codificador 200, assim como do decodificador/desquantizador 210, é principalmente determinada pela freqüência do relógio do sistema 25 subjacente. Isto é, tipicamente, pelo menos 2, 3, 4, ou mais ordens de magnitude maiores.

Dessa maneira, nos sistemas de conferência empregando codecs de sinal de áudio geral, a tecnologia de mixagem de fluxo de bits foi introduzida. O método de mixagem de fluxo de bits pode, por exemplo, ser implementado com base no codec MPEG-4 AAC-ELD, que oferece a possibilidade de evitar pelo menos algumas das desvantagens mencionadas acima e introduzidas por codificação 5 tandem.

Deve, entretanto, ser observado, no principio, que os sistemas de conferência 100, conforme mostrado na Figura 2, podem, também, serem implementados com base no codec MPEG-4 AAC- ELD com uma taxa de bits similar e uma largura de banda de 10 freqüência significativamente maior, comparado com os códigos baseado em voz mencionados previamente da familia de codec G.7xx. Isto imediatamente também implica que uma qualidade de áudio significativamente melhor para todos os tipos de sinal de áudio pode ser atingivel ao custo de uma taxa de bits significativamente 15 aumentada. Embora, o MPEG-4 AAC-ELD ofereça um atraso que está na faixa daquele do codec G.7xx, implementando o mesmo na estrutura de um sistema de conferência conforme mostrado na Figura 2, pode não conduzir a um sistema de conferência 100 prático. A seguir, com relação à Figura 3, um sistema mais prático baseado na mixagem 20 de fluxo de bits previamente mencionada será descrito.

Deve ser observado que apenas por uma questão de simplicidade, o foco estará, principalmente, no codec MPEG-4 AAC- ELD e em suas correntes de dados e correntes de bits. Entretanto, também outros codificadores e decodificadores podem ser empregados 25 no ambiente de um sistema de conferência 100, conforme ilustrado e mostrado na Figura 3.

A Figura 3 mostra um diagrama de bloco de um sistema de conferência 100 trabalhando de acordo com o principio de mixagem de corrente de bits juntamente com um terminal de conferência 160, conforme descrito no contexto da Figura 2. O próprio sistema de conferência 100 é uma versão simplificada do sistema de conferência 100 mostrado na Figura 2. Para ser mais 5 preciso, os decodificadores 120 do sistema de conferência 100 na Figura 2 foram substituídos pelos decodificadores/desquantizadores 220-1, 220-2, 210-3, conforme mostrado na Figura 3. Em outras palavras, os conversores de freqüência/tempo 120 dos decodificadores 120 foram removidos quando comparados com o 10 sistema de conferência 100 mostrado nas Figuras 2 e 3.

Similarmente, os codificadores 140 do sistema de conferência 100 da Figura 2 foram substituídos pelo quantizador/codificador 200-1, 200-2, 200-3. Dessa maneira, os conversores de tempo/freqüência 190 dos codificadores 140 foram removidos quando comparando o 15 sistema de conferência 100 mostrado nas Figuras 2 e 3.

Como um resultado, os somadores 130 não mais operam no dominio de tempo, mas, devido à falta dos conversores de freqüência/tempo 220 e dos conversores de tempo/freqüência 190, na freqüência ou em um dominio relacionado com freqüência. 20 Por exemplo, no caso dos codecs MPEG-4 AAC-ELD, o conversor de tempo/freqüência 190 e o conversor de freqüência/tempo 220, que estão presentes apenas nos terminais de conferência 160, são baseados em uma transformação MDCT. Portanto, dentro do sistema de conferência 100, os mixers 130 diretamente 25 nas contribuições dos sinais de áudio na representação de MDCT- freqüência.

Visto que os conversores 190, 220 representam a fonte principal de atraso no caso do sistema de conferência 100 mostrado na Figura 2, o atraso é significativamente reduzido pela remoção destes conversores 190, 220. Além do mais, a complexidade introduzida pelos dois conversores 190, 220 dentro do sistema de conferência 100 é também significativamente reduzida. Por exemplo, 5 no caso de um decodificador MPEG-2 AAC, a transformação MDCT inversa executada na estrutura do conversor de freqüência/tempo 220 é responsável por aproximadamente 20% da complexidade geral. Visto que também, o conversor MPEG-4 é baseado em uma transformação similar, uma contribuição não irrelevante à complexidade geral 10 pode ser removida pela remoção do conversor de freqüência/tempo 220 sozinha, a partir do sistema de conferência 100.

A mixagem de sinais de áudio no dominio MDCT, ou em outro dominio de freqüência é possivel, visto que no caso de uma transformação MDCT ou no caso de uma transformação baseada em 15 Fourier similar, estas transformações são transformações lineares.

As transformações, portanto, possuem a propriedade da aditividade matemática, isto é:

e aquela da homogeneidade matemática, isto é

onde f (x) é uma função de transformação, x e y argumentos adequados da mesma e a uma constante de valor real ou valor complexo.

Ambas as características da transformação MDCT ou 25 outra transformação baseada em Fourier permitem uma mixagem no respectivo dominio de freqüência similar à mixagem no dominio de tempo. Assim, todos os cálculos podem, de forma igualmente adequada, serem executados com base em valores espectrais. Uma transformação dos dados no domínio de tempo não é requerida.

Sob algumas circunstâncias adicional pode ter que ser atendida. Todos os dados espectrais relevantes devem ser iguais com relação a seus índices de tempo 5 durante o processo de mixagem para todos os componentes espectrais relevantes. Isto pode, eventualmente, não ser o caso se, durante a transformação a técnica denominada de comutação de bloco for empregada, de modo que o codificador dos terminais de conferência 160 possa livremente comutar entre comprimentos de bloco 10 diferentes, dependendo de certas condições. Comutação de bloco pode colocar em risco a possibilidade de designar unicamente valores espectrais individuais a amostras no domínio de tempo devido à comutação entre diferentes comprimentos de bloco e comprimentos de janela MDCT correspondentes, a menos que os dados 15 a serem mixados tenham sido processados com as mesmas janelas.

Visto que em um sistema geral com terminais de conferência 160 distribuídos, isto pode, eventualmente, não ser garantido, interpolações complexas podem se tornar necessárias, o que, por sua vez, pode criar atraso e complexidade adicionais. Como uma 20 consequência, pode eventualmente ser aconselhável não implementar um processo de mixagem de fluxo de bits baseado em comprimentos de bloco de comutação.

Em contraste, o codec AAC-ELD é baseado em um comprimento de bloco único e, portanto, é capaz de garantir mais 25 facilmente a designação previamente descrita ou sincronização de dados de freqüência, de modo que a mixagem pode ser mais facilmente realizada. O sistema de conferência 100 mostrado na Figura 3 é, em outras palavras, um sistema que é capaz de executar a mixagem no dominio de transformada ou dominio de freqüência.

Conforme previamente descrito, de modo a eliminar o atraso adicional introduzido pelos conversores 190, 200 no sistema de conferência 100 mostrado na Figura 2, os codecs usados 5 nos terminais de conferência 160 usam uma janela de comprimento e formato fixos. Isto permite a implementação de processo de mixagem descrita diretamente sem transformar o fluxo de áudio de volta no - dominio de tempo. Esta abordagem é capaz de limitar a quantidade de atraso algorítmico adicionalmente introduzido. Além do mais, a 10 complexidade é diminuída devido à ausência das etapas de transformada inversa no decodificador e as etapas de transformada à frente no codificador.

Entretanto, também na estrutura de um sistema de conferência 100 conforme mostrado na Figura 3, pode se tornar 15 necessário re-quantizar os dados de áudio após a mixagem pelos somadores 130, que podem introduzir ruído de quantização adicional. O ruído de quantização adicional pode, por exemplo, ser criado devido a etapas de quantização diferentes de diferentes sinais de áudio providos ao sistema de conferência 100. Como um 20 resultado, por exemplo, no caso de transmissões de taxa de bits muito baixas nas quais um número de etapas de quantização já está limitado, o processo de mixagem de dois sinais de áudio no domínio de freqüência ou dominio de transformação pode resultar em uma quantidade adicional indesejada de ruído ou outras distorções no 25 sinal gerado.

Antes de descrever uma primeira configuração de acordo com a presente invenção na forma de um equipamento para mixar uma pluralidade de fluxos de dados de entrada, com relação à Figura 4, um fluxo de dados ou fluxo de bits, juntamente com dados compreendidos na mesma, serão brevemente descritos.

A Figura 4 esquematicamente mostra um fluxo de bits ou fluxo de dados 250 que compreende pelo menos uma, ou mais 5 frequentemente, mais que um quadro 260 de dados de áudio em um dominio espectral. Mais precisamente, a Figura 4 mostra três quadros 260-1, 260-2, e 260-3 de dados de áudio em um dominio espectral. Além do mais, o fluxo de dados 250 pode também compreender informação adicional ou blocos de informação adicional 10 270, tais como valores de controle indicando, por exemplo, uma maneira na qual dados de áudio são codificados, outros valores de controle ou informação referente a indices de tempo ou outros dados relevantes. Naturalmente, o fluxo de dados ..250 conforme mostrado na Figura 4 pode ainda compreender quadros adicionais ou 15 um quadro 2 60 pode compreender dados de áudio de mais que um canal. Por exemplo, no caso de um sinal de áudio estéreo, cada um dos quadros 260 pode, por exemplo, compreender dados de áudio de um canal esquerdo, um canal direito, dados de áudio derivados de ambos, dos canais esquerdo e direito, ou qualquer combinação dos 20 dados mencionados previamente.

Dessa maneira, a Figura 4 ilustra que um fluxo de dados 250 pode, não apenas compreender um quadro de dados de áudio em um dominio espectral, mas também informação de controle adicional, valores de controle, valores de situação, informação de 25 situação, valores relacionados a protocolo (por exemplo, somas de verificação), ou similares. A Figura 5 esquematicamente ilustra (espectral) informação referente a componentes espectrais como, por exemplo compreende no quadro 260 do fluxo de dados 250. Para ser mais preciso, a Figura 5 mostra um diagrama simplificado de informação em um domínio espectral de um canal único de um quadro 2 60. No domínio espectral, um quadro de dados de áudio pode, por exemplo, 5 ser descrito em termos de seus valores de intensidade I como uma função da freqüência f. Em sistemas discretos, tais como, por exemplo, sistemas digitais, também a resolução de freqüência é discreta, de modo que a informação espectral está, tipicamente,' apenas presente para certos componentes espectrais, tais como 10 freqüências individuais ou bandas estreitas ou sub-bandas.

Freqüências individuais ou bandas estreitas, assim como sub- bandas, são referidas como componentes espectrais.

A Figura 5 esquematicamente mostra uma distribuição de intensidade para seis freqüências individuais 300- 15 1, ..., 300-6, assim como uma banda de freqüência ou sub-banda 310 compreendendo, no caso conforme ilustrado na Figura 5, quatro freqüências individuais. Ambas, as freqüências individuais ou bandas estreitas correspondentes 300, assim como a sub-banda ou banda de freqüência 310, formam componentes espectrais com relação 20 aos quais o quadro compreende informação referente aos dados de áudio no domínio espectral.

A informação referente à sub-banda 310 pode, por exemplo, ser um valor de intensidade geral, ou um valor de intensidade média. Além da intensidade ou de outros valores 25 relacionados com energia, tais como a amplitude, a energia do próprio componente espectral respectivo ou de outro valor derivado da energia ou da amplitude, informação de fase e outra informação pode também ser compreendida no quadro e, assim, ser considerada como informação referente a um componente espectral.

Os princípios operacionais de uma configuração de acordo com a presente invenção não são tais que a mixagem seja feita de uma maneira direta no sentido de que todos os fluxos de 5 entrada sejam decodificados, o que inclui uma transformação inversa para o dominio de tempo, mixagem e novamente recodificação dos sinais.

Configurações de acordo com a presente invenção são baseadas na mixagem feita no domínio de freqüência do 10 respectivo codec. Um codec possível poderia ser um codec AAC-ELD, ou qualquer outro codec com uma janela de transformada uniforme. Neste caso, nenhuma transformação de tempo/freqüência é necessária para ser capaz de mixar os dados respectivos. Configurações de acordo com uma configuração da presente invenção fazem uso do fato 15 de que acesso a todos os parâmetros de fluxo de bits, tais como tamanho da etapa de quantização e outros parâmetros, é possível e que estes parâmetros podem ser usados para gerar um fluxo de bits de saída mixado.

Configurações de acordo com uma configuração da 20 presente invenção fazem uso do fato de que mixagem de linhas espectrais ou informação espectral referente a componentes espectrais pode ser executada por uma somatória das linhas espectrais de origem ou informação espectral. Fatores pesados podem ser zero ou um, ou em princípio, qualquer valor entre eles. 25 Um valor de zero significa que fontes são tratadas como irrelevantes e não serão usadas de maneira alguma. Grupos de linhas, tais como bandas ou bandas de fator de escala podem usar o mesmo fator de ponderação no caso de configurações de acordo com a presente invenção. Entretanto, conforme ilustrado anteriormente, os fatores de ponderação (por exemplo, distribuição de zeros e uns) podem ser variados para os componentes espectrais de um quadro único de um fluxo de dados de entrada único. Além do mais, 5 configurações de acordo com uma configuração da presente invenção são completamente dispensadas de usar exclusivamente os fatores de ponderação zero ou um quando mixando informação espectral. Este - pode ser o caso de que, sob algumas circunstâncias, não para umã única, uma, uma pluralidade de informação espectral geral de um 10 quadro de um fluxo de dados de entrada, os fatores de ponderação respectivos podem ser diferentes de zero ou um.

Um caso especifico é que todas as bandas ou componente espectral de uma fonte (fluxo de dados de entrada 510) são definidos como um fator de um e todos os fatores das outras 15 fontes são definidas como zero. Neste caso, o fluxo de bits de entrada completo de um participante é identicamente copiado como um fluxo de bits mixado final. Os fatores de ponderação podem ser em uma base de quadro-a-quadro, mas podem também ser ou determinados com base em grupos mais longos ou 20 seqüências mais longas de quadros. Naturalmente, mesmo dentro desta seqüência de quadros ou dentro de quadros únicos, os fatores de ponderação podem diferir para diferentes componentes espectrais, conforme descrito acima. Os fatores de ponderação podem, em algumas configurações de acordo com uma configuração da 25 presente invenção, serem calculados ou determinados de acordo com resultados do modelo psicoacústico.

Um modelo psicoacústico ou um módulo respectivo pode calcular a proporção de energia r(n) entre um sinal mixado onde apenas alguns fluxos de entrada são incluídos conduzindo a um valor de energia Ef e o sinal mixado completo tendo um valor de energia Ec. A proporção de energia r(n) é, então, calculada como 20 vezes o logarítmico de Ef dividido por Ec. 5 Se a proporção for suficientemente alta, os canais menos dominantes podem ser considerados como mascarados pelos dominantes. Dessa maneira, uma redução irrelevante é . . processada significando que-apenas aqueles fluxos estão incluídos, os quais não são notados, aos quais um fator de ponderação de um é 10 atribuído, enquanto todos os outros fluxos - pelo menos uma informação espectral de um componente espectral - são descartados. Em outras palavras, para estes um fator de ponderação de zero é atribuído.

Para ser mais específico, isto pode, por exemplo, 15 ser atingido de acordo com

e calculando a proporção r(n) de acordo com

onde n é um índice de um fluxo de dados de entrada e N é o número de todos ou dos fluxos de dados de entrada relevantes. Se a proporção r(n) for suficientemente alta, os canais menos dominantes ou quadros menos dominantes de fluxos de 25 dados de entrada 510 podem ser vistos como mascarados por aqueles dominantes. Dessa maneira, uma redução irrelevante pode ser processada, significando que apenas aqueles componentes espectrais de um fluxo são incluidos, os quais são, definitivamente notados, enquanto os outros fluxos são descartados. 5 Os valores de energia que devem ser considerados na estrutura de equações (3) a (5) podem, por exemplo, ser derivados dos valores de intensidade pelo cálculo do quadrado dos respectivos valores de intensidade. No caso de informação referente aos componentes espectrais poder compreender outros 10 valores, um cálculo similar pode ser executado dependendo da forma da informação compreendida no quadro. Por exemplo, no caso de informação de valor complexo, cálculo do módulo dos componentes reais e imaginários dos valores individuais constituindo a informação referente aos componentes espectrais pode ter que ser 15 executado.

Além das frequências individuais, para a aplicação do módulo psicoacústico de acordo com as equações (3) a (5), as somas nas equações (3) e (4) podem compreender mais que uma freqüência. Em outras palavras, nas equações (3) e (4), os 20 respectivos Valores de energia En podem ser substituídos por um valor de energia geral correspondendo a uma pluralidade de frequências individuais, uma energia de uma banda de freqüência, ou para colocar em termos mais gerais, por um pedaço único de informação espectral ou uma pluralidade de informação espectral 25 referente a um ou mais componentes espectrais.

Por exemplo, visto que AAC-ELD opera em linhas espectrais de uma maneira em âmbito de banda, similar a grupos de freqüência nos quais o sistema auditivo humano trata simultaneamente, o cálculo de irrelevância ou o modelo psicoacústico pode ser executado de uma maneira similar. Pela aplicação do modelo psicoacústico desta maneira, é possivel remover ou substituir parte de um sinal de apenas uma banda de 5 freqüência única, se necessário.

Como exames psicoacústicos demonstraram, mascarar um sinal com outro sinal depende dos respectivos tipos de sinais. Como um limite minimo para uma determinação de irrelevância, um cenário de pior caso pode ser aplicado. Por exemplo, para mascarar 10 ruido por uma sinusoide ou outro som distinto e bem definido, uma diferença de 21 a 28 dB é tipicamente requerida. Testes demonstraram que um valor limite de aproximadamente 28,5 dB resulta em bons resultados substitutos. Este valor pode, eventualmente, ser melhorado, também considerando as bandas de 15 freqüência reais.

Assim, valores r(n) de acordo com a equação (5) sendo maiores que -28,5 dB podem ser considerados como sendo irrelevantes em termos de uma avaliação psicoacústica ou avaliação de irrelevância baseada no componente espectral ou nos componentes 20 espectrais sendo considerados. Para componentes espectrais diferentes, valores diferentes podem ser usados. Dessa maneira, o uso de limites como indicadores para uma irrelevância psicoacústica de um fluxo de dados de entrada em termos do quadro considerado de 10 dB a 40 dB, 20 dB a 30 dB, ou 25 dB a 30 dB pode 25 ser considerado útil.

Uma vantagem de que menos ou nenhum efeito de codificação tandem ocorre devido a um número reduzido de etapas de re-quantizaçâo pode surgir. Visto que cada etapa de quantização representa um risco significativo de redução adicional de ruido de quantização, a qualidade geral do sinal de áudio pode ser melhorada pelo emprego de uma configuração de acordo com a presente invenção na forma de um equipamento para mixagem de uma 5 pluralidade de fluxos de dados de entrada. Isto pode ser o caso quando o fluxo de dados de saída é gerado de modo que uma distribuição de níveis de quantização, comparada a uma distribuição de níveis de quantização do quadro do fluxo de entrada determinado ou partes dos mesmos, é mantida. 10 A Figura 6a mostra um diagrama de bloco simplificado de um equipamento 500 para mixagem de quadros de um primeiro fluxo de dados de entrada 510-1 e um segundo fluxo de dados de entrada 510-2. 0 equipamento 500 compreende uma unidade de processamento 520 que é adaptada para gerar um fluxo de dados 15 de saída 530. Para ser ligeiramente mais preciso, o equipamento 500 e a unidade de processamento 520 são adaptadas para gerar, com base em um primeiro quadro 540-1 e um segundo quadro 540-2 do primeiro e segundo fluxos de dados de entrada 510-1, 510-2, respectivamente, um quadro de saída 550 compreendido no fluxo de 20 dados de saída 530.

Ambos, o primeiro quadro 540-1 e o segundo quadro 540-2, cada um, compreendem informação espectral referente a um primeiro e segundo sinal de áudio, respectivamente. As informações espectrais são separadas em uma parte inferior de um espectro e 25 uma parte superior do respectivo espectro, onde a parte superior do espectro é descrita pelos dados SBR em termos de energia ou valores relacionados à energia em uma resolução de grade de tempo/freqüência. A parte inferior e a parte superior do espectro são separadas entre si em uma freqüência de transição, que é um dos parâmetros SBR. As partes inferiores do espectro são descritas em termos de valores espectrais dentro dos respectivos quadros 540. Na Figura 6a, isto é esquematicamente ilustrado por uma 5 representação esquematizada da informação espectral 560. A informação espectral 560 será descrita em maiores detalhes no contexto com a Figura 6b abaixo.

Naturalmente, pode ser aconselhável implementar uma configuração de acordo com a presente invenção na forma de um 10 equipamento 500, de modo que no caso de uma sequência de quadros 540 em um fluxo de dados de entrada 510, apenas quadros 540 serão considerados durante a comparação e determinação, que corresponde a um indice de tempo similar ou igual. O quadro de saída 550 também compreende a 15 representação de informação espectral similar 560, que é também esquematicamente mostrada na Figura 6a. Consequentemente, também o quadro de saída 550 compreende uma representação de informação espectral similar 560 com uma parte mais alta de um espectro de saída e uma parte inferior de um espectro de saída que se tocam na 20 freqüência de transição de saída. Similar aos quadros 540 dos fluxos de dados de entrada 510, também a parte inferior do espectro de saída do quadro de saída 550 é descrito em termos de valores espectrais de saída, enquanto a parte superior do espectro (parte superior) é descrita em termos de dados SBR compreendendo 25 valores de energia em uma resolução de grade de tempo/freqüência de saída.

Conforme indicado acima, a unidade de processamento 520 é adaptada para gerar e enviar o quadro de saída conforme descrito acima. Deve ser observado que nos casos gerais a primeira freqüência de transição do primeiro quadro 540-1 e a segunda frequência de transição do segundo quadro 540-2 são diferentes. Como uma consequência, a unidade de processamento é 5 adaptada de modo que os dados espectrais de salda correspondendo a freqüências abaixo de um valor minimo de uma primeira freqüência de transição, a segunda freqüência de transição e a freqüência de transição de saida é gerada diretamente em um dominio espectral baseado em um primeiro e segundo dados espectrais. Isto pode, por 10 exemplo, ser atingido pela adição ou cominação linear da respectiva informação espectral correspondendo aos mesmos componentes espectrais.

Além do mais, a unidade de processamento 520 é adicionalmente adaptada para gerar os dados SBR de saida 15 descrevendo a parte superior do espectro de saida do quadro de saida 550 pelo processamento dos respectivos primeiro e segundo dados SBR dos primeiro e segundo quadros 540-1, 540-2 diretamente no dominio SBR. Isto será explicado em maiores detalhes com relação às Figuras 9a a 9e. 20 Como será, também, explicado em maiores detalhes abaixo, a unidade de processamento 520 pode ser adaptada de modo que para uma região de freqüência entre o valor minimo e o valor máximo, conforme definido acima, pelo menos um valor SBR de pelo menos um dentre um primeiro e um segundo dados espectrais é 25 calculado e um valor SBR correspondente dos dados SBR de saida é gerado com base em pelo menos aquele valor SBR calculado. Isto pode, por exemplo, ser o caso quando a freqüência e a consideração de um componente espectral sob consideração é menor que a freqüência de transição máxima envolvida, mas mais alta que o valor minimo da mesma.

Nesta situação, pode ocorrer que pelo menos um dos quadros de entrada 540 compreende valores espectrais como 5 parte da parte inferior do respectivo espectro, enquanto o quadro de saida espera dados SBR, visto que o respectivo componente espectral está acima da freqüência de transição de saida. Em outras palavras, nesta região de freqüência intermediária entre o valor minimo das freqüências de transição envolvidas e o valor 10 máximo dos valores de freqüências de transição envolvidas, pode ocorrer que, baseado nos dados espectrais de uma parte inferior de um dos espectros, dados SBR correspondentes têm que ser calculados. Os dados SBR de saida correspondendo ao componente espectral sob consideração são, então, baseados pelo menos nos 15 dados SBR calculados. Uma descrição mais detalhada sobre como isto pode ser executado de acordo com uma configuração da presente invenção será apresentada no contexto com as Figuras 9a a 9e abaixo.

Por outro lado, pode ocorrer que para um 20 componente espectral ou uma freqüência envolvida, que está na região de freqüência intermediária previamente definida, o quadro de saida 550 espera valores espectrais, visto que o respectivo componente espectral pertence à parte inferior do espectro de saida. Entretanto, um dos quadros de entrada 540 pode apenas 25 compreender dados SBR para o componente espectral relevante. Neste caso, pode ser aconselhável estimar a informação espectral correspondente baseada nos dados SBR e, opcionalmente, baseada na informação espectral, ou pelo menos partes das mesmas, da parte inferior do espectro do quadro de entrada sob consideração. Em outras palavras, também um cálculo de dados espectrais baseado em dados SBR pode ser necessário sob algumas circunstâncias. Baseado no valor espectral calculado, o valor espectral correspondente do 5 respectivo componente espectral pode, então, ser determinado ou obtido diretamente pelo processamento do mesmo no dominio espectral.

Entretanto, para facilitar uma compreensão melhor' dos processos e operações de um equipamento 500 de acordo com uma 10 configuração da presente invenção e SBR em geral, a Figura 6b mostra uma representação mais detalhada 560 de informação espectral empregando dados SBR. • Conforme descrito nas partes introdutórias da especificação, uma ferramenta SBR ou módulo SBR opera tipicamente 15 como um codificador ou decodificador separado próximo aos codificadores ou decodificadores MPEG-4 básicos. A ferramenta SBR é baseada no emprego de um banco de filtros de espelho de quadratura (QMF) que também representa uma transformação linear.

A ferramenta SBR armazena, dentro do fluxo de 20 dados ou fluxo de bits do codificador MPEG, seus próprios pedaços de informação e dados (parâmetros SBR) para facilitar decodificação correta dos dados de freqüência descritos. Pedaços de informação serão descritos em termos da ferramenta SBR como grade de quadro ou resolução de grade de tempo/freqüência. A grade 25 de tempo/freqüência compreende dados com relação ao quadro presente 540, 550 apenas.

A Figura 6b mostra esquematicamente esta grade de tempo/freqüência para um quadro único 540, 550. Enquanto a abscissa é um eixo de tempo, a coordenada é um eixo de freqüência.

O espectro mostrado em termos de sua freqüência f é separado, conforme ilustrado anteriormente, pela freqüência de transição definida anteriormente (fx) 570 em uma parte inferior 5 580 e uma parte superior ou mais alta 590. Enquanto a parte inferior 580 do espectro tipicamente se estende da menor freqüência acessível, por exemplo, 0 Hz, até a freqüência de transição 570, a parte superior 590 do espectro começa na freqüência de transição 570 e tipicamente termina em duas vezes a 10 freqüência de transição (2fx) , conforme indicado na Figura 6b por uma linha 600.

A parte inferior 580 do espectro é tipicamente descrita por um dado espectral ou valores espectrais 610 como uma área hachurada, visto que em muitos codecs baseados em quadro e 15 seus conversores de tempo/freqüência, o respectivo quadro de dados de áudio é completamente transferido para o dominio de freqüência, de modo que os dados espectrais 610 tipicamente não compreendem uma dependência de tempo interna de quadro explicito. Como uma conseqüência, em termos da parte inferior 580 do espectro, os 20 dados espectrais 610 podem não ser total e corretamente mostrados neste sistema de coordenada de tempo/freqüência mostrado na Figura 6 b.

Entretanto, conforme descrito acima, a ferramenta SBR opera baseada em uma conversão QMF de tempo/freqüência 25 separando pelo menos a parte superior do espectro 590 em uma pluralidade de sub-bandas, onde cada um dos sinais de sub-banda compreende uma dependência de tempo ou resolução de tempo. Em a conversão no dominio de sub-banda conforme executada pela ferramenta SBR cria uma "representação de tempo e freqüência mixada".

Conforme descrito nas partes introdutórias da especificação, com base na pressuposição de que a parte superior 5 do espectro 590 tem uma semelhança significativa com a parte inferior 580 e, dessa maneira, uma correlação significativa, a ferramenta SBR é capaz de derivar valores relacionados à energia ou valores de energia para descrever em termos da manipulação de freqüência da amplitude dos dados espectrais da parte inferior 580 10 do espectro copiado para as freqüências nos componentes espectrais da parte superior 590. Portanto, pela cópia da informação espectral da parte inferior 580 nas freqüências da parte superior 590, e modificando suas respectivas amplitudes, a parte superior 590 dos dados espectrais é replicada, conforme sugerido pelo nome 15 da ferramenta.

Embora a resolução de tempo da parte inferior 580 do espectro esteja inerentemente presente, por exemplo, pela inclusão de informação de fase ou outros parâmetros, a descrição de sub-banda da parte superior 590 de um espectro permite um 20 acesso direto à resolução de tempo.

A ferramenta SBR gera os parâmetros SBR compreendendo um número de fendas de tempo para cada quadro SBR, que é idêntico aos quadros 540, 550, no caso dos comprimentos de quadro SBR e dos comprimentos de quadro de codificador subjacentes 25 serem compatíveis e, nem a ferramenta SBR, nem o codificador ou decodificador subjacente usarem uma técnica de comutação de bloco. Esta condição limite é, por exemplo, preenchida pelo codec MPEG-4 AAC-ELD.

As fendas de tempo dividem o acesso de tempo do quadro 540, 550 do módulo SBR em regiões de tempo com espaços igualmente pequenos. O número destas regiões de tempo em cada quadro SBR é determinado anteriormente à codificação do quadro 5 respectivo. A ferramenta SBR usada no contexto com o codec MPEG-4 AAC-ELD é definida para 16 fendas de tempo. formar um ou mais envelopes. Um envelope compreende pelo menos duas ou mais fendas de tempo, formadas em um grupo. Cada um dos 10 envelopes tem um número especifico de dados de freqüência SBR com o qual está associado. Na grade de quadro, o número e o comprimento em termos de fendas de tempo serão armazenados com cada envelope. - 15 espectral 560 mostrada na Figura 60 mostra um primeiro e segundo envelope 620-1, 620-2. Embora em principio, o envelope 620 pode ser livremente definido, mesmo tendo um comprimento de menos que duas fendas de tempo, na estrutura do codec MEPG-4 AAC-ELD, os quadros SBR pertencem a qualquer uma de duas classes, a classe 20 FIXFIX e a classe LD_TAN apenas. Como uma conseqüência, embora em principio qualquer distribuição das fendas de tempo em termos dos envelopes seja possivel, a seguir referência será principalmente feita para o codec MPEG-4 AAC-ELD, de modo que implementações das mesmas serão principalmente descritas. 25 A classe FIXFIX divide as 16 fendas de tempo disponíveis em um número de envelopes igualmente longos (por exemplo, 1, 2, 4, compreendendo 16, 6, 4 fendas de tempo cada, respectivamente), enquanto a classe LD_TRAN compreende dois ou três envelopes dos quais um compreende exatamente duas fendas. 0 envelope compreendendo exatamente duas fendas de tempo compreende uma transiente no sinal de áudio, ou em outras palavras, a mudança abrupta do sinal de áudio, tal como um som muito alto e repentino. 5 As fendas de tempo antes e após esta transiente podem ser compreendidas de até dois envelopes adicionais contanto que os respectivos envelopes sejam suficientemente longos.

Em outras palavras, visto que o módulo SBR permite uma divisão dinâmica dos quadros em envelopes, é possível 10 reagir a transientes no sinal de áudio com uma resolução de freqüência mais precisa. No caso de uma transiente estar presente no quadro atual, o codificador SBR divide o quadro em uma estrutura de envelope apropriada. Conforme descrito anteriormente, a divisão de quadro é padronizada no caso de AAC-ELD junto com SBR 15 e depende da posição da transiente em termos das fendas de tempo conforme caracterizado pela variável TRANPOS.

A classe de quadro SBR escolhida pelo codificador SBR no caso de uma transiente estar presente, a classe LD_TRAN tipicamente compreende três envelopes. O envelope inicial 20 compreende o início do quadro até a posição da transiente com índices de fenda de tempo de zero até TRANPOS-1, a transiente será abrangida por um envelope compreendendo exatamente duas fendas de tempo com índices de fenda de tempo de TANSPOS até TRANPOS + 2. O terceiro envelope compreende todas as fendas de tempo a seguir com 25 índices de TRANPOS +3 até TRANPOS +16. Entretanto, o comprimento mínimo de um envelope no codec AAC-ELD juntamente com SBR é limitado a duas fendas de tempo, de modo que quadros com uma transiente próxima de um limite de quadro será apenas dividido em dois envelopes.

Na Figura 6b, uma situação é mostrada na qual os dois envelopes 620-1, 620-2 são igualmente longos pertencendo à classe FIXFIX de quadro SBR com um número de dois envelopes. 5 Consequentemente, cada um dos envelopes compreende um comprimento de 8 fendas de tempo.

A resolução de freqüência atribuida a cada um dos envelopes determina o número de valores de energia ou de valores de energia SBR a serem calculados para cada envelope e armazenados 10 com relação aos mesmos. A ferramenta SBR no contexto com o codec AAC-ELD pode ser mudada entre uma resolução alta e baixa. No caso de um envelope altamente resolvido, quando comparado com a um envelope de baixa resolução. Duas vezes os valores de energia serão usados para permitir uma resolução de freqüência mais 15 precisa para este envelope no caso de um envelope altamente resolvido, quando comparado a um envelope de baixa resolução. O número de valores de freqüência para um envelope de resolução alta ou baixa depende de parâmetros do codificador, tal como taxa de bits, freqüência de amostragem e outros parâmetros. No caso do 20 codec MPEG-4 AAC-ELD, a ferramenta SBR muito frequentemente usa 16 a 14 valores era envelopes de alta resolução. Consequentemente, em envelopes de baixa resolução, o número de valores de energia está freqüentemente na faixa entre 7 e 8 por envelope.

A Figura 6b mostra para cada um dos dois 25 envelopes 620-1, 620-2, 6 regiões de tempo/freqüência 630-la, ..., 630-lf, 630-2a,. . . , 630-2f, cada uma das regiões de tempo/freqüência representando um valor de energia ou SBR relacionado com energia. Por uma questão de simplicidade apenas, três das regiões de tempo/freqüência 630 para cada um dos dois envelopes 620-1, 620-2 foram rotuladas como tal. Além do mais, pela mesma razão, a distribuição de freqüência da região de tempo/freqüência 630 para os dois envelopes 620-1, 620-2 foi 5 escolhida identicamente. Naturalmente, isto representa apenas uma possibilidade entre um número significativo de possibilidades. Para ser mais preciso, as regiões de tempo/freqüência 630 podem ser individualmente distribuídas para cada um dos envelopes 620. Não é, portanto, importante dividir o espectro ou sua parte 10 superior 590 na mesma distribuição quando comutando entre envelopes 620. Deve também ser observado que o número de regiões de tempo/freqüência 630 pode igualmente depender do envelope 620 sob consideração conforme indicado acima.

Além do mais, como dados SBR adicionais, valores 15 de energia relacionados a ruído e valores de energia relacionados a sinusoides podem também serem compreendidos em cada um dos envelopes 620. Estes valores adicionais não foram, meramente por uma questão de simplicidade, mostrados. Enquanto os valores relacionados a ruído descrevem um valor de energia com relação ao 20 valor de energia da respectiva região de tempo/freqüência 630 de uma fonte de ruído pré-definida, os valores de energia sinusoide se relacionam com oscilações de seno com freqüências pré-definidas e um valor de energia igual àquele da respectiva região de tempo/freqüência. Tipicamente, dois a três dos valores 25 relacionados a ruído ou relacionados à sinusoide podem ser incluídos por envelope 620. Entretanto, também um número menor ou maior pode ser incluído.

A Figura 7 mostra um diagrama de bloco adicional, mais detalhado, de um equipamento 500 de acordo com uma configuração da presente invenção, que é baseado na Figura 6a. Portanto, é feito referência à descrição da Figura 6a.

Conforme a discussão anterior de informação 5 espectral e representação 560 na Figura 6b demonstrou, pode ser aconselhável para configurações de acordo com a presente invenção primeiramente analisar as grades de quadro de modo a gerar uma nova grade de quadro para o quadro de saida 550. Como uma consequência, a unidade de processamento 520 compreende um 10 analisador 640 ao qual os dois fluxos de dados de entrada 510-1, 510-2 são providos. A unidade de processamento 520 compreende ainda um mixer espectral 650, ao qual os fluxos de dados de entrada 510 ou as saidas do analisador 640 são acoplados. Além do mais, a unidade de processamento 520 também compreende um mixer 15 SBR 660, que é também acoplado ao fluxo de dados de entrada 510 ou à saida do analisador 640. A unidade de processamento 520 compreende ainda uma calculadora 670, que é também acoplada aos dois fluxos de dados de entrada 510 e/ou o analisador 640 para receber os dados analisados e/ou os fluxos de dados de entrada com 20 os quadros 540 compreendidos nos mesmos. Dependendo da implementação concreta, a calculadora 670 pode ser acoplada a pelo menos um dos mixers espectrais 650, ou ao mixer SBR 660 para prover pelo menos um deles com um valor SBR calculado ou valor espectral calculado para freqüências na região intermediária 25 definida previamente entre o valor máximo das freqüências de transição envolvidas e os valores minimos das mesmas. O mixer SBR 660, assim como o mixer espectral 650, é acoplado a um mixer 680 que gera e envia o fluxo de dados de saída 530 compreendendo o quadro de saída 550.

Com relação ao modo de operação, o analisador 640 é adaptado para analisar os quadros 540 para determinar as grades de quadro compreendidas no mesmo e para gerar uma nova grade de 5 quadro incluindo, por exemplo, uma freqüência de transição.

Enquanto o mixer espectral 650 é adaptado para mixar, no domínio espectral, os valores espectrais ou informação espectral dos quadros 540 para freqüências ou componentes espectrais abaixo do mínimo das freqüências de transição envolvidas, o mixer SBR 660 é 10 similarmente adaptado para mixar os dados SBR respectivos no domínio SBR. A calculadora 670 provê a região de freqüência intermediária entre os valores máximos e mínimos previamente mencionados, qualquer um dos dois mixers 650, 660, com dados apropriados no domínio espectral ou o domínio SBR para permitir 15 que estes mixers também operem neste domínio de freqüência intermediária, se necessário. O mixer 680, então, compila os dados espectrais e SBR recebidos dos dois mixers 650, 660, para formar e gerar o quadro de saída 550.

Configurações de acordo com a presente invenção 20 podem, por exemplo, serem empregadas na estrutura de sistemas de conferência, por exemplo, um sistema de tele/vídeo conferência com mais que dois participantes. Estes sistemas de conferência podem oferecer a vantagem de uma complexidade menor comparada com uma mixagem de tempo-domínio, visto que etapas de transformação de 25 tempo-freqüência e etapas de recodificação podem ser omitidas. Além do mais, nenhum atraso adicional é causado por estes componentes comparados para mixagem no domínio de tempo, devido à ausência do atraso de banco de filtro.

Entretanto, configurações de acordo com a presente invenção podem também serem empregadas em aplicações mais complexas, compreendendo módulos, tais como substituição de ruido perceptual (PNS), formatação de ruido temporal (TNS) e modos 5 diferentes de codificação de estéreo. Esta configuração será descrita em maiores detalhes com referência à Figura 8. esquemático de um equipamento 500 para mixagem de uma pluralidade de fluxos de dados de entrada compreendendo uma unidade de 10 processamento 520. Para ser mais preciso, a Figura 8 mostra um equipamento altamente flexivel 500 sendo capaz de processamento de sinais de áudio grandemente diferentes codificados em fluxos de dados de entrada (fluxos de bits). Alguns dos componentes que serão descritos abaixo são, portanto, componentes opcionais que 15 não necessitam serem implementados sob todas as circunstâncias, e na estrutura de todas as configurações de acordo com a presente invenção.

A unidade de processamento 520 compreende um decodif icador de fluxo de bits 700 para cada um dos fluxos de 20 dados de entrada ou fluxos de bits de áudio codificados a serem processados pela unidade de processamento 520. Apenas por uma questão de simplicidade, a Figura 8 mostra apenas dois decodificadores de fluxo de bits 700-1, 700-2. Naturalmente, dependendo do número de fluxos de dados de entrada a ser 25 processado, um número mais alto de decodificadores de fluxo de bits 700, ou um número inferior, pode ser implementado, se, por exemplo, um decodif icador de fluxo de bits 700 for capaz de processamento seqüencial de mais que um dos fluxos de dados de entrada.

O decodificador de fluxo de bits 700-1, assim como os outros decodificadores de fluxo de bits 700-2, ... , cada um compreende uma leitora de fluxo de bits 710 que é adaptada para 5 receber e processar os sinais recebidos, e para isolar e extrair dados compreendidos no fluxo de bits. Por exemplo, a leitora de fluxo de bits 710 pode ser adaptada para sincronizar os dados de entrada com um relógio interno e pode, além do mais, ser adaptado para separar o fluxo de bit de entrada nos quadros apropriados. 10 O decodificador de fluxo de bits 700 compreende ainda um decodificador de Huffman 720 acoplado à saida da leitora de fluxo de bits 710 para receber os dados isolados da leitora de fluxo de bits 710. Uma saida do decodificador de Huffman 720 é acoplada a um desquantizador 730, que é também referida como um 15 quantizador inverso. O desquantizador 730 sendo acoplado atrás do decodificador de Huffman 720 é seguido por um escalador 740. O decodificador de Huffman 720, o desquantizador 730 e o escalador 740 formam uma primeira unidade 750 na saida da qual pelo menos uma parte do sinal de áudio do respectivo fluxo de dados de 20 entrada está disponivel no dominio de freqüência ou o dominio relacionado com freqüência no qual o codificador do participante (não mostrado na Figura 8) opera.

O decodificador de fluxo de bits 700 compreende ainda uma segunda unidade 7 60 que é acoplado em âmbito de dados 25 após a primeira unidade 750. A segunda unidade 760 compreende um decodificador de estéreo 770 (módulo M/S) atrás do qual um decodificador PNS é acoplado. O decodificador PNS 780 é seguido em âmbito de dados por um decodificador TNS 790, que juntamente com o decodificador PNS 780 no decodificador estéreo 770, forma a segunda unidade 760.

Além do fluxo descrito de dados de áudio, o decodificador de fluxo de bits 700 compreende ainda uma 5 pluralidade de conexões entre módulos diferentes referente aos dados de controle. Para ser mais preciso, a leitora de fluxo de bits 710 é também acoplada ao decodificador de Huffman 720 para receber dados de controle apropriados. Além disso, o decodificador de Huffman 720 é diretamente acoplado ao escalador 740 para 10 transmitir informação de escalonamento para o escalador 740. O decodificador estéreo 770, o decodificador PNS 780, e o decodificador TNS 790 são também, cada um, acoplados à leitora de fluxo de bits 710 para receber dados de controle apropriados.

A unidade de processamento 520 compreende ainda 15 uma unidade de mixagem 800 que, por sua vez, compreende um mixer espectral 810 que é acoplado em âmbito de entrada aos decodificadores de fluxo de bits 700. O mixer espectral 810 pode, por exemplo, compreender um ou mais somadores para executar a mixagem real no dominio de freqüência. Além do mais, o mixer 20 espectral 810 pode ainda compreender multiplicadores para permitir uma combinação linear arbitrária da informação espectral provida pelos decodificadores de fluxo de bits 700.

A unidade de mixagem 800 compreende ainda um módulo de otimização 820 que é acoplado em âmbito de dados a uma 25 saida do mixer espectral 810. O módulo de otimização 820 é, entretanto, também acoplado ao mixer espectral 810 para prover o mixer espectral 810 com informação de controle. No tocante aos dados, o módulo de otimização 820 representa uma saída da unidade de mixagem 800.

A unidade de mixagem 800 compreende anda urn mixer SBR 830 que é diretamente acoplado a uma saida da leitora de fluxo de bits 710 dos diferentes decodificadores de fluxo de bits 700. 5 Uma saida do mixer SBR 830 forma outra saida da unidade de mixagem 800.

A unidade de processamento 520 compreende ainda um codificador de fluxo de bits 8 50 que é acoplado à unidade de mixagem 800 que, por sua vez, compreende uma mixer espectral 810 10 que é acoplado na entrada aos decodificadores de fluxo de bits 700. 0 mixer espectral 810 pode, por exemplo, compreender uma ou mais somadores para executar a mixagem real no dominio de freqüência. Além do mais, o mixer espectral 810 - pode compreender ainda multiplicadores para permitir uma combinação linear 15 arbitrária da informação espectral provida pelos decodificadores de fluxo de bits 700.

A unidade de processamento 520 compreende ainda um codificador de fluxo de bits 850 que é acoplado à unidade de mixagem 800. O codificador de fluxo de bits 850 compreende uma 20 terceira unidade 860 compreendendo um codificador TNS 870, codificador PNS 880, e um codificador estéreo 890, que são acoplados em série na ordem descrita. A terceira unidade 860, dessa maneira, forma uma unidade inversa da primeira unidade 750 do decodificador de fluxo de bits 700. 25 O codificador de fluxo de bits 850 compreende ainda uma quarta unidade 900 que compreende um escalador 910, um quantizador 920, e um codificador de Huffman 930 formando uma conexão em série entre uma entrada da quarta unidade e uma saida da mesma. A quarta unidade 900, dessa maneira, forma um módulo inverso a primeira unidade 750. Consequentemente, o escalador 910 é também diretamente acoplado ao codificador de Huffman 930 para prover o codificador de Huffman 930 com respectivos dados de 5 controle. - . O codificador de fluxo de bits 850 também compreende um gravador de fluxo de bits 940 que é acoplado à saída do codificador de Huffman 930. Adicionalmente, o gravador de fluxo de bits 940 é também acoplado ao codificador TNS 870, ao 10 codificador PNS 880, ao codificador estéreo 890, e ao codificador de Huffman 930 para receber dados de controle e informação destes módulos. Uma saída do gravador de fluxo de bits 94 0 forma uma saida da unidade de processamento 520 e do equipamento 500,

O codificador de fluxo de bits 850 também 15 compreende um módulo psicoacústico 950, que é também acoplado à saída da unidade de mixagem 800. O codificador de fluxo de bits 850 é adaptado para prover os módulos da terceira unidade 860 com informação de controle apropriada indicando, por exemplo, o que pode ser empregado para codificar a saída de sinal de áudio pela 20 unidade de mixagem 800 na estrutura das unidades da terceira unidade 860.

Em princípio, nas saídas da segunda unidade 760 até a entrada da terceira unidade 860, um processamento do sinal de áudio no domínio espectral, conforme definido pelo codificador 25 usado no lado do remetente é, portanto, possível. Entretanto, ' conforme indicado anteriormente, uma decodificação completa, desquantização, desescalar, e etapas de processamento adicionais podem, eventualmente, serem desnecessárias se, por exemplo, informação espectral de um quadro de um dos fluxos de dados de entrada for dominante. De acordo com uma configuração da presente invenção, pelo menos uma parte da informação espectral dos respectivos componentes espectrais é, então, copiada para o 5 componente espectral do respectivo quadro do fluxo de dados de saida.

Para permitir este processamento, o equipamento 500 e a unidade de processamento 520 compreendem adicionalmente linhas de sinal para uma contrapartida de dados otimizada. Para 10 permitir este processamento na configuração mostrada na Figura 8, uma saida do decodificador de Huffman 720, assim como saidas do escalador 740, do decodificador estéreo 770, e do decodificador PNS 780 são, juntamente com os respectivos, componentes de outras leitoras de fluxo de bits 710, acoplados ao módulo de otimização 15 820 da unidade de mixagem 800 para um respectivo processamento.

Para facilitar, após um respectivo processamento, um fluxo de dados correspondente dentro do codificador de fluxo de bits 850, linhas de dados correspondentes para um fluxo de dados otimizado são também implementadas. Para ser mais preciso, uma 20 saida do módulo de otimização 820 é acoplada a uma entrada do codificador PNS 780, do codificador estéreo 890, uma entrada da quarta unidade 900 e do escalador 910, assim como uma entrada no codificador de Huffman 930. Além do mais, a saida do módulo de otimização 820 é também diretamente acoplada ao gravador de fluxo 25 de bits 940.

Conforme indicado anteriormente, quase todos os módulos conforme descritos acima são módulos opcionais, que não são requeridos para serem implementados nas configurações de acordo com a presente invenção. Por exemplo, no caso dos fluxos de dados de áudio compreendendo apenas um canal único, as unidades de codificação e decodificação estéreos 770, 890, podem ser omitidas. Consequentemente, no caso em que nenhum sinal baseado em PNS tiver 5 que ser processado, o decodificador PNS e codificador PNS correspondentes 780, 880 podem também ser omitidos. Os módulos TNS 790, 870 podem também serem omitidos no caso do sinal a ser processados e do sinal a ser enviado não ser baseado em dados TNS.

Dentro da primeira e quarta unidades 750, 900, o quantizador 10 inverso 730, o escalador 740, o quantizador 920, assim como o escalador 910 podem, eventualmente, serem também omitidos. Portanto, também estes módulos devem ser considerados componentes opcionais.

O decodificador de Huffman 720 e o codificador de 15 Huffman 930 podem ser implementados diferentemente, usando outro algoritmo, ou completamente omitidos.

Com relação ao modo de operação do equipamento 500 juntamente com a unidade de processamento 520 compreendida no mesmo, um fluxo de dados de entrada é primeiramente lido e 20 separado em pedaços apropriados de informação pela leitora de fluxo de bits 710. Após decodificação de Huffman, a informação espectral resultante pode, eventualmente, ser re-quantizada pelo desquantizador 730 e escalonada apropriadamente pelo desescalador 740. 25 Posteriormente, dependendo da informação de controle compreendida no fluxo de dados de entrada, o sinal de áudio codificado no fluxo de dados de entrada pode ser decomposto em sinais de áudio para dois ou mais canais na estrutura do decodificador estéreo 770. Se, por exemplo, o sinal de áudio compreender um canal central (M) e um canal lateral (S) , os dados do canal esquerdo e canal direito correspondentes podem ser obtidos pela adição e subtração dos dados do canal central e 5 lateral uns dos outros. Em muitas implementações, o canal central é proporcional à soma dos dados de áudio do canal esquerdo e do canal direito, enquanto o canal lateral é proporcional a uma diferença entre o canal esquerdo (L) e o canal direito (R).

Dependendo da implementação, os canais em referência acima podem ser somados e/ou subtraídos tomando um fator % em consideração para impedir efeitos de recorte, diferentes podem ser processados resultar nos canais correspondentes.

Em outras palavras, 15 770, os dados de áudio podem, se apropriado, serem decompostos em dois canais individuais. Naturalmente, também uma decodificação inversa pode ser executada pelo decodificador estéreo 770. Se, por exemplo, o sinal de áudio conforme recebido pela leitora de fluxo de bits 710 compreende um canal esquerdo e uma canal direito, o 20 decodificador estéreo 770 pode muito bem calcular ou determinar dados de canal central e lateral apropriados.

Dependendo da implementação não apenas do equipamento 500, mas também dependendo da implementação do codificador do participante provendo o respectivo fluxo de dados 25 de entrada, o respectivo fluxo de dados pode compreender parâmetros PNS (PNS = substituição de ruido perceptual). PNS é baseado no fato de que o ouvido humano é muito provavelmente incapaz de distinguir sons tipo ruido em uma faixa de freqüência limitada ou componente espectral, tal como uma banda ou uma freqüência individual, de um ruido sinteticamente gerado. PNS, portanto substitui a contribuição do tipo de ruído real do sinal de áudio com um valor de energia indicando um nível de ruído a ser 5 sinteticamente introduzido no respectivo componente espectral e negligenciando o sinal de áudio real. Em outras palavras, o decodificador PNS 780 pode regenerar, em um ou mais componentes espectrais, a contribuição de sinal de áudio do tipo de ruído real baseado em um parâmetro PNS compreendido no fluxo de dados de 10 entrada.

Em termos do decodificador TNS 790 e do codificador TNS 870, sinais de áudio respectivos podem ter que ser re-transformados em uma versão não modificada com relação a um módulo TNS operando no lado do remetente. Formatação de ruído 15 temporal (TNS) é um meio para reduzir artefatos pré-eco causados por ruído de quantização, os quais podem estar presentes no caso de um sinal do tipo transiente em um quadro do sinal de áudio. Para neutralizar esta transiente, pelo menos um filtro de predição adaptativa é aplicado à informação espectral iniciando a partir do 20 lado inferior do espectro, do lado superior do espectro, ou de ambos os lados do espectro. Os comprimentos dos filtros de predição podem ser adaptados assim como as faixas de freqüência às quais os respectivos filtros são aplicados.

Em outras palavras, a operação de um módulo TNS é 25 baseada na computação de uma ou mais filtros IIR adaptativos (IIR = resposta de impulso infinita) e pela codificação e transmissão de um sinal de erro descrevendo a diferença entre o sinal de áudio predito e o real juntamente com os coeficientes de filtro dos filtros de predição. Como uma conseqüência, pode ser possivel aumentar a qualidade de áudio enquanto a taxa de bits do fluxo de dados do transmissor é mantida pela cópia com os sinais do tipo transiente pela aplicação de um filtro de predição no dominio de 5 freqüência para reduzir a amplitude do sinal de erro remanescente, que pode, então, ser codificado usando menos etapas de quantização se comparado com codificação direta do sinal de áudio do tipo transiente com um ruido de quantização similar. :

Em termos de uma aplicação TNS, pode ser 10 aconselhável, sob algumas circunstâncias, empregar a função do decodif icador TNS 760 para decodificar a parte TNS do fluxo de dados de entrada para chegar em uma representação "pura" no dominio espectral determinado pelo codec usado. Esta aplicação da funcionalidade dos decodificadores TNS 790 pode ser útil se um 15 cálculo do modelo psicoacústico (por exemplo, aplicado no módulo psicoacústico 950) não puder ser calculado com base nos coeficientes de filtro dos filtros de predição compreendidos nos parâmetros TNS. Isto pode ser especialmente importante quando pelo menos um fluxo de dados de entrada usar TNS, enquanto outro não 20 usar.

Quando a unidade de processamento determina, com base na comparação dos quadros de fluxos de dados de entrada, que a informação espectral de um quadro de um fluxo de dados de entrada usando TNS deve ser usada, os parâmetros TNS podem ser 25 usados para o quadro de dados de saida. Se, por exemplo, por razões de incompatibilidade, o recipiente do fluxo de dados de saida não for capaz de decodificar dados TNS, pode ser útil não copiar os dados espectrais respectivos do sinal de erro e dos parâmetros TNS adicionais, mas processar os dados reconstruídos dos dados relacionados a TNS para obter a informação no dominio espectral, e não usar o codificador TNS 870. Isto, novamente, ilustra que partes dos componentes ou módulos mostrados na Figura 5 8 não necessitam serem implementados nas diferentes configurações de acordo com a presente invenção.

No caso de pelo menos um fluxo de entrada de áudio comparando dados PNS,' uma estratégia similar pode ser aplicada. Se na comparação dos quadros para um componente 10 espectral dos fluxos de dados de entrada revelam que um fluxo de dados de entrada é em termos de seu presente quadro e do respectivo componente espectral ou componentes espectrais dominantes, os respectivos parâmetros PNS (isto é, os respectivos valores de energia) podem também ser copiados diretamente para o 15 respectivo componente espectral do quadro de saida. Se, entretanto, o recipiente não for capaz de aceitar os parâmetros PNS, a informação espectral pode ser reconstruída a partir do parâmetro PNS para os respectivos componentes espectrais pela geração de ruido com o nivel de energia apropriado conforme 20 indicado pelo respectivo valor de energia. Então, os dados de ruido podem, conseqüentemente, serem processados no dominio espectral.

Conforme descrito anteriormente, os dados transmitidos também compreendem dados SBR, que são então 25 processados pelo mixer SBR 830 executando a funcionalidade descrita anteriormente.

Visto que SBR permite dois canais estéreo de codificação, codificando o canal esquerdo e o canal direito separadamente, assim como codificando os mesmos em termos de um canal de acoplamento (C) , de acordo com uma configuração da presente invenção, processar os respectivos parâmetros SBR ou pelo menos partes dos mesmos, pode compreender copiar os elementos C 5 dos parâmetros SBR para ambos, os elementos esquerdo e direito, do parâmetro SBR a ser determinado e transmitido, ou vice-versa.

Além do mais, visto que em configurações diferentes de acordo com uma configuração da presente invenção, fluxos de dados de entrada podem compreender ambos, sinais de 10 áudio mono e estéreo, compreendendo um e dois canais individuais, respectivamente, um upmix de mono para estéreo ou um downmix de estéreo para mono pode, adicionalmente, ser executado na estrutura de processamento de quadros dos fluxos de dados de entrada e gerando o quadro de saida do fluxo de dados de saida. 15 Como a descrição precedente demonstrou, em termos de parâmetros TNS pode ser aconselhável processar os respectivos parâmetros TNS juntamente com a informação espectral do quadro inteiro do fluxo de dados de entrada dominante para o fluxo de dados de saida para impedir uma re-quantização. 20 No caso de informação espectral baseada em PNS, processamento de valores de energia individuais sem decodificaçâo dos componentes espectrais subjacentes pode ser viável. Adicionalmente, neste caso, pelo processamento apenas do respectivo parâmetro PNS de um componente espectral dominante dos 25 quadros das pluralidades de fluxos de dados de entrada para o componente espectral correspondente do quadro de saida do fluxo de dados de saida ocorre sem introduzir ruido de quantização adicional.

Conforme descrito anteriormente, uma configuração de acordo com a presente invenção pode, também, compreender simplesmente a cópia de uma informação espectral referente a um componente espectral após comparar os quadros da pluralidade de 5 fluxos de dados de entrada e após determinar, com base na comparação, para um componente espectral de um quadro de saida do fluxo de dados de saida, exatamente um fluxo de dados para ser a fonte da informação espectral. O algoritmo de substituição executado na 10 estrutura do módulo psicoacústico 950 examina cada uma das informações espectrais referentes aos componentes espectrais subjacentes (por exemplo, bandas de freqüência) do sinal resultante para identificar componentes espectrais com apenas um único componente ativo. Para estas bandas, os valores quantizados 15 do respectivo fluxo de dados de entrada de fluxo de bits de entrada podem ser copiados a partir do codificador sem recodificação ou re-quantização dos respectivos dados espectrais para o componente espectral especifico. Sob algumas circunstâncias todos os dados quantizados podem ser tomados de um sinal de 20 entrada ativo único para formar o fluxo de bits de saida ou fluxo de dados de saida de modo que - em termos do equipamento 500 - uma codificação sem perda do fluxo de dados de entrada é atingivel.

Além do mais, pode ser tornar possivel omitir etapas de processamento, tais como análise psicoacústica dentro do 25 codificador. Isto permite encurtamento do processo de codificação e, portanto, redução da complexidade computacional visto que, em principio, apenas a cópia dos dados de um fluxo de bits para outro fluxo de bits tem que ser executada sob certas circunstâncias.

Por exemplo, no caso de PNS, uma substituição pode ser executada visto que fatores de ruido da banda codificada de PNS podem ser copiados de um dos fluxos de dados de saida para o fluxo de dados de saida. Substituir componentes espectrais 5 individuais por parâmetros PNS apropriados é possivel, visto que os parâmetros PNS são específicos a componente espectral, ou em outras palavras, para uma aproximação muito boa, independentes entre si. -

Entretanto, pode ocorrer que uma aplicação muito 10 agressiva do algoritmo descrito pode resultar em uma experiência de audição degradada ou em uma redução indesejada na qualidade. Pode, dessa maneira, ser aconselhável limitar a substituição a quadros individuais, ao invés de informação espectral, referindo- se a componentes espectrais individuais. Neste modo de operação, o 15 cálculo de irrelevância ou determinação de irrelevância, assim como análise de substituição, pode ser executado inalterado. Entretanto, uma substituição pode, neste modo de operação, ser executada apenas quando todo ou pelo menos um número significativo de componentes espectrais dentro do quadro ativo for substituível. 20 Embora isto possa conduzir a um número menor de substituições, uma resistência interna da informação espectral pode, em algumas situações, ser melhorada conduzindo ainda a uma qualidade ligeiramente melhorada.

Retornando para mixagem SBR de acordo com uma 25 configuração da presente invenção, deixando fora componentes adicionais e opcionais do equipamento 500 mostrado na Figura 8, os princípios operacionais de SBR e mixagem de dados SBR serão agora ser descritas em maiores detalhes.

Conforme descrito anteriormente, a ferramenta SBR usa QMF (Banco de Filtro de Espelho de Quadratura) que representa uma transformação linear. Como uma conseqüência, não apenas é possivel processar os dados espectrais 610 (cf. Figura 6b) 5 diretamente no dominio espectral, mas também processar os valores de energia associados com cada uma das regiões de tempo/freqüência 630 na parte superior 590 do espectro (cf. Figura 6b). Entretanto, conforme indicado anteriormente, pode ser aconselhável, e em . alguns casos ainda, necessário, primeiramente ajustar as grades de 10 tempo/freqüência envolvidas antes da mixagem.

Embora, em principio seja possivel gerar uma grade de tempo/freqüência completamente nova, a seguir, uma situação será descrita na qual uma grade de tempo/freqüência ocorrendo em uma fonte será usada como a grade de tempo/freqüência 15 do quadro de saida 550. A decisão sobre qual das grades de tempo/freqüência pode ser usada, por exemplo, será baseada em uma consideração psicoacústica. Por exemplo, quando uma das grades compreende transiente, pode ser aconselhável usar uma grade de tempo/freqüência compreendendo esta transiente ou sendo compatível 20 com esta transiente, visto que devido aos efeitos de mascaramento do sistema auditivo humano, artefatos audíveis podem eventualmente serem introduzidos quando se desvia desta grade especifica. No caso, por exemplo, de dois ou mais quadros com transientes serem processados pelo equipamento 500 de acordo com uma configuração da 25 presente invenção, pode ser aconselhável escolher a grade de tempo/freqüência compatível com a mais antiga destas transientes. Novamente, devido aos efeitos de mascaramento, a escolha para a grade contendo o ataque mais antigo pode ser considerações psicoacústicas, uma escolha preferível.

Entretanto, deve ser mencionado que mesmo sob estas circunstâncias, outras grades de tempo/freqüência podem também ser calculadas, ou uma grade diferente pode ser escolhida.

Ao mixar as grades de quadro SBR, é, portanto, em alguns casos, aconselhável analisar e determinar a presença e posição de uma ou mais transientes compreendidas nos quadros 540. Adicionalmente, ou ãlternativamente, isto pode também ser atingido pela avaliação das grades de quadro dos dados SBR de um quadro 10 respectivo 540 e verificando se as próprias grades de quadro são compatíveis com, ou indicam a presença de uma respectiva transiente. Por exemplo, o uso da classe de quadro LD_TRAN, no -caso do codec AAC ELD, pode indicar que uma transiente está presente. Visto que esta classe também compreende a variável 15 TRANSPOSE, também a posição da transiente em termos das fendas de tempo é conhecida para o analisador 640, conforme mostrado na Figura 7.

Entretanto, visto que outra classe de quadro SBR FIXFIX pode ser usada, constelações diferentes podem ocorrer 20 quando gerando a grade de tempo/freqüência do quadro de saída 550. posições transientes iguais podem ocorrer. Se os quadros não compreendem transientes, pode ainda ser possível usar uma estrutura de envelope com um envelope único apenas expandindo o 25 quadro inteiro. Também no caso em que o número de envelopes é idêntico, a estrutura de quadro básica pode ser copiada. Em caso do número de envelopes ser idêntico, a estrutura de quadro básica pode ser copiada. No caso do número de envelopes compreendido em um quadro ser um número inteiro daquele do outro quadro, a distribuição de envelope mais fino pode também ser usada.

Similarmente, quando todos os quadros 540 compreendem transientes na mesma posição, a grade de 5 tempo/freqüência pode ser copiada de qualquer das duas grades.

Quando mixando quadros sem transientes com um envelope único e um quadro com uma transiente, a estrutura de quadro do quadro compreendendo transiente pode ser copiada. Neste caso, pode ser seguramente presumido que nenhuma nova transiente 10 resultará quando fazendo a mixagem dos respectivos dados. É mais provável que apenas a transiente já presente possa ser ampliada ou amortecida.

No caso em que quadros com diferentes posições de transiente estão envolvidos, cada um dos quadros compreende uma 15 transiente em diferentes posições com relação às fendas de tempo subjacentes. Neste caso, uma distribuição adequada baseada nas posições de transiente é desejável. Em muitas situações, a posição da primeira transiente é relevante visto que efeitos pré-eco e outros problemas muito provavelmente serão mascarados pelos 20 efeitos posteriores da primeira transiente. Pode ser adequado nesta situação adaptar a grade de quadro de acordo com a posição da primeira transiente.

Após determinar a distribuição de envelopes com relação aos quadros, a resolução de freqüência dos envelopes 25 individuais pode ser determinada. Como uma resolução do novo envelope, tipicamente a resolução mais alta dos envelopes de entrada será usada. Se, por exemplo, a resolução de um dos envelopes analisados é alta, o quadro de saida também compreende um envelope com uma alta resolução em termos de sua freqüência.

Para ilustrar esta situação com maiores detalhes, especialmente no caso dos quadros de entrada 540-1, 540-2 dos dois fluxos de dados de entrada 510-2, 510-2 compreenderem diferentes 5 freqüências de transição, a Figura 9a e Figura 9b ilustram respectivas representações conforme mostrado na Figura 6a para os dois quadros de entrada 510-1, 540-2, respectivamente. Devido à descrição muito detalhada da Figura 6b, a descrição das Figuras 9a e 9b podem, aqui, ser abreviadas. Além do mais, o quadro 540-1 10 conforme mostrado na Figura 9a é idêntico àquele mostrado na Figura 6b. Ele compreende, conforme previamente descrito, dois envelopes igualmente longos 620-1, 620-2, com uma pluralidade de regiões de tempo/freqüência 630 acima da freqüência de transição 570. 15 O segundo quadro 540-2 conforme mostrado esquematicamente na Figura 9b, com relação a uns poucos aspectos difere do quadro mostrado na Figura 9a. Além do fato de que a grade de quadro compreende três envelopes 620-1, 620-2, e 620-3, que não são igualmente longos, também a resolução de freqüência 20 com relação à região de tempo/freqüência 630 e a freqüência de transição 570 difere daquela mostrada na Figura 9a. No exemplo mostrado na Figura 9b, a freqüência de transição 570 é maior que aquela do quadro 54 0-1 da Figura 9a. Como uma conseqüência, uma parte superior do espectro 590 ê consequentemente maior que aquela 25 do quadro 540-1 mostrado na Figura 9a. O fato de que, baseado na pressuposição de que um codec AAC ELD proveu os quadros 540 conforme mostrado nas Figuras 9a e 9b, a grade de quadro de quadro 540-2 compreende três envelopes não igualmente longos 620 conduz à conclusão que o segundo dos três envelopes 620 compreende uma transiente. Consequentemente, a grade de quadro do segundo quadro 540-2 é, pelo menos com relação a sua distribuição com o tempo, a resolução 5 a ser escolhida para o quadro de saida 550.

Entretanto, conforme a Figura 9c mostra, um desafio adicional surge do fato de que freqüências de transição diferentes 570 são empregadas aqui. Para ser mais especifica, a Figura 9c mostra uma situação de sobreposição na qual os dois 10 quadros 540-1, 540-2, em termos de suas representações de informação espectral 560, foram mostrados juntos, considerando apenas as freqüências de transição 570-1 do primeiro quadro 540, ■ conforme mostrado na Figura 9a (freqüência de transição fxi) e a freqüência de transição mais alta 570-2 do segundo quadro 540-2 15 conforme mostrado na figura 9b (freqüência de transição fx2) r uma faixa de freqüência intermediária 1000 para a qual apenas dados SBR do primeiro quadro 540-1 e para a qual apenas dados espectrais 610 do segundo quadro 540-1 estão disponíveis. Em outras palavras, para componentes espectrais de freqüências dentro da faixa de 20 freqüência intermediária 1000, o procedimento de mixagem se baseia em valores SBR estimados ou dados espectrais estimados, conforme provido pela calculadora 670 mostrada na Figura 7.

Na situação ilustrada na Figura 9c, a faixa de freqüência intermediária 1000, anexada em termos da freqüência 25 pelas duas freqüências de transição 570-1, 570-2 representa a faixa de freqüência na qual a calculadora 670 e a unidade de processamento 520 operam. Nesta faixa de freqüência 1000, dados SBR estão disponíveis apenas do primeiro quadro 540-1, enquanto do segundo quadro 540-2 naquela faixa de freqüência apenas informação espectral ou valores espectrais estão disponíveis. Como uma consequência, dependendo do fato de uma freqüência ou componente espectral da faixa de freqüência intermediária 1000 estar acima ou 5 abaixo da freqüência de transição de saida, tanto um valor SBR quanto um valor espectral deve ser avaliado antes da mixagem do valor calculado com o valor original de um dos quadros 540-1, 540- 2 no dominio SBR estarem no dominio espectral.

A Figura 9d ilustra a situação na qual a 10 freqüência de transição do quadro de saida é igual a menor das duas freqüências de transição 570-1, 570-2. Como uma consequência, a freqüência de transição de saida 570-3 (fxo) é igual a primeira freqüência de transição 570-1 (f:n) , que também limita a parte superior do espectro codificado como sendo duas vezes as 15 freqüências de transição mencionadas anteriormente.

Copiando ou re-determinando a resolução de freqüência da grade de tempo/freqüência baseado na resolução de tempo previamente determinada ou distribuição de envelope da mesma, os dados SBR de saida são determinados na faixa de 20 freqüência intermediária 1000 (cf. Figura 9c) por cálculo dos dados espectrais 610 do segundo quadro 540-2 para estes dados SBR correspondendo a freqüências.

Este cálculo pode ser executado com base nos dados espectrais 610 do segundo quadro 540-2 naquela faixa de 25 freqüência considerando dados SBR para freqüências acima da segunda freqüência de transição 570-2. Isto é baseado na pressuposição de que em termos da resolução de tempo ou distribuição de envelope, freqüências ao redor da segunda freqüência de transição 570-2 são muito provavelmente equivalentemente influenciados. Portanto, o cálculo dos dados SBR na faixa de freqüência intermediária 1000 pode ser obtido, por exemplo, pelo cálculo da melhor resolução de tempo e freqüência 5 descrita por dados SBR, os respectivos valores de energia baseados na informação espectral para cada componente espectral e pela atenuação ou amplificação, cada uma baseada no desenvolvimento de tempo da amplitude conforme indicado pelos envelopes dos dados SBR do segundo quadro 540-2. 10 Posteriormente, pela aplicação de um filtro de suavização ou outra etapa de filtragem, os valores de energia estimados são mapeados nas regiões de tempo/freqüência 630 da grade de tempo/freqüência determinada para o quadro de saida 550.

A solução conforme ilustrado na Figura 9d pode abranger, por 15 exemplo, ser interessante para taxas de bits inferiores. A freqüência de transição SBR mais baixa de todos os fluxos entrando será usada como a freqüência de transição SBR para o quadro de saida e valores de energia SBR serão estimados para a região de freqüência 1000 no intervalo entre o codificador núcleo (operando 20 até a freqüência de transição) e o codificador SBR (operando acima da freqüência de transição) da informação espectral ou coeficientes espectrais. O cálculo pode ser executado com base de uma grande variedade de informação espectral, por exemplo, derivável de coeficientes espectrais MDCT (transformação de co- 25 seno discreta modificada) ou de LDFB (banco de filtro de baixo atraso). Adicionalmente, filtros de suavização podem ser aplicados para fechar o intervalo entre o codificador de núcleo e a parte SBR.

Deve também ser observado que esta solução pode também ser usada para retirar um fluxo de taxa de bits alta, por exemplo, compreendendo 64 kbit/s, para um fluxo de bits inferior compreendendo, por exemplo, apenas 32 kbit/s. Uma situação na qual 5 esta solução pode ser aconselhável de ser implementada é, por exemplo, prover fluxos de bit para participantes com conexões de taxa de dados baixa para a unidade de mixagem, que são, por exemplo, estabelecidos por discagem de modem em conexões ou similares. 10 Outro caso de freqüências de transição diferentes é ilustrado na Figura 9e.

A Figura 9e mostra o caso no qual a mais alta das duas freqüências de transição 570-1, 570-2 é usada como a freqüência de transição de saida 570-3. Dessa maneira, o quadro de 15 saida 550 compreende até a informação espectral de freqüência de transição de saida 610 e acima os dados SBR correspondendo à freqüência de transição de saida até uma freqüência de tipicamente duas vezes a freqüência de transição 570-3. Esta situação, entretanto, faz surgir a questão de como restabelecer os dados 20 espectrais na faixa de freqüência intermediária 1000 (cf. Figura 9c) . Após determinação da resolução de tempo ou distribuição de envelope da grade de tempo/freqüência e após copiar ou determinar pelo menos parcialmente a resolução de freqüência da grade de tempo/freqüência para freqüências acima da freqüência de transição 25 de saida 570-3, baseada nos dados SBR do primeiro quadro 540-1 na faixa de freqüência intermediária 1000, dados espectrais devem ser calculados pela unidade de processamento 520 e pela calculadora 670. Isto pode ser atingido pela reconstrução parcial da informação espectral baseada nos dados SBR para aquela faixa de freqüência 1000 do primeiro quadro 540-1 considerado opcionalmente, embora alguma ou toda informação espectral 610 abaixo da primeira freqüência de transição 570-1 (cf. Figura 9a) . 5 Em outras palavras, o cálculo da informação espectral faltando pode ser atingido por replicação espectral da informação espectral dos dados SBR e da informação espectral correspondente da parte inferior * 580 do espectro pela aplicação do algoritmo de reconstrução do decodificador SBR pelo menos parcialmente a 10 freqüências da faixa de freqüência intermediária 1000.

Após calcular a informação espectral da faixa de freqüência intermediária, por exemplo, pela aplicação de uma decodificação SBR parcial ou reconstrução no dominio de freqüência, a informação espectral calculada resultante pode ser 15 diretamente mixada com a informação espectral do segundo quadro 540-2 no dominio espectral, por exemplo, pela aplicação de uma combinação linear.

A reconstrução ou replicação de informação espectral para freqüências ou componentes especiais acima da 20 freqüência de transição é também referida para sua filtragem inversa. Neste contexto deve ser observado que também harmônicas adicionais e valores de energia de ruido adicionais podem ser considerados quando calculando a informação espectral respectiva para freqüências ou componentes na faixa de freqüência 25 intermediária 1000.

Esta solução pode ser interessante, por exemplo, para participantes sendo conectados ao equipamento 500 ou a uma unidade de mixagem tendo taxas de bits mais altas disponíveis. Um retalho ou algoritmo de cópia pode ser aplicado à informação espectral do dominio espectral, por exemplo, os coeficientes espectrais MDCT ou LDFB, para copiar estes da banda inferior para as bandas superiores para fechar o intervalo entre o codificador 5 núcleo e a parte SBR, que são separados pela respectiva freqüência de transição. Estes coeficientes de cópia são atenuados de acordo com os parâmetros de energia armazenados na carga útil SBR. - Em ambos os cenários conforme descrito nas Figuras 9d e 9e, informação espectral abaixo das freqüências de 10 transição mais baixas pode ser processada no dominio espectral diretamente, enquanto dados SBR estando acima da freqüência de transição mais elevada podem ser processados diretamente no dominio SBR. Para todas as freqüências mais altas acima da mais baixa das freqüências mais elevadas, conforme descrito pelos dados 15 SBR, tipicamente acima duas vezes do valor minimo das freqüências de transição envolvidas, dependendo da freqüência de transição do quadro de saida 550 abordagens diferentes podem ser aplicadas. Em principio, quando usando a mais alta das freqüências de transição envolvidas como a freqüência de transição de saida 570-3 conforme 20 ilustrado na Figura 9e, os dados SBR para a freqüência mais alta são principalmente baseados nos dados SBR do segundo quadro 540-2 apenas. Como uma opção adicional, estes valores podem ser atenuados por um fator de normalização ou fator de amortecimento aplicado na estrutura de combinação linear dos valores de energia 25 SBR para as freqüências abaixo daquela freqüência de transição. Na situação conforme ilustrado na Figura 9d, quando a mais baixa das freqüências de transição disponíveis é utilizada como a freqüência de transição de saida, os respectivos dados SBR do segundo quadro 540-2 podem ser desconsiderados.

Naturalmente, deve ser observado que configurações de acordo com a presente invenção não são, de longe, limitadas apenas a dois fluxos de dados de entrada que podem 5 facilmente ser estendidos a uma pluralidade de fluxos de dados de entrada compreendendo mais que dois fluxos de dados de entrada. Neste caso, as abordagens descritas podem facilmente ser aplicadas a diferentes fluxos de dados de entrada dependendo da freqüência de transição real usada em vista daquele fluxo de dados de 10 entrada. Quando, por exemplo, a freqüência de transição deste fluxo de dados de entrada é de um quadro compreendido pelo fluxo de dados de entrada ser mais alto que a freqüência de transição de saida do quadro de saida 550, os algoritmos conforme descrito no contexto da Figura 9d podem ser aplicados. Do contrário, quando a 15 freqüência de transição correspondente é menor, os algoritmos e processos descritos no contexto com a Figura 9e podem ser aplicados a este fluxo de dados de entrada. A mixagem real dos dados SBR ou a informação espectral no sentido de que mais que dois dos respectivos dados são somados. 20 Além do mais, deve ser observado que a freqüência de transição de saida 570-3 pode ser escolhida arbitrariamente. É, de longe, desnecessário ser idêntica a qualquer das freqüências de transição dos fluxos de dados de entrada. Por exemplo, na situação conforme descrito no contexto das Figuras 9d e 9e, a freqüência de 25 transição poderia também ficar entre, abaixo ou acima de ambas as freqüências de transição 570-1, 5702 dos fluxos de dados de entrada 510. No caso, a freqüência de transição do quadro de saida implementar todos os algoritmos descritos acima em termos de calculo de dados espectrais, assim como dados SBR.

Por outro lado, algumas configurações de acordo com a presente invenção podem ser implementadas de modo que sempre 5 a freqüência de transição mais baixa ou sempre a mais alta é usada. Neste caso, pode ser desnecessário implementar a funcionalidade total conforme descrito acima. Por exemplo, no caso em que sempre a freqüência de transição mais baixa é empregada, a calculadora 670 é tipicamente dispensada de calcular informação 10 espectral, mas apenas dados SBR. Dessa maneira, a funcionalidade de calcular dados espectrais pode, eventualmente, ser evitada aqui. Do contrário, no caso em que uma configuração de acordo com a presente invenção é implementada de modo que sempre a freqüência de transição de saida mais alta é empregada, a funcionalidade da 15 calculadora 670 de ser capaz de calcular dados SBR pode não ser necessária e, assim, pode ser omitida.

Configurações de acordo com a presente invenção podem compreender ainda componentes de downmix de multicanais ou upmix de multicanais, por exemplo, componentes de downmix estéreo 20 ou upmix estéreo no caso em que alguns participantes podem enviar fluxos estéreo ou de outros multicanais e alguns fluxos apenas mono. Neste caso, um upmix ou downmix correspondente em termos do número de canais, compreendido nos fluxos de dados de entrada, pode ser aconselhável implementar. Pode ser aconselhável processar 25 alguns dos fluxos por upmix ou downmix para prover fluxos de bits mixados correspondendo aos parâmetros dos fluxos de entrada. Isto pode significar que o participante que envia um fluxo mono pode consequência, dados de áudio estéreo ou de outros multicanais de outros participantes podem ter que ser convertidos em um fluxo mono ou o inverso.

Dependendo das restrições de implementação e de 5 outras condições limites isto pode, por exemplo, ser obtido pela implementação de uma pluralidade de equipamentos de acordo com uma configuração da presente invenção ou processar todos os fluxos de dados_de entrada com base em um equipamento único, onde os fluxos de dados de entrada passem por downmix ou upmix antes do 10 processamento pelo equipamento e downmix ou upmix após o processamento para corresponder aos requisitos do terminal do participante.

SBR permite .também dois modos de codificação canais estéreo. Um modo de operação trata os canais esquerdo e 15 direito (LR) separadamente, enquanto um segundo modo de operação opera em um canal acoplado (C) . Para mixagem de um elemento codificado LR ou codificado C, tanto o elemento codificado LR tem que ser mapeado para um elemento C quanto o contrário deve ser efetuado. A decisão real, sobre qual método de codificação deve 20 ser usado, pode ser pré-definida ou pode ser feita considerando as condições, tal como consumo de energia, computação e complexidade e similares, ou ela pode ser baseada em um cálculo psicoacústico em termos de relevância de um tratamento separado.

Conforme indicado anteriormente, mixagem de dados 25 relacionados com energia SBR reais pode ser efetuada no dominio

SBR por uma combinação linear dos respectivos valores de energia.

Isto pode ser obtido de acordo com a equação

onde ak é um fator de ponderação, Ek(n) é o valor de energia de fluxo de dados de entrada k, correspondendo a uma posição na grade de tempo/freqüência indicada por n. E(n) é o 5 valor de energia SBR correspondendo ao mesmo indice n. N é o número de fluxos de dados de entrada e, no exemplo mostrado nas Figuras 9a e 9e, é igual a 2. . «

Os coeficientes ak podem ser usados para executar uma normalização assim como ponderação com relação a cada região 10 de tempo/freqüência 630 do quadro de saida 550 e as regiões de tempo/freqüência correspondentes 630 do respectivo quadro 450 de sobreposição. Por exemplo, no caso das duas regiões de tempo/freqüência 630 do quadro de saida 550 e do respectivo quadro de entrada 540 tendo uma sobreposição entre si em uma extensão de 15 50% no sentido de que 50% da região de tempo/freqüência 630 sob consideração do quadro de saida 550 ser constituída pela região de tempo/freqüência correspondente 630 do quadro de entrada 540, o valor de 0,5 (= 50%) pode ser multiplicado com um fator de ganho geral indicando a relevância do respectivo fluxo de entrada de 20 áudio e do quadro de entrada 540 compreendido no mesmo.

Para colocar em termos mais gerais, cada um dos coeficientes ak pode ser definido de acordo com

onde rik é o valor indicando a região de 25 sobreposição das duas regiões de tempo/freqüência 630 i e k do quadro de entrada 540 e do quadro de saida 550, respectivamente. M é o número de todas as regiões de tempo/freqüência 630 do quadro de entrada 540 e g um fator de normalização global, que pode, por exemplo, ser igual a 1/N para impedir que o resultado do processo de mixagem sobrecarregue ou seja insuficiente a uma faixa 5 permitida de valores. Os coeficientes rlk podem estar na faixa entre 0 e 1, onde 0 indica que duas regiões de tempo/freqüência 630 não se sobrepõem e um valor de 1 indica que a região de tempo/freqüência 630 do quadro de entrada 540 seja completamente compreendido na respectiva região de tempo/freqüência 630 do 10 quadro de saida 550.

Entretanto, pode também ocorrer que as grades de quadro dos quadros de entrada 540 sejam iguais. Neste caso, as grades de quadro podem ser copiadas de um dos quadros de entrada 540 para o quadro de saida 550. Conseqüentemente, mixagem dos 15 valores de energia SBR relevantes pode ser executada muito facilmente. Os valores de freqüência correspondentes podem ser adicionados neste caso similares a mixagem de informação espectral correspondente (por exemplo, valores MDCT) pela adição e normalização dos valores de saida. 20 Entretanto, visto que o número de regiões de tempo/freqüência 630 em termos da freqüência pode mudar dependendo da resolução do respectivo envelope, pode ser aconselhável implementar um mapeamento de um envelope baixo para um envelope alto e vice-versa. 25 A Figura 10 ilustra isto para o exemplo de oito regiões de tempo/freqüência 630-1 e um envelope alto compreendendo 16 regiões de tempo/freqüência correspondentes 630-h. Conforme descrito anteriormente, um envelope de baixa resolução tipicamente compreende apenas metade do número de dados de freqüência quando comparado com um envelope de alta resolução, uma correspondência simples pode ser estabelecida conforme ilustrado na Figura 10. Quando mapeando o envelope de baixa resolução para um envelope de 5 alta resolução, cada uma das regiões de tempo/freqüência 630-1 do envelope de baixa resolução são mapeadas para duas regiões de tempo/freqüência correspondentes 630-h de um envelope de alta resolução. *

Dependendo de uma situação concreta, por exemplo, 10 em termos de normalização, empregando um fator adicional de 0,5 pode ser aconselhável para impedir uma sobrecarga dos valores de energia SBR mixados. No caso do mapeamento ser feito inversamente, duas regiões de tempo/freqüência vizinhas 630-h podem ter a média feita pela determinação do valor médio aritmético para obter uma 15 região de tempo/freqüência 630-1 de um envelope de baixa resolução.

Em outras palavras, na primeira situação com relação à equação (7) , os fatores rik são tanto 0 quanto 1, enquanto o fator g é igual a 0,5, no segundo caso o fator g pode 20 ser definido como 1 enquanto o fator riJc pode ser tanto 0 quanto 0,5.

Entretanto, o fator g pode ter que ser modificado adicionalmente pela inclusão de um fator de normalização adicional considerando o número de fluxos de dados de entrada a ser mixado. 25 Para mixar os valores de energia de todos os sinais de entrada, os mesmos são adicionados e opcionalmente multiplicados com um fator de normalização aplicado durante o procedimento de mixagem espectral. Esta normalização adicional pode, eventualmente também ter que ser considerada, quando determinando o fator g na equação (7) . Como uma consequência, isto pode eventualmente garantir que os fatores de escala dos coeficientes espectrais do codec base correspondam à faixa permitida de valores dos valores de energia 5 SBR.

Configurações de acordo com a presente invenção podem, naturalmente, diferir com relação a suas implementações. Embora nas configurações precedèntes, uma decodificação e codificação de Huffman foram descritas como um esquema de 10 codificação de entropia única, também outros esquemas de codificação de entropia podem ser usados. Além do mais, implementar um codificador de entropia ou um decodificador de entropia é, na verdade, desnecessário. Consequentemente, embora a descrição das configurações anteriores tenham sido focadas 15 principalmente no codec ACC-ELD, também outros codecs podem ser usados para prover os fluxos de dados de entrada e para decodificação do fluxo de dados de saida no lado do participante. Por exemplo, qualquer codec sendo baseado, por exemplo, em uma janela única sem comutação de comprimento de bloco pode ser 20 empregada.

Como a descrição precedente da configuração mostrada na Figura 8 demonstrou também, os módulos descritos na mesma não são obrigatórios. Por exemplo, um equipamento de acordo com uma configuração da presente invenção pode simplesmente ser 25 projetado pela operação da informação espectral dos quadros.

Deve ser adicionalmente observado que configurações de acordo com a presente invenção podem ser executadas de maneira bastante diferentes. Por exemplo, um equipamento 500 para mixagem de uma pluralidade de fluxos de dados de entrada e sua unidade de processamento 520 podem ser construídos com base em dispositivos elétricos e eletrônicos discretos, tais como resistores, transistores, indutores, e 5 similares. Além do mais, configurações de acordo com a presente invenção podem também ser construídas com base apenas em circuitos integrados, por exemplo, na forma de SOCs (SOC = sistema no chip), processadores, tais como CPUs. (CPU = unidade de processamento central) , GPU (GPU = unidade de processamento gráfico), e outros 10 circuitos integrados (IC) tais como circuitos integrados específicos para a aplicação (ASIC).

Deve também ser observado que dispositivos elétricos sendo parte da implementação discreta ou sendo parte de um circuito integrado podem ser usados para diferentes objetivos e 15 diferentes funções em toda a implementação de um equipamento de acordo com uma configuração da presente invenção. Naturalmente, também, uma combinação de circuitos baseada em circuitos integrados e circuitos discretos pode ser usada para implementar uma configuração de acordo com a presente invenção. 20 Baseado em um processador, configurações de acordo com a presente invenção podem também ser implementadas com base em um programa de computador, um programa de software, ou um programa que é executado em um processador.

Em outras palavras, dependendo de certos 25 requisitos de implementação de configurações de métodos inventivos, configurações dos métodos inventivos podem ser implementadas em hardware e software. A implementação pode ser executada usando um meio de armazenagem digital, em especial um disco, um CD ou um DVD tendo sinais eletronicamente legíveis armazenados nos mesmos que cooperam com um computador programável ou processador, de modo que uma configuração do método inventivo seja executada. De forma geral, uma configuração da presente 5 invenção é, portanto, um produto de programa de computador com um código de programa armazenado em um veículo legível por máquina, o código de programa sendo operacional para executar uma configuração do método inventivo quando o produto de programa de computador opera em um computador ou processador. Em ainda outras 10 palavras, configurações dos métodos inventivos são, portanto, um programa de computador tendo um código de programa para executar pelo menos uma das configurações dos métodos inventivos, quando o programa de computador opera em um computador ou processador. Um processador pode ser formado por um computador, um cartão de chip, 15 um "smart card", um circuito integrado específico para a aplicação, um sistema no chip (SOC), ou um circuito integrado (IC) . Lista de Sinais de Referência 100 Sistema de Conferência 20 110 Entrada 120 Decodificador 130 Somador 140 Codificador 150 Saída 25 160 Terminal de Conferência 170 Codificador 180 Decodificador 190 Conversor de tempo/frequência  200 Quanti zador/codificador 210 Decodificador/desquantizador 220 Conversor de tempo/freqüência 250 Fluxo de dados 5 260 Quadro 270 Blocos de outras informações 300 Frequência 310 Banda de frequência 500 Equipamento ® 10 510 Fluxo de dados de entrada 520 Unidade de processamento 530 Fluxo de dados de saida 540 Quadro 550 Quadro de saida 15 560 Representação de informações espectrais 570 Frequência de transição 580 Parte inferior do espectro 590 Parte superior do espectro • 600 linha 20 610 Dados espectrais 620 Envelope 630 Região de tempo/freqüência 640 Analisador 650 Mixer espectral 25 660 Mixer SBR 670 Calculadora 680 Mixer 700 Decodificador de fluxo de bits 710 Leitora de fluxo de bits 720 Codificador de Huffman 730 Desquanti zador 740 Escalador 5 750 Primeira unidade 760 Segunda unidade 770 Decodificador estéreo 780 Decodificador PNS 790 Decodificador TNS ® 10 800 Unidade de mixagem 810 Mixer espectral 820 Módulo de otimização 830 Mixer SBR ' 850 Codificador de fluxo de bits 15 860 Terceira unidade 870 Codificador TNS 880 Codificador PNS 890 Codificador estéreo • 900 Quarta unidade 20 910 Escalador 920 Quantizador 930 Codificador de Huffman 940 Gravador de fluxo de bits 950 Módulo psicoacústico 25 1000 Faixa de frequência intermediária

Claims (15)

1. Aparelho para misturar um primeiro quadro de um primeiro fluxo de dados de entrada e um segundo quadro de um segundo fluxo de dados de entrada para adquirir um quadro de saída de um fluxo de dados de saída, em que o primeiro quadro compreende primeiros dados espectrais que descrevem uma parte inferior de um primeiro espectro de um primeiro sinal de áudio até uma primeira frequência de cruzamento e primeiros dados de replicação de banda espectral que descrevem uma parte superior do primeiro espectro a partir da primeira frequência de cruzamento, em que o segundo quadro compreende segundos dados espectrais que descrevem uma parte inferior de um segundo espectro de um segundo sinal de áudio até uma segunda frequência de cruzamento e segundo dados SBR que descrevem uma parte mais alta do segundo espectro a partir da segunda frequência de cruzamento, em que o primeiro e o segundo dados SBR descrevem os respectivos partes mais altas do primeiro e do segundo espectro por meio de valores relacionados à energia em resoluções de grade de tempo / frequência e em que a primeira frequência de cruzamento é diferente da segunda equidade, o aparelho caracterizado pelo fato de que compreende: uma unidade de processamento adaptada para gerar o quadro de saída, o quadro de saída compreendendo dados espectrais de saída que descrevem uma parte inferior de um espectro de saída até uma frequência de cruzamento de saída e o quadro de saída compreendendo ainda dados SBR de saída que descrevem uma parte mais alta da saída espectro acima da frequência de cruzamento de saída através de valores relacionados à energia numa resolução da grade de tempo / frequência de saída, em que a unidade de processamento é adaptada de modo que os dados espectrais de saída correspondentes às frequências abaixo de um valor mínimo da primeira frequência de cruzamento, a segunda frequência de cruzamento e a frequência de cruzamento de saída sejam gerados em um domínio espectral com base no primeiro e segundo dados espectrais; em que a unidade de processamento é ainda adaptada de modo que os dados SBR de saída correspondentes às frequências acima de um valor máximo da primeira frequência de cruzamento, a segunda frequência de cruzamento e a frequência de cruzamento de saída sejam processados em um domínio SBR com base no primeiro e no segundo dados SBR;e em que a unidade de processamento é ainda adaptada de modo que, para uma região de frequência entre o valor mínimo e o valor máximo, seja estimado pelo menos um valor SBR de pelo menos um de um primeiro e segundo dados espectrais e um valor SBR correspondente da saída Os dados SBR são gerados, com base no mínimo no valor estimado de SBR.

2. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento é adaptada para estimar pelo menos um valor de SBR com base em um valor espectral correspondente a um componente de frequência correspondente ao valor de SBR a ser estimado.

3. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento é adaptada para determinar a frequência de cruzamento de saída para ser a primeira frequência de cruzamento ou a segunda frequência de cruzamento.

4. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento é adaptada para definir a frequência de cruzamento de saída para a frequência de cruzamento mais baixa de uma primeira e segunda frequência de cruzamento, ou para definir a frequência de cruzamento para saída para a mais alta da primeira e da segunda frequências de cruzamento.

5. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento é adaptada para determinar a resolução da grade de tempo / frequência de saída para ser compatível com a posição transitória de um transiente indicado pela resolução da grade de tempo / frequência do primeiro ou do segundo quadro.

6. Aparelho, de acordo com a reivindicação 5, caracterizado pelo fato de que a unidade de processamento é adaptada para definir a resolução da grade de tempo / frequência para ser compatível com um transiente anterior indicado pelas resoluções da grade de tempo / frequência dos primeiro e segundo quadros, quando o tempo / As resoluções da grade de frequência dos primeiro e segundo quadros indicam a presença de mais de um transitório.

7. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento é adaptada para enviar dados espectrais ou para enviar dados SBR com base em uma combinação linear no domínio de frequência SBR ou no domínio SBR.

8. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento é adaptada para gerar os dados SBR de saída compreendendo dados SBR relacionados a senoides com base em uma combinação linear de dados SBR relacionados a senoide dos primeiro e segundo quadros.

9. Aparelho, de acordo com a reivindicação 8, caracterizado pelo fato de que a unidade de processamento é adaptada para compreender os dados SBR relacionados a sinusóides ou relacionados ao ruído com base em uma estimativa psicoacústica da relevância dos dados SBR respectivos dos primeiro e segundo quadros.

10. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento é adaptada para gerar os dados SBR de saída compreendendo dados SBR relacionados ao ruído com base em uma combinação linear de dados SBR relacionados ao ruído dos primeiro e segundo quadros.

11. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento é adaptada para gerar os dados SBR de saída com base em uma filtragem de suavização.

12. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que o aparelho é adaptado para processar uma pluralidade de fluxos de dados de entrada, a pluralidade de fluxos de dados de entrada compreendendo mais de dois fluxos de dados de entrada, em que a pluralidade de fluxos de dados de entrada compreende a primeira e a segunda entrada fluxos de dados.

13. Aparelho para misturar um primeiro quadro de um primeiro fluxo de dados de entrada e um segundo quadro de um segundo fluxo de dados de entrada para adquirir um quadro de saída de um fluxo de dados de saída, em que o primeiro quadro compreende primeiros dados espectrais que descrevem uma parte inferior de um primeiro espectro de um primeiro sinal de áudio até uma primeira frequência de cruzamento e primeiros dados de replicação de banda espectral que descrevem uma parte superior do primeiro espectro a partir da primeira frequência de cruzamento, em que o segundo quadro compreende segundos dados espectrais que descrevem uma parte inferior de um segundo espectro de um segundo sinal de áudio até uma segunda frequência de cruzamento e segundo dados SBR que descrevem uma parte mais alta do segundo espectro a partir da segunda frequência de cruzamento, em que o primeiro e o segundo dados SBR descrevem os respectivos partes mais altas do primeiro e do segundo espectro por meio de valores relacionados à energia em resoluções de grade de tempo / frequência e em que a primeira frequência de cruzamento é diferente da segunda frequência de passagem, o aparelho caracterizado pelo fato de que compreende: uma unidade de processamento adaptada para gerar o quadro de saída, o quadro de saída compreendendo dados espectrais de saída que descrevem uma parte inferior de um espectro de saída até uma frequência de cruzamento de saída e o quadro de saída compreendendo ainda dados SBR de saída que descrevem uma parte mais alta da saída espectro acima da frequência de cruzamento de saída através de valores relacionados à energia numa resolução da grade de tempo / frequência de saída, em que a unidade de processamento é adaptada de modo que os dados espectrais de saída correspondentes às frequências abaixo de um valor mínimo da primeira frequência de cruzamento, a segunda frequência de cruzamento e a frequência de cruzamento de saída sejam gerados em um domínio espectral com base no primeiro e segundo dados espectrais; em que a unidade de processamento é ainda adaptada de modo que os dados SBR de saída correspondentes às frequências acima de um valor máximo da primeira frequência de cruzamento, a segunda frequência de cruzamento e a frequência de cruzamento de saída sejam processados em um domínio SBR com base no primeiro e no segundo dados SBR;e em que o aparelho é ainda adaptado de modo que, para uma região de frequência entre o valor mínimo e o valor máximo, pelo menos um valor espectral de pelo menos um dos primeiro e segundo quadros seja estimado com base nos dados SBR do respectivo quadro, e um valor espectral correspondente dos dados espectrais de saída é gerado com base em pelo menos o valor espectral estimado processando o mesmo no domínio espectral.

14. Aparelho, de acordo com a reivindicação 13, caracterizado pelo fato de que a unidade de processamento é adaptada para estimar pelo menos um valor espectral com base na reconstrução de pelo menos um valor espectral para um componente espectral com base nos dados SBR e nos dados espectrais da parte inferior de o respectivo espectro do respectivo quadro.

15. Método para misturar um primeiro quadro de um primeiro fluxo de dados de entrada e um segundo quadro de um segundo fluxo de dados de entrada para adquirir um quadro de saída de um fluxo de dados de saída, em que o primeiro quadro compreende primeiros dados espectrais que descrevem uma parte inferior de um espectro de um primeiro sinal de áudio até um primeiro dado de frequência de cruzamento e primeira replicação de banda espectral que descreve uma parte mais alta dos espectros a partir da primeira frequência de cruzamento, em que o segundo quadro compreende segundos dados espectrais que descrevem uma parte inferior de um segundo espectro de um segundo sinal de áudio até uma segunda frequência de cruzamento e segundo dados SBR que descrevem uma parte superior de um segundo espectro a partir da segunda frequência de cruzamento, em que o primeiro e o segundo dados SBR descrevem as respectivas partes superiores dos respectivos espectros por meio de valores relacionados à energia em resoluções de grade de tempo / frequência e em que a primeira frequência de cruzamento é diferente da segunda frequência de cruzamento, caracterizado por ser composta: gerar o quadro de saída compreendendo dados espectrais de saída que descrevem uma parte inferior de um espectro de saída até uma frequência de cruzamento de saída e o quadro de saída compreendendo ainda dados SBR de saída que descrevem uma parte mais alta do espectro de saída acima da frequência de cruzamento de saída por modo de valores relacionados à energia em uma resolução de grade de tempo / frequência de saída; gerar dados espectrais correspondentes a frequências abaixo de um valor mínimo da primeira frequência de cruzamento, a segunda frequência de cruzamento e uma frequência de cruzamento de saída em um domínio espectral com base no primeiro e no segundo dados espectrais; gerar dados SBR de saída correspondentes a frequências acima de um valor máximo da primeira frequência de cruzamento, a segunda frequência de cruzamento e a frequência de cruzamento de saída em um domínio SBR com base no primeiro e no segundo dados SBR; e estimar pelo menos um valor SBR a partir de pelo menos um dos primeiro e segundo dados espectrais para uma frequência em uma região de frequência entre o valor mínimo e o valor máximo e gerar um valor SBR correspondente para os dados SBR de saída, com base em pelo menos o valor estimado de SBR; ou estimar pelo menos um valor espectral a partir de pelo menos um dos primeiro e segundo quadros com base nos dados SBR do respectivo quadro para uma frequência em uma região de frequência entre o valor mínimo e o valor máximo e gerar um valor espectral da saída espectral dados com base em pelo menos o valor espectral estimado, processando o mesmo no domínio espectral.

Images