BRPI0710923A2 - métodos e aparelhagens para codificação e decodificação de sinais de áudio orientados a objeto - Google Patents

métodos e aparelhagens para codificação e decodificação de sinais de áudio orientados a objeto Download PDF

Info

Publication number
BRPI0710923A2
BRPI0710923A2 BRPI0710923-7A BRPI0710923A BRPI0710923A2 BR PI0710923 A2 BRPI0710923 A2 BR PI0710923A2 BR PI0710923 A BRPI0710923 A BR PI0710923A BR PI0710923 A2 BRPI0710923 A2 BR PI0710923A2
Authority
BR
Brazil
Prior art keywords
information
signal
channel
audio decoding
audio
Prior art date
Application number
BRPI0710923-7A
Other languages
English (en)
Inventor
Sung Yong Yoon
Hee Suk Pang
Hyun Kook Lee
Dong Soo Kim
Jae Hyun Lim
Original Assignee
Lg Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lg Electronics Inc filed Critical Lg Electronics Inc
Publication of BRPI0710923A2 publication Critical patent/BRPI0710923A2/pt

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

MéTODOS E APARELHAGENS PARA CODIFICAçãO E DECODIFICAçãO DE SINAIS DE áUDIO ORIENTADOS A OBJETO é fornecido um método e aparelhagem de codificação de áudio e um método e aparelhagem de decodificação de áudio aonde os sinais de áudio podem ser codificados ou decodificados de modo que as imagens sonoras possam ser localizadas em qualquer posição desejada para cada sinal de áudio de objeto. O método de decodificação de áudio inclui a extração de um sinal rebaixado e a informação paralela orientada a objeto a partir de um sinal de áudio de entrada; gerando informação de renderização com base na entrada do dado de controle; e gerando informação espacial com base na informação de renderização e na informação paralela orientada a objeto.

Description

"MÉTODOS E APARELHAGENS PARA CODIFICAÇÃO E DECODIFICAÇÃO DESINAIS DE ÁUDIO ORIENTADOS A OBJETO"
Campo Técnico
O método de decodificação de sinal de áudio inclui a extração de um sinalrebaixado e informação paralela orientada a objeto a partir de um sinal de áudio; a geraçãode um sinal rebaixado modificado orientado no sinal rebaixado e da informação extraída, aqual é extraída a partir da informação paralela orientada a objeto; a geração de informaçãoparalela orientada a canal com base na informação paralela orientada a objeto e o controlede dados para renderização do sinal rebaixado; e a geração de um sinal de áudio demúltiplos canais com base no sinal rebaixado modificado e na informação paralela orientadaa canal.
Estado da Técnica
Em regra, nas técnicas de codificação e decodificação de áudio de canais múltiplos,uma quantidade de sinais de canais de um sinal de múltiplos canais é rebaixada para menossinais de canais, a informação paralela com respeito aos sinais do canal original étransmitida, e restabelece-se um sinal de múltiplos canais apresentando tantos canaisquanto o sinal de múltiplos canais original.
As técnicas de codificação e decodificação de áudio orientado a objeto sãobasicamente semelhantes às técnicas de codificação e decodificação de áudio paramúltiplos canais em termos de rebaixamento de várias fontes sonoras para menos fontes desinais sonoros e da transmissão da informação paralela com respeito às fontes sonorasoriginais. Contudo, nas técnicas de codificação e decodificação de áudio orientado a objeto,os sinais objeto, que compreendem os elementos básicos (ou seja, a sonoridade de uminstrumento musical ou o som da voz humana) de um sinal de canal, são tratados da mesmamaneira como para os sinais de canal em técnicas de codificação e decodificação de áudiopara múltiplos canais e podem assim serem codificados.
Em outras palavras, nas técnicas de codificação e decodificação de áudio orientadoa objeto, cada sinal de objeto é correlacionado junto à entidade a ser codificada. A esserespeito, as técnicas de codificação e decodificação de áudio orientado a objetoapresentam-se diferentes das técnicas de codificação e decodificação para múltiplos canaisem que se realiza uma operação de codificação de áudio para múltiplos canaissimplesmente com base na informação entre canais a despeito da quantidade de elementosa serem codificados de um sinal de canal.
Descrição da Invenção
Problema Técnico
A presente invenção proporciona um método e aparelhagem para codificação deáudio em que os sinais de áudio podem ser codificados ou decodificados de modo que asimagens sonoras possam se apresentar localizadas em qualquer posição desejada paracada sinal de áudio de objeto.
Solução Técnica
De acordo com um aspecto da presente invenção, é fornecido um método dedecodificação de áudio incluindo a extração de um sinal de rebaixamento e informaçãoparalela orientada a objeto a partir de um sinal de áudio de entrada; a geração deinformação de renderização com base nos dados de controle de entrada; e geração deinformação espacial com base na informação de renderização e na informação paralelaorientada a objeto.
De acordo com outro aspecto da presente invenção, é fornecida uma aparelhagemde decodificação de áudio incluindo um demultiplexador que extrai um sinal rebaixado e ainformação paralela orientada a objeto a partir de um sinal de áudio de entrada; umcomponente de renderização que gera informação de renderização com base no dado decontrole de entrada; e um transcodificador que gera informação espacial com base nainformação de renderização e na informação paralela orientada a objeto.
De acordo com um aspecto da presente invenção é fornecida uma mídia degravação fixa apresentando gravada na mesma um programa computacional para execuçãode um método de decodificação de áudio, o método de decodificação de áudio incluindo aextração de um sinal de rebaixamento e a informação paralela orientada a objeto a partir deum sinal de áudio de entrada; a geração de informação de renderização com base nosdados de controle de entrada; e geração de informação espacial com base na informação derenderização e na informação paralela orientada a objeto.
Conseqüências Vantajosas
São fornecidos um método e aparelhagem para codificação de áudio e um métodoe aparelhagem para decodificação de áudio em que os sinais de áudio podem sercodificados ou decodificados de modo que as imagens sonoras possam se apresentarlocalizadas em qualquer posição desejada para cada sinal de áudio de objeto.
Breve Descrição dos Desenhos
A presente invenção irá se tornar mais plenamente compreendida a partir dadescrição detalhada fornecida adiante e através dos desenhos de acompanhamento, quesão fornecidos somente para fins ilustrativos, e não pretendem limitar a presente invenção,em que:
a Figura 1 compreende de um diagrama de blocos de um típico sistema decodificação/decodificação de áudio orientado a objeto;
a Figura 2 compreende um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma primeira modalidade da presente invenção;
a Figura 3 compreende um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma segunda modalidadé da presente invenção;
a Figura 4 compreende um gráfico explicando a influência de uma diferença deamplitude e um diferença de tempo, que são independentes entre si, na localização deimagens sonoras;
a Figura 5 compreende um gráfico de funções com respeito a correlação entre asdiferenças em amplitude e as diferenças temporais que são necessárias para localizaçãodas imagens sonoras em uma posição pré-determinada;
a Figura 6 ilustra o formato do dado de controle incluindo informação harmônica;
a Figura 7 representa um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma terceira modalidade da presente invenção;
a Figura 8 compreende de um diagrama de blocos de um módulo rebaixado deganhos artísticos (ADG) que pode ser utilizado na aparelhagem de decodificação de áudio,ilustrada na Figura 7;
a Figura 9 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma quarta modalidade da presente invenção;
a Figura 10 representa um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma quinta modalidade da presente invenção;
a Figura 11 representa um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma sexta modalidade da presente invenção;
a Figura 12 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma sétima modalidade da presente invenção;
a Figura 13 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma oitava modalidade da presente invenção;
a Figura 14 compreende de um diagrama para explicação da aplicação deinformação tri-dimensional (3D) junto a um quadro através da aparelhagem de decodificaçãode áudio, ilustrada na Figura 13;
a Figura 15 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com uma nona modalidade da presente invenção;
a Figura 16 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio de acordo com a décima modalidade da presente invenção;
as Figuras de 17 a 19 são diagramas que explicam um método de decodificação deáudio de acordo com uma modalidade da presente invenção; e
a Figura 20 compreende de um diagrama de blocos de uma aparelhagem decodificação de áudio de acordo com uma modalidade da presente invenção.
Melhor Modo de Condução da Invenção
A presente invenção será descrita a seguir em detalhes com referência aosdesenhos de acompanhamento aonde são mostradas as modalidades exemplares dainvenção.
Um método e aparelhagem de codificação de áudio e um método e aparelhagempara decodificação de áudio de acordo com a presente invenção podem ser aplicados juntoa operações de processamento de áudio orientadas a objeto, mas a presente invenção nãose restringe a esta finalidade. Em outras palavras, o método e aparelhagem de codificaçãode áudio e o método e aparelhagem de decodificação de áudio podem ser aplicados junto avárias operações de processamento de sinal diferentes daquelas operações de processamento de áudio orientadas a objeto.
A Figura 1 representa um diagrama de blocos de um típico sistema decodificação/decodificação de áudio orientado a objeto. Em regra, a entrada de sinais deáudio junto a uma aparelhagem de codificação de áudio orientada a objeto não correspondeaos canais de um sinal de canais múltiplos, mas compreende sinais independentes deobjeto. A este respeito, uma aparelhagem de codificação de áudio orientada a objeto édiferenciada de uma aparelhagem de codificação de áudio de canais múltiplos aonde sãointroduzidos os sinais de canais de um sinal de múltiplos canais.
Por exemplo, os sinais de canais, tais como um sinal frontal do canal esquerdo eum sinal frontal do canal direito de um sinal de canal em formato 5,1 podem ser introduzidosjunto a um sinal de áudio de múltiplos canais, em que os sinais de áudio de objeto, taiscomo a voz humana ou o som de um instrumento musical (por exp., o som de um violino ouum piano) que compreendem entidades menores do que os sinais de canais, podem serintroduzidos junto a uma aparelhagem de codificação de áudio orientada a objeto.
Com referência a Figura 1, um sistema de codificação/decodificação de áudioorientado a objeto inclui uma aparelhagem de codificação de áudio orientada a objeto e umaaparelhagem de decodificação de áudio orientada a objeto. A aparelhagem de codificaçãode áudio orientada a objeto inclui um codificador de objeto 100, e a aparelhagem dedecodificação de áudio orientada a objeto inclui um decodificador de objeto 111 e umcomponente de renderização 113.
O codificador de objeto 100 recebe N sinais de áudio de objeto, e gera um sinalrebaixado orientado a objeto com um ou mais canais e informação paralela incluindo umaquantidade de peças de informação extraídas de N sinais de áudio de objeto, tal como,diferença de energia, diferença de fase, e valor de correlação. A informação paralela e osinal rebaixado orientado a objeto são incorporados em um único fluxo de bits, e o fluxo debits é transmitido para a aparelhagem de decodificação orientada a objeto.
A informação paralela pode incluir um sinalizador indicando se deve desempenhara codificação de áudio orientado a canal ou a codificação de áudio orientado a objeto, eassim, podendo determinar se deve desempenhar a codificação de áudio orientado a canalou a codificação de áudio orientado a objeto no sinalizador da informação paralela. Ainformação paralela pode incluir também informação de invólucro, informação deagrupamento, informação de período silencioso, e informação de retardo com referência aossinais de objeto. A informação paralela pode incluir também informação de diferenças denível de objeto, informação de correlação cruzada entre objetos, informação rebaixada deganho, informação de diferenças de nível de canal rebaixado, e informação da energiaabsoluta de objeto.
O decodificador de objeto 111 recebe o sinal rebaixado orientado a objeto e ainformação paralela a partir da aparelhagem de codificação de áudio orientado a objeto, erestabelece os sinais de objeto apresentando propriedades similares àquelas dos N sinaisde áudio objeto com base no sinal rebaixado orientado a objeto e na informação paralela.
Os sinais de objeto gerados pelo decodificador de objeto 111 ainda não teriam sidoalocados para qualquer posição em um espaço de múltiplos canais. Assim, o componentede renderização 113 aloca cada um dos sinais de objeto, gerados pelo decodificador deobjeto 111 para uma posição pré-determinada em um espaço de múltiplos canais edetermina os níveis dos sinais de objeto de modo que os sinais de objeto possam serreproduzidos a partir das respectivas posições correspondentes designadas pelocomponente de renderização 113 com os respectivos níveis correspondentes determinadospelo componente de renderização 113. Vê-se que a informação de controle com referência acada um dos sinais de objeto gerados pelo decodificador de objeto 111 pode variar com otempo, e assim, as posições espaciais e os níveis dos sinais de objeto gerados pelodecodificador de objeto 111 podem variar de acordo com a informação de controle.
A Figura 2 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio 120 de acordo com uma primeira modalidade da presente invenção.Com referência a Figura 2, incluída na aparelhagem de decodificação de áudio 120 tem-seum decodificador de objeto 121, um componente de renderização 123, e um conversor deparâmetro 125. Tem-se que aaparelhagem de decodificação de áudio 120 pode incluirtambém um demultiplexador (não mostrado) que extrai um sinal rebaixado e informaçãoparalela a partir da entrada de um fluxo de bits no mesmo, e procedera desta forma paratodas as aparelhagens de decodificação de áudio, de acordo com as outras modalidades dapresente invenção.
O decodificador de objeto 121 gera uma quantidade de sinais de objeto com baseem um sinal rebaixado e da informação paralela modificada provida pelo conversor deparâmetro 125. O componente de renderização 123 aloca cada um dos sinais de objetogerados pelo decodificador de objeto 121 para uma posição pré-determinada em um espaçode múltiplos canais e determina os níveis dos sinais de objeto gerados pelo decodificador deobjeto 121 de acordo com a informação de controle. O conversor de parâmetro 125 gera ainformação paralela modificada através da combinação da informação paralela e dainformação de controle. Então, o conversor de parâmetro 125 transmite a informaçãoparalela modificada para o decodificador de objeto 121.
O decodificador de objeto 121 pode ser capaz de executar a decodificaçãoadaptativa pela análise da informação de controle na informação paralela modificada.
Por exemplo, caso a informação de controle indique que um primeiro sinal de objetoe um segundo sinal de objeto foram alocados para a mesma posição em um espaço demúltiplos canais e se encontram no mesmo nível, uma típica aparelhagem de decodificaçãode áudio pode decodificar separadamente o primeiro e o segundo sinais de objeto, e daí,posicioná-los em um espaço de múltiplos canais através de uma operação demixagem/renderização.
Por outro lado, o decodificador de objeto 121 da aparelhagem de decodificação deáudio 120 apreende da informação de controle na informação paralela modificada que oprimeiro e segundo sinais de objeto foram alocados para a mesma posição em um espaçode múltiplos canais e apresentam o mesmo nível caso eles fossem originados de uma únicafonte sonora. Resultando que, o decodificador de objeto 121 decodifica o primeiro esegundo sinais de objeto tratando-os como uma única fonte sonora sem decodificá-losseparadamente. Resulta que, a complexidade da decodificação diminui. Ainda, devido auma diminuição na quantidade de fontes sonoras que precisam ser processadas, acomplexidade da mixagem/renderização também diminui.
A aparelhagem de decodificação de áudio 120 pode ser utilizada de forma efetivana situação quando uma quantidade de sinais de objeto é maior do que a quantidade decanais de saída devido à pluralidade de sinais de objeto ser muito provavelmente alocadapara a mesma posição espacial.
Alternativamente, a aparelhagem de decodificação de áudio 120 pode ser utilizadana situação quando o primeiro e o segundo sinais de objeto são alocados para a mesmaposição em um espaço de múltiplos canais, mas apresentam níveis diferentes. Nestasituação, a aparelhagem de decodificação de áudio 120 decodifica o primeiro e o segundosinais de objeto tratando-os como um único sinal de objeto, ao invés de decodificá-losseparadamente, e transmitindo-os decodificados para o componente de renderização 123.Mais especificamente, o decodificador de objeto 121 pode obter informação com respeito adiferença entre os níveis do primeiro e do segundo sinais de objeto a partir da informação decontrole na informação paralela modificada, e decodificar o primeiro e segundo sinais deobjeto com base na informação obtida. Resulta que, mesmo caso o primeiro e o segundosinais de objeto apresentem níveis diferentes, eles podem ser decodificados como sefossem uma única fonte sonora.
Ainda, de forma alternativa, o decodificador de objeto 121 pode ajustar os níveisdos sinais de objeto gerados pelo decodificador de objeto 121 de acordo com a informaçãode controle. Então, o decodificador de objeto 121 pode decodificar os sinais de objeto cujosníveis são ajustados. Resulta que, o componente de renderização 123 não necessita deajustar os níveis dos sinais de objeto decodificados providos pelo decodificador de objeto121, mas simplesmente posicionar os sinais de objeto decodificados providos pelodecodificador de objeto 121 em um espaço de múltiplos canais. Em resumo, uma vez que odecodificador de objeto 121 ajusta os níveis dos sinais de objeto gerados pelo decodificadorde objeto 121 de acordo com a informação de controle, o componente de renderização 123pode, prontamente, disponibilizar os sinais de objeto gerados pelo decodificador de objeto121 em um espaço de múltiplos canais sem a necessidade de ajustar adicionalmente osníveis dos sinais de objeto gerados pelo decodificador de objeto 121. Portanto, é possível sereduzir a complexidade da mixagem/renderização.
De acordo com a modalidade da Figura 2, o decodificador de objeto daaparelhagem de decodificação de áudio 120 pode de forma adaptativa desempenhar umaoperação de decodificação através da análise da informação de controle, reduzindo assim, acomplexidade da decodificação e a complexidade da mixagem/renderização. Umacombinação dos métodos descritos anteriormentepela aparelhagem de decodificação deáudio 120 pode ser utilizada.
A Figura 3 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio 130 de acordo com uma segunda modalidade da presente invenção.Pela Figura 3 observa-se que a aparelhagem de decodificação de áudio 130 inclui umdecodificador de objeto 131 e um componente de renderização 133. Tem-se que aaparelhagem de decodificação de áudio 130 é caracterizada pelo fornecimento deinformação paralela não só ao decodificador de objeto 131, mas também para ocomponente de renderização 133.
A aparelhagem de decodificação de áudio 130 pode desempenhar de formaeficiente uma operação de decodificação mesmo quando existe um sinal de objetocorrespondendo a um período de silêncio. Por exemplo, do segundo ao quarto dos sinais deobjeto podem corresponder a um período de reprodução musical durante o qual uminstrumento musical é tocado, e um primeiro sinal de objeto pode corresponder a umperíodo de silêncio aonde um acompanhamento é tocado. Nesta situação, a informaçãoindicando qual de uma pluralidade de sinais de objeto corresponde a um período de silênciopode apresentar-se incluída na informação paralela, e a informação paralela pode serfornecida ao componente de renderização 133, bem como ao decodificador de objeto 131.
O decodificador de objeto 131 pode minimizar a complexidade da decodificaçãonão decodificando um sinal de objeto correspondendo a um período de silêncio. Odecodificador de objeto 131 ajusta um sinal de objeto correspondendo a um valor de 0 etransmite o nível do sinal de objeto para o componente de renderização 133. Em regra, ossinais de objeto apresentando um valor 0 são tratados da mesma maneira dos sinais deobjeto apresentando um valor diferente de 0, e assim estão sujeitos a uma operação demixagem/renderização.
Por outro lado, a aparelhagem de decodificação de áudio 130 transmite informaçãoparalela incluindo informação indicando que uma pluralidade de sinais de objetocorresponde a um período de silêncio junto ao componente de renderização 133 e pode,assim, impedir que um sinal de objeto correspondendo a um período de silêncio sejamsubmetidos a uma operação de mixagem/renderização desempenhada pelo componente derenderização 133. Portanto, a aparelhagem de decodificação de áudio 130 pode impedir queocorra um desnecessário aumento da complexidade de mixagem/renderização.
O componente de renderização 133 pode fazer uso da informação de mixagem deparâmetro que é incluída na informação de controle para localizar uma imagem sonora decada sinal de objeto junto a um cenário estéreo. A informação de mixagem de parâmetropode incluir tanto somente a informação de amplitude como ambas a informação deamplitude e a informação de tempo. A informação de mixagem de parâmetro afeta nãosomente a localização das imagens sonoras em estéreo, mas também a percepçãopsíquico-acústica da qualidade espacial do som por um usuário.
Por exemplo, mediante a comparação de duas imagens sonoras que são geradasutilizando-se um método de varredura para o tempo e um método de varredura para aamplitude, respectivamente, e reproduzidas na mesma localização utilizando-se um alto-falante estéreo de dois-canais, reconhece-se que o método de varredura para a amplitudepode contribuir para determinar uma localização precisa das imagens sonoras, e que ométodo de varredura para o tempo pode fornecer sons naturais com uma profundasensação de espaço. Assim, caso o componente de renderização 133 faça uso somente dométodo de varredura para a amplitude para disponibilizar sinais de objeto em um espaço demúltiplos canais, o componente de renderização 133 pode ser capaz de localizarprecisamente cada imagem sonora, mas pode não ser capaz de fornecer uma profundasensação sonora como quando fazendo uso do método de varredura para o tempo. Osusuários podem dar preferência, às vezes, por uma localização precisa das imagenssonoras ao invés da sensação profunda do som ou vice-versa, de acordo com o tipo defontes sonoras.
As Figuras 4(a ) e 4 (b) explicam a influência da intensidade (diferença deamplitude) e uma diferença de tempo na localização das imagens sonoras conformerealizado na reprodução de sinais com um alto-falante estéreo de dois-canais. Comreferência as Figuras 4(a) e 4(b), uma imagem sonora pode se apresentar localizada em umângulo pré-determinado de acordo com uma diferença de amplitude e uma diferença detempo, que são independentes entre si. Por exemplo, uma amplitude de diferença em tornode 8 dB, ou uma diferença temporal de em torno de 0,5 ms, eqüivalendo a uma diferença deamplitude de 8 dB, pode ser empregada de forma a localizar uma imagem sonora a umângulo de 20°. Portanto, mesmo se somente uma diferença de amplitude é fornecida comoinformação de mixagem de parâmetro, é possível se obter vários sons com diferentespropriedades através da conversão da diferença de amplitude em diferença de tempo que éo equivalente a diferença de amplitude durante a localização das imagens sonoras.
A Figura 5 ilustra funções com respeito à correspondência entre as diferenças deamplitude e as diferenças de tempo que são precisas para se localizar as imagens sonorasem ângulos de 10°, 20°, e 30°. A função, ilustrada na Figura 5, pode ser obtida com basenas Figuras 4(a) e 4(b). Com referência a Figura 5, várias combinações de diferença deamplitude - diferença de tempo podem ser fornecidas para a localização de uma imagemsonora em uma posição pré-determinada. Por exemplo, assumindo que uma diferença deamplitude de 8 dB seja fornecida na forma de informação de mixagem de parâmetro demaneira a se localizar uma imagem sonora a um ângulo de 20°. De acordo com a funçãoilustrada na Figura 5, uma imagem sonora pode se apresentar, também, localizada a umângulo de 20° utilizando-se a combinação de uma diferença de amplitude de 3 dB e umadiferença de tempo de 0,3 ms. Neste caso, não somente a informação da diferença deamplitude, mas também a informação da diferença de tempo podem ser fornecidas na formade informação de mixagem de parâmetro, acentuando assim a sensação de espaço.
Portanto, de modo a se gerar sons com propriedades desejadas pelo usuáriodurante uma operação de mixagem/renderização, a informação de mixagem de parâmetropode ser adequadamente convertida de maneira que qualquer que seja a amplitude e otempo de varredura que agradem ao usuário, ela pode ser realizada. Ou seja, caso ainformação de mixagem de parâmetro inclua somente informação da diferença de amplitudee o usuário deseje sons com uma profunda sensação de espaço, a informação da diferençade amplitude pode ser convertida em informação de diferença de tempo, eqüivalendo ainformação da diferença de amplitude com referência aos dados psíquico-acústicos. Demaneira alternativa, caso seja do desejo do usuário que ambos sons apresentem umaprofunda sensação de espaço e uma localização precisa das imagens sonoras, ainformação da diferença de amplitude pode ser convertida em uma combinação dainformação da diferença de amplitude e a informação da diferença de tempo eqüivalendo ainformação da amplitude original. De forma alternativa, caso a informação de mixagem deparâmetro inclua somente informação da diferença de tempo e o usuário prefira umalocalização precisa das imagens sonoras, a informação da diferença de tempo pode serconvertida na informação da diferença de amplitude equivalente a informação da diferençade tempo, ou pode ser convertida na combinação da informação da diferença de amplitude ea informação da diferença de tempo que venha a satisfazer a preferência do usuárioacentuando tanto a precisão da localização das imagens sonoras como a sensação de espaço.
Ainda, de maneira alternativa, caso a informação de mixagem de parâmetro incluatanto a informação da diferença de amplitude quanto à informação da diferença de tempo eo usuário dê preferência a uma precisa localização das imagens sonoras, a combinação dainformação da diferença de amplitude e a informação da diferença de tempo podem serconvertidas na informação da diferença de amplitude eqüivalendo a combinação dainformação da diferença de amplitude original e a informação da diferença de tempo. Poroutro lado, caso a informação de mixagem de parâmetro inclua tanto a informação dadiferença de amplitude e a informação da diferença de tempo e o usuário dê preferência aacentuar a sensação de espaço, a combinação da informação da diferença de amplitude eda informação da diferença de tempo pode ser convertida na informação da diferença detempo eqüivalendo a combinação da informação da diferença de amplitude e a informaçãoda diferença de tempo original. Com referência a Figura 6, a informação de controle podeincluir a informação de mixagem/renderização e a informação harmônica com respeito a umou mais sinais de objeto. A informação harmônica pode incluir, pelo menos, uma informaçãode passo, informação da freqüência fundamental, e informação da faixa de freqüênciadominante com relação a um ou mais sinais de objeto, e descrições da energia e doespectro de cada sub-faixa de cada um dos sinais de objeto.
A informação harmônica pode ser empregada para processar um sinal de objetodurante uma operação de renderização devido à insuficiência de resolução de umcomponente de renderização que desempenha esta operação em unidades de sub-faixas.
Caso a informação harmônica inclua informação de passo com respeito a um oumais sinais de objeto, o ganho de cada um dos sinais de objeto pode ser ajustado pelaatenuação ou fortalecimento de um pré-determinado domínio da freqüência utilizando umfiltro de pente ou um filtro de pente invertido. Por exemplo, caso um dos sinais de objeto apartir de uma pluralidade seja um sinal vocal, os sinais de objeto podem ser empregados naforma de um karaokê atenuando-se somente o sinal de vocal. De maneira alternativa, casoa informação harmônica inclua a informação de domínio de uma freqüência dominante comrespeito a um ou mais sinais de objeto, pode-se realizar um processo de atenuação oufortalecimento de um domínio para uma freqüência dominante. Ainda, de forma alternativa,caso a informação harmônica inclua informação de espectro com respeito a um ou maissinais de objeto, o ganho de cada um dos sinais de objeto pode ser controlado através dodesempenho da atenuação ou fortalecimento sem se ficar restrito a qualquer um dos limitesdas sub-faixas.
A Figura 7 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio 140 de acordo com uma outra modalidade da presente invenção.Observa-se pela Figura 7 que a aparelhagem de decodificação de áudio 140 faz uso de umdecodificador de múltiplos canais 141, ao invés de um decodificador de objeto e umcomponente de renderização, e decodifica uma quantidade de sinais de objeto após ossinais de objeto serem apropriadamente dispostos em um espaço de múltiplos canais.
Mais especificamente, a aparelhagem de decodificação de áudio 140 inclui odecodificador de múltiplos canais 141 e um conversor de parâmetro 145. O decodificador demúltiplos canais 141 gera um sinal de múltiplos canais cujos sinais de objeto tenham sidopreviamente arranjados em um espaço de múltiplos canais com base em um sinal rebaixadoe na informação de parâmetro espacial, que compreende informação paralela orientada acanal fornecida pelo conversor de parâmetro 145. O conversor de parâmetro 145 analisa ainformação paralela e a informação de controle transmitidas por uma aparelhagem decodificação de áudio (não mostrada), e gera a informação de parâmetro espacial com baseno- resultado da análise. Mais especificamente, o conversor de parâmetro 145 gera ainformação de parâmetro espacial através da combinação da informação paralela e dainformação de controle que inclui a informação de estabelecimento de reprodução e ainformação de mixagem. Ou seja, o conversor de parâmetro 145 desempenha a conversãoda combinação da informação paralela e da informação de controle junto ao dado espacialcorrespondente a uma caixa Um-por-Dois (OTT) ou uma caixa Dois-por-Três (TTT).
A aparelhagem de decodificação de áudio 140 pode desempenhar uma operaçãode decodificação de múltiplos canais aonde uma operação de decodificação orientada aobjeto e uma operação de mixagem/renderização são incorporadas e daí saltar adecodificação de cada sinal de objeto. Portanto, é possível se reduzir a complexidade dadecodificação e/ou mixagem/renderização.
Por exemplo, quando ocorrem 10 sinais de objeto e um sinal de múltiplos canaisobtidos com base nos 10 sinais de objeto para serem reproduzidos através de um sistemade reprodução com alto-falante para canal em formato 5,1, uma típica aparelhagem dedecodificação de áudio orientada a objeto gera sinais decodificados, correspondendo,respectivamente, a 10 sinais de objeto baseados em um sinal rebaixado e na informaçãoparalela, e daí, gerando um sinal para canal em formato 5,1, arranjando-se apropriadamenteos 10 sinais de objeto em um espaço de múltiplos canais, de modo que os sinais de objetopossam se tornar adequados para um ambiente com alto-falante para canal em formato 5,1.Entretanto, é ineficaz se gerar 10 sinais de objeto durante a geração de um sinal para canalem formato 5,1, e este problema torna-se mais severo conforme vá crescendo a diferençaentre a quantidade de sinais de objeto e a quantidade de canais de um sinal de múltiploscanais a serem gerados.
Por outro lado, de acordo com a modalidade da Figura 7, observa-se que aaparelhagem de decodificação de áudio 140 gera informação de parâmetro espacialadequada para um sinal para canal em formato 5,1 com base na informação paralela e nainformação de controle, e fornece a informação do parâmetro espacial e um sinal rebaixadojunto ao decodificador de múltiplos canais 141. Então, o decodificador de múltiplos canais141 gera um sinal para canal em formato 5,1 com base na informação paralela espacial e nosinal rebaixado. Em outras palavras, quando a quantidade de canais a serem liberadoscompreende canais no formato 5,1, a aparelhagem de decodificação de áudio 140 podegerar prontamente um sinal para canal em formato 5,1 com base no sinal rebaixado sem anecessidade de gerar os 10 sinais de objeto, numa forma mais eficiente em termos decomplexidade do que no caso de uma aparelhagem de decodificação de áudioconvencional.
A aparelhagem de decodificação de áudio 140 é considerada ser eficiente quando aquantidade de computação requerida para cálculo da informação de parâmetro espacialcorrespondendo a cada caixa OTT e a cada caixa TTT, através da análise da informaçãoparalela e da informação de controle transmitida por uma aparelhagem de codificação deáudio, é menor do que a quantidade de computação requerida para desempenhar umaoperação de mixagem/renderização após a decodificação de cada sinal de objeto.
A aparelhagem de decodificação de áudio 140 pode ser obtida através da simplesadição de um módulo para geração da informação de parâmetro espacial através da análisede informação paralela e informação de controle junto a uma típica aparelhagem dedecodificação de áudio de múltiplos canais, e pode assim manter a compatibilidade comuma típica aparelhagem de decodificação de áudio de múltiplos canais.
Ainda, a aparelhagem de decodificação de áudio 140 pode melhorar a qualidade dosom utilizando as ferramentas disponíveis de uma típica aparelhagem de decodificação deáudio de múltiplos canais, tais como, um delineador de invólucro, um periférico deprocessamento temporal em sub-faixas (STP), e um misturador. Sendo fornecido esteequipamento conclui-se que todas as vantagens de um típico método de decodificação deáudio de múltiplos canais pode ser prontamente aplicado junto a um método dedecodificação de áudio-objeto.
A informação do parâmetro espacial transmitida para o decodificador de múltiploscanais 141 pelo conversor de parâmetro 145 pode ser comprimida de modo a tornar-seadequada para transmissão. De forma alternativa, a informação de parâmetro espacial podeapresentar formato idêntico daquele dos dados transmitidos via uma típica aparelhagem decodificação de múltiplos canais. Ou seja, a informação de parâmetro espacial pode estarsujeita a uma operação de decodificação Huffman ou a uma operação de decodificaçãopiloto e pode ser transmitida para cada módulo na forma de um dado de instrução espacialnão-comprimido. A primeira operação é adequada para transmissão da informação deparâmetro espacial junto a uma aparelhagem de decodificação de áudio de múltiplos canaisem um local remoto, e a outra operação é conveniente devido a que não existe necessidadede uma aparelhagem de decodificação de áudio de múltiplos canais para conversão do dadode instrução espacial comprimido em um dado de instrução espacial não-comprimido quepossa ser prontamente utilizado em uma operação de decodificação.
A configuração da informação de parâmetro espacial com base na análise dainformação lateral e da informação de controle pode levar a um retardo entre o sinalrebaixado e a informação do parâmetro espacial. De forma a se analisar esta questão, umamemória intermediária adicional pode ser fornecida tanto para um sinal rebaixado como paraa informação de parâmetro espacial de modo que o sinal rebaixado e a informação deparâmetro espacial possam ser sincronizados entre si. Estes métodos, contudo, seapresentam inconvenientes devido á necessidade de ser fornecida uma memóriaintermediária adicional. De maneira alternativa, a informação paralela pode ser transmitidaantes de um sinal rebaixado em consideração da possibilidade de ocorrência de um retardoentre um sinal rebaixado e a informação de parâmetro espacial. Neste caso, a informaçãode parâmetro espacial obtida pela combinação da informação paralela e informação decontrole não necessita de ser ajustada, mas pode ser utilizada prontamente.
Caso uma pluralidade de sinais de objeto de um sinal rebaixado apresente níveisdiferentes, um módulo artístico de ganhos rebaixado (ADG),que pode compensardiretamente o sinal rebaixado, pode determinar os níveis relativos dos sinais de objeto, ecada um dos sinais de objeto pode ser alocado junto a uma posição pré-determinada em umespaço de múltiplos canais utilizando o dado de instrução espacial, tal como a informaçãode diferença de nível de canal, a informação de correlação entre canais (ICC), e ainformação de coeficiente de previsão de canal (CPC).
Por exemplo, caso a informação de controle indique que um sinal de objeto pré-determinado esteja para ser alocado junto a uma posição pré-determinada em um espaçode múltiplos canaise apresente um nível mais elevado do que os outros sinais de objeto, umtípico decodificador de múltiplos canais pode calcular a diferença entre as energias doscanais de um sinal rebaixado, e dividir o sinal rebaixado em uma quantidade de canais desaída com base nos resultados do cálculo. Contudo, um típico decodificador de múltiploscanais não pode aumentar ou reduzir o volume de uma certa sonoridade em um sinalrebaixado. Em outras palavras, um típico decodificador de múltiplos canais distribuisimplesmente um sinal rebaixado junto a uma quantidade de canais de saída e assim, nãopode aumentar ou reduzir o volume sonoro no sinal rebaixado.
É relativamente fácil se alocar cada sinal de uma quantidade de sinais de objeto deum sinal rebaixado gerado por um codificador de objeto junto a uma posição pré-determinada em um espaço de múltiplos canais de acordo com a informação de controle.Entretanto, técnicas especiais são necessárias para se aumentar ou reduzir a amplitude deum sinal de objeto pré-determinado. Em outras palavras, caso um sinal rebaixado geradopor um codificador de objeto seja utilizado da forma esperada, será difícil se reduzir aamplitude de cada sinal de objeto do sinal rebaixado.
Por conseguinte, de acordo com uma modalidade da presente invenção, asamplitudes relativas dos sinais de objeto podem ser variadaspodem ser variadas de acordocom a informação de controle utilizando um módulo ADG 147 ilustrado na Figura 8. Maisespecificamente, a amplitude de qualquer sinal de uma pluralidade de sinais de objeto deum sinal rebaixado transmitido por codificador de objeto pode ser aumentada ou reduzidautilizando-se o módulo ADG 147. Um sinal rebaixado obtido pela compensação executadapelo módulo ADG 147 pode estar sujeito a decodificação de múltiplos canais.
Caso as amplitudes relativas de sinais de objeto de um sinal rebaixado sejamajustadas de forma apropriada utilizando o módulo ADG 147, é possível se executar adecodificação de objeto utilizando-se um típico decodificador de múltiplos canais. Caso umsinal rebaixado gerado por um decodificador de objeto seja um sinal mono ou estéreo ou umsinal de múltiplos canais com três ou mais canais, o sinal rebaixado pode ser processadopelo módulo ADG 147. Caso um sinal rebaixado - gerado por um codificador de objetoapresente dois ou mais canais e um sinal de objeto pré-determinado que precise serajustado pelo módulo AG 147 exista somente em um dos canais do sinal rebaixado - omódulo ADG 147 pode ser aplicado somente para o canal incluindo o sinal de objeto pré-determinado, ao invés de ser aplicado para todos os canais de sinal rebaixado. Um sinalrebaixado processado pelo módulo ADG 147 na maneira descrita acima pode serimediatamente processado utilizando-se um típico decodificador de múltiplos canais sem anecessidade de modificar o quadro do decodificador de múltiplos canais.
Mesmo quando um sinal de saída final não compreende de um sinal de múltiploscanais que possam ser reproduzidos por um alto-falante de múltiplos canais, mascompreenda de um sinal biauricular, o módulo ADG 147 pode ser utilizado para ajustar asamplitudes relativas dos sinais de objeto do sinal de saída final.
Uma forma alternativa ao emprego do módulo ADG 147 é a informação de ganhoespecificando um valor de ganho a ser aplicado à cada sinal de objeto podendo ser incluídana informação de controle durante a geração de uma quantidade de sinais de objeto. Paraisto, o quadro de um típico decodificador de múltiplos canais pode ser modificado. Muitoembora necessitando de uma modificação do quadro de um decodificador de múltiploscanais existente, este método é conveniente em termos de redução da complexidade dedecodificação através da aplicação de um valor de ganho para cada sinal de objeto duranteuma operação de decodificação sem a necessidade de se calcular o ADG e para secompensar cada sinal de objeto.
A Figura 9 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio 150 de acordo com uma quarta modalidade da presente invenção.Com referência a Figura 9, caracteriza-se a aparelhagem de decodificação de áudio 150pela geração de um sinal biauricular.
Mais especificamente, a aparelhagem de decodificação de áudio 150 inclui umdecodificador biauricular de múltiplos canais 151, um primeiro conversor de parâmetro 157,e um segundo conversor de parâmetro 159.
O segundo conversor de parâmetro 159 analisa a informação paralela e ainformação de controle que são fornecidas através de uma aparelhagem de codificação deáudio, e configura a informação de parâmetro espacial com base no resultado da análise. Oprimeiro conversor de parâmetro 157 configura a informação de parâmetro biauricular, quepode ser utilizada pelo decodificador biauricular de múltiplos canais 151, através da adiçãoda informação tri-dimensional (3D), tal como parâmetros funcionais de transferênciarelacionados à cabeça (HRTF), junto à informação de parâmetro espacial. O decodificadorbiauricular de múltiplos canais 151 gera um sinal virtual tri-dimensional (3D) através daaplicação da informação de parâmetro virtual 3D junto a um sinal rebaixado.
O primeiro conversor de parâmetro 157 e o segundo conversor de parâmetro 159podem ser substituídos por um único módulo, ou seja, um módulo de conversão deparâmetro 155 que recebe a informação paralela, a informação de controle, e os parâmetrosHRTF e configura a informação de parâmetro biauricular com base na informação paralela,na informação de controle, e nos parâmetros HRTF.
Convencionalmente, de modo a se gerar um sinal biauricular para a reprodução deum sinal rebaixado incluindo 10 sinais de objeto com fone de ouvido, um sinal de objetodeve gerar 10 sinais decodificados correspondendo, respectivamente, a 10 sinais de objetocom base no sinal rebaixado e na informação paralela. Posteriormente, um componente derenderização aloca cada um dos 10 sinais de objeto em uma posição pré-determinada emum espaço de múltiplos canais com referência a informação de controle de forma a adequar-se num ambiente de alto-falante para canal em formato 5,1. Posteriormente, o componentede renderização gera um sinal para canal em formato 5,1 que pode ser reproduzidoutilizando-se um alto-falante para canal em formato 5,1. Posteriormente, o componente derenderização aplica os parâmetros HRTF junto ao sinal para canal em formato 5,1, gerandoum sinal para dois canais. Em resumo, o método de decodificação de áudio convencionalmencionado acima inclui a reprodução de 10 sinais de objeto, a conversão dos 10 sinais deobjeto para um sinal para canal em formato 5,1, e a geração de um sinal para dois canaiscom base no sinal para cinco canais, e, por conseguinte é ineficiente.
Por outro lado, a aparelhagem de decodificação de áudio 150 pode gerar,prontamente, um sinal biauricular que pode ser reproduzido utilizando-se um fone de ouvidocom base nos sinais de áudio de objeto. Ainda, a aparelhagem de decodificação de áudio150 configura a informação do parâmetro espaciàl através da análise da informação paralelae da informação de controle, e pode assim, gerar um sinal biauricular utilizando um típicodecodificador biauricular de múltiplos canais . Mais ainda, a aparelhagem de decodificaçãode áudio 150 ainda pode fazer uso de um decodificador biauricular típico de múltiplos canaismesmo quando sendo equipada com um conversor de parâmetro incorporado que recebeinformação paralela, informação de controle, e os parâmetros HRTF e configura ainformação de parâmetro biauricular com base na informação paralela, na informação decontrole, e nos parâmetros HRTF.
A Figura 10 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio 160, de acordo com a quinta modalidade da presente invenção.Observa-se pela Figura 10, que a aparelhagem de decodificação de áudio 160 inclui umprocessador de rebaixamento 161, um decodificador de múltiplos canais 163, e umconversor de parâmetros 165. O processador de rebaixamento 161 e o conversor deparâmetros 163 podem ser substituídos por um único módulo 167.
O conversor de parâmetros 165 gera informação de parâmetro espacial, que podeser utilizada pelo decodificador de múltiplos canais 163, e a informação de parâmetro, quepode ser utilizada pelo processador de rebaixamento 161. O processador de rebaixamento161 desempenha uma operação de pré-processamento em um sinal rebaixado, e transmiteum sinal rebaixado resultante da operação de pré-processamento junto ao decodificador demúltiplos canais 163. O decodificador de múltiplos canais 163 desempenha uma operaçãode decodificação no sinal rebaixado transmitido pelo processador de rebaixamento 161,liberando assim um sinal estéreo, um sinal estéreo biauricular ou um sinal de múltiploscanais. Exemplos da operação de pré-processamento desempenhada pelo processador derebaixamento 161 incluem a modificação ou conversão de um sinal rebaixado em umdomínio de tempo ou num domínio de freqüência utilizando-se filtragem.
Caso a entrada de um sinal rebaixado junto à aparelhagem de decodificação deáudio 160 seja um sinal estéreo, o sinal rebaixado pode estar sujeito a um pré-processamento de rebaixamento desempenhado pelo processador de rebaixamento 161antes de ser introduzido junto ao decodificador de múltiplos canais 163 devido àincapacidade do decodificador de múltiplos canais 163 de mapear um componente do sinalrebaixado correspondendo a um canal esquerdo, que compreende ser um dos múltiploscanais, para um canal direito, que é outro dos múltiplos canais. Portanto, de maneira a sedesviar a posição de um sinal de objeto classificado no canal esquerdo para uma direçãoem sentido ao canal direito, a entrada do sinal rebaixado junto a aparelhagem dedecodificação de áudio 160 pode ser pré-processada pelo processador de rebaixamento161, e o sinal rebaixado pré-processado pode ser introduzido junto ao decodificador demúltiplos canais 163.O pré-processamento de um sinal rebaixado estéreo pode ser realizado com basena informação de pré-processamento obtida a partir da informação paralela e da informaçãode controle.
A Figura 11 compreende de um diagrama de blocos de uma aparelhagem de áudio170, de acordo com uma sexta modalidade da presente invenção. Observa-se pela Figura11 que a aparelhagem de decodificação de áudio 170 inclui um decodificador de múltiploscanais 171, um processador de canal 173, e um conversor de parâmetro 175.
O conversor de parâmetro 175 gera a informação de parâmetro espacial, que podeser utilizada pelo decodificador de múltiplos canais 173 e gera a informação de parâmetroque pode ser utilizada pelo processador de canal 173. O processador de canal 173desempenha uma operação de pós-processamento na saída de sinal através dodecodificador de múltiplos canais 173. Exemplos da saída de sinal pelo decodificador demúltiplos canais 173 incluem um sinal estéreo, um sinal estéreo biauricular e um sinal demúltiplos canais.
Exemplos da operação de pós-processamento desempenhada pelo processador dereserva 173 incluem a modificação e conversão de cada canal ou de todos os canais de umsinal de saída. Por exemplo, caso a informação paralela inclua informação da freqüênciafundamental com respeito a um sinal de objeto pré-determinado, o processador de canal173 pode remover os componentes harmônicos do sinal de objeto pré-determinado comreferência a informação da freqüência fundamental. Um método de decodificação de áudiode múltiplos canais pode não ser eficiente o bastante para ser utilizado num sistemakaraokê. Contudo, caso a informação de freqüência fundamental com respeito aos sinais deobjeto vocal seja incluída na informação paralela e os componentes harmônicos dos sinaisde objeto vocal sejam removidos durante uma operação de pós-processamento, é possívelse construir um sistema karaokê de alto desempenho fazendo-se uso da modalidade daFigura 11. Além daqueles sinais de objeto vocal, a modalidade da Figura 11 pode sertambém aplicada junto aos sinais de objeto. Por exemplo, é possível se remover o som deum pré-determinado instrumento musical utilizando-se a modalidade da Figura 11. Ainda, épossível se amplificar os componentes harmônicos pré-determinados fazendo-se uso dainformação da freqüência fundamental com respeito aos sinais de objeto utilizando-se amodalidade da Figura 11.
O processador de canal 173 pode desempenhar o processamento de efeitoadicional em um sinal rebaixado. De forma alternativa, o processador de canal 173 podeadicionar um sinal obtido pelo processamento de efeito adicional junto à saída de sinal pelodecodificador de múltiplos canais 171. O processador de canal 173 pode alterar o espectrode um objeto ou modificar um sinal rebaixado se necessário. Caso não seja apropriadodesempenhar diretamente uma operação de processamento de efeito, tal comoreverberação de um sinal rebaixado e transmitir o sinal obtido pela operação deprocessamento de efeito para o decodificador de múltiplos canais 171 ,o processador derebaixamento 173 pode adicionar o sinal obtido pela operação de processamento de efeitojunto à saída do decodificador de múltiplos canais 171, ao invés de desempenhar oprocessamento de efeito no sinal rebaixado.
A aparelhagem de decodificação de áudio 170 pode ser projetada para incluir nãosomente o processador de canal 173, mas também um processador de rebaixamento .Neste caso, o processador de rebaixamento pode se apresentar localizado na frente dodecodificador de múltiplos canais 173, e o processador de canal 173 pode se apresentardisposto atrás do decodificador de múltiplos canais 173.
A Figura 12 representa um diagrama de blocos de uma aparelhagem dedecodificação de áudio 210 de acordo com uma sétima modalidade da presente invenção.
Observa-se pela Figura 12, que a aparelhagem de decodificação de áudio 210 faz uso deum decodificador de múltiplos canais 213, ao invés de um decodificador de objeto.
Mais especificamente, a aparelhagem de decodificação de áudio 210 inclui odecodificador de múltiplos canais 213, um transcodificador 215, um componente derenderização 217, e uma base de dados de informação 3D 217.
O componente de renderização 217 determina as posições em 3D de umapluralidade de sinais de objeto com base na informação 3D correspondendoaos dadosindexados incluídos na informação de controle. O transcodificador 215 gera a informaçãoparalela orientada a canal pela sintetização da informação da posiçãocom respeito àquantidade de sinais de áudio de objeto aonde se obtém a informação 3D aplicada pelocomponente de renderização 217. O decodificador de múltiplos canais 213 libera um sinal3D através da aplicação da informação paralela orientada a canal junto a um sinalrebaixado.
Uma função de transferência relacionada à cabeça (HRTF) pode ser empregadacomo a informação 3D. Um HRTF compreende de uma função de transferência quedescreve a transmissão de ondas sonoras entre uma fonte sonora em uma posiçãoarbitrária e o tímpano, e retorna com um valor que varia de acordo com a direção e a altitudeda fonte sonora. Caso um sinal sem nenhuma capacidade de direção seja filtrado fazendo-se emprego do HRTF, o sinal pode ser ouvido como se tivesse sido reproduzido a partir deuma certa direção.
Quando se recebe uma entrada de fluxo de bits, a aparelhagem de decodificaçãode áudio 210 extrai um sinal rebaixado orientado a objeto e informação de parâmetroorientada a objeto a partir da entrada do fluxo de bits fazendo-se emprego de umdemultiplexador (não mostrado). Então, o componente de renderização 217 extrai o dadoindexado a partir da informação de controle, que é utilizado para determinar as posições deuma pluralidade de sinais de áudio de objeto, e retira a informação 3D correspondendo aodado indexado extraído da base dados da informação 3D 219.
Mais especificamente, a informação de mixagem de parâmetro, que é incluída nainformação de controle que é utilizada pela aparelhagem de decodificação de áudio 210,pode incluir não somente a informação de nível, mas também os dados indexadosnecessários para a busca da informação 3D. A informação de mixagem de parâmetro podeincluir também a informação de tempo com respeito à diferença de tempo entre os canais, ainformação de posição e um ou mais parâmetros obtidos pelo fato de apropriadamentecombinarem a informação de nível e a informação de tempo.
A posição de um sinal de áudio de objeto pode ser determinada inicialmente deacordo com a falta de informação de mixagem de parâmetro, e pode ser alteradaposteriormente através da aplicação da informação 3D correspondendo a uma posiçãodesejada pelo usuário junto ao sinal de áudio de objeto. De forma alternativa, caso o usuáriodeseje aplicar um efeito 3D somente para vários sinais de áudio de objeto, a informação denível e a informação de tempo, com respeito aos outros sinais de áudio de objeto para osquais o usuário não deseja aplicar um efeito 3D, podem ser utilizados na forma deinformação de mixagem de parâmetro.
O transcodificador 217 gera informação paralela orientada a canal com respeito a Mcanais através da sintetização da informação de parâmetro orientada a objeto considerandoN sinais de objeto transmitidos pela aparelhagem de codificação de áudio e pela informaçãode posição de uma quantidade de sinais de objeto aonde se aplica a informação 3D, talcomo um HRTF pelo componente de renderização 217.
O decodificador de múltiplos canais 213 gera um sinal de áudio com base em umsinal rebaixado e na informação paralela orientada a canal provida pelo transcodificador217, e gera um sinal de múltiplos canais 3D através da execução de uma operação derenderização 3D fazendo uso da informação 3D incluída na informação paralela orientada acanal.
A Figura 13 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio 220 de acordo com uma oitava modalidade da presente invenção.Observa-se pela Figura 13, que a aparelhagem de decodificação de áudio 220 é diferenteda aparelhagem de decodificação de áudio 210 ilustrada na Figura 12 no sentido que umtranscodificador 225 transmite informação paralela orientada a canal e informação 3Dseparadamente para um decodificador de múltiplos canais 223. Em outras palavras, otranscodificador 225 da aparelhagem de decodificação de áudio 220 obtém informaçãoparalela orientada a canal com respeito a M canais a partir da informação de parâmetroorientada a objeto com respeito aos N sinais de objeto e transmite a informação paralelaorientada a canal e a informação 3D, que é aplicada junto a cada um dos N sinais de objeto,junto ao decodificador de múltiplos canais 223, em que o transcodificador 217 daaparelhagem de decodificação de áudio 210 transmite a informação paralela orientada acanal incluindo a informação 3D junto ao decodificador de múltiplos canais 213.
A Figura 14 é referenciada em que a informação paralela orientada a canal e ainformação 3D podem incluir uma pluralidade de indexadores de quadro.Assim, odecodificador de múltiplos canais 223 pode sincronizar a informação paralela orientada acanal e a informação 3D com referência aos indexadores de quadro de cada informaçãoparalela orientada a canal e informação 3D, e pode, assim, aplicar a informação 3D junto aum quadro de um fluxo de bits correspondendo a informação 3D. Por exemplo, a informação3D apresentando um indexador 2 pode ser aplicada no início do quadro 2 apresentando umindexador 2.
Uma vez que a informação paralela orientada a canal e a informação 3D incluem,ambas, indexadores de quadro, é possível, efetivamente, se determinar uma posiçãotemporal da informação paralela orientada a canal aonde deva ser aplicada a informação3D, mesmo caso a informação 3D venha a ser atualizada periodicamente. De outra forma, otranscodificador 225 inclui informação 3D e uma quantidade de indexadores de quadro nainformação paralela orientada a canal, e, dessa maneira, o decodificador de múltiplos canais223 pode facilmente sincronizar a informação paralela orientada a canal e a informação 3D.
O processador de rebaixamento 231, o transcodificador 235, o componente derenderização 237 e a base de dados da informação 3D podem ser substituídos por um únicomódulo 239.
A Figura 15 compreende de um diagrama de blocos de uma aparelhagem dedecodificação de áudio 230 de acordo com uma nona modalidade da presente invenção.Observa-se da Figura 15 que a aparelhagem de decodificação de áudio 230 é diferenciadada aparelhagem de decodificação de áudio 220 ilustrada na Figura 14 pela inclusãoadicional de um processador de rebaixamento 231.
Mais especificamente, a aparelhagem de decodificação de áudio 230 inclui umtranscodificador 235, um componente de renderização 237, uma base de dados cominformação 3D 239, um decodificador de múltiplos canais 233, e o processador derebaixamento 231. O transcodificador 235, o componente de renderização 237, mais a basede dados com informação 3D 239, e o decodificador de múltiplos canais 233 são idênticosas suas respectivas partes contrárias, ilustradas na Figura 14. O processador derebaixamento 231 desempenha uma operação de pré-processamento em um sinalrebaixado estéreo para ajustamento da posição. A base de dados com informação 3D 239pode ser incorporada com o componente de renderização 237. Um módulo para a aplicaçãode um efeito pré-determinado junto a um sinal rebaixado pode ser fornecido também naaparelhagem de decodificação de áudio 230.A Figura 16 ilustra um diagrama de blocos de uma aparelhagem de decodificaçãode áudio 240 de acordo com uma décima modalidade da presente invenção. Vê-se pelaFigura 16 que a aparelhagem de decodificação de áudio 240 é diferenciada da aparelhagemde decodificação de áudio 230 ilustrada na Figura 15 pela inclusão de um combinador deunidade de controle de múltiplos pontos 241.
Ou seja, a aparelhagem de decodificação de áudio 240, assim como a aparelhagemde decodificação de áudio 230, inclui um processador de rebaixamento 243, umdecodificador de múltiplos canais 244, um transcodificador 245, um componente derenderização 247, e uma base de dados com informação 3D 249. O combinador de unidadede controle de múltiplos pontos 241 combina uma pluralidade de fluxos de bits obtidas pelacodificação orientada a objeto, obtendo dessa forma um único fluxo de bits. Por exemplo,quando um primeiro fluxo de bits para um primeiro sinal de áudio e um segundo fluxo de bitspara um segundo sinal de áudio são introduzidos, o combinador de unidade de controle demúltiplos pontos 241 extrai um primeiro sinal rebaixado a partir do primeiro fluxo de bits,extrai um segundo sinal rebaixado a partir do segundo fluxo de bits e gera um terceiro sinalrebaixado pela combinação do primeiro e do segundo sinais rebaixados. Ainda, ocombinador de unidade de controle de múltiplos pontos 241 extrai a primeira informaçãoparalela orientada a objeto a partir do primeiro fluxo de bits, extrai a segunda informaçãoparalela orientada a objeto a partir do segundo fluxo de bits, e gera a terceira informaçãoparalela orientada a objeto pela combinação da primeira e segunda informações paralelasorientadas a objeto. Posteriormente, o combinador de unidade de controle de múltiplospontos 241 gera um fluxo de bits através da combinação do terceiro sinal rebaixado e daterceira informação paralela orientada a objeto e libera o fluxo de bits gerado.
Portanto, de acordo com a décima modalidade da presente invenção, é possível seprocessar de maneira eficiente sinais combinados transmitidos por dois ou mais padrões decomunicação em comparação com a situação de se codificar ou decodificar cada sinal deobjeto.
De modo que o combinador de unidade de controle de múltiplos pontos 241incorpore uma pluralidade de sinais rebaixados, que são respectivamente extraídos de umapluralidade de fluxos de bits e são associados com diferentes códigos de compressão,convergindo para um único sinal rebaixado, os sinais rebaixados podem necessitar deserem convertidos em sinais de modulação de código de pulso (PCM) ou em sinais para umdomínio de freqüência pré-determinado de acordo com os tipos dos códigos de compressãodos sinais rebaixados, os sinais PCM ou os sinais obtidos pela conversão podem necessitarde serem conjuntamente combinados, e um sinal obtido pela combinação pode necessitarde ser convertido utilizando-se um código de compressão pré-determinado. Nesta situação,pode ocorrer um retardo de acordo se os sinais rebaixados são incorporados em um sinalPCM ou em um sinal no domínio de freqüência pré-determinado. Portanto, o retardo podenecessitar de ser incluído em um fluxo de bits e ser transmitido juntamente com o fluxo debits. O retardo pode indicar a quantidade de amostras de retardo em um sinal PCM ou aquantidade de amostras de retardo no domínio de freqüência pré-determinado.
Durante uma operação de codificação de áudio orientada a objeto, umaconsiderável quantidade de sinais de entrada pode às vezes necessitar de processamentoem comparação com a quantidade de sinais de entrada, em regra, processados duranteuma típica operação de codificação de múltiplos canais (por exp., uma operação decodificação de canal em formato 5,1 ou 7,1). Portanto, um método de codificação de áudioorientado a objeto requer taxas de bits muito mais elevadas do que no caso de um típicométodo de codificação de áudio de múltiplos canais orientado a canal. Contudo, uma vezque um método de codificação de áudio orientado a objeto envolve o processamento desinais de objeto que são menores do que os sinais de canal, é possível se gerar sinais desaída dinâmicos utilizando um método de codificação de áudio orientado a objeto.
Descrever-se-á em detalhes com referência as Figuras 17 até 20, um método decodificação de áudio de acordo com uma modalidade da presente invenção.
No método de codificação de áudio orientado a objeto, os sinais de objeto podemser definidos como representando sonoridades individuais, tais como a voz humana ou osom de um instrumento musical. De maneira alternativa, os sons apresentandocaracterísticas semelhantes, tais como os sons de instrumentos musicais de corda (por exp.,uma viola, e um violoncelo), sons inclusos dentro da mesma faixa de freqüência, ou sonsclassificados na mesma categoria de acordo com as direções e os ângulos de suas fontessonoras, podem ser agrupados em conjunto, e definidos pelos mesmos sinais de objeto.Ainda, de maneira alternativa, os sinais de objeto podem ser definidos fazendo-se empregoda combinação dos métodos descritos acima.
Uma quantidade de sinais de objeto pode ser transmitida na forma de um sinalrebaixado e de informação paralela. Durante a criação de informação a ser transmitida, aenergia ou potência de um sinal rebaixado ou cada pluralidade de sinais de objeto do sinalrebaixado é calculada originalmente com a finalidade de se detectar o invólucro do sinalrebaixado. Os resultados dos cálculos podem ser utilizados para a transmissão dos sinaisde objeto ou do sinal rebaixado ou para se calcular a razão de níveis dos sinais de objeto.
Um algoritmo de codificação com predição linear (LPC) pode ser empregado junto ataxas de bits mais baixas. Mais especificamente, uma quantidade de coeficientes LPC querepresenta o invólucro de um sinal é gerada através da análise do sinal, e os coeficientesLPC são transmitidos, ao invés da transmissão da informação do invólucro com respeito aosinal. Este método é eficiente em termos de taxas de bits. Contudo, uma vez que oscoeficientes LPCs tendem a se apresentardiscrepantes a partir do invólucro atual do sinal,este método requer um processo de adição, tal como correção de erro. Em resumo, ümmétodo que envolve a transmissão da informação de invólucro de um sinal pode garantir umsom de alta qualidade, mas isto resulta em um aumento considerável da quantidade deinformação que precisa ser transmitida. Por outro lado, um método que envolve a utilizaçãode coeficientes LPC pode reduzir a quantidade de informação que precisa ser transmitida,mas requer um processo adicional tal como correção de erro e resulta em uma redução daqualidade sonora.
De acordo com uma modalidade da presente invenção, pode-se utilizar umacombinação desses métodos. Em outras palavras, o invólucro de um sinal pode serrepresentado pela energia ou potência do sinal ou um valor indexado ou outro valor, talcomo um coeficiente LPC correspondendo à energia ou potência do sinal.
A informação de invólucro com respeito a um sinal pode ser obtida em unidades deseções temporais ou seções de freqüência. Mais especificamente, pela Figura 17 vê-se quea informação de invólucro com respeito a um sinal pode ser obtida em unidades de quadro.
De forma alternativa, caso um sinal seja representado por um quadro de faixa de freqüênciafazendo uso de um banco de filtro, tal como um banco de filtro em quadratura espelhada(QMF), informação de invólucro com respeito a um sinal pode ser obtida em unidades desub-faixas de freqüência, partições de sub-faixas de freqüência que compreendem fatoresmenores do que as sub-faixas de freqüência, grupos de sub-faixas de freqüência ou gruposde partições de sub-faixas de freqüência. Ainda, de forma alternativa, uma combinação dométodo orientado a quadro, o método de freqüência orientado a sub-faixa, e o método defreqüência orientado a partição de sub-faixa podem ser empregados dentro do escopo dapresente invenção.
Ainda, de forma alternativa, dado que os componentes de baixa freqüência de umsinal, em regra, apresentam mais informação do que os componentes de alta-frequência dosinal, a informação de invólucro com respeito aos componentes de baixa freqüência de umsinal pode ser transmitida como ela se apresenta, em que a informação de invólucro comrespeito aos componentes de alta-frequência do sinal pode ser representada peloscoeficientes LPC ou outros valores, e os coeficientes LPC ou outros valores podem sertransmitidos ao invés da informação de invólucro com respeito aos componentes de alta-frequência do sinal. Contudo, os componentes de baixa freqüência de um sinal podem nãoapresentar, necessariamente mais informação do que os componentes de alta-frequência dosinal. Portanto, o método descrito acima deve ter aplicação flexível de acordo com ascircunstâncias.
De acordo com uma modalidade da presente invenção, pode-se transmitir ainformação de invólucro ou o dado indexado correspondendo a uma porção (referida norelatório como a porção dominante) de um sinal que surge como dominante no eixo dotempo/frequência, e pode não se transmitir nada da informação de invólucro e do dadoindexado correspondendo a uma porção não-dominante do sinal. De maneira alternativa,pode-se transmitir os valores (por exp., os coeficientes LPC) que representam a energia e apotência da porção dominante, e pode-se não transmitir nenhum dos valorescorrespondendo a porção não-dominante do sinal. Ainda, de forma alternativa, pode-setransmitir a informação de invólucro ou do dado indexado correspondendo a porçãodominante do sinal, e os valores que representam a energia ou a potência da porção não-dominante do sinal podem ser transmitidos. Ainda, de forma alternativa, a informação comrespeito somente a porção dominante do sinal pode ser transmitida de modo que a porçãonão-dominante do sinal possa ser estimada com base na informação com respeito à porçãodominante do sinal. Ainda, de forma alternativa, pode-se utilizar uma combinação dosmétodos descritos acima.
Por exemplo, com respeito à Figura 18, caso seja dividido um sinal em um períododominante e um período não-dominante, a informação com referência ao sinal pode sertransmitida de quatro diferentes maneiras, conforme indicado por (a) até (d).
De maneira a se transmitir uma quantidade de sinais de objeto como a combinaçãode um sinal rebaixado e informação paralela, o sinal rebaixado necessita de ser dividido emuma pluralidade de elementos como parte de uma operação de decodificação, por exemplo,levando em consideração a taxa dos níveis dos sinais de objeto. De modo a se garantir aindependência entre os elementos do sinal rebaixado, uma operação para se desfazer acorrelação necessita de ser adicionalmente realizada.
Os sinais de objeto que compreendem as unidades de codificação em um métodode codificação orientado a objeto apresentam mais independência do que os sinais de canalque compreendem as unidades de codificação em um método de codificação de múltiploscanais. Em outras palavras, um sinal de canal inclui uma quantidade de sinais de objeto,necessitando de terem a correlação desfeita. Por outro lado, os sinais de objeto seapresentam independentes uns dos outros, e, assim, a separação de canal pode ser feita demaneira facilitada, utilizando-se simplesmente as características dos sinais de objeto sem anecessidade de uma operação que desfaça a correlação.
Mais especificamente, pela Figura 19, os sinais de objeto A, B, e C levam tempopara surgirem como dominantes no eixo da freqüência. Neste caso, não existe anecessidade de se dividir um sinal rebaixado em uma quantidade de sinais, de acordo coma taxa de níveis dos sinais de objeto A, B, e C e de se desfazer a correlação. Ao contrário, ainformação com respeito aos períodos dominantes dos sinais de objeto A, B, e C pode sertransmitida, ou um valor de ganho pode ser aplicado para cada componente da freqüênciade cada um dos sinais de objeto A, B, e C, evitando-se então desfazer-se a correlação.Portanto, é possível se reduzir a quantidade de computação e se reduzir a taxa de bits poruma quantidade que teria sido solicitada pela informação paralela necessária para sedesfazer a correlação.
Em resumo, de forma a se evitar desfazer a correlação, que é realizada de forma ase garantir a independência entre uma quantidade de sinais obtida via a divisão de um sinalrebaixado pela razão das razões dos sinais de objeto do sinal rebaixado, pode-se transmitirinformação com respeito a um domínio de freqüência, incluindo cada sinal de objeto naforma de informação paralela. De forma alternativa, os diferentes valores de ganho podemser aplicados junto a um período dominante durante o qual cada sinal de objeto surge comodominante e um período não-dominante durante o qual cada sinal de objeto surge comomenos dominante, e assim, informação com respeito ao período dominante pode serprincipalmente fornecida como informação paralela. Ainda, de forma alternativa, ainformação com respeito ao período dominante pode ser transmitida como informaçãoparalela, e pode não ser transmitida nenhuma informação com respeito ao período não-dominante. Ainda, de forma alternativa, pode-se fazer uso de uma combinação dos métodosdescritos acima que representam alternativas a um método para se desfazer a correlação.
Os métodos descritos acima que compreendem alternativas a um método para sedesfazer a correlação podem ser aplicados para todos os sinais de objeto ou somente paraalguns sinais de objeto que sejam períodos dominantes facilmente distinguíveis. Ainda, osmétodos descritos acima que compreendem alternativas a um método para se desfazer acorrelação podem ser aplicados de modos variáveis nas unidades de quadros.
A codificação dos sinais de áudio de objeto fazendo uso de um sinal residual serádescrita em detalhe adiante.
Em regra, em um método de codificação de áudio orientado a objeto, umaquantidade de sinais de objeto é codificada, e os resultados da codificação são transmitidosna forma de combinação de um sinal rebaixado e informação paralela. Daí, uma quantidadede sinais de objeto é restaurada a partir do sinal rebaixado através da decodificação deacordo com a informação paralela, e os sinais de objeto restaurados são devidamentemixados, por exemplo, mediante a solicitação de um usuário de acordo com a informação decontrole, gerando assim um sinal de canal final. Um método de codificação de áudioorientado a objeto, em regra, objetiva a variar livremente um sinal de canal liberado deacordo com a informação de controle com o auxílio de um mixer. Contudo, um método decodificação de áudio orientado a objeto pode também ser utilizado para gerar uma saída decanal em uma maneira pré-definida indiferentemente da informação de controle.
Para isto, a informação paralela pode incluir não somente a informação necessáriapara se obter uma quantidade de sinais de objeto a partir de um sinal rebaixado, mastambém a informação de mixagem de parâmetro necessária para se gerar um sinal decanal. Assim, é possível se gerar um sinal de saída de canal final sem o auxílio de um mixer.Neste caso, tal algoritmo pode ser empregado na forma de codificação residual para semelhorar a qualidade do som.
Um método de codificação residual típico inclui a codificação de um sinal e acodificação do erro entre o sinal codificado e o sinal original, ou seja, um sinal residual.
Durante uma operação de decodificação, o sinal codificado é decodificado enquantocompensando o erro entre o sinal codificado e o sinal original, restabelecendo assim umsinal que se apresenta semelhante ao sinal original, tanto quanto possível. Uma vez que oerro entre o sinal codificado e o sinal original, em regra, é intolerável, é possível se reduzir aquantidade de informação adicional necessária para se executara codificação residual.
Caso uma saída de canal final de um decodificador seja fixada, não somente ainformação de mixagem de parâmetro, necessária para geração de um sinal de canal final,mas também, a informação de codificação residual, podem ser fornecidas como informaçãoparalela. Neste caso, é possível se melhorar a qualidade sonora.
A Figura 20 compreende de uma aparelhagem de codificação de áudio 310 deacordo com uma modalidade da presente invenção. Pela Figura 20, a aparelhagem decodificação de áudio 310 é caracterizada pelo emprego de um sinal residual.
Mais especificamente, a aparelhagem de codificação de áudio 310 inclui umcodificador 311, um decodificador 313, um primeiro mixer 315, um segundo mixer 319, umadicionador 317, e um gerador de fluxo de bits 321.
O primeiro mixer 315 desempenha uma operação de mixagem em um sinal original,e o segundo mixer 319 desempenha uma operação de mixagem em um sinal obtida pelaexecução de uma operação de codificação, e daí, uma operação de decodificação do sinaloriginal. O adicionador 317 calcula um sinal residual entre uma saída de sinal pelo primeiromixer 315 e uma saída de sinal pelo segundo mixer 319. O gerador de fluxo de bits 321adiciona o sinal residual na informação paralela e transmite o resultado da adição. Destamaneira, é possível se melhorar a qualidade do som.
O cálculo de um sinal residual pode ser aplicado para todas as porções de um sinalou somente para as porções de baixa freqüência de um sinal. De maneira alternativa, ocálculo de um sinal residual pode ser aplicado de maneira variável somente para domíniosda freqüência incluindo os sinais dominantes em uma base de quadro a quadro. Ainda demaneira alternativa, pode-se empregar uma combinação dos métodos descritos acima.
Uma vez que a quantidade de informação paralela incluindo a informação de sinalresidual é muito maior do que a quantidade de informação paralela incluindo a ausência deinformação de sinal residual, o cálculo de um sinal residual pode ser somente aplicado paraalgumas porções de um sinal que afetam diretamente a qualidade do som, prevenindo-seassim quanto a um aumento excessivo da taxa de bits. A presente invenção pode serexecutada na forma de um código de computador fixo escrito em uma mídia de gravaçãofixa. A mídia de gravação fixa pode compreender qualquer tipo de dispositivo de gravaçãoaonde o dado é armazenado em uma maneira fixa. Exemplos da mídia de gravação fixaincluem um ROM, um RAM, um CD-ROM, uma fita magnética, um disco floppy, umadispositivo de armazenagem de dado ótico, uma onda portadora (por exp., transmissão dedados através da Internet). A mídia de gravação fixa pode ser distribuída através de umapluralidade de sistemas computacionais conectados numa rede de trabalho, de modo que ocódigo fixo seja escrito nos mesmos e ali executado em uma maneira descentralizada. Osprogramas funcionais, códigos, segmentos de códigos necessários para a execução dapresente invenção podem ser facilmente construídos por um especialista na área.
Aplicabilidade Industrial
Conforme descrito acima, de acordo com a presente invenção, as imagens sonorasapresentam-se localizadas para cada sinal de áudio de objeto beneficiando-se com asvantagens dos métodos de decodificação e codificação de áudio orientado a objeto. Assim,é possível se oferecer sons mais realísticos através da reprodução de sinais de áudio deobjeto.Ainda, a presente invenção pode ser aplicada para jogos interativos, e pode ofereceruma experiência virtualmente mais realística da realidade a um usuário.
Enquanto a presente invenção tenha sido apresentada e descrita com respeito assuas modalidades exemplares, compreender-se-á que os especialistas na área poderãoconceber várias alterações na forma e nos detalhes sem se afastarem do espírito e escopoda presente invenção definida conforme as reivindicações apensas.

Claims (20)

1. Método de decodificação de áudio, CARACTERIZADO pelo fato decompreender:extração de um sinal rebaixado e informação paralela orientada a objeto a partir daentrada de um sinal de áudio;geração de informação de renderização com base na entrada de informação decontrole; egeração de informação paralela orientada a canal com base na informação derenderização e na informação paralela orientada a objeto.
2. Método de decodificação de áudio, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de compreender ainda geração de um sinal de áudio demúltiplos canais com base no sinal rebaixado e na informação paralela orientada a canal.
3. Método de decodificação de áudio, de acordo com a reivindicação 1,CARACTERIZADO pelo fato da informação de controle compreender de, pelo menos, umainformação tri-dimensional (3D), informação de mixagem e informação harmônica paraprocessamento de um sinal de objeto pré-determinado.
4. Método de decodificação de áudio, de acordo com a reivindicação 1,CARACTERIZADO pelo fato da geração de informação de renderização compreender aconversão da informação de tempo incluída na informação de mixagem em informação deamplitude equivalente em resposta a um comando de usuário.
5. Método de decodificação de áudio, de acordo com a reivindicação 3,CARACTERIZADO pelo fato da geração de informação de renderização compreender aindaa conversão da informação de amplitude incluída na informação de mixagem em informaçãode tempo equivalente em resposta a um comando de usuário.
6. Método de decodificação de áudio, de acordo com a reivindicação 3,CARACTERIZADO pelo fato da informação harmônica compreender, pelo menos, de umainformação de passo, informação da freqüência fundamental e informação da freqüênciadominante do sinal de objeto pré-determinado.
7. Método de decodificação de áudio, de acordo com a reivindicação 6,CARACTERIZADO pelo fato de compreender ainda ajuste de ganho do sinal de objeto pré-determinado com base na informação harmônica.
8. Método de decodificação de áudio, de acordo com a reivindicação 6,CARACTERIZADO pelo fato de compreender ainda compensação para um sinal de objetoem uma faixa de freqüência pré-determinada com base na informação harmônica.
9. Método de decodificação de áudio, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de compreender ainda compensação para um retardo entre ainformação espacial e o sinal rebaixado.
10. Aparelhagem de decodificação de áudio, CARACTERIZADA pelo fato decompreender:um demultiplexador que extrai um sinal rebaixado e uma informação paralelaorientada a objeto a partir de um sinal de áudio de entrada;um componente de renderização que gera informação de renderização com basena entrada de informação de controle; eum transcodificador que gera informação paralela orientada a canal com base nainformação de renderização e na informação paralela orientada a objeto.
11. Aparelhagem de decodificação de áudio, de acordo com a reivindicação 10,CARACTERIZADA pelo fato de compreender ainda um decodificador de múltiplos canaisque gera um sinal de áudio de múltiplos canis com base no sinal rebaixado e na informaçãoparalela orientada a canal.
12. Aparelhagem de decodificação de áudio, de acordo com a reivindicação 10,CARACTERIZADA pelo fato do dado de controle compreender, pelo menos, ou ainformação 3D, a informação de mixagem e a informação harmônica para processamento deum sinal de objeto pré-determinado.
13. Aparelhagem de decodificação de áudio, de acordo com a reivindicação 12,CARACTERIZADA pelo fato do componente de renderização converter a informação detempo incluída na informação de mixagem em informação de amplitude equivalente emresposta a um comando de usuário durante a geração da informação de renderização.
14. Aparelhagem de decodificação de áudio, de acordo com a reivindicação 12,CARACTERIZADA pelo fato do componente de renderização converter a informação deamplitude incluída na informação de mixagem em informação de tempo equivalente emresposta a um comando de usuário durante a geração da informação de renderização.
15. Aparelhagem de decodificação de áudio, de acordo com a reivindicação 12,CARACTERIZADA pelo fato da informação harmônica compreender, pelo menos, deinformação de passo, informação de freqüência fundamental e informação de freqüênciadominante do sinal de objeto pré-determinado.
16. Aparelhagem de decodificação de áudio, de acordo com a reivindicação 15,CARACTERIZADA pelo fato do componente de renderização ajustar o ganho de sinal deobjeto pré-determinado com base na informação harmônica.
17. Aparelhagem de decodificação de áudio, de acordo com a reivindicação 15,CARACTERIZADA pelo fato do componente de renderização compensar um sinal de objetoem uma faixa de freqüência pré-determinada com base na informação harmônica.
18. Aparelhagem de decodificação de áudio, de acordo com a reivindicação 10,CARACTERIZADA pelo fato de compreender ainda uma memória intermediária quecompensa um retardo entre a informação espacial e o sinal rebaixado.
19. Mídia de gravação legível por computador, CARACTERIZADA pelo fato deapresentar registrado na mesma um programa de computador para execução de um métodode decodificação de áudio, o método de decodificação de áudio compreendendo:extração de um sinal rebaixado e uma informação paralela orientada a objeto apartir da entrada de um sinal de áudio;geração de informação de renderização com base na entrada do dado de controle;egeração de informação paralela orientada a canal com base na informação derenderização e na informação paralela orientada a objeto.
20. Mídia de gravação legível por computador, de acordo com a reivindicação 19,CARACTERIZADA pelo método de decodificação de áudio compreender ainda a geraçãode um sinal de áudio de múltiplos canais fazendo uso de sinal rebaixado e da informaçãoparalela orientada a canal.
BRPI0710923-7A 2006-09-29 2007-10-01 métodos e aparelhagens para codificação e decodificação de sinais de áudio orientados a objeto BRPI0710923A2 (pt)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US84829306P 2006-09-29 2006-09-29
US60/848.293 2006-09-29
US82980006P 2006-10-17 2006-10-17
US60/829.800 2006-10-17
US86330306P 2006-10-27 2006-10-27
US60/863.303 2006-10-27
US86082306P 2006-11-24 2006-11-24
US60/860.823 2006-11-24
US88071407P 2007-01-17 2007-01-17
US60/880.714 2007-01-17
US88094207P 2007-01-18 2007-01-18
US60/880.942 2007-01-18
US94837307P 2007-07-06 2007-07-06
US60/948.373 2007-07-06
PCT/KR2007/004801 WO2008039042A1 (en) 2006-09-29 2007-10-01 Methods and apparatuses for encoding and decoding object-based audio signals

Publications (1)

Publication Number Publication Date
BRPI0710923A2 true BRPI0710923A2 (pt) 2011-05-31

Family

ID=39230400

Family Applications (4)

Application Number Title Priority Date Filing Date
BRPI0711104-5A BRPI0711104A2 (pt) 2006-09-29 2007-10-01 métodos e aparelhos para codificar e decodificar sinais de áudio com base em objeto
BRPI0711185-1A BRPI0711185A2 (pt) 2006-09-29 2007-10-01 métodos e aparelhagens para codificação e decodificação de sinais de áudio orientados a objeto
BRPI0710923-7A BRPI0710923A2 (pt) 2006-09-29 2007-10-01 métodos e aparelhagens para codificação e decodificação de sinais de áudio orientados a objeto
BRPI0711102-9A BRPI0711102A2 (pt) 2006-09-29 2007-10-01 métodos e aparelhos para codificar e decodificar sinais de áudio com base em objeto

Family Applications Before (2)

Application Number Title Priority Date Filing Date
BRPI0711104-5A BRPI0711104A2 (pt) 2006-09-29 2007-10-01 métodos e aparelhos para codificar e decodificar sinais de áudio com base em objeto
BRPI0711185-1A BRPI0711185A2 (pt) 2006-09-29 2007-10-01 métodos e aparelhagens para codificação e decodificação de sinais de áudio orientados a objeto

Family Applications After (1)

Application Number Title Priority Date Filing Date
BRPI0711102-9A BRPI0711102A2 (pt) 2006-09-29 2007-10-01 métodos e aparelhos para codificar e decodificar sinais de áudio com base em objeto

Country Status (10)

Country Link
US (7) US8625808B2 (pt)
EP (4) EP2070080A4 (pt)
JP (4) JP5238706B2 (pt)
KR (4) KR100987457B1 (pt)
AU (4) AU2007300814B2 (pt)
BR (4) BRPI0711104A2 (pt)
CA (4) CA2645909C (pt)
MX (4) MX2008012250A (pt)
RU (1) RU2551797C2 (pt)
WO (4) WO2008039041A1 (pt)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577686B2 (en) * 2005-05-26 2013-11-05 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
TWI469133B (zh) * 2006-01-19 2015-01-11 Lg Electronics Inc 媒體訊號處理方法及裝置
JP5199129B2 (ja) * 2006-02-07 2013-05-15 エルジー エレクトロニクス インコーポレイティド 符号化/復号化装置及び方法
JP5238706B2 (ja) * 2006-09-29 2013-07-17 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号のエンコーディング/デコーディング方法及びその装置
EP2082397B1 (en) * 2006-10-16 2011-12-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for multi -channel parameter transformation
AU2007312598B2 (en) * 2006-10-16 2011-01-20 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
JP5023662B2 (ja) * 2006-11-06 2012-09-12 ソニー株式会社 信号処理システム、信号送信装置、信号受信装置およびプログラム
WO2008060111A1 (en) * 2006-11-15 2008-05-22 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
JP5394931B2 (ja) * 2006-11-24 2014-01-22 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の復号化方法及びその装置
EP2102856A4 (en) 2006-12-07 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
US8265941B2 (en) * 2006-12-07 2012-09-11 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
EP2595151A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transcoding apparatus
US8200351B2 (en) * 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
MX2009007412A (es) * 2007-01-10 2009-07-17 Koninkl Philips Electronics Nv Decodificador de audio.
WO2008120933A1 (en) * 2007-03-30 2008-10-09 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
KR100942142B1 (ko) * 2007-10-11 2010-02-16 한국전자통신연구원 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치
JP5883561B2 (ja) * 2007-10-17 2016-03-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ アップミックスを使用した音声符号器
US8219409B2 (en) * 2008-03-31 2012-07-10 Ecole Polytechnique Federale De Lausanne Audio wave field encoding
EP2111060B1 (en) 2008-04-16 2014-12-03 LG Electronics Inc. A method and an apparatus for processing an audio signal
KR101061128B1 (ko) 2008-04-16 2011-08-31 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
WO2009128662A2 (en) * 2008-04-16 2009-10-22 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
JP5174527B2 (ja) * 2008-05-14 2013-04-03 日本放送協会 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
KR20110052562A (ko) * 2008-07-15 2011-05-18 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
JP5258967B2 (ja) * 2008-07-15 2013-08-07 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
KR101614160B1 (ko) 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
RU2495503C2 (ru) * 2008-07-29 2013-10-10 Панасоник Корпорэйшн Устройство кодирования звука, устройство декодирования звука, устройство кодирования и декодирования звука и система проведения телеконференций
US8233629B2 (en) * 2008-09-04 2012-07-31 Dts, Inc. Interaural time delay restoration system and method
WO2010042024A1 (en) * 2008-10-10 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Energy conservative multi-channel audio coding
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
GB2466671B (en) * 2009-01-06 2013-03-27 Skype Speech encoding
GB2466672B (en) * 2009-01-06 2013-03-13 Skype Speech coding
GB2466670B (en) * 2009-01-06 2012-11-14 Skype Speech encoding
GB2466673B (en) * 2009-01-06 2012-11-07 Skype Quantization
GB2466669B (en) * 2009-01-06 2013-03-06 Skype Speech coding
GB2466674B (en) 2009-01-06 2013-11-13 Skype Speech coding
GB2466675B (en) 2009-01-06 2013-03-06 Skype Speech coding
US20100191534A1 (en) * 2009-01-23 2010-07-29 Qualcomm Incorporated Method and apparatus for compression or decompression of digital signals
KR101137360B1 (ko) * 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US8255821B2 (en) * 2009-01-28 2012-08-28 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
WO2010087627A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US8504184B2 (en) 2009-02-04 2013-08-06 Panasonic Corporation Combination device, telecommunication system, and combining method
WO2010091555A1 (zh) * 2009-02-13 2010-08-19 华为技术有限公司 一种立体声编码方法和装置
US8666752B2 (en) * 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
KR101387808B1 (ko) * 2009-04-15 2014-04-21 한국전자통신연구원 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR101123698B1 (ko) 2009-07-30 2012-03-15 삼성전자주식회사 프로세스 카트리지 및 이를 구비한 화상형성장치
US8396577B2 (en) * 2009-08-14 2013-03-12 Dts Llc System for creating audio objects for streaming
KR101599884B1 (ko) * 2009-08-18 2016-03-04 삼성전자주식회사 멀티 채널 오디오 디코딩 방법 및 장치
CA2775828C (en) 2009-09-29 2016-03-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value
US8452606B2 (en) * 2009-09-29 2013-05-28 Skype Speech encoding using multiple bit rates
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화/복호화 장치 및 방법
WO2011071928A2 (en) * 2009-12-07 2011-06-16 Pixel Instruments Corporation Dialogue detector and correction
EP2522015B1 (en) * 2010-01-06 2017-03-08 LG Electronics Inc. An apparatus for processing an audio signal and method thereof
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US10326978B2 (en) * 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
ES2502468T3 (es) * 2010-09-22 2014-10-03 Dolby Laboratories Licensing Corporation Mezcla de transmisión de audio con normalización de nivel de diálogo
KR101429564B1 (ko) * 2010-09-28 2014-08-13 후아웨이 테크놀러지 컴퍼니 리미티드 디코딩된 다중채널 오디오 신호 또는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치 및 방법
GB2485979A (en) * 2010-11-26 2012-06-06 Univ Surrey Spatial audio coding
KR20120071072A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
US9026450B2 (en) * 2011-03-09 2015-05-05 Dts Llc System for dynamically creating and rendering audio objects
KR20120132342A (ko) * 2011-05-25 2012-12-05 삼성전자주식회사 보컬 신호 제거 장치 및 방법
KR101783962B1 (ko) * 2011-06-09 2017-10-10 삼성전자주식회사 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치
US9754595B2 (en) 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
JP5798247B2 (ja) 2011-07-01 2015-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した3dオーディオ作成および表現のためのシステムおよびツール
JP5856295B2 (ja) * 2011-07-01 2016-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム
KR102185941B1 (ko) 2011-07-01 2020-12-03 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법
EP2862370B1 (en) 2012-06-19 2017-08-30 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
JPWO2014007097A1 (ja) 2012-07-02 2016-06-02 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
US10083700B2 (en) 2012-07-02 2018-09-25 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
CN104541524B (zh) 2012-07-31 2017-03-08 英迪股份有限公司 一种用于处理音频信号的方法和设备
WO2014020181A1 (en) 2012-08-03 2014-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
JP6141980B2 (ja) * 2012-08-10 2017-06-07 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 空間オーディオオブジェクト符号化においてオーディオ情報を適応させる装置および方法
US20140114456A1 (en) * 2012-10-22 2014-04-24 Arbitron Inc. Methods and Systems for Clock Correction and/or Synchronization for Audio Media Measurement Systems
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
US9715880B2 (en) 2013-02-21 2017-07-25 Dolby International Ab Methods for parametric multi-channel encoding
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
WO2014165806A1 (en) 2013-04-05 2014-10-09 Dts Llc Layered audio coding and transmission
KR20140123015A (ko) * 2013-04-10 2014-10-21 한국전자통신연구원 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
KR102058619B1 (ko) * 2013-04-27 2019-12-23 인텔렉추얼디스커버리 주식회사 예외 채널 신호의 렌더링 방법
BR112015029132B1 (pt) * 2013-05-24 2022-05-03 Dolby International Ab Método para codificar um mosaico de tempo/frequência de uma cena de áudio, codificador que codifica um mosaico de tempo/frequência de uma cena de áudio, método para decodificar um mosaico de tempo-frequência de uma cena de áudio, decodificador que decodifica um mosaico de tempo-frequência de uma cena de áudio e meio legível em computador.
CN110223702B (zh) 2013-05-24 2023-04-11 杜比国际公司 音频解码系统和重构方法
US9852735B2 (en) 2013-05-24 2017-12-26 Dolby International Ab Efficient coding of audio scenes comprising audio objects
US9892737B2 (en) 2013-05-24 2018-02-13 Dolby International Ab Efficient coding of audio scenes comprising audio objects
EP2830048A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
WO2015012594A1 (ko) * 2013-07-23 2015-01-29 한국전자통신연구원 잔향 신호를 이용한 다채널 오디오 신호의 디코딩 방법 및 디코더
US10178398B2 (en) * 2013-10-11 2019-01-08 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
JP6479786B2 (ja) * 2013-10-21 2019-03-06 ドルビー・インターナショナル・アーベー オーディオ信号のパラメトリック再構成
JP6299202B2 (ja) * 2013-12-16 2018-03-28 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置
WO2015150384A1 (en) 2014-04-01 2015-10-08 Dolby International Ab Efficient coding of audio scenes comprising audio objects
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
US10754925B2 (en) 2014-06-04 2020-08-25 Nuance Communications, Inc. NLU training with user corrections to engine annotations
KR101641645B1 (ko) * 2014-06-11 2016-07-22 전자부품연구원 오디오 소스 분리 방법 및 이를 적용한 오디오 시스템
JP6306958B2 (ja) * 2014-07-04 2018-04-04 日本放送協会 音響信号変換装置、音響信号変換方法、音響信号変換プログラム
WO2016069809A1 (en) * 2014-10-30 2016-05-06 Dolby Laboratories Licensing Corporation Impedance matching filters and equalization for headphone surround rendering
CN111866022B (zh) 2015-02-03 2022-08-30 杜比实验室特许公司 感知质量比会议中原始听到的更高的后会议回放系统
WO2016126819A1 (en) 2015-02-03 2016-08-11 Dolby Laboratories Licensing Corporation Optimized virtual scene layout for spatial meeting playback
US12125492B2 (en) * 2015-09-25 2024-10-22 Voiceage Coproration Method and system for decoding left and right channels of a stereo sound signal
US10366687B2 (en) * 2015-12-10 2019-07-30 Nuance Communications, Inc. System and methods for adapting neural network acoustic models
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US10863297B2 (en) 2016-06-01 2020-12-08 Dolby International Ab Method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position
US10949602B2 (en) 2016-09-20 2021-03-16 Nuance Communications, Inc. Sequencing medical codes methods and apparatus
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
GB201808897D0 (en) * 2018-05-31 2018-07-18 Nokia Technologies Oy Spatial audio parameters
US11445296B2 (en) 2018-10-16 2022-09-13 Sony Corporation Signal processing apparatus and method, and program to reduce calculation amount based on mute information
JP7326824B2 (ja) * 2019-04-05 2023-08-16 ヤマハ株式会社 信号処理装置、及び信号処理方法
KR20240012569A (ko) * 2021-05-27 2024-01-29 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 음향 환경의 인코딩 및 디코딩
CN115497485B (zh) * 2021-06-18 2024-10-18 华为技术有限公司 三维音频信号编码方法、装置、编码器和系统

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3882280A (en) 1973-12-19 1975-05-06 Magnavox Co Method and apparatus for combining digitized information
US5109417A (en) * 1989-01-27 1992-04-28 Dolby Laboratories Licensing Corporation Low bit rate transform coder, decoder, and encoder/decoder for high-quality audio
EP0520068B1 (en) 1991-01-08 1996-05-15 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
US6505160B1 (en) 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
RU2121718C1 (ru) 1998-02-19 1998-11-10 Яков Шоел-Берович Ровнер Портативная музыкальная система для караоке и картридж для нее
US20050120870A1 (en) 1998-05-15 2005-06-09 Ludwig Lester F. Envelope-controlled dynamic layering of audio signal processing and synthesis for music applications
JP3173482B2 (ja) 1998-11-16 2001-06-04 日本ビクター株式会社 記録媒体、及びそれに記録された音声データの音声復号化装置
KR100416757B1 (ko) 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US7020618B1 (en) * 1999-10-25 2006-03-28 Ward Richard E Method and system for customer service process management
US6845163B1 (en) * 1999-12-21 2005-01-18 At&T Corp Microphone array for preserving soundfield perceptual cues
US6351733B1 (en) 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7116787B2 (en) 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US6849794B1 (en) 2001-05-14 2005-02-01 Ronnie C. Lau Multiple channel system
US6658383B2 (en) 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
JP2003186500A (ja) 2001-12-17 2003-07-04 Sony Corp 情報伝達システム、情報符号化装置および情報復号装置
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
RU2316154C2 (ru) 2002-04-10 2008-01-27 Конинклейке Филипс Электроникс Н.В. Кодирование стереофонических сигналов
CN1647156B (zh) 2002-04-22 2010-05-26 皇家飞利浦电子股份有限公司 参数编码方法、参数编码器、用于提供音频信号的设备、解码方法、解码器、用于提供解码后的多声道音频信号的设备
ES2300567T3 (es) 2002-04-22 2008-06-16 Koninklijke Philips Electronics N.V. Representacion parametrica de audio espacial.
JP4187719B2 (ja) * 2002-05-03 2008-11-26 ハーマン インターナショナル インダストリーズ インコーポレイテッド マルチチャネル・ダウンミキシング装置
WO2004008806A1 (en) 2002-07-16 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
JP2004064363A (ja) 2002-07-29 2004-02-26 Sony Corp デジタルオーディオ処理方法、デジタルオーディオ処理装置およびデジタルオーディオ記録媒体
AU2003219428A1 (en) 2002-10-14 2004-05-04 Koninklijke Philips Electronics N.V. Signal filtering
US7395210B2 (en) 2002-11-21 2008-07-01 Microsoft Corporation Progressive to lossless embedded audio coder (PLEAC) with multiple factorization reversible transform
US9002716B2 (en) 2002-12-02 2015-04-07 Thomson Licensing Method for describing the composition of audio signals
US20070038439A1 (en) 2003-04-17 2007-02-15 Koninklijke Philips Electronics N.V. Groenewoudseweg 1 Audio signal generation
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
WO2005081229A1 (ja) 2004-02-25 2005-09-01 Matsushita Electric Industrial Co., Ltd. オーディオエンコーダ及びオーディオデコーダ
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
EP1768107B1 (en) 2004-07-02 2016-03-09 Panasonic Intellectual Property Corporation of America Audio signal decoding device
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
JP4466242B2 (ja) 2004-07-13 2010-05-26 株式会社サタケ ペレット選別機
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
EP1817767B1 (en) 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
DE102005008342A1 (de) 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Speichern von Audiodateien
US8577686B2 (en) 2005-05-26 2013-11-05 Lg Electronics Inc. Method and apparatus for decoding an audio signal
EP1946294A2 (en) 2005-06-30 2008-07-23 LG Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8359341B2 (en) 2005-12-10 2013-01-22 International Business Machines Corporation Importing content into a content management system using an e-mail application
WO2007080212A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Controlling the decoding of binaural audio signals
KR101294022B1 (ko) * 2006-02-03 2013-08-08 한국전자통신연구원 공간큐를 이용한 다객체 또는 다채널 오디오 신호의 랜더링제어 방법 및 그 장치
US9009057B2 (en) 2006-02-21 2015-04-14 Koninklijke Philips N.V. Audio encoding and decoding to generate binaural virtual spatial signals
DE102007003374A1 (de) 2006-02-22 2007-09-20 Pepperl + Fuchs Gmbh Induktiver Näherungsschalter sowie Verfahren zum Betreiben eines solchen
KR101001835B1 (ko) 2006-03-28 2010-12-15 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 멀티 채널 오디오 재구성에서 신호 셰이핑을 위한 개선 방법
BRPI0713236B1 (pt) * 2006-07-07 2020-03-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Conceito para combinação de múltiplas fontes de áudio parametricamente codificadas
JP5281575B2 (ja) * 2006-09-18 2013-09-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオオブジェクトのエンコード及びデコード
JP5238706B2 (ja) * 2006-09-29 2013-07-17 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号のエンコーディング/デコーディング方法及びその装置
US8295494B2 (en) 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
TW200930042A (en) * 2007-12-26 2009-07-01 Altek Corp Method for capturing image

Also Published As

Publication number Publication date
AU2007300810A1 (en) 2008-04-03
US9792918B2 (en) 2017-10-17
EP2071564A1 (en) 2009-06-17
MX2008012315A (es) 2008-10-10
US20090164222A1 (en) 2009-06-25
AU2007300812A1 (en) 2008-04-03
JP2010505140A (ja) 2010-02-18
CA2646045C (en) 2012-12-11
WO2008039043A1 (en) 2008-04-03
RU2551797C2 (ru) 2015-05-27
JP5232789B2 (ja) 2013-07-10
AU2007300814A1 (en) 2008-04-03
KR20090009842A (ko) 2009-01-23
US20140303985A1 (en) 2014-10-09
CA2645910A1 (en) 2008-04-03
EP2071564A4 (en) 2009-09-02
KR20090013178A (ko) 2009-02-04
BRPI0711104A2 (pt) 2011-08-23
US7979282B2 (en) 2011-07-12
EP2070080A1 (en) 2009-06-17
MX2008012250A (es) 2008-10-07
KR100987457B1 (ko) 2010-10-13
US20160314793A1 (en) 2016-10-27
US20080140426A1 (en) 2008-06-12
WO2008039041A1 (en) 2008-04-03
AU2007300814B2 (en) 2010-05-13
RU2010141970A (ru) 2012-04-20
KR20090013177A (ko) 2009-02-04
US7987096B2 (en) 2011-07-26
KR101069266B1 (ko) 2011-10-04
MX2008012246A (es) 2008-10-07
AU2007300812B2 (en) 2010-06-10
EP2070081A1 (en) 2009-06-17
US8504376B2 (en) 2013-08-06
US8762157B2 (en) 2014-06-24
EP2070080A4 (en) 2009-10-14
CA2645909A1 (en) 2008-04-03
BRPI0711102A2 (pt) 2011-08-23
AU2007300813A1 (en) 2008-04-03
JP2010505141A (ja) 2010-02-18
EP2071563A1 (en) 2009-06-17
CA2646045A1 (en) 2008-04-03
AU2007300813B2 (en) 2010-10-14
CA2645910C (en) 2015-04-07
US20110196685A1 (en) 2011-08-11
JP5238706B2 (ja) 2013-07-17
WO2008039042A1 (en) 2008-04-03
EP2070081A4 (en) 2009-09-30
MX2008012251A (es) 2008-10-07
CA2645908A1 (en) 2008-04-03
JP5238707B2 (ja) 2013-07-17
US20090164221A1 (en) 2009-06-25
US8625808B2 (en) 2014-01-07
BRPI0711185A2 (pt) 2011-08-23
JP2010505142A (ja) 2010-02-18
CA2645909C (en) 2012-12-11
KR20090026121A (ko) 2009-03-11
CA2645908C (en) 2013-11-26
AU2007300810B2 (en) 2010-06-17
KR101065704B1 (ko) 2011-09-19
US20090157411A1 (en) 2009-06-18
US9384742B2 (en) 2016-07-05
JP4787362B2 (ja) 2011-10-05
WO2008039039A1 (en) 2008-04-03
JP2010505328A (ja) 2010-02-18
EP2071563A4 (en) 2009-09-02

Similar Documents

Publication Publication Date Title
BRPI0710923A2 (pt) métodos e aparelhagens para codificação e decodificação de sinais de áudio orientados a objeto
CN101479786A (zh) 用于编码和解码基于对象的音频信号的方法和装置
RU2455708C2 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов

Legal Events

Date Code Title Description
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 8A ANUIDADE.

B08H Application fees: decision cancelled [chapter 8.8 patent gazette]

Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2326 DE 04/08/2015.

B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]
B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]