BRPI0616745A2

BRPI0616745A2 - codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável

Info

Publication number: BRPI0616745A2
Application number: BRPI0616745-4A
Authority: BR
Inventors: Peng Yin; Yeping Su; Christina Gomila
Original assignee: Thomson Licensing
Priority date: 2005-10-19
Filing date: 2006-10-17
Publication date: 2011-06-28
Also published as: MY159176A; WO2007047736A3; JP2009513074A; JP5587552B2; US20100165077A1; CN101292538B; KR101475527B1; CN101292538A; EP1946563A2; KR20080063323A; US9131247B2; WO2007047736A2

Abstract

CODIFICAçãO/DECODIFICAçãO DE VìDEO COM MúLTIPLAS VISUALIZAçõES USANDO CODIFICAçãO/DECODIFICAçãO DE VìDEO ESCALONAVEL. Trata-se de métodos e aparelhos para codificação de vídeo estereoscópico usando codificação de vídeo escalonável. Um codificador de vídeo escalonável inclui um codificador (100) para codificar pelo menos duas visualizações correspondentes ao conteúdo de video com múltiplas visualizações codificando uma visualização específica de pelo menos uma das duas visualizações como uma camada de base, e codificando cada uma de pelo menos uma outra visualização das pelo menos duas visualizações como uma camada de aperfeiçoamento usando uma predição a partir de uma camada inferior correspondendo a pelo menos uma dentre a visualização especifica e a pelo menos uma outra visualização. As pelo menos duas visualizações são codificadas com base em uma seleção dentre pelo menos duas das técnicas de escalabilidade temporal, espacial e de razão sinal-ruído.

Description

"CODIFICAÇÃO/DECODIFICAÇÃO DE VÍDEO COM MÚLTIPLASVISUALIZAÇÕES USANDO CODIFICAÇÃO/DECODIFICAÇÃO DE VÍDEO ESCALONÁVEL"

REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS

Este pedido reivindica o beneficio do Pedido USProvisório de No. de Série 60/728.141, depositado em 19 deoutubro de 2005 e intitulado "METHOD AND APPARATUS FORSTEREOSCOPIC VIDEO USING SCALABLE VIDEO CODEC", incorporado aeste documento na integra e a titulo de referência.

CAMPO DA INVENÇÃO

Em geral, a presente invenção refere-se à codificaçãoe decodificação de videos e, mais especificamente, a um métodoe aparelho para Codificação/Decodificação de Video com Múl-tiplas Visualizações (MVC) usando codificação/decodificação devídeo escalonável.

ANTECEDENTES DA INVENÇÃO

Os vídeos estereoscópicos, também chamados de vídeostridimensionais (3-D) , criam a ilusão de profundidade nasimagens exibidas. Um método para gerar percepção de profundidadeconsiste em exibir duas imagens bidimensionais (2-D) diferentes,em que cada imagem representa duas perspectivas do mesmo objeto,de modo similar às perspectivas que ambos os olhos recebemnaturalmente sob visão binocular.

Com o advento de vários meios de exibição estere-oscópicos de alta qualidade no mercado, procura-se oferecer umasolução de compactação para vídeos estereoscópicos com eficáciade codificação/decodificação superior e com complexidade decodificação razoável.Nos últimos anos, muitos esforços foram colocados emprojetos de métodos eficazes para a compactação de vídeosestereoscópicos. Os métodos de compactação monoscópica con-vencionais podem ser aplicados de forma independente às vi-sualizações esquerda e direita de um par estéreo de imagens.Entretanto, taxas de compactação maiores podem ser atingidas sea alta correlação entre visualizações for aproveitada.

Com respeito a uma abordagem da técnica anterior, emque ambas as visualizações de um par de imagens estereoscópicassão codificadas, um Perfil com múltiplas visualizações (MVP) foi

definido no padrão Grupo de Peritos em Imagem em Movimento-2(MPEG-2) da Organização Internacional de Normalização Téc-nica/Comissão Eletrotécnica Internacional (ISO/IEC) paratransmitir um par de sinais de vídeo. 0 MVP se baseia em umaabordagem de representação de sinais com múltiplas camadas, demodo que uma visualização (geralmente a visualização esquerda)seja designada para uma camada base e a outra visualização sejadesignada para uma camada de aperfeiçoamento. A codifica-ção/decodificação monoscópica é aplicada à camada base com asmesmas ferramentas que o Perfil Principal (MP - "Main Profile") .A camada de aperfeiçoamento é codificada/decodificada usandoferramentas de escalabilidade temporal e uma predição híbridados campos de disparidade e movimento.

Nos métodos da técnica anterior relacionados aopadrão de Codificação/Decodificação de Vídeo Avançada Parte 10(AVC) do Grupo de Peritos em Imagens em Movimento-4 (MPEG-4) daOrganização Internacional de Normalização Técnica/ComissãoEletrotécnica Internacional (ISO/IEC) /padrão H.264 da UniãoInternacional de Telecomunicações, Setor de Telecomunicações(ITU-T) (doravante denominado "padrão MPEG4/H.264" ou sim-plesmente "padrão H.264") , a codificação/decodificação de vídeoestereoscópico pode ser realizada de duas formas diferentes: (i)como um caso específico de codificação/decodificação de imagensentrelaçadas, em que todos os campos de uma paridade específicasão designados para a visualização esquerda e todos os camposda paridade oposta são considerados como a visualização direitado conteúdo de visualização estéreo; ou, como alternativa, (ii)pela alternação de quadros das visualizações esquerda e direitaa fim de criar uma única seqüência de vídeo monoscópico. Umamensagem de informações suplementares de aperfeiçoamento (SEI)de estereoscopia oferece uma indicação ao decodificador quantoa se a seqüência de vídeo codificado representa ou não conteúdoestereoscópico e a qual método foi usado para codificar oconteúdo correspondente.

Esses métodos previamente conhecidos requerem mo-dificações mínimas nas técnicas de codificação/decodificaçãomonoscópica existentes. No entanto, demonstram uma capacidadelimitada em reduzir a redundância existente entre as duasvisualizações em um par estereoscópico. Como resultado, acodificação de visualização estéreo resulta em uma grandesobrecarga se comparada com a codificação de uma única vi-sualização monoscópica. Esse problema tem impedido a expansãoda estereoscopia para aplicativos de consumo com transmissão delargura de banda limitada.

Outros métodos da técnica anterior incluem métodos emque a codificação é realizada para uma visualização somada dealgumas "informações 3-D adicionais". Essa abordagem maissimples e geral para codificar/decodificar conteúdo estere-oscópico consiste em codificar uma única visualização somada dealgumas informações 3-D adicionais, permitindo que o receptorprocesse a segunda visualização do par estereoscópico. Tra-dicionalmente, as informações 3-D transmitidas são repre-sentadas por um mapa de profundidade e/ou paridade. Um mapa deprofundidade inclui uma representação de imagem 2-D da cena 3-D,para a qual é designado um valor de profundidade para cada pixel.Diferenças entre valores de pixel correspondem a diferenças naprofundidade da cena 3D. Não raro, os dados de profundidade sãocodificados como um único fluxo de video do canal de luminância.

No MPEG-4 Parte 2, a sintaxe de objeto de video incluios assim chamados componentes auxiliares múltiplos (MAC), quesão codificados como imagens de nivel de cinza usando DCT comcompensação de movimento. Os vetores de movimento de um objetode video serão usados para a compensação de movimento de seuscomponentes auxiliares. Uma utilidade dos componentes auxi-liares é codificar/decodificar dados de mapa de profundidade oudisparidade. No entanto, há a restrição de que os componentesauxiliares devem possuir o mesmo tamanho que o componente deluminância do objeto de video. 0 método anterior apresenta umdesempenho aperfeiçoado em comparação ao MPEG-2 MVP. No entanto,o padrão MPEG-4 Parte 2 não foi implementado com sucesso naindústria por causa dos ganhos de codificação/decodificaçãosuperiores do MPEG-4 parte 10 e da alta complexidade dos métodosde codificação do objeto direcionado proposto.

SUMÁRIO DA INVENÇÃOEsses e outros obstáculos e desvantagens da técnicaanterior são tratados pela presente invenção, que é direcionadaa um método e aparelho para Codificação/Decodificação de Videocom Múltiplas Visualizações (MVC) usando codifica-ção/decodificação de video escalonável.

De acordo com um aspecto dos presentes princípios, éproposto um codificador de vídeo escalonável. O codificador devídeo escalonável inclui um codificador para codificar pelomenos duas visualizações correspondentes ao conteúdo de vídeocom múltiplas visualizações pela codificação de uma visua-lização específica de pelo menos uma das duas visualizações comouma camada de base, e pela codificação de cada uma de pelo menosuma outra visualização das pelo menos duas visualizações comouma camada de aperfeiçoamento usando uma predição a partir deuma camada inferior correspondente a pelo menos uma dentre avisualização específica e a pelo menos uma outra visualização.

As pelo menos duas visualizações são codificadas combase em uma seleção dentre pelo menos duas das técnicas deescalabilidade temporal, espacial e de razão sinal-ruído.

De acordo com um aspecto dos presentes princípios, éproposto um método para codificação de vídeo escalonável. 0método inclui codificar pelo menos duas visualizações cor-respondentes ao conteúdo de vídeo com múltiplas visualizaçõespela codificação de uma visualização específica das pelo menosduas visualizações como uma camada de base, e pela codificaçãode cada uma de pelo menos uma outra visualização das pelo menosduas visualizações como uma camada de aperfeiçoamento, usandouma predição a partir de uma camada inferior correspondente apelo menos uma dentre a visualização especifica e a pelo menosuma outra visualização.

As pelo menos duas visualizações são codificadas combase em uma seleção dentre pelo menos duas das técnicas deescalabilidade temporal, espacial e de razão sinal-ruido.

De acordo com ainda outro aspecto dos presentesprincípios, é proposto um decodificador de video escalonávelpara decodificação de video escalonável . 0 decodificador devideo escalonável inclui um decodif icador para decodificar pelomenos duas visualizações correspondentes ao conteúdo de videocom múltiplas visualizações pela decodificação de uma visu-alização especifica das pelo menos duas visualizações como umacamada de base, e pela decodif icação de cada uma de pelo menosuma outra visualização das pelo menos duas visualizações comoúma camada de aperfeiçoamento, usando uma predição a partir deuma camada inferior correspondente a pelo menos uma dentre avisualização especifica e a pelo menos uma outra visualização.

As pelo menos duas visualizações são decodificadas com base emuma seleção dentre pelo menos duas das técnicas de escala-bilidade temporal, espacial e de razão sinal-ruido.

De acordo com ainda outro aspecto dos presentesprincípios, é proposto um método para decodificação de vídeoescalonável . O método inclui decodificar pelo menos duasvisualizações correspondentes ao conteúdo de vídeo com múl-tiplas visualizações pela decodificação de uma visualizaçãoespecífica das pelo menos duas visualizações como uma camada debase, e pela decodif icação de cada uma de pelo menos uma outravisualização das pelo menos duas visualizações como uma camadade aperfeiçoamento, usando uma predição a partir de uma camadainferior correspondente a pelo menos uma dentre a visualizaçãoespecifica e a pelo menos uma outra visualização. As pelo menosduas visualizações são decodificadas com base em uma seleçãodentre pelo menos duas das técnicas de escalabilidade temporal,espacial e de razão sinal-ruido.

De acordo com um aspecto adicional dos presentesprincípios, é proposta uma estrutura de sinal de vídeo paracodificação de vídeo escalonável . A estrutura de sinal de vídeoinclui uma visualização específica de pelo menos duas visu-alizações codificada como uma camada de base, e pelo menos umaoutra visualização das pelo menos duas visualizações codificadacomo uma camada de aperfeiçoamento, usando uma predição a partirde uma camada inferior correspondente a pelo menos uma dentrea visualização específica e a pelo menos uma outra visualização.As pelo menos duas visualizações correspondem ao conteúdo devídeo com múltiplas visualizações e são codificadas com base emuma seleção dentre pelo menos duas das técnicas de escala-bilidade temporal, espacial e de relação sinal ruído.

De acordo com outro aspecto adicional dos presentesprincípios, é proposto um meio de armazenamento com dados desinal de vídeo escalonável codificados nele. Os dados de sinalde vídeo escalonável incluem uma visualização específica de pelomenos duas visualizações codificada como uma camada de base, epelo menos uma outra visualização das pelo menos duas visu-alizações codificada como uma camada de aperfeiçoamento usandouma predição a partir de uma camada inferior correspondente apelo menos uma dentre a visualização específica e a pelo menosuma outra visualização. As pelo menos duas visualizaçõescorrespondem ao conteúdo de video com múltiplas visualizaçõese são codificadas com base em uma seleção dentre pelo menos duasdas técnicas de escalabilidade temporal, espacial e de relaçãosinal ruido.

De acordo com um aspecto adicional dos presentesprincípios, é proposto um codificador de vídeo escalonável. 0codificador de vídeo escalonável inclui um codificador paracodificar uma primeira visualização estereoscópica como umacamada de base e codificar pelo menos um dentre um mapa deprofundidade e um mapa de disparidade como uma camada deaperfeiçoamento usando uma predição da primeira visualizaçãoestereoscópica. Tanto a primeira visualização estereoscópicaquanto o pelo menos um dentre o mapa de profundidade e o mapade disparidade correspondem a um conteúdo estereoscópicoespecífico e são codificados com base em uma seleção dentre pelomenos uma dentre as duas das técnicas de escalabilidade temporal,espacial e relação sinal-ruído.

De acordo com um aspecto dos presentes princípios, éproposto um método para codificação de vídeo escalonável . 0método inclui codificar uma primeira visualização estereos-cópica como uma camada de base e codificar pelo menos um dentreum mapa de profundidade e um mapa de disparidade como uma camadade aperfeiçoamento usando uma predição a partir da primeiravisualização estereoscópica. Tanto a primeira visualizaçãoestereoscópica quanto o pelo menos um dentre o mapa de pro-fundidade e o mapa de disparidade correspondem a um conteúdoestereoscópico específico e são codificados com base em umaseleção dentre pelo menos duas das técnicas de escalabilidadetemporal, espacial e relação sinal-ruido.

De acordo com ainda outro aspecto dos presentesprincípios, é proposto um decodificador de vídeo escalonável.

0 decodificador de vídeo escalonável inclui um decodificadorpara decodificar uma primeira visualização estereoscópica apartir de uma camada de base e decodificar pelo menos um dentreum mapa de profundidade e um mapa de disparidade a partir de umacamada de aperfeiçoamento usando uma predição a partir daprimeira visualização estereoscópica. Cada um dentre a primeiravisualização estereoscópica e o pelo menos um dentre o mapa deprofundidade e o mapa de disparidade corresponde a um conteúdoestereoscópico específico e é decodificado com base em umaseleção dentre pelo menos duas das técnicas de escalabilidadetemporal, espacial e relação sinal-ruído.

De acordo com ainda outro aspecto dos presentesprincípios, é proposto um método para decodificação de vídeoescalonável. O método inclui decodificar uma primeira vi-sualização estereoscópica a partir de uma camada de base edecodificar pelo menos um dentre um mapa de profundidade e ummapa de disparidade a partir de uma camada de aperfeiçoamentousando uma predição a partir da primeira visualização este-reoscópica. Tanto a primeira visualização estereoscópica quantoo pelo menos um dentre o mapa de profundidade e o mapa dedisparidade correspondem a um conteúdo estereoscópico espe-cífico e são decodificados com base em uma seleção dentre pelomenos duas das técnicas de escalabilidade temporal, espacial erelação sinal-ruído.De acordo com um aspecto ainda adicional dos presentesprincípios, é proposta uma estrutura de sinal de vídeo paracodificação de vídeo escalonável . A estrutura de sinal de vídeoinclui uma primeira visualização estereoscópica codificada comouma camada de base e pelo menos um dentre um mapa de profundidadee um mapa de disparidade codificado como uma camada de a-perfeiçoamento para permitir uma predição a partir da primeiravisualização estereoscópica. Tanto a primeira visualizaçãoestereoscópica quanto o pelo menos um dentre o mapa de pro-fundidade e o mapa de disparidade correspondem a um conteúdoestereoscópico específico e são codificados com base em umaseleção dentre pelo menos duas das técnicas de escalabilidadetemporal, espacial e relação sinal-ruído.

De acordo com um aspecto adicional dos presentes.princípios, é proposto um meio de armazenamento com dados desinal de vídeo escalonável codificados nele. Os dados de sinalde vídeo escalonável incluem uma primeira visualização es-tereoscópica codificada como uma camada de base e pelo menos umdentre um mapa de profundidade e um mapa de disparidade co-dificado como uma camada de aperfeiçoamento para permitir umapredição a partir da primeira visualização estereoscópica.Tanto a primeira visualização estereoscópica quanto o pelo menosum dentre o mapa de profundidade e o mapa de disparidadecorrespondem a um conteúdo estereoscópico específico e sãocodificados com base em uma seleção entre pelo menos duas dastécnicas de escalabilidade temporal, espacial e relação si-nal-ruído .

Esses e outros aspectos, características e vantagensda presente invenção transparecerão por meio da descriçãodetalhada das concretizações exemplificativas a seguir, quedeverá ser lida junto com os desenhos em anexo.

BREVE DESCRIÇÃO DOS DESENHOS

A presente invenção pode ser mais bem compreendida deacordo com as figuras exemplificativas a seguir, em quê:

A FIG. 1 ilustra um diagrama de blocos para umcodificador Joint Scalable Video Model (JSVM) 3.0, ao qual ospresentes princípios podem ser aplicados;

A FIG. 2 ilustra um diagrama de blocos para umdecodificador exemplificativo, ao qual os presentes princípiospodem ser aplicados;

A FIG. 3 é um diagrama para um mapeamento de ma-croblocos exemplificativo para predição intercamadas na es-calabilidade espacial SVC para um fator de escalonamento iguala 1/2 para cada dimensão;

A FIG. 4 é um diagrama para um método de codificaçãode vídeo escalonável capaz de codificar um par de visualizaçõesestereoscópicas de conteúdo estereoscópico de acordo com umaprimeira concretização exemplificativa dos presentes prin-cípios ;

A FIG. 5 é um diagrama para um método de decodif icaçãode vídeo escalonável capaz de decodificar um par de visua-lizações estereoscópicas de conteúdo estereoscópico de acordocom a primeira concretização exemplificativa dos presentesprincípios;

A FIG. 6 é um diagrama para um método de codificaçãode vídeo escalonável capaz de codificar um par de visualizaçõesestereoscópicas de conteúdo estereoscópico de acordo com umasegunda concretização exemplificativa dos presentes princípios;

A FIG. 7 é um diagrama para um método de decodif icaçãode vídeo escalonável capaz de decodificar um par de visua-lizações estereoscópicas de conteúdo estereoscópico de acordocom a segunda concretização exemplificativa dos presentesprincípios;

A FIG. 8 é um método de codificação de vídeo es-calonável para codificar um macrobloco em uma camada de a-perfeiçoamento de acordo com uma concretização exemplificativados presentes princípios; e

A FIG. 9 é um método de decodificação de vídeoescalonável para decodificar um macrobloco em uma camada deaperfeiçoamento de acordo com uma concretização exemplif icativados presentes princípios.

DESCRIÇÃO DETALHADA

A presente invenção está voltada para um método eaparelho para Codificação de Vídeo com Múltiplas Visualizações(MVC) usando codificação de vídeo escalonável. Para finsilustrativos, as concretizações exemplificativas da presenteinvenção são descritas com respeito a conteúdos de vídeoestereoscópico (com duas visualizações). No entanto, dados osensinamentos dos presentes princípios apresentados nestedocumento, os versados nesta técnica e em técnicas relacionadasserão capazes de expandir facilmente os presentes princípios aoconteúdo de vídeo com múltiplas visualizações, correspondentea duas ou mais visualizações, sem desviar-se do âmbito dapresente invenção.

A presente descrição ilustra os princípios dapresente invenção.Sendo assim, apreciar-se-á que os versados natécnica serão capazes de descobrir várias combinações que,embora não explicitamente descritas ou ilustradas neste do-cumento, concretizam os princípios da invenção e estão incluídasdentro de sua essência e âmbito.

Todos os exemplos e linguagens condicionais relatadosno presente documento são concebidos para propósitos peda-gógicos a fim de auxiliar o leitor a compreender os princípiosda invenção e os conceitos contribuídos pelo inventor parafavorecer a técnica, e devem ser interpretados sem restriçõesa tais exemplos e condições especificamente relatados.

Além disso, todas as declarações, neste documento,relatando princípios, aspectos e concretizações da invenção,bem como exemplos específicos dela, devem abranger tantoequivalentes estruturais quanto funcionais dela. Além disso,pretende-se que tais equivalentes incluam tanto equivalentesatualmente conhecidos quanto equivalentes desenvolvidos nofuturo, isto é, quaisquer elementos desenvolvidos que de-sempenhem a mesma função, independente da estrutura.

Sendo assim, por exemplo, será apreciado pelosversados na técnica que os diagramas de blocos apresentadosneste documento representam visualizações conceituais dosistema de circuitos ilustrativo que concretiza os princípiosda invenção. De maneira semelhante, apreciar-se-á que quaisquerfluxogramas, diagramas de fluxo de dados, diagramas de transiçãode estados, pseudocódigos, entre outros, representam váriosprocessos que podem ser substancialmente representados em meioslegíveis por computador e, portanto, executados por um com-putador ou processador, quer tal computador ou processador sejailustrado explicitamente ou não.

As funções dos vários elementos ilustrados nasfiguras podem ser realizadas pelo uso de hardware dedicado, bemcomo de hardware capaz de executar softwares relacionados aosoftware apropriado. Quando realizadas por um processador, asfunções podem ser realizadas por um único processador dedicado,por um único processador compartilhado ou por vários pro-cessadores individuais, alguns dos quais podem ser compar-tilhados. Além disso, o uso explícito do termo "processador" ou"controlador" não deve ser interpretado como referência ex-clusiva a hardware capaz de executar softwares e pode incluirimplicitamente, sem restrição, hardware processador de sinaisdigitais ("DSP"), memória somente para leitura ("ROM") paraarmazenar softwares, memória de acesso aleatório ("RAM") earmazenamentos não voláteis.

Também podem ser incluídos outros hardwares, con-vencionais e/ou personalizados. De maneira semelhante,quaisquer botões ilustrados nas figuras são meramente con-ceituais. Sua função pode ser realizada pela operação de lógicade programa, por meio de lógica dedicada, pela interação decontrole de programa e lógica dedicada, ou até mesmo manualmente,a técnica específica sendo selecionável pelo implementador comomais especificamente compreendido com base no contexto.

Nas reivindicações deste documento, qualquer ele-mento expresso como um meio para desempenhar uma função es-pecifica tem a intenção de abranger qualquer forma de de-sempenhar tal função, incluindo, por exemplo: a) uma combinaçãode elementos de circuito que desempenham tal função ou b)softwares de qualquer forma, incluindo, portanto, firmwares,microcódigos ou similares, combinados como sistema de circuitosapropriado para executar tal software para desempenhar a função.

A invenção, conforme definida por tais reivindicações, consisteno fato de que as funcionalidades oferecidas pelos vários meiosrelatados são combinadas, e unidas da maneira que as reivin-dicações prescrevem. Assim, considera-se que qualquer meiocapaz de oferecer tais funcionalidades é equivalente aosilustrados no presente documento.

Com relação à FIG. 1, um codificador Joint ScalableVideo Model Version 3.0 (doravante referido como "JSVM3.0")exemplificativo, ao qual a presente invenção pode ser aplicada,é, em geral, indicado pelo número de referência 100. 0 co-dificador JSVM3.0 100 usa três camadas espaciais e filtragemtemporal com compensação de movimento. 0 codificador JSVM 100inclui um decimador bidirecional (2D) 104, um decimador 2D 106e um módulo de filtragem temporal com compensação de movimento(MCTF) 108, cada um contendo uma entrada para receber dados desinal de vídeo 102.

Uma saída do decimador 2D 106 é conectada, em co-municação de sinais, a uma entrada de um módulo MCTF 110. Umaprimeira saída do módulo MCTF 110 é conectada, em comunicaçãode sinais,· a uma entrada de um codificador de movimento 112 euma segunda saída do módulo MCTF 110 é conectada, em comunicaçãode sinais, a uma entrada de" um módulo de predição 116. Umaprimeira saida do codificador de movimento 112 é conectada, emcomunicação de sinais, a uma primeira entrada de um multi-plexador 114. Uma segunda saida do codificador de movimento 112é conectada, em comunicação de sinais, a uma primeira entradade um codificador de movimento 124. Uma primeira saida do módulode predição 116 é conectada, em comunicação de sinais, a umaentrada de um transformador espacial 118. Uma saida dotransformador espacial 118 é conectada, em comunicação de sinais,a uma segunda entrada do multiplexador 114. Uma segunda saidado módulo de predição 116 é conectada, em comunicação de sinais,a uma entrada de um interpolador 120. Uma saida do interpoladoré conectada, em comunicação de sinais, a uma primeira entradade um módulo de predição 122. Uma primeira saida do módulo depredição 122 é conectada, em comunicação de sinais, a uma entradade um transformador espacial 126. Uma saida do transformadorespacial 126 é conectada, em comunicação de sinais, à segundaentrada do multiplexador 114. Uma segunda saida do módulo depredição 122 é conectada, em comunicação de sinais, a uma entradade um interpolador 130. Uma saida do interpolador 130 é conectada,em comunicação de sinais, a uma primeira entrada de um módulode predição 134 . Uma saida do módulo de predição 134 é conectada,em comunicação de sinais, a um transformador espacial 136. Umasaida do transformador espacial é conectada, em comunicação desinais, à segunda entrada de um multiplexador 114.

Uma saida do decimador 2D 104 é conectada, em co-municação de sinais, a uma entrada de um módulo MCTF 128. Umaprimeira saida do módulo MCTF 128 é conectada, em comunicaçãode sinais, a uma segunda entrada do codificador de movimento 124.Uma primeira saida do codificador de movimento 124 é conectada,em comunicação de sinais, à primeira entrada do multiplexador114. Uma segunda saída do codificador de movimento 124 éconectada, em comunicação de sinais, a uma primeira entrada deum codificador de movimento 132 . Uma segunda saída do módulo MCTF128 é conectada, em comunicação de sinais, a uma segunda entradado módulo de predição 122.

Uma primeira saída do módulo MCTF 108 é conectada, emcomunicação de sinais, a uma segunda entrada do codificador demovimento 132. Uma saída do codificador de movimento 132 éconectada, em comunicação de sinais, à primeira entrada domultiplexador 114. Uma segunda saída do módulo MCTF 108 éconectada, em comunicação de sinais, a uma segunda entrada domódulo de predição 134. Uma saída do multiplexador 114 forneceum fluxo de bits de saída 138.

Para cada camada espacial, é realizada uma decom-posição temporal com compensação de movimento. Essa decom-posição propicia escalabilidade temporal. As informações demovimento das camadas espaciais inferiores podem ser usadas parapredição de movimento nas camadas superiores. Para a codificaçãode textura, a predição espacial entre camadas espaciais su-cessivas pode ser aplicada para remover redundâncias. O sinalresidual resultante da predição intra ou da predição inter comcompensação de movimento é codificado em transformada. Umresidual da camada de base de qualidade oferece qualidade dereconstrução mínima em cada camada espacial. Essa camada de basede qualidade pode ser codificada em um fluxo compatível com opadrão H.264, se nenhuma predição intercamadas for aplicada.Para escalabilidade de qualidade, as camadas de aperfeiçoamentode qualidade são adicionalmente codificadas.

Essas camadas de aperfeiçoamento podem ser escolhidastanto para oferecer escalabilidade de qualidade de granula-ridade (SNR) fina ou grossa.

Voltando-se para a FIG. 2, um codificador de videoescalonável exemplificativo, ao qual a presente invenção podeser aplicada, é indicado, em geral, pelo número de referência200. Uma entrada de um demultiplexador 202 é disponível como umaentrada para o decodificador de vídeo escalonável 200 parareceber um fluxo de bits escalonável. Uma primeira saída dodemultiplexador 202 é conectada, em comunicação de sinais, a umaentrada de um decodificador de entropia escalonável SNR detransformada espacial inversa 204. Uma primeira saída dodecodificador de entropia escalonável SNR de transformadaespacial inversa 204 é conectada, em comunicação de sinais, auma primeira entrada de um módulo de predição 206. Uma saída domódulo de predição 206 é conectada, em comunicação de sinais,a uma primeira entrada de um módulo MCTF inverso 208.

Uma segunda saída do decodificador de entropiaescalonável SNR de transformada espacial inversa 204 é conectada,em comunicação de sinais, a uma primeira entrada de um de-codificador de vetor de movimento (MV) 210. Uma saída dodecodificador MV 210 é conectada, em comunicação de sinais, auma segunda entrada de um módulo MCTF inverso 208.

Uma segunda saída do demultiplexador 202 é conectada,em comunicação de sinais, a uma entrada de um decodif icador deentropia escalonável SNR de transformada espacial inversa 212.Uma primeira saída do decodificador de entropia escalonável SNRde transformada espacial inversa 212 é conectada, em comunicaçãode sinais, a uma primeira entrada de um módulo de predição 214.Uma primeira saída do módulo de predição 214 é conectada, emcomunicação de sinais, a uma entrada de um módulo de interpolação216. Uma saída do módulo de interpolação 216 é conectada, emcomunicação de sinais, a uma segunda entrada do módulo depredição 206. Uma saída do módulo de predição 214 é conectada,em comunicação de sinais, a uma primeira entrada de um móduloMCTF inverso 218.

Uma segunda saída do decodificador de entropiaescalonável SNR de transformada espacial inversa 212 é conectada,em comunicação de sinais, a uma primeira entrada de um de-codificador MV 220. Uma primeira saída do decodificador MV 220é conectada, em comunicação de sinais, a uma segunda entrada dodecodificador MV 210. Uma segunda saída do decodificador MV 220é conectada, em comunicação de sinais, a uma segunda entrada domódulo MCTF inverso 218.

Uma terceira saída do demultiplexador 202 é conectada,em comunicação de sinais, a uma entrada de um decodif icador deentropia escalonável SNR de transformada espacial inversa 222.Uma primeira saída do decodificador de entropia escalonável SNRde transformada espacial inversa 222 é conectada, em comunicaçãode sinais, a uma entrada de um módulo de predição 224. Umaprimeira saída do módulo de predição 224 é conectada, emcomunicação de sinais, a uma entrada de um módulo de interpolação226. Uma saída do módulo de interpolação 226 é conectada, emcomunicação de sinais, a uma segunda entrada do módulo depredição 214.

Uma saída do módulo de predição 224 é conectada, emcomunicação de sinais, a uma primeira entrada de um módulo MCTFinverso 228. Uma segunda saída do decodificador de entropiaescalonável SNR de transformada espacial inversa 222 é conectada,em comunicação de sinais, a uma entrada de um decodif icador MV230. Uma primeira saída do decodificador MV 230 é conectada, emcomunicação de sinais, a uma segunda entrada do decodificadorMV 220. Uma segunda saída do decodif icador MV 230 é conectada,em comunicação de sinais, a uma segunda entrada do módulo MCTFinverso 22 8.

Uma saída do módulo MCTF inverso 228 é disponível comouma saída do decodificador 200 para emitir um sinal de camada0. Uma saída do módulo MCTF inverso 218 é disponível como umasaída do decodif icador 200 para emitir a um sinal de camada 1.Uma saída do módulo MCTF inverso 208 é disponível como uma saídado decodificador 200 para emitir um sinal de camada 2.

Para escalabilidade espacial, temporal e SNR, éincorporado um alto grau de predição intercamadas. Macroblocosintra e inter podem ser preditos usando os sinais corres-pondentes das camadas anteriores. Além disso, a descrição demovimento de cada camada pode ser usada para predição dadescrição de movimento para camadas de aperfeiçoamento se-guintes. Essas técnicas podem ser divididas em três categorias:predição de textura intra intercamadas, predição de movimentointercamadas e predição de resíduo intercamadas.

De acordo com os presentes princípios, revelamos duasconcretizações exemplificativas para codificação de vídeoestereoscópico capazes de serem usadas com a Codifica-ção/Decodificação de Vídeo Escalonável (doravante tambémreferida como "H.264 SVC" ou simplesmente "SVC") que estáatualmente sendo desenvolvida como um aperfeiçoamento ao padrãoH.264. De acordo com o primeiro método, o conteúdo estere-oscópico é codificado em SVC como um par de visualizações(visualizações esquerda e direita, ou, como alternativa, umaprimeira e segunda visualizações estereoscópicas). De acordocom o segundo método, o conteúdo estereoscópico é codificado emSVC como uma visualização somada de mapas de profundida-de/paridade. Para cada método das duas concretizações exem-plificativas, uma nova mensagem, indicador, ou algo do gênero(por exemplo, uma mensagem de Informações Suplementares deAperfeiçoamento(SEI)) é usada para indicar o fluxo de bits SVCusado para codificação de vídeo estereoscópico.

Apreciar-se-á que, embora as concretizações dospresentes princípios sejam descritas neste documento comrespeito ao H.264 SVC, os versados nesta técnica ou em técnicasrelacionadas perceberão que os presentes princípios não selimitam a isso e também podem ser facilmente aplicados a outrospadrões de codificação/decodificação de vídeo (incluindo, porexemplo, mas sem a isto se restringir, vários padrões MPEG,incluindo MPEG-2), sem desviar-se do âmbito dos presentesprincípios.

De acordo com a primeira concretização exemplifi-cativa, a codificação/decodificação de ambas as visualizaçõesde um par de imagens estereoscópicas em um esquema de codi-ficação/decodificação de vídeo escalonável é realizada co-dificando/decodificando uma visualização como camada de base ecodificando/decodificando a segunda visualização em uma camadade aperfeiçoamento. Uma diferença essencial entre os presentesprincípios e o esquema MPEG-2 MVP é que os presentes princípiosnão necessitam que as duas visualizações sejam codifica-das/decodificadas usando apenas escalabilidade temporal.Portanto, de acordo com os presentes princípios, as visua-lizações estereoscópicas podem ser codificadas (e, portanto,decodificadas mais tarde) como escalabilidade temporal, es-pacial ou SNR, dependendo das necessidades e capacidadesdisponíveis para os requisitos de uma aplicação específica. Porexemplo, a escalabilidade temporal é mais adequada quando énecessária maior eficácia de codificação/decodificação. Aescalabilidade espacial/SNR é mais adequada quando um apli-cativo correspondente pode se beneficiar de diferentes qua-lidades/resoluções espaciais entre duas visualizações.

A fim de admitir que uma exibição não-estéreo sejacapaz de decodificar o vídeo sem decodificar a camada deaperfeiçoamento e permitir que outra visualização tenha re-soluções diferentes, para aplicações de escalabilidade espacial,propomos a utilização de um fator de escalonamento menor que,ou igual a, 1, em um aspecto exemplificativo da primeiraconcretização exemplificativa.

Discrepâncias de iluminação e cor ao longo de di-ferentes visualizações de câraera são comuns em vídeos este-reoscópicos capturados. Possíveis causas de tais discrepânciasindesejadas incluem, mas sem a isto se restringirem, calibraçãode câmera precária, diferentes direções na projeção de luz ediferentes características de reflexão superficial. A PrediçãoPonderada (WP), originalmente desenvolvida no padrão H.264, éuma ferramenta eficiente para compensar diferenças de ilu-minação/cor quando a predição de textura entre duas visua-lizações está envolvida. A WP é suportada na SVC, mas é permitidaapenas para a mesma camada ou escalabilidade temporal. Portanto,de acordo com uma implementação exemplificativa da primeiraconcretização exemplificativa, uma vez que codifica-mos/decodificamos uma visualização na camada de base e umasegunda visualização na camada de aperfeiçoamento na primeiraconcretização exemplificativa, para escalabilidade temporal,podemos simplesmente permitir a WP na SVC a fim de proporcionarum benefício na eficácia de codificação/decodificação parapredição de visualização cruzada. Para escalabilidade espacialou SNR, propomos adicionar o suporte WP para o modo Intra_BL,isto é, codificar/decodificar a diferença entre o macrobloco nacamada de aperfeiçoamento e o macrobloco ponderado na camada debase.

É fornecida uma nova mensagem de informações su-plementares de aperfeiçoamento (SEI) que dá suporte à primeiraconcretização descrita neste documento e especifica qualvisualização corresponde à camada de base. A mensagem SEI éilustrada na Tabela 1. Por exemplo, quando ba-se_layer_is__lef t_view_f Iag é igual a 1, isso indica que avisualização esquerda é codificada na camada de base. De modooposto, quando base_layer_is_left_view_fIag é igual a 0, issoindica que a visualização direita é codificada na camada de base.

Tabela 1<table>table see original document page 25</column></row><table>

Deve-se observar que, uma vez que esses metadados nãosão necessários para o processo de decodificação, os metadadospodem ser transmitidos fora de banda de acordo com uma es-pecificação de sintaxe diferente.

De acordo com a segunda concretização exemplificativa,uma visualização é codificada/decodificada e um mapa deprofundidade e/ou disparidade é usado na camada de aperfei-çoamento para dar suporte a uma exibição não-estéreo con-vencional para podermos decodificar o video sem decodificar osmapas de profundidade. Podemos aplicar escalabilidade espacial,ou SNR, dependendo dos requisitos da aplicação. Tendo em vistaque o mapa de profundidade pode ser codificado/decodificado emuma resolução inferior, em escalabilidade espacial, umapossível concretização preferida usa um fator de escalonamentomenor que, ou igual a, 1.

É fornecida uma nova mensagem SEI que dá suporte àsegunda concretização exemplificativa e que oferece metadados3-D adicionais que são transmitidos para auxiliar no processode sintetização da visualização não-transmitida. Em umaconcretização específica, os metadados transmitidos podemincluir dois parâmetros (Nknear, Nkfar), conforme ilustrado naTabela 2. Com esses dois parâmetros e o mapa de profundidade,a paralaxe de pixel correta pode ser calculada e resultará noefeito de profundidade intencionado na exibição conforme vistapelo espectador.

Nknear especifica o parâmetro de razão knear nor-malizado para 128 que deve ser aplicado para calcular o paralelode tela de uma visualização recém-processada.

Nkfar especifica o parâmetro de razão kfar norma-lizado para 32 que deve ser aplicado para calcular o paralelode tela de uma visualização recém-processada.

Tabela 2

<table>table see original document page 26</column></row><table> Deve-se observar que, uma vez que esses metadadòs nãosão necessários para o processo de decodificação, os metadadòspodem ser transmitidos fora de banda de acordo com uma es-pecificação de sintaxe diferente.

Um grande problema no uso de um mapa de profundidadee uma visualização codificada (por exemplo, a visualizaçãoesquerda) para construir a outra visualização não-transmitida(por exemplo, a visualização direita) é que as áreas ina-cessíveis na visualização esquerda podem se tornar visíveis navisualização direita. Isso pode criar buracos na visualizaçãodireita. Outro problema é que, já que a visualização esquerdae. o mapa de profundidade são codificados com perdas, podemocorrer erros entre a visualização direita reconstruída e avisualização direita original. Ά fim de aperfeiçoar a qualidadeda visualização não-transmitida, é possível adicionar umacamada SNR adicional. Essa camada SNR adicional deve sercombinada com a mensagem SEI, de modo que o decodificador saibaque o refinamento é baseado na visualização não-codifiçadareconstruída.

Deve-se observar que, atualmente, na SVC (que usa oJoint Scalable Video Model 3 (JSVM3) ) , a escalabilidade espacialapenas lida com o escalonamento de resolução maior ou igual aum. De acordo com a presente invenção, a predição intercamadasé usada para dar suporte ao escalonamento de resolução menor doque 1.

Para predição intercamadas, deve-se chamar atençãopara os problemas a seguir a fim lidar com a escalabilidadeespacial para escalonamento de resolução menor do que um: (1)processamento de blocos misturados; (2) mapeamento de tipo demacrobloco; (3) escalonamento de vetor de movimento; 4) es-calonamento de textura. Técnicas novas e/ou anteriores, in-cluindo as relacionadas à transcodificação de resolução es-pacial, podem ser usadas para abordar esses problemas.

Para simplificar, podemos permitir que a SVC dêsuporte apenas para o fator de escalonamento ser 2Λ<"η>, em quen>0. Com relação à FIG. 3, um mapeamento de macroblocos e-xemplificativo para predição intercamadas em escalabilidadeespacial SVC para um fator de escalonamento igual a 1/2 para cadadimensão é indicado, em geral, pelo número de referência 300.Em tal exemplo, um macrobloco na camada de aperfeiçoamentocorresponde a quatro macroblocos na camada de base. Uma vez queesses quatro macroblocos podem ter diferentes modos intra/intere a SVC não permite modos de mistura em um macrobloco, precisamosdecidir qual modo deve ser usado para o macrobloco na camada deaperfeiçoamento na predição intercamadas. Propomos forçar osmacroblocos ao modo inter, e pressupor que os vetores demovimento (MVs) e resíduos da transformada discreta de cosseno(DCT) no macrobloco intra sejam iguais a zero. Para o mapeamentode tipo de macrobloco, uma vez que a menor partição na SVC é 4x4,mas a redução da escala por 2 pode resultar em uma partição tãopequena quanto 2x2, propomos agrupar cada uma das quatropartições 2x2 em uma partição 4x4. O MV para cada partição 4x4é ajustado para o MV do canto do sub-macrobloco 8x8 corres-pondente. Para cada índice de figura de referência, agrupamoscada uma das quatro partições 4x4 em uma partição 8x8. O índicede figura de referência é designado para o do canto do macroblocoassociado. Para o escalonamento de vetor de movimento, MVE =(MVB+1) >>T, em que MVE é o vetor de movimento da camada deaperfeiçoamento, e MVB é o vetor de movimento da camada de basecorrespondente. Para a redução da escala da textura envolvendoo resíduo, podemos usar o método de média aritmética. Para atextura espacial, podemos usar o método de média aritmética oua função de redução de escala do MPEG-4 atualmente em uso no JSVM.Para o fator de escalonamento de 2A<_n), podemos escalonariterativamente por 1/2 (n vezes).

Apreciar-se-á que, conforme usado neste documento, otermo "mapa de profundidade/disparidade" se refere a um ou maismapas de profundidade e/ou um ou mais mapas de disparidade.

As FIGs. 4 e 5 correspondem à primeira concretizaçãoexemplificativa dos presentes princípios.Com relação à FIG. 4, um método para codificação devideo escalonável capaz de codificar um par de visualizaçõesestereoscópicas de conteúdo estereoscópico é, em geral, in-dicado pelo número de referência 400. O método 400 inclui umbloco inicial 405 que passa o controle para um bloco de decisão410. O bloco de decisão 410 determina se irá ou não codificaruma visualização esquerda do conteúdo estereoscópico como umacamada de base. Se a resposta for positiva, o controle passa parao bloco de função 415. Caso contrário, o controle passa para umbloco de função 425.

O bloco de função 415 atribui a ba-se_layer_is_left_view_fIag um valor igual a um, grava o ba-se_layer_is_left_view_fIag em uma mensagem de informaçõessuplementares de aperfeiçoamento (SEI), e passa o controle paraum bloco de função 420. O bloco de função 420 codifica avisualização esquerda como a camada de base e a visualizaçãodireita como uma camada de aperfeiçoamento e passa o controlepara um bloco final 435.

O bloco de função 425 atribui a ba-se_layer_is_left_yiew_fIag um valor igual a zero, grava obase_layer_is j eft_view_fIag na mensagem SEI, e passa o controlepara um bloco de função 430. O bloco de função 430 codifica avisualização direita como a camada de base e a visualizaçãoesquerda como uma camada de aperfeiçoamento usando escala-bilidade SNR, espacial e/ou temporal e passa o controle para obloco final 435.

Voltando-se para a FIG. 5, um método de decodificaçãode vídeo escalonável capaz de decodificar um par de visua-lizações estereoscópicas de conteúdo estereoscópico é, em geral,indicado pelo número de referência 500. O método 500 inclui umbloco inicial 505 que passa o controle para um bloco de função510. O bloco de função analisa o base_layer_is_left_view_fIagna mensagem SEI e passa o controle para um bloco de decisão 515.

O bloco de decisão 515 determina se o ba-se_layer_is_left_view_fIag é ou não igual a um. Se for, entãoo controle passa para um bloco de função 520. Caso contrário,o controle passa para um bloco de função 525.

O bloco de função 520 decodifica a visualizaçãoesquerda a partir da camada de base e a visualização direita apartir da camada de aperfeiçoamento usando escalabilidade SNR,espacial e/ou temporal e passa o controle para um bloco final599.

O bloco de função 525 decodifica a visualizaçãodireita a partir da camada de base e a visualização esquerda apartir da camada de aperfeiçoamento usando escalabilidade SNR,espacial e/ou temporal e passa o controle para o bloco final 599.

As FIGs. 6 e 7 correspondem à segunda concretizaçãoexemplificativa dos presentes principios.

Voltando-se para a FIG. 6, um método para codificaçãode video escalonável capaz de codificar um par de visualizaçõesestereoscópicas de conteúdo estereoscópico é, em geral, in-dicado pelo número de referência 600. O método 600 inclui umbloco inicial 605 que passa o controle para um bloco de função610. O bloco de função 610 codifica uma visualização do conteúdoestereoscópico como uma camada de base e codifica um mapa deprofundidade/disparidade correspondente ao video estereos-cópico como uma camada de aperfeiçoamento usando escalabilidadeSNR, espacial e/ou temporal e passa o controle para um bloco defunção 615. O bloco de função 615 grava parâmetros de pro-fundidade na mensagem SEI e passa o controle para um bloco defunção 620. O bloco de função 620 reconstrói outra visualização(não codificada) do conteúdo estereoscópico usando o videoreconstruído a partir da camada de base, um mapa de profun-didade/disparidade reconstruído a partir da camada de aper-feiçoamento e parâmetros de profundidade da mensagem SEI, epassa o controle para um bloco de função 625. 0 bloco de função625 codifica uma camada SNR adicional com base na visualizaçãonão codificada reconstruída e passa o controle para um blocofinal 630.

Com relação à FIG. 7, um método para decodif icação devídeo escalonável capaz de decodificar um par de visualizaçõesestereoscópicas de conteúdo estereoscópico é, em geral, in-dicado pelo número de referência 700. O método 700 inclui umbloco inicial 705 que passa o controle para um bloco de função710. O bloco de função 710 decodifica uma visualização es-tereoscópica do conteúdo estereoscópico a partir da camada debase, decodifica um mapa de profundidade/disparidade a partirda camada de aperfeiçoamento usando escalabilidade SNR, es-pacial e/ou temporal, e passa o controle para um bloco de função715. O bloco de função 715 analisa as mensagens de profundidadeda mensagem SEI e passa o controle para um bloco de função 720.

O bloco de função 720 reconstrói outra visualização (nãocodificada) estereoscópica como a camada de base usando o vídeoreconstruído a partir da camada de base, um mapa de profun-didade/disparidade reconstruído a partir da camada de aper-feiçoamento e parâmetros de profundidade da mensagem SEI, epassa o controle para um bloco de função 725. 0 bloco de função725 decodifica uma camada SNR adicional com base na visualizaçãonão codificada reconstruída, forma uma visualização não co-dificada aperfeiçoada e passa o controle para um bloco final 730.

Com relação à FIG. 8, um método de codifica-ção/decodificação de vídeo escalonável para codificar ummacrobloco em uma camada de aperfeiçoamento é indicado, em geral,pelo número de referência 800. O método 800 inclui um blocoinicial 805 que passa o controle para um bloco de decisão 810.

O bloco de decisão 810 determina se irá ou não usar prediçãointercamadas. Se a resposta for positiva, então o controle passapara um bloco de decisão 815. Caso contrário, o controle passapara um bloco de função 855.

O bloco de decisão 815 determina se irá ou não usarpredição de textura intra intercamadas. Se a resposta forpositiva, então o controle passa para um bloco de decisão 820.Caso contrário, o controle passa para um bloco de decisão 830.

O bloco de decisão 820 determina se irá ou não usarpredição ponderada. Se a resposta for positiva, o controle passapara o bloco de função 825. Caso contrário, o controle passa paraum bloco de função 840.

O bloco de função 825 codifica uma diferença entre omacrobloco na camada de aperfeiçoamento e um macroblocoponderado escalonado a partir de um conjunto de macroblocosmapeados na camada de base, e passa o controle para o bloco dedecisão 830.O bloco de decisão 830 determina se irá ou não usarpredição de vetor de movimento intercamadas. Se a resposta forpositiva, o controle passa para o bloco de função 835. Casocontrário, o controle passa para um bloco de decisão 845.

O bloco de função 835 realiza mapeamento de modo emapeamento de vetor de movimento, e passa o controle para o blocode decisão 845.

O bloco de decisão 845 determina se irá ou não usarpredição de resíduo intercamadas. Se a resposta for positiva,o controle passa para um bloco de função 850. Caso contrário,o controle passa para o bloco de função 855.

O bloco de função 850 realiza mapeamento de modo emapeamento de resíduo e passa o controle para o bloco de função855. Em uma concretização, o bloco de função 850 pode envolveratribuir ao fator de escalonamento espacial um valor igual a 2(_n>,η sendo um número inteiro maior do que zero, e realizar o cálculoda média para redução da taxa de amostragem de resíduoscorrespondentes aos pelo menos alguns blocos (850).

O bloco de função 855 codifica o macrobloco e passao controle para um bloco final 860.

O bloco de função 840 codifica uma diferença entre omacrobloco na camada de aperfeiçoamento e um macrobloco es-calonado a partir de um conjunto de macroblocos mapeados nacamada de base, e passa o controle para o bloco de decisão 830.

Em uma concretização, o bloco de função 855 podeenvolver restringir um fator de escalonamento espacial para serigual ou menor do que um quando for escolhida a técnica deescalabilidade espacial.Em uma concretização, os blocos de função 835, 850e/ou 855 podem envolver, por exemplo, atribuir a um fator deescalonamento espacial um valor igual a 2<_n), η sendo um númerointeiro maior do que zero, realizar um mapeamento de blocos demuitos para um a partir da camada de base para a camada deaperfeiçoamento, converter os blocos na camada de base com ummodo de predição intra para um modo de predição inter, e forçaros vetores de movimento e os coeficientes de transformadadiscreta de cosseno no modo de predição intra a serem zero.

Em uma concretização, os blocos de função 835 e/ou 855podem envolver, por exemplo, mapear um vetor de movimento paraum bloco na camada de aperfeiçoamento para um vetor de movimentoescalonado de um canto de um bloco mapeado correspondente apartir de um conjunto de blocos mapeados na camada de base, edesignar um índice de referência para o bloco na camada deaperfeiçoamento ao do canto do bloco mapeado correspondente nacamada de base, o bloco na camada de aperfeiçoamento estandoco-localizado com respeito ao conjunto de blocos mapeados nacamada de base.

Em uma concretização, os blocos de função 850 e/ou 855podem envolver atribuir ao fator de escalonamento espacial umvalor igual a 2<_n>, η sendo um número inteiro maior do que zero,e realizar o cálculo da média para redução da taxa de amostragemde textura dos resíduos.

Com relação à FIG. 9, um método de decodificação devídeo escalonável para decodificar um macrobloco em uma camadade aperfeiçoamento é indicado, em geral, pelo número de re-ferência 900. O método 900 inclui um bloco inicial 905 que passao controle para um bloco de função 910. 0 bloco de função 910analisa a sintaxe para o macrobloco e passa o controle para umbloco de decisão 915. O bloco de decisão 915 determina se umsinalizador de predição intercamadas é ou não igual a um. Se aresposta for positiva, então o controle passa para um bloco dedecisão 920. Caso contrário, o controle passa para um bloco defunção 960.

O bloco de decisão 920 determina se um sinalizador depredição de textura intra intercamadas é ou não igual a um. Sea resposta for positiva, então o controle passa para um blocode decisão 925. Caso contrário, o controle passa para um blocode decisão 935.

O bloco de decisão 925 determina se um sinalizador depredição ponderada é ou não igual a um. Se a resposta for positiva,o controle passa para um bloco de função 930. Caso contrário,o controle passa para um bloco de função 945.

O bloco de função 930 decodifica a diferença entre omacrobloco na camada de aperfeiçoamento e um macroblocoponderado escalonado a partir de um conjunto de macroblocosmapeados na camada de base, e passa o controle para um bloco dedecisão 935.

O bloco de decisão 935 determina se um sinalizador depredição de vetor de movimento intercamadas é ou não igual a um.Se a resposta for positiva, o controle passa para um bloco defunção 940. Caso contrário, o controle passa para um bloco dedecisão 950.

O bloco de função 940 realiza mapeamento de modo emapeamento de vetor de movimento, e passa o controle para o blocode decisão 950.

O bloco de decisão 950 determina se um sinalizador depredição de resíduo intercamadas é ou não igual a um. Se aresposta for positiva, o controle passa para um bloco de função955. Caso contrário, o controle passa para um bloco de função960.

O bloco de função 955 realiza mapeamento de modo emapeamento de resíduo, e passa o controle para o bloco de função960 .

O bloco de função 960 decodifica o macrobloco e passao controle para um bloco final 965.

0 bloco de função 945 decodifica a diferença entre omacrobloco na camada de aperfeiçoamento e um macrobloco es-calonado a partir de um conjunto de macroblocos mapeados nacamada de base, e passa o controle para o bloco de decisão 935.

Agora será feita uma descrição de algumas das muitasvantagens/características concomitantes da presente invenção,algumas das quais foram mencionadas acima. Por exemplo, umavantagem/característica é o codificador de vídeo escalonávelincluir um codificador para codificar pelo menos duas visu-alizações correspondentes ao conteúdo de vídeo com múltiplasvisualizações pela codificação de uma visualização específicadas pelo menos duas visualizações como uma camada de base, e pelacodificação de cada uma de pelo menos uma outra visualização daspelo menos duas visualizações como uma camada de aperfeiçoamentousando uma predição a partir de uma camada inferior corres-pondente a pelo menos uma dentre a visualização específica e apelo menos uma outra visualização. As pelo menos duas visu-alizações são codificadas com base em uma seleção dentre pelomenos duas das técnicas de escalabilidade temporal, espacial ede razão sinal-ruido.

Outra vantagem/característica é o codificador devideo escalonável, conforme descrito acima, em que a camada debase e a camada de aperfeiçoamento são incluídas em um fluxo debits de vídeo, e o codificador adiciona um indicador em umamensagem sinalizando o fluxo de bits de vídeo. 0 indicador servepara indicar que o fluxo de bits de vídeo inclui sinais de vídeocom múltiplas visualizações.

Ainda outra vantagem/característica é o codificadorde vídeo escalonável que adiciona o indicador em uma mensagem,conforme descrito acima, em que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

Além disso, outra vantagem/característica é o co-dificador de vídeo escalonável que adiciona o indicador em umamensagem, conforme descrito acima, em que a mensagem é enviadafora de banda.

Ademais, outra vantagem/característica é o codi-ficador de vídeo escalonável que adiciona o indicador em umamensagem, conforme descrito acima, em que o indicador éfornecido na forma de metadados.

De mais a mais, outra vantagem/característica é ocodificador de vídeo escalonável que adiciona o indicador em umamensagem, conforme descrito acima, em que o indicador especificauma dentre a visualização específica e a pelo menos outravisualização como sendo codificada em uma dentre a camada de baseou a camada de aperfeiçoamento.Em adição, outra vantagem/característica é o co-dificador de vídeo escalonável, conforme descrito acima, em queas técnicas de escalabilidade temporal, espacial ou de razãosinal-ruído são realizadas de acordo com a Extensão de Co-dificação de Vídeo Escalonável da Organização Internacional deNormalização Técnica/padrão de Codificação de Vídeo AvançadaParte 10 do Grupo de Peritos em Imagens em Movimento da ComissãoInternacional Eletrotécnica/padrão H.264 da União Interna-cional de Telecomunicações, Setor de Telecomunicações.

Ademais, outra vantagem/característica é o codi-ficador de vídeo escalonável, conforme descrito acima, em queo codificador restringe um fator de escalonamento espacial demodo a ser igual ou inferior a um, quando é escolhida a técnicade escalabilidade espacial.

De mais a mais, outra vantagem/característica é ocodificador de vídeo escalonável que restringe o fator deescalonamento espacial, conforme descrito acima, em que ocodificador codifica pelo menos alguns blocos na camada de basee na camada de aperfeiçoamento usando predição intercamadasatribuindo ao fator de escalonamento espacial um valor igual a2<_n), η sendo um número inteiro maior do que zero, realizandoum mapeamento de blocos de muitos para um a partir da camada debase para a camada de aperfeiçoamento, convertendo qualquer umdos pelo menos alguns blocos na camada de base com um modo depredição intra para um modo de predição inter, e forçando osvetores de movimento e os coeficientes da transformada discretade cosseno no modo de predição intra a serem iguais a zero.

Além disso, outra vantagem/característica é o co-dificador de vídeo escalonável que codifica pelo menos algunsblocos na camada de base e na camada de aperfeiçoamento usandopredição intercamadas, conforme descrito acima, em que ocodificador mapeia um vetor de movimento para um bloco na camadade aperfeiçoamento para um vetor de movimento escalonado de umcanto de um bloco mapeado correspondente a partir de um conjuntode blocos mapeados na camada de base, e designa um índice dereferência para o bloco na camada de aperfeiçoamento ao do cantodo bloco mapeado correspondente na camada de base, o bloco nacamada de aperfeiçoamento e o conjunto de blocos mapeados nacamada de base incluídos nos pelo menos alguns blocos, o blocona camada de aperfeiçoamento estando co-localizado com respeitoao conjunto de blocos mapeados na camada de base.

Ademais, outra vantagem/característica é o codi-ficador de vídeo escalonável que restringe o fator de esca-lonamento espacial, conforme descrito acima, em que o codi-ficador codifica pelo menos alguns blocos na camada de base ena camada de aperfeiçoamento atribuindo ao fator de escalo-namento espacial um valor igual a 2(_n), η sendo um número inteiromaior do que zero, e calculando a média para redução da texturade resíduos correspondentes aos pelo menos alguns blocos.

De mais a mais, outra vantagem/característica é ocodificador de vídeo escalonável, conforme descrito acima, emque as pelo menos duas visualizações são codificadas permitindoa predição ponderada para predição de visualização cruzada entrea visualização específica e a pelo menos uma outra visualização.

Além disso, outra vantagem/característica é o co-dificador de vídeo escalonável que codifica as pelo menos duasvisualizações permitindo a predição de visualização cruzada,conforme descrito acima, em que a predição ponderada é permitidaao codificar uma diferença entre um macrobloco na camada deaperfeiçoamento e um macrobloco ponderado escalonado a partirde um conjunto de macroblocos mapeados na camada de base, omacrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada debase.

Ademais, outra vantagem/característica é o codi-ficador de video escalonável, conforme descrito acima, em queas pelo menos duas visualizações correspondem a um par devisualizações estereoscópicas, com uma visualização do parsendo codificada como a camada de base e outra visualização dopar sendo codificada como a camada de aperfeiçoamento usando umapredição a partir da camada de base.

Essas e outras características e vantagens dapresente invenção podem ser facilmente verificadas pelosversados na técnica pertinente com base nos ensinamentos destedocumento. Deve-se compreender que os ensinamentos da presenteinvenção podem ser implementados em várias formas de hardware,software, firmware, processadores de uso específico ou com-binações desses.

Mais preferivelmente, os ensinamentos da presenteinvenção são implementados como uma combinação de hardware esoftware. Ademais, o software é, de preferência, implementadocomo um programa aplicativo incorporado de forma tangível a umaunidade de armazenamento de programas.

O programa aplicativo pode ser carregado para, eexecutado por, uma máquina compreendendo qualquer arquiteturaadequada. De preferência, a máquina é implementada em umaplataforma de computador com hardwares tal como uma ou maisunidades centrais de processamento ("CPU"), uma memória deacesso aleatório ("RAM") e interfaces de entrada/saida ("I/O").A plataforma de computador também pode incluir um sistemaoperacional e código de micro-instrução. Os vários processos efunções descritos neste documento podem ser parte ou do códigode micro-instrução ou do programa aplicativo, ou qualquercombinação desses, que pode ser executada por uma CPU. Além disso,várias outras unidades periféricas podem ser conectadas àplataforma de computador, tal como uma unidade de armazenamentode dados adicional e uma unidade de impressão.

Também deve ser compreendido que, já que alguns doscomponentes e métodos constituintes do sistema representadosnos desenhos em anexo são preferencialmente implementados emsoftware, as conexões reais entre os componentes do sistema ouos blocos de função de processo podem divergir, dependendo damaneira na qual a presente invenção é programada. Dados osensinamentos neste documento, os versados na técnica pertinenteserão capazes de contemplar essas implementações ou confi-gurações, bem como implementações ou configurações similares,da presente invenção.

Embora as concretizações ilustrativas tenham sidodescritas com referência aos desenhos em anexo, deve-secompreender que-a presente invenção não se restringe a essasconcretizações exatas, e que várias alterações e modificaçõespodem ser realizadas pelos versados na técnica pertinente semdivergir do âmbito e da essência da presente invenção. Todasessas alterações e modificações devem ser incluídas dentro doâmbito da presente invenção, conforme estabelecido nas rei-vindicações em anexo.

Claims

1. Aparelho, CARACTERIZADO por compreender:um codificador (100) para codificar pelo menos duasvisualizações correspondentes ao conteúdo de video com múl-tiplas visualizações pela codificação de uma visualizaçãoespecifica das pelo menos duas visualizações como uma camada debase, e pela codificação de cada uma de pelo menos uma outravisualização das pelo menos duas visualizações como uma camadade aperfeiçoamento, usando uma predição a partir de uma camadainferior correspondente a pelo menos uma dentre a visualizaçãoespecifica e a pelo menos uma outra visualização,em que as pelo menos duas visualizações são codi-ficadas com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e de razãosinal-ruido.

2. Aparelho, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que a camada de base e a camada deaperfeiçoamento são incluídas em um fluxo de bits de vídeo, eo referido codificador (100) adiciona um indicador em umamensagem sinalizando o fluxo de bits de vídeo, o indicadorservindo para indicar que o fluxo de bits de vídeo inclui sinaisde vídeo com múltiplas visualizações.

3. Aparelho, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

4. Aparelho, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de que a mensagem é enviada fora debanda.

5. Aparelho, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de que o indicador é fornecido na formade metadados.

6. Aparelho, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de que o indicador especifica uma dentrea visualização especifica ou a pelo menos uma outra visualizaçãocomo sendo codificada em uma dentre a camada de base ou a camadade aperfeiçoamento.

7. Aparelho, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que as técnicas de escalabilidadetemporal, espacial e de razão sinal-ruido são realizadas deacordo com a Extensão de Codificação de Video Escalonável daOrganização Internacional de Normalização Técnica/padrão deCodificação de Video Avançada Parte 10 do Grupo de Peritos emImagens em Movimento-4 da Comissão Internacional Eletrotéc-nica/padrão H.264 da União Internacional de Telecomunicações,Setor de Telecomunicações.

8. Aparelho, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que o referido codificador (100)restringe um fator de escalonamento espacial para ser igual ouinferior a um, quando é escolhida a técnica de escalabilidadeespacial.

9. Aparelho, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de que o referido codificador (100)codifica pelo menos alguns blocos na camada de base e na camadade aperfeiçoamento usando predição intercamadas atribuindo, aofator de escalonamento espacial, um valor igual a 2(_n), η sendoum número inteiro maior do que zero, realizando um mapeamentode blocos de muitos para um a partir da camada de base para acamada de aperfeiçoamento, convertendo qualquer um dos pelomenos alguns blocos na camada de base com um modo de prediçãointra para um modo de predição inter, e forçando os vetores demovimento e os coeficientes da transformada discreta de cossenono modo de predição intra a serem iguais a zero.

10. Aparelho, de acordo com a reivindicação 9,CARACTERIZADO pelo fato de que o referido codificador (100)mapeia um vetor de movimento, para um bloco na camada deaperfeiçoamento, para um vetor de movimento escalonado de umcanto de um bloco mapeado correspondente a partir de um conjuntode blocos mapeados na camada de base, e designa um índice dereferência para o bloco na camada de aperfeiçoamento ao do cantodo bloco mapeado correspondente na camada de base, o bloco nacamada de aperfeiçoamento e o conjunto de blocos mapeados nacamada de base incluídos nos pelo menos alguns blocos, o blocona camada de aperfeiçoamento estando co-localizado com respeitoao conjunto de blocos mapeados na camada de base.

11. Aparelho, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de que o referido codificador (100)codifica pelo menos alguns blocos na camada de base e na camadade aperfeiçoamento atribuindo ao fator de escalonamento espacialum valor igual a 2<_n), η sendo um número inteiro maior do que zero,e calculando a média para redução de amostragem de textura dosresíduos correspondentes aos pelo menos alguns blocos.

12. Aparelho, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que as pelo menos duas visualizaçõessão codificadas ao permitir a predição ponderada para prediçãode visualização cruzada entre a visualização especifica e a pelomenos uma outra visualização.

13. Aparelho, de acordo com a reivindicação 12,CARACTERIZADO pelo fato de que a predição ponderada é pos-sibilitada ao codificar uma diferença entre um macrobloco nacamada de aperfeiçoamento e um macrobloco ponderado escalonadoa partir de um conjunto de macroblocos mapeados na camada de base,o macrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada de base.

14. Aparelho, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que as pelo menos duas visualizaçõescorrespondem a um par de visualizações estereoscópicas, com umavisualização do par sendo codificada como a camada de base eoutra visualização do par sendo codificada como a camada deaperfeiçoamento usando uma predição a partir da camada de base.

15. Método para codificação de video escalonável,CARACTERIZADO por compreender:codificar (420, 430) pelo menos duas visualizaçõescorrespondentes ao conteúdo de video com múltiplas visuali-zações pela codificação de uma visualização especifica das pelomenos duas visualizações como uma camada de base, e pelacodificação de cada uma de pelo menos uma outra visualização daspelo menos duas visualizações como uma camada de aperfeiçoamento,usando uma predição a partir de uma camada inferior corres-pondente a pelo menos uma dentre a visualização especifica e apelo menos uma outra visualização,em que as pelo menos duas visualizações são codi-ficadas com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e de razãosinal-ruido.

16. Método, de acordo com a reivindicação 15,CARACTERIZADO pelo fato de que a camada de base e a camada deaperfeiçoamento são incluídas em um fluxo de bits de vídeo, ea referida etapa de codificar compreende adicionar (415, 425)um indicador em uma mensagem sinalizando o fluxo de bits de vídeo,o indicador servindo para indicar que o fluxo de bits de vídeoinclui sinais de vídeo com múltiplas visualizações.

17. Método, de acordo com a reivindicação 16,CARACTERIZADO pelo fato de que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

18. Método, de acordo com a reivindicação 16,CARACTERIZADO pelo fato de que a mensagem é enviada fora debanda.

19. Método, de acordo com a reivindicação 16,CARACTERIZADO pelo fato de que o indicador é fornecido na formade metadados.

20. Método, de acordo com a reivindicação 16,CARACTERIZADO pelo fato de que o indicador especifica uma dentrea visualização específica ou a pelo menos uma outra visualizaçãocomo sendo codificada em uma dentre a camada de base ou a camadade aperfeiçoamento.

21. Método, de acordo com a reivindicação 15,CARACTERIZADO pelo fato de que as técnicas de escalabilidadetemporal, espacial e de razão sinal-ruido são realizadas deacordo com a Extensão de Codificação de Vídeo Escalonável daOrganização Internacional de Normalização Técnica/padrão deCodificação de Video Avançada Parte 10 do Grupo de Peritos emImagens em Movimento-4 da Comissão Internacional Eletrotéc-nica/padrão H.264 da União Internacional de Telecomunicações,Setor de Telecomunicações.

22. Método, de acordo com a reivindicação 15,CARACTERIZADO pelo fato de que a referida etapa de codificarcompreende restringir um fator de escalonamento espacial a serigual ou inferior a um, quando é escolhida a técnica de es-calabilidade espacial (855).

23. Método, de acordo com a reivindicação 22,CARACTERIZADO pelo fato de que a referida etapa de codificarcodifica pelo menos alguns blocos na camada de base e na camadade aperfeiçoamento, usando predição intercamadas atribuindo, aofator de escalonamento espacial, um valor igual a 2 <_n), η sendoum número inteiro maior do que zero, realizando um mapeamentode blocos de muitos para um a partir da camada de base para acamada de aperfeiçoamento, convertendo qualquer um dos pelomenos alguns blocos na camada de base com um modo de prediçãointra para um modo de predição inter, e forçando os vetores demovimento e os coeficientes da transformada discreta de cossenono modo de predição intra a serem iguais a zero (835, 850, 855) .

24. Método, de acordo com a reivindicação 23,CARACTERIZADO pelo fato de que a referida etapa de codificarmapeia um vetor de movimento, para um bloco na camada deaperfeiçoamento, para um vetor de movimento escalonado de umcanto de um bloco mapeado correspondente a partir de um conjuntode blocos mapeados na camada de base, e designa um índice dereferência para o bloco na camada de aperfeiçoamento ao do cantodo bloco mapeado correspondente na camada de base, o bloco nacamada de aperfeiçoamento e o conjunto de blocos mapeados nacamada de base incluídos nos pelo menos alguns blocos, o blocona camada de aperfeiçoamento estando co-localizado com respeitoao conjunto de blocos mapeados na camada de base (835, 855).

25. Método, de acordo com a reivindicação 22,CARACTERIZADO pelo fato de que a referida etapa de codificarcodifica pelo menos alguns blocos na camada de base e na camadade aperfeiçoamento atribuindo, ao fator de escalonamentoespacial, um valor igual a 2<_n), η sendo um número inteiro maiordo que zero, e calculando a média para redução de amostragem detextura dos resíduos correspondentes aos pelo menos algunsblocos (850, 855).

26. Método, de acordo com a reivindicação 15,CARACTERIZADO pelo fato de que as pelo menos duas visualizaçõessão codificadas ao permitir a predição ponderada para prediçãode visualização cruzada entre a visualização específica e a pelomenos uma outra visualização (825).

27. Método, de acordo com a reivindicação 26,CARACTERIZADO pelo fato de que a predição ponderada é pos-sibilitada ao codificar uma diferença entre um macrobloco nacamada de aperfeiçoamento e um macrobloco ponderado escalonadoa partir de um conjunto de macroblocos mapeados na camada de base,o macrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada debase.

28. Método, de acordo com a reivindicação 15,CARACTERIZADO pelo fato de que as pelo menos duas visualizaçõescorrespondem a um par de visualizações estereoscópicas, com umavisualização do par sendo codificada como a camada de base eoutra visualização do par sendo codificada como a camada deaperfeiçoamento usando uma predição a partir da camada de base.

29. Aparelho, CARACTERIZADO por compreender:um decodificador (200) para decodificar pelo menosduas visualizações correspondentes ao conteúdo de video commúltiplas visualizações decodificando uma visualização es-pecifica das pelo menos duas visualizações como uma camada debase, e decodificando cada uma de pelo menos uma outra vi-sualização das pelo menos duas visualizações como uma camada deaperfeiçoamento, usando uma predição a partir de uma camadainferior correspondendo a pelo menos uma dentre a visualizaçãoespecifica e a pelo menos uma outra visualização,em que as pelo menos duas visualizações são deco-dificadas com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e de razãosinal-ruido.

30. Aparelho, de acordo com a reivindicação 28,CARACTERIZADO pelo fato de que a camada de base e a camada deaperfeiçoamento são incluídas em um fluxo de bits de vídeo, eo referido decodificador (200) lê um indicador em uma mensagemsinalizando o fluxo de bits de vídeo, o indicador servindo paraindicar que o fluxo de bits de vídeo inclui sinais de vídeo commúltiplas visualizações.

31. Aparelho, de acordo com a reivindicação 29,CARACTERIZADO pelo fato de que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

32. Aparelho, de acordo com a reivindicação 29,CARACTERIZADO pelo fato de que a mensagem é recebida fora debanda.

33. Aparelho, de acordo com a reivindicação 29,CARACTERIZADO pelo fato de que o indicador é fornecido na formade metadados.

34. Aparelho, de acordo com a reivindicação 30,CARACTERIZADO pelo fato de que o indicador especifica uma dentrea visualização especifica ou a pelo menos uma outra visualizaçãocomo sendo codificada em uma dentre a camada de base ou a camadade aperfeiçoamento.

35. Aparelho, de acordo com a reivindicação 29,CARACTERIZADO pelo fato de que as técnicas de escalabilidadetemporal, espacial e de razão sinal-ruido são realizadas deacordo com a Extensão de Codificação de Video Escalonável daOrganização Internacional de Normalização Técnica/padrão deCodificação de Video Avançada Parte 10 do Grupo de Peritos emImagens em Movimento-4 da Comissão Internacional Eletrotéc-nica/padrão H.264 da União Internacional de Telecomunicações,Setor de Telecomunicações.

36. Aparelho, de acordo com a reivindicação 29,CARACTERIZADO pelo fato de que as pelo menos duas visualizaçõessão decodificadas ao permitir a predição ponderada para prediçãode visualização cruzada entre a visualização especifica e a pelomenos uma outra visualização.

37. Aparelho, de acordo com a reivindicação 36,CARACTERIZADO pelo fato de que a predição ponderada é pos-sibilitada ao decodificar uma diferença entre um macrobloco nacamada de aperfeiçoamento e um macrobloco ponderado escalonadoa partir de um conjunto de macroblocos mapeados na camada de base,o macrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada debase.

38. Aparelho, de acordo com a reivindicação 29,CARACTERIZADO pelo fato de que as pelo menos duas visualizaçõescorrespondem a um par de visualizações estereoscópicas, com umavisualização do par sendo decodificada como a camada de base eoutra visualização do par sendo decodificada como a camada deaperfeiçoamento usando uma predição a partir da camada de base.

39. Método de decodificação de video escalonável,CARACTERIZADO por compreender:decodificar (520, 525) pelo menos duas visualizaçõescorrespondentes ao conteúdo de video com múltiplas visuali-zações pela decodificação de uma visualização especifica daspelo menos duas visualizações como uma camada de base, e peladecodificação de cada uma de pelo menos uma outra visualizaçãodas pelo menos duas visualizações como uma camada de aper-feiçoamento, usando uma predição a partir de uma camada inferiorcorrespondendo a pelo menos uma dentre a visualização especificae a pelo menos uma outra visualização,em que as pelo menos duas visualizações são deco-dificadas com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e de razãosinal-ruido.

40. Método, de acordo com a reivindicação 39,CARACTERIZADO pelo fato de que a camada de base e a camada deaperfeiçoamento são incluídas em um fluxo de bits de vídeo, eo referido decodificador lê (510) um indicador em uma mensagemsinalizando o fluxo de bits de vídeo, o indicador servindo paraindicar que o fluxo de bits de vídeo inclui sinais de vídeo commúltiplas visualizações.

41. Método, de acordo com a reivindicação 40,CARACTERIZADO pelo fato de que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

42. Método, de acordo com a reivindicação 40,CARACTERIZADO pelo fato de que a mensagem é recebida fora debanda.

43. Método, de acordo com a reivindicação 40,CARACTERIZADO pelo fato de que o indicador é fornecido na formade metadados.

44. Método, de acordo com a reivindicação 40,CARACTERIZADO pelo fato de que o indicador especifica uma dentrea visualização específica ou a pelo menos uma outra visualizaçãocomo sendo codificada em uma dentre a camada de base ou a camadade aperfeiçoamento.

45. Método, de acordo com a reivindicação 39,CARACTERIZADO pelo fato de que as técnicas de escalabilidadetemporal, espacial e de razão sinal-ruido são realizadas deacordo com a Extensão de Codificação de Vídeo Escalonável daOrganização Internacional de Normalização Técnica/padrão deCodificação de Vídeo Avançada Parte 10 do Grupo de Peritos emImagens em Movimento-4 da Comissão Internacional Eletrotéc-nica/padrão H.264 da União Internacional de Telecomunicações,Setor de Telecomunicações.

46. Método, de acordo com a reivindicação 39,CARACTERIZADO pelo fato de que as pelo menos duas visualizaçõessão decodificadas ao permitir a predição ponderada para prediçãode visualização cruzada entre a primeira visualização este-reoscópica e a segunda visualização estereoscópica (930).

47. Método, de acordo com a reivindicação 46,CARACTERIZADO pelo fato de que a predição ponderada é pos-sibilitada ao decodificar uma diferença entre um macrobloco nacamada de aperfeiçoamento e um macrobloco ponderado escalonadoa partir de um conjunto de macroblocos mapeados na camada de base,o macrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada debase.

48. Codificador de video escalonável, de acordo coma reivindicação 39, CARACTERIZADO pelo fato de que as pelo menosduas visualizações correspondem a um par de visualizaçõesestereoscópicas, com uma visualização do par sendo codificadacomo a camada de base e outra visualização do par sendo co-dificada como a camada de aperfeiçoamento usando uma prediçãoa partir da camada de base.

49. Estrutura de sinal de video para codificação devideo escalonável, CARACTERIZADA por compreender: uma visu-alização especifica de pelo menos duas visualizações codi-ficadas como uma camada de base; epelo menos uma outra visualização das pelo menos duasvisualizações codificadas como uma camada de aperfeiçoamento,usando uma predição a partir de uma camada inferior corres-pondente a pelo menos uma dentre a visualização especifica e apelo menos uma outra visualização,em que as pelo menos duas visualizações correspondemao conteúdo de video com múltiplas visualizações e são co-dificadas com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e SNR.

50. Meio de armazenamento contendo dados de sinal devideo escalonável codificados neles, CARACTERIZADO por com-preender :uma visualização especifica de pelo menos duasvisualizações codificadas como uma camada de base; epelo menos uma outra visualização das pelo menos duasvisualizações codificadas como uma camada de aperfeiçoamento,usando uma predição a partir de uma camada inferior corres-pondente a pelo menos uma dentre a visualização especifica e apelo menos uma outra visualização,em que as pelo menos duas visualizações correspondemao conteúdo de video com múltiplas visualizações e são co-dificadas com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e SNR.

51. Aparelho, CARACTERIZADO por compreender:um codificador (100) para codificar uma primeiravisualização estereoscópica como uma camada de base e codificarpelo menos um dentre um mapa de profundidade e um mapa dedisparidade como uma camada de aperfeiçoamento usando umapredição a partir da primeira visualização estereoscópica,em que a primeira visualização estereoscópica e o pelomenos um dentre o mapa de profundidade e o mapa de disparidadecorrespondem a um conteúdo estereoscópico especifico e sãocodificados com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e SNR.

52. Aparelho, de acordo com a reivindicação 51,CARACTERIZADO pelo fato de que a camada de base e a camada deaperfeiçoamento são incluídas em um fluxo de bits de vídeo, eo referido codificador (100) adiciona informações tridimen-sionais adicionais com relação ao conteúdo estereoscópicoespecífico em uma mensagem sinalizando o fluxo de bits de vídeo.

53. Aparelho, de acordo com a reivindicação 52,CARACTERIZADO pelo fato de que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

54. Aparelho, de acordo com a reivindicação 52,CARACTERIZADO pelo fato de que a mensagem é enviada fora debanda.

55. Aparelho, de acordo com a reivindicação 52,CARACTERIZADO pelo fato de que as informações tridimensionaisadicionais são fornecidas na forma de metadados.

56. Aparelho, de acordo com a reivindicação 52,CARACTERIZADO pelo fato de que o referido codificador (100)reconstrói uma visualização não-codifiçada do conteúdo es-tereoscópico específico usando vídeo reconstruído a partir dacamada de base, de pelo menos um mapa de profundidade re-construído e um mapa de disparidade reconstruído, e das in-formações tridimensionais adicionais na mensagem, e codificauma camada de aperfeiçoamento adicional com base na visualizaçãonão-codifiçada reconstruída.

57. Aparelho, de acordo com a reivindicação 51,CARACTERIZADO pelo fato de que as técnicas de escalabilidadetemporal, espacial e de razão sinal-ruido são realizadas deacordo com a Extensão de Codificação de Video Escalonável daOrganização Internacional de Normalização Técnica/padrão deCodificação de Video Avançada Parte 10 do Grupo de Peritos emImagens em Movimento-4 da Comissão Internacional Eletrotéc-nica/padrão H.264 da União Internacional de Telecomunicações,Setor de Telecomunicações.

58. Aparelho, de acordo com a reivindicação 51,CARACTERIZADO pelo fato de que o referido codificador (100)restringe um fator de escalonamento espacial para ser igual ouinferior a um, quando é escolhida a técnica de escalabilidadeespacial.

59. Aparelho, de acordo com a reivindicação 58,CARACTERIZADO pelo fato de que o referido codificador (100)codifica pelo menos alguns blocos na camada de base e na camadade aperfeiçoamento usando predição intercamadas atribuindo, aofator de escalonamento espacial, um valor igual a 2<_n), η sendoum número inteiro maior do que zero, realizando um mapeamentode blocos de muitos para um a partir da camada de base para acamada de aperfeiçoamento, convertendo qualquer um dos pelomenos alguns blocos na camada de base com um modo de prediçãointra para um modo de predição inter, e forçando os vetores demovimento e os coeficientes da transformada discreta de cossenono modo de predição intra a serem iguais a zero.

60. Aparelho, de acordo com a reivindicação 59,CARACTERIZADO pelo fato de que o referido codificador (100)mapeia um vetor de movimento para um bloco na camada de a-perfeiçoamento para um vetor de movimento escalonado de um cantode um bloco mapeado correspondente a partir de um conjunto deblocos mapeados na camada de base, e designa um índice dereferência para o bloco na camada de aperfeiçoamento ao do cantodo bloco mapeado correspondente na camada de base, o bloco nacamada de aperfeiçoamento e o conjunto de blocos mapeados nacamada de base incluídos nos pelo menos alguns blocos, o blocona camada de aperfeiçoamento estando co-localizado com respeitoao conjunto de blocos mapeados na camada de base.

61. Aparelho, de acordo com a reivindicação 58,CARACTERIZADO pelo fato de que o referido codificador (100)codifica pelo menos alguns blocos na camada de base e na camadade aperfeiçoamento atribuindo, ao fator de escalonamento espacial,um valor igual a 2(-n), η sendo um número inteiro maior do que zero,e calculando a média para redução de amostragem de textura dosresíduos correspondentes aos pelo menos alguns blocos.

62. Aparelho, de acordo com a reivindicação 51,CARACTERIZADO pelo fato de que o par de visualizações este-reoscópicas é codificado ao permitir a predição ponderada parapredição de visualização cruzada entre a primeira visualizaçãoestereoscópica e a segunda visualização estereoscópica.

63. Aparelho, de acordo com a reivindicação 62,CARACTERIZADO pelo fato de que a predição ponderada é pos-sibilitada ao codificar uma diferença entre um macrobloco nacamada de aperfeiçoamento e um macrobloco ponderado escalonadoa partir de um conjunto de macroblocos mapeados na camada de base,o macrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada debase.

64. Método de codificação de vídeo escalonável,CARACTERIZADO por compreender:codificar (610) uma primeira visualização estere-oscópica como uma camada de base; ecodificar (610) pelo menos um dentre um mapa deprofundidade e um mapa de disparidade como uma camada deaperfeiçoamento usando uma predição a partir da primeiravisualização estereoscópica,em que a primeira visualização estereoscópica e o pelomenos um dentre o mapa de profundidade e o mapa de disparidadecorrespondem a um conteúdo estereoscópico específico e sãocodificados com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e SNR.

65. Método, de acordo com a reivindicação 64,CARACTERIZADO pelo fato de que a camada de base e a camada deaperfeiçoamento são incluídas em um fluxo de bits de vídeo, eo referido codificador adiciona (615) informações tridimen-sionais adicionais com relação ao conteúdo estereoscópicoespecífico em uma mensagem sinalizando o fluxo de bits de vídeo.

66. Método, de acordo com a reivindicação 65,CARACTERIZADO pelo fato de que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

67. Método, de acordo com a reivindicação 65,CARACTERIZADO pelo fato de que a mensagem é enviada fora debanda.

68. Método, de acordo com a reivindicação 65,CARACTERIZADO pelo fato de que as informações tridimensionaisadicionais são fornecidas na forma de metadados.

69. Método, de acordo com a reivindicação 65,CARACTERIZADO por adicionalmente compreender:reconstruir (620) uma visualização não codificada doconteúdo estereoscópico especifico usando video reconstruído apartir da camada de base, de pelo menos um de um mapa deprofundidade reconstruído e um mapa de disparidade reconstruído,e as informações tridimensionais adicionais na mensagem; ecodificar (625) uma camada de aperfeiçoamento a-dicional com base na visualização não codificada reconstruída.

70. Método, de acordo com a reivindicação 64,CARACTERIZADO pelo fato de que as técnicas de escalabilidadetemporal, espacial e de razão sinal-ruído são realizadas deacordo com a Extensão de Codificação de Vídeo Escalonável daOrganização Internacional de Normalização Técnica/padrão deCodificação de Vídeo Avançada Parte 10 do Grupo de Peritos emImagens em Movimento-4 da Comissão Internacional Eletrotéc-nica/padrão H.264 da União Internacional de Telecomunicações,Setor de Telecomunicações.

71. Método, de acordo com a reivindicação 64,CARACTERIZADO pelo fato de que o referido codificador restringeum fator de escalonamento espacial a ser igual ou inferior a um,quando é escolhida a técnica de codificação de vídeo escalonávelespacial (855).

72. Método, de acordo com a reivindicação 71,CARACTERIZADO pelo fato de que a referida etapa de codificarcodifica pelo menos alguns blocos na camada de base e na camadade aperfeiçoamento, usando predição intercamadas, atribuindo,ao fator de escalonamento espacial, um valor iguala2(_n), η sendoum número inteiro maior do que zero, realizando um mapeamentode blocos de muitos para um a partir da camada de base para acamada de aperfeiçoamento, convertendo qualquer um dos pelomenos alguns blocos na camada de base com um modo de prediçãointra para um modo de predição inter, e forçando os vetores demovimento e os coeficientes da transformada discreta de cossenono modo de predição intra a serem iguais a zero (835, 850, 855) .

73. Método, de acordo com a reivindicação 72,CARACTERIZADO pelo fato de que a referida etapa de codificarmapeia um vetor de movimento, para um bloco na camada deaperfeiçoamento, para um vetor de movimento escalonado de umcanto de um bloco mapeado correspondente a partir de um conjuntode blocos mapeados na camada de base, e designa um índice dereferência para o bloco na camada de aperfeiçoamento ao do cantodo bloco mapeado correspondente na camada de base, o bloco nacamada de aperfeiçoamento e o conjunto de blocos mapeados nacamada de base incluídos - nos pelo menos alguns blocos, o blocona camada de aperfeiçoamento estando co-localizado com respeitoao conjunto de blocos mapeados na camada de base (835, 855).

74. Método, de acordo com a reivindicação 72,CARACTERIZADO pelo fato de que a referida etapa de codificarcodifica pelo menos alguns blocos na camada de base e na camadade aperfeiçoamento atribuindo, ao fator de escalonamentoespacial, um valor igual a 2(-n), η sendo um número inteiro maiordo que zero, e calculando a média para redução de amostragem detextura dos resíduos correspondentes aos pelo menos algunsblocos (850, 855) .

75. Método, de acordo com a reivindicação 64,CARACTERIZADO pelo fato de que o par de visualizações este-reoscópicas é codificado ao permitir a predição ponderada parapredição de visualização cruzada entre a primeira visualizaçãoestereoscópica e a segunda visualização estereoscópica (825).

76. Método, de acordo com a reivindicação 75,CARACTERIZADO pelo fato de que a predição ponderada é pos-sibilitada ao codificar uma diferença entre um macrobloco nacamada de aperfeiçoamento e um macrobloco ponderado escalonadoa partir de um conjunto de macroblocos mapeados na camada de base,o macrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada debase.

77. Aparelho, CARACTERIZADO por compreender:um decodificador (200) para decodificar uma primeiravisualização estereoscópica a partir de uma camada de base edecodificar pelo menos um dentre um mapa de profundidade e ummapa de disparidade a partir de uma camada de aperfeiçoamentousando uma predição a partir da primeira visualização este-reoscópica,em que a primeira visualização estereoscópica e o pelomenos um dentre o mapa de profundidade e o mapa de disparidadecorrespondem a um conteúdo estereoscópico especifico e sãodecodificados com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e SNR.

78. Aparelho, de acordo com a reivindicação 77,CARACTERIZADO pelo fato de que a camada de base e a camada deaperfeiçoamento são incluídas em um fluxo de bits de vídeo, eo referido decodificador (200) lê informações tridimensionaisadicionais com relação ao conteúdo estereoscópico especifico apartir de uma mensagem sinalizando o fluxo de bits de video.

79. Aparelho, de acordo com a reivindicação 78,CARACTERIZADO pelo fato de que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

80. Aparelho, de acordo com a reivindicação 78,CARACTERIZADO pelo fato de que a mensagem é enviada fora debanda.

81. Aparelho, de acordo com a reivindicação 78,CARACTERIZADO pelo fato de que as informações tridimensionaisadicionais são fornecidas na forma de metadados.

82. Aparelho, de acordo com a reivindicação 78,CARACTERIZADO pelo fato de que o referido decodificador (200)reconstrói uma visualização não-codifiçada do conteúdo es-tereoscópico especifico como a camada de base usando videoreconstruído a partir da camada de base, de pelo menos um mapade profundidade reconstruído e um mapa de disparidade re-construído, e das informações tridimensionais adicionais namensagem, e decodifica uma camada de aperfeiçoamento adicionalcom base na visualização não codificada reconstruída para formaruma visualização não codificada refinada do conteúdo este-reoscópico específico.

83. Aparelho, de acordo com a reivindicação 77,CARACTERIZADO pelo fato de que as técnicas de escalabilidadetemporal, espacial e de razão sinal-ruído são realizadas deacordo com a Extensão de Codificação de Vídeo Escalonável daOrganização Internacional de Normalização Técnica/padrão deCodificação de Vídeo Avançada Parte 10 do Grupo de Peritos emImagens em Movimento-4 da Comissão Internacional Eletrotéc-nica/padrão H.264 da União Internacional de Telecomunicações,Setor de Telecomunicações.

84. Aparelho, de acordo com a reivindicação 77,CARACTERIZADO pelo fato de que o par de visualizações este-reoscópicas é decodificado ao permitir a predição ponderada parapredição de visualização cruzada entre a primeira visualizaçãoestereoscópica e a segunda visualização estereoscópica.

85. Aparelho, de acordo com a reivindicação 84,CARACTERIZADO pelo fato de que a predição ponderada é pos-sibilitada ao decodificar uma diferença entre um macrobloco nacamada de aperfeiçoamento e um macrobloco ponderado escalonadoa partir de um conjunto de macroblocos mapeados na camada de base,o macrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada debase.

86. Método para decodificação de vídeo escalonável,CARACTERIZADO por compreender:decodificar (710) uma primeira visualização este-reoscópica a partir de uma camada de base; edecodificar (710) pelo menos um dentre um mapa deprofundidade e um mapa de disparidade a partir de uma camada deaperfeiçoamento usando uma predição a partir da primeiravisualização estereoscópica,em que a primeira visualização estereoscópica e o pelomenos um dentre o mapa de profundidade e o mapa de disparidadecorrespondem a um conteúdo estereoscópico específico e sãodecodificados com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e SNR.

87. Método, de acordo com a reivindicação 86,CARACTERIZADO pelo fato de que a camada de base e a camada deaperfeiçoamento são incluídas em um fluxo de bits de vídeo, ométodo adicionalmente compreendendo ler (715) informaçõestridimensionais adicionais com relação ao conteúdo estere-oscópico específico a partir de uma mensagem sinalizando o fluxode bits de vídeo.

88. Método, de acordo com a reivindicação 87,CARACTERIZADO pelo fato de que a mensagem é uma mensagem deInformações Suplementares de Aperfeiçoamento (SEI).

89. Método, de acordo com a reivindicação 87,CARACTERIZADO pelo fato de que a mensagem é enviada fora debanda.

90. Método, de acordo com a reivindicação 87,CARACTERIZADO pelo fato de que as informações tridimensionaisadicionais são fornecidas na forma de metadados.

91. Método, de acordo com a reivindicação 87,CARACTERIZADO por adicionalmente compreender:reconstruir (720) uma visualização não codificada doconteúdo estereoscópico específico como a camada de base usandovídeo reconstruído a partir da camada de base, de. pelo menos umde um mapa de profundidade reconstruído e um mapa de disparidadereconstruído, e das informações tridimensionais adicionais namensagem; edecodificar (725) uma camada de aperfeiçoamentoadicional com base na visualização não codificada reconstruídapara formar uma visualização não codificada refinada do conteúdoestereoscópico especifico.

92. Método, de acordo com a reivindicação 86,CARACTERIZADO pelo fato de que as técnicas de escalabilidadetemporal, espacial e de razão sinal-ruido são realizadas deacordo com a Extensão de Codificação de Video Escalonável daOrganização Internacional de Normalização Técnica/padrão deCodificação de Video Avançada Parte 10 do Grupo de Peritos emImagens em Movimento-4 da Comissão Internacional Eletrotéc-nica/padrão H.264 da União Internacional de Telecomunicações,Setor de Telecomunicações.

93. Método, de acordo com a reivindicação 86,CARACTERIZADO pelo fato de que o par de visualizações este-reoscópicas é decodificado ao permitir a predição ponderada parapredição de visualização cruzada entre a primeira visualizaçãoestereoscópica e a segunda visualização estereoscópica (930).

94. Método, de acordo com a reivindicação 93,CARACTERIZADO pelo fato de que a predição ponderada é pos-sibilitada ao decodificar uma diferença entre um macrobloco nacamada de aperfeiçoamento e um macrobloco ponderado escalonadoa partir de um conjunto de macroblocos mapeados na camada de base,o macrobloco na camada de aperfeiçoamento estando co-localizadocom respeito ao conjunto de macroblocos mapeados na camada debase.

95. Estrutura de sinal de video para codificação devideo escalonável, CARACTERIZADApor compreender: uma primeiravisualização estereoscópica codificada como uma camada de base;epelo menos um dentre um mapa de profundidade e um mapade disparidade codificado como uma camada de aperfeiçoamentopara permitir uma predição a partir da primeira visualizaçãoestereoscópica,em que a primeira visualização estereoscópica e o pelomenos um dentre o mapa de profundidade e o mapa de disparidadecorrespondem a um conteúdo estereoscópico especifico e sãocodificados com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e SNR.

96. Meios de armazenamento contendo dados de sinal devideo escalonável codificados neles, CARACTERIZADOS porcompreender:uma primeira visualização estereoscópica codificadacomo uma camada de base; epelo menos um dentre um mapa de profundidade e um mapade disparidade codificado como uma camada de aperfeiçoamentopara permitir uma predição a partir da primeira visualizaçãoestereoscópica,em que a primeira visualização estereoscópica e o pelomenos um dentre o mapa de profundidade e o mapa de disparidadecorrespondem a um conteúdo estereoscópico especifico e sãocodificados com base em uma seleção dentre pelo menos duas dastécnicas de escalabilidade temporal, espacial e SNR.