BRPI0823512A2

BRPI0823512A2 - Ladrilhamento em codificação e decodificação de vídeo

Info

Publication number: BRPI0823512A2
Application number: BRPI0823512-0A2A
Authority: BR
Inventors: Purvin Bibhas Pandit; Peng Yin; Dong Tian
Original assignee: Thomson Licensing
Priority date: 2007-04-12
Filing date: 2008-04-11
Publication date: 2013-11-26
Also published as: KR20170106987A; US20140301479A1; EP3758381A1; KR20230038610A; KR20200069389A; WO2008127676A9; KR101646089B1; JP5324563B2; DK3399756T3; US20190253727A1; KR20180089560A; DK3920538T3; US9219923B2; RU2763966C1; FI3920538T3; US9185384B2; RU2014116612A; JP2019201435A; KR102123772B1; KR20240148967A

Abstract

LADRILHAMENTO EM CODIFICAÇÃO E DECODIFIÇAÇÃO DE VIDEO. São providas implementações que se referem, por exemplo, à visualização de ladriIhamento em codificação e decodificação de vídeo. Um método específico inclui acessar uma imagem de vídeo que incIui múltiplas imagens combinadas em uma única imagem (826), acessar informação indicando como as múltiplas imagens na imagem de vídeo acessada são combinadas (806, 808, 822) decodificar a imagem de vídeo para prover uma representação decodificada de ao menos uma das múltiplas imagens (824, 826) e prover a informação acessada e a imagem de vídeo decodificada como saída (824, 826). Algumas curas implementações formatam ou processam a informação que indica como múltiplas imagens incluídas em uma única imagem de vídeo são combinadas na imagem de vídeo única, e formatam ou processam uma representação codificada das múltiplas imagens combinadas.

Description

“LADRILHAMENTO EM CODIFICAÇÃO E DECODIFICAÇÃO DE VÍDEO” REFERÊNCIA REMISSIVA A PEDIDOS CORRELATOS

■ jZ,\

.(^•'•Dividido do pedido de patente de invenção Pl 0309510-S1 depositado em 11/04/2008.

Esse pedido reivindica o benefício de cada um de: (1) Pedido Provisório dos Esta- dos Unidos *30/923.014, depositado em 12 de abril de 2007, e intitulado “Multiview Informati- on” (U0 do Dossiê do Advogado PU070073), e (2) Pedido Provisório dos Estados Unidos 60/925.400, depositado em 20 de abril de 2007 e intitulado “View Tiling in MVC Coding” (TJ0 do Dossiê do Advogado PU070103). Cada um desses dois pedidos é aqui incorporado inte- gralmente mediante referencia.

CAMPO TÉCNICO

Os presentes princípios se referem geralmente á codificação e/ou decodificação de

vídeo.

ANTECEDENTES

C*s fabricantes de vídeo podem utilizar uma arquitetura de disposição ou Iadrilha- mento de diferentes listas em um único quadro. As vistas podem ser então extraídas de seus locais respectivo? e reriderizadas.

SUMÁRIO

De acordo com um aspecto gerai, é acessada uma imagem de vídeo que inclui múl- tiplas imagens combinadas em uma única imagem. Informação é acessada indicando como as múltiplas imagens, na imagem de vídeo acessada, são combinadas. A imagem de vídeo é decodificada para prover uma representação decodificada das múltiplas imagens combi- nadas. A informação acessada e a imagem de vídeo decodificada são providas como saída.

De acordo com outro aspecto geral, é gerada informação indicando como múltiplas imagens incluídas em urna imagem de vídeo são combinadas em uma única imagem. A i- magem de vídeo é codificada para piover uma representação codificada das múltiplas ima- gens combinadas. A informação gerada e a imagem de vídeo codificada são providas como saída.

De acurdo com outro aspecto geral, um sinal ou uma estrutura de sinal inclui infor- mação indicando como múltiplas imagens incluídas em uma única imagem de vídeo são combinadas na única imagem de vídeo. O sina! ou a estrutura de sinal inclui também uma representação codificada das múltiplas imagens combinadas.

De acordo com outro aspecto geral, uma imagem de vídeo é acessada a qual inclui múltiplas imagens combinadas em uma única imagem, informação é acessada a qual indica cctmo as múltiplas imagens na imagem de video acessada são combinadas. A imagem de vídeo é decodificada para prover uma representação decodificada de ao menos uma das múltiplas imagens. A informação acessada e a representação decodificada são providas O como saída.

De acordo com outro aspecto geral, é acessada uma imagem de vídeo a qual inclui múltiplas imagens combinadas em uma única imagem. È acessada informação a qual indica como as múltiplas imagens na imagem de vídeo acessada são combinadas. A imagem de vídeo é decodificada para prover uma representação decodificada das múltiplas imagens combinadas. Entrada de usuário é recebida a qual seleciona ao menos uma das múltiplas imagens para exibição. Uma saida decodificada da ao menos uma imagem selecionada é provida, a saida decodificada sendo provida com base na informação acessada, na repre- sentação decodificada, e na entrada de usuário.

Os detalhes de uma ou mais implementações são apresentados nos desenhos a- nexos e na descrição abaixo. Mesmo se descritas de uma forma específica, deve ser evi- dente que as implementações podem ser configuradas ou incorporadas de diversas manei- ras. Por exemplo, uma implementação pode ser realizada como um método, ou incorporada corno um aparelho configurado para realizar um conjunto de operações, ou incorporada co- mo um apareiho armazenando· instruções para realizar um conjunto de operações, ou incor- porada em um sinal. Outros aspectos e características se tornarão evidentes a partir da descrição detalhada seguinte, considerada em conjunto com os desenhos anexos e com as reivindicações.

DESCRIÇÃO RESUMIDA DOS DESEIJHOS

A Figura 1 è um diagrama mostrando um exemplo de quatro vistas ladrilhadas em um único quadro;

A Figura 2 é um diagrama mostrando um exemplo de quatro vistas viradas e ladri- lhadas em um único quadro;

A Figura '■'· mostra um diagrama de blocos para um codificador de vídeo ao qual po- dem ser aplicados os presentes princípios, de acordo com uma modalidade dos presentes princípios;

A Figura 4 mostra urn diagrama de blocos para urn decodificador de vídeo ao qual podem ser aplicados os presentes princípios, de acordo com uma modalidade dos presentes princípios;

A Figura 5 é um fluxograma para urrs método para codificar imagens para urna plu- ralidade de vistas utilizando o Padrão MPEG-4 AVC, de acordo com uma modalidade dos presentes princípios;

A Figura 6 é um fluxograma para um método para codificar imagens para uma plu- ralidade de vistas utilizando o Padrão MPEG-4 AVC'·, de acordo corn uma modalidade dos presentes princípios;

A Figura 7 é urn fluxograma para um método para codificar imagens para uma plu- ralidade de vistas e profundidades utilizando o Padrão MPEG-4 AVC, de acordo com urna modalidade dos presentes princípios; A Figura S é um fluxograma para um método para decodificar uma pluralidade de vistas e profundidades utilizando o Padrão MPEG-4 AVC, de acordo com uma modalidade dos presentes princípios;

A Figura 9 é um diagrama mostrando um exemplo de um sinal de profundidade, de acordo com uma modalidade dos presentes princípios;

A Figura 10 é um diagrama mostrando um exemplo de um sinal de profundidade a- dicionado com um ladrilho, de acordo com uma modalidade dos presentes princípios;

A Figura 11 é um diagrama mostrando um exemplo de cinco vistas ladrilhadas em um único quadro, de acordo com uma modalidade dos presentes princípios.

A Figura 12 é um diagrama de blocos para um codificador de Codificação de Vídeo de Múltiplas Vistas (MVC) exemplar ao qual podem ser aplicados os presentes princípios, de acordo com uma modalidade dos presentes princípios;

A Figura 13 é um diagrama de blocos para um decodificador de Codificação de Ví- deo de Múltiplas Vistas (MVC) exemplar ao qual podem ser aplicados os presentes princí- pios, de acordo com uma modalidade dos presentes princípios;

A Figura 14 é um fluxograma para um método para processar imagens para uma pluralidade de vistas em preparação para codificação das imagens utilizando a extensão de codificação de vídeo de múltiplas vistas (MVC) do Padrão MPEG-4 AVC·, de acordo com uma modalidade dos presentes princípios;

A Figura 15 é um fluxograma para um método para codificar imagens para uma plu- ralidade de vistas utilizando a extensão de Codificação de Vídeo de Múltiplas Vistas (MVC) do Padrão MPEG-4 AVu1 de ac-urdo com uma modalidade dos presentes princípios;

A Figura 16 é um fluxograma para um método para processar imagens para uma pluralidade de vistas em preparação para a decodificação das imagens utilizando a exten- são de codificação de vídeo de múltiplas vistas (MVC) do Padrão MPEG-4 AVC, de acordo com uma modalidade dos presentes princípios;

A Figura 17 é um Huxograma par a um método para decodificar imagens para uma pluralidade de vistas utilizando a extensão de Codificação de Video de Múltiplas Vistas (MVC) do Padrão MPEG-4 AVC:, de acordo com uma modalidade dos presentes princípios;

A Figura Io é um fluxograma para um método para processar imagens para uma pluralidade de vistas e profundidades em preparação para codificação das imagens utilizan- do a extensão de Codificação de Vídeo de Múltiplas Vistas (MVC") do Padrão MPEC-4 AVC, de acordo com uma modalidade dos presentes princípios;

A Figura 19 é um fluxograma para um método para codificar imagens para uma plu- ralidade de vistas e profundidades utilizando a e-.tensão de Codificação de Video de Múlti- plas Vistas (MVC) do Padrão MPEG-4 AVC, de acordo com uma modalidade dos presentes princípios;

A Figura 20 é um fluxograma para um método para processar imagens para uma pluralidade de vistas e profundidades em preparação para decodificação das imagens utili- zando a extensão de Codificarão de Vídeo de Múltiplas Vistas (MVC) do Padrão MPEG-4 AVC, de acordo com uma modalidade dos presentes princípios;

A Figura 21 é um fluxograma para um método para decodificar imagens para uma pluralidade de vistas e profundidades utilizando a extensão d« Codificação de Vídeo de Múl- tiplas Vistas (MVC) do Padrão MPEG-4 AVC, de acordo com uma modalidade dos presen- tes princípios;

A Figura 22 é um diagrama mostrando exemplos de Iadrilhamento no nível de pixel, de acordo com uma modalidade dos presentes princípios; e

A Figura 23 mostra um diagrama de blocos para um dispositivo de processamento de vídeo, ao qual podem ser aplicados os presentes princípios, de acordo com uma modali- dade dos presentes princípios.

DESCRIÇÃO DETALHADA

Várias implementações são dirigidas aos métodos e aparelho para visualizar Iadri- Ihamento em codificação e decodificação de vídeo. Assim será considerado que aqueles versados na técnica poderão conceber vários arranjos que, embora não sejam aqui descri- tos ou mostrados explicitamente, incorporam os princípios e são incluídos dentio de seu espirito e escopo.

Todos os exemplos e linguagem condicional, aqui citados, pretendem ter propósitos pedagógicos para auxiliar o leitor no entendimento dos presentes princípios e conceitos con- tribuídos pelo inventor(es) para favorecer a técnica, e devem ser considerados como sendo sem limitação a tais exemplos e condições especificamente citados.

Além disso, todas as declarações feitas aqui citando princípios, aspectos e modali- dades dos presentes princípios, assim como seus exemplos específicos, pretendem abran- ger seus equivalentes não apenas estruturais como também funcionais. Adicionalmente, pretende-se que tais equivalentes incluam os equivalentes atualmente conhecidos assim como os equivalentes desenvolvidos no futuro, isto é, quaisquer elementos desenvolvidos que realizam a mesma função, independente da estrutura.

Assim, por exemplo, será considerado por aqueles versados na técnica que os dia- gramas de blocos apresentados aqui representam vistas conceptuais de conjuntos de circui- tos ilustrativos incorporando os presentes princípios. Similarmente, será considerado que quaisquer fluxogramas, diagramas, diagramas de transição de estado, pseudocódigo, e se- melhante, representam vários processos que podem ser substancialmente representados em meioo legíveis por computador e assim executados por um computador ou processador, seja o tal computador ou processador mostrado ou não explicitamente. As funções dos vários elementos mostrados nas figuras podem ser providas atra- vés do uso de hardware dedicado assim como hardware capaz de executar software em associação com software apropriado. Quando providas por um processador, as funções po- dem ser providas por um único processador dedicado, por um único processador comparti- lhado, ou por uma pluralidade de processadores individuais, alguns dos quais podem ser compartilhados. Além disso, o uso explícito do termo “processador” ou “controlador” não deve ser considerado como se referindo exclusivamente a hardware capaz de executar sof- tware, e pode inciuir implicitamente, sem limitação, hardware de processador de sinal digital (“DSP”), memória de leitura (“ROM”) para armazenar software, memória de acesso aleatório (“RAM”), e meio de armazenamento rião-volátil.

Outro hardware, convencional e/ou especial, também pode ser incluído. Simiiar- rnente, quaisquer comutadores mostrados nas figuras são apenas conceptuais. A função dos mesmos pode ser realizada através da operação de lógica de programa, alravés de ló- gica dedicada, através da interação de controle de programa e lógica dedicada, >ju até mesmo manualmente, a técnica específica podendo ser selecioriáve! pelo impíement3dor conforme entendido mais especificamente a partir do contexto.

Nas reivindicações quaisquer elementos expressos como um meio para realizar uma função especificada pretende abranger qualquer forma de realizar essa função incluin- do. por exemplo, a) uma combinação de elementos de circuito que realizam essa função ou b) software em qualquer forma, incluindo, portanto, firmware, microcódigo ou semelhante, combinado com conjunto de circuito apropriado para executar esses scflwares para realizar a função. Os presentes princípios conforme definidos por tais reivindicações residem no fato de que as funcionalidades providas pelos vários meios citados são combinadas e unidas na forma na qual demandada pelas reivindicações. Considera-se assim que quaisquer meios que possam prover essas funcionalidades são equivalentes àqueles aqui mostrados.

Referencia no relatório descritivo a “uma modalidade’1 ou (“uma implementação”) ou “uma modalidade” (ou “uma implementação”) dos presentes princípios significa que um as- pecto, estrutura, característica, específica, e assim por diante descrito em conexão com a modalidade è incluído em ao menos uma modalidade dos presentes princípios. Assim, o surgimento da frase “em uma modalidade” ou “em alguma modalidade” aparecendu em vá- rios locais por todo o relatório descritivo não se referem todos à mesma modalidade.

Deve ser considerado que o uso dos termos “e/ou” e '‘ao menos um de”, por exem- ple*, nos casos de “A e/ou b” e “ao menos um de A e B", pretende abranger a seleção da primeira opção relacionada (A) apenas, ou a seleção da segunda opção relacionada (B) a- per.as, ou a seleçã·.· de ambas as opções (A e B). Como um exemplo adicional, nos casos de “A, B, e/ou 0” e “ao menos um de A, B e C”, tal frase pretende abranger a seleção ape- nas da primeira opção relacionada (A), ou .3 seleção apenas da segunda opção relacionada (B)1 ou a seleção apenas cia terceira opção relacionada (C), ou a seleção apenas da primei- ra e da segunda opção relacionada (A e B), ou a seleção apenas da primeira e terceira op- ção relacionada (A e C), ou a seleção apenas da segunda e terceira opção relacionada (B e C), ou a seleção de todas as três opções (A e B e C). Isso pode ser estendido, como pron- tamente evidente para aqueles de conhecimento comum nessas técnicas e nas técnicas relacionadas, portanto, aos muitos iteris relacionados.

Além disso, deve ser considerado que embora uma ou mais modalidades dos pre- sentes princípios sejam descritas aqui com relação ao padrão MPEG-4 AVC:, -·ε presentes princípios não são limitados apenas a esse padrão e, assim, podem ser utilizados com rela- ção a outros padrões, recomendações, e extensões dos mesmos, particularmente padrões de codificação de vídeo, recomendações, e extensões dos mesmos, incluindo extensões do padrão MPEG-4 AVC:, enquanto mantendo o espírito dos presentes princípios.

Além disso, deve ser considerado que embora uma ou mais diferentes modalidades dos presentes princípios sejam descritas aqui com relação á extensão de codificação de vídeo de múltiplas vistas do padrão MPEG-4 AVC, os presentes princípios não são limitados apenas a essa extensão e/ou esse padrão e, assim, podem ser utilizados com relação a outros padrões de codificação de vídeo, recomendações e extensões dos mesmos relacio- nados á codificação de vídeo de múltiplas vistas, enquanto mantendo o espírito dus presen- tes princípios. Codificação de vídeo de múltiplas vistas (MVC) é a estrutura de compactação para a codificação de seqüências de múltipías vistas. Llma seqüência de Codificação de Vídeo de Múltiplas Vislas (MVC) é um conjunto de duas ou mais seqüências de vídeo que capturam a mesma cena de um ponto de vista diferente.

Além disso, deve ser considerado que embora uma ou mais diferentes modalidades dc>s presentes princípios sejam descritas aqui as quais utilizam informação de profundidade com relação ao conteúdo de vídeo, os presentes princípios não são limitados a tais modali- dades e, assim, outras modalidades podern ser implementadas as quais não utilizam infor- mação de profundidade, enquanto mantendo o espírito dos presentes princípios.

Adicionalmente, conforme aqui usado, “sintaxe de alto níve!” se refere à sintaxe presente no fluxo de bits que reside hierarquicamente acima da camada de macrobloco. Por exemplo, sintaxe de alto nível., conforme aqui usada, pode se referir, mas não é limitada à sintaxe no nível de cabeçalho de seção, nível de Informação de Otimização Suplementar (SEI), níve! de Conjunto de Parâmetros de Imagem (PPS)1 nível de Conjunto de Parâmetros de Seqüência (SPS)1 Conjunto de Parâmetros de Vista (VPS), e níve! de cabeçalho de uni- dade de Camada de Abstração de Kede (NAL).

Na presente implementação de codificação de multivideo (MVC) com base na re- comendação H.264 da Organização Internacional para Padronização/Comissão Eletrotécni- ca Internacional (ISO/IEC) da União de Telecomunicação Internacional/Padrão de Codifica- ção de Vídeo Avançado (AVC) Parte 10 do Grupo 4 de Especialistas Cinematográficos I MPEG-4) (em seguida o “Padrão MPEG-4 AVC" ), o software de referencia obtém predição de múltiplas vistas mediante codificação de cada vista com um único codificador conside- rando as referências de vistas cruzadas. Cada vista é codificada como um fluxo de bits, se- parado pelo codificador em sua resolução original e posteriormente todos os fluxos de bits são combinados para formar um único fluxo de bits o qual é então decodificado. Cada vista produz uma saída decodificada '1UV separada.

Outra abordagem para predição de múltiplas vistas envolve agrupar um conjunto de vistas em pseudovistas. Em um exemplo dessa abordagem, podemos ladrilhar as imagens a partir de cada IJ vistas de um total de M vistas (amostradas ao mesmo tempo) em um qua- dro maior ou em um superquadro com possível amostragem descendente ou outras opera- ções. De acordo agora corn a Figura 1, um exemplo das quatro vistas ladrilhadas em um único quadro é indicado geralmente pelo numeral de referência 100. Todas as quatro vistas estão em sua -Jrientaqso riormai.

De acordo com a Figura 2, um exemplo de quatro vistas viradas e ladrilhadas em um único quadro ê indicado geralmente pelo numeral de referência 200. A vista superior esquerda está em sua orientação normal. A vista superior direita está virada horizontalmen- te. A vista inferior esquerda está virada verticalmente. A vista inferior direita está virada hori- zontalmente assim como verticalmente. Assim, se houver quatro vistas, eruão uma imagem a partir de cada viota é disposta em um superquadro como um ladrilho. Isso resulta em uma única seqüência de entrada não-codificada com uma grande resolução.

Alternativamente, podemos amostrar descendentemente a imagem para produzir uma resolução menor. Assim, criamos múltiplas seqüências cada uma das quais inclui dife- rentes vistas que são ladrilhadas juntas. Cada tal seqüência forma então uma pseudovista, onde cada pseudovista inclui N diferentes vistas ladrilhadas. A Figura 1 mostra uma pseu- dovista, e a Figura 2 mostra outra pseudovista. Essas pseudovistas podem ser enião codifi- cadas utilizando-se os padrões de codificação de vídeo existentes tal como o Padrão iSu/lEu MPElJ-2 e o Padrão MPE1 j-4 AVu.

Ainda nutra abordagem para predição de múltiplas vistas envolve simplesmente a codificação das diferentes vistas usando independentemente um novo padrão e, após a de- codificação, Iadriltiamento das vistas conforme exigido pelo aparelho de reprodução.

Adicionalmente, em outra abordagem, as vistas também podem ser ladrilhadas na forma de pixel. Por eyemplo, em urna super vista que é composta de quatro vistas, pixel (>:, y) pode ser a partir da vista 0, enquanto que pixel (x+ l, y) pode ser a partir da vista 1, pixel y+1) pode ser a partir da vista 2, e pixel (>.+1, y+1) pode ser a partir da vista 3.

Muitos fabricantes de vídeo utilizam tal estrutura de arranjo ou Iadrilhamento de di- ferentes vistas em um único quadro e então a extração das vistas a partir de seus locais Γ» KJ

respectivos e rendertzação das mesmas. Em tais casos, não há forma padrão para determi- nar se o fluxo de bits tem tal propriedade. Assim, oe um sistema utiliza o método de ladrilhar imagens de vistas diferentes em um quadro grande, eritâo o método de extrair as diferentes vistas e registrado.

Contudo, não há uma forma padrão para determinar se o fluxo de bits tem tal pro- priedade. Propomc-s sintaxe de alto nível para facilitar o aparelho de renderização ou repro- dução a extrair tal informação para auxiliar na exibição ou outro processamento posterior. Também é possível que as subimageris tenham diferentes resoluções e certa amostragem ascendente pode ser necessária para eventualmente renderizar a vista. O usuário pode pre- tender ter o método de amostragem ascendente também indicado na sintaxe de alto nível. Adicionalmente, os parâmetros para mudar o foco de profundidade também podem ser transmitidos.

Em uma modalidade, propomos uma mensagem de Informação de Otimização Su- plementar (SEI) riova para sinalizar informação de múltiplas vistas em um Padrão MPEG-4 AVC compatível com o fluxo de bits onde cada imagem inclui subimagens que pertencem a uma vista diferente. A modalidade se destina, por exemplo, à exibição fácil e conveniente de fluxos de vídeo de múltiplas vistas em monitores tridimensionais (3D) os quais podem usar tal estrutura. O conceito pode ser estendido a outros padrões de codificação de vídeo e re- comendações sinalizando tal informação usando sintaxe de aito nível.

Além disso, em uma modalidade, propomos um métodu de sinalização de corno dispor as vistas antes de serem enviadas para o codificador e/ou decodificador de vídeo de múltiplas vistas. Vantajosamente, a modalidade pode levar a uma implementação simplifica- da da codificação de múltiplas vistas, e pode se beneficiar da eficiência de codificação. Cer- tas vistas podem ser colocadas juntas e formar uma pseudovista ou supervista e então a supervista ladrilhada é tratada como uma vista normal por um codificador e/ou decodificador de vídeo de múltiplas vistas, comum, por exempio, de acordo com a implementação basea- da no Padrão MPEG-4 AVC atual de codificação de vídeo de múltiplas vistas. Llm novo sina- Iizador é proposto na extensão Conjunto de Parâmetros de Seqüência (SPS) de codificação de vídeo de múltiplas vistas para sinalizar o uso da técnica de pseudovistas. A modalidade é pretendida para a exibição fácil e conveniente dos fluxos de vídeo de múltiplas vistas em monitores 3D que utilizam tal estrutura.

Codificacão/decodificação utilizando um padrão/recomendação de codifica- ç-ãC'/decodificação de video de vista única

IJa presente implementação de codificação de multivideo (MVC), com base na re- comendação H.264 da Organização Internacional para Padronização/Comissão Eletrotécni- ca internacional (ISO/IEC) da União de Telecomunicação Internacional/Padrão de Codifica- ção de Vídeo Avançado (AVC) Parte 10 do Grupo 4 de Especialistas Cinematográficos (MPEG-4), setor de telecomunicações (ITU-T) (em seguida o “Padrão MPEG-4 AVC”), o software de referencia obtém predição de multivista mediante codificação de cada vista com um único codificador e considerando as referencias de vistas cruzadas. Cada vista é codifi- cada como um fluxo de bits separado pelo codificador em sua resolução original e posteri- ormente todos os fluxos de bits são combinados para formar um único fluxo de bits que é então decodificado. Cada vista produz uma saída decodificada YUV separada.

Outra abordagem para predição de multivista envolve ladrilhar as imagens a partir de cada vista (amostradas ao mesmo tempo) em um quadro maior ou em um superquadro com uma possível operação de amostragem descendente. Voltando-se agora para a Figura 1, é indicado um exemplo de quatro vistas ladrilhadas em um único quadro geralmente indi- cado pelo numeral de referencia 100. Voltando-se agora para a Figura 2, um exemplo de quatro visias viradas e ladrilhadas em um único quadro é indicado geralmente pelo numeral de referencia 200. Assirn, se há quatro vistas, então uma imagem para cada vista é disposta em urn superquadro como um ladrilho. Isso resulta em uma única seqüência de entrada não-codificada com uma grande resolução. Esse sinal pode ser então codificado utilizando- se os padrões de codificação de vídeo existentes tal como o padrão ISO/IEC MPEG-2 e o padrão MF‘EG-4 AVC.

Ainda outra abordagem para predição de multivista envolve simplesmente codificar as diferentes vistas independentemente utilizando um novo padrão e, após a decodificação, ladrilhar as vistas conforme exigido pelo aparelho de reprodução.

Muitos fabricantes de vídeo utilizam tal estrutura de disposição ou Iadriiham^nto de diferentes vistas em um único quadro e então a extração das vistas a partir de seus locais respectivos e renderização das mesmas. Em tais casos, não há forma padrão de se deter- minar se o fluxo de bits tem tal propriedade. Assim, se um sistema utiliza o método de ladri- lhar imagens de vistas diferentes em um quadro grande, então o método de extrair as dife- rentes vistas é registrado.

Voilando-se agora para a Figuia 3, um codificador de vídeo capaz de realizar codi- ficação de vídeo de acordo com o padrão MPEG-4 AVC: é indicado geralmente pelo numeral de referência 300.

O codificador de vídeo 300 inclui um armazenador de ordenamento de quadro 310 tendo uma saida em comunicação de sinal com uma entrada de não-inversão de um combi- nador 3-35. Urna saída do combiriador 3-3r- é conectada em comunicação de sina! com uma primeira entrada de um transformador e quantizador 325. Uma saída do transformador e quantizador 325 é conectada em comunicação de sinai com uma primeira enliada de um codificador de entropia 345 e uma primeira entrada de urn transformador de inversão e quantizador de inversão 350. Uma saída do codificador de entropia 345 é conectada em comunicação de sina! com uma primeira entrada de não-inversão de um combiriador 390. Uma saída do comhinador 390 é conectada em comunicação de sinal com uma primeira entrada de um armazenador de saída 335.

Uma primeira saída de um controlador de codificador 305 é conectada em comuni- cação de sinal com uma segunda entrada do armazenador de ordenamento de quadro 310, uma segunda entrada do transformador de inversão e quantizador de inversão 350, uma entrada de um módulo de decisão de tipo de imagem 315, uma entrada de um módulo de decisão de tipo de macrobloco (MB-tipo) 320, uma segunda entrada de um módulo intrapre- dição 3C--0, uma segunda entrada de um filtro de desblocagem 365, uma primeira entrada de um compensador de movimento 370, uma primeira entrada de um estimador de movimento 375, e urna segunda entrada de um armazenador de imagem de referência 330.

Uma segunda saída do controlador de codificador 305 e conectada em comunica- ção de sinal com uma primeira entrada de um meio de inserção de Informação de Otimiza- ção Suplementar (SEI) 330, uma segunda entrada do transformador e quantizador 325, uma segunda entrada do codificador de entropia 345, uma segunda entrada do armazenador de saída 335, e uma entrada do meio de inserção de Conjunto de Parâmetros de Seqüência (SPS) e Conjunto de Parametros de Imagem (PPS) 340.

Uma primeira saída do módulo de decisão de tipo de imagem 315 é conectada em comunicação de sinal com uma terceira entrada de um armazenador de ordenamento de quadro 310. Uma segunda saída do móduio de decisão de tipo de imagem 315 é conectada em comunicação de sinal com urna segunda entrada de um módulo de decisão de tipo de macrobloco 320.

Urna saída do meio de inserção de Conjunto de Parâmetros de Seqüência (SPS) e Conjunto de Parâmetros de Imagem (PPS) 340 é conectada em comunicação de sinal com uma terceira enirada de não-inversão do combinador 390. Uma saida do meio de inserção SEI 330 é conectada em comunicação de sinal com uma segunda entrada de não-inversão uo combinador 390.

Uma saida do quantizador de inversão e transformador de inveisão 350 é conecta- da em comunicação de sinal com uma primeira entrada de não-inversão de urn combinador 319. Uma saida do combinador 319 é conectada em comunicação de sina! com uma primei- ra entrada do módulo de intrapredição 360 e urna primeira entrada do filtro de desblocagem 365. Uma saída do filtro de desblocagem 365 é conectada em comunicação de sina! com uma primeira entrada de um armazenador de imagem de referência 330. Uma saída do ar- mazenador de imagem de referência 330 é conectada em comunicação de sinal com uma segunda entrada do estimador de movimento 375 e com uma primeira entrada de um com- pensador de movimento 370. Llma primeira saída do estimador de movimento 375 é conec- tada em comunicação de sinal com uma segunda entrada do compensador de movimento 370. IJma segunda saída do estimador de movimento 375 é conectada ern comunicação de sinal com uma terceira entrada do codificador de entropia 345.

Uma saida do compensador de movimento 370 é conectada em comunicação de sinal com uma primeira entrada de um comutador 397. Uma saída do módulo de intrapredi- ção 360 é conectada em comunicação de sinal com uma segunda entrada do comutador 397. Uma saída do módulo de decisão de tipo de macrobloco 320 é conectada em comuni- cação de sinal com uma terceira entrada do comutador 397 para prover uma entrada de controle para o comutador 397. A íerceira entrada do comutadur 3m7 determina se a entrada de “dados” do comutador (em comparação com a entrada de controle, isto é, a terceira en- trada) deve ou não ser provida pelo compensador de movimento 370 ou pelo módulo de intrapredição 360. A saída do comutador 397 é conectada em comunicação de sinai com uma segunda entrada de não-inversão do combinador 319 e com uma entrada de inversão do combinador 335.

As entradas do armazenador de ordenamento de quadro 310 e do controlador de codificador 105 estão disponíveis como entradas do codificador 300, para receber uma ima- gem de entrada 301. Além disse», uma entrada do meio de inserção de Informação de Otimi- zação Suplementar (SEI) 330 está disponível como uma entrada do codificador 300, para receber metadados. Uma saída do armazenador de saída 335 está disponível como urna saída do codificador 300, para emitir um fluxo de bits.

Voítando-se agora para a Figura 4, um decodificador de vídeo capaz de lealizar de- codificação de vídeo de acordo com o Padrão MPEG-4 AVC é indicado geralmente pelo numeral de referencia 400.

O decodificador de vídeo 400 incSui um armazenador de entrada 41Π tendo uma sa- ída conectada em comunicação de sinal com uma primeira entrada do decodificador de en- tropia 445. Uma primeira saída do decodificador de entropia 445 é conectada em comunica- ção de sinal com uma primeira entrada de um transformador de inversão e quantizador de inversão 450. lJma saída do transformador de inversão e do quantizador de inversão 450 é conectada em comunicação de sinal com uma segunda entrada de não-inversão de um combinador 425. Uma saída do combinador 425 é conectada em comunicação de sina! com uma segunda entrada de um filtre, de desblocagem 465 e uma primeira entrada de um mó- dulo de intrapredição 460. Uma segunda saída do fiitro de desblocagem 465 é conectada em comunicação de sinal com uma primeira entrada de um armazenadur de imagem de referência 430. Uma saida do armazenador de imagem de referência 430 é conectada em comunicação de sinal com uma segunda entrada de um compensador de movimento 470.

Uma segunda saída do decodificador de entropia 445 e conectada em comunicação de sina! com uma terceira entrada do compensador de movimento 470 e uma primeira en- trada do filtro de desblocagem 4*5. Uma terceira saída do decodificador de entropia 445 é conectada em comunicação de sinal com uma entrada de um controlador de decodificador 405. Uma primeira saída do controlador de decodificador 405 é conectada em comunicação de sinal com uma segunda entrada do decodificador de entropia 445. Uma segunda saída do controlador de decodificador 405 é conectada em comunicação de sinal com uma segun- da entrada do transformador de inversão e quantizador de inversão 450. Uma terceira saída do controlador de decodificador 405 é conectada em comunicação de sinal com uma tercei- ra entrada do filtro de desblocagem 465. Uma quarta saída do controlador de decodificador 405 é conectada em comunicação de sinal com uma segunda entrada do módulo de intra- predição 460, com uma primeira entrada do compensador de movimento 470, e com uma segunda entrada do armazenador de imagem de referência 430.

Uma saída do compensador de movimento 470 é conectada em comunicação de sinal com uma primeira entrada de um comutador 497. Uma saida do módulo de intrapredi- cão 4‘:-0 è c* jnectada em comunicação de sinal com uma segunda entrada do comutador 497. Uma saida do comutador 497 é conectada em comunicação de sinal com uma primeira entrada de não-inversão do combinador 425.

Uma entrada do armazenador de entrada 41 ü está disponível como uma entrada do decodificador 400, para receber um fluxo de bits de entrada. Uma primeira saída do filtro de desblocagem 465 está disponível como uma saída do decodificador 400, para emitir uma imagem de saída.

Voltando-se para a Figura 5, um método exemplar para codificar imagens paia uma pluralidade de vistas utilizando o Padrão MPEG-4 AVC è indicado geralmente pelo numerai de referencia 500. Q método 500 inclui um bloco inicial 502 que passa o controle para urn bloco de funcão 504. O bioco de função 504 arranja cada vista em uma instância temporal específica como uma subimagem no formato de ladrilho, e passa o controle para um bloco de função 506. O bloco de função 506 estabelece um elemento de sintaxe rium_codec_views_minus1, e passa o controle para um bloco de função 508. O bloco de função 508 estabelece os elementos de sintaxe org_pic_widthJn_mbs_minus1 e org_pic_heightJn_mbs_minus1, e passa o controle para um bloco de função 510. O bloco de função 510 estabelece uma variável i igual a zero, a passa o controle para o bloco de decisão 5 i2. O bloco de decisão 512 determina se a variável i é ou não menor do que o númeio de vistas. Se for afirmativo, então o controle é passado para um bloco de função 514. Caso contrário, o controle é passado para um bloco de função 524.

O bloco de função 514 estabelece um elemento de sintaxe view_id[ij, e passa o controle para um bloco de função 516. O bhrc.» de função 516 esiabelece um elemento de sintaxe num_parts[view_id[i], e passa o controle para um bioco de função 513. G bloco de função 513 estabelece urr.a variável j igual a zero, e passa o controle para um bioco de de- cisão 520. Q bloco de decisão 520 determina se o valor atual da variável j é ou não menor do que o valor atual do elemento de sintaxe num_parts[view_id[i]. Se for afirmativo, então o controle é passado para um bloco de função 522. Caso contrário, o controle é passado para um bloco de função 523.

O bloco de função 522 estabelece os seguintes elementos de sintaxe, incrementa a variávei j, e então retorna o controle para o bloco de decisão 520:

depth_flag[viewJd[i]]U];ílip_dir[view_id[i]j|j]; locJeít_offset[view_id[i]][j];

loe_top_ofíset[viewjd[i]][j]; frame_çrop_left_offset[viewJd[ij][j];

frame_crop_right_offset[view_id[i]][j]; frame_crop_top_offset[view_id[i]][j]; e

frame_erop_bottom_offset[viewJd[i]][j].

O bloco de função 523 estabelece um elemento de sintaxe upsam- ple_view_flag[view_id[i]], e passa o controle para um bloco de decisão 530. O bloco de deci- são 530 determina se o valor atuai do elemento de sintave upsample_view_flag[view_id[i]] é ou nãn igual a um. Se for, então o controle é passado para um bloco de função 532. Caso contrário, o controle é passado para um bloco de decisão 534.

O bloco de função 532 estabelece um elemento de sintaxe upsam- ple_filter[view_id[i]], e passa o controle para o bloco de decisão 534.

O bloco de decisão 534 determina se o valor atual do elemento de sintaxe upsam- ple_filter[view_id[i]] é ou não igua! a três. Se for, então o controle é passado para um bloco de função 53$. Caso contrário, o controle é passado para um bloco de função 540.

O bloco d* função 536 estabelece os seguintes elementos de sintaxe e passa o controle para um bloco de função 53S: vert_dim[viewjd[i]]; hor_dim[view_id[i]]; e quariti- zer[view_id[i]].

O bioco de função 538 estabelece os coeficientes de filtro para cada componente YUV1 e passa o controle para o bloco de função 540.

O bloco de função 540 incrementa a variável i, e retorna o controle para o bloco de decisão 51J.

O bloco de função 524 grava esses elementos de sinta,\e em ao menos um de: Conjunto de Parâmetros de Seqüência (SPS), Conjunto de Parâmetros de Imagem (PPS), mensagem de Informação de Otimização Suplementar (SEI), cabeçalho de unidade de Ca- mada de Abstração de Rede (NAL)1 e cabeçalho de seção, e passa o controle para um blo- co de função 526. O bloco de função 526 codifica cada imagem utilizando o Padrão MPEG-4 AVC ou outro codec de vista única, e passa o controle para urn bloco final 599.

Voltando-se para a Figura 6, um método exemplar para decodificar imagens para uma pluralidade de vistas utilizando o Padrão MPEG-4 AVC é indicado geralmente pelo nu- meral de referência 600.

O método 600 inclui um bloco inicia! 6u2 que passa o controle para um bloco de função 604. O bloco de função 604 analisa os elementos de sintaxe seguintes a partir de ao menos um de Conjunto de Parâmetros de Seqiiencia (SPS), Conjunto de Parâmetros de Imagem ÍPPS), mensagem de Informação de Otimização Suplementar (SEI), cabeçalho de unidade de Camada de Abstração de Rede (NAL)1 e cabeçalho de seção, e passa o controle para um bloco de função 606. O bloco de função 606 analisa um eiemento de sintaxe num_codec_views_minus1, e passa o conlrole para um bioco de função 608. O bloco de função 608 analisa os elementos de sintaxe org_pic_width _in_m bs_m inus 1 e org_pic_heigth_in_mbs_minus1 e passa o controle para um bloco de função 610. O bloco de função 610 estabelece uma variável i igual a zero, e passa o controle para o bloco de deci- são 612. O bloco de decisão 612 determina se a variável i é ou não menor do que o número de vistas. Se for, então o controle é passado para um bloco de função 614. 'Caso contrário, o controle é passado para um bloco de função 624.

O bloco de função 614 analisa um elemento de sintaxe view_id[i], e passa o contro- le para um bloco de função 616. O bloco de função 616 analisa um elemento de sintaxe num_parts_minus1 [view_id[i]], e passa o controle para um bloco de função 618. O bloco de função 618 estabelece uma variável j igual a zero, e passa o controle para um bloco de de- cisão 620. O bloco de decisão 629 determina se o valor atuai da variável j é ou não menor do que o valor atual do elemento de sintaxe num_parts[view_id[i]]. Se for, então o controle é passado para um bloco de função 622. Caso .contrário, o controle é passado para um bloco de função 628.

O bioco de função 622 analisa os seguintes elementos de sintaxe, incrementa a va- riável j, e então retorna o controle para o bloco de decisão 620:

depth _f Iag [viewjd [i]] Ijj; fl ip_d i rjyiew_id [i]] 0]: IocJeft_offset[view_id [i]] [j];

loc_top_ofiset[viewJd[i]][j]; frame_cropJeft_offset[view_id[i]]|j];

frame_orop_right_ofFset[view_id[i]][j]; frame_erop_top_offset[view_id[i]][j]; e

fram*_crop_bottom_offseí[view_id[i]][j].

O bloco de função 628 analisa um eiemento de sintaxe upsam- ple_view_flcig[view_id[i]j, e passa o controle para um bloco de decisão 630. O bloco de deci- são 680 determina se o valor atual do elemento de sintaxe upsample_view_aag[view_id[ij] é ou não igual a um. Se for, então o controle é passado para um bloco de função 682. Caso contrário, o controle é passado para um bioco de decisão 684.

O bloco de função 682 analisa um elemento de sintaxe upsample_filter[viewjd[ij], e passa o controle para o bloco de decisão 684.

O bloco de decisão 684 determina se o valor atuai do elemento de sintaxe upsam- ple_filter[view_id[ij] é ou não igual a ires. Se for, então o controle é passado para um bloco de função 636. Caso contrário, o controle é passado para Lim bloco de função 640.

O bloco ,je função 636 analisa os seguintes elementos de sintaxe e passa o contro- le para um bloco de função 638: vert_dim[view_id[i]]; hor_dim[view_id[i]]; e quanti- zer[view_id[i]]. O bloco de função 633 analisa os coeficientes de filtro para cada componente YLJV, e passa o controle para o bloco de função 640.

O bloco de função 640 incrementa a variável i, e retr.rna o controle para o bloco de decisão 612.

O bloco de função 624 decodifica cada imagem utilizando o padrão MPEG-4 AVC ou outro codec de vista única, e passa o controle para um bloco de função 626. O bloco de função 626 separa cada vista a partir da imagem utilizando a sintaxe de alio nível, e passa o controle para um bloco final 699.

Voltando-se para a Figura 7, um método exemplar para codificar imagens para uma pluralidade de vistas e profundidades, utilizando o Padrão MPEG-4 AVC é indicado geral- mente pelo numeral de referência 700.

O método 700 inclui um bloco inicial 702 que passa o controle para um bloco de função 704. O bloco de função 704 arranja cada vista e profundidade correspondente em uma instância temporal específica como uma subimagem no formato de ladrilho, e passa o controle para um bloco de função 706. O bioco de função 706 estabelece urn elemento de sintaxe num_coded_views_minus1, e passa o controle para um bloco de função 708. O blo- co de função 708 estabelece os elementos de sintaxe org_pic_width_in_mbs_minus1 e org_pic_heighí_in_rnhs_minu?.1, e passa o controle para um bloco de função 710. O bloco de função 710 estabelece uma variável i igual a zero, e passa o controle para um bioco de decisão 712. O bloco de decisão 712 determina se a variável i é ou não inferior ao número de vistas. Se for, então o controle é passado para um bloco de função 714. Caso contrário, o controle e passado para um bloco de função 724.

O bloco de função 714 estabelece um elemento de sintaxe view_id[i], e passa o controle para um bloco de função 716. O bloco de função 716 estabelece um elemento de sintaxe num_parts[viewjd[i]], e passa o controle para um bloco de função 718. O bloco de função 718 estabelece uma variável j igual a zero, e passa o controle para um bloco de de- cisão 720. O bloco de decisão 720 determina se o valor atual da variável j é ou rião menor do que o valor atuai do eiemento de sintaxe num_parts[view_id[i]J. Se for, então o controle é passado para um bloco de função 722. Casc- contrário, o controle é passado para um bloco de função 728.

O bloco de função 722 estabelece os seguintes elementos de sintaxe, incrementa a variável j, e então retorna o controle para o bloco de decisão 720:

depth_flag[viewjd[i]][j]; f 11 p_d í r [v i e wj d [i ]] Q]; locjefí_offsei[viewJd[i]][j]; locJ:op_offset[viewJd[i]][j]; trame_orop_ieft_offset[viewjd[i]][j];

frame_oropj1ght_offsêí[viewJd[i]][j]; frame_crop_top_offsel[view_id[i]][jl; e

frarne_crop_bottom_oífoei[view_id[i]][j].

O bloco de função 728 estabelece um elemento de sintaxe upsam- ple_view_flag[view_id[ij], e passa o controle para um bioco de decisão 730. O bloco de deci- são 730 determina se o valor atual do elemento de sintaxe upsamp!e_view_flag[view_id[i]] é ou não igual a um. Se for, então o controle é passado para um bloco de função 732. Caso contrário, o controle é passado para um bioco de decisão 734.

O bloco de função 732 estabelece um elemento de sintaxe upsam- p!e_fi!ter[view_id[i]], e passa o controle para o bloco de decisão 734.

O bloco de decisão 734 determina se o valor atual do elemento de sintaxe upsam- ple_filter[view_id[i]j é ou não igual a três. Se for, eníão o controle é passado para um bloco de função 736. Caso contrário, o controle é passado para um bloco de função 740.

O bloco de função 736 estabelece os seguintes elementos de sintaxe e passa o controle para um bloco de função 733: verí_dim[view_id[i]]; hor_dim[view_id[i]]; e guanti- zer[view_id[i]].

O blor.o de função 733 estabelece os coeficientes de filtro para cada componente VUV1 e passa o controle para o bloco de função 740.

O Noco de função 740 incrementa a variável i, e retorna o controle para o bloco de decisão 712.

O bloco de furição 724 grava esses elementos de sintaxe para ao menos um de: Conjunto de Parâmetros de Swquêneia (SPS), Conjunto de Parâmetros de Imagem (PPS), mensagem de Informação de Otimização Suplementar (S-Ei), cabeçalho de unidade de Ca- mada de Abstração de Rede (NAL), e cabeçalho de seção, e passa o controle para um bio- co de função 726. O bioco de função 726 codifica cada imagem utilizando o Padrão MPEG-4 AVC: ou outro codec de vista única, e passa o controle para um bloco final 799.

Voltando-se para a Figura 3, um método exemplar para decodificar imagens para uma pluralidade de vistas e profundidades utilizando o Padrão MPEG-4 AVC é indicado ge- ralmente pelo numeral de referência 300.

Cj método 300 inclui um bloco inicial 302 que passa o controle para um bloco de função 304. O bloco de função 304 analisa os seguintes elementos de sintaxe a partir de ao menos um de 'Conjurito de Parâmetros de Seqüência (SPS), Conjunto de Parâmetros de Imagem (PPS), mensagem de informação de Otimização Suplementar (SEI), cabeçalho de unidade de Camada de Abstração do Rede (NAL), e cabeçalho de seção, e passa o controle para um bloco de função 306. O bloco de função 306 analisa um elemento de sintaxe num_codec_views_minus1 e passa o controle para um bioco de função 303. O bloco de função 303 analisa os elementos de sintaxe org_pie_width_iri_mbs_minus1 e org_pic_heightJn_mbs_minus1, e passa o controle para um bioco de função 810. O bioco de função 310 estabelece uma variável i igual a zero, e passa o controle para um bloco de decisão 312. O bioco de decisão 812 determina se a variável i é ou não menor do que o numero de vistas. Se for, então o controle é passado para um bloco de função 314. Caso contrário, o controle é passado para um bloco de função 324.

O bloco de íuncão 814 analisa um elemento de sintaxe view_id[i], e passa o contro- le para um bloco de função 816. O bloco de função 316 analisa um elemento de sintaxe num_parts_minus1[view_id[i]], e passa o controle para um bloco de função 813. O bloco de função 818 estabelece uma variável j igual a zero, e passa o controle para um bloco de de- cisão 320. O bloco de decisão 320 determina se o valor atual da variável j é ou não inferior ao valor atual do eiemento de sintaxe num_parts[view_id[i]]. Se for, então o controle é pas- sado para um bloco de função 822. Caso contrário, o controle é passado para um bloco de função 328.

O bloco de função 322 analisa os seguintes elementos de sintaxe, incrementa a va- riável j, e então retorna o controle para o bloco de decisão 820:

depth_flag[view_id[i]]jj]; flip_dir[view_id[i]][j]; locJeft_offset[view_id[i]][j]; loc_top_offset[view_id[i]][j]; frame_crop_left_offset[viewJd[i]][j];

frame_crop_right_offset[view_ic![i]][j]; frame_crop_top_oífset[view_id[i]][i]; e

írame_crop_boUom_offeet[viewJd[i]]B].

O bloco de funcão 323 analisa um elemento de sintaxe upsam- ple_view_flag[viewjd[i]]? e passa o controle para um bloco de decisão 330. O bloco de deci- são 330 determina se o valor atual do elemento de sintaxe upsample_view_f!ag[view_id[i]] é ou rião iguai a um. Se for, então o controle é passado para um Liioco de função 332. Caso contrário, o controle é passado para um Noco de decisão 834.

'•j bloco de função ·:·.·<2 analisa um elemento de sintaxe upsample_filier[view_id[i]], e

passa o controle para o bloco de decisão 334.

O bioco de decisão 334 determina se o valor atual do elemento de sintaxe upsam- ple_filler[view_id[i]j é ou não igual a três. Se for, então o controle é passado para um bloco de função 336. C aso contrário, o controle é passado para um bloco de função 340.

O bloco de função 836 analisa os seguintes elementos de sintaxe e passa o contro- le para um bloco de função 333: vert_dim[viewjd[i]]; hor_dim[viewJd[i]]; e quanti- zer[view_id[i]].

O bloco de função 838 analisa c<s coeficientes de filtre· para cada componente YUV, e passa o controle para o bloco de função 840.

O bloco de função 840 incrementa a variável i, e retorna o controle para o bloco de decisão 812.

O bloco de função 824 decodifica cada imagem utiiizando o Padrão MPEG-4 AVC: ou outro codec de vista única, e passa o controle para um Noeo de função 82t<. O bloco de função 826 separa cada vista e a profundidade correspondente a partir da imagem utilizando a sintaxe de alto nível, e passa o rontrole para um bloco de função 827. O bloco de função 327 potencialmente realiza a síntese das vistas utilizando a vista extraída e os sinais de pro- Iundidade1 e passa o controle para um bloco final 899.

Com relação á profundidade usada nas Figuras 7 e 3, a Figura 9 mostra um exem- plo de um sinal de profundidade 900, onde a profundidade é provida como um valor de pixel para cada local correspondente de uma imagem (não mostrada). Adicionalmente, a Figura mostra um exemplo de dois sinais de profundidade incluídos em um ladrilho 1000. A por- ção superior direita do ladrilho 1000 é um sinal de profundidade tendo valores de profundi- dade correspondendo à imagem na porção superior esquerda do ladrilho 1000. A porção inferior direita do ladrilho 100 é urn sinal de profundidade tendo valores de profundidade cor- respondendo à imagem na porção inferior esquerda do ladrilho 1000.

Voltando-se para a Figura 11, um exemplo das cinco vistas ladrilhadas em um úni- co quadro é indicado geralmente pelo numeral de referência 1100. As quatro vistas superio- res estão em uma orientação normal. A quinta vista também está em uma orientação nor- mal, porém é dividida em duas porções ao longo da parte inferior do ladrilho 1100. Uma por- ção esquerda da quinta vista mostra o “topo” da quinta vista, e uma porção direita da quinta vista mostra a “parte inferior” da quinta vista.

Codificação/decodificação utilizando um padrão/recomendação de codifica- ção/decodificação de vídeo de multivista

Voltando-se para a Figura 12, um codificador exemplar de Codificação de Vídeo de Multivista (MVC ) é indicado geralmente peio numerai de referência 1200. O codificador 12UÜ inclui um combinador 1205 tendo uma saída conectada em comunicação de sinal com uma entrada de um transformador 1210. Uma saída do transformador 1210 é conec tada em co- municação de sinal com uma entrada do quantizador 1215. Uma saída do quantizador 1215 é conectada em comunicação de s inal com uma entrada de um codificador de entropia 1220 e uma entrada de um quantizador inverso 1225. Uma saída do quantizador inverso 1225 é conectada em comunicação de sinal com uma entrada de um transformador de inversão 1230. Uma saída do transformador de inversão 1230 è conectada em comunicação de sinal com uma primeira entrada de não-inversão de um combinador 1235. Uma saída do combi- nador 1235 é conectada em comunicação de sinal com uma entrada de urn intra prediior 1245 e uma entrada de um filtro de desblocagem 1250. Uma saída do filtro de desblocagem 1250 é conectada em comunicação de sinal com uma entrada de um meio de armazena- mento de imagem de referência 1255 (para a vista i). Uma saída do meio de armazenamen- to de imagem de referência 1255 é conectada em comunicação de sinal com uma primeira entrada de um compensador de movimento 1275 e uma primeira entrada de um estimador de movimento 1230. Uma saída do estimador de movimento 1230 é conectada em comuni- cação de sinal com uma segunda entrada do compensador de movimento 1275.

Uma saída de um meio de armazenamento de imagem de referência 1260 (para outras vistas) é conectada em comunicação de sinal com uma primeira entrada de um esti- mador de disparidade 1270 e uma primeira entrada de um compensador de disparidade 1265. Llma saída do estimador de disparidade 1270 é conectada em comunicação de sinal com uma segunda entrada do compensador de disparidade 1265.

Uma saída do decodificador de entropia 1220 está disponível como uma saída do codificador 12U0. Uma entrada de não-inversão do combinador 1205 está disponível como uma entrada do codificador 1200, e é conectada em comunicarão de sinal com uma segun- da entrada do estimador de disparidade 1270, e uma segunda entrada do estimador de mo- vimento 1230. Uma saída de um comutador 1285 é conectada em comunicação de sinal com uma segunda entrada de não-inversão do combinador 1235 e com uma entrada de in- versão do combinador 1205. O comutador 1285 inclui uma primeira entrada conectada ern comunicação de sirial com uma saída du compensador de movimento 1275, uma segunda entrada conectada em comunicação de sinal com uma saida do compensador de disparida- de 1265, e uma terceira entrada conectada em comunicação de sinal com uma saída do iritra preditor 1245.

Um módulo de decisão de modo 1240 tem uma saída conectada ao comutador 1235 para controlar qual entrada é selecionada pelo comutador 1285.

Voltando-se para a Figura 1:-'., um decodificador exemplar de Codificação de Vídeo dtT Multivista (MV‘_ ) e indicado geralmente p>elo numeral de referência 13u>J. O decodificador 1300 inclui um decodificador de entropia 1305 tendo uma saída conectada em comunicação de sinal com uma entrada de um quantizador de inversão 1310. Uma saída do quantizador de inversão é conectada em comunicação de sinal com uma entrada de um transformador inverso 1315. Uma saída do transformador inverso 1315 é conectada em comunicação de sinal com uma primeira entrada de não-inversão de um combinador 1320. Uma saida do combinador 1320 é conectada em comunicação de sinal com uma entrada de um filtro de desblocagem 1325 e uma entrada de um intra preditor 1330. Uma saída do filtro de desblo- cagem 1325 é conectada em comunicação de sinal com uma entrada de um meio de arma- zenamento de imagem de referência 1340 (para vista i). Uma saída do meio de armazena- mento de imagem de referência 134o é conectada em comunicação de sinal com uma pri- meira entrada de um compensador de movimento 1335.

Uma saída de um meio de armazenamento de imagem de referencia 1345 ípara outras vistas) é conectada em comunicação de sinal com uma primeira entrada de um com- pensador de disparidade 1350.

Unia entrada do codificador de entropia 1305 está disponível como uma entrada pa- ra o decodificador 1300, para receber um fluxo de bits de resíduo. Além disso, uma entrada de um módulo de modo 1360 também está disponível como uma entrada para o decodifica- dor 1300, para receber sintaxe de controle para controlar qual entrada é selecionada pelo comutador 1355. Adicionalmente, uma segunda entrada do compensador de movimento 1355 está disponível como uma entrada do decodificador 1300, para receber vetores de movimento. Alem disso, uma segunda entrada do compensador de disparidade 1350 está disponível como uma entrada para o decodificador 1300, para receber vetores de disparida- de.

Uma saída de um comutador 1355 é conectada em comunicação de sinal com uma segunda entrada de não-inversão do combinador 1320. Uma primeira entrada do comutador 1355 é conectada em comunicação de sinal com uma saída do compensador de disparidade 1350. Uma segunda entrada do comutador 1355 é conectada em comunicação de sinal com uma saída do compensador de movimento 1335. Uma terceira entrada do comutador 1355 è conectada em comunicação de sinal com urna saída do intra preditor 1330. Uma saída do módulo de modo 1360 é conectada em comunicação de sinal com o comutador 1355 para controlar qual entrada é selecionada pelo comutador 1355. Uma saída do filtro de desbloca- gem 1325 está disponível como uma saída do decodificador 1300.

Vollando-se para a Figura 14, um método exemplar para processar imagens para uma pluralidade de vistas em preparação para codificar as imagens utilizando a extensão de codificação de vídeo de multivista (MVC) do Padrão MPEG-4 AVC é indicado geralmente pelo numeral de referencia 1400.

O método 1400 inclui um bloco iniciai 1405 que passa o controle para um bloco de função 1410. O Liloco de função 1410 arranja cada uma das n vistas, entre um total de M vistas, em uma instância temporal específica como uma superimagem no formato de ladri- lho, e passa o controle para um bloco de função 1415. O bloco de função 1415 estabelece um eiemento de sintaxe num_coded_views_minus1, e passa o controle para um bloco de função 1420. O bloco de função 1420 estabelece um elemento de sintaxe view_id[i] para todas as vistas (num_coded_views_ininus1 + 1), e passa o controle para um bloco de fun- ção 1425. O bloco de função 1425 estabelece a informação de dependência de referência entre vistas para imagens de âncora, e passa o controie para urn bloco de função 1430. O bloco de função 1430 estabelece a informação de dependência de referência entre vistas para imagens de não-âncora, e passa o controle para um bloco de funcão 1435. O bloco de função 1435 estabelece um elemento de sintaxe pseudo_view_present_f!ag, e passa o con- trole para um bloco de decisão -440. O bioco de decisão 1440 determina se o valor atual do elemento de sintaxe pseudo_view_present_fiag é ou rião verdadeiro. Se for, então o contro- le é passado para um bloco de função 1445. Caso contrário, o controle é passado para um bkico final 1499.

O bloco de função 1445 estabelece os seguintes elementos de sintaxe, e passa o controle para um bloco de funcão 1450: tiling_rnode; org_pic_widthJn_mbs_rninus1; e org_pic_heightJn_mbs_minus I. O bloco de função 1450 demanda um elemento de sintaxe pseudo_viewJnfo(view_id) para cada vista codificada, e passa o controle para o bloco final 1499.

Voltando-se para a Figura 15, um método exemplar para codificar imagens para uma pluralidade de vistas usando a extensão de codificação de video de multivista (MVC) do Padrão MPEG-4 AVC é indicado geralmente pelo numera! de referencia 1500.

O método 1500 inclui um bloco inicia! 1502 que tem um parâmetro de entrada pseudo_view_id e passa o controle para um bloco função 1504. O bloco de função 1504 estabelece um elemento de sintaxe rtum_suh_views_minus1, e passa o controle para um bloco de função 1506. O bloco de função 1506 estabelece uma variável i igual a zero, e passa o controle para um bloco de decisão 1508. O bloco de decisão 1508 determina se a variável i é ou não menor do que o numero de subvistas. Se for, então o controle é passado para o bloco de função 1510. Caso contrário, o controle é passado para um bloco de função 1520.

O bloco de funcão 1520 estabelece um elemento de sintaxe sub_view_id[i], e passa o controle para um bioco de função 1512. O bloco de função 1512 estabelece um elemento de sintaxe num_parts_minus1[sub_view_[id]], e passa o controle para um bloco de função 1514. O L-Ioco de função 1514 estabelece uma variável j igual a zero, e passa o controle para um bloco de decisão 1516. O bloco de decisão 1516 determina se a variável j é ou não inferior ao elemento de sintaxe num_parts_minus1[sub_view_[id]]. Se for, entãu o controle é passado para um bloco de função 1518. Caso contrário, o controle é passado para um bioco de decisão 1522.

O bioco de função 1518 estabeiece os seguintes elementos de sintaxe, incrementa a variável j, e retorna o controle para o bloco de decisão 1516:

locJeft_offset[suLi_view_id[i]][j]; loc_top_offsel[sub_view_id[i]][j];

f ra m e_c ro o_l eft_oífse t [s u b_vi e wj d [ i ] ] [i ]; frame_crop_right_offset[sub_view_id[i]][j];

frame_crop_iop_offset[sub_view_id[i]][j]; e frame_crop_bottom_offset[sub_view_id[i][j].

O bloco de função 1520 codifica a imagem atual para a vista atual utilizando codifi- cação de vídeo de multivista (MVC), e passa o controle para um bloco fina! 1599.

C' bioco de decisão 1522 determina se um eiemento de sintaxe tiling_mode é ou não igual a zero. Se for, erifão o controle é passado para um bloco de função 1524. Caso contrário, o eonirole è passado para urn bloco de função 1538.

O bloco de função 1524 estabeiece um eiemento de sintaxe flip_dir[sub_viewjd[i]] e um elemento de sintaxe upsample_view_flag[sub_view_id[i]], e passa o controle para um bloco de decisão 1526. C' Ijloco de decisão 1526 determina se o valor atuai do elemento de sintaxe upsample_view_flag[sub_view_id[i]] é ou não igual a um. Se for, então o controle é passado para um bloco de função 1528. Caso contrário, o controle é passado para um bloco de decisão 1530.

O bloco de função 1528 estabelece um elemento de sintaxe upsam- *»·*> ple_flag[sub_view_id[i]], e passa o controle para o bloco de decisão 1530. O bloco de deci- são 1530 determina se um valor do elemento de sintaxe upsample_flag[sub_view_id[i]] é ou não igual a três. Se for, o controle é passado para um bloco de função 1532. Caso contrário, o cc-ntroie é passado para um bloco de função 1536.

O bloco de função 1532 estabelece os seguintes elementos de sintaxe, e passa o controle para um bloco de função 1534: vert_dim[sub_view_id[i]]; hor_dim[sub_view_id[i]]; e quantizer[sub_view_id[i]]. O bloco de função 1534 estabeiece os coeficientes de filtro para cada componente YUV, e passa o controle para o bloco de função 1536.

O bloco de funcão 1536 incrementa a variável i, e retorna o controle para o blnco de decisão 15u3. O bloco de função 1533 estabelece um elemento de sintaxe pi- xel_dis.t_x[sub_view_id[ij] e o elemento de sintaxe flip_dist_y[sub_view_id[i]], e passa o con- trole para um bloco de funcão 1540. O bloco de função 1540 estabelece a variável j iguai a zero: e passa o controle para um bloco de decisão 1542. O bloco de decisão 1542 determi- na se o valor atual da variável j é ou não menor do gue o valor atual do elemento de sintaxe num_parts[sub_view_id[i]]. Se for, então o controle é passado para urn bloco de função 1544. Caso contrário, o controle é passado para o bloco de função 1536.

O bloco de função 1544 estabelece um elemento de sintaxe num_pi:-:el_tiling_filter_c:c*effs_minus1[sub_viewjd[i]], e passa o controle para um bloco de função 1546. O bloco de funcão 1546 estabeiece os coeficientes paia iodos os filtros de Iadrilhamerito de pixel, e passa o controle para o bloco de funcão 1536.

Voltando-se para a Figura 16, um método exemplar para processar imagens para uma pluralidade de vistas em preparação para decodificação das imagens utilizando a ex- tensão de codificação de vídeo de multivista (MVC) do Padrão MPEG-4 AVC é indicado ge- ralmente pelo numera! de referência 1600.

O método 1600 inclui um bloco inicial 1605 que passa o controle para um bloco de função 1615. O bioco de função 1615 analisa um eiemento de sinia.-e num_coded_views_minus1, e passa o controle para um bloco de funcão 1620. O bloco de função 1620 analisa um elemento de sintaxe view_id[ij para todas as vistas (num_eoded_views_minus1 * 1), e passa o controle para um bloco de função 1625. O bloco de função 'ialisa a iníormaçao de dependência de referência entre vistas para ima-

gens de âncora, e passa o controle para um bioco de função 1630. O bloco de função 1630 analisa a informação de dependência de referência entre vistas para imagens de não- ãncora, e passa o controie para um bloco de lunção 1635. u bloco de função 1635 analisa um elemento de sintaxe pseudo_view_present_flag, e passa o controle para um Moco de decisão 1640. O bloco de decisão 1640 determina se o valor atual do elemento de sintaxe pseudo_view_present_flag é ou rião igual a verdadeiro. Se for, então o controle é passado para um bloco de função 1645. Caso contrário, o controle é passado para um bloco final 1699. O bloco de função 1645 analisa os seguintes elementos de sintaxe, e passa o con- Iroie para um L-Ioco de função 1650: ti!ing_mode: org_pic_wid t h _in_mbs_minusi; e org_pic_height_in_mbs_minus1. O bloco de função 1650 demanda um elemento de sintaxe pseudo_view_info(viewJd) para cada vista codificada, e passa o controle para o bloco final 1699.

Voltando-se agora para a Figura 17, um método exemplar para decodificar imagem para uma pluralidade de vistas utilizando a extensão de codificarão de vídeo de multivista (MVC) do Padrão MPEG-4 AVC é indicado geralmente pelo numeral de referencia 1700.

O método 1700 iriciui urn bloco iniciai i7Q2 gue começa com o parâmetro de entra- da pseudo_view_id e passa o controle para um bloco de função 1704. O bloco de função 1704 anaiisa um elemento de sintaxe num_sub_views_minus1, e passa o controle para um bioco de função 1706. O L-Ioco de função 1706 estabelece uma variável i igual a zero, e passa o controle para um bloco de decisão 170.:',. O bloco de decisão 1708 determina se a variável i é ou não menor dc- que o número de subvistas. Se for, então o controle é passado para um bloco de função 1710. Caso contrário, o controle é passado para um bloco de fun- ção 1720.

O bloco de função 1710 analisa um elemento de sintaxe sub_view_id[i], e passa o controle para um bloco de função 1712. O bloco de íunçãu 1712 anaiisa um eiemento de sintaxe num_parís_minus l[sub_view_id[ i ]], e passa o controle para um bioco de funcão 1714. O bloco de função 1714 estabelece uma variável j igual a zero, e passa o controle para um bloco de decisão 1716. O bloco de decisão 1716 determina se a variável j é ou não menor do que o elemento de sintaxe num_part3_minus1[sub_view_id[ i ]]. Se for, entãu o controle é passado para um bloco d* funcão 1718. Caso contrário, o controle e passado para um L-Ioco de decisão 1722.

O bloco de função 1718 estabeiece os seguintes elementos de sintaxe, incrementa a variável j, e retorna o controle para o bioco de decisão 1716:

locJeít_offseí[sub_view_id[!]}[j]; !oc_top_oífset[sub_vi*wJd[i]][j];

frame_crop_left_offset[sub_viewJd[i]]0]; frame_crc-p_right_offset[sub_view_id[i]lj];

frame_crop_tnp_offsetfsub_viewJd[i]][ij; e frame_crop_bottom_offsei[sub_view_id[i][i].

O bloco de função 1720 decodifica a imagem acuai para a vista atual utilizando codi- ficação de video de multivista (MVC), e passa o controle para um bloco de função >721. O bloco de funcão 1721 separa cada vista da imagem utilizando a sintaxe de alto nível, e pas- sa o controle para um bloco final 1799.

A separação de cada vista a partir da imagem decodificada é feita utilizando a sin- taxe de alto nível indicada no flu/o de bits. Essa sintaxe de alto nivel pode indicar o exato local e a possível orientação das vistas (e possível profundidade correspondente) presente na imagem.

O bloco de decisão 1722 determina se um elemento de sintaxe tiling_mode é igual a zero. Se for, então o controle é passado para um bloco de função 1724. Caso contrário, o controle é passado para um bloco de função 1738.

O bloco de função 1724 analisa um elemento de sintaxe flip_dir[sub_view_id[i]]; e um elemento de sintaxe upsample_view_flag[sub_view_id[i]], e passa o controle para um bloco de decisão 1726. O bioco de decisão 1726 determina se o valor atual do elemento de sintaxe upsample_view_flag[sub_view_id[i]] é ou não igual a um. Se for, então o controle é passado para um bloco de furição 1723. Caso contrário, o controle é passado para um bloco de decisão 1730.

O bloco de funcão 1723 analisa um elemento de sintaxe upsam- pie_filter[sub_view_id[i]], e passa o controle para o bloco de decisão 1730. ü bloco de deci- são 1730 determina se o valor do eiemento de sintaxe upsample_filter[sub_view_id[i]] é ou não igual a três. Se for, o controle é passado para um bloco de função 1732. Caso contrário, o controle é passado para um bloco de função 1736.

O bloco de função 1732 analisa os seguintes elementos de sintaxe, e passa o con- trole para um bloco de função 1734: vert_dim[sub_view_id[i]]; hor_dim[sub_view_id[i]]; e quantizer[sub_view_id[i]]. O bloco d* função 1734 analisa os coeficientes de filtro para cada componente YUV e passa o controle para um bioco de função 1736.

O bioco de função 1736 incrementa a variável i, e retorna o controle para o bloco de decisão 1703.

O bloco de função 1733 analisa um elemento de sintaxe pixel_dist_x[sub_view_id[i]] e o elemento de sintaxe flip_dist_y[sub_view_id[i]], e passa o controle para um bloco de fun- ção 1740. O bloco de função 174U estabelece a variável í iguai a zero, e passa o controle para um bloco de função 1742. O bloco de função 1742 determina se o valor atual da variá- vel i é ou não inferior ao vaior atual do eiemento de sintaxe num_parts[sub_view_id[i]]. Se for, então o controle é passado para um bloco de função 1744. Caso contrário, o controle ê passado para um bloco de função 1736.

O bloco de função 1744 analisa um elemento de sintaxe num_pi>:el_ti!ing_fi!ter_coeffs_minus1[sub_view_id[i]], e passa o controle para urn bloco de funcão 1746. O bloco de função 1776 anaiisa os coeficientes para todos os filtros de Iadri- Iharnento de pixel, e passa o controle para o bloco de função 1736.

Voltando-se agora para a Figura 13, um método exemplar para processar imagens para uma pluralidade de vistas e profundidades em preparação para codificar as imagens utilizando a extensão de codificação de vídeo de multivista (MVC) do Padrão MPEG-4 AVC é indicado geralmente pelo numeral de referência 1300.

O método 1300 inclui um bloco inicial 1305 que passa o controle para um bioco de função 1310. O bloco de função 1310 arranja todas as N vistas e mapas de profundidade, entre um total de M vistas e mapas de profundidade, em uma instância temporal e especifi- ca como uma superimaçiem no formato de ladrilho, e passa o controle para um bloco de fun- ção 1315. O bloco de funcão 1315 estabelece um elemento de sintaxe num_coded_views_minus1, e passa o controle para um bloco de função 1320. O bloco de função 1320 estabelece um eiemento de sintaxe view_id[i] para todas as profundidades ínum_coded_views_minus1 + 1) correspondendo a view_id[i], e passa o controle para um bloco de função 1325. O bloco de função 1325 estabelece a informação de dependência de referencia entre vistas para imagens de profundidade de âncora, e passa o controle para um bloco de função 13:'-:o. O bloco de função 1330 estabelece a informação de dependência de referência entre vistas para imagens de profundidade de não-áncora, e passa o controle para um bloco de função 1335. O bloco de função 1335 estabelece um elemento de sintaxe pseudo_view_present_f!ag, e passa o controle para um bloco de decisão 1340. O bloco de decisão 1340 determina se o valor atual do elemento de sintaxe pseudo_view_present_flag e ou não igual a verdadeiro. Se for, então o controle e passado para urn bloco de função 1345. Caso contrário, o controle é passado para um bloco final ISyy.

O bloco de função 1345 estabelece os seguintes elementos de sintaxe, e passa o controle para um bloco de função 1350: tiling_mode; orç»_pic_width_in_mbs_minus1; e org_pic_height_in_inbs_minus1. O L-Ioen de função 1850 demanda um eiemento de sintaxe pseudo_viewJnfo(view_id) para cada vista codificada, e passa o controle para o Moco final

1 f-OO

Voltando-se para a Figura 19, um método exemplar para codificar imagens para uma pluralidade de vistas e profundidades utilizando a extensão de codificação de vídeo de multivista (MVC) do Padrão MPEG-4 AVC é indicado geralmente pelo numeral de referência 1900.

O método 19U0 inciui um bioco iniciai 1902 que passa o controle para um bloco de função 1904. O L-Iood de função 1904 estabelece um elemento de sintaxe num sub views minusl, e passa o controle para um bioco de funcão 1906. O bloco de fun- ção 1906 estabelece uma variável i igual a zero, e passa o controle para um bloco de deci- são 1903. O bloco de decisão 1903 determina se a variável i é ou não menor do que o nú- mero de subvistas. Se for, eniãu o controle é passado para um bloco de função 1910. Caso contrário, o controle é passado para um bioco de funcão 1920.

u L-Ioco de função 1910 estabeiece um elemento de sintaxe sub_view_id[i], e passa o controle para urn bioco de função 1912. O bloco de função 1912 estabelece um eiemento d« sintaxe num_parts_rninus1[sub_view_id[ i ]], e passa o controle para um bloco de função 1914. O bloco de função 1914 estabelece uma variável j igual a zero, e passa o controle para um bloco de decisão 191'3. O bloco de decisão 1916 determina se a variável j é ou não 2*3 menor do que o elemento de sintaxe num_parts_minus1[sub_viewjd[ i ]]. Se for, então o controle é passado para um bloco de função 191c’·. Caso contrário, o controle é passado para um bioco de função 1922.

ü bloco de função 1918 estabelece os seguintes elementos de sintaxe, incrementa a variável i, e retorna o controle para o bloco de decisão 1916:

loc_!eft_offset[sub_view_id[i]]0]; !oc_top_ofíset[sub_view_id[i]][j];

frame_crop_!eft_offset[sub_view_id[i]][j]; frame_crop_righl_offset[sub_view_id[i]][j];

frame_cnjp_top_offset[sub_viewJd[i]][i]; e frame_cTop_bottom_offset[sub_view_id[i][j]·

O bloco de função 1920 codifica a profundidade atual da vista atual utilizando codi- ficação de video de multivista (MVC), e passa o controle para um bloco final 1999. O sinal de profundidade pode ser codificado de forma semelhante à forma em que seu final de ví- deo correspondente é codificado. Por exemplo, o siriai de profundidade para uma vista pode ser incluído em um ladrilho que inclui apenas outros sinais de profundidade, ou apenas si- nais de vídeo, ou ambos, sinais de profundidade e de vídeo. O ladrilho (pseudo-vista) e en- tão tratado como uma única vista para MVC, e há também presumivelmente outros ladrilhos que são tratados como outras vistas para MVC·.

O bloco de decisão 1922 determina se um elemento de sintaxe tiling_mode é ou não igual a zero. Se for, então o controle é passado para um bloco de função 1924. Caso contrário, o controle é passado para um bloco de função 1938.

O bioco de função 1924 estabelece um elemento de sintaxe flip_dir[sub_view_id[i]] e um elemento de sinta/.e upsample_view_flag[sub_view_id[i]], e passa o controle para um bloco de decisão 1926. O bloco de decisão 1926 determina se o valor atual du elemento de sintaxe upsample_view_flag[sub_view_id[i]] é ou não igual a um. Se for, então o controle é passado para um bioco de função 1923. 'Caso contrário, o controle é passado para um bloco de decisão 1930.

O bioco de função 1928 estabeiece um eiemento de sintaxe upsam- ple_fi!ter[sub_view_id[i]], e passa o controle para o bloco de decisão 1930. O bloco de deci- são 1930 determina se um valor do eiemento de sintaxe upsampIe_Γίiter[sub_vi e w_id[i]] é ou

não igual a três. Se for, o controle é passado para um bloco de função 1932. Caso contrário, o controle é passado para um bloco de funcão 1936.

O bloco de função 1932 estabelece os seguintes elementos de sintaxe, e passa o coritroie para um bioco de função 1934: verí_dim[sub_view_id[i]]; hoi_dim[sub_view_id[i]]; e quantizer[sub_view_id[i]]. O bloco de função 1934 estabelece os coeficientes de filtro para cada con iponenie YUV1 e passa o coniroie para o bioco de função 1936.

O bloco de função 1936 incrementa a variável i, e retorna o controle para o bloco de decisão 190-3.

O bloco de função 1938 estabeiece um elemento de sintaxe pi- >:el_dist_x[sub_view_id[i]j e o elemento de sintaxe flip_dist_y[sub_view_id[i]], e passa o con- trole para um bloco de função 1940. O bloco de função 1940 estabelece uma variável j igual a zero, e passa o controle para um bloco de decisão 1942. O bloco de decisão 1942 deter- mina se o valor atual da variável j é ou não inferior ao valor atual do eiemento de sintaxe num_parts[sub_view_id[i]]. Se for, então o controle è passado para um bloco de função 1944. Caso contrário, r. Cjntrole é passado para o bloco de função 1936.

O bloco de função 1944 estabelece um elemento de sintaxe num_pixeÍ_tiling_filter_coeífs_minus1[sub_viewJd[i]], e passa o controle para um bloco de função 1946. O bloco de função 1946 estabelece os coeficientes para todos os filtros de Iadrilhamento e pixel, e passa o controle para o bioco de função 1936.

Voltando-se para a Figura 20, um método exemplar para processar imagens para uma piuraiidade de vistas e profundidades em prepararão para decodificação das imagens utilizando a extensão de codificação de video de multivista (MVC) do Padrão MPEG-4 AVC: é indicado geralmente pelo numeral de referência 2000.

O método 2000 inclui urn bloco inicial 2005 que passa o controle para um bloco de função 2015. O bioco de função 2015 analisa um elemento de sintaxe num_cuded_views_minus1. e passa o controle para um bloco de função 2020. O bloco de função 2020 analisa um elemento de sintaxe viewjdp] para todas as profundidades (num_coded_views_rninus1 + 1) correspondendo a viewjdjlj, e passa o coritroie para um bloco de função 2025. ü bloco de função 2025 analisa a informação de dependência de re- ferência entre vistas para imagens de profundidade de âncora, e passa o controle para um bloco de função 2030. C» bloco de função 2030 analisa a informação de dependência de re- ferencia entre vistas para imagens de profundidade de não-âncora, e passa o controle para um bloco de funcão 2035. O bloco de função 2035 analisa um elemento de sintaxe pseu- do_view_preserit_flag, e passa o controle para um bloco de decisão 2040. O bloco de deci- são 2040 determina se o vaíor atual do eiemento de sintaxe pseuáo_view_present_flag é ou não igual a verdadeiro. Se for, então o controle é pascado para um bloco de função 2045. Caso contrário, o controle é passado para um bioco final 2099.

O bloco de função 2045 analisa os seguintes elementos de sintaxe, e passa o con- trole para um bloco de funcão 2050 ti!ing_mode; org_pic_width_in_rnbs_rn!nus1; e org_pic_heightJn_mbs_minus1. O bloco de função 2050 demanda um elemento de sintaxe pseudo_view_irifo(view_id) para cada vista codificada, e passa o controle para o bloco final

2099.

Voltando-se para a Figura 21, um método exemplar para decodificar imagem para Lima pluralidade de vistas e profundidades utilizando a extensão de codificação de video de multivista (MVC) do Padrão MPEG-4 AVC é indicado geralmente pelo numeral de referência

2100. O método 2100 inclui um bloco inicial 2102 que começa com o parâmetro de entra- da pseudo_view_id, e passa o controle para um bloco de função 2104. O bloco de função 2104 analisa um elemento de sintaxe num_sub_views_minusl, e passa o controle para um bloco de função 2106. O bloco de funcão 2106 estabelece uma variável i igual a zero, e passa o controle para um bloco de decisão 2103. O bloco de decisão 21 OS determina se a variável i é <.<u não inferior a·*· número de subvistas. Se for, então o controle é passado para um bloco de função 2110. Caco contrário, o controle é passado para um bloco de função 2120.

O bloco de função 2110 analisa um elemento de sintaxe sub_view_id[i], e passa o controle para um bloco de função 2112. O bloco de função 2112 analisa um elemento de sintaxe num_parts_minus1[sub_viewjd[ i ]], e passa o controle para um bloco de função 2114. O bloco de função 2114 estabelece uma variável j igual a zero, e pasca o contiole para um bloco de decisão 2116. O bloco de decisão 2116 determina se a variável j é ou não menor do que o elemento de sintaxe num_parts_minus1[sub_view_id[ i ]]. Se for, então o controle é passado para um bioco de função 2113. Caso contrário, o controle é passado para um bloco de decisão 2122.

O bloco de função 2113 estabelece os seguintes elementos de sintaxe, incrementa a variável j, e retorna o Contnxle para o bloco de decisã·*» 2116:

ioc_ien._offset[sub_view_id[i]][jji ínc_top_onseí[sub_view_id[i]J[jj,

frame_cropJeft_offset[sub_view_id[i]][j]; frarne_crop_right_offset[sub_viewJd[i]][|];

fr3me_c.rop_top_offset[sub_view_id[i]]jj]; e frame_cr0p_büíí0m_0!'fset[sub_view_id[i]|jj.

O bloco de função 2120 decodifica a imagem atual utilizando codificação de vídeo de multivista (MVC), e passa o controle para um bloco de função 2121. O bloco de funcão 2121 separa cada vista da imagem utilizando a sintaxe de aito nível, e passa o controle para um bloco final 219v». A separação de cada vista utilizando sintaxe de alto nível é conforme descrito anteriormente.

O bloco de decisão 2122 determina se um elemento de sintaxe tilingjnode é igual a zero. Se for, então o controle é passado para um bloco de função 2124. Caso contrário, o controle é passado para um bloco de função 2133.

O bloco de função 2124 analisa, urn elemento de sintaxe fiipjjir[sub_view_id[i]] e e um elemento de sintaxe upsample_view_flag[sub_view_id[i]], e passa o controle para um bioco de decisão 2126. O bloco de decisão 2126 determina se o vaior atual do eie- rnerito de sinta.·e upsample_view_flag[sub_viewjd[í]] é ou não igual a um. Se for, então o controle é passado para um bi-jco de função 2123. Caso contrário, o coriiroie é passado para urn bloco de decisão 2130.

O bioco de função 2123 anaiisa urn elemento de sintaxe upsam- ple_filter[sub_view_id[i]], e passa o controle para o bloco de decisão 2130. O bloco de deci- são 2130 determina se um valor do eiemento de sintaxe upsamp!e_filter[sub_view_id[i]] é ou não igual a três. Se for, o controle é passado para um bloco de função 2132. Caso contrário, o controle é passado para um bloco de função 213·:-.

O bloco de função 2132 analisa os seguintes elementos de sintaxe, e passa o con- trole para um bloco de função 2134: vert_dim[suh_view_id[i]]; hor_dim[sub_view_id[i]]; e guantizer[sub_view_id[i]]. O bloco de função 2134 analisa os coeficientes de filtro para cada componente YUV, e passa o controle para o bloco de função 2136.

O bloco de função 2136 incrementa a variável i, e retorna o controle para o bloco de decisão 2103.

O bioco de função 2133 analisa um eiemento de sintaxe pixel_dist_x[sub_view_id[i]] e o elemento de sintaxe flip_dist_v[sub_view_id[i]], e passa o controle para um bloco de fun- ção 2140. O bloco de funcão 2140 estabelece a variável j igual a zero, e passa o controle para um bloco de decisão 2142. O bloco de decisão 2142 determina se o valor atual da vari- ável j é ou não menor do que o valor atual do elemento de sintaxe num_parts[sub_view_id[ij]. Se for, então o controle é passado para um bloco de função 2144. Caso 'Contrário, o controle é passado para o bloco de Função 2136.

O bloco de funcão 2144 analisa um elemento de sintaxe num_fiixel_tiling_fill.er_coeffs_minus1 [sub_view_id[i]], e passa o controle para urn bloco de função 2146. O bloco de função 2146 analisa os coeficientes para todos os filtros de Iadri- Iharnento de pixel, e passa o controle para o bioco de lunçâo 2136.

Voltando-se para a Figura 22, exemplos de Iadrilhamento no nível de pixel são indi- cados geralmente pelo numeral de referência 2200. A Figura 22 è descrita adicionalmente abaixo.

LADRILHAMEt JTO DE VISTA UTILIZAi JDu MPEG-4 AVC OU MVC

Uma aplicação de codificação de vídeo de multivista é TV de ponto de vista livre (ou FTV). Essa apiicação requer que o usuário possa se mover iivremente entre duas ou mais vistas. Para realizar isso, as vistas “virtuais” entre duas vistas precisam ser inlerpoladas ou sintetizadas. Há vários métodos para realizar interpelação de vista. Um dos métodos utiliza profundidade para interpulação/síntese de vista.

Cada vista pode ter um sina! de profundidade* associado Assim1 a profundidade pode ser considerada como sendo outra forma de sinal de video. A Figura 9 mostra um e- xempio de um sinal de profundidade 900. Para habilitar aplicações tais como FW1 o sinal de profundidade é transmitido junto r.om o sinal de vídeo. Na estrutura proposta de Iadrilhamen- to, o cinai de profundidade também pode ser adicionado como um dos ladrilhos. A Figura 10 mostra um exemplo de sinais de profundidade adicionados como ladrilhos. Os si- nais/ladrilhos de profundidade são mostrados no lado direito da Figura 10.

Quando a profundidade é codificada como um ladrilho do quadro inteiro, a sintaxe de alto nível deve indicar qual ladrilho é o sinal de profundidade de modo que o renderizador possa utilizar apropriadamente o sinal de profundidade.

No caso quando a seqüência de entrada (tal como aquela mostrada na Figura 1) é codificada utilizando um codificador de Padrão MPEG-4 AVC (ou um codificador correspon- 5 dendo a um padrão e/ou recomendação de codificação de vídeo diferente), a sintaxe de alto nível proposta pode estar presente, por exemplo, no Conjunto de Parâmetros de Seqüência (SPS), no Conjunto de Parâmetros de imagem (PPS), em um cabeçalho de seção, e/ou em uma mensagem de Informação de Otimização Suplementar (SEI). Uma modalidade do mé- todo proposto é mostrada na Tabela 1 onde a sintaxe está presente em uma mensagem de 10 Informação de Otimização Suplementar (SEI).

No caso quando as seqüências de entrada das pseudovistas (tais como aquelas mostradas na Figura 1) são codificadas utilizando a extensão de codificação de vídeo de multivista f MVC) do codificador de Padrão MPEG-4 AVC- (ou um codificador correspondendo ao padrão de codificação de vídeo de multivista com relação a um padrão e/ou recomenda- 15 ção de codificação de video diferente), a sintaxe de alto nível proposta pode estar presente no SPS, no PPS, rio cabeçalho de seção, em uma mensagem SEI, ou em um perfil especifi- cado. Uma modalidade do método proposto é mostrada na Tabela I. A Tabela 1 mostra e- Iementos de sintaxe presentes na estrutura de Conjunto de Parâmetros de Seqüência (SPS), incluindo elementos de sintaxe propostos de acordo com uma modalidade dos pre- 20 sentes princípios

TABELA 1

seq_parameter_set_mvc_extension() { I Descritor num_views_minus_1 ue(v) parati = 0; i <= num_views_minus_1; i++) view_id[i] ue(v) parati = 0; i <= num_views_minus_1; i++) { num_anchor_refs_IO[i] ue(v) paraf j = 0; j < num_arichor_refs_IO[i]; j++ ) anchor_ref_i0[i][j] ue(v) num_anchor_refs_H [i] ue(v) para( j = 0; j < num_anchor_refs_H[i]; j++ ) anehor_ref_H[i][j3 ue(v) 1 { para(i = 0; i <= num_views_rnirius_1; i++) { n u m_n un_a nch or_refs_i 0 [i j ue(v) paraf j = 0; j < num_non_anchor_reís_l0[i]; j++ ) nün_anehor_ref_IO[ij[j] ue(v) num_non_anchor_refs_M [i] ue(v) para( j = 0; j < num_non_anchor_refs_H[ij; j++ ) non_anchor_refJ1 [i][j] ue(v) '1 / P s e u d o_v i e w_p re s e n tJl a g Ll(I) se (pseudo_view_preserit_flag) { tiiing_mode org_pic_widlh_i n_m bs_m i nus 1 org pic height in mbs minusl parai i = 0; i < num_views_minus_1; i++) pseudo_view_iriío(i); .( 1 / A Tabela 2 mostra os elementos de sintaxe para o elemento de sintaxe pseu- do_view_info da TABELA 1, de acordo com uma modalidade dos presentes princípios.

TABELA 2

pseudo_view_info (ps*udo_view_id) { C Descritor num_sub_views_m irius_1 [pseudo_view_id] 5 ue(v) se (num_?ub_views_miriu3_1 != 0) { para (i = ·"»; i < num_oub_views_minus_1[pseudo_viewjd]; i++) { sub_view_id[i] C1 ue(v) num_parts_minus1[sub_view_id[ i ]] C ue(v) para( j = 0; j <= num_parts_minus1[sub_view_id[ i ]]; j++ ) { ioc_left_C!ÍTset[sub_viewJd[ i ]] [j ] 5 ue(v) loc_top_otfset[sub_view_id[ i ]] [ j ] P1 ue(v) frame_crop.Jefi:_offs£i[sub_view_id[ i ]] [ j ] £*( uefv) frame_c:rop_rigrit_oífsei[sub_view_idí i ]] [ j ] k ue(v) frame_crop_top_o n set[su b_view_id [ i ]] [ j j £■ ue(v) frame_orop_bottom_oífset[sub_viewJd[ i ]] [ j ] C1 ue(v) Ί / (tiiing_mode == 0) { flip_dir[sub_view_id[ i ][ j ] C1 u(2) ur'sample_view_f!ag[sub_view_id[ i ]] 5 U(I) se(upsample_view_flag[sub_view_id[ i ]]) upsample_filter[sub_view_id[ i ]] 5 u(2) se(upsample_fiter[sub_view_id[i]] == 3) { vert_dim[sub_viewjd[i]] 5 ue(v) hor_dim[sub_view_id[i]] 5 ue(v) q uantizer[oub_vi*w_id [i]] 5 ue(v) para (yuv= 0; vuv< 3; yuv++) { para (y = 0; y < vert_dim[sub_view_id[i]] -1; y ++) { para (>: = 0; x < hor_dim[sub_view_id[i]] -1; x ++) íilter_coeffs[sub_view_id[i]] [yuv][y][x] 5 se(v) t Γ Ί J > / } // se(tjling jTiode == 0) ou se (íilingjnode == 1) { pixel_dist_>:[sub_view_id[ i ] ] pixel_dist_y[sub_view_id[ i ] j para( j = 0; j <= num_parts[subj-/iew_id[ i ]]; j++ ) { num jji:-:el_tilinq_filter_eoeffs_minus1 [sub_view_id[ i ] ][j] para icoeffjdx = 0; r.oeff_dx <= pixel Ji I ing_f i lter_eoeffs[su b_viewJd [i]]jj] } // para (j = 0; j <= num_parts[subj./iewjd[ i ]]; j++ ) } // ou se (tilingjnode == 1) } // para (i = 0; i < num_sub_views_minus_1; i+-) } Il se (num_subjyiews_minus_1 != 0) .1* Semânticas dos elementos de sintaxe apresentados na TABELA 1 e TABELA 2 pseudo_view_present_flag igual a verdadeiro indica que certa vista é uma supervis- ta de múltiplas subvistas.

tiling_mode igual a zero indica que as subvistas são ladrilhadas no nível de ima-

gem. Um valor de 1 indica que o Iadrilhamento é feito no nível de pixel.

A mensagem SEI nova poderia usar um valor para o tipo de carga útil SEI que não foi usado no Padrão MPEG-4 AVC ou uma extensão do Padrão MPEG-4 AVC. A mensagem SEI nova inclui vários elementos de sintaxe corn as seguintes semânticas.

num_coded_viewsjninusl plus 1 indica o núrnero de vistas codificadas suportadas

pelo fluxo de bits. O valor de num_c>:■ ded_views_minus 1 está no escopo de 0 a 1023, inclu- sive.

org_pic_width_in_mbs_minus1 plus 1 especifica a largura de uma imagem em cada vista em unidades de macrobiocos.

A variável para a largura de imagem em unidades de macrobiocos é derivada como

a seguir:

PicWidihiriMbs = o rg_p i cj/v i d t h_i n_m b s_m i n u si + I

A variável para largura de imagem para o componente Iuma é derivada como a se- guir:

PicWidthInSampIesL = PicWidthInMbs * 16

A variável para largura de imagem para os componentes eroma é derivada como a

seguir:

PicWidthlnSamplesC = PicWidthInMbs * MbWidthC

org_pic_height_in_rnbsjninusl plus 1 especifica a altura de uma imagem em cada

vista em unidades de macrobiocos.

A variável para a altura de imagem em unidades de macrobiocos é derivada como a

sequir:

PicHeigbtinMbs = orgjjicJneighíjnjribsjninusl + 1

A variável para altura de imagem para o componente Iuma é derivada como a se-

guir: PicHeightInSampIesL = PicHeightInMbs * 16 A variável para altura de imagem para os eomponentes croma é derivada como a

seguir:

PicHeightInSampIesC = PieHeightInMbs * MbHeightC

num_sub_views_minus 1 plus 1 indica o número de subvistas codificadas incluídas na vista atual. O valor de num_coded_views_minus1 está no escopo de U a 1023, inclusive.

sub_view_id[i] especifica o sub_view_id da subvista com ordem de decodificação indicada por i.

num_parts[sub_view_id[ij] especifica o número de partes nas quais a imagem de suh_view_id[i] è dividida.

loc_left_offsel[sub_v!ew_id[i]][j] e loc_top_offset[sub_view_id[i]][j] especificam os lo- cais em deslocamentos de pixels esquerda e superior, respectivamente, onde a parte atual j está localizada na imagem reconstruída final da vista com sub_view_id igual a sub_viewjd[i].

viewjdfi] especifica a viewjd da vista com a ordem de codificação indicada por í.

frame_eropJeft_o1rset[viewJd[i]]ü], tYame_erop_right_offset[view_id[i]][j], fra- me_crop_tc«p_Ciffset[view_id[i]]j], e frame_erop_bottom_offset[view_id[i]][j] especifica as a- mostras da imagens na seqüência de vídeo codificada que constituem parte de num_part j e viewjd i, em termos d* uma região retangular especificada nas coordenadas de quadro para emissão.

As variáveis CropUnitX e CropUnitY são derivadas como a seguir:

— Se ehromaJormatJde for igual a 0, C ropUnilv e CropUnitV são derivadas como

a seguir:

CnjpUnitv = 1

CropUnitY = 2 -frame_mbs_only_flag

— Caso contrário íehromaJormatJdc é iguai a 1, 2, ou 3), CropUnitv e CropUnitY são derivadas como a seguir:

CropUnitY = SubWidthC

C ropUnitY = SubHeightC * (2 - framejribs_only_ílag)

O retângulo de recorte de quadro inciui as amostras iuma com coordenadas de quadros horizontais a partir do seguinte:

CropUriilv * frame_eropJeft_uffset para PicWidthInSampIesL - (CropUnitv " fra- me_erop_right_offset + 1) e coordenadas de quadros verticais a partir de CropUnilY * fra- me_cropJop_offset para (16 * FrameHeightInMbs) - (CropUnitY * frame_crop_bottom_offset +'!), inclusive. C vaior de frarne_eropJaft_offset deve estar na faixa de 0 a ί PieWidthInSam- plesL / CropUniLX) - (frame_crop_right_offset + 1), inclusive; e o valor de fra- me_cropjop_offset deve estar na faixa de 0 a (16 * FrameHeightInMbs / CropUriitY) - (fra- me_crop_bottom_offset +1), inclusive.

Quando c;hroma_formatjdc não é igual a 0, as amostras especificadas correspon- dentes dos dois sistemas croma são as amostras tendo coordenadas de quadro SubWid- thC, y / SubHeightG), onde (y, y) são as coordenadas de quadro das amostras Iuma especi- ficadas.

Para campos decodificados, as amostras especificadas do campo decodificado são as amostras que estão compreendidas dentro do retângulo especificado nas coordenadas cie quadro.

num_parts[view_id[i]] especifica o número de partes nas quais a imagem de vi- ewjd [i] é dividida.

depth_flag[viewjd[i]] especifica se a parte atual é ou não um sinal de profundidade. Se depthjlag for igual a 0, então a parte atual não é um sinal de profundidade. Se dep-

th_flag for igual a 1, então a parte atual é um sinal de profundidade associado com a vista

identificada por viewjd[i],

flip_dir[sub_viewjd[i]][jj especifica a direção de viragem da parte atual, flip_dir igual

a 0 indica nenhuma viragem, flip_dir igual a 1 indica viragem em uma direção horizontal,

flip_dir igual a 2 indica viragem em uma direção vertical, e flip_dir igual a 3 indica viragem

nas direções horizontal e vertical.

flip_dir[viewjd[i]][j] especifica a direção de viragem para a parte atual, flip_dir igual

a 0 indica nenhuma viragem, flip_dir igual a 1 indica viragem em uma direção horizontal, fiip_dir igual a 2 indica viragem na direção vertical, e Nip_dir igual a 3 indica viragem nas direções horizontal e vertical.

locJeft_offset[viewJd[i]j[j], locJop_offset[viewJd[i]][j] especifica o local nos deslo- camentos de pixels, onde a parte atual i está localizada ria imagem reconstruída final da vista com viewjd igual a viewjdfi].

UpsampiejyiewJrIagfviewJdfi]] indica se a imagem pertencendo à vista especifica- da por viewjdfi] precisa ser amostrada ascendentemente. upsamp!e_view_flag[viewjd[i]] igual a 0 especifica que a imagem com viewjd iguai a viewjdfi] não será amostrada ascen- dentemente. upsampie_viewjlag[viewjd[i]] igual a 1 especifica que a imagem com viewjd iguai a viewjdfi] será amostrada ascendentemente.

upsample_fiíter[viewJdfi]] indica o tipo de filtre· que deve ser usado para amostragem ascendente. UpsampIeJrNterfviewJdfi]] igual a 0 indica que o filtre- AVC de 6 derivações deve ser usado, upsample_fiiter[viewjd[i]] igual a 1 indica que o filtro SVC de 4 derivações deve ser usado, upsarnple_filter[viewjd[i]] igual a 2 indica que o filtro bilinear deve ser usado, up- s.ample_íi!ter[viewjd[i]] iguai a 3 indica que os coeficientes de Filiro especial são transmitidos. Quando upsample_filíer[viewjdp]] não estiver presente eie é ajustado para 0. Nessa modali- dade, uíiiizarnos o filtro 2D customizado. O mesmo pode ser facilmente estendido para filtro O.c; VV'

1 D, e algum outro filtro não-linear.

vert_dim[view_id[i]] especifica a dimensão vertical do filtro 2D especial. hor_dim[view_id[i]] especifica a dimensão horizontal do fiitro 2D especial. quantizer[viewjd[i]] especifica o fator de quantizacão para cada coeficiente de do

filtro.

filter_coeffs[view_id[i]] [yuv][y][:·:] especifica os coeficientes d* filtro quantizados. yuv sinaliza o componente para o qual se aplicam os coeficientes de filtro, yuv igual a O especifi- ca o componente Y1 yuv igual a 1 especifica o componente U, e yuv igual a 2 especifica o componente V.

pixel_dist_x[sub_view_id[i]] e pixei_dist_y[sub_view_id[i]] especificam respectiva- mente a distância na direção horizontal e a direção vertical na pseudovista reconstruída firial eritre pixels adjacentes na vista com sub_view_id igual a sub_view_id[i],

num_pi;-..el_tiling_filter_coeffs_minus1[sub_viewJd[i][j] mais um indica o número de coeficientes de filtro quando o modo de Iadrilhamento é estabelecido igual a 1.

pi::el_Ül!ng_íilter_coeffs[sub_vievv_id[i]jj] sinaliza os coeficientes de filtro que são e- xigidos para representar um filtro que pode ser usado para filtrar a imagem ladrilhada. Exemplos de Iadrilhamento em nível de pixel

Voltando-se para a Figura 22., dois exemplos mostrando a composição de uma pseudovista mediante Iadnlhamento de pixels a partir de quatro vistas· são indicados respec- tivamente peios numerais de referência 2210 e 2220, respectivamente. As quatro vistas são indicadas coletivamente pelo numera! de referência 2250. Os valores de sintaxe para o pri- meiro exemplo na Figura 22 são providos na TABELA 3 abaixo.

TABELA 3

pseudo_view_info (pseudo_view_id) { Valor num_sub_views_minus_1 [pseudo_view_id] 3 sub_view_id[0] 0 num_parts_minus1 [0] 0 loc_left_offset[0][0] o loc_top_offi;et[0][0] 0 pixel_dist_x[G][G] 0 pixel_disi_y[0][0] Ij sub_view_id[1 ] o rium_parts_minus 1 [1] 0 Ioc _left_offset[ 1 ][Γι] 1 loc_top_offset[1][0] o pixel_dist_x[1][0] 0 pi.*.el_di?i_y[1][0] 0 i'Ub_view_id[2] o rium_parts_minus1 [2] 0 locjeft_offset[2][0] 0 luc_íop_offset[2][0] 1 pixel_dist_:<[2][0] O pixel_dist_y[2j[0] O sub_víew_id[3] num_parts_minus1 [3] 0 loc_ieft_offset[3][0] 1 ioc_top_offset[3][0] 1 pixel_dist_-.['-'][0] O pixe!_disí_y[3][üj O Os valores de sintaxe para o segundo exemplo em 22 são todos idênticos exceto os seguintes dois elementos de sintaxe: locjeft_offset[3][0] igual a 5 e loc_top_offset[3][0] iguai

a c*.

O deslocamento indica que os pixels correspondendo a uma vista devem começar

em um certo locai deslocado. Isso é mostrado na Figura 22 (2220). Isso pode ser feito, por exemplo, quando duas vistas produzem imagens nas quais objetos comuns parecem estar deslocados a partir de uma vista para a outra. Por exemplo, se primeira e segunda câmeras (representando primeira e segunda vistas) captam imagens de um objeto, o objeto pode 10 parecer estar deslocado em cinco pixels para a direita na segunda vista em comparação com a primeira vista. Isso significa que o pixel (i-5, j) na primeira vista corresponde ao pixel (i, j) na segunda vista. Se os pixels das duas vistas estão simplesmente ladrilhados pixel por pixel, então pode não haver muita correlação entre os pixels adjacentes no ladrilhe*, e os ganhos de codificação espacial podem ser pequenns. Inversamente, mediante deslocamen- 15 to do Iadrilhiamento de modo que o pixel (i-5, j! a partir de uma vista seja colocado próximo ao pixel (i. j) a partir da vista dois, correlação espacial pode ser aumentada e o ganho de codificação espacial também pode ser aumentado. Isso ocorre porque, por exemplo, os pi- xels correspondentes para o objeto na primeira e segunda vista estão sendo ladrilhados próximos um do oulro.

Assim, a presença de ioc_!eft_offset e loc_top_offset pode se beneficiar da eficiên-

cia de codificação. A informação de deslocamento pode ser obtida mediante meios externos. Por exemplo, a informação de posição das câmeras ou os vetores de disparidade global entre as vistas podem ser usados para determinar tal informação de deslocamento.

Oomo resultado do deslocamento, a alguns pixels na pseudovista não são atribuí- 25 dos valores de pixel a partir de qualquer vista. Continuandc- o exemplo acima, ao ladrilhar o pixel (i-5, j) a partir da vista um ao longo do pixel (i, j) a partir da vista dois, para valores de i=0...4 não há pixel (i-5, j) a partir da vista um para ladrilhar, de modo que esses pixels estão vazios no ladrilho. Para aqueles pixels na pseudovista (ladrilho) aos quais não são atribuí- dos valores de pixel a partir de qualquer vista, ao menos uma implementação utiliza um pro- 30 cedimento de interpelação similar ao procedimento de interpolação de subpixel em compen- sação de movimento em AVO. Isto é, os pixels de ladrilho vazio podem ser iriterpoiados a partir de pixels adjacentes. Tal interpelação pode resultar em maior correlação espacial no ladrilho e maios ganho de codificação para o ladrilho.

Em codificação de vídeo, podemos escolher um tipo de codificação diferente para cada imagem, tal como imagens I, P e B. Para codificação de vídeo de multivista, em adi- ção, definimos imagens de âncora e imagens de não-âncora. Em uma modalidade, propo- mos que a decisão de agrupamento possa ser feita com base no tipo de imagem. Essa in- formação de agrupamento é sinalizada na sintaxe de alto nível.

Voltando-se para a Figura 11, um exemplo de cinco vistas ladrilhadas em um único quadro é indicado geralmente |.<elo numeral de referência 1100. Particularmente, a sequên- 10 cia “ballroom” é mostrada com 5 vistas ladrilhadas em um único quadro. Adicionalmente, pode ser visto que a quinta vista é dividida em duas partes de modo que ela pode ser arran- jada em um quadro retangular. Aqui, cada vista é de tamanho QVGA de modo que a dimen- são de quadro total é de 040>:600. Como 600 não é um múltiplo de 16 ele deve ser estendi- do para 603.

Para esse exernplo, a mensagem SEi possível poderia ser conforme mostrado na

TABELA 4. TABELA 4

multiview_display_info( payloadSize) { Valor num_COded_view3_minijs 1 C1 C' rg_p i c_wi d t rij n __rn bsjn inus 1 40 org pic heiqht in mhs minusl 30 view_id[ 0 ] 0 num_parts[view_id[ 0 ]] 1 depth_flag[view_id[ 0 ]][ 0 J 0 flip_dir[view_id[ 0 ]][ 0 ] 0 ioc_left_offseí[view_id [ U j] [ 0 ] 0 loc_top_offi.et[view_id[ 0 ]] [ 0 ] 0 frame_c.ropjeft_offr>et[view_id[ 0 ]] [ 0 ] 0 írame_crop_right_offset[view_id[ 0 ]] [ 0 ] 320 frame_crop_top_offset[view_id[ 0 ]] [ Ci ] 0 frarne_crop_bottr<m_offcet[viewJd[ 0 ]] [ 0 ] 240 upsample_view_flag[view_id[ 0 ]] 1 se(upsample_view_flag[view_id[ 0 ]]) { ve rt_d i m [vi ewJd [0]] 6 hor_d iiTi [viewjd [0]] 6 quantizer[view_id[0]j 32 para (yuv= 0; yuv< 3; yuv++) { para (v = 0; y < vert_dim[view_id[i']] -1; y ++) { para (x = 0; x < hor_dim[view_id[i]] -1; x ++) fi lter_coeffs[viewJd [i]] [yuv] [y] [>:] XX viewjd[ 1 ] 1 num_parts[viewjd[ 1 ]] 1 depth_fiag[viewjd[ O ]][ O ] U flip_dir[viewjd[ 1 ]][ Π ] 0 locJeft_offsel[viewJd[ I ]] [ O ] 0 íoeJop_oííset[viewJd[ 1 ]] [ O ] 0 frame_crcpjôft_üff?-et[view_id[ 1 ]] [ O ] 320 fr3me_orop_riçiht_offset[view_id[ 1 ]] [ O ] 640 frame_cropJop_offset[viewJd[ 1 ]] [ O ] 0 frame_crop_bottC'm_offset[viewJd[ 1 ]] [ O ] 320 upsample_view_flag[view_id[ 1 ]] 1 setupsample_viewjlag[viewid[ 1 ]]) { vert_dim [vievvJd [1 ]] 0 hor_dim[viewJd[1 ]] P, guantizyr[viewjd[1 ]] o U para (yuv= 0; yuv< 3; yuv++) { para (y = 0; y < vert_dim[view_id[i]] -1; y ++) { para (x = 0; x < hor_dim[view id[i]] -1; x ++) filíer_coefís[viewJd[i]] [yuv][y][x] XX ..........(similarmente para vista 2,3) viewjdf 4 ] 4 num_parts[viewjd[ 4 ]] depth_flag[viewjd[ 0 ]][ 0 ] 0 flip_dir[viewjd[ 4 ]][ 0 ] IJ locJeft_offsetfviewJd[ 4 ]] [ 0 ] 0 íocJC'p_ofíset[viewJd[ 4 ]] [ 0 ] 0 frame_cT<:'pJeft_offset[viewJd[ 4 ]] [ 0 ] Ij írarne_orop_right_offset[viewjd[ 4 ]] [ 0 ] 320 frams_eropJop_offset[viewJd[ 4 ]] [ 0 ] 430 frame_crop_bc>tlom_offset[viewJd[ 4 ]] [ 0 ] 600 fiip_dir[viewjd[ 4 ]][ 1 ] 0 locJeft_offseí[viewJd[ 4}] [ 1 ] 0 locJop_offset[viewJd[ 4 ]] [ 1 ] 120 frame_cropjeft_offoet[viewjd[ 4 ]] [ 1 ] 320 frame_crop_right_offset[viewJd[ 4 ]] [ 1 ] t;40 frame_crop_top_off?.et[view_id[ 4 ]] [ 1 ] 430 írame_crop_bottom_offset[view_id[ 4 ]] [ 1 ] 600 upsampíe_view_f!ag[view_id[ 4 ]] 1 seúinsample view fiaoíview idF 411) í verí_d im [vievvJd [4]] 6 hor_dim[viewJd[4]j H q ua ntizer[vi ewJd [4]] 32 para (yuv= Cs; yuv< 3; yuv++) { para (y = 0; y < vert_dim[viewjd[i]] -1; y ++) { para(·: = 0; >: < hor_dim[viewJd[i]] -1; x ++) f i I te r_coeffs [view Jd [i]] [yuv] [y] [:·;] W A TAEELA 5 mostra a estrutura de sintaxe geral para transmitir informação de mul- tivista para o exemplo mostrado na Tabela 4.

TABELA 5

multiview_displayJnfo( payloadSize) { C Descritor n um_coded_views_m in us 1 C ue(v) O o rg_p i c_wid th_i n_m b s_m i n u s 1 /r( ue(v) org_pic_heigl itjn_mtis_minus 1 .T ue(v) paraí i = 0; i <= num_coded_views_minus1; i++ ) { view Jd [ i ] C1 ue(v) rium_parts[viewjd[ i ]] 5 ue(v) parac j = 0; j <= num_parts[i]; j++ ) { depth_flag[viewjd[ i ]][ j ] flip_dir[viewjd[ i ]][ j ] 5 u(2) locJeft_offset[viewJd[ i ]] [j ] C1 ue(v) locJop_offset[viewJd[ i ]] [ j ] 5 ue(v) írame_cropJeft_offset[viywJd[ i ]] [j ] ct ue(v) frame_crop_right_offset[viewjd[ i ]] [ ] ] ct ue(v) frame_erop_top_offset[viewJd[ i ]] [ i ] 5 ue(v) frame_crr.p_bottnm_offset[view_id[ i ]] [ j ] r. ue(v) S upsample_viewjlag[viewjd[ i ]] ct u(1) se(upsample_viewjlag[viewjd[ i ]]) upsample_filter[viewjd[ i ]] C1 u(2) se(upsamp!ejiter[viewjd[i]] == 3) { vert_d i m [vi ew J d [i]] 5 ue(v) hor_dim [viewJd [i]] 5 Jue(V) quantizer[viewjd[i]] 5 ue(v) para (yuv= 0; yuv< 3; yuv++) { para (y =- 0; y < vert_dim[view_id[i]] -1; y ++) { para (:*: = 0; x < hor_dim[viewJd[i]] -1; x ++) fi lter_coeffs[viewJd [i]] [yuv] [y] [x] 5 seív) } 1 J 1 í *1 ) 1 S Com referencia á Fiqura 23, é mostrado um dispositivo de processamento de vídeo 2300. O dispositivo de processamento de vídeo 2300 pode ser, por e- emplo, um conversor de sinais ou outro dispositivo que recebe vídeo codificado e prove, por exemplo, vídeo de- codificado para exibição para um usuário ou para armazenamento. Assim, o dispositivo 2300 pode prr.ver sua saída para uma televisão, monitor de computador, ou um computador ou outro dispositivo de processamento.

O dispositivo 2300 inclui um decodificador 2310 que recebe um sinal de dados 2320. O sinal de dados 2320 pode incluir, por exemplo, um fluxo compatível com AVC ou um fluxo compatível com MVC·. O decodificador 2310 decodifica todo uu parte do sinal rece- bido 2320 e provê como saída um sinal de vídeo decodificado 2330 e informação de Iadri- Ihamento 2340. O video decodificado 2330 e a informação de Iadrilhamento 2340 são provi- dos a um seietor 2350. O dispositivo 2300 inclui também uma interface de usuário 2360 que recebe uma entrada de usuário 2370. A interface de usuário 2360 provê um sinai de sele ção de imagem 2380, com base na entrada de usuário 2370, para o seietor 2350. O sinai de seieção de imagem 2330 e a entrada de usuário 2370 indicam qual das múltiplas imagens um usuário pretende ter exibida. O seietor 2350 provê a imagem(ns) selecionada como uma saida 2300. O seietor 2350 usa a infnrmação de seleção de imagem 2380 para selecionar qual das imagens no vídeo codificado 2330 prover como a saida 2390. O seietor 2350 utiliza a infrirmação de Iadrilhamento 2340 para localizar a imagem(ns) selecionada no vídeo de- codificado 2330.

Ern várias implementações, ·:· seietor 2350 inclui a interface de usuário 2360, e em c-utras implementações nenhuma interface de usuário 2360 é necessária porque o seietor 2350 recebe a entrada de usuário 2370 diretamente sem uma função de interface separada sendo realizada. O seietor 2350 pode ser implementado em software ou como um circuito integrado, por exemplo. O seietor 2350 também pode incorporar o decodificador 2310.

Mais geralmente, os decodificadores de várias implementações descritas nesse pe- dido podem prover uma saída decodificada que inclui um ladrilhe* inteiro. Adiciorialmerite ou alternativamente, os decuditicadores podem prover uma saída decodificada que inclui ape- nas uma cm mais imagens selecionadas (imagens ou sinais de profundidade, por exemplo) a partir do ladrilho.

Conforme observado acima, sintaxe de alto nível pode ser usada para realizar sina- lização de acordo com uma ou mais modalidades dos presentes princípios. A sintaxe de alto nível pode ser usada, por exemplo, mas não é limitada à sinalização de qualquer um dos seguintes: o número de vistas codificadas presentes no quadro maior, a largura e altura ori- ginais dts todas as vistas; para cada vista codificada, o identificador de vista correspondendo à vista; para cada vista codificada, o número de partes em que o quadro de uma vista é divi- dido; para cada parte da vista, a direção de viragem (a qual pode ser, por exemplo, nenhu- ma viragem, viragem apenas horizontal, viragem apenas vertical ou viragem horizontal e vertical): para cada parte da vista, a posição esquerda em pixels ou o número de macroblo- cos onde a parte atual pertence no quadro final para a vista; para cada parte da vista, a po- sição superior da parte em pixels ou número de macroblocos onde a parte atual pertence no quadro fina! para a vista; para cada parte da vista, a posição esquerda, n<'. quadro decodifi- cado/codificado grande atual, da janela de recorte em pixels ou número de macroblocos; para cada parte da vista, a posição à direita, no quadro decodificado/codificado grande atu- al, da janela de recorte em pixels ou número de macroblocos; para cada parte da vista, a posição superior, no quadro decodificado/codificado grande atual, da janela de recorte em pixeís ou número de macroblocos; e, fiara cada parte da vista, a posição inferior, no quaoro decodificado/codificado grande atual, da janela de recorte em pixels ou o número de ma- croblocos; para cada vista codificada se a vista precisa ser amostrada ascendentemente antes da saída (onde se a amostragem ascendente precisa ser realizada, uma sinta ve de aíto nível pode ser usada para indicar o método para arnostiagem ascendente (incluindo, mas não limitado a, filtro de 6 derivações AVC1 filtro de 4 derivações SVC, filtro bilinear ou um filtro ID especial, 2D linear ou não-linear).

Deve ser observado que os termos, “codificador” e “decodificador1’ conotam estrutu- ras gerais e não são limitados a quaisquer funções ou características específicas. Por e- xemplo, um decodificador pode receber um portador modulado que transporta um fluxo de bits codificado, e demodula o fluxo de bits codificado, assim como decodifica o fluxo de bits.

Vários métodos foram descritos. Muitos desses métodos são deíainados para pro- ver ampla revelação. Contudo, observa-se que variações são consideradas que podem vari- ar uma ou muitas das características específicas descritas para esses métodos. Adicional- mente, muitas das características que são citadas são conhecidas na técnica e, consequen- temente, não são descritas em grande detalhe.

Adicionalmente, foi feita referencia ao uso de sintaxe de alto nível para enviar certa informação em várias implementações. Contudo, deve ser entendido que outras implemen- tações utilizam sintaxe de nível inferior, ou na realidade outros mecanismos de rnodo geral (tal como, por exemplo, enviando informação como parte dos dados codificados) para prover a mesma informação tou variações dessa informação).

Várias implementações proporcionam Iadrilhament''- e sinalização apropriada para permitir que múltiplas vistas (imagens, mais geralmente) sejam ladrilhadas em uma única imagem, codificadas como uma única imagem, e enviadas como uma única imagem. A in- formação de sinalização pode permitir que um pós-processador separe as vistas/imagens. Além disso, as múltiplas imagens que são ladrilhadas poderiam ser visias, mas ao menos uma das imagens poderia ser informação de profundidade. Essas implementações podem provar uma ou mais vantagens. Por exemplo, os usuários podem pretender exibir múltiplas vistas de uma maneira ladrilhada, e essas várias implementações proporcionam uma forma eficiente de codificar e transmitir ou armazenar tais vistas mediante Iadrilhamento das mes- mas antes de codificar e transmitir/armazenar as mesmas de uma maneira ladrilhada.

Implementações que ladrilham múltiplas vistas no contexto de AVC- e/ou MVC tam- bém proporcionam vantagens adicionais. AVC é usado apenas ostensivamente para uma única vista, de modo que nenhuma vista adicional é esperada. Contudo, tais implementa- ções baseadas em AVC podem prover múltiplas vistas em um ambiente AVC porque as vis- tas ladrilhadas podem ser arranjadas de modo que, por exemplo, um decodificador sabe que as imagens ladrilhadas pertencem ás diferentes vistas (por exemplo, imagem esquerda su- penor na pseudovista e vis>ta 1, imagem superior direita é vista etc.}.

Adicionalmente, MVC já inclui múltiplas vistas, de rnodo que múltiplas vistas não devem ser incluídas em uma única pseudovista. Adicionalmente, MVC tem um limite no nú- mero de vistas que podem ser suportadas, e tais implementações baseadas em MVC efeti- vamente aumentam o número de vistas que podem ser suportadas pelo fato de permitir (como nas implementações baseadas em AVCO que vistas adicionais sejam ladrilhadas. Por exemplo, cada pseudovista pode corresponder a uma das vistas suportadas de MVC, e o decodificador pode ter conhecimento de que cada “vista suportada” efetivamente inclui qua- tro vistas em uma ordem ladrilhada pré-arranjada. Desse modo, em tal implementação, o número de possíveis vistas é de quatro vezes o número de “vistas suportadas”.

As implementações aqui descritas podem ser implementadas, por exemplo, em um método ou processo, em um aparelho, ou em um programa de software. Mesmo se discuti- do apenas no contexto de uma única forma de implementação (por exemplo, discutida ape- nas como um método), a implementação de características discutidas pode ser implementa- da em outras formas (por exemplo, um aparelho ou programa). Um aparelho pode ser im- plementado, por e»:emplo, em hardware, software e firmware apropriado, us métodos po- dem ser implementados, por exemplo, em um aparelho tal como, por exemplo, um proces- sador, o qual se refere aos dispositivos de processamento em geral, inciuindo, por exemplo, um computador, um microprocessador, um circuito integrado, ou um dispositivo lógico pro- grarnávei. Us dispositivos de processamento incluem também dispositivo de comunicação, tal como, por exemplo, computadores, telefones celulares, assistentes digitais pesso- ais/portáteis (‘PDAs”), e CiUtros dispositivos que facilitam a comunicação de informação entre usuários finais. Implementações dos vários processos e características aqui descritos podem ser incorporadas em uma variedade de diferentes equipamentos ou aplicações, particularmente, por exemplo, equipamentos ou aplicações associados a codificação e decodificação de da- dos. Exemplos de equipamento incluem codificadores de vídeo, decodificadores de vídeo, codecs de vídeo, servidores de Rede, conversores de sinais, laptops, computadores pesso- ais, telefones celulares, PDAs, e outros dispositivo? de comunicação. Como deve ser evi- dente, o equipamento pode ser móvel e até mesmo instalado em um veículo móvel.

Adicionalmente, os métodos podem ser implementados mediante instruções sendo realizadas por um processador, e tais instruções podem ser armazenadas em um meio legí- vel por processador tal como, por exemplo, um circuito integrado, um portador de software ou outro dispositivo de armazenamento tal como, por exemplo, um disco rígido, um disque- te, uma memória de acesso aleatório (“RAM”), ou uma memória de leitura (“ROM”). As ins- truções podem formar um programa de aplicação incorporado de forma tangível em um meio legível por processador. Como deve ser evidente, um processador pode inciuir um meio legível por processador tendo, por exemplo, instruções para realizar um processo. Tais programas de aplicação podem ser transferidos para, e executados por uma máquina com- preendendo qualquer arquitetura adequada. Preferivelmente, a máquina é implementada em uma plataforma de computador tendo hardware tal corno uma ou mais unidades centrais de processamento (‘'CPU”), urna memória de acesso aleatório (“RAM”), e interfaces de entra- da/saída (“1/0”). A plataforma de computador também pode incluir um sistema operacional e código de microinstrução. Os vários processos e funções aqui descritos podem ser parte do código de microinstrução ou parte do programa de aplicação, ou qualquer combinação dos mesmos, os quais podem ser executados por uma CPU. Além disso, várias outras unidades periféricas podem ser conectadas à plataforma de computador tal corno uma unidade de armazenamento de dados, adiciona! e uma unidade de impressão.

Como deve ser evidente para aqueles versados na técnica, implementações tam- bém podem produzir um sinai formatado para portar informação que pode ser, por exemplo, armazenada ou transmitida. A informação pode inciuir, por exemplo, instruções para realizar um método, ou dados produzidos por uma das implementações descritas. Tal sinal pode ser formatado, por exemplo, como uma onda eletromagnética (por exemplo, utilizando uma por- ção de espectro de radiofreqüência) ou como um sinal de banda base. A formatação pode incluir, por exemplo, codificar urn fluxo de dados, produzir sintaxe, e modular um portador com o fluxo de dados codificado e a sintaxe. A informação que o sinal transporta pode ser, por exemplo, informaçao analógica ou digital. O sinal pode ser transmitido através de urna variedade cie diferentes üriKs caheados ou sem Γιο, conforme é sabido.

Deve ser adicionalmente entendido que, devido a alguns dos componentes de sis- tema, constituintes e métodos ilustrados nos desenhos anexos são preferivelmente imple- mentados em software, as conexões efetivas entre os componentes de sistema ou os blocos cie função de processo podem diferir dependendo da forma na qual os presentes princípios são programados. Dados os presentes ensinamentos, aqueles de conhecimento comum ria técnica pertinente serão Capaze? de considerar essas e similares implementações ou confi- gurações dos presentes princípios.

Algumas implementações foram descritas. Não obstante, será entendido que po- dem ser feitas várias modificações. Por exemplo, elementos de diferentes implementações podem ser combinados, suplementados, modificados, ou removidos para produzir outras implementações. Adicionalmente, aqueles de conhecimento comum na técnica entenderão 10 que outras estruturas ou processos podem ser substitutos daqueles revelados e as imple- mentações resultantes realizarão ao menos substancialmente a mesma furição(ões) em ao menos substancialmente a mesma forma(s) para obter ao menos substancialmente o mes- mo resultado(s) que as implementações reveladas. Particularmente, embora modalidades ilustrativas sejam descritas aqui com referência aos desenhos anexos, deve-se entender 15 que os presentes princípios não são limitados àquelas precisas modalidades, e que diversas alterações e modificações podem ser realizadas nas mesmas por aqueles versados na téc- nica pertinente sem se afastar do espírito ou escopo dos presentes princípios. Consequen- temente, essas e outras implementações são consideradas por esse pedido e estão dentro do escopo das reivindicações a seguir.

Claims

1. Método, CARACTERIZADO por compreender: codificar uma primeira imagem e uma segunda imagem juntas como uma imagem única; gerar uma indicação de relação para a dita imagem única, em que a indicação de relação indica se uma relação existe entre a primeira imagem e a segunda imagem; e combinar a imagem única e a indicação de relação para formar um fluxo de bits.

2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a indicação de relação indica que a primeira imagem não esta relacionada com a segunda imagem.

3. Método, de acordo corn a reivindicação 2, CARACTERIZADO pelo fato de que a indicação de relação indica que a segunda imagem não inclui um sinai de profundidade para a primeira imagem.

4. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a indicação de relação indica que a primeira imagem esiá relacionada á segunda imagem e que a segunda imagem inclui um sinal de profundidade para a primeira imagem.

5. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a indicaçãu de relação indica que a primeira imagem está relacionada à segunda imagem e que a segunda imagem é deslocada da primeira imagem.

6. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que a indicação de reiação adicionalmente indica um número de pixels peio qual a segunda ima- gem é deslocada da primeira imagem.

7. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de a dita geração da indicação de relação compreende formar uma mensagem de acordo com uma sintaxe de alto nível, em que a mensagem inclui a indicação de relação.

8. Método, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que a sintaxe de alto nível é selecionada pelo menos a partir de um grupo de sintaxes de alto nível consistindo de um cabeçalho de fatia, um conjunto de parâmetros de seqüência, um conjun- to de parâmetros de imagem, um conjunto de parâmetros de visualização, um cabeçalho de unidade de camada de abstraçao de rede, e uma mensagem de informação de aprimora- mento suplementar.

9. Método, CARACTERIZADO pelo fato de que compreende: extrair, a partir de um fluxo de bits recebido, uma imagem única e uma indicação de relação, em que a imagem única inclui uma primeira imagem e uma segunda imagem dis- postas como a imagem úníca, ern que a indicação de relação indica se uma relação existe entre a primeira imagem e a segunda imagem; e decodificar a imagem única na primeira imagem e na segunda imagem ; e processar pelo menos uma da primeira e segunda imagens , pelo menos em parte, na base da relação indicada pela indicação de relação.

10. Método, de acordo com a reivindicação 9, CARACTERIZADO peío fato de que a indicação de relação indica que a primeira imagem não esta relacionada com a segunda imagem.

11. Mélodo, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que a indicação de relação indica que a segunda imagem não inclui um sinal de profundidade para a primeira imagem.

12. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a indicação de relação indica que a primeira imagem está relacionada com a segunda ima- gem e que a segunda imagem inclui um sinal de profundidade para a primeira imagem.

13. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a indicação de relação indica que a primeira imagem estâ relacionada à segunda imagem e que a segunda imagem é deslocada da primeira imagem.

14. Método, de acordo com a reivindicação 13, CARACTERiZADO pelo fato de que a indicação de relação adicionalmente indica um número de pixels pelo qual a segunda ima- gem é deslocada da primeira imagem.

15. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a dita extração da indicação de relação compreende extrair a indicação de relação a partir de uma mensagem formatada de acordo com uma sintaxe de alto nível, em que a mensa- gem inclui a indicação de relação.

16. Método, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de que a sintaxe de alto nível é selecionada pelo menos a partir de um grupo de sintaxes de alto nível consistindo de um cabeçalho de fatia, um conjunto de parâmetros de seqüência, um conjunto de parâmetros de imagem, um conjunto de parâmetros de visualização, um cabe- çaiho de unidade de camada de abstração de rede, e uma mensagem de informação de aprimoramento suplementar.

17. Aparelho, CARACTERIZADO pr<r compreender: um dispositivo para codificar uma primeira imagem e uma segunda imagem juntas como urna irnagern única; um dispositivo para gerar uma indicação de relação para a dita imagem única, em que a indicação de relação indica se uma relação existe entre a primeira imagem e a segun- da imagem; e um dispositivo pai a combinar a imagem única e a indicação de relação para formar um fluxo de bits.

18. Aparelho, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que a indicação de relação indica que a primeira imagem não esta relacionada com a se- gunda imagem.

19. Aparelho, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que a indicação de relação indica que a segunda imagem não inclui um sinal de profundida- de para a primeira imagem.

20. Aparelho, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que a indicação de relação indica que a primeira imagem está relacionada com a segunda imagem e que a segunda imagem inclui um sinal de profundidade para a primeira imagem.

21. Aparelho, de acordo com a reivindicação 17, CARACTERiZADO pelo fato de que a indicação de relação indica que a primeira imagem está relacionada à segunda ima- gem e que a segunda imagem é deslocada da primeira imagem.

22. Aparelhu, de acordo com a reivindicação 21, CARACTERIZADO pelo fato de que a indicação de relação adicionalmente indica um numero de pixels pelo qual a segunda imagem e deslocada da primeira imagem.

23. Aparelho, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que o dispositivo para gorar a indicação de relação compreende um dispositivo para formar uma mensagem de acordo com uma sintaxe de alto nivel, em que a mensagem inclui a indi- cação de relação.

24. Aparelho, de acordo com a reivindicação 23, CARACTERIZADO pelo fato de que a sintaxe de alto nível é selecionada peio menos a partir de um grupo de sintaxes de aito nívei consistindo de um cabeçalho de fatia, um conjunto de parâmetros de seqüência, um conjunto de parâmetros de imagem, um conjunto de parâmetros de visualização, um cabeçalho de unidade de camada de abstração de rede, e uma mensagem de informação de aprimoramento suplementar.

25. Aparelho, CARACTERIZADO pelo fato de que compreende: um dispositivo para extrair, a partir de um fluxo de bits recebido, uma imagem única e uma indicação de relação, em que a imagem única inclui uma primeira imagem e uma se- gunda imagem disposta como a imagem única, em que a indicação de relação indica se uma relação existe entre a primeira imagem e a segunda imagem; e um dispositivo para decodificar a imagem única na primeira imagem e na segunda imagem; e um dispositivo para processar pelo menos uma da primeira e segunda imagens, pe- lo em parte, na base da ralação indicada pela dita indicação de relação.

26. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que a indicação de relação indica que a primeira imagem não esla relacionada com a se- gunda imagem.

27. Aparelho, de acordo com a reivindicação 26, CARACTERIZADO peio fato de que a indicação de relação indica que a segunda imagem não inclui um sinal de profundi- dade para a primeira imagem.

28.Aparelho1 de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que a indicação de relação indica que a primeira imagem está relacionada à segunda ima- gem e que a segunda imagem inclui um sinal de profundidade para a primeira imagem.

29. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que a indicação de relação adicionalmente indica um número de pixels pelo qual a segunda imagem é deslocada da primeira imagem.

30. Aparelho, de acordo com a reivindicação 29, CARACTERIZADO pelo fato de que a indicação de relação adicionalmente indica um número de pixels pelo qual a segunda imagem e deslocada da primeira imagem.

31. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o dito dispositivo para extrair a indicação de relação compreende um dispositivo para extrair a indicação de relação a partir de uma mensagem formatada de acordo com uma sintaxe de alto nível, em que a mensagem inclui a indicação de relação.

32. Aparelho, de acordo com a reivindicação 3i, CARACTERIZADO pelo fato de que a sintaxe de alto nível é selecionada pelo menos a partir de um grupo de sintaxes de alto nível consistindo de um cabeç-alhu de falia, um conjunto de parâmetros de seqüência, um conjunt-j de parâmetros de imagem, um conjunto de parâmetros de visualização, um cabeçalho de unidade de camada de abstração de rede, e uma mensagem de informação de aprimoramento suplementar.

33. Sinal de vídeo formatado para incluii informação, o sinai de vídeo CARACTERIZADO por compreender: uma seção de imagem codificada incluindo uma codificação de um imagem única, a imagem única incluindo uma primeira imagem e uma imagem disposto na imagem única; e uma seção de sinalização incluindo uma codificação de uma indicação de relação que indica se uma relação existe entre a primeira imagem e a segunda imagem, a indicação de relação permitindo a decodificação da imagem única nas versões decodificadas da pri- meira imagem e da segunda imagem.

34. Meio legível por processador, CARACTERIZADO por possuir armazenada no mesmo uma estrutura de sinal de vídeo, a estrutura de sinal de vídeo compreendendo: uma seção de imagem codificada incluindo uma codificação de um imagem única, a imagem única incluindo uma primeira imagem e uma imagem disposto na imagem única; e uma seção de sinalização incluindo uma codificação de uma indicação de relação que indica se uma relação existe entre a primeira imagem e a segunda imagem, a indicação de relação permitindo a decodificação da imagem única nas versões decodificadas da pri- meira imagem e da segunda imagem.

35. Meio legíve! por maquina, CARACTERIZADO por possuir armazenadas no mesmo instruções executáveis por máquina que, quando executadas, implementam um mé- todo compreendendo: codificar uma primeira imagem e uma segunda imagem juntas como uma imagem única; gerar uma indicação de relação para a dita imagem única, em que a indicação de relação indica se uma relação existe entre a primeira imagem e a segunda imagem; e combinar a imagem única e a indicação de relação para formar um fluxo de bits..

36. Meio legível por máquina, CARACTERIZADO por possuir armazenadas rio mesmo instruções executáveis por máquina que, quando executadas, implementam um mé- todo compreendendo: extrair, a partir de um flu/.o de bits recebido, uma imagem única e uma indicação de relação, em que a imagem única inclui uma primeira imagem e uma segunda imagem dis- posta como a imagem única, em que a indicação de relação indica se uma relação existe entre a primeira imagem e a segunda imagem; decodificar a imagem única na primeira imagem e na segunda imagem ; e processar pelo menos uma da primeira e segunda imagens , pelo menos em parte, na base da relação indicada pela indicação de relação.