BRPI0817192B1

BRPI0817192B1 - Método para codificar um sinal de dados de vídeo, sistema para codificar um sinal de vídeo, meio não transitório legível por computador, método para decodificar sinais de vídeo, e sistema para decodificar sinais de vídeo

Info

Publication number: BRPI0817192B1
Application number: BRPI0817192-0A
Authority: BR
Inventors: Wilhelmus H. A. Bruls; Arnaud P. H. Bourge
Original assignee: Koninklijke Philips N. V
Priority date: 2007-09-24
Filing date: 2008-09-16
Publication date: 2020-08-04
Also published as: CA2700499A1; US20210105449A1; RU2010116176A; US20230276039A1; KR101564461B1; US8854427B2; US20100110163A1; ES2536776T3; CN101816179A; US10904509B2; EP2204043A2; WO2009040701A2; PL2204043T3; MX2010003159A; JP2011515874A; KR20100063806A; CA2700499C; RU2518408C2; CN104935956B; BRPI0817192A2

Abstract

método para codificar um sinal de dados de vídeo, sistema para codificar um sinal de vídeo, meio não transitório legível por computador, método para decodificar sinais de vídeo, e sistema para decodificar sinais de vídeo sinais de dados de vídeo são codificados de tal modo que o sinal de dados de vídeo codificado compreende pelo menos um sinal de dados de vídeo primário e secundário. os sinais de dados de vídeo primário e secundário são comprimidos conjuntamente, o sinal de dados de vídeo primário é comprimido de uma maneira autocontida, e o sinal de dados de vídeo secundário é comprimido usando dados a partir do sinal de dados de vídeo primário. o sinal de dados de vídeo comprimido conjuntamente é dividido (bss) em fluxos de bits separados, pelo menos um fluxo de bits primário compreendendo dados para o sinal de dados de vídeo primário e pelo um fluxo de bits secundário compreendendo dados para o sinal de dados de vídeo secundário, posteriormente os fluxos de bits primário e secundário são multiplexados em um sinal multiplexado, os sinais primário e secundário são providos de códigos separados (ox1b, 0x20).

Description

CAMPO DA INVENÇÃO

A invenção relaciona-se ao campo de codificação e decodificação de vídeo. Apresenta um método e sistema para codificar um sinal de dados de vídeo. A invenção também se relaciona a um sinal de dados de vídeo codificado. A invenção também se relaciona a um método para decodificação e a um sistema para decodificação de um sinal de dados de vídeo.

FUNDAMENTOS DA INVENÇÃO

Recentemente, tem havido interesse em prover possibilidades de vídeo incrementado, por exemplo, imagens 3D em visores de imagem 3D. Acredita-se que a geração de imagem 3D será depois da geração de imagem a cores, a próxima grande inovação na geração de imagem. Estamos agora no advento da introdução de visores auto estereoscópicos para o mercado consumidor.

Basicamente, uma impressão tridimensional pode ser criada usando pares estéreo, isto é, duas imagens ligeiramente diferentes direcionadas aos dois olhos do espectador.

Qualquer que seja o tipo de visor usado, a informação de imagem 3D tem que ser provida ao dispositivo de exibição. Isto é usualmente feito na forma de um sinal de dados de vídeo compreendendo dados digitais frequentemente compreendendo dados para um olho esquerdo e um olho direito ou para um número de visualizações, quando visualizações múltiplas são geradas.

Um outro exemplo de possibilidades de vídeo incrementadas é prover um sinal de dados de vídeo capaz de prover vídeo de alta freqüência, por exemplo, vídeo com o dobro da freqüência de exibição de quadro padrão.

Ainda um outro exemplo é prover um sinal de dados de vídeo de resolução melhorada.

Devido às quantidades de dados em massa inerentes à geração de imagens digitais, o processamento e/ou transmissão de sinais de imagem digitais constitui em problemas significativos. Em muitas circunstâncias, a potência de processamento disponível e/ou capacidade de transmissão é insuficiente para processar e/ou transmitir sinais de dados de vídeo de alta qualidade. Mais particularmente, cada quadro de imagem digital é uma imagem parada formada a partir de um arranjo de pixels. Este problema existe para todo vídeo, mas é aumentado para geração de imagem de vídeo 3D, e o mesmo aumento do problema ocorre quando um sinal de dados de vídeo de freqüência dupla deve ser gerado ou um sinal de dados de vídeo de resolução melhorada deve ser gerado.

As quantidades de informação digital bruta são usualmente massivas, requerendo grande potência de processamento e/ou grandes taxas de transmissão que não estão sempre disponíveis. Vários métodos de compressão tem sido propostos para reduzir a quantidade de dados a serem transmitidos, incluindo, por exemplo, MPEG-2, MPEG-4 e H.263.

Os métodos de compressão conhecidos foram originalmente configurados para imagens 2D padrão.

Se, por exemplo, informação 3D é gerada no lado de aquisição, esta informação necessita ser transmitida e, no sentido de ter uma sobrecarga extra baixa em termos de taxa de bit, é requerida compressão de informação 3D. Preferivelmente, a compressão (ou codificação) da informação 3D é efetuada de tal maneira que q compressão da informação 3D pode ser implementada usando padrões de compressão existentes somente com ajustes relativamente pequenos. Quando o sinal de dados de vídeo é reforçado no sentido de que compreende informação sobre o sinal de freqüência dupla ou resolução reforçada, o mesmo se aplica.

Adicionalmente, o sinal de vídeo melhorado é preferivelmente de compatibilidade reversa, isto é, um aparelho de vídeo padrão convencional deveria preferivelmente ser capaz de exibir uma “boa” imagem de vídeo aparelho do sinal de vídeo melhorado. Por exemplo, o sinal estéreo 3D é preferivelmente de compatibilidade reversa 2D, isto é, um aparelho 2D convencional deveria preferivelmente ser capaz de exibir uma “boa” imagem 2D a partir do sinal 3D. Um sinal de dados de vídeo de 100 Hz de alta freqüência deveria ser capaz de ser visualizado em um aparelho de vídeo padrão de 50 Hz mesmo se o próprio aparelho não é capaz de exibir sinais de 100 Hz. De modo similar, um sinal de dados de vídeo de resolução reforçada (HDTV, TV de Alta Definição) deveria ser capaz de ser visualizado em um aparelho de TV padrão.

Simplesmente comprimir uma imagem estéreo como duas separadas, conduz a um grande aumento na taxa de bit. Codificar separadamente as visualizações esquerda (L) e direita (R) de um par estéreo praticamente conduz a dobrar a taxa de bit, comparada a um sistema mono (uma vista única) se desejarmos garantir a mesma qualidade. Então, tal método, embora assegure que um dispositivo 2D pode exibir uma imagem, requer o dobro da taxa de bit

A quantidade de dados aumenta ainda mais quando é feito uso de um sistema multivisão em que mais de duas visualizações são geradas.

O mesmo se aplica quando um sinal de dados de vídeo é melhorado, incluindo informação sobre sinais de dados de vídeo de freqüência mais alta. Dobrar a freqüência dobrará os dados. Aumentar a resolução criará o mesmo problema.

Um método melhor, com vistas a eficiência de codificação é comprimir conjuntamente as duas ou mais vistas estéreo (esquerda e direita) ou comprimir em conjunto sinais de dados de vídeo de alta freqüência e baixa freqüência ou comprimir conjuntamente sinais de dados de vídeo de baixa resolução e alta resolução. Esta solução, para um quadro esquerdo e direito, conduz tipicamente a duas visualizações serem comprimidas conjuntamente usando 50% mais largura de faixa do que o caso da visualização única (a ser comparada a 100% mais largura de faixa no caso de codificação de visualização separada). Isto pode ser obtido usando codificadores de compressão de vídeo 2D convencionais intercalando quadros Esquerdo e Direito a partir de cada vista estéreo, para formar uma seqüência 2D “falsa”. No lado recuperador, os quadros 2D são desintercalados e cada vista é recuperada e exibida. Por exemplo, as duas vistas (L e R) podem ser intercaladas como imagens de quadro, antes de entrar em um codificador de vídeo.

Entretanto, embora usando técnicas padrão, por exemplo, para vídeo estéreo possa ser mais eficientemente comprimido (l,5*ganho) em conjunto do que comprimindo vistas separadas e o fluxo de bit resultante poderia ser exibido em um dispositivo 3D adequado, os inventores verificaram que o resultado é um único fluxo de bit que não pode ser exibido em um sistema 2D normal com bons resultados. Quando o fluxo de bit intercalado único alcança um receptor 2D convencional (com um decodificador 2D e uma tela 2D) a seqüência de vídeo exibida apareceria feia, mostrando imperfeições visíveis, pois isto resulta do intercalamento de um estéreo. Este método não é então de compatibilidade reversa. O mesmo se mantém para sinais de multivisualização ou outros sinais de vídeo melhorados que são comprimidos conjuntamente.

E então um objetivo da invenção prover um método para codificar dados de imagem reforçados no lado da transmissão, o que oferece compatibilidade reversa enquanto mantém a quantidade de dados dentro dos dados codificados nos limites. Preferivelmente, a eficiência de codificação é grande. Também, preferivelmente, o método é compatível com os padrões de codificação existentes.

E um objetivo adicional prover um codificador melhorado para codificar um sinal de dados de vídeo e um sinal de dados de vídeo.

SUMÁRIO DA INVENÇÃO

Para esta finalidade, um método para codificar sinais de dados de vídeo de acordo com a invenção, é um método em que um sinal de dados de vídeo é codificado, o sinal de dados de vídeo compreendendo pelo menos um sinal de dados de vídeo primário e pelo menos um sinal de dados de vídeo secundário, em que os sinais de dados de vídeo primário e secundário são comprimidos conjuntamente, o sinal de dados de vídeo primário sendo comprimido de uma maneira autocontida, e o sinal de dados de vídeo secundário sendo comprimido usando dados do sinal de dados de vídeo primário, o sinal de dados de vídeo comprimidos conjuntamente é dividido em fluxos de bits separados, os fluxos de vídeo compreendendo pelo menos um fluxo de bits primário compreendendo dados para o sinal de dados de vídeo primário e pelo menos um fluxo de bits secundário compreendendo dados para o sinal de dados de vídeo secundário, posteriormente os fluxos de bits primário e secundário são multiplexados em um sinal multiplexado e os sinais primário e secundário são providos com códigos separados.

O método da invenção combina as vantagens dos métodos anteriores enquanto evita suas respectivas deficiências. Este compreende comprimir conjuntamente dois ou mais sinais de dados de vídeo, seguidos pela divisão do fluxo de bit comprimido único em dois ou mais fluxos de bits separados (primário e secundário): um “primário” é o que é autocontido e é decidido por decodificadores de vídeo convencionais e um ou mais conjuntos de quadros “secundário” (assim chamados fluxos de representação de vídeo auxiliar) que são dependentes do fluxo de bits primário. Os fluxos de bits separados são multiplexados em que os fluxos de bits primário e secundário são fluxos de bits separados providos de códigos separados e transmitidos. A primeira vista pode parecer supérfluo e um dispêndio de esforços comprimir conjuntamente em primeiro lugar sinais somente para dividi-los novamente após a compressão e prove-los de códigos separados. Em todas as técnicas conhecidas, o sinal de dados de vídeo comprimido recebe um código único no multiplexador. A primeira vista a invenção parece adicionar uma complexidade desnecessária na codificação de sinais de dados de vídeo.

Os inventores entretanto, verificaram que dividir e empacotar separadamente (isto é, dar ao fluxo de bits primário e secundário códigos separados no multiplexador) do fluxo de bits primário e secundário no sinal multiplexado tem o resultado de, por um lado, um desmultiplexador padrão em um sistema de vídeo convencional reconhecer o fluxo de bits primário por seu código e enviá-lo ao decodificador, de tal modo que decodificador de vídeo padrão recebe somente o fluxo primário, o fluxo secundário não tendo passado pelo desmultiplexador, e o decodificador de vídeo padrão é então capaz de processá-lo corretamente como um sinal de dados de vídeo padrão, por exemplo, um sinal de dados de vídeo 2D padrão e/ou um sinal de dados de vídeo de 50 Hz padrão ou um sinal de resolução de base enquanto, por outro lado, um sistema especializado tal como um sistema 3D ou um sistema de exibição de 100 Hz ou um decodificador de vídeo de alta resolução pode reverter completamente o processo de codificação e recriar o fluxo de bits reforçado original antes de enviá-lo, por exemplo, a um decodificador estéreo ou decodificador de 100 Hz ou um decodificador HTV.

Muitos sistemas e métodos sabidamente de compatibilidade reversa requerem inerentemente alguma espécie de adaptação a ser feita para sistemas de vídeo convencional para analisar adequadamente um fluxo de bits de entrada e, sem tal adaptação, uma decodificação adequada é difícil ou impossível. Os inventores verificaram que a raiz do problema é que o decodificador convencional recebe o sinal de dados de vídeo reforçado para os quais não está equipado. Mesmo com adaptações ao decodificador, podem ocorrer problemas, simplesmente porque o decodificador recebe o sinal reforçado (e então mais bits do que o usual) e pode não ser capaz de conviver com o sinal reforçado, simplesmente porque não pode processar a taxa de bit aumentada. Qualquer adaptação para um decodificador padrão teria também que ser específica para o reforço particular (3D, 100 Hz, alta resolução) do sinal de dados de vídeo, o que pode não funcionar para outros reforços ou mesmo deteriorar operação quando um sinal de dados de vídeo não reforçado é recebido.

Na invenção, os fluxos de bits primário e secundário são fluxos de bits separados em que o fluxo de bits primário é um fluxo de bits autocontido. Isto permite dar ao fluxo de bits primário um código correspondente a um sinal de dados de vídeo padrão, enquanto se dá ao fluxo de bits secundário ou códigos de fluxos de bits secundários não reconhecíveis por desmultiplexadores padrão como um sinal de dados de vídeo padrão. Na extremidade de recepção, dispositivos de desmultiplexação padrão reconhecerão o fluxo de bits primário como um sinal de dados de vídeo padrão e o passarão para o decodificador de vídeo. Os dispositivos de desmultiplexação padrão rejeitarão os fluxos de bits secundários, não reconhecendo-os como sinais de dados de vídeo padrão. O próprio decodificador somente receberá o “sinal de dados de vídeo padrão”. A quantidade de bits recebidos pelo próprio decodificador de vídeo é então restrita ao fluxo de bits primário que é autocontido e na forma de um sinal de dados de vídeo padrão e é interpretável por dispositivos de vídeo padrão e possuindo uma taxa de bit com a qual dispositivos de vídeo padrão podem operar. O decodificador de vídeo não é sobrecarregado com bits que pode processar.

Uma vez que o fluxo de bits primário é autocontido, o decodificador de vídeo padrão pode decodificar isto em um sinal de dados de vídeo padrão decodificado.

A invenção pode ser realizada de vários modos. Em realizações, de particular utilidade para 2D-3D ou para uso de freqüência normal - alta freqüência, quadros de vídeo são intercalados no codificador ou o codificador é provido de sinais intercalados.

Em tais realizações, o método para codificação é caracterizado por um sinal de dados de vídeo ser codificado, o sinal reforçado codificado compreendendo um primeiro e pelo menos um segundo conjunto de quadros, em que os quadros do primeiro e segundo conjunto são intercalados para formar uma seqüência de vídeo intercalada, ou em que um sinal de dados de vídeo intercalado compreendendo um primeiro e segundo conjunto de quadros é recebido, em que a seqüência de vídeo intercalada é comprimida em um sinal de dados de vídeo comprimido, em que os quadros do primeiro conjunto são codificados e comprimidos sem usar quadros do segundo conjunto, e os quadros do segundo conjunto são codificados e comprimidos usando quadros do primeiro conjunto, e posteriormente o sinal de dados de vídeo comprimido é dividido em um primário e pelo menos um fluxo de bits secundário, cada fluxo de bits compreendendo quadros, em que o fluxo de bits primário compreende quadros comprimidos para o primeiro conjunto, e o fluxo de bits secundário para o segundo conjunto, os fluxos de bits primário e secundário formando fluxos de bits separados, em que os fluxos de bits primário e secundário são multiplexados em um sinal multiplexado, os fluxos de bits primário e secundário sendo providos de códigos separados.

Nesta realização, como na invenção em seu sentido mais amplo, o fluxo de bits comprimido único é dividido em dois ou mais fluxos de bits separados (primário e secundário): um “primário” que contém plenamente apenas um dos conjuntos de quadros (e então é autocontido) e é decidido por decodificadores de vídeo convencionais, e um ou mais conjuntos de quadros “secundários” (assim chamados fluxos de representação de vídeo auxiliar) que são dependentes do conjunto primário de quadros. Os quadros são intercalados no nível do sistema ou são providos ao sistema em um formato intercalado e multiplexados em que os fluxos de bits primário e secundário são fluxos de bits separados providos de códigos separados, e transmitidos.

Uma exigência importante é que, após o intercalamento, pelo menos um conjunto, a saber, o conjunto de quadros do fluxo de bits primário, é comprimido com o sinal “autocontido”. Isto significa que os quadros pertencentes a este conjunto autocontido de quadros não necessitam qualquer informação (por exemplo, via compensação de movimento ou qualquer outro esquema de predição) a partir dos outros fluxos de bits secundários.

Um aspecto importante é também que os fluxos de bits primário e secundário formam fluxos de bits separados e são multiplexados com códigos separados por razões explicadas acima.

Nas realizações, o fluxo de bits primário compreende dados para quadros de uma das visualizações de um sinal de dados de vídeo 3D, o fluxo de bits secundário compreende dados para quadros das outras visualizações do sinal de dados de vídeo 3D.

Nas realizações, o fluxo de bits primário compreende dados para quadros de uma dentre três ou mais vistas, e mais de um fluxo de bits secundário é gerado, os fluxos de bits secundários compreendendo dados para quadros de uma das outras vistas.

Nas realizações, o fluxo de bits primário compreende dados para um conjunto de quadros de baixa freqüência, enquanto o fluxo de bits secundário compreende dados para quadros de freqüência mais alta. Nas realizações, o fluxo de bits primário é comprimido com um fator de quantização mais baixo que os fluxos de bits secundários.

Quando o fluxo de bits primário e secundário apresenta duas visualizações estéreo, o fluxo de bits primário pode representar qualquer das duas vistas, esquerda ou direita.

Nas realizações, a designação de qual vista é a vista correspondente ao fluxo de bits primário poderia variar. Por exemplo, em uma mudança de cena, a vista primária poderia mudar da esquerda para a direita ou vice-versa. Isto poderia ser vantajoso especialmente se a vista primária é comprimida com um fator de quantização diferente da vista secundária.

A invenção é também realizada em um sistema de codificação para codificar um sinal de dados de vídeo, compreendendo um gerador para gerar ou um receptor para receber pelo menos um sinal de dados de vídeo primário e secundário, um compressor para comprimir conjuntamente o sinal de dados de vídeo primário e secundário, o compressor sendo arranjado para comprimir o sinal de dados de vídeo primário de uma maneira autocontida, e para comprimir o sinal de dados de vídeo secundário usando dados do sinal de dados de vídeo primário, um divisor para dividir o sinal de dados de vídeo comprimido conjuntamente em fluxos de bits separados, um fluxo de bits primário compreendendo dados para o sinal de dados de vídeo primário e um fluxo de bits secundário compreendendo dados para o sinal de dados de vídeo secundário, e um multiplexador para multiplexar os fluxos de bits primário e secundário em um sinal multiplexado, e para prover os sinais primário e secundário de códigos separados.

Um sistema de codificação de acordo com uma realização da invenção compreende um intercalador (VI) para intercalar quadros de uma primeira e segunda vista, para formar uma seqüência de vídeo intercalada, ou o sistema de codificação compreende um receptor para receber uma seqüência de vídeo intercalada compreendendo um primeiro e segundo conjuntos de quadros, o sistema de codificação compreendendo um codificador para codificar a seqüência de vídeo intercalada, em que o codificador compreende um compressor para comprimir os quadros da primeira das visualizações, sem usar quadros da segunda visualização, e para comprimir os quadros da segunda visualização usando quadros da primeira visualização, e o sistema compreendendo um divisor para dividir o sinal de dados de vídeo comprimido em um fluxo de bits primário e secundário, cada fluxo de bits compreendendo quadros, em que o fluxo de bits primário compreende quadros comprimidos para o primeiro conjunto, e o fluxo de bits secundário para o segundo conjunto, os fluxos de bits primário e secundário formando fluxos de bits separados, o sistema de codificação compreendendo adicionalmente um multiplexador para multiplexar os fluxos de bits primário e secundário, e para prover o fluxo de bits primário e secundário de códigos separados.

Preferivelmente, o compressor é arranjado para comprimir quadros em um esquema hierárquico, em que os níveis mais altos correspondem a quadros da primeira das visualizações, e o nível mais baixo ou o mais baixo dos níveis para quadros da segunda vista.

Nas realizações, o sistema de codificação é arranjado para prover um fluxo de bits primário compreendendo dados para quadros de uma das vistas de um sinal de dados de vídeo 3D, o fluxo de bits secundário compreendendo dados para quadros da outra vista do sinal de dados de vídeo 3D.

Estes e aspectos adicionais da invenção serão explicados em maior detalhe a título de exemplo e com referência aos desenhos que a acompanham, nos quais:

BREVE DESCRIÇÃO DOS DESENHOS

Figura 1 ilustra um exemplo de um método de codificação de uma técnica anterior para vídeo 3D.

Figura 2 ilustra um método melhorado do ponto de vista de eficiência de codificação.

Figure 3A e 3B ilustram o metodo para codificacao e o metodo para decodificacao e um codificador e decodificador da invancao.

Figure 4 ilustra intercalamento de duas vistas, esquerda (L) e direita(R).

Figura 5 A e 3B ilustram o método para codificação e o método para decodificação e um codificador e decodificador da invenção.

Figura 6 ilustra intercalamento de duas vistas, esquerda (L) e direita (R).

Figura 7 ilustra a assim chamada estrutura temporal diádica usando quadros B hierárquicos.

Figura 8, 9 e 10 ilustram as técnicas anteriores e a invenção.

Figura 11 ilustra uma situação na qual há três sinais de visualização intercalados.

Figuras 12, 13, 14A e 14B ilustram uma realização da invenção para vídeo de alta freqüência.

Figuras 15, 16A e 16B ilustram uma realização da invenção para vídeo de alta resolução.

As figuras não são desenhadas em escala. Geralmente, componentes idênticos são denotados pelos mesmos numerais de referência nas figuras.

DESCRIÇÃO DETALHADA DAS REALIZAÇÕES PREFERIDAS

Figura 1 ilustra compressão de informação de vídeo em que ambas as vistas são tratadas separadamente e comprimidas. Os sinais de dados de vídeo esquerdo (L) e direito (R) 1 e 2 são providos cada um de duas imagens substancialmente 2D(L) e 2D(R). ambos sinais são codificados e comprimidos em codificadores de vídeo 2D padrão 3 e 4. Os dois sinais são transmitidos, esquematicamente indicados por T na Figura 1 e recebidos no lado do receptor. O receptor decodifica os dois sinais usando decodificadores de vídeo 2D 3’ e 4’ e provê dois sinais 2D 1’ e 2’. Estes dois sinais estão então prontos para serem combinados em um visor de vídeo 3D para prover uma imagem 3D. Quaisquer dispositivos de exibição de vídeo 2D podem simplesmente operar usando a vista esquerda ou a vista direita. Embora este esquema funcione, codificar separadamente as vistas esquerda (L) e direita (R) de um par estéreo, praticamente leva a dobrar a taxa de bit comparada a um sistema mono (uma vista única) se desejamos garantir a mesma qualidade. Então, este método padrão, embora assegurar que um dispositivo 2D possa exibir uma imagem, requer dobrar a taxa de bit.

Figura 2 ilustra um método melhorado do ponto de vista de eficiência de codificação. Antes da codificação, os quadros das duas vistas são intercalados no intercalador de vista VI, para prover um sinal de dados de vídeo L + R combinado. O intercalamento provê um sinal combinado parecido com o sinal 2D padrão 2. Citado sinal pode ser comprimido usando compressão de vídeo 2D convencional em um codificador de vídeo 2D 5. Este sinal comprimido pode então ser transmitido. No lado do receptor, o sinal comprimido é descomprimido em um decodificador de vídeo 2D 6 e desintercalado usando um desintercalador DVI. Por exemplo, as duas vistas (L e R) podem ser intercaladas como imagens de quadro antes de entrar no codificador de vídeo 2D 5. Daí, dependendo da imagem de referência temporal usada para prever um dado macro bloco (MB), a predição pode ser “realmente” temporal (diferentes vezes a partir da mesma vista) ou a partir da outra vista. Este mecanismo pode ser sinalizado através de uma assim chamada mensagem de “Informação de Vídeo Estéreo” SEI, para conter informação sobre o intercalamento efetuado, de tal modo que um decodificador estéreo na extremidade de recepção é capaz de distinguir uma vista da outra e efetuar desintercalamento.

Embora tal método reduza a taxa de bit (de cerca de 25% comparada ao método da Figura 1) se o fluxo codificado único chega a um receptor 2D convencional (com um decodificador 2D e uma tela 2D) a seqüência de vídeo exibida parecerá feia, pois resulta do intercalamento de um vídeo estéreo. O problema existe mesmo no caso de AVC (Codificação Estéreo Avançada) com a mensagem “Informação de Vídeo Estéreo” SEI. Realmente, o uso de mensagens SEI não é mandatório e um decodificador conforme pode ignorá-las perfeitamente. O fluxo de bits único a partir do método da Figura 2 não pode ser reproduzido corretamente em um sistema de exibição 2D normal, o que é uma grande desvantagem. O método da Figura 2 então não é de compatibilidade reversa 2D. A falta de compatibilidade reversa 2D desencorajará muito as pessoas de usarem sinais de dados de vídeo 3D e sistemas, uma vez que a grande maioria de visores será, pelo menos durante a introdução de vídeo 3D e permanecerá nos dispositivos de vídeo 2D padrão. Novos métodos são preferivelmente de compatibilidade reversa, isto é, os dispositivos de vídeo padrão seriam capazes de conviver com sinais gerados pelos novos métodos.

O objetivo da invenção é portanto, prover um método que por um lado reduza a taxa de bit comparada a ambas visualizações plenamente e separadamente codificadas, enquanto, por outro lado, ainda tenham compatibilidade reversa com vídeo padrão.

Para esta finalidade, um método para codificar sinais de dados de vídeo de acordo com a invenção, é um método em que um sinal de dados de vídeo é codificado, o sinal de dados de vídeo codificado compreendendo pelo menos um sinal de dados de vídeo primário e pelo menos um sinal de dados de vídeo secundário, em que os sinais de dados de vídeo primário e secundário são comprimidos conjuntamente, o sinal de dados de vídeo primário sendo comprimido de uma maneira autocontida, e o sinal de dados de vídeo secundário sendo comprimido usando dados do sinal de dados de vídeo primário, o sinal de dados de vídeo comprimido conjuntamente é dividido em fluxos de bits separados, os fluxos de bits compreendendo pelo menos um fluxo de bits primário compreendendo dados para o sinal de dados de vídeo primário e pelo menos um fluxo de bits secundário compreendendo dados para o sinal de dados de vídeo secundário, em que os fluxos de bits primário e secundário são multiplexados em um sinal multiplexado, e os sinais primário e secundário são providos de códigos separados.

O método da invenção combina as vantagens dos métodos anteriores enquanto evita suas respectivas deficiências. Este compreende comprimir conjuntamente dois ou mais sinais de dados de vídeo, seguido pela divisão do fluxo de bits comprimido único em dois ou mais (primário e secundário) fluxos de bits separados: um “primário” que é autocontido e decidido por decodificadores de vídeo convencionais e um ou mais conjuntos “secundários” de quadros (assim chamados fluxos de representação de vídeo auxiliar) que são dependentes do fluxo de bits primário. Os fluxos de bits separados são multiplexados em que os fluxos de bits primário e secundário são fluxos de bits separados providos de códigos separados, e transmitidos. A primeira vista pode parecer supérfluo e um dispêndio de esforços comprimir conjuntamente em primeiro lugar sinais somente para dividi-los novamente após a compressão e prove-los de códigos separados. Em todas as técnicas conhecidas, o sinal de dados de vídeo comprimido recebe um código único no multiplexador. À primeira vista a invenção parece adicionar uma complexidade desnecessária na codificação de sinais de dados de vídeo.

Em uma realização do método da invenção, um sinal de dados de vídeo é codificado, o sinal de dados de vídeo codificado compreendendo uma primeira e uma segunda visualizações possuindo quadros, em que os quadros da primeira e segunda vistas são intercalados para formar uma seqüência de vídeo intercalada, posteriormente a seqüência de vídeo intercalada é comprimida, em que os quadros da primeira das vistas são codificados e comprimidos sem usar quadros da segunda vista, e os quadros da segunda vista são codificados e comprimidos usando quadros da primeira vista, e em que o sinal de dados de vídeo reforçado comprimido é dividido em um fluxo de bits primário e secundário, cada fluxo de bits compreendendo quadros, em que o fluxo de bits primário compreende quadros comprimidos para a primeira das vistas, e o fluxo de bits secundário para a segunda das vistas, o fluxo de bits primário e secundário formando fluxos de bits separados, posteriormente os fluxos de bits primário e secundário são multiplexados em um sinal de multiplexação, o fluxo de bits primário e secundário sendo providos de códigos separados.

Figuras 3A e 3B ilustram o método e um sistema de codificação e sistema de decodificação da realização acima da invenção. Figura 3 A ilustra uma situação em que o sistema de codificação 7 da invenção e um sistema de decodificação 8 da invenção são usados, características do sistema de codificação e decodificação sendo esquematicamente mostradas pelos elementos nos retângulos pontilhados. Figura 3B ilustra uma situação em que um decodificador padrão é usado.

Os quadros da vista esquerda e direita são intercalados em VI para prover um sinal combinado. O sinal combinado lembra um sinal 2D. O codificador de vídeo 2D 5 codifica e comprime o sinal intercalado combinado. Uma característica especial da compressão é que os quadros de uma das vistas formam um sistema autocontido, isto é, na compressão nenhuma informação da outra vista é usada para a compressão. Os quadros da outra vista são comprimidos usando informação de quadros da primeira vista. A invenção se afasta da tendência natural de tratar duas vistas em pé de igualdade. De fato, as duas vistas não são tratadas igualmente durante a compressão. Uma das vistas toma-se a vista primária, para cuja compressão nenhuma informação é usada a partir da outra vista, a outra vista é secundária. Os quadros da vista primária e os quadros da vista secundária são divididos em um fluxo de bits primário e um fluxo de bits secundário pelo Divisor de Fluxo de Bits BSS. O sistema de codificação compreende um multiplexador MUX que designa um código, por exemplo, 0x01 para MPEG ou OxlB para H.264, reconhecível para vídeo padrão como um fluxo de bits de vídeo, para o fluxo de bits e um código diferente, por exemplo, 0x20 para o fluxo secundário. O sinal multiplexado é transmitido (T). Na Figura 3A, o sinal é recebido por um sistema de decodificação, de acordo com a invenção. O desmultiplexador reconhece os dois fluxos de bits 0x01 ou OxlB (para o fluxo primário) e 0x20 (para o fluxo secundário) e envia ambos a um Agente de fusão de Fluxo de Bits (BSM) que funde o fluxo primário e secundário novamente e a seqüência de vídeo comprimida é decodificada revertendo o método de codificação em um decodificador. O sistema de decodificação 8 em combinação com um dispositivo de exibição 3D formam um exemplo de um dispositivo de exibição de acordo com a invenção.

Figura 3B ilustra a situação em que o sinal multiplexado é recebido por um sistema de vídeo padrão 9. O desmultiplexador padrão reconhece o fluxo de bits 0x01 ou OxlB como um sinal de dados de vídeo e o transmite ao decodificador padrão. O fluxo de bits 0x20 não é reconhecido e rejeitado, na Figura 3B esquematicamente indicado pelo envio do fluxo de bits à lixeira WB. O sinal recebido pelo decodificador tem uma taxa de bit que o decodificador padrão pode processar e está em uma forma que o decodificador padrão pode gerenciar.

Devido ao fluxo primário OxlB ser um sinal autocontido pleno, o problema associado ao método da Figura 2 não ocorre quando o sistema de vídeo 2D padrão exibe a visualização do sinal primário. Então, o método da Figura 3 é de compatibilidade reversa com 2D.

O método da codificação da invenção permite uma redução da taxa de bit comparada a comprimir as duas vistas separadamente. Então ambas redução na taxa de bit bem como compatibilidade reversa 2D são obtidas.

Figura 4 ilustra o intercalamento de duas vistas, esquerda (L) e direita (R), cada uma constituída da quadros 0 a 7 em um sinal combinado intercalado possuindo quadros 0 a 15. Intercalamento de sinal é um processo bem conhecido nos processos de imagens.

Figura 5 ilustra uma assim chamada estrutura temporal diádica usando quadros hierárquicos B. No processamento de vídeo normal, freqüentemente é feito uso de diferentes tipos de quadros I, quadros B e quadros P. Alguns quadros necessitam de outros quadros para codificação. No esquema mostrado na Figura 5 é indicado por meio de setas quais quadros são usados na codificação e compressão de outros quadros. Nestes esquemas, quadros I0/PQ são usados na codificação/compressão de quadros Bb quadros Bi são usados na codificação/compressão de quadros B2 e quadros B2 são usados na codificação/compressão de quadros B3. Então, há uma hierarquia, em que os níveis mais baixos de hierarquia são os quadros B3. Os quadros B3 necessitam que quadros de hierarquia de nível mais alto (I0/P0, Bb B2) sejam codificados (ou sejam decodificados na extremidade do receptor) mas eles próprios não necessitam codificar ou decodificar quadros de hierarquia de nível mais alto.

Quando o esquema de intercalamento da Figura 4 é combinado com o esquema de dependência da Figura 5, toma-se aparente que os quadros de uma das vistas (seja vista esquerda ou direita) corresponde aos quadros do nível B3 de hierarquia, e os quadros das outras vistas ao nível mais alto de hierarquia. A vista não necessita de quadros da outra vista para ser decodificada e é então um sinal autocontido. Na Figura 5, isto corresponde ao fato de que as setas não vão de um quadro B3 para qualquer quadro B2, Bi ou Io/Po. Os quadros para a outra vista (B3) não formam um sinal autocontido, citada vista necessita de informação da vista autocontida para ser decodificada. Os quadros B3 podem ser independentes.

Intercalando os quadros da vista esquerda e direita e então comprimindo-os com um esquema de compressão que provê um sinal autocontido para uma das vistas e então dividindo o sinal novamente em um fluxo de bits primário (contendo o sinal autocontido) e um fluxo de bits secundário (contendo o sinal não autocontido) uma redução de taxa de bit é obtida enquanto ainda provê um sinal de compatibilidade reversa 2D plenamente operacional. O divisor de fluxo de bits cria o fluxo primário (OxlB) concatenando todas as Unidades de Acesso (uma Unidade de Acesso compreende os dados para pelo menos um quadro) da primeira vista em um fluxo primário, e cria um fluxo secundário concatenando todas as Unidades de Acesso (AU) da segunda vista no fluxo de bits secundário. O multiplexador então designa um código diferente ao fluxo primário e secundário.

Figura 6 ilustra um diagrama típico para um divisor de fluxo de bit. Isto provê um mecanismo de divisão de fluxo de bits compatível com um esquema de codificação AVC (Codificação de Vídeo Avançado). Em um esquema de codificação AVC pode ser dada uma mensagem SEI. Uma mensagem de “Informação de Vídeo Estéreo” SEI contém informação sobre o intercalamento efetuado, de tal modo que um decodificador estéreo no lado da recepção é capaz de distinguir uma vista da outra e efetuar desintercalamento.

Nesta realização da invenção, a mensagem SEI é usada dentro do sistema de codificação.

Uma unidade de acesso é obtida na etapa 60.

Em uma primeira etapa 61, é verificado se a unidade de acesso atual compreende uma mensagem SEI.

Se uma unidade de acesso não contém uma mensagem SEI, neste exemplo particular a informação sobre o conjunto de quadros ao qual a unidade de acesso pertence, é deduzida de informação recebida prévia. Por exemplo, se a informação recebida prévia foi: “se uma unidade de acesso pertence ao conjunto A, a próxima pertence ao conjunto B”, não é necessário prover cada unidade de acesso da informação SEI.

Se a unidade de acesso cotem uma mensagem SEI, a validade da mensagem SEI é verificada com relação a uma mensagem SEI prévia na etapa 62.

A mensagem SEI dá informação sobre intercalamento que usualmente é uma seqüência conhecida. Se a mensagem SEI é inválida, há um erro 63.

Se a mensagem SEI é válida, a próxima etapa 64 é obtida.

Para cada unidade de acesso, a informação de intercalamento relevante não está disponível, seja por meio do fato de que não havia mensagem SEI, em cujo caso não houve mudança na mensagem SEI com respeito a uma unidade de acesso prévia, ou a unidade de acesso tem uma mensagem SEI válida.

Na próxima etapa 64, é verificado se a Unidade de Acesso faz parte da vista primária, caso afirmativo esta é anexada na etapa 65 ao fluxo de bits da vista primária; caso negativo, é anexada ao fluxo de bits do vídeo da vista secundária na etapa 66. É óbvio que esta seqüência poderia ser reversa.

Uma vez que uma unidade de acesso é distribuída com e anexada ao fluxo de bits primário ou secundário, a próxima unidade de acesso é obtida na etapa 67 e o processo é repetido. E lembrado que a Figura 6 é uma realização típica de um divisor. De vários modos, o sinal codificado pode ser dividido. A informação sobre divisão podería ser implícita, por exemplo, se uma seqüência fixa é usada para codificação, ou explícita, por exemplo, usando mensagens SEI de códigos NAL ou uma mistura destes. As várias abreviações na unidade de acesso 0 e 8, embora não de relevância para a presente invenção, exceto a abreviação SEI representam: - SPS: Conjunto de Parâmetros de Seqüência - PPS: Conjunto de Parâmetros de Imagem - IDR: Reinicio de Decodificador Instantâneo - Slice: Grupo de MB (macro bloco 16*16 pixels) - SEI: Informação de Reforço Suplementar

Figura 7 ilustra um exemplo de um único fluxo de bits codificado e sua versão dividida. Deve ser notado que as unidades de acesso 0 e 8 que compreendem a informação de vídeo são feitas como parte do fluxo de bits primário. Todas as unidades de acesso para o fluxo de bits primário (AU8, AUO, AU4, AU2, AU6) possuem uma mensagem SEI correspondente a um dos fluxos, o sinal autocontido, as outras unidades de acesso possuem uma mensagem SEI pertencendo ao fluxo de bits secundário.

Os dois fluxo de bits são mantidos síncronos no nível de sistemas, por exemplo, graças a marcações DTS (Marcação de Tempo de Decodificação) em um fluxo de transporte MPEG-2 (aplicação de radiodifusão) ou em um formato de arquivo MPEG-4 (aplicações de armazenagem de arquivo). Um elemento de sintaxe no nível de sistemas pode ser usado para indicar que o fluxo de bits secundário é dependente o fluxo de bits primário.

É lembrado que o fluxo secundário não é mais um fluxo válido por si próprio. Freqüentemente isto não será um problema. O problema ocorreria se fossem inseridos quadros vazios no fluxo secundário, o que aumentaria muito a taxa de bit. Antes do processo de fusão, estes quadros vazios terão que ser removidos primeiramente.

Nas realizações, modificações regulares do sinal primário e secundário podem ser feitas. No método, as duas vistas não são tratadas igualmente; a primeira vista é uma vista autocontida, ao passo que a segunda vista é derivada da primeira. Isto poderia conduzir a uma pequena diferença de qualidade entre a vista esquerda e direita, o que pode, no tempo, conduzir a um comportamento ligeiramente diferente do olho esquerdo e direito recebendo as imagens. Modificando regularmente a vista primária da esquerda para a direita, por exemplo, em mudanças de cena, isto pode ser evitado.

Nas realizações, o fator de quantização da compressão pode diferir para os fluxos de bits primário e secundário, no exemplo 3D as visualizações primária e secundária. Especialmente, quando há mais vistas secundárias, como será explicado abaixo, pode ser útil designar mais largura de faixa à vista primária do que à vista secundária.

Figuras 8 a 10 ilustram esquematicamente a técnica anterior e a invenção. Na técnica anterior, ver Figura 8, um codificador de vídeo, neste exemplo o codificador de vídeo AVC (Codificação de Vídeo Avançado) Venc codifica um sinal de dados de vídeo, um codificador de áudio codifica um sinal de áudio. O multiplexador MUX gera um sinal multiplexado em que o fluxo de bits de vídeo obtém um código, por exemplo, OxlB e o fluxo de bits de áudio um código 0x03. O desmultiplexador 2D desmultiplexa extratos a partir do sinal multiplexado dos dois fluxos de bits que compõem, e envia o fluxo de bits de vídeo a um decodificador de vídeo e o fluxo de bits de áudio a um decodificador de áudio. O decodificador de vídeo então obtém a totalidade do fluxo de bits de vídeo que pode processar ou não.

Figura 9 ilustra a situação em que é feito uso do método de codificação e sistema de codificação da invenção no lado de codificação, o um dispositivo de vídeo padrão no lado da decodificação.

Após a codificação, o divisor de vídeo do fluxo codificado em um fluxo primário prim e um fluxo secundário see. O multiplexador mux gera um sinal multiplexado compreendendo um fluxo de bits OxlB para a vista primária, e um fluxo de bits separado 0x20 para a vista secundária e, como no caso da Figura 8, um fluxo de bits de áudio 0x03.

O dispositivo padrão compreende um desmultiplexador que extrai do sinal multiplexado o fluxo de bits primário OxlB, uma vez que este reconhece este fluxo de bits por seu código; este rejeita o fluxo de bits 0x20. O decodificador de vídeo recebe o fluxo de bits primário 1B uma vez que este é um fluxo de bits autocontido com uma taxa de bit “normal”, o decodificador de vídeo é capaz de decodificar o fluxo de bits sem grandes dificuldades. Então, o método e sistema de codificação é de compatibilidade reversa. Figura 10 ilustra uma situação em que é feito uso de um sistema de decodificação de acordo com a invenção.

No lado do decodificador, o decodificador compreende um desmultiplexador 3D, demux 3D. O desmultiplexador envia o fluxo de bits de áudio 0x03 a um decodificador de áudio, extrai os dois fluxos de bits de vídeo OxlB (o fluxo de bits primário) e 0x02 (o fluxo de bits secundário) do sinal multiplexado e envia os dois fluxos de vídeo a suas respectivas entradas em um Agente de fusão de Fluxo de Bits (BSM) que funde novamente o fluxo primário e secundário. O fluxo de vídeo fundido é enviado a um decodificador que decodifica o fluxo de bits fundido usando um método de codificação reversa provendo um sinal de dados de vídeo 3D.

Então, um sistema de decodificação de vídeo 3D especializado é capaz de decodificar um sinal de dados de vídeo 3D, enquanto ainda um sistema de decodificação de vídeo 2D padrão é também capaz de prover uma imagem de alta qualidade.

Nos exemplos dados acima, o sinal de dados de vídeo reforçado foi um sinal 3D compreendendo vistas, uma vista esquerda e uma vista direita.

A invenção não está restrita a esta situação, embora seja altamente adequada para esta situação.

A invenção é também útil quando, ao invés de duas vistas, um sinal de multivisualizações é gerado.

Figura 11 ilustra uma situação na qual há três sinais de visualização intercalados, uma primeira vista central para a qual o fluxo de bits é autocontido, comparável ao fluxo de bits da vista L autocontido na Figura 5, e dois fluxos de bits de vista secundária B3 e B3’, cada um dos quais é codificado e comprimido na dependência dos dados de visualização centrais.

Neste exemplo, há três vistas, uma vista primária, por exemplo, uma vista central, e um número de vistas secundárias, por exemplo, uma vista esquerda e direita. Para a vista central, o fluxo de bits autocontido é gerado. Para as duas vistas secundárias, por exemplo, uma vista esquerda e direita, secundária, não autocontida, são gerados fluxos de bits.

Nesta realização, pode ser útil usar, na compressão, um fator de quantização diferente para os quadros da vista central do que para os quadros da vista secundária, especialmente se há muitas visualizações secundárias.

Esta realização é útil para geração do sinal de multivisualizações usando um codificador MVC (Codificação de MultiVisualização). No exemplo da Figura 11, três vistas, uma única primária e duas vistas secundárias são geradas. Mais de duas vistas secundárias podem ser geradas, dependendo da multiplicidade de vistas sendo geradas. Em realizações complexas, mais de uma vista primária e mais vistas secundárias podem ser geradas. Uma realização adicional da invenção é exemplificada na Figura 12.

Uma outra categoria de sinais de dados de vídeo reforçados é uma na qual um sinal de freqüência mais alta (por exemplo, 100 Hz) deve ser gerado. O problema descrito acima para sinais estéreo se reproduz também tal sinal de dados de vídeo. A maioria dos dispositivos de exibição de vídeo opera em freqüências padrão e os decodificadores são projetados para tais freqüências.

Figura 12 ilustra um sinal que é produzido por uma câmera de alta velocidade CAM de 100 Hz e compreende um grande número de quadros a uma taxa de quadro de 100 Hz. Tal sinal não é adequado para exibição em sistemas de TV padrão de 50 Hz. Este pode ser considerado como compreendendo uma distribuição de quadro normal e uma distribuição de quadro de alta velocidade.

Em um decodificador de vídeo especializado, os quadros podem ser comprimidos em um esquema muito similar ao esquema mostrado na Figura 5. Isto é mostrado na Figura 13.0 sinal originado da câmera de alta velocidade pode ser visto como provendo um sinal de dois conjuntos de quadros intercalados (a saber de numeração ímpar e par) e estes dois são comprimidos em que os quadros de numeração par são comprimidos para formar um conjunto de quadros autocontido na freqüência de 50 Hz, os quadros de numeração ímpar são comprimidos na dependência do conjunto de quadros de numeração par. Este exemplo é até então diferente do exemplo prévio em que o intercalamento dos quadros ajustados é inerente no sinal que é provido ao codificador. Entretanto, os princípios de amostragem se aplicam. Os quadros pares formarão o fluxo de bits primário, os quadros ímpares o fluxo de bits secundário ou vice-versa. Naturalmente, quando um sinal de freqüência ainda mais alta é provido por exemplo, porque é usada uma câmera de 200 Hz, o número de conjuntos poderia ser tomado quatro, em que um único fluxo de bits primário de 50 Hz é gerado e três fluxos de bits secundários.

Figuras 14A e 14B mostram esquemas de codificação e decodificação para a realização mostrada esquematicamente nas Figuras 12 e 13. Estes esquemas são similares em grande parte aos esquemas das Figuras 3A e 3B. Na Figura 14A, é indicado esquematicamente uma situação em que um decodificador especializado é usado. Uma câmera de 50 Hz CAM 100 Hz provê um sinal conforme mostrado esquematicamente na Figura 12, em um codificador SVC (Codificação de Vídeo Escalável), um esquema de codificação conforme mostrado esquematicamente na Figura 13 é efetuado. A câmera então provê um sinal intercalado (a saber quadros pares e ímpares com 100 Hz), que é recebido pelo sistema de codificação 7, o sistema de codificação 7 compreendendo um codificador para comprimir um dos conjuntos compreendidos no sinal intercalado provido pela câmera de 100 Hz em um conjunto autocontido de quadros comprimidos. No divisor BSS os quadros são anexados a um fluxo de bits primário OxlB ou um fluxo de bits secundário 0x20 e no multiplexador os dois fluxos de bits recebem códigos diferentes. O reverso é feito no lado do decodificador 8. STB representa Conversor Set-top Box. O sinal decodificado final é fornecido a uma TV de 100 Hz. Um dispositivo de exibição de acordo com esta realização da invenção compreende o sistema de decodificação 8 e uma TV de 100 Hz. Um dispositivo de gravação de acordo com esta realização da invenção compreende o codificador 7 e uma câmera.

Figura 14B ilustra a situação quando uma TV de 50 Hz quando um sistema de decodificação convencional correspondente é usado. O desmultiplexador padrão reconhecerá e aceitará o fluxo de bits primário e o enviará à TV de 50 Hz. Este fluxo de bits é autocontido e tem o formato e freqüência próprios e proverá uma qualidade de imagem adequada na TV de 50 Hz. O fluxo de bits secundário é rejeitado e não interfere com a operação normal do sistema de TV de 50 Hz.

Na realização acima, o fluxo SVC é dividido ao longo da freqüência (eixo do tempo). SVC também permite dividir quadros ao longo da resolução e/ou do eixo de quantização (SNR, CGS (escalabilidade de Granulação não refinado), FGS (escalabilidade de Granulação fina)) e/ou eixo de amostragem de cor (4:4:4, 4:0:0, 4:2:2). Em tais realizações, o problema descrito acima, isto é, o fato de que um decodificador de vídeo padrão tem problemas que também ocorrem processando o fluxo de bits de entrada, em outras palavras, ocorre problemas de compatibilidade.

Dentro da estrutura de trabalho da invenção, em seu sentido mais amplo, o fluxo de vídeo é dividido em pelo menos dois fluxos de bits, um fluxo de vídeo primário e secundário (ver Figura 15), em que o fluxo de vídeo primário é autocontido e o fluxo de vídeo secundário necessita o fluxo de vídeo primário para decodificação, e em um multiplexador o fluxo de vídeo primário é provido de um código padrão (OxlB) e o fluxo de vídeo secundário é provido com um código diferente (0x20). O sinal de dados de vídeo pode ser dividido ao longo do eixo de resolução, em que o fluxo de bits primário no sinal multiplexado compreende os dados para uma camada base e o fluxo de bits secundário no sinal multiplexado que é provido de um código diferente, compreende os dados de vídeo para uma camada de reforço ou camadas de reforço.

O código provido ao fluxo primário é um código padrão (por exemplo, OxlB ou 0x01) e é então decidido por qualquer decodificador de vídeo normal padrão não escalável MPEG (para 0x01) ou H.264 (para OxlB) 9, ao passo que um decodificador especializado 8 de acordo com a invenção pode tirar vantagem plena da codificação de escalabilidade. Figuras 16A e 16B provêem uma realização da invenção que pode ser aplicada para fornecer um sinal de dados de vídeo SDTV a uma SDTV (TV de definição padrão) conforme mostrado na Figura 16B e um sinal de dados de vídeo HDTV para uma HDTV (TV de Alta Definição) conforme mostrado na Figura 16A.

A invenção é também realizada em qualquer produto de programa de computador para o método ou dispositivo de acordo com a invenção. Como produto de programa de computador deveria ser entendida qualquer realização física de uma coleção de comandos habilitando um processador genérico ou de finalidade especial, após uma série de etapas de carregamento (o que pode incluir etapas de conversão intermediária, como translação para uma linguagem intermediária, e uma linguagem de processador final) para obter os comandos no processador, para executar qualquer das funções características de uma invenção. Em particular, o produto de programa de computador pode ser realizado como dados em um portador tal como por exemplo, um disco ou fita, dados presentes em uma memória, dados através de uma conexão de rede - com fio ou sem fio - ou código de programa em papel. Além do código de programa, dados característicos requeridos para o programa podem também ser realizados como um produto de programa de computador.

A invenção também se relaciona a dispositivos compreendendo um sistema de codificação de acordo com a invenção, tal como dispositivos de gravação de vídeo 3D ou dispositivos de gravação de vídeo de alta resolução.

A invenção também se relaciona a dispositivos de exibição compreendendo um sistema de decodificação de acordo com a invenção. Tais dispositivos podem, por exemplo, ser dispositivos de exibição de vídeo 3D ou dispositivos de exibição HDTV ou dispositivos de exibição com resolução incrementada.

A invenção adicionalmente relaciona-se a um sinal de dados de vídeo multiplexado compreendendo pelo menos dois sinais de dados de vídeo relacionados com códigos separados (0x01, OxlB, 0x20), em que um primeiro sinal de dados de vídeo (0x01, OxlB) é um sinal de dados de video autocontido e pelo menos um segundo sinal de dados de vídeo (0x20) não é. Usando um desmultiplexador é fácil tratar os dois sinais de dados de vídeo relacionados, porém diferentes, diferentemente, sem ter que usar um decodificador para fazer a distinção. Para dispositivos padrão, tais como dispositivos de exibição de vídeo 2D padrão ou dispositivo SDTV, o primeiro sinal autocontido pode ser enviado ao decodificador, sem sobrecarregar o decodificador com o segundo sinal. Sistema de vídeo especializado pode fazer uso pleno dos dados nos dois sinais de dados de vídeo.

Resumidamente, a invenção pode ser descrita como segue:

Sinais de dados de vídeo são codificados de tal modo que o sinal de dados de vídeo codificado compreende pelo menos um sinal de dados de vídeo primário e pelo menos um sinal de dados de vídeo secundário. Os sinais de dados de vídeo primário e secundário são comprimidos conjuntamente. O sinal de dados de vídeo primário é comprimido de uma maneira autocontida, e o sinal de dados de vídeo secundário é comprimido usando dados do sinal de dados de vídeo primário. O sinal de dados de vídeo comprimido conjuntamente é dividido em fluxos de bits separados, pelo menos um fluxo de bits primário compreendendo dados para o sinal de dados de vídeo primário e pelo menos um fluxo de bits secundário compreendendo dados para o sinal de dados de vídeo secundário, em que posteriormente os fluxos de bits primário e secundário são multiplexados em um sinal multiplexado, e os sinais primário e secundário são providos de códigos separados.

Deveria ser notado que realizações acima mencionadas ilustram ao invés de limitar a invenção, e que aqueles especialistas na técnica serão capazes de projetar muitas realizações alternativas, sem se afastar do escopo das reivindicações anexas.

Nas reivindicações, quaisquer sinais de referência colocados entre parênteses não serão considerados como limitando a reivindicação.

A palavra “compreendendo” não exclui a presença de outros elementos ou etapas além daqueles listados em uma reivindicação. A invenção pode ser implementada por qualquer combinação de características de várias realizações preferidas diferentes conforme descrito acima.

Claims

1. Método para codificar um sinal vídeo, caracterizado por compreender os atos de: codificar um sinal de dados de vídeo, em que o sinal aprimorado codificado compreende sinais de vídeo primário e secundário nos quais incluem uma pluralidade de quadros primário e secundário respectivamente, em que os quadros dos sinais de vídeo primário e secundário são intercalados para formar uma sequência de vídeo intercalada antes da compressão conjunta; usar a sequência de vídeo intercalada, comprimindo em conjunto o sinal de vídeo primário e o sinal de vídeo secundário em um sinal de vídeo compactado em conjunto, em que o sinal de vídeo primário é codificado e compactado de maneira independente e compactado sem o uso de quadros do sinal secundário, e o sinal de vídeo secundário é codificado e compactado usando os quadros da pluralidade primária de quadros; dividir o sinal de vídeo compactado em conjunto em fluxo de bits primário separado compreendendo dados para o sinal de vídeo primário e fluxo de bits secundário compreendendo dados para o sinal de vídeo secundário; multiplexar os fluxos de bits primários e secundários em um sinal de vídeo codificado, em que os fluxos de bits primários e secundários são fluxos de bits separados fornecidos com códigos separados; e emitir os sinais de vídeo primário e secundário com os códigos separados.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fluxo de bits primário compreender dados para quadros de uma da pluralidade de vistas de um sinal de dados de vídeo 3D, e o fluxo de bits secundário compreender dados para quadros de uma diferente vista da pluralidade de vistas do sinal de dados de vídeo 3D.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fluxo de bits primário compreender dados para quadros de uma de três ou mais vistas a partir de diferentes pontos de vista, e mais de um fluxo de bits secundário ser gerado, os fluxos de bits secundários e incluem dados para quadros de outras vistas das três ou mais vistas.

4. Método, de acordo com a reivindicaçãol, caracterizado pelo fluxo de bits primário compreender dados para quadros de baixa frequência, e o fluxo de bits secundário compreender dados quadros de frequência mais alta.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fluxo de bits primário compreender dados para uma camada base, e o fluxo de bits secundário compreender os dados de vídeo para uma camada de reforço.

6. Método, de acordo com a reivindicação 5, caracterizado pelo fluxo de bits primário ser comprimido com um fator de quantização mais baixo do que o fluxo de bits secundário.

7. Método, de acordo com a reivindicação 1, caracterizado pelas pluralidades de quadros primária e secundária serem regularmente intercaladas.

8. Sistema para codificar um sinal de vídeo, caracterizado por compreender: um codificador configurado para codificar o sinal de dados de vídeo, em que o sinal aprimorado codificado compreende sinais de vídeo primário e secundário nos quais incluem uma pluralidade primária e secundária de quadros, respectivamente, em que os quadros dos sinais de vídeo primário e secundário são intercalados para formar uma sequência de vídeo intercalado antes da compressão conjunta; um intercalador configurado para, antes de compactar em conjunto, intercalar as pluralidades primária e secundária de quadros para formar uma sequência de vídeo intercalada; um compressor configurado para compactar em conjunto os sinais de vídeo primário e secundário em um sinal de vídeo compactado em conjunto, o sinal de vídeo primário sendo codificado e compactado de maneira independente e compactado sem o uso de quadros do sinal secundário e o sinal de vídeo secundário sendo codificado e comprimido usando os quadros da pluralidade primária de quadros; um divisor configurado para dividir o sinal de vídeo compactado em conjunto em fluxo de bits primário separado compreendendo dados para o sinal de vídeo primário e fluxo de bits secundário compreendendo dados para o sinal de vídeo secundário; e um multiplexador configurado para multiplexar os fluxos de bits primários e secundários em um sinal de vídeo codificado e fornecer os sinais de vídeo primário e secundário com códigos separados, em que os fluxos de bits primários e secundários são fluxos de bits separados fornecidos com códigos separados.

9. Sistema, de acordo com a reivindicação 8, caracterizado pelas pluralidades intercaladas primária e secundária de quadros compreendem vistas estéreo esquerda e direita, respectivamente.

10. Sistema, de acordo com a reivindicação 9, caracterizado pelo intercalador ser configurado para intercalar quadros de mais de duas vistas.

11. Sistema, de acordo com a reivindicação 8, caracterizado pelas pluralidades primária e secundária de quadros serem recebidas de uma câmera de alta frequência.

12. Sistema, de acordo com a reivindicação 8, caracterizado pelo sistema compreender um dispositivo de gravação.

13. Meio não transitório legível por computador, caracterizado por compreender instruções de computador que, quando executadas por um processador, configuram o processador para executar um método de codificação de sinais de vídeo, o método compreendendo atos de: codificação de um sinal de dados de vídeo, em que o sinal aprimorado codificado compreende sinais de vídeo primário e secundário nos quais incluem uma pluralidade primária e secundária de quadros, respectivamente, em que os quadros dos sinais de vídeo primário e secundário são intercalados para formar uma sequência de vídeo intercalada antes da compressão conjunta; usar a sequência de vídeo intercalada, comprimindo em conjunto o vídeo primário e os sinais de vídeo secundários em um sinal de vídeo compactado em conjunto, o sinal de vídeo primário é codificado e compactado de maneira independente e compactado sem o uso de quadros do sinal secundário e o secundário o sinal de vídeo é codificado e comprimido usando os quadros da pluralidade primária de quadros; dividir o sinal de vídeo compactado em conjunto em fluxo de bits primário separado compreendendo dados para o sinal de vídeo primário e fluxo de bits secundário compreendendo dados para o sinal de vídeo secundário; multiplexar os fluxos de bits primários e secundários em um sinal de vídeo codificado, em que os fluxos de bits primários e secundários são fluxos de bits separados fornecidos com códigos separados; e fornecer os sinais de vídeo primário e secundário com os códigos separados.

14. Método para decodificar sinais de vídeo, o método é caracterizado por compreender os atos de: receber um sinal de vídeo codificado compreendendo sinais de vídeo primário e secundário com códigos separados, os sinais de vídeo primário e secundário nos quais incluem uma pluralidade de quadros primário e secundário, respectivamente, os quadros dos sinais de vídeo primário e secundário foram intercalados para formar uma sequência de vídeo intercalada antes de compactar em conjunto, compactada em conjunto usando a sequência de vídeo intercalada, dividida em fluxo de bits primário e fluxo de bits secundário separados e multiplexados os fluxos de bits primários e secundários fornecidos com códigos separados no vídeo codificado, em que um sinal de vídeo primário é codificado e compactado em um autônomo e o sinal de vídeo secundário é codificado e compactado usando os quadros da pluralidade primária de quadros; desmultiplexar o sinal de vídeo codificado em sinais de vídeo primário e secundário; mesclar os sinais de vídeo primário e secundário em um sinal combinado; e descomprimir o sinal combinado de modo que, na descompressão do sinal de vídeo primário, apenas dados do sinal de vídeo primário são utilizados, e na descompressão do sinal de vídeo secundário, dados do sinal de vídeo primário são utilizados.

15. Método, de acordo com a reivindicação 14, caracterizado pelo sinal combinado incluir uma pluralidade de quadros intercalados e após a descompressão os quadros serem desintercalados para fornecer duas ou mais vistas.

16. Método, de acordo com a reivindicação 15, caracterizado pelos sinais de vídeo primário e secundário formarem uma vista esquerda e uma direita.

17. Método, de acordo com a reivindicação 15, caracterizado pelas vistas esquerda e direita incluírem mais de uma vista de uma imagem com várias vistas.

18. Método, de acordo com a reivindicação 14, caracterizado sinal de vídeo primário compreender dados em uma camada de base e o sinal de vídeo secundário compreende dados em uma camada de aprimoramento.

19. Sistema para decodificar sinais de vídeo, caracterizado por compreender: um receptor configurado para receber um sinal de vídeo codificado compreendendo sinais de vídeo primário e secundário com códigos separados, os sinais de vídeo primário e secundário nos quais incluem uma pluralidade de quadros primário e secundário respectivamente, os quadros dos sinais de vídeo primário e secundário são intercalados para formar uma sequência de vídeo intercalada antes da compactação conjunta, compactada em conjunto usando a sequência de vídeo intercalada, dividir em fluxo de bits primário e fluxo de bits secundário separados e multiplexar os fluxos de bits primários e secundários fornecidos com códigos separados no vídeo codificado, em que um sinal de vídeo primário foi codificado e comprimido de forma independente e o sinal de vídeo secundário foi codificado e comprimido usando os quadros da pluralidade primária de quadros; um desmultiplexador configurado para desmultiplexar o sinal de vídeo codificado nos sinais de vídeo primário e secundário; uma fusão para mesclar os sinais de vídeo primário e secundário em um sinal combinado; e um decodificador configurado para decodificar e descomprimir o sinal combinado, de modo que na descompressão do sinal de vídeo primário apenas dados do sinal de vídeo primário são utilizados e na descompressão do sinal de vídeo secundário, dados do sinal de vídeo primário são utilizados.

20. Sistema, de acordo com a reivindicação 19, caracterizado pelo sinal combinado formar uma pluralidade de quadros intercalados e o sistema compreender ainda um desintercalador configurado para desintercalar após decodificação e descompressão, a pluralidade de quadros intercalados para fornecer duas ou mais vistas.

21. Sistema, de acordo com a reivindicação 19, caracterizado por compreender ainda um dispositivo de exibição.

22. Meio não transitório legível por computador, caracterizado por compreender instruções de computador que, quando executadas por um processador, configuram o processador para executar um método de decodificação de sinais de vídeo, o método compreendendo atos de: receber um sinal de vídeo codificado compreendendo sinais de vídeo primário e secundário com códigos separados, os sinais de vídeo primário e secundário nos quais incluem uma pluralidade de quadros primário e secundário, respectivamente, os quadros dos sinais de vídeo primário e secundário são 5 intercalados para formar uma sequência vídeo intercalada antes de compactar em conjunto, compactada em conjunto usando a sequência de vídeo intercalada, dividida em fluxo de bits primário e fluxo de bits secundário separados e multiplexados os fluxos de bits primários e secundários fornecidos com códigos separados no vídeo codificado, em que um sinal de vídeo primário é codificado e 10 compactado em um autônomo e o sinal de vídeo secundário é codificado e compactado usando os quadros da pluralidade primária de quadros; desmultiplexar o sinal de vídeo codificado em sinais de vídeo primário e secundário; mesclar os sinais de vídeo primário e secundário em um sinal 15 combinado; e descomprimir o sinal combinado de modo que, na descompressão do sinal de vídeo primário, apenas dados do sinal de vídeo independente sejam usados e na descompressão do sinal de vídeo secundário, dados do sinal de vídeo primário sejam usados.