BRPI0706214A2 - método de codificação e decodificação de vìdeo, aparelhos para os mesmos, programas para os mesmos e meios de armazenamento para armazenar os programas - Google Patents

Abstract

MéTODO DE CODIFICAçãO E DECODIFICAçãO DE VìDEO, APARELHOS PARA OS MESMOS, PROGRAMAS PARA OS MESMOS E MEIOS DE ARMAZENAMENTO PARA ARMAZENAR OS PROGRAMAS. A presente invenção refere-se ao uso de compensação paralaxe que realiza previsão pelo uso de paralaxe entre as imagens de vídeo, as imagens de vídeo são codificadas como uma imagem de vídeo única. é ajustada paralaxe de referência para uma imagem-alvo a ser codificada, em que a paralaxe de referência é estimada usando uma imagem de referência; é ajustada divisão de área em uma estrutura de imagem; é ajustado o deslocamento paralaxe para cada área dividida, em que o deslocamento paralaxe é a diferença entre a paralaxe de diferença e a paralaxe para a compensação paralaxe; são codificados os dados de divisão de área; e são codificados os dados para indicar o deslocamento paralaxe. Durante a decodificação, é ajustada a paralaxe de referência para uma imagem-alvo a ser decodificada, em que é estimada usando uma imagem de referência; são decodificados dados para indicar divisão de área, que estão incluídos em dados codificados; e são decodificados os dados de deslocamento paralaxe, que estão incluídos nos dados codificados, para cada área indicada pelos dados de divisão de área.

Description

Relatório Descritivo da Patente de Invenção para "MÉTODO DECODIFICAÇÃO E DECODIFICAÇÃO DE VÍDEO, APARELHOS PARA OSMESMOS, PROGRAMAS PARA OS MESMOS E MEIOS DE ARMAZENA-MENTO PARA ARMAZENAR OS PROGRAMAS".

Campo da Técnica

A presente invenção refere-se a técnicas para codificação e de-codificação de imagens de vídeo de múltiplos pontos de vista.

É reivindicada a prioridade do Pedido de Patente N- JP 2006-000393, depositado em Ό5 de janeiro de 2006, cuja descrição encontra-seincorporada ao presente à guisa de referência.

Antecedentes da Técnica

As imagens de vídeo de múltiplos pontos de vista são imagensde vídeo obtidas pela fotografia do objeto e fundo das mesmas usando umapluralidade de câmeras em diferentes posições. Abaixo, uma imagem devídeo obtida por uma única câmera é chamada uma "imagem de vídeo bidi-mensional", e um conjunto de imagens de vídeo bidimensionais obtido pelafotografia do mesmo objeto e antecedente do mesmo é chamado uma "ima-gem de vídeo de múltiplos pontos de vista". Há uma forte correlação entre asimagens de vídeo bidimensionais (de câmeras diferentes) incluídas na ima-gem de vídeo de múltiplos pontos de vista. Se as câmeras estiverem sincro-nizadas umas com as outras, as estruturas (das câmeras) correspondentesao mesmo tempo tiverem capturado o objeto e o fundo do mesmo totalmenteno mesmo estado, de maneira que haja uma forte correlação entre as câmeras.

Primeiro, serão apresentadas as técnicas convencionais relati-vas à codificação de imagens de vídeo bidimensionais. Em muitos métodosconhecidos de codificação de imagens de vídeo bidimensionais, como, porexemplo, H.264, MPEG-4, MPEG-2 (que são padrões de codificação inter-nacionais), e similares, é realizada a codificação altamente eficiente pormeio de compensação de movimento, transformação ortogonal, quantização,codificação de extensão variável ou similar.

Por exemplo, em H.264, cada estrutura I pode ser codificada pormeio de correlação intra-estrutura; cada estrutura P pode ser codificada pormeio de correlação intra-estrutura juntamente com uma pluralidade de estru-turas anteriores; cada estrutura B pode ser codificada por meio de correla-ção intra-estrutural juntamente com uma pluralidade de estruturas anterioresou futuras estruturas.inter-estrutura

Apesar do documento de não-patente I descrever as técnicasH.264 em detalhe, o perfil do mesmo será descrito baixo. Em cada estruturaI, a estrutura é dividida em blocos (chamados "macro-blocos", o tamanho decada bloco é de 16x16 (pixels)), e é realizada a previsão de estrutura (intra-previsão) em cada macro-bloco. Na intraprevisão, cada macro-bloco é tam-bém dividido em blocos menores (denominados "sub-blocos", abaixo), e po-de ser aplicado um método de intracodificação individual em cada sub-bloco.

Em cada estrutura P, pode ser realizada intraprevisão ou "inter-prediction" (previsão inter-estrutura) em cada macro-bloco. A intraprevisãoaplicada em uma estrutura P é similar àquela aplicada a estrutura I. Na "in-ter-prediction", é realizada a compensação de movimento. Ainda na com-pensação de movimento, cada macro-bloco é dividido em blocos menores, ecada sub-bloco pode ser dotado de um vetor de movimento individual e deuma imagem de referência individual.

Ainda na estrutura B1 pode ser realiza a intraprevisão ou "inter-prediction". Na "inter-prediction" da estrutura B, além de uma estrutura ante-rior, uma estrutura futura pode ser referida como uma imagem de referênciaem compensação de movimento. Por exemplo, ao codificar uma seqüênciade estrutura de "l->B->B->P", as estruturas podem ser codificadas na ordem"|-»p->B->B". Ainda, em cada estrutura B, a compensação do movimentopode ser realizada por referência a uma estrutura I ou P. Adicionalmente, domesmo modo que a estrutura P, cada sub-bloco (obtido pela divisão de ummacro-bloco) pode ser dotado de um vetor de movimento individual subblocos

Ao realizar uma inter- ou intraprevisão, é obtido um resíduo deprevisão. Em cada macro-bloco, um bloco de resíduo de previsão é sujeitadoa DCT (transformar cosseno discreto), de maneira a realizar a quantização.Os valores quantizados obtidos de coeficientes DCT são então sujeitados acodificação de extensão variável.

É conhecido um método para codificar imagens de vídeo de múl-tiplos pontos de vista, as imagens de vídeo de múltiplos pontos de vista sãocodificadas com alta eficiência por meio de "compensação paralaxe" na qualé aplicada a compensação de movimento em imagens obtidas por câmerasdiferentes ao mesmo tempo. Aqui "paralaxe" é a diferença entre as posições,para as quais é projetado o mesmo ponto em um objeto, em um plano deimagem ou câmeras que estejam dispostas em posições diferentes.

A Figura 9 é uma vista esquemática ilustrando o conceito de pa-ralaxe gerado entre tais câmeras. Na vista esquemática, um plano de ima-gem de câmeras, cujos eixos geométricos ópticos são paralelos um ao outro,é bloqueado para baixo verticalmente. Geralmente, tais pontos, para osquais é projetado o mesmo ponto em um objeto, em um plano de imagem decâmeras diferentes, são chamados "pontos correspondentes". Um paralaxepode ser representado como uma diferença posicionai no plano de imagemrelevante, o mesmo pode ser representado como dados de vetor bidimensional.

Na compensação paralaxe, o ponto correspondente em uma i-magem de uma câmera de referência, que corresponde a um pixel-alvo em-uma imagem de uma câmera-alvo para a codificação relevante, é estimadousando uma imagem de referência, e o valor do pixel do pixel-alvo é previstopelo uso de um valor de pixel atribuído ao ponto correspondente. Abaixo, tal"paralaxe estimado" é também chamado "paralaxe" para conveniência daexplanação.

O documento de não-patente 2 descreve um método de codifi-cação usando compensação paralaxe, e em tal método, dados paralaxe ecada resíduo de previsão são codificados com relação ao pixels de uma i-magem-alvo a ser codificada. Especificamente, no método relevante, a com-pensação paralaxe é realizada para cada bloco como uma unidade, onde talparalaxe para cada bloco de unidade é representada usando um vetor bidi-mensional. A Figura 10 é uma vista esquemática usando um vetor paralaxe.Isto é, nesse método os dados paralaxe são codificados como vetor bidi-mensional e o residual de previsão relevante. Como esse método não usaparâmetros de câmera na codificação, é eficaz quando os parâmetros decâmera são desconhecidos.

Além disso, quando há uma pluralidade de imagens de referên-cia obtidas por câmeras diferentes, a compensação paralaxe pode ser reali-zada usando uma técnica de imagem de ponto de vista arbitrário. O docu-mento de não-patente 3 descreve a compensação paralaxe usando umatécnica de imagem de ponto de vista arbitrário. Especificamente, cada valorde pixel de uma imagem obtida por uma câmera-alvo para a codificação re-levante é previsto por meio de interpolação usando os valores de pixel dospontos correspondentes (pertencentes a câmeras diferentes) que corres-pondam ao pixel relevante. A Figura 11 é uma vista esquemática usando talinterpolação. "Na interpolação, o valor de pixel m em uma imagem-alvo a sercodificada é previsto pela formação de interpolação entre m' e m" das ima-gens de referência 1 e 2, onde os pixels m1 e m" correspondem ao pixel m.

Quando há duas ou mais imagens dé referência obtidas por câ-meras diferentes (conforme descrito no Documento de Patente 3), a parala-xe de cada pixel de uma imagem-alvo (a ser codificada) para cada imagemde referência pode ser estimada sem o uso de imagemrdlvo. A Figura 12 éuma vista esquemática para ilustrar o conceito de tal estimativa de paralaxe.

Conforme ilustrado na Figura 12, na verdadeira paralaxe, os va-lores de pixel dos pontos correspondentes entre as imagens de referênciarelevante devem ser quase idênticas umas as outras. Portanto, em muitosmétodos de estimativa de paralaxe, com relação a cada das várias profundi-dades, os valores de pixel dos pontos correspondentes entre as imagens dereferência são comparados uns aos outros, e a paralaxe pode ser estimadacom base na profundidade que conduz os valores de pixel mais próximos.Tal processo pode ser aplicado a cada pixel de uma imagem-alvo a ser codi-ficada.

Conforme acima descrito, quando há duas ou mais imagens dereferência obtidas por câmeras diferentes, e é possível a estimativa de para-Iaxe na face de decodificação, então a compensação paralaxe pode ser rea-lizada no lado de decodificação usando dados paralaxe para cada pixel, semprover dados paralaxe, que são explicitamente codificados no lado de codifi-cação, para o lado de decodificação.

Documento de não-patente 1: ITU-T Rec.H.264H.264/ISSO/IEC11496-10, "Codificação de Vídeo Avançada", Minuta Final de Comitê, Do-cumento JVT-E022, setembro de 2002.

Documento de não-patente 2: Hediaki Kimata e Masaki Kitahara,"Resultados Preliminares em codificação de vider de múltiplas vistas(3DAV)", Reunião de Redmond documento M10976 MPEG, julho de 2004.

Documento de não-patente 3: Masayuki Tanimoto1 Toshiaki Fujii,"Resposta ao Chamado para Evidencia em Codificação de Vídeo de Múlti-plas Vistas", documento Mxxxxx Reunião de Hong Kong, janeiro de 2005.

Nas técnicas convencionais, quando há duas ou mais imagensde referência obtidas por câmeras diferentes, e estimativa paralaxe é possí-vel no lado de decodificação, então a compensação paralaxe pode ser reali-zada na face de decodificação pelo uso de dados paralaxe para cada pixel,sem proporcionar dados paralaxe, que estão explicitamente codificados nolado de codificação, para o lado de decodificação. Tal paralaxe com relaçãoa uma imagem-alvo a ser codificada fiUddecodifiçada, que pode ser estimadano lado de codificação ou decodificação sem o uso de imagem-alvo (para adecodificação, sem decodificar a imagem relevante), é chamada "paralaxede referência".

Contudo, a paralaxe de referência, que é estimada no lado dedecodificação, é uma ótima em razão da eficiência da previsão, e a quanti-dade do código atribuído à previsão relevante residual pode ser aumentada.Quando a paralaxe para maximizar a eficiência da previsão é computada nolado de codificação, e a diferença (chamada abaixo "deslocamento parala-xe") entre a paralaxe computada e a paralaxe de referência é codificada pa-ra cada pixel, pode ser aperfeiçoada a eficiência da previsão, aperfeiçoandopor meio disso a eficiência da previsão com relação à resíduo de previsão.

Contudo, em tal técnica que pode ser facilmente antecipada, àmedida que o deslocamento paralaxe é codificado para cada pixel, aumentaa quantidade de código para os dados paralaxe, de maneira que a eficiênciada codificação não pode ser alta.

Descrição da Invenção

Para solucionar o problema acima, é um objetivo da presenteinvenção diminuir a quantidade do código de dados paralaxe sem fazer sa-crificar consideravelmente a precisão da compensação paralaxe.

A característica mais evidente da presente invenção em compa-ração com as técnicas convencionais é que a fim de solucionar os proble-mas acima descritos, são realizados um processo de determinação de divi-são de bloco e um processo de codificação dos dados de divisão de blocodeterminados e dados de deslocamento paralaxe para cada bloco, e taisdados são lidados como dados codificados.

Em um primeiro modo da codificação de vídeo e métodos dedecodificação da presente invenção, com base na divisão de área, que éajustada de acordo com a característica de uma imagem-alvo a ser codifica-da, podem ser codificados os dados de deslocamento paralaxe para cadaárea dividida.

Geralmente, o deslocamento paralaxe é dotado de correlaçãoespacial em uma^estrutura de imagem. Portanto, quando é ajustada a divi-são de área ajustada, e é codificado o deslocamento paralaxe para cadaárea dividida, então a quantidade de dados paralaxe pode ser reduzida semdegradar a eficiência de previsão de compensação paralaxe.

No lado de codificação de vídeo, em uma etapa de ajuste de re-ferência paralaxe, pode ser codificada a paralaxe para uma imagem-alvo aser codificada (isto é, paralaxe de referência) é ajustada usando os dados jácodificados (isto é, imagem de referência), e em uma etapa de ajuste de di-visão de área, é ajustada a divisão de área em uma estrutura da imagem-alvo. Em uma etapa de ajuste de deslocamento paralaxe, o deslocamentoparalaxe é ajustado para cada área dividida na divisão de área. Adicional-mente, em uma etapa de codificação de dados de divisão de dados, são co-dificados os dados de divisão de área para indicar a divisão de área, e emuma etapa de codificação de dados de deslocamento paralaxe, são codifica-dos os dados de deslocamento paralaxe.

Como a paralaxe de referência ajustada na etapa de ajuste daparalaxe de referência, (1) a paralaxe estimada usando imagens de referên-cia no princípio conforme ilustrado na Figura 12 (referir a um terceiro modocomo explicado posteriormente); (ii) paralaxe com base em uma imagemparalaxe ou um modelo tridimensional, que é codificado por outro dispositivode maneira a, por exemplo, gerar uma imagem de ponto de vista arbitrário, eenviar para o lado de decodificação; ou (iii) paralaxe provida por outro método.

No lado de decodificação, em uma etapa de ajuste de paralaxede referência, similar ao lado de codificação, a paralaxe de referência parauma imagem-alvo a ser decodificada é ajustada usando dados já decodifica-dos (isto é, imagem de referência). Em uma etapa de decodificação de da-dos de divisão de área, são decodificados os dados de divisão de área, e emuma etapa de decodificação de dados de deslocamento paralaxe, são deco-dificados os deslocamento paralaxe para cada área de acordo com os dadosde divisão de área.

Um segundo modo de métodos de codificação e decodificaçãod^MÍdeo da presente invenção é basicamente similar ao primeiro modo aci-ma descrito. Contudo, no segundo modo, é formada uma divisão de área demaneira a gerar blocos retangulares. Especificamente, a divisão de blocoretangular (referir à Figura 10 explicada posteriormente) é definida para cadamacro-bloco. Os dados para tal divisão de bloco podem ser eficientementecodificados pelo uso de técnica de codificação de entropia conhecida (porexemplo, codificação de entropia em H.264).

Um terceiro modo de métodos de codificação e decodificação devídeo da presente invenção é basicamente similar aos primeiro e segundomodos acima descritos. Contudo, no terceiro modo, é usada a paralaxe dereferência, que é estimada por uma pluralidade de imagens de referênciasem usar uma imagem-alvo a ser codificada (isto é, de acordo com o princí-pio acima descrito conforme ilustrado pela Figura 12). Quando a paralaxe dereferência é estimada usando imagens de referência conforme explicadoacima, pode ser estimada pelo uso apenas de dados que já tenham sido en-viados para o lado de decodificação. Portanto, é possível não gerar dadosadicionais a serem codificados, de maneira a estimar a paralaxe de referência.

De acordo com a presente invenção, nos métodos de codifica-ção e decodificação de vídeo para estimar paralaxe pelo uso de imagens dereferência, é usada a correlação espacial dos dados de deslocamento para-laxe, de maneira que a quantidade de código de deslocamento paralaxepossa ser reduzida sem degradar a eficiência de previsão na compensaçãoparalaxe, por meio disso aperfeiçoando a eficiência de codificação total.

Breve Descrição dos Desenhos

A Figura 1 é um diagrama ilustrando um aparelho de codificaçãode vídeo como uma modalidade da presente invenção.

A Figura 2 é um diagrama ilustrando a relação entre câmeras namodalidade.

A Figura 3 é um diagrama ilustrando a disposição das câmerasna modalidade.

A Figura 4 é um fluxograma de codificação na modalidade.

A Figura 5 é um fluxograma detalhado da etapa S106*rra Figura 4.

A Figura 6 é um diagrama ilustrando exemplos de divisão debloco em cada macro-bloco.

A Figura 7 é um diagrama ilustrando um aparelho de codificaçãode vídeo na modalidade.

A Figura 8 é um diagrama de decodificação na modalidade.

A figura 9 é uma vista esquemática ilustrando o conceito de pa-ralaxe gerada entre as câmeras.

A Figura 10 é uma vista esquemática ilustrando um vetor paralaxe.

A Figura 11 é uma vista esquemática ilustrando interpolação devalor de pixel.A Figura 12 é uma vista esquemática ilustrando o conceito deestimativa paralaxe.

Melhores Modos para Realizar a Invenção

A Figura 1 é um diagrama ilustrando a estrutura de um aparelhode codificação de vídeo como uma modalidade da presente invenção.

O aparelho de codificação de vídeo 100 inclui uma parte de en-trada de imagem 101 na qual é entrada cada imagem original da câmera C(isto é, imagem-alvò a ser codificada), uma parte de entrada de imagem dereferência 102 na qual são entradas as imagens decodificadas (como ima-gens de referência) das câmeras AeB; uma memória de imagem de refe-rência 103 para armazenar cada imagem de referência; uma parte de ajustede paralaxe de referência 104 para obter paralaxe de referência pelo uso deimagens de referência; uma parte de ajuste de deslocamento paralaxe 105para obter deslocamento paralaxe; uma parte de ajuste de divisão de bloco106 para ajustar um estado de divisão de bloco, uma parte de codificação dedados de divisão de bloco 106 para codificar dados de divisão de bloco decodificação; uma parte de codificação de dados de deslocamento paralaxe108 para codificar dados de deslocamento paralaxe; e uma parte de previ-são de codificação residual 109 para codificar o previsão relevante residual.

A Figura 2 é um diagrama ilustrando^lação de referência entreas câmeras na presente modalidade. Conforme ilustrado na Figura 2, napresente modalidade para codificar imagens de vídeo de múltiplos pontos devista obtidas por três câmeras, as imagens de vídeo da câmera C são codifi-cados usando imagens de decodificação das câmeras AeB, como imagensde referência.

As setas na Figura 2 representam as relações de referência emcompensação paralaxe. A fim de codificar cada imagem da câmera C, asimagens decodificadas (das câmeras AeB) sendo dotadas do mesmo tem-po de exibição são codificadas como imagens de referência. No processorelevante, uma imagem prevista é gerada pela computação de uma médiaentre os valores de pixel dos pontos correspondentes pertencentes às câme-ras A e B (cada ponto correspondente é um pixel indicado pelo vetor que éproporcionado pela soma do vetor de deslocamento paralaxe relevante e ovetor paralaxe de referência).

A Figura 3 é um diagrama ilustrando a disposição das câmerasna presente modalidade. Na presente modalidade, conforme ilustrado naFigura 3, os pontos de vista das três câmeras se alinham ao longo de umalinha reta e intervalos regulares, e os eixos geométricos ópticos das câmerassão perpendiculares à linha reta. Isto é, os eixos geométricos ópticos dastrês câmeras são paralelos uns aos outros.

Além disso, o sistema de coordenada x-y no plano de imagemrelevante pode ser obtido pela translação paralela (não é realizada nenhumarotação ou similar) com relação à linha reta na qual as câmeras estão dis-postas, e os pixels são formados pela divisão de cada eixo geométrico χ e ydo plano de imagem em intervalos regulares para cada câmera. Isto é, cadacâmera é dotada da mesma resolução, e uma paralaxe de pixels P entre ascâmeras CeA corresponde a uma paralaxe de pixels P entre as câmeras C eB.

A Figura 4 é um fluxograma de codificação na presente modali-dade. A Figura 5 é um fluxograma detalhado da etapa S 106 na Figura 4.

Na presente modalidade, é usado um macro-bloco consistindoem pixels 16x16 (nas direções^ertical e horizontal) como uma unidade, e éatribuída a divisão (estado) de bloco em cada macro-bloco. São codificadosos dados de deslocamento paralaxe para cada bloco definido na divisão debloco (simplesmente denominado "bloco", por conveniência).

A paralaxe de referência é representada usando um vetor bidi-mensional. Portanto, no lado de decodificação (e no lado de codificação), umvetor bidimensional (isto é, paralaxe de referência) para cada imagem dereferência é obtido para cada pixel, pelo uso da imagem de referência.

Por outro lado, é codificado um único deslocamento paralaxe(para a câmera A) representado por um vetor bidimensional para cada bloco.Aqui, similar à computação da paralaxe de referência, é presumida umacondição de restrição física na qual cada (paralaxe) vetor (usado para com-pensação paralaxe), que é proporcionada como a soma do vetor de paralaxede referência e um vetor de paralaxe de referência para cada pixel de cadaimagem de referência, designa a mesma posição do objeto. Nesse caso, sefor conhecido o vetor de deslocamento paralaxe para a câmera A, é unica-mente determinado o vetor de deslocamento paralaxe para outra câmera.

Em vez disso, o deslocamento paralaxe para cada imagem dereferência pode ser computado independentemente e codificado sem pre-sumir tal condição de restrição. Contudo, tal método pode ser facilmente im-plementado como uma variação da presente modalidade, e são omitidasexplicações específicas do mesmo.

Há muitos estados de divisão de bloco possíveis aplicáveis acada macro-bloco. A Figura 6 ilustra exemplos dos mesmos. Conforme ilus-trado na Figura 6, "Modo blk" é um índice para indicar o tipo de divisão debloco, e o número de blocos para cada "Modo blk" é indicado por "max-Blk[Modo blk]".

Sob as condições acima, a operação de codificação será expli-cada com relação ao fluxograma da Figura 4.

Primeiro, uma imagem da câmera C e entrada na parte de en-trada de imagem 101 (ver etapa S101), onde as imagens decodificadas, quepertencem às câmeras AeBe são dotadas do mesmo tempo de exibição,foram armazenadas na memória de imagem de referência 103 por via daparte de entrada de imagem de referência 102.

A seguir, as imagens decodificadas relevantes das câmeras A eB são entradas a partir da memória de imagem de referência 103 (ver etapaS102), e a paralaxe de referência para cada pixel de uma imagem-alvo a sercodificada é obtida para cada imagem de referência de entrada pelo uso dasimagens de referência (ver etapa S103). Isto é, as duas imagens de referên-cia, que pertencem às câmeras AeB, são entradas na parte de ajuste para-laxe de referência 104, e é obtida a paralaxe de referência para cada pixelda imagem-alvo da câmera C.

Portanto, são obtidos os dois "vetores bidimensionais" para cadapixel da imagem-alvo da câmera C. Para as coordenadas (x,y) no plano deimagem da câmera C (x e y são um inteiro que indicam um valor de coorde-nada do pixel relevante), os vetores paralaxe de referência para as câmerasA e B são respectivamente indicados dA[x,y] e dB[x,y]·

Além disso, "MBBIk" é um índice para indicar cada macro-bloco,e o número de macro-blocos é indicado por "maxMBBIk".

Após o índice MBBIk para cada macro-bloco ser inicializado parazero (ver etapa S104), as etapas que seguintes (S105 e S111) são repeti-damente aplicadas em cada macro-bloco ao mesmo tempo em que é adicio-nado "1" a cada índice MBBIk (ver etapa S110).

Primeiro, após a divisão de bloco (índice) o Modo blk é iniciali-zado para zero (ver etapa S105), um custo de distorção de taxa para o ma-cro-bloco relevante e a divisão de bloco Modo blk é computado (ver etapaS106) ao mesmo tempo em que é adicionado Ί" à divisão de bloco Modo blk(ver etapa S107), até que a divisão de bloco Modo blk alcance o valor de[índice máximo "maxModo blk" (ver etapa S108). Isto é, na parte de ajustede deslocamento paralaxe 105, é computado o custo de distorção de taxa"Custo MB" para cada divisão de bloco Modo blk.

O custo de distorção de taxa Custo MB para cada divisão debloco Modo blk é obtido pela computação de um custo de distorção de taxa"Custo blk" para cada bloco (o número total de blocos é indicado por "max-BIkfModo blk]"), e pela computação da soma total dos custos de distorção dstaxa de Custo blk.

O custo de distorção de taxa de Custo blk para cada bloco podeser obtido como um valor mínimo do custo de distorção de taxa "custo" obti-do ao usar um vetor de deslocamento paralaxe. Portanto, devem ser compu-tados, para cada bloco, o vetor de deslocamento paralaxe para minimizar"custo" e o próprio "custo1.

Aqui, a busca para o deslocamento paralaxe usado para codifi-car é realizada na adjacência da paralaxe de referência relevante. Isto é,"βο,βι,..., βΝ-1" são definidos como candidatos para o vetor de deslocamentoparalaxe, e um processo de computação de custo de distorção de taxa parao vetor paralaxe "dA[x,y]+en" é repetido para "n=0,1.....N-1", de maneira acodificar o vetor paralaxe ótimo para o presente bloco.Para computar o "custo", primeiro, é computada a soma total"SAD[en]"dos valores absolutos da resíduo de previsão para o bloco relevan-te, que é obtida ao usar um vetor de deslocamento paralaxe en. Além disso,é também computada uma quantidade estimada R[en] do código do vetor dedeslocamento paralaxe, que é obtido ao codificar um vetor de deslocamentoparalaxe en. O "custo" é computado pela seguinte fórmula:

Custo = SAD[en] + AR[en] (1)

A seguir, na parte de ajuste de divisão de bloco 106, a divisão debloco "melhor Modo blk" para minimizar o custo de distorção de taxa CustoMB é computado para cada macro-bloco MBBIk (o vetor de deslocamentoparalaxe correspondente já foi obtido).

A Figura 5 ilustra o processo detalhado da etapa S106.Primeiro, o custo de distorção de taxa Custo MB do macro-blocorelevante e o valor de índice do bloco "blk" são inicializados para zero (veretapa S1061), e é obtido o vetor de deslocamento paralaxe para minimizar ocusto de distorção de taxa de Custo blk do bloco "blk" (ver etapa S1062).

Após a obtenção do custo de distorção de taxa de Custo blk dobloco relevante é adicionado ao custo de distorção de taxa Custo MB domacro-bloco (ver etapa S1063), é adicionado 1T ao bloco "blk", e são repeti-das as etapas S1062 a S1064 até que o bloco "blk" alcaneesO número totalmaxBlk[Modo blk] de blocos (ver etapa S1065).

Quando o bloco "blk" alcança o número total maxBlk[Modo blk]de blocos, é determinado se o custo de distorção de taxa presentementecomputado Custo MB do macro-bloco é menor do que o custo de distorçãode taxa mínima computado minCusto MB do macro-bloco (ver etapa S1066).Se for menor, o custo de distorção de taxa Custo MB é armazenado como ocusto de distorção de taxa mínima minCusto MB, e a divisão de bloco cor-respondente Modo blk é armazenada como a divisão de bloco ótima melhorModo blk (ver etapa S1067).

De acordo com a operação acima, são obtidos os dados da divi-são de bloco "melhor Modo blk", os dados de deslocamento paralaxe (isto éo vetor de deslocamento paralaxe), e a resíduo de previsão gerado pelacompensação paralaxe, que são usados para a compensação paralaxe domacro-bloco MBBIk. A seguir, são codificados os dados da divisão de bloco"melhor Modo blk" na parte de codificação dos dados de divisão de bloco107, e são codificados os dados de deslocamento paralaxe correspondentesao melhor Modo blk na parte de codificação de dados de deslocamento pa-ralaxe 108 (ver etapa S109).

Além disso, o resíduo de previsão correspondente aos dados dedeslocamento paralaxe é codificada na parte previsão de codificação residu-al 109.

A figura 7 ilustra um aparelho de decodificação de vídeo na pre-sente modalidade. O aparelho de decodificação de vídeo 200 inclui uma par-te de decodificação de dados de divisão de bloco 201; uma parte de decodi-ficação de dados de deslocamento paralaxe 202; uma parte de previsão dedecodificação de residual 203, uma parte de compensação paralaxe 204 euma memória de imagem de referência 205.

A Figura 8 é um fIuxograma da decodificação usando o aparelhode decodificação de vídeo 200 na presente modalidade. O fluxograma ilustraa operação para decodificar uma estrutura da câmera C, e será explicadodetalhadamente abaixo. Aqui, as estruturas das câmeras A e B do mesmoperíodo foram antecipadamente decodificadas, e as imagens decodificadasforam armazenadas na memória de imagem de referência 205.

Primeiro, as imagens decodificadas relevantes das câmeras A eB são entradas a partir da memória de imagem de referência 205 (ver etapaS201), e a paralaxe de referência para cada pixel da imagem-alvo a ser codi-ficada é obtida usando cada imagem de referência (ver etapa S202). Isto é,duas imagens de referência pertencentes às câmeras AeB são entradas naparte de compensação paralaxe 204, e é obtida a compensação paralaxepara cada pixel da imagem relevante da câmera C. Portanto, são obtidos os"vetores bidimensionais" para cada pixel na imagem da câmera C.

A seguir o índice MBBIk do macro-bloco é inicializado para zero(ver etapa S203), as etapas seguintes (S204 e S212) são repetidas para ca-da macro-bloco da uma estrutura relevante ao mesmo tempo em que é adi-cionado "I" ao MBBIk (ver etapa S211) ("maxMBBIk" indica o número de ma-cro-blocos em uma estrutura). Portanto, é decodificada a uma estrutura rele-vante da câmera C.

Na decodificação de cada macro-bloco, primeiro, os dados dedivisão de bloco melhor Modo blk para o macro-bloco MBBIk é decodificadopela parte de decodificação de dados de divisão de bloco 201 (ver etapaS204). A seguir, após o valor de índice de loco "blk"' ser inicializado parazero (ver etapa S205), são repedidas as etapas seguintes (S206 a S209)para cada bloco "blk" ("maxBlk[Modo blk] indica o número máximo de bloco).

Primeiro, na parte de decodificação de dados de deslocamentoparalaxe 202, são decodificados os dados de deslocamento paralaxe para obloco "blk" (ver etapa S206), e é gerada uma imagem de previsão para obloco "blk" usando os dados de deslocamento paralaxe e a paralaxe de refe-rência (isto é, pela interpolação entre os valores de pixel das câmeras AeB)(ver etapa S207).

De acordo com o processo de repetição acima para o bloco"blk", é gerada uma imagem prevista para o macro-bloco MBBIk. Portanto, aresíduo de previsão para o macro-bloco MBBIk é decodificada na parte dedecodificação de resíduo de previsão 203, e a parte de compensação para-laxe 204 computa a soaaa da imagem prevista e a resíduo de previsão, ob-tendo, por meio disso, uma imagem decodificada do macro-bloco MBBIk (veretapa S210).

A operação acima é repetida para cada macro-bloco na uma ar-mação relevante (ver etapas S211 e S212), por meio disso decodificando auma estrutura da câmera C.

Na presente modalidade, uma imagem da câmera C e codificadapor referência às outras câmeras (A e B). Contudo, tal caso de realização decodificação por referência a outras câmeras e outro caso de realização decompensação de movimento por referência a uma imagem decodificada dacâmera C pode ser adaptativamente comutada em uma estrutura de imagem(isto é, para uma imagem).

Especificamente, a comutação entre a compensação paralaxe ea compensação de movimento pode ser realizada para cada bloco divididoilustrado na Figura 6. Nesse caso, o lado de codificação de vídeo deveriacodificar dados para indicar qual compensação paralaxe e compensação demovimento foi usada, e o lado de decodificação de vídeo deveria decodificaros dados.

Os processos de codificação e decodificação de vídeo acimadescritos podem ser implementados pelo uso de um computador e um pro-grama de software. Tal programa pode ser provido pelo armazenamento domesmo em um meio de armazenamento legível de computador, ou atravésde uma rede.

Aplicabilidade Industrial

Nos métodos de codificação e decodificação de vídeo para esti-mar paralaxe pelo uso de imagens de referência, são usados correlação es-pacial de dados de deslocamento paralaxe, de maneira que a quantidade decódigo do deslocamento paralaxe possa ser reduzido sem degradar a efici-ência de previsão na compensação paralaxe, por meio disso aperfeiçoandoa eficiência de codificação total.

Claims (14)

1. Método de codificação de vídeo para codificar imagens devídeo como uma imagem de vídeo única pelo uso de compensação paralaxeque realiza previsão pelo uso de paralaxe entre as imagens de vídeo, o mé-todo compreendendo:uma etapa de ajuste paralaxe de referência de ajuste paralaxede referência para uma imagem-alvo a ser codificada, em que a paralaxe dereferência é estimada usando uma imagem de referência;uma etapa dê ajuste de divisão de área de ajuste de divisão deárea em uma estrutura de imagem;uma etapa de ajuste de deslocamento paralaxe de ajuste dedeslocamento paralaxe para cada área dividida ajustada na etapa de ajustede divisão de área, em que o deslocamento paralaxe é a diferença entre aparalaxe de referência e a paralaxe usada para a compensação paralaxe;uma etapa de codificação de dados de divisão de dados de divi-são de área de codificação para indicar a divisão de área na qual é ajustadana etapa de ajuste de divisão de área; euma etapa de codificação de dados de deslocamento paralaxede codificação de dados de deslocamento paralaxe para indicar o desloca-mento paralaxe que é ajustado na etapa de ajuste de deslocamento paralaxe.

2. Método de codificação de vídeo, de acordo com a reivindica-ção 1, em que:o ajuste de divisão de área na etapa de ajuste de divisão de áreaé realizado por um método selecionado dentre uma pluralidade de métodosde divisão de área para realizar a divisão de área em blocos retangulares.

3. Método de codificação de vídeo, de acordo com a reivindica-ção 1, em que:o ajuste de paralaxe de referência na etapa de ajuste de parala-xe de referência é estimado usando uma pluralidade de imagens de referên-cia sem usar a imagem-alvo a ser codificada.

4. Método de codificação de vídeo, de acordo com a reivindica-ção 3, em que:a paralaxe de referência é estimada para cada pixel como umaunidade, pelo uso de imagens de referência.

5. Método de codificação de vídeo para decodificar imagens devídeo como uma única imagem de vídeo pelo uso de compensação paralaxeque realiza previsão pelo uso de paralaxe entre as imagens de vídeo, o mé-todo compreendendo:uma etapa de ajuste de paralaxe de referência para uma ima-gem-alvo a ser decodificada, em que a paralaxe de referência é estimadausando uma imagem de referência;uma etapa de decodificação de dados de divisão de dados dedivisão de área de decodificação de dados de divisão e área para indicardivisão de área, em que os dados de divisão de área estão incluídos em da-dos codificados; euma etapa de decodificação de dados de deslocamento paralaxede dados de decodificação de deslocamento paralaxe para cada área indi-cada pelos dados de divisão de área que são decodificados na etapa de de-codificação de dados de divisão de área, em que os dados do deslocamentoparalaxe estão incluídos nos dados codificados, e o deslocamento paralaxeé a diferença entre a paralaxe de referência e a paralaxe usada para a com-pensação paralaxe.

6. Método de codificação de vídeo, de acordo com a reivindica-ção 5, em que:os dados de divisão de área decodificados na etapa de decodifi-cação de dados de divisão de área indicam um método selecionado dentreuma pluralidade de métodos de divisão de área para realizar divisão de áreaem blocos retangulares.

7. Método de decodificação de vídeo, de acordo com a reivindi-cação 5, em que:os dados de deslocamento paralaxe decodificados na etapa dedecodificação de dados de deslocamento paralaxe são dados da diferençaentre a paralaxe de referência, que é estimada usando uma pluralidade deimagens de referência sem usar a imagem-alvo a ser decodificada, e a para-laxe usada para a compensação paralaxe.

8. Método de decodificação de vídeo, de acordo com a reivindi-cação 7, em que:a paralaxe de referência é estimada para cada pixel como umaunidade, pelo uso de imagens de referência.

9. Aparelho para codificação de vídeo para codificar imagens devídeo como uma imagem de vídeo única pelo uso de compensação paralaxeque realiza previsão pelo uso de paralaxe entre as imagens de vídeo, o apa-relho compreendendo:um dispositivo de ajuste de paralaxe de referência para ajustarparalaxe de referência para uma imagem-alvo a ser codificada, em que aparalaxe de referência é estimada usando uma imagem de referência;um dispositivo de ajuste de divisão de área para ajustar divisãode área em uma estrutura de imagem;um dispositivo de ajuste de deslocamento paralaxe para ajustardeslocamento paralaxe para cada área dividida ajustada pelo dispositivo deajuste de divisão de área, em que o deslocamento paralaxe é a diferençaentre a paralaxe de referência e a paralaxe usada para a compensação pa-ralaxe;um dispositivo de codificação de dados de divisão de área paracodificar dados de divisão de área para indicar a divisão de área que é ajus-tada pelo dispositivo de ajuste de divisão de área; eum dispositivo de codificação de dados de deslocamento parala-xe para codificar dados de deslocamento paralaxe para indicar o desloca-mento paralaxe que é ajustado pelo dispositivo de ajuste de deslocamentoparalaxe.

10. Aparelho de decodificação de vídeo para decodificar ima-gens de vídeo como uma imagem de vídeo única pelo uso de compensaçãoparalaxe que realiza previsão pelo uso de paralaxe entre as imagens de ví-deo, o aparelho compreendendo:um dispositivo de ajuste de paralaxe de referência para ajustarparalaxe de referência para uma imagem-alvo a ser decodificada, em que aparalaxe de referência é estimada usando uma imagem de referência;um dispositivo de decodificação de dados de divisão de áreapara decodificar dados de divisão de área para indicar a divisão de área, emque os dados de divisão de área estão incluídos nos dados codificados; eum dispositivo de decodificação de dados de deslocamento pa-ralaxe para decodificar dados de deslocamento paralaxe para cada área in-dicada pelos dados de divisão de área que são decodificados pelo dispositi-vo de decodificação de dados de divisão de área, em que os dados de des-locamento paralaxe estão incluídos nos dados codificados, e o deslocamen-to paralaxe é a diferença entre a paralaxe de referência e a paralaxe usadapara a compensação paralaxe.

11. Programa de codificação de vídeo para fazer com que umcomputador execute o método de codificação de vídeo como definido emqualquer uma das reivindicações 1,2 e 3.

12. Programa de decodificação de vídeo para fazer com que umcomputador execute o método de decodificação de vídeo como definido emqualquer das reivindicações 5, 6 e 7.

13. Meio de armazenamento legível de computador que arma-zena um programa de codificação de vídeo para fazer com que um compu-tador execute o método de codificação de vídeo como definido em qualquerdas reivindicações 1, 2 e 3.

14. Meio de armazenamento legível de computador que arma-zena um programa de decodificação de vídeo para fazer com que um com-putador execute o método de decodificação de vídeo de acordo com qual-quer das reivindicações 5, 6 e 7.