BRPI0716540A2 - mÉtodo e aparelho para codificaÇço e decodificaÇço de vÍdeo de passos méltiplos - Google Patents
mÉtodo e aparelho para codificaÇço e decodificaÇço de vÍdeo de passos méltiplos Download PDFInfo
- Publication number
- BRPI0716540A2 BRPI0716540A2 BRPI0716540-4A BRPI0716540A BRPI0716540A2 BR PI0716540 A2 BRPI0716540 A2 BR PI0716540A2 BR PI0716540 A BRPI0716540 A BR PI0716540A BR PI0716540 A2 BRPI0716540 A2 BR PI0716540A2
- Authority
- BR
- Brazil
- Prior art keywords
- coding step
- video
- motion
- image
- coding
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/583—Motion compensation with overlapping blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/97—Matching pursuit coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
MÉTODO E APARELHO PARA CODIFICAÇçO E DECODIFICAÇÀO DE VÍDEO PASSOS MéLTIPLOS. Proporciona-se um codificador de vídeo, um decodificador de vídeo e um método correspondente para codificar e decodificar dados de sinais de vídeo usando um esquema e codificação de vídeo de passos múltiplos. O codificador de vídeo inclui um estimador de movimento (116) e um módulo de decomposição (174). O estimador de movimento executa estimativa de movimento nos dados de sinais de vídeo, para obter um movimento residual correspondente aos dados de sinais de vídeo em um primeiro passo de codificação. O módulo de decomposição, em comunicação por sinal com o estimador de movimento, decompõe o movimento residual em um passo de codificação subsequente.
Description
"MÉTODO E APARELHO PARA CODIFICAÇÃO E DECODIFICAÇÃO DE VÍDEO DE PASSOS MÚLTIPLOS"
REMISSÃO RECÍPROCA A PEDIDOS DE PATENTES RELACIONADOS
Este pedido de patente reivindica o benefício do pedido de patente internacional PCT/US2006/037139, depositado em 22 de setembro de 2006 e intitulado "METHOD AND APARATUS FOR MULTIPLE PASS VIDEO CODING AND DECODING", que é incorporado na sua totalidade no presente relatório descritivo.
CAMPO DA INVENÇÃO
A presente invenção se refere, de uma maneira geral, a codificação e decodificação e, mais particularmente, a um método e um aparelho para codificação e decodificação de vídeo de passos múltiplos.
ANTECEDENTES DA INVENÇÃO
A Organização Internacional para o padrão H.264 do Setor de Telecomunicação, União de Telecomunicação Internacional de Padronização de Codificação de Vídeo Avan- çado (AVC), Parte 10, do Grupo-4 de Especialistas em Imagens Móveis (MPEG-4) da Co- missão Eletrotécnica de Padronização Internacional (ISO/IEC) (a seguir, o padrão "MPEG- 4/H.264) ou simplesmente o "padrão H.264") é atualmente o padrão de codificação de vídeo mais poderoso e da técnica anterior. Como todos os outros padrões de codificação de vídeo, o padrão H.264 usa codificação de transformação similar à transformação de co-seno distin- to (DCT) e de compensação de movimento à base de bloqueio. É bem conhecido que a DCT é eficiente para codificação de vídeo e adequada para aplicações de topo de linha, como televisão de difusão de alta definição (HDTV). No entanto, o algoritmo DCT não é bem adequado para aplicações que precisam de taxas de bits muito baixas, tal como telefone celular de vídeo dedicado. A taxas de bits muito baixas, a transformação DCT vai introduzir artefatos de bloqueio, mesmo com o uso de filtros de desbloqueio, porque coeficientes muito baixos podem ser codificados a taxas de bits muito baixas, e cada coeficiente tende a ter uma etapa de quantificação muito grosseira.
A busca de equiparação (MP) é um algoritmo intenso para decompor qualquer sinal em uma expansão linear de formas de onda, que são selecionadas de um dicionário redun- dante de funções. Essas formas de onda são selecionadas para melhor equiparar-se às es- truturas dos sinais.
Supor que se tenha um sinal 1-D f(t) e deseja-se decompor esse sinal usando veto- res de base de um conjunto supercompleto de dicionários G. As funções dos dicionários individuais podem ser denotados como se segue:
g,[t)eG (1)
na qual γ é um parâmetro de indexação associado com um elemento de dicionário particular. A decomposição começa por seleção de γ, para maximizar o valor absoluto do produto interno, como se segue:
p-<fiU,\$ <2>
Depois, o sinal residual é computado como se segue:
*(»)=/«-/*,« <3>
Esse sinal residual é então expandido do mesmo modo que o sinal original. O pro- cedimento continua iterativamente, até que todos os números do conjunto dos coeficientes de expansão sejam gerados ou algum limiar de energia para o residual seja atingido. Cada estágio η gera uma função de dicionário γη. Após um total de M estágios, o sinal pode ser aproximado por uma função linear dos elementos dos dicionários, como se segue:
/0)-±P.gr.M (4)
A complexidade de uma decomposição de Busca de Equiparação de um sinal de η amostras prova ser da ordem de k.N.d.nlog2n. Aqui d depende do tamanho do dicionário, sem considerar as traduções, N é o número de coeficientes de expansão selecionados, e a constante k depende da estratégia para selecionar as funções dos dicionários. Supondo um dicionário supercompleto, a Busca de Equiparação consome mais computação do que as transformações de números inteiros 8x8 e 4x4 usadas no padrão H.264, cuja complexidade é definida como 0(nlog2n).
Em geral, o algoritmo de Busca de Equiparação é compatível com qualquer conjun- to de formas de bases redundantes. Propôs-se expandir um sinal usando a base supercom- pleta de funções Gabor. O dicionário Gabor 2-D é extremamente redundante, e cada forma pode existir em qualquer local de pixel de número inteiro na imagem residual codificada. Uma vez que a Busca de Equiparação tem um conjunto de dicionários muito maior e cada função de base codificada é bem adequada às estruturas no sinal residual, o dicionário Ga- bor à base de quadros não inclui uma estrutura de blocos artificiais.
O conjunto de dicionários redundante Gabor foi adotado para codificação de vídeo de taxa de bits muito baixa, com base em buscas de equiparação, com relação a um siste- ma de codificação de vídeo proposto usando um algoritmo de busca de equiparação (a se- guir, referido como a "abordagem de codificação de vídeo de Busca de Equiparação à base de Gabor da técnica anterior). O sistema proposto é baseado na estrutura de um sistema DCT híbrido de baixa taxa de bits referido como Modelo de Simulação para Codificação de Imagem de Taxa de Bits Muito Baixa, ou em suma "SIM3), no qual o codificador residual DCT é substituído com um codificador de Busca de Equiparação. Esse codificador usa Bus- ca de Equiparação para decompor as imagens residuais de movimento pelas funções Gabor 2-D separáveis no dicionário. O sistema proposto foi mostrado como funcionando bem em seqüencias de baixo movimento a baixa taxa de bits. Uma janela de seno ao quadrado de 16x16 uniforme foi aplicada às imagens espe- radas para partições 8x8 na abordagem de codificação de vídeo de Busca de Equiparação à base de Gabor. O codec (codificador / decodificador) de vídeo de Busca de Equiparação na abordagem de codificação de vídeo de Busca de Equiparação à base de Gabor é baseada no codec ITU-T H.263. No entanto, o padrão H.264 propicia compensação de movimentação de tamanho de bloco variável com pequenos tamanhos de bloco, para compensação de movimento luma, possa sertão pequena quanto 4x4. Além do mais, o padrão H.264 é base- ado basicamente em uma transformação em forma de DCT 4x4 para a linha de base e o perfil principal, e não 8x8 com são a maior parte dos outros padrões de codificação de vídeo da técnica anterior proeminentes. A previsão espacial direcional para a intracodificação a- perfeiçoa a qualidade dos sinais de previsão. Todos aqueles aspectos de projeto realçados tornam o padrão H.264 mais eficiente, mas é necessário que lide com situações mais com- plicadas, quando da aplicação de Busca de Equiparação no padrão H.264. A janela de se- no-quadro 16x16 uniforme é representada da seguinte maneira:
Um esquema de codificação híbrido (a seguir, o "esquema de codificação híbrido da técnica anterior") foi proposto, que se beneficia de alguns dos aspectos introduzidos pelo padrão H.264, para estimativa de movimento e substitui a transformação no domínio espaci- al. O erro de previsão é codificado usando o algoritmo de Busca de Equiparação, que de- compõe o sinal por um dicionário redundante, anisotrópico, bidimensional projetado ade- quadamente. Além do mais, uma técnica rápida de busca de átomo foi introduzida. No en- tanto, o esquema de codificação híbrido da técnica anterior proposto não foi abordado se usa ou não o esquema de um passo ou de dois passos. Além do mais, o esquema de codifi- cação híbrido da técnica anterior proposto descreveu que a parte de estimativa de movimen- to é compatível com o padrão H.264, mas não abordou se quaisquer filtros de desbloqueio foram usados no esquema de codificação ou se quaisquer outros métodos foram usados para uniformizar os artefatos de bloqueio provocados pelas imagens previstas a uma taxa de bits muito rápida.
RESUMO DA INVENÇÃO
Essas e outras deficiências de desvantagens da técnica anterior são abordadas pe- la presente invenção, que é dirigida a um método e a um aparelho para codificação e deco- dificação de vídeo de passos múltiplos.
De acordo com um aspecto da presente invenção, proporciona-se um codificador de vídeo para a codificação de dados de sinais de vídeo, usando um esquema de codifica-
/
H/(/,/)=<u(/)-6>0)>
i, 7 e {0,1,...,Ar-I)
(5) ção de passos múltiplos. O codificador de vídeo inclui um estimador de movimento e um módulo de decomposição. O estimador de movimento executa uma estimativa de movimen- to nos dados de sinais de vídeo, para obter um movimento residual correspondendo aos dados de sinais de vídeo em um primeiro passo de codificação. O módulo de decomposição, em comunicação de sinal com o estimador de movimento, decompõe o movimento residual em uma passo de codificação subsequente.
De acordo com um outro aspecto da presente invenção, proporciona-se um método para codificar dados de sinais de vídeo usando um esquema de codificação de vídeo de passos múltiplos. O método inclui a execução de uma estimativa de movimento nos dados de sinais de vídeo, para obter um movimento residual correspondente aos dados de sinais de vídeo em um primeiro passo de codificação, e decomposição do movimento residual em um passo de codificação subsequente.
De acordo com um outro aspecto da presente invenção, proporciona-se um decodi- ficador de vídeo para decodificação de um fluxo de bits de vídeo. O decodificador de vídeo inclui um decodificador de entropia, um decodificador de átomos, um transformador inverso, um compensador de movimento, um filtro de desbloqueio, e um combinador. O decodifica- dor de entropia decodifica o fluxo de bits para obter um fluxo de bits de vídeo descomprimi- do. O decodificador de átomos, em comunicação por sinal com o decodificador de entropia, decodifica os átomos descomprimidos correspondentes ao fluxo de bits descomprimido para obter átomos decodificados. O transformador inverso, em comunicação por sinal com o de- codificador de átomos, aplica uma transformação inversa aos átomos decodificados para formar uma imagem residual reconstruída. O compensador de movimento, em comunicação por sinal com o decodificador de entropia, executa a compensação de movimento usando vetores de movimento correspondentes ao fluxo de bits descomprimido, para formar uma imagem prevista reconstruída. O filtro de desbloqueio, em comunicação por sinal com o compensador de movimento, executa a filtração por desbloqueio na imagem prevista re- construída, para uniformizar a imagem prevista reconstruída. O combinador, em comunica- ção por sinal com o transformador inverso e o compensador de movimento em blocos so- brepostos, combina a imagem prevista e a imagem residual para obter uma imagem recons- truída.
De acordo com mais um aspecto da presente invenção, proporciona-se um método para decodificar um fluxo de bits de vídeo. O método inclui a decodificação do fluxo de bits de vídeo para obter um fluxo de bits de vídeo descomprimidos, a decodificação de átomos descomprimidos correspondentes ao fluxo de bits descomprimido para obter átomos decodi- ficados, a aplicação de uma transformação inversa aos átomos decodificados para formar uma imagem residual reconstruída, a execução de uma compensação de movimento usan- do vetores de movimento correspondentes ao fluxo de bits descomprimido, para formar uma imagem prevista reconstruída, a execução de filtração de desbloqueio na imagem prevista reconstruída para uniformizar a imagem prevista reconstruída, e a combinação da imagem prevista reconstruída e a imagem residual para obter uma imagem reconstruída.
Esses e outros aspectos, característica e vantagens da presente invenção vão ficar evidentes da descrição detalhada apresentada a seguir das modalidades exemplificativas, que deve ser lida em conjunto com os desenhos em anexo.
BREVE DESCRIÇÃO DOS DESENHOS
A presente invenção pode ser melhor entendida de acordo com as seguintes figuras exemplificativas, nas quais: as Figuras 1A e 1B são diagramas para as primeira e segunda partes de passo e-
xemplificativas de um codificador em um codificador / decodificador (CODEC) de Busca de Equiparação à base de padrão H.264 de dois passos, ao qual os presentes princípios po- dem ser aplicados de acordo com uma modalidade dos presentes princípios;
a Figura 2 é um diagrama para um decodificador exemplificativo em um codificador / decodificador (CODEC) de Busca de Equiparação à base de padrão H.264 de dois passos, ao qual os presentes princípios podem ser aplicados de acordo com uma modalidade dos presentes princípios;
a Figura 3 é um diagrama para um método exemplificativo para codificação de uma seqüencia de vídeos de entrada, de acordo com uma modalidade dos presentes princípios; e
a Figura 4 é um diagrama para um método exemplificativo para decodificação de uma seqüencia de vídeos de entrada, de acordo com uma modalidade dos presentes princí- pios.
DESCRIÇÃO DETALHADA A presente invenção é dirigida a um método e a um aparelho para codificação e de-
codificação de vídeo de passos múltiplos. Vantajosamente, a presente invenção corrige os artefatos de bloqueio introduzidos pela transformação DCT usada no, por exemplo, padrão H.264 em aplicações de taxas de bits muito baixas. Além do mais, vai-se considerar que a presente invenção não é limitada apenas às aplicações de taxas de bits muito baixas, mas pode ser usada também para outras taxas de bits (mais altas), enquanto mantendo-se no âmbito da presente invenção.
A presente descrição ilustra os princípios da presente invenção. Aqueles versados na técnica vão, desse modo, considerar que vai ser possível elaborar várias disposições, que, embora não descritas ou mostradas explicitamente no presente relatório descritivo, representam os princípios da invenção e são incluídas dentro dos seus espírito e âmbito.
Todos os exemplos e a linguagem condicional aqui indicada são intencionados para fins pedagógicos, para auxiliar o leitor a entender os princípios da invenção e o conceitos contribuídos pelo inventor para incrementar a técnica, e devem ser considerados como sen- do sem limitação a esses exemplos e condições indicados especificamente.
Além do mais, todas as indicações no presente relatório descritivo relacionando os princípios, aspectos e modalidades da invenção, bem como os seus exemplos específicos, são intencionados para abranger ambos os seus equivalentes estruturais e funcionais. Adi- cionalmente, intenciona-se que esses equivalentes incluam ambos os equivalentes atual- mente conhecidos, bem como os equivalentes desenvolvidos no futuro, isto é, quaisquer elementos desenvolvidos que executem a mesma função, independentemente da estrutura.
Desse modo, aqueles versados na técnica vão considerar que os diagramas de blocos apresentados no presente relatório descritivo representam as vistas conceituais do conjunto de circuitos representando os princípios da invenção. De modo similar, vai-se con- siderar que quaisquer fluxogramas, diagramas de fluxo, diagramas de estados de transição, pseudocódigo e assemelhados representam vários processos, que podem ser substancial- mente representados em meios legíveis por computador e, desse modo, executados por um computador ou processador, se ou não tal computador ou processador for mostrado explici- tamente.
As funções dos vários elementos mostrados nas figuras podem ser proporcionadas por uso de hardware dedicado, bem como hardware capaz de executar software em associ- ação com software adequado. Quando proporcionadas por um processador, as funções po- dem ser proporcionadas por um único processador dedicado, por um único processador partilhado, ou por uma pluralidade de processadores individuais, alguns dos quais podem ser partilhados. Além do mais, o uso explícito do termo "processador" ou "controlador" não deve ser considerado como referindo-se exclusivamente a hardware capaz de executar software, e pode incluir implicitamente, sem limitação, hardware de processador de sinais digitais ("DSP"), memória exclusiva de leitura ("ROM") para armazenar software, memória de acesso aleatório ("RAM"), e armazenamento não volátil.
Outro hardware, convencional e/ou personalizado, também pode ser incluído. De modo similar, quaisquer desvios mostrados nas figuras são apenas conceituais. A função deles pode ser conduzida pela operação de lógica de programa, por lógica dedicada, pela interação de controle de programa e lógica dedicada, ou mesmo manualmente, a técnica particular sendo selecionável pelo implementador, como entendido mais especificamente do contexto.
Nas reivindicações aqui apresentadas, qualquer elemento expresso como um meio para executar uma função específica é intencionado para abranger qualquer modo de exe- cução dessa função, incluindo, por exemplo, a) uma combinação de elementos de circuito que execute essa função, ou b) software em qualquer forma, incluindo, portanto, programa- ção em hardware, microcódigo ou assemelhados, combinado com um conjunto de circuitos adequado para executar esse software para desempenhar a função. A invenção, como defi- nida nessas reivindicações, reside no fato de que as funcionalidades proporcionadas pelos vários meios indicados são combinadas e unidas na maneira exigida pelas reivindicações. Considera-se, desse modo, que qualquer meio que possa proporcionar essas funcionalida- des são equivalentes àquelas mostradas no presente relatório descritivo.
De acordo com os presentes princípios, um esquema de codificação e decodifica- ção de vídeo de passos múltiplos é proporcionado. O esquema de codificação e decodifica- ção de vídeo de passos múltiplos pode ser usado com a Busca de Equiparação. Em uma modalidade ilustrativa, um esquema de codificação à base de H.264 de dois passos é des- crito para codificação de vídeo Busca de Equiparação.
O padrão H.264 aplica compensação de movimento à base de blocos e transforma- ção como DCT similar a outros padrões de compressão de vídeo. A taxas de bits muito bai- xas, a transformação DCT vai introduzir artefatos de bloqueio, mesmo com o uso de filtros de desbloqueio, porque muito poucos coeficientes podem ser codificados a taxas de bits muito baixas, e cada coeficiente tende a ter uma etapa de quantificação muito grosseira. De acordo com os presentes princípios, a busca de equiparação, usando uma base supercom- pleta, é aplicada para codificar as imagens residuais. As partes de compensação de movi- mento e de decisão de modo são compatíveis com o padrão H.264. A compensação de mo- vimento de bloqueio sobreposto (OBMC) é aplicada para uniformizar as imagens previstas. Além disso, uma nova abordagem é proporcionada para selecionar uma base diferentes de Busca de Equiparação.
De acordo com os presentes princípios, um codificador e/ou decodificador de vídeo aplica OBMC em imagens previstas, para reduzir os artefatos de bloqueio provocados pelos modelos de previsão. O algoritmo Busca de Equiparação é usado para codificar as imagens residuais. A vantagem da Busca de Equiparação é que não é à base de blocos, mas à base de quadros, de modo que não há artefatos de bloqueio provocados pela diferença de resí- duos de codificação.
Voltando às Figuras 1A e 1B, as partes primeiro e segundo passos de um codifica- dor em um codificador / decodificador (CODEC) Busca de Equiparação à base de padrão H.264 de dois passos são geralmente indicadas pelos números de referência 110 e 160. O codificador é indicado geralmente pelo número de referência 190 e uma parte decodificador é indicada geralmente pelo número de referência 191.
Com referência à Figura 1A, uma entrada da primeira parte passo 110 é conectada em comunicação por sinal com uma entrada de não inversão de um combinador 112, uma entrada de um módulo de controle de codificador 114, e uma primeira entrada de um esti- mador de movimento 116. Uma primeira saída do combinador 112 é conectada em comuni- cação por sinal com uma primeira entrada de um armazenamento temporário 118. Uma se- gunda saída do combinador 112 é conectada em comunicação por sinal com uma entrada de um módulo de transformação / escalonamento / quantificação de números inteiros 120. Uma saída do módulo de transformação / escalonamento / quantificação de números intei- ros 120 é conectada em comunicação por sinal com uma primeira entrada de um módulo de escalonamento / transformação inversa 122.
Uma primeira saída do módulo de controle de codificador 114 é conectada em co- municação por sinal com uma primeira entrada de um prognosticador intraquadros 126. Uma segunda saída do módulo de controle de codificador 114 é conectada em comunicação por sinal com uma primeira entrada de um compensador de movimento 124. Uma terceira saída do módulo de controle de codificador 114 é conectada em comunicação por sinal com uma segunda entrada do estimador de movimento 116. Uma quarta saída do módulo de controle de codificador 114 é conectada em comunicação por sinal com uma segunda en- trada do módulo de escalonamento / transformação inversa 122. Uma quinta saída do mó- dulo de controle de codificador 114 é conectada em comunicação por sinal com a primeira entrada do armazenamento temporário 118.
Uma saída do estimador de movimento 116 é conectada em comunicação por sinal com uma segunda entrada de um compensador de movimento 124 e uma segunda entrada do armazenamento temporário 128. Uma entrada de inversão do combinador 112 é conec- tada seletivamente em comunicação por sinal com uma saída do compensador de movimen- to 124 ou uma saída de um prognosticador intraquadros 126. A saída selecionada de qual- quer do compensador de movimento 124 ou do prognosticador intraquadros 126 é conecta- da em comunicação por sinal com uma primeira entrada de um combinador 128. Uma saída do módulo de escalonamento / transformação inversa 122 é conectada em comunicação por sinal com uma segunda entrada do combinador 128. Uma saída do combinador 128 é co- nectada em comunicação por sinal com uma segunda entrada do prognosticador intraqua- dros 126, uma terceira entrada do estimador de movimento 116 e uma entrada / saída do compensador de movimento 124. Uma saída do armazenamento temporário 118 é disponí- vel como uma saída da parte primeiro passo 110.
Com relação à parte primeiro passo 110, o módulo de controle de codificador 114, o módulo de transformação / escalonamento / quantificação de números inteiros 120, o arma- zenamento temporário 118 e o estimador de movimento 116 são incluídos no codificador 190. Além do mais, com relação à parte primeiro passo, o módulo de escalonamento / trans- formação inversa 122, o prognosticador intraquadros 126 e o compensador de movimento 124 são incluídos na parte decodificador 191. A entrada da parte primeiro passo 110 recebe um vídeo de entrada 111 e armazena
no armazenamento temporário 118 dados de controle (por exemplo, vetores de movimento, seleções de modos, imagens previstas, e assim por diante), para uso na parte segundo pas- so 160.
Com referência à Figura 1B, uma primeira entrada da parte segundo passo 160 é conectada em comunicação por sinal com uma entrada de um codificador de entropia 166. A primeira entrada recebe dados de controle 162 (por exemplo, seleções de modo e assim por diante) e vetores de movimento 164 da parte primeiro passo 110. Uma segunda entrada da parte segundo passo 160 é conectada em comunicação por sinal com uma entrada de não inversão de um combinador 168. Uma terceira entrada da parte segundo passo 160 é co- nectada em comunicação por sinal com uma entrada de um módulo de compensação de movimento de blocos sobrepostos (OBMC) / desbloqueio 170. A segunda entrada da parte segundo passo 160 recebe o vídeo de entrada 111, e a terceira entrada da parte segundo passo recebe as imagens previstas 187 da parte primeiro passo 110.
Uma saída do combinador 168, que proporciona um resíduo 172, é conectada em comunicação por sinal com uma entrada de um Iocalizador de átomos 174. Uma saída do Iocalizador de átomos 174, que proporciona um resíduo codificado 178, é conectada em comunicação por sinal com uma entrada de um codificador de átomos 176 e uma primeira entrada de não inversão de um combinador 180. Uma saída do módulo OBMC / desbloqueio 170 é conectada em comunicação por sinal com uma entrada de inversão do combinador 168 com uma segunda entrada de não inversão do combinador 180. Uma saída do combi- nador 180, que proporciona um vídeo de saída, é conectada em comunicação por sinal com uma entrada de um armazenamento temporário de referência 182. Uma saída do codificador de átomos 176 é conectada em comunicação por sinal com a entrada da parte segundo passo 160 e proporciona um fluxo de bits de saída.
Com relação à parte segundo passo 160, o codificador de entropia é incluído no codificador 190, e o combinador 168, o módulo OBMC 170, o Iocalizador de átomos 176, o codificador de átomos 176 e o armazenamento temporário de referência 182 são incluídos na parte decodificador 191.
Voltando à Figura 2, um decodificador exemplificativo em um codificador / decodifi- cador (CODEC) de Busca de Equiparação à base de padrão H.264 de dois passos é indica- do genericamente pelo número de referência 200. Uma entrada do decodificador 200 é conectada em comunicação por sinal com uma
entrada de um decodificador de entropia 210. Uma saída do decodificador de entropia é co- nectada em comunicação por sinal com uma entrada de um decodificador de átomos 220 e uma entrada de um compensador de movimento 250. Uma saída do módulo de transforma- ção inversa 230, que proporciona resíduos, é conectada em comunicação por sinal com uma primeira entrada de não inversão de um combinador 270. Uma saída do compensador de movimento 250 é conectada em comunicação por sinal com uma entrada de um módulo OBMC / desbloqueio 260. Uma saída do módulo OBMC / desbloqueio 260 é conectada em comunicação por sinal com uma segunda entrada de não inversão do combinador 270. Uma saída do combinador é disponível como uma saída do decodificador 200.
Diferentemente do codec de vídeo Busca de Equiparação na abordagem de codifi- cação de vídeo Busca de Equiparação à base de Gabor1 que é baseado no codec H.263, os presentes princípios são aplicáveis ao sistema de codificação ITU-T H.264/AVC. Devido à codificação residual à base de quadros, aplica-se OBMC em imagens previstas, o que não é implementado no codec H.264/AVC.
Em uma modalidade de acordo com os presentes princípios, um primeiro passo em um esquema de codificação de vídeo é compatível com o padrão H.264. Não há qualquer codificação efetiva no primeiro passo. Todos os dados de controle, tais como, por exemplo, as seleções de modo, as imagens previstas e os vetores de movimento, são salvas em um armazenamento temporário para o segundo passo. A transformação DCT é ainda aplicada no primeiro passo para compensação de movimento e nas seleções de modo usando Otimi- zação de Distorção de Taxas (RDO). Em vez de codificar a imagem residual usando os coe- ficientes DCT, todas as imagens residuais são salvas para o segundo passo. Em uma mo- dalidade dos presentes princípios, propõe-se aplicar intracodificação restrita 16 χ 16 ou in- tracodificação restrita compatível com padrão H.264, e tratar, especialmente, as partes limi- tes entre os macroblocos intracodificados e entrecodificados.
No segundo passo, os vetores de movimento e os dados de controle podem ser co- dificados por codificação de entropia. As imagens residuais podem ser codificadas por Bus- ca de Equiparação. A busca de átomos e a codificação de parâmetros podem ser conduzi- das, por exemplo, de acordo com a abordagem de codificação de vídeo Busca de Equipara- ção à base de Gabor. As imagens reconstruídas são salvas para os quadros de referência.
Um dos benefícios da codificação de vídeo de Busca de Equiparação é que a Bus- ca de Equiparação não é baseada em blocos, de modo que não há artefatos de bloqueio. No entanto, quando a previsão de movimento é conduzida em uma base de blocos e é im- precisa, ainda origina alguns artefatos de bloqueio a taxas de bits muito baixas. As simula- ções mostraram que os átomos aparecem nos contornos de movimento e nas áreas nas quais os vetores de movimento (MVs) não são muito precisos. O aperfeiçoamento da esti- mativa de movimento propicia que os átomos representem melhor os resíduos.
Para eliminar os artefatos da previsão de movimento, um método envolve o uso de um filtro de desbloqueio similar a H.264 ou aperfeiçoado, para uniformizar o limite de blo- queio em uma imagem profética. Em outra abordagem, um modelo de movimento mais uni- forme usando blocos de sobreposição (OBMC) é empregado. Na abordagem de codificação de vídeo Busca de Equiparação à base de Gabor da técnica anterior, uma janela de seno ao quadrado 16 χ 16 foi adotada. Ajanela de seno ao quadrado NxN pode ser definida, por exemplo, de acordo com o esquema de codificação híbrido da técnica anterior. A janela de seno ao quadrado 16 χ 16 é projetada blocos 8 χ 8, e os blocos 16x16 são tratados como quatro blocos 8x8.
No entanto, no padrão H.264, as partições com o tamanho de bloco luma, as amos- tras 16x 16, 16x8, 8x 16e8x8 são suportadas. No caso no qual as partições com as amostras 8x8 são selecionadas, a partição 8 χ 8 é ainda dividida nas partições das amos- tras Iuma 8x4, 4x8ou4x4eas amostras croma correspondentes. No presente relatório descritivo, quatro abordagens são propostas para lidar com mais tipos de partições. A pri- meira abordagem é para usar uma janela de seno ao quadrado 8x8 para partições 4x4. Para todas as outras partições acima de 4 χ 4, dividir essas partições em várias partições 4 χ 4. A segunda abordagem é usar uma janela de seno ao quadrado 16x16 para 8 χ 8 e as partições mencionadas acima, mas não toca as partições menores que 8 χ 8. A terceira a- bordagem é usar OBMC adaptativa para todas as partições. Todas essas três abordagens apenas implementam os filtros de desbloqueio diferentes de OBMC, e a quarta abordagem é combinar OBMC com um ou mais filtros de desbloqueio. Além do conjunto de dicionários Gabor redundante na abordagem de codificação de
vídeo de Busca de Equiparação à base de Gabor, que foi implementada para codificação residual, propõe-se utilizar mais bases supercompletas. A baixas taxas de bits, o modelo de movimento de tradução falha em representar precisamente o movimento natural de aspec- tos visuais relevantes, tais como bordas móveis. Por conseguinte, a maior parte da energia de erro residual é localizada nessas áreas. Desse modo, é significativo usar um dicionário redundante de detecção de borda para representar as imagens de erro. Uma transformação de pequena onda distinta (por exemplo, a Transformação de Pequena Onda Distinta de Ár- vore Dupla - DDWT), tendo menos redundância que o dicionário Gabor 2-D, pode ser usada, ou algum outro dicionário de detecção de borda pode ser usado. O DDWT 2-D tem mais subbandas / direções que o DWT 2-D. Cada subbanda representa uma direção, e é de de- tecção de borda. Após moldagem de ruído, a DDWT 2-D obtém PSNR mais alto, com os mesmos coeficientes retidos em comparação com a DWT 2-D. Desse modo, é mais ade- quado codificar as informações de borda. Após aplicar OBMC nas imagens previstas, as imagens de erro vão ter bordas mais uniformes. Os dicionários 2-D supercompletos paramé- tricôs podem ser usados para proporcionar bordas mais uniformes.
Voltando à Figura 3, um método exemplificativo para codificação de uma seqüencia de vídeo de entrada é indicado genericamente pelo número de referência 300. O método 300 inclui um bloco de partida 305, que passa o controle para um bloco de decisão 310. O bloco de decisão 310 determina se ou não o quadro atual é um quadro I. Sendo assim, en- tão o controle é passado para um bloco de função 355. De outro modo, o controle é passado para um bloco de função 315.
O bloco de função 355 executa codificação de quadro compatível com padrão Η.264, para proporcionar um fluxo de bits de saída, e passa o controle para um bloco final 370.
O bloco de função 315 executa a compensação de movimento compatível com pa- drão H.264, e passa o controle para um bloco de função 320. O bloco de função 320 salva os vetores de movimento (MVs), os dados de controle e os blocos previstos, e passa o con- trole a um bloco de decisão 325. O bloco de decisão 325 determina se ou não a extremida- de do quadro foi atingida. Sendo assim, então o controle é passado para um bloco de fun- ção 330. De outro modo, o controle é retornado para o bloco de função 315.
O bloco de função 330 executa filtração de OBMC e/ou de desbloqueio nas ima- gens previstas, e passa o controle para um bloco de função 335. O bloco de função 355 ob- tém uma imagem residual das imagens originais e previstas, e passa o controle para um bloco de função 340. O bloco de função 340 codifica um resíduo usando Busca de Equipa- ração e passa o controle para um bloco de função 345. O bloco de função 345 executa codi- ficação de entropia, para proporcionar uma corrente de bits de saída e passa o controle para o bloco final 370.
Voltando à Figura 4, um método exemplificativo para decodificar uma seqüencia de vídeo de entrada é indicado genericamente pelo número de referência 400. O método 400 inclui um bloco de partida 405, que passa o controle para um bloco de decisão 410. O bloco de decisão 410 determina se ou não o quadro de momento é um quadro I. Sendo assim, então o controle é passado para um bloco de função 435. De outro modo, o controle é pas- sado para um bloco de função 415.
O bloco de função 435 executa decodificação compatível com padrão H.264, para proporcionar uma imagem reconstruída, e passa o controle para um bloco final 470.
O bloco de função 415 decodifica os vetores de movimento, os dados de controle e os átomos de Busca de Equiparação, e passa o controle para um bloco de função 420 e um bloco de função 425. O bloco de função 420 reconstrói a imagem residual usando átomos decodificados e passa o controle para um bloco de função 430. O bloco de função 425 re- constrói as imagens previstas por decodificação dos vetores de movimento e outros dados de controle e aplica filtração OBMC e/ou de desbloqueio, e passa o controle para o bloco de função 430. O bloco de função 430 combina a imagem residual reconstruída e as imagens previstas reconstruídas, para proporcionar uma imagem reconstruída, e passa o controle para o bloco final 470.
Uma descrição vai ser então feita de algumas das vantagens / aspectos associados da presente invenção, alguns dos quais foram mencionados acima. Por exemplo, uma van- tagem / aspecto é um codificador de vídeo para codificação de dados de sinais de vídeo, usando um esquema de codificação de vídeo de passos múltiplos, em que o codificador de vídeo inclui um estimador de movimento e um módulo de decomposição. O estimador de vídeo executa estimativa de movimento nos dados de sinais de vídeo, para obter um movi- mento residual correspondente aos dados de sinais de vídeo, em um primeiro passo de co- dificação. O módulo de decomposição, em comunicação por sinal com o estimador de mo- vimento, decompõe o movimento residual em um passo de codificação subsequente.
Outra vantagem / aspecto é o codificador de vídeo como descrito acima, no qual o
esquema de codificação de vídeo de passos múltiplos é um esquema de codificação de ví- deo de dois passos. O codificador de vídeo inclui um armazenamento temporário, em comu- nicação por sinal com o estimador de movimento e o módulo de decomposição, para arma- zenar o movimento residual obtido no primeiro passo de codificação, para uso subsequente em um segundo passo de codificação. O módulo de decomposição decompõe o movimento residual usando um conjunto de dicionários Gaber redundante no segundo passo de codifi- cação.
Mais um outro aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos, como descrito acima, em que o estimador de movimento executa a estimativa de movimento e a seleção do modo de codificação em conformidade com o pa- drão H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações (ITU-U) no primeiro passo de codificação.
Mais uma outra vantagem / aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um compensador de movimento de blocos sobrepos- tos. O módulo de previsão, em comunicação por sinal com o armazenamento temporário, forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação. O compensador de movimento de blocos sobrepostos, em comunicação por sinal com o armazenamento temporário, executa compensação de movimento de blocos sobrepostos (OMBC) na imagem prevista, usando uma janela de seno ao quadrado 16x16, para uniformizar a imagem prevista no segundo passo de codificação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subseqüente no segundo passo de codificação.
Além do mais, outra vantagem / aspecto é o codificador de vídeo usando o esque- ma de codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um compensador de movimento de blocos so- brepostos. O módulo de previsão, em comunicação por sinal com o armazenamento tempo- rário, forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação. O compensador de movimento de blocos sobrepostos, em comunica- ção por sinal com o armazenamento temporário, executa compensação de movimento de blocos sobrepostos (OBMC) em apenas 8 χ 8 e partições maiores da imagem prevista no segundo passo de codificação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codifi- cação.
Além disso, outra vantagem / aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um compensador de movimento de blocos sobrepos- tos. O módulo de previsão, em comunicação por sinal com o armazenamento temporário, forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação. O compensador de movimento de blocos sobrepostos, em comunicação por sinal com o armazenamento temporário, executa compensação de movimento de blocos sobrepostos (OBMC) usando uma janela de seno ao quadrado 8x8, para partições 4 χ 4 da imagem prevista no segundo passo de codificação. Todas as partições da imagem prevista são divididas em partições 4x4, quando a OBMC é conduzida no segundo passo de codifi- cação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codificação. Também, outra vantagem / aspecto é o codificador de vídeo usando o esquema de
codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um compensador de movimento de blocos sobrepos- tos. O módulo de previsão, compensador de movimento de blocos sobrepostos forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codifi- cação. O compensação de movimento de blocos sobrepostos, em comunicação por sinal com o armazenamento temporário, executa compensação de movimento de blocos sobre- postos (OBMC) adaptativa para todas as partições da imagem prevista no segundo passo de codificação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codificação. Adicionalmente, outra vantagem / aspecto é o codificador de vídeo usando o es-
quema de codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um filtro de desbloqueio. O módulo de previ- são, em comunicação por sinal com o armazenamento temporário, forma uma imagem pre- vista correspondente aos dados de sinais de vídeo no primeiro passo de codificação. O filtro de desbloqueio, em comunicação por sinal com o armazenamento temporário, forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codifi- cação. O filtro de desbloqueio, em comunicação por sinal com o armazenamento temporá- rio, executa uma operação de desbloqueio na imagem prevista no segundo passo de codifi- cação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codificação.
Mais uma outra vantagem / aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos, como descrito acima, em que o módulo de decomposi- ção executa uma transformação de pequena onda de árvore dupla para decompor o movi- mento residual.
Mais uma outra vantagem / aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos e a transformação de pequena onda de árvore dupla, como descritos acima, em que o módulo de decomposição usa moldagem de ruído para selecionar os coeficientes da transformação de pequena onda de árvore dupla.
Além do mais, outra vantagem / aspecto é o codificador de vídeo usando o esque- ma de codificação de vídeo de dois passos, como descrito acima, em que o módulo de de- composição aplica dicionários 2-D supercompletos paramétricos para decompor o movimen- to residual no segundo passo de decodificação.
Além disso, outra vantagem / aspecto é um decodificador de vídeo para decodificar um fluxo de bits de vídeo, em que o decodificador de vídeo inclui um decodificador de entro- pia, um decodificador de átomos, um transformador inverso, um compensador de movimen- to, um filtro de desbloqueio e um combinador. O decodificador de entropia decodifica o fluxo de bits de vídeo, para obter um fluxo de bits de vídeo descomprimido. O decodificador de átomos, em comunicação por sinal com o decodificador de entropia, decodifica os átomos descomprimidos correspondentes ao fluxo de bits descomprimido, para obter átomos deco- dificados. O transformador inverso, em comunicação por sinal com o decodificador de entro- pia, aplica uma transformação inversa aos átomos decodificados para formar uma imagem residual reconstruída. O compensador de movimento, em comunicação por sinal com o de- codificador de entropia, executa compensação de movimento usando os vetores de movi- mento correspondentes ao fluxo de bits descomprimido, para formar uma imagem prevista reconstruída. O filtro de desbloqueio, em comunicação por sinal com o compensador de mo- vimento, executa filtração de desbloqueio na imagem prevista reconstruída, para uniformizar a imagem prevista reconstruída. O combinador, em comunicação por sinal com o compen- sador de movimento de blocos sobrepostos, combina a imagem prevista reconstruída e a imagem residual, para obter uma imagem reconstruída.
Esses e outros aspectos e vantagens da presente invenção podem ser determina- dos facilmente por aqueles versados na técnica pertinente, com base nos ensinamentos do presente relatório descritivo. Deve-se entender que os ensinamentos da presente invenção podem ser implementados em várias formas de hardware, software, programação em hard- ware, processadores para fins específicos, ou suas combinações.
Especialmente, os ensinamentos da presente invenção são implementados como uma combinação de hardware e software. Além do mais, o software pode ser implementado como um programa de aplicação, incorporado tangivelmente em uma unidade de armaze- namento de programas. O programa de aplicação pode ser transferido para, e executado por, uma máquina compreendendo qualquer arquitetura adequada. De preferência, a má- quina é implementada em uma plataforma de computador tendo hardware, tais como uma ou mais unidades de processamento centrais ("CPUs"), uma memória de acesso aleatório ("RAM") e interfaces de entrada / saída ("l/Os"). A plataforma de computador pode também incluir um sistema operacional e um código de microinstruções. Os vários processos e fun- ções descritos no presente relatório descritivo podem ser qualquer parte do código de micro- instruções ou parte do programa de aplicação, ou qualquer combinação delas, que possa ser executada por uma CPU. Além disso, várias outras unidades periféricas podem ser co- nectadas à plataforma de computador, tal como uma unidade de armazenamento de dados e uma unidade de impressão adicionais. Deve-se ainda entender que, em virtude de que alguns dos componentes constitu-
intes do sistema e dos métodos ilustrados nos desenhos em anexo serem, de preferência, implementados em software, as conexões efetivas entre os componentes do sistema ou os blocos de funções de programa podem diferir, dependendo da maneira na qual a presente invenção é programada. Em vista dos ensinamentos da presente invenção, uma pessoa versada na técnica vai ser capaz de considerar essas e implementações ou configurações similares da presente invenção.
Embora as modalidades ilustrativas tenham sido descritas no presente relatório descritivo com referência aos desenhos em anexo, deve-se entender que a presente inven- ção não é limitada a essas modalidades precisas, e que várias mudanças de modificações podem ser feitas nela por aqueles versados na técnica pertinente, sem que se afaste do âmbito ou espírito da presente invenção. Todas essas mudanças e modificações são inten- cionadas para ser incluídas dentro do âmbito da presente invenção, como apresentado nas reivindicações em anexo.
Claims (24)
1. Codificador de vídeo para codificar dados de sinais de vídeo usando um esque- ma de codificação de vídeo de passos múltiplos, CARACTERIZADO pelo fato de que com- preende: um estimador de movimento (116) para executar estimativa de movimento nos da- dos de sinais de vídeo, para obter um movimento residual correspondente aos dados de sinais de vídeo, em um primeiro passo de codificação; e um módulo de decomposição (174), em comunicação por sinal com o dito estima- dor de movimento, para decompor o movimento residual em um passo de codificação sub- sequente.
2. Codificador de vídeo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o esquema de codificação de vídeo de passos múltiplos é um esquema de codi- ficação de vídeo de dois passos, o codificador de vídeo compreende ainda um armazena- mento temporário (118), em comunicação por sinal com o dito estimador de movimento e o dito módulo de decomposição, para armazenar o movimento residual obtido no primeiro passo de codificação para uso subsequente em um segundo passo de codificação, e o mó- dulo de decomposição (174) decompõe o movimento residual usando um conjunto de dicio- nários Gabor redundante no segundo passo de codificação.
3. Codificador de vídeo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o dito estimador de movimento (116) executa a estimativa de movimento e a seleção de modo de codificação, em conformidade com o padrão H.264 do Setor de Tele- comunicações da União Internacional de Telecomunicações (ITU-U) no primeiro passo de codificação.
4. Codificador de vídeo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que compreende ainda: um módulo de previsão (124, 126), em comunicação por sinal com o dito armaze- namento temporário, para formar uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; e um compensador de movimento de blocos sobrepostos (170), em comunicação por sinal com o dito armazenamento temporário, para executar compensação de movimento de blocos sobrepostos (OBMC) na imagem prevista usando uma janela de seno ao quadrado 16 χ 16, para uniformizar a imagem prevista no segundo passo de codificação, em que o dito armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subseqüente no segundo passo de codificação.
5. Codificador de vídeo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que compreende ainda: um módulo de previsão (124, 126), em comunicação por sinal com o dito armaze- namento temporário, para formar uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; e um compensador de movimento de blocos sobrepostos (170), em comunicação por sinal com o dito armazenamento temporário, para executar compensação de movimento de locos sobrepostos (OBMC) em apenas partições 8 χ 8 e maiores da imagem prevista no segundo passo de codificação, em que o dito armazenamento temporário armazena a ima- gem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codificação.
6. Codificador de vídeo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que compreende ainda: um módulo de previsão (124, 126), em comunicação por sinal com o dito armaze- namento temporário, para formar uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; e um compensador de movimento de blocos sobrepostos (170), em comunicação por sinal com o dito armazenamento temporário, para executar compensação de movimento de blocos sobrepostos (OBMC) usando uma janela de seno ao quadrado 8x8 para partições 4 χ 4 da imagem prevista no segundo passo de codificação, em que todas as partições da imagem prevista são divididas em partições 4x4, quando a OBMC é executada no segundo passo de codificação, em que o dito armazenamento temporário armazena a imagem previs- ta nele no primeiro passo de codificação, para uso subsequente no segundo passo de codi- ficação.
7. Codificador de vídeo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que compreende ainda: um módulo de previsão (124, 126), em comunicação por sinal com o dito armaze- namento temporário, para formar uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; e um compensador de movimento de blocos sobrepostos (170), em comunicação por sinal com o dito armazenamento temporário, para executar compensação de movimento de blocos sobrepostos (OBMC) adaptativa para todas as partições da imagem prevista no se- gundo passo de codificação, em que o dito armazenamento temporário armazena a imagem prevista nele no primeiro passo de codificação, para uso subsequente no segundo passo de codificação.
8. Codificador de vídeo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que compreende ainda: um módulo de previsão (124, 126), em comunicação por sinal com o dito armaze- namento temporário, para formar uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; e um filtro de desbloqueio (170), em comunicação por sinal com o dito armazenamen- to temporário, para executar uma operação de desbloqueio na imagem prevista no segundo passo de codificação, o dito armazenamento temporário armazena a imagem prevista nele no primeiro passo de codificação, para uso subsequente no segundo passo de codificação.
9. Codificador de vídeo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o dito módulo de decomposição (174) executa uma transformação de pequena onda de árvore dupla, para decompor o movimento residual.
10. Codificadorde vídeo, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o dito módulo de decomposição (174) usa moldagem de ruído, para selecionar os coeficientes da transformação de pequena onda de árvore dupla.
11. Codificador de vídeo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o dito módulo de decomposição (174) aplica dicionários 2-D supercompletos paramétricos, para decompor o movimento residual no segundo passo de codificação.
12. Método para codificar dados de sinais de vídeo usando um esquema de codifi- cação de vídeo de passos múltiplos, CARACTERIZADO pelo fato de que compreende: executar (315) estimativa de movimento nos dados de sinais de vídeo para obter um movimento residual correspondente aos dados de sinais de vídeo em um primeiro passo de codificação; e decompor (340) o movimento residual em um passo de codificação subsequente.
13. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que o esquema de codificação de vídeo de passos múltiplos é um esquema de codificação de vídeo de dois passos, o método compreendendo ainda armazenar (320) o movimento resi- dual obtido no primeiro passo de codificação, para uso subsequente em um segundo passo de codificação, e a dita etapa de decomposição (340) decompõe o movimento residual u- sando um conjunto de dicionários Gabor redundante no segundo passo de codificação.
14. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a estimativa de movimento e a seleção do modo de codificação são executadas em confor- midade com o padrão H.264 do Setor de Telecomunicações da União Internacional de Tele- comunicações (ITU-U) no primeiro passo de codificação.
15. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que compreende ainda: formar (315) uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; armazenar (320) a imagem prevista no primeiro passo de codificação; e executar (330) a compensação de movimento de blocos sobrepostos (OBMC) na imagem prevista usando uma janela de seno ao quadrado 16x16, para uniformizar a ima- gem prevista no segundo passo de codificação.
16. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que compreende ainda: formar (315) uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; armazenar (320) a imagem prevista no primeiro passo de codificação; e executar (330) a compensação de movimento de blocos sobrepostos (OBMC) em apenas partições 8 χ 8 e maiores da imagem prevista no segundo passo de codificação, em que o dito armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codificação.
17. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que compreende ainda: formar (315) uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; armazenar (320) a imagem prevista no primeiro passo de codificação; e executar (330) a compensação de movimento de blocos sobrepostos (OBMC) u- sando uma janela de seno ao quadrado 8x8 para partições 4 χ 4 da imagem prevista no segundo passo de codificação, em que todas as partições da imagem prevista são divididas em partições 4x4, quando a OBMC é executada no segundo passo de codificação, em que o dito armazenamento temporário armazena a imagem prevista nele no primeiro passo de codificação, para uso subsequente no segundo passo de codificação.
18. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que compreende ainda: formar (315) uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; armazenar (320) a imagem prevista no primeiro passo de codificação; e executar (330) a compensação de movimento de blocos sobrepostos (OBMC) para todas as partições da imagem prevista no segundo passo de codificação.
19. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que compreende ainda: formar (315) uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação; armazenar (320) a imagem prevista no primeiro passo de codificação; e executar (330) uma operação de desbloqueio na imagem prevista no segundo pas- so de codificação.
20. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a dita etapa de decomposição (340) executa uma transformação de pequena onda de árvore dupla, para decompor o movimento residual.
21. Método, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que a dita etapa de decomposição (340) usa moldagem de ruído, para selecionar os coeficientes da transformação de pequena onda de árvore dupla.
22. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a dita etapa de decomposição (340) aplica dicionários 2-D supercompletos paramétricos, para decompor o movimento residual no segundo passo de codificação.
23. Decodificador de vídeo para decodificar um fluxo de bits de vídeo, CARACTERIZADO pelo fato de que compreende: um decodificador de entropia (210) para decodificar o fluxo de bits de vídeo, para obter um fluxo de bits de vídeo descomprimido; um decodificador de átomos (220), em comunicação por sinal com o dito decodifi- cador de entropia, para decodificar os átomos descomprimidos correspondentes ao fluxo de bits descomprimido, para obter átomos decodificados; um transformador inverso (230), em comunicação por sinal com o dito decodificador de átomos, para aplicar uma transformação inversa nos átomos decodificados para formar uma imagem residual desconstruída; um compensador de movimento (250), em comunicação por sinal com o dito deco- dificador de entropia, para executar compensação de movimento usando vetores de movi- mento correspondentes ao fluxo de bits descomprimido, para formar uma imagem prevista reconstruída; um filtro de desbloqueio (260), em comunicação por sinal com o dito compensador de movimento, para executar filtração de desbloqueio na imagem prevista reconstruída, para uniformizar a imagem prevista reconstruída; e um combinador (270), em comunicação por sinal com o dito transformador inverso e o dito compensador de movimento de bloqueio sobreposto, para combinar a imagem pre- vista reconstruída e a imagem residual, para obter uma imagem reconstruída.
24. Método para decodificar um fluxo de bits de vídeo, CARACTERIZADO pelo fato de que compreende: decodificar (405) o fluxo de bits de vídeo para obter um fluxo de bits de vídeo des- comprimido; decodificar (415) os átomos descomprimidos correspondentes ao fluxo de bits des- comprimido para obter átomos decodificados; aplicar (420) uma transformação inversa aos átomos decodificados para formar uma imagem residual reconstruída; executar (425) compensação de movimento usando vetores de movimento corres- pondentes ao fluxo de bits descomprimido, para formar uma imagem prevista reconstruída; executar (425) filtração de desbloqueio na imagem prevista reconstruída, para uni- formizar a imagem prevista reconstruída; e combinar (430) a imagem prevista reconstruída e a imagem residual para obter uma imagem reconstruída.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| USPCT/US2006/037139 | 2006-09-22 | ||
| US2006037139 | 2006-09-22 | ||
| PCT/US2007/004110 WO2008036112A1 (en) | 2006-09-22 | 2007-02-15 | Method and apparatus for multiple pass video coding and decoding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BRPI0716540A2 true BRPI0716540A2 (pt) | 2012-12-25 |
Family
ID=38521211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0716540-4A BRPI0716540A2 (pt) | 2006-09-22 | 2007-02-15 | mÉtodo e aparelho para codificaÇço e decodificaÇço de vÍdeo de passos méltiplos |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP2070334A1 (pt) |
| JP (2) | JP5529537B2 (pt) |
| KR (2) | KR20090073112A (pt) |
| CN (2) | CN101518085A (pt) |
| BR (1) | BRPI0716540A2 (pt) |
| WO (1) | WO2008036112A1 (pt) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10194175B2 (en) * | 2007-02-23 | 2019-01-29 | Xylon Llc | Video coding with embedded motion |
| US20130195371A1 (en) * | 2010-02-11 | 2013-08-01 | Thomson Licensing | Method for coding and for reconstruction of a block of an image sequence and corresponding devices |
| WO2013077650A1 (ko) * | 2011-11-23 | 2013-05-30 | 한국전자통신연구원 | 다시점 비디오 복호화 방법 및 장치 |
| EP2920969A4 (en) | 2012-11-13 | 2016-07-13 | Intel Corp | VIDEO CODEC ARCHITECTURE FOR VIDEOS OF THE NEXT GENERATION |
| JP6336058B2 (ja) | 2013-10-14 | 2018-06-06 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能 |
| KR102170169B1 (ko) | 2013-10-14 | 2020-10-26 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐 |
| WO2015054813A1 (en) | 2013-10-14 | 2015-04-23 | Microsoft Technology Licensing, Llc | Encoder-side options for intra block copy prediction mode for video and image coding |
| AU2014376061B8 (en) | 2014-01-03 | 2019-05-30 | Microsoft Technology Licensing, Llc | Block vector prediction in video and image coding/decoding |
| US10390034B2 (en) | 2014-01-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area |
| US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
| US10542274B2 (en) | 2014-02-21 | 2020-01-21 | Microsoft Technology Licensing, Llc | Dictionary encoding and decoding of screen content |
| KR102576562B1 (ko) | 2014-06-19 | 2023-09-07 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 통합된 인트라 블록 카피 및 인터 예측 모드 |
| KR102245704B1 (ko) | 2014-09-30 | 2021-04-27 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙 |
| WO2016197314A1 (en) | 2015-06-09 | 2016-12-15 | Microsoft Technology Licensing, Llc | Robust encoding/decoding of escape-coded pixels in palette mode |
| US10986349B2 (en) | 2017-12-29 | 2021-04-20 | Microsoft Technology Licensing, Llc | Constraints on locations of reference blocks for intra block copy prediction |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5699121A (en) * | 1995-09-21 | 1997-12-16 | Regents Of The University Of California | Method and apparatus for compression of low bit rate video signals |
| JP2002315004A (ja) * | 2001-04-09 | 2002-10-25 | Ntt Docomo Inc | 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム |
| ATE336763T1 (de) * | 2003-03-28 | 2006-09-15 | Digital Accelerator Corp | Transformations basiertes restbewegungsrahmen kodierungsverfahren mit übervollständiger basis und zugehörige vorrichtung zur videokompression |
| US7653133B2 (en) * | 2003-06-10 | 2010-01-26 | Rensselaer Polytechnic Institute (Rpi) | Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders |
| CN1813479A (zh) * | 2003-06-30 | 2006-08-02 | 皇家飞利浦电子股份有限公司 | 过完备小波域中的视频编码 |
| KR20060060000A (ko) * | 2003-08-05 | 2006-06-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 엔코딩 및 디코딩 방법들 및 장치들 |
| JP2007502561A (ja) * | 2003-08-12 | 2007-02-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオエンコードおよびデコードの方法および対応する装置 |
| JP4191729B2 (ja) * | 2005-01-04 | 2008-12-03 | 三星電子株式会社 | イントラblモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ/デコーダ |
| KR100703744B1 (ko) * | 2005-01-19 | 2007-04-05 | 삼성전자주식회사 | 디블록을 제어하는 fgs 기반의 비디오 인코딩 및디코딩 방법 및 장치 |
-
2007
- 2007-02-15 BR BRPI0716540-4A patent/BRPI0716540A2/pt not_active IP Right Cessation
- 2007-02-15 CN CNA2007800349523A patent/CN101518085A/zh active Pending
- 2007-02-15 KR KR1020097005789A patent/KR20090073112A/ko not_active Ceased
- 2007-02-15 CN CN2012102958552A patent/CN102833544A/zh active Pending
- 2007-02-15 WO PCT/US2007/004110 patent/WO2008036112A1/en not_active Ceased
- 2007-02-15 JP JP2009529167A patent/JP5529537B2/ja not_active Expired - Fee Related
- 2007-02-15 KR KR1020157009755A patent/KR20150047639A/ko not_active Ceased
- 2007-02-15 EP EP07750912A patent/EP2070334A1/en not_active Withdrawn
-
2012
- 2012-07-31 JP JP2012169948A patent/JP5639619B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008036112A1 (en) | 2008-03-27 |
| KR20090073112A (ko) | 2009-07-02 |
| JP5529537B2 (ja) | 2014-06-25 |
| EP2070334A1 (en) | 2009-06-17 |
| JP2012235520A (ja) | 2012-11-29 |
| JP5639619B2 (ja) | 2014-12-10 |
| JP2010504689A (ja) | 2010-02-12 |
| CN102833544A (zh) | 2012-12-19 |
| KR20150047639A (ko) | 2015-05-04 |
| CN101518085A (zh) | 2009-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5639619B2 (ja) | 複数経路ビデオ符号化及び復号化のための方法及び装置 | |
| Ozcelik et al. | Image and video compression algorithms based on recovery techniques using mean field annealing | |
| Chen et al. | Analysis and design of macroblock pipelining for H. 264/AVC VLSI architecture | |
| CN113016187A (zh) | 利用当前画面参照编码方式的视频区块编码或解码方法和装置 | |
| BR122020002127B1 (pt) | Método e dispositivo de derivação de valores de modo de predição de referência e codificação e decodificação de informação representando modos de predição, e meio de armazenamento | |
| WO2011064673A1 (en) | Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames | |
| KR20090095317A (ko) | 영상 부호화 및 복호화 방법 및 장치 | |
| JP2001028756A (ja) | コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置 | |
| JP2007501555A (ja) | ビデオエンコードおよびデコードの方法および対応する装置 | |
| CN103141092A (zh) | 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备 | |
| KR20120123132A (ko) | 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치 | |
| US20120163468A1 (en) | Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method | |
| US20100040146A1 (en) | Method and apparatus for multiple pass video coding and decoding | |
| JP7247345B2 (ja) | ビデオ復号化方法、ビデオ復号化装置、及びプログラム | |
| TW202402054A (zh) | 用於候選清單的相似性閾值 | |
| TWI866142B (zh) | 視訊編解碼方法及其電子裝置 | |
| TW202416713A (zh) | 仿射候選細化 | |
| TWI901089B (zh) | 針對合併模式運動向量差異細化的影片編解碼方法及其裝置 | |
| CN114286090B (zh) | 一种用于图像的帧内预测方法和装置 | |
| WO2026037376A1 (en) | Method and apparatus for non-separable transofrms for video coding | |
| TW202406349A (zh) | 視訊編解碼方法和裝置 | |
| TW202444101A (zh) | 視訊編解碼方法及相關裝置 | |
| Wang et al. | Improving intra coding in H. 264\AVC by image epitome | |
| TW202402059A (zh) | 視訊編解碼方法和裝置 | |
| TW202444099A (zh) | 用於視頻編碼的幀內塊複製模式或幀內模板匹配模式的通用變換的方法和裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] |
Free format text: REFERENTE A 10A ANUIDADE. |
|
| B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] | ||
| B15K | Others concerning applications: alteration of classification |
Ipc: H04N 19/583 (2014.01), H04N 19/30 (2014.01), H04N |