BRPI0611142A2 - método de codificação de vìdeo com suporte para escalabilidade de granularidade fina, codificador de vìdeo baseado em escabilidade de granularidade fina - Google Patents
método de codificação de vìdeo com suporte para escalabilidade de granularidade fina, codificador de vìdeo baseado em escabilidade de granularidade fina Download PDFInfo
- Publication number
- BRPI0611142A2 BRPI0611142A2 BRPI0611142-4A BRPI0611142A BRPI0611142A2 BR PI0611142 A2 BRPI0611142 A2 BR PI0611142A2 BR PI0611142 A BRPI0611142 A BR PI0611142A BR PI0611142 A2 BRPI0611142 A2 BR PI0611142A2
- Authority
- BR
- Brazil
- Prior art keywords
- frame
- base layer
- residue
- predicted
- fgs
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 130
- 230000033001 locomotion Effects 0.000 claims abstract description 280
- 239000013598 vector Substances 0.000 claims description 122
- 238000011002 quantification Methods 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 33
- 238000013139 quantization Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 3
- 230000003321 amplification Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 163
- 238000010586 diagram Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 239000003607 modifier Substances 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 230000000750 progressive effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 239000011229 interlayer Substances 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000499 effect on compression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Trata-se de um método para comoressão de um vetor de movimento (Motion Vector"- MV) de um primeiro macrobloco quando a região de uma primeira camada inferior correspondente ao primeiro macrobloco de um quadro de camada atual não possui um MV. O método inclui a interpolação do MV de um segunco macrobloco ao qual a região pertence, com base no MV de pelo menos um macrobloco vizinho, e previsão do MV do primeiro macrobloco utilizando o MV interpolado.
Description
MÉTODO DE CODIFICAÇÃO DE VÍDEO COM SUPORTE PARAESCALABILIDADE DE GRANULARIDADE FINA, CODIFICADOR DE VÍDEOBASEADO EM ESCALABILIDADE DE GRANULARIDADE FINA, EDECODIFICADOR DE VÍDEO BASEADO EM ESCALABILIDADE DSGRANULARIDADE FINA
Área Técnica
Os métodos e aparelhos associados com a presenteinvenção referem-se a codificação de vídeo, e referem-semais particularmente a uma codificação de vídeo que reduz aquantidade de operações de computação necessárias para umalgoritmo de Escalabilidade de Granularidade FinaProgressiva ("Progressive Fine Granular Scalability"PFGS} baseado em múltiplas camadas.
Técnica Anterior
À medida que a tecnologia de informação ecomunicação, incluindo a Internet, se desenvolve, ocorreuma crescente presença de serviços de multimídia contendodiversos tipos de informações tais como texto, vídeo, auaioe assim por diante. Os dados de multimídia requerem umagrande capacidade em mídia de armazenamento e uma grandelargura de banda para transmissão, devido ao fato de asquantidades de dados de multimídia serem normalmente muitograndes. Desta forma, um método de codificação dpcompressão constitui um requisito para transmissão de dadosde multimídia incluindo texto, vídeo e áudio.
Um princípio básico da compressão de dados consistena eliminação de redundância nos dados. Os dados podem sercompactados mediante eliminação de redundância espacial talcomo no caso em que um objeto idêntico ou uma cor idênticaé repetido(a) em uma imagem, mediante eliminação deredundância temporal tal como em um caso em que ocorrempoucas mudanças ente quadros adjacentes de uma imagem emmovimento ou em que é repetido um som de áudio idêntico, ouredundância visual mental em que é levado em consideração aas limitações humanas de percepção e capacidade visual paraaltas freqüências. Na codificação de video em geral, aredundância temporal é eliminada por filtragem temporal combase em compensação de movimento e a redundância espacial éeliminada mediante transformação espacial.
Para transmissão de dados de multimídia após tersido removida a redundância de dados, são necessáriasmídias de transmissão. Diferentes tipos de mídias detransmissão para multimídia apresentam desempenhosdiferentes. As mídias de transmissão atualmente utilizadaspossuem diversas velocidades de transmissão. Por exemplouma rede de comunicações de ultra-alta velocidade podetransmitir dados a uma taxa de transmissão de váriasdezenas de megabits por segundo, enquanto uma rede móvel decomunicações tem uma taxa de transmissão de 384 kilobitspor segundo. Para suporte de mídias de transmissão comdiversas Velocidades ou para transmissão de multimídia,métodos de codificação de dados com recursos deescalabilidade podem ser adequados para um ambiente demultimídia.
A escalabiiidade significa a capacidade dedecodificação parcial de uma única seqüência de bitscompactada. A escalabiiidade inclui escalabiiidade espacialindicando uma resolução de vídeo, uma escalabiiidade derazão de sinal-para-ruído ("Signal-to-Noise Ratio" - SNR)indicando um nível de qualidade de vídeo, e escalabiiidadetemporal indicando uma taxa de quadros.
Um trabalho de preparação de normas paraimplementação de escalabiiidade de múltiplas camadas combase no padrão H.264 de Extensão Escalável ("H. 264Scalable Extension" - doravante aqui designado como Ή. 2 64SE") encontra-se atualmente em curso de realização por umaequipe mista de vídeo ("Joint Video Team" - JVT} reunindomembros da entidade MPEG ("Motion Picture Experts Group") eda entidade ITU ("International Telecommunication Union").
Para suporte de escalabiiidade de SNR, as técnicasexistentes de Escalabiiidade de Granularidade Fina ("FineGranular Scalability" - FGS) estão sendo adotadas pelaequipe JVT.
A FIG. 1 é um diagrama para explicação de umatécnica convencional de Escalabiiidade de GranularidadeFina (FGS). Um codec baseado em FGS realiza codificaçãomediante divisão de uma seqüência de bits de vídeo em umacamada de base e uma camada FGS. Ao longo de todo opresente relatório descritivo, é utilizada uma notação (')para indicar uma imagem reconstruída obtida após umaoperação de quantificação/quantificação inversa. Maisespecificamente, um bloco PB previsto de um bloco MB' em umquadro 11 de camada de base de lado esquerdo reconstruído ede um bloco NB' em um quadro 12 de camada de base de ladodireito reconstruído utilizando um vetor de movimento ésubtraído de um bloco 0 em um quadro atual original 12 paraobtenção de um bloco de diferença RB. Desta forma, o blocode diferença RB pode ser definido pela Equação (1):
R3 = 0 - Pb - 0 - (Mb' +Nb' ) /2 ... (1)
O bloco de diferença Rb é quantificado por umaetapa de quantificação de camada de base QPb(RBq) e é emseguida submetido a quantificação inversa para obtenção deum bloco de diferença reconstruído Rb' . Um resíduo entre obloco de diferença não quantificado Rb e o bloco dediferença reconstruído Rb, o bloco Δ, correspondente aoresíduo, é quantificado com um tamanho de etapa dequantificação QPf menor que o tamanho da etapa dequantificação de camada de base QPb (uma taxa de compressãodecresce com um decréscimo do tamanho da etapa dequantificação). O bloco Δ quantificado é indicado como Δ°.O bloco de diferença quantificado RBQ na camada de base e obloco quantificado Aq na camada FGS são eventualmentetransmitidos para um decodificador.
A FIG. 2 é um diagrama para explicação de umatécnica convencional de escalabilidade de granularidadefina progressiva ("Progressive Fine Granular Scalability" -PFGS). Uma técnica FGS convencional utiliza um resíduo R3'de camada de base reconstruída quantificado para redução daquantidade de dados em uma camada FGS. Fazendo referência àFIG. 2, uma técnica de PFGS utiliza o fato de a qualidadedos quadros de referência dos lados esquerdo e direito deuma camada FGS serem igualmente aperfeiçoados por umatécnica FGS. Isto é, a técnica PFGS envolve o cálculo de umnovo bloco de diferença Rf utilizando quadros de referênciarecentemente atualizados de lados esquerdo e direito 21 e23 e quantificação de um resíduo entre o novo bloco dediferença Rf e ura bloco Ra' de camada de base quantificado,dessa forma aperfeiçoando o desempenho de codificação. Onovo bloco de diferença RF é definido pela Equação (2):
Rf = O - Pf = O - (Mf'+Nf')/2 ...(2)
em que Mf' e Nf' indicam respectivamente regiõesnos quadros de referência reconstruídos de lados esquerdo edireito 21 e 23 em uma camada FGS correspondentes a vetoresde movimento apropriados.
A técnica PFGS é vantajosa relativamente à técnicaFGS na medida em que é possível reduzir a quantidade dedados em uma camada FGS devido à alta qualidade dos quadrosde referência dos lados esquerdo e direito. Devido ao fatode a camada FGS requerer igualmente compensação demovimento separada, a quantidade de operações de computaçãoaumenta. Ou seja, muito embora a técnica PFGS proporcioneum desempenho aperfeiçoado relativamente à técnica FGSconvencional, ela requer uma grande quantidade de operaçõesde computação devido ao fato de ser realizada compensaçãode movimento para cada camada FGS para geração de um sinalprevisto e um sinal residual entre o sinal previsto e osinal original. Os codecs de vídeo recentementedesenvolvidos interpolam um sinal de imagem com umaprecisão de 1/2 ou 1/4 de pixel para compensação demovimento. Quando a compensação de movimento é realizadacom uma precisão de 1/4 de pixel, deverá ser gerada umaimagem com um tamanho correspondente ao quádruplo daresolução de uma imagem original.
Divulgação da Invenção
Problema Técnico
A técnica SE do padrão H.264 utiliza um filtro deseis derivações como filtro de interpolação de 1/2 pixelque envolve uma considerável complexidade computacional,requerendo uma quantidade significativa de operações decomputação para compensação de movimento. Isto complica osprocessos de codificação e decodificação, requerendo dessaforma maiores recursos de sistema. Em particular, estadesvantagem pode ser bastante problemática em uma área querequeira codificação e decodificação em tempo real, talcomo em video-conferência ou difusão em tempo real.
Solução Técnica
A presente invenção proporciona um método e umaparelho para redução de uma quantidade de operações decomputação necessárias para compensação de movimento comsimultânea manutenção do desempenho de um algoritmo deescalabilidade de granularidade fina progressiva("Progressive Fine Granular Scalability" - PFGS).
De acordo com um aspecto da presente invenção, éprovido um método de codificação de vídeo com suporte paraFGS, o método de codificação de video incluindo a obtençãode uma imagem prevista para um quadro atual medianteutilização de um vetor de movimento com estimativa deprecisão previamente determinada, quantificação de umresíduo entre o quadro atual e a imagem prevista,quantificação inversa do resíduo quantificado e geração deuma imagem reconstruída para o quadro atual, realização decompensação de movimento em um quadro de referência decamada FGS e um quadro de referência de camada de base comutilização do vetor de movimento estimado, cálculo de umresíduo entre o quadro de referência de camada FGS comcompensação de movimento e o quadro de referência de camadade base com compensação de movimento, subtração da imagemreconstruída para o quadro atual e resíduos calculados doquadro atual, e codificação do resultado da subtração.
De acordo com um outro aspecto da presenteinvenção, é provido um método de codificação de vídeo comsuporte para FGS, o método de codificação de vídeoincluindo a obtenção de uma imagem prevista para um quadroatual mediante utilização de um vetor de movimento comestimativa de precisão previamente determinada,quantificação de um resíduo entre o quadro atual e a imagemprevista, quantificação inversa do resíduo quantificado, egeração de uma imagem reconstruída para o quadro atual,realização de compensação de movimento em um quadro dereferência de camada FGS e um quadro de referência decamada de base mediante utilização do vetor de movimentoestimado e geração de um quadro previsto para a camada FGSe um quadro previsto para a camada de base,respectivamente, cálculo de um resíduo entre o quadroprevisto para a camada FGS e o quadro previsto para acamada de base, subtração da imagem reconstruída e doresíduo do quadro atual, e codificação do resultado dasubtração.
De acordo com um outro aspecto ainda da presenteinvenção, é provido um método de codificação de vídeo comsuporte para FGS, o método de codificação de vídeoincluindo a obtenção de uma imagem prevista para um quadroatual utilizando um vetor de movimento com estimativa deprecisão previamente determinada, quantificação de umresíduo entre o quadro atual e a imagem prevista,quantificação inversa do resíduo quantificado, e geração deuma imagem reconstruída para o quadro atual, cálculo de umresíduo entre um quadro de referência de camada FGS e umquadro de referência de camada de base, realização decompensação de movimento no resíduo mediante utilização dovetor de movimento estimado, subtração da imagemreconstruída e do resultado com compensação de movimento doquadro atual, e codificação do resultado da subtração.
De acordo com um outro aspecto ainda da presenteinvenção, é provido um método de codificação de vídeo comsuporte para escalabilidade de granularidade fina (FGS) , ométodo de codificação de video incluindo a obtenção de umaimagem prevista para um quadro atual mediante utilização deum vetor de movimento com estimativa de precisãopreviamente determinada, realização de compensação demovimento em um quadro de referência de camada FGS e umquadro de referência de camada de base mediante utilizaçãode um vetor de movimento com menor precisão que a precisãodo vetor de movimento estimado, cálculo de um resíduo entreos quadros de referência com compensação de movimento decamada FGS e de camada de base, subtração da imagemprevista e do resíduo do quadro atual, e codificação doresultado da subtração.
De acordo com um outro aspecto ainda da presenteinvenção, é provido um método de codificação de vídeo comsuporte para FGS, o método de codificação de vídeoincluindo a obtenção de uma imagem prevista para o quadroatual mediante utilização de um vetor de movimento comestimativa de precisão previamente determinada, realizaçãode compensação de movimento em um quadro de referência decamada FGS e um quadro de referência de camada de basemediante utilização de um vetor de movimento com umaprecisão menor que a do vetor de movimento estimado egeração de um quadro previsto para a camada FGS e um quadroprevisto para a camada de base, respectivamente, cálculo deum resíduo entre o quadro previsto para a camada FGS e oquadro previsto para a camada de base, subtração da imagemprevista e do resíduo calculado do quadro atual, ecodificação do resultado da subtração.
De acordo com um outro aspecto ainda da presenteinvenção, é provido um método de codificação de vídeo comsuporte para FGS, o método de codificação de vídeoincluindo a obtenção de uma imagem prevista para um quaoroatual mediante utilização de um vetor de movimento com umaestimativa de precisão previamente determinada, cálculo deum resíduo entre um quadro de referência de camada FGS e UKiquadro de referência de camada de base, realização decompensação de movimento no resíduo mediante utilização deum vetor de movimento com uma precisão menor que a do vetorde movimento estimado, subtração da imagem reconstruída edo resultado com movimento compensado do quadro atual, ecodificação do resultado da subtração.
De acordo com um outro aspecto da presenteinvenção, é provido um método de decodificação de vídeo comsuporte para FGS, o método de decodificação de vídeoincluindo a extração de dados de textura de camada de basee dados de textura de camada FGS e vetores de movimento deuma seqüência de bits de entrada, reconstrução de um quadrode camada de base dos dados de textura de camada de base,realização de compensação de movimento em um quadro dereferência de camada FGS e um quadro de referência decamada de base mediante utilização dos vetores demovimento, cálculo de um resíduo entre o quadro dereferência de camada FGS com compensação de movimento e oquadro de referência de camada de base com compensação demovimento, e adição mútua do quadro de camada de base, dosdados de textura de camada FGS, e do resíduo.
De acordo com um aspecto adicional da presenteinvenção, é provido um codificador de video baseado em FGSincluindo um elemento que obtém uma imagem prevista para umquadro atual mediante utilização de um vetor de movimentoestimado com uma precisão previamente determinada, umelemento que quantifica um resíduo entre o quadro atual e aimagem prevista, quantificando inversamente o resíduoquantificado, e gerando uma imagem reconstruída para oquadro atual, um elemento que realiza compensação demovimento em um quadro de referência de camada FGS e umquadro de referência de camada de base utilizando o vetorde movimento estimado, um elemento que calcula um resíduoentre os quadros de referência com compensação de movimentode camada FGS e de camada de base, um elemento que subtraia imagem reconstruída e o resíduo do quadro atual, e umelemento que codifica o resultado da subtração.
De acordo com um aspecto ainda adicional dapresente invenção, é provido um decodificador de vídeobaseado em FGS, o codificador de vídeo incluindo umelemento que extrai dados de textura de camada de base,dados de textura de camada FGS e vetores de movimento deuma seqüência de bits de entrada, um elemento quereconstrói um quadro de camada de base a partir dos dadosde textura de camada de base, um elemento que realizacompensação de movimento em um quadro de referência decamada FGS e um quadro de referência de camada de baseutilizando o vetor de movimento e gerando um quadro decamada FGS previsto e um quadro de camada de base previsto,um elemento que calcula um resíduo entre o quadro de camadaFGS previsto e o quadro de camada de base previsto, e umelemento que adiciona entre si os dados de textura, oquadro de camada de base reconstruído, e o resíduo.
Descrição dos Desenhos
Os aspectos acima e outros aspectos da presenteinvenção irão tornar-se mais aparentes mediante umadescrição detalhada de configurações exemplares da mesmacom referência aos desenhos em anexo, nos quais:
A FIG. 1 é um diagrama para explicação de umatécnica FGS convencional;
a FIG. 2 é um diagrama para explicação de umatécnica progressiva PFGS convencional;
a FIG- 3 é um diagrama ilustrativo de uma técnicade escalabilidade de granularidade fina progressiva("Progressive Fine Granular Scalability" - PFGS) rápida, deacordo com uma configuração exemplar da presente invenção;
a FIG. 4 é um diagrama de blocos de um codificadorde vídeo de acordo com uma configuração exemplar dapresente invenção;
a FIG. 5 é um diagrama de blocos de um codificadorde vídeo de acordo com uma outra configuração exemplar dapresente invenção;as FIGS. 6 e 7 são diagramas de blocos decodificadores de video de acordo com configuraçõesexemplares adicionais da presente invenção;
a FIG. 8 é um diagrama de blocos de umdecodificador de video de acordo com uma configuraçãoexemplar da presente invenção;
a FIG. 9 é um diagrama de blocos de umdecodificador de video de acordo com uma outra configuraçãoexemplar da presente invenção;
as FIGS. 10 e 11 são diagramas de blocos dedecodificadores de video de acordo com uma configuraçãoexemplar adicional da presente invenção; e
a FIG. 12 é um diagrama de blocos de um sistemapara realização de um processo de codificação oudecodificação de acordo com uma configuração exemplar dapresente invenção.
Modo da Invenção
A presente invenção será agora mais plenamentedescrita com referência aos desenhos em anexo, nos quaissão ilustradas configurações exemplares da invenção.
As vantagens e características da presente invençãoe os métodos de obtenção respectivos poderão ser maisprontamente entendidos mediante referência à descriçãodetalhada que se encontra a seguir de configuraçõesexemplares, bem como mediante referência aos desenhos emanexo. Entretanto, a presente invenção poderá serconfigurada de muitas formas diferentes e não deverá serinterpretada como encontrando-se limitada às configuraçõesexemplares aqui apresentadas. Na realidade, estasconfigurações exemplares são apresentadas para que apresente divulgação seja consistente e completa e transmitaplenamente o conceito da invenção para aqueles que sãoversados na técnica, sendo que a presente invenção serásomente definida pelas reivindicações em anexo. Numerais dereferência idênticos referem elementos idênticos deprincipio a fim do relatório descritivo.
A FIG. 3 é um diagrama para ilustração de umatécnica PFGS de acordo com uma primeira configuraçãoexemplar da presente invenção.
Fazendo referência à FIG. 3, tal como na FIG. 2, Δera uma camada FGS será quantificado de acordo com ura.algoritmo PFGS e definido simplesmente pela Equação (3):
Δ = Rf - Rb ' . . . (3 )
Rf é definido pela Equação (2) acima e Rb' édefinido pela Equação (4):
Re' =O' - Pb = 0'- (MB'+NS' ) /2 ... (4)
em que O1 é uma imagem reconstruída mediante
quantificação de uma imagem original 0 com um tamanho deetapa de quantificação de camada de base QPb seguida dequantificação inversa da imagem quantificada.
Substituindo-se as Equações (2} e (4) para aEquação (3) é obtida a Equação (5):
Δ = 0 - {MF'+NF')/2 - [0« - ( Mb ' +N3' ) / 2 ] ...(5)
Fazendo referência à FIG. 3, Δκ e Δκ indicam umresíduo entre os quadros de referência do lado esquerdo MF'e Mb' na camada de base e na camada FGS e um resíduo entreos quadros de referência de lado direito Nf' e Nb' nacamada de base e na camada FGS, respectivamente, e sãodefinidos pela Equação (6) :
Δμ = MF'-MB'
Δν = Nf'-Nb' ... (6)
Substituindo-se a Equação (6) para a Equação (5) , Δpode ser definido pela Equação (7):
A = O-C - (Δμ+Δν)/2 ...{!)
Conforme se encontra ilustrado na Equação (7), umcodificador pode obter A mediante subtração da imagem decamada de base reconstruída 0' obtida mediantequantificação da imagem original 0 com o tamanho de etapade quantificação de camada de base QPb com subseqüentequantificação inversa da imagem quantificada e uma médiados resíduos entre cada um, do quadro de referência de basee do quadro de referência de camada FGS e a imagem original0, isto é, (Am+An)/2. Um decodificador reconstrói a imagemoriginal 0 mediante adição entre si da imagem de camada debase reconstruída 0' , A, e a média dos resíduos entre oquadro de referência de camada de base e o quadro dereferência de camada FGS.
Em um algoritmo PFGS convencional, a compensação demovimento é realizada mediante utilização de um vetor demovimento com uma precisão de um pixel ou sub-pixel (1/2pixel ou 1/4 de pixel) obtida por estimativa de movimento.Recentemente, para aumento da eficiência de compressão, aestimativa de movimento e a compensação são tipicamenterealizadas de acordo com diversas precisões de pixels talcomo uma precisão de meio pixel, ou uma precisão de quartode pixel. Na técnica PFGS convencional, uma imagem previstagerada por compensação de movimento com, por exemplo umaprecisão de 1/4 pixel, é conformado em pixels de númerointeiro. Em seguida é realizada quantificação em um resíduoentre uma imagem original e a imagem prevista. Neste caso,a conformação é um processo de restauração de uma imagem dereferência com interpolação 4x para a imagem de tamanhooriginal mediante realização de estimativa de movimento comprecisão de 1/4 pixel. Por exemplo, um de cada quatropixels poderá ser selecionado durante o processo deconformação.
Entretanto, os dados Δ na camada FGS a seremquantificados para PFGS rápida de acordo com a presenteinvenção, conforme a definição proporcionada pela Equação(7), que apresentam pouca eficiência de compressão, nãoprecisam ser submetidos a estimativa de movimento com altaprecisão de pixel. A estimativa de movimento e acompensação são aplicados somente ao terceiro termo(ΔΜ+ΔΜ)/2 no lado direito da Equação (7). Entretanto,devido ao fato de o terceiro termo ser representado naforma de resíduos inter-camadas entre quadros dereferência, não é altamente eficiente realizar estimativa ecompensação de movimento com uma elevada precisão de pixel.Ou seja, devido ao fato de a imagem residual resultanteentre uma imagem em uma camada de base com movimentocompensado com uma precisão de pixel previamentedeterminada e uma imagem em uma camada de aperfeiçoamentocom movimento compensado com a precisão de pixel serinsensível à precisão de pixel, a técnica PFGS rápidapermite uma estimativa e compensação de movimento comprecisão de pixel mais baixa que a técnica PFGSconvencional.
De acordo com uma segunda configuração exemplar, Δna Equação (5) na primeira configuração exemplar podeigualmente ser representado como um resíduo entre sinaisprevistos Pf e Pb conforme se encontra ilustrado na Equação(8). Pf e Pb são iguais a (Mf' +Nf' } /2 e (Mb' +N3') /2,respectivamente.
A = O-O' - (Pf-Pb) ... (8)
As primeira e segunda configurações exemplares sãodistintas entre si conforme é referido a seguir. Naprimeira configuração exemplar, os resíduos Δκ e ΔΝ entreas imagens de referência de camada FGS e as imagens dereferência de camada de base são em primeiro lugarcalculados e subseqüentemente divididos por 2. Na segundaconfiguração exemplar, o resíduo Pf-Pb entre a imagem decamada FGS prevista Pf e a imagem de camada de baseprevista Pb é calculado após o cálculo das imagensprevistas Pf e Pb nas duas camadas. Isto é, muito embora osalgoritmos de PFGS rápida de acordo com as primeira esegunda configurações exemplares sejam implementados dediferentes maneiras, é possível obter o resultado (Δ) docálculo.
Tanto na primeira quanto na segunda configuraçãoexemplar, a compensação de movimento é realizada emprimeiro lugar, sendo subseqüentemente calculado um resíduoentre imagens. Em uma terceira configuração exemplar dapresente invenção, pode ser calculado em primeiro lugar umresíduo entre imagens de referência em diferentes camadas,com subseqüente realização de compensação de movimento.
Desta forma, de acordo com a terceira configuração exemplarda presente invenção, devido ao fato de a compensação demovimento ser realizada em um resíduo, o preenchimento emáreas limítrofes tem pouco efeito sobre a imagemresultante. Desta forma, é possível omitir um processo depreenchimento de áreas limítrofes. O preenchimento de áreaslimítrofes é o processo de duplicação de pixels em áreaslimítrofes na vizinhança dos pixels considerando-se que aequiparação de blocos em uma área limítrofe de quadro érestringida durante a estimativa de movimento.
Na terceira configuração exemplar da presenteinvenção, um resíduo Δ pode ser definido pela Equação (9):
A = O-O' - [(me (MF'-Mb1 )+mc(Nf'-Nb ' } ) /2 ...(95
em que mc (.) indica uma função para realização decompensação de movimento.
Muito embora seja utilizada uma técnica PFGSconvencional para realização de previsão direta (estimativae compensação de movimento) para cálculo de Rf ou Rsconforme definição proporcionada pela Equação (3) , osalgoritmos de PFGS rápida de acordo com as primeira atéterceira configurações exemplares da presente invenção sãoutilizados para cálculo de um resíduo entre imagensprevistas ou previsão de um resíduo entre imagens dereferência. Desta forma, o desempenho de PFGS rápida dapresente invenção é apenas levemente afetado pela, ou éinsensível à, interpolação utilizada para aumentar aprecisão de pixel do vetor de movimento.
Desta forma, poderá ser omitida a interpelação dequarto de pixel ou meio pixel. Adicionalmente, um filtrobilinear que requer uma quantidade reduzida de operações decomputação poderá ser utilizado ao invés de um filtro deinterpolação de meio pixel utilizado no padrão H.264, querequer uma grande quantidade de operações de computação.Por exemplo, um filtro bilinear pode ser aplicado aosterceiros termos nos lados direitos das Equações (7) até(9). Isto pode reduzir a degradação de desempenho emcomparação com o caso em que um filtro bilinear é aplicadodiretamente a um sinal previsto para obtenção de Rf e Rbtal como em um algoritmo PFGS convencional.
O princípio das primeira até terceira configuraçõesexemplares da presente invenção é baseado na Equação (3) .Em outras palavras, a implementação destas configuraçõesexemplares parte da suposição de que é necessário codificarum resíduo entre um resíduo Rf de camada FGS e um resíduoR3 de camada de base. Entretanto, quando o resíduo obtidoda camada FGS é muito pequeno, isto é, quando umacorrelação temporal é muito próxima, os algoritmos de PFGSrápida referidos acima de acordo com as primeira atéterceira configurações exemplares poderão degradar atécerto ponto o desempenho de codificação. Neste caso, acodificação somente do resíduo obtido da camada FGS, istoé, Rf na Equação (3), poderá proporcionar um melhordesempenho de codificação. Isto é, de acordo com uma quartaconfiguração exemplar da presente invenção, as Equações (7)até (9) poderão ser modificadas para as Equações (10) até(12).
Δ = O-P3- (Δμ+Δν) /2 ...{10)
Δ = O-PB-(PF-P3) . . . (11)
Δ = O-Pb-[ (mc (Mf'-M8')+mc (Nf1-Nb* ))/2 ...(12)
Nas Equações (10) até (12) , a imagem de camada debase reconstruída 0' é substituída por uma imagem previstaPb para uma imagem de camada de base. Como é evidente, nãoé possível aplicar interpolação aos terceiros termos dolado direito das Equações (10) até (12), ou poderá serutilizado para interpolação um filtro bilinear requerendouma quantidade reduzida de operações de computação.
A imagem prevista Pb que ocorre duas vezes naEquação (11) não é necessariamente a mesma. Um vetor demovimento estimado pode ser utilizado durante a compensaçãodo movimento para geração da imagem prevista P3 em umsegundo termo. Por outro lado, um vetor de movimento commenor precisão que o vetor de movimento estimado ou umfiltro requerendo uma quantidade reduzida de operações decomputação (por exemplo, um filtro bilinear) poderá serutilizado durante a compensação de movimento para geraçãode Pb e Pf em um terceiro termo.
Um algoritmo PFGS em que um quadro atual éreconstruído mediante utilização de quadros de referênciatanto de lado esquerdo quanto de lado direito reconstruídossofre um erro de desvio que ocorre quando a degradação dequalidade da imagem em ambos os quadros de referênciaesquerdo e direito é refletida cumulativamente em um quadroatual. O erro de desvio pode ser reduzido por um método deprevisão com fuga ("leaky prediction") mediante utilizaçãode uma imagem prevista criada por uma soma ponderada de umaimagem prevista obtida de ambos os quadros de referência euma imagem prevista obtida de uma camada de base.
De acordo com um método de previsão com fuga("leaky prediction") utilizado em PFGS convencional, ovalor sendo codificado em uma camada FGS é expresso pelaEquação (13) :
Δ = O-Pfl-[αΡF + (1-α)ΡΒ] ...(13)
A Equação (13) pode ser convertida para a Equação(14) de acordo com uma quinta configuração exemplar dapresente invenção:
Δ = O-Pb-CC (Pf-Pb) . . . (14)
Para obtenção da Equação (14), um fator deponderação α somente pode ser aplicado ao resíduo (Pf-P3)entre imagens previstas na Equação (11) . Desta forma, apresente invenção pode igualmente ser aplicada a um métodode previsão com fuga ("leaky prediction"). Isto é, poderáser omitida a interpolação ou poderá ser aplicadainterpolação ao resíduo (Pf-Pb) mediante utilização de umfiltro bilinear com baixo requisito de computações. Nesteúltimo caso, o resultado da interpolação é multiplicadopelo fator de ponderação a.
A FIG. 4 é um diagrama de blocos de um codificadorde vídeo 100 de acordo com uma primeira configuraçãoexemplar da presente invenção.
Muito embora a invenção seja descrita com relação acada bloco como uma unidade básica de estimativa demovimento com referência às FIGS. 1 até 3, a técnica dePFGS rápida descrita a seguir será descrita relativamente acada quadro contendo o bloco. Para maior consistência deexpressão, um identificador do bloco é indicado por um 'F'subscrito indicando um quadro. Por exemplo, um quadrocontendo um bloco designado como Rb é indicado como Fr3.Como é evidente, é utilizada uma anotação (') para indicardados reconstruídos obtidos apósquantificação/quantificação inversa.
Um quadro atual F0 é alimentado para um dispositivo105 de estimativa de movimento, um dispositivo 115 desubtração, e um dispositivo 170 de cálculo de resíduos.
O dispositivo 105 de estimativa de movimentorealiza estimativa de movimento no quadro atual F0utilizando quadros vizinhos para obtenção de vetores demovimento MV1s. Os quadros vizinhos aos quais é feitareferência durante a estimativa de movimento serãodoravante aqui designados como 'quadros de referência'. Umalgoritmo de equiparação de bloco ("Block MatchingAlgorithm" - BMA) é normalmente utilizado para estimar omovimento de um determinado bloco. No algoritmo BMA, umdeterminado bloco é deslocado dentro de uma área depesquisa em um quadro de referência com uma precisão depixel ou sub-pixel e é determinado como vetor de movimentoum deslocamento com um mínimo de erro. Muito embora sejautilizado um bloco de movimento de tamanho fixo paraestimativa de movimento, a estimativa de movimento podefazer uso de uma técnica de equiparação de bloco de tamanhovariável de tipo hierárquico ("Hierarchical Variable SizeBlock Matching" - HVSBM).
Quando é realizada estimativa de movimento comprecisão de sub-pixel, é necessário que os quadros dereferência sejam submetidos a amostragem ascendente ousejam interpolados para uma resolução previamentedeterminada. Por exemplo, quando a estimativa de movimentoé realizada em precisões de 1/2 e 1/4 pixel, os quadros dereferência deverão ser atualizados ou interpolados por umfator de dois e quatro, respectivamente.
Quando o codificador 100 tem uma estrutura de codecde enlace aberto, os quadros vizinhos originais Fk e Fn sãoutilizados como quadros de referência. Quando o codificador100 tem uma estrutura de codec de enlace fechado, osquadros vizinhos reconstruídos Fmb' e Fnb' em uma camada debase são utilizados como quadros de referência. Muitoembora seja aqui suposto que o codificador 100 tem umaestrutura de codec de enlace fechado, o codificador 100poderá ter uma estrutura de codec de enlace aberto.
Os vetores de movimento MV's calculados pelodispositivo 105 de estimativa de movimento são fornecidos aum compensador de movimento 110. 0 compensador de movimento11.0 realiza compensação de movimento nos quadros dereferência FMb' e Fnb' utilizando os vetores de movimentoMVs e gera o quadro previsto Fpb para o quadro atual.Quando é utilizada previsão bidirecional, a imagem previstapode ser calculada como uma média de quadros de referênciacom movimento compensado. Quando é utilizada previsãounidirecional, a imagem prevista poderá ser idêntica aoquadro de referência com movimento compensado. Muito emboraseja aqui doravante suposto que a estimativa e compensaçãode movimento utilizam quadros de referência bidirecionais,será aparente para aqueles que são versados na técnica quea presente invenção pode utilizar um quadro de referênciaunidirecional.
O dispositivo 115 de subtração calcula um resíduoFrb entre a imagem prevista e a imagem atual paratransmissão para um transformador 120.
O transformador 120 realiza transformação espacialno resíduo Frb para criação de um coeficiente detransformação FRBT. 0 método de transformação espacial podeincluir uma transformação de co-seno distinto (".DiscreteCosine Transform" - DCT), ou transformação de onda pequena("Wavelet Transform"), Especificamente, os coeficientes detransformação DCT podem ser criados quando é empregada DCT,e os coeficientes de onda pequena podem ser criados quandofor empregada transformação de onda pequena.
Um quantificador 125 aplica quantificação aocoeficiente de transformação FrBt. A quantificação significaum processo de expressão dos coeficientes de transformaçãoformados em valores reais arbitrários por valoresdistintos, e equiparação dos valores distintos com índicesde acordo com a tabela de quantificação previamentedeterminada. Por exemplo, o quantificador 125 pode dividiro coeficiente de transformação de valor real por um tamanhode etapa de quantificação previamente determinado earredondar o valor resultante para o número inteiro maispróximo. Em geral, o tamanho de etapa de quantificação deuma camada de base é maior que o de uma camada FGS.
O resultado da quantificação, isto é, umcoeficiente de quantificação FrBq obtido pelo quantificador125 é fornecido para uma unidade 150 de codificação deentropia e um quantificador inverso 130.
O quantificador inverso 130 realiza quantificaçãoinversa do coeficiente de quantificação Frb0. Aquantificação inversa significa um processo dequantificação em sentido inverso para restauração cievalores equiparados com índices gerados durante aquantificação mediante utilização da mesma etapa dequantificação utilizada na quantificação.
Um transformador inverso 135 recebe o resultado daquantificação inversa e realiza uma transformação inversano resultado recebido. A transformação espacial inversapode consistir, por exemplo, em um processo de DCT inversaou uma transformação de onda pequena inversa, realizada emordem inversa com relação à transformação realizada pelotransformador 120. Um adicionador 140 adiciona o resultadotransformado inversamente à imagem prevista Fpb obtida docompensador de movimento 110 para geração de uma imagemreconstruída F0' para o quadro atual.
Uma memória de armazenamento temporário ("buffer")armazena o resultado da adição recebido do adicionador 140.
A memória de armazenamento temporário 145 armazena a imagemreconstruída F0' para o quadro atual bem como os quadros dereferência Fmb' e Fnb' de camada de base anteriormentereconstruídos.
Um modificador de vetor de movimento 155 altera aprecisão do vetor de movimento recebido MV. Por exemplo, ovetor de movimento MV com precisão de 1/4 de pixel pode terum valor de 0, 0,25, 0,5, ou 0,75. Conforme foi QescriLoacima, de acordo com as configurações exemplares dapresente invenção, existe pouca diferença de desempenho decodificação quando a compensação de movimento na camada FGSé realizada por um vetor de movimento MV com menor precisãode pixel que na camada de base. Desta forma, o modificador155 de vetor de movimento altera o vetor de movimento MVcom precisão de 1/4 de pixel para o vetor de movimento MVcom precisão de pixel inferior a uma precisão de 1/4 depixel, tal como 1/2 pixel ou 1 pixel. Esse procedimento dealteração pode ser realizado simplesmente truncando-se ouarredondando-se a parte decimal da precisão de pixel dovetor de movimento original.
Uma memória de armazenamento temporário 165armazena temporariamente os quadros de referência Fmf'*· Fnf1de camada FGS. Muito embora não sendo aqui ilustrado, osquadros de camada FGS reconstruídos Fmf' e Fnf' ou um quadrooriginal adjacente ao quadro atual podem ser utilizadoscomo os quadros de referência de camada FGS.
O compensador de movimento 160 utiliza o vetor demovimento modificado MVx para realizar compensação demovimento nos quadros de referência Fmb' e Fk3' de camada debase reconstruídos recebidos da memória de armazenamentotemporário 145 e nos quadros de referência FMf' e Fnf' decamada FGS reconstruídos recebidos da memória dearmazenamento temporário 165 e fornece os quadros comcompensação de movimento itic(Fmb')/ mc(FNB'), mc{FMF'), emc (FnfV) para o calculador residual 170. As designações FKf'e Fnf' indicam quadros de referência anterior e posteriorna camada FGS, respectivamente. As designações Fm3' e Figs'indicam quadros de referência anterior e posterior nacamada de base, respectivamente.
Quando é requerida interpolação para compensação demovimento, o compensador de movimento 160 pode utilizar umtipo de filtro de interpolação diferente daquele utilizadopara o dispositivo 105 de estimativa de movimento ou para ocompensador de movimento 110. Quando é utilizado, porexemplo, o vetor de movimento MVi com precisão de 1/2pixel, poderá ser utilizado para interpolação um filtrobilinear que requer uma quantidade reduzida de operações decomputação ao invés de um filtro de seis derivaçõesutilizado no padrão H.264. Devido ao fato de ser calculadoapós a interpolação um resíduo entre um quadro de camada debase com compensação de movimento e uma camada FGS comcompensação de movimento, o processo de interpolação afetaapenas minimamente a eficiência de compressão.
O calculador residual 170 calcula um resíduo entreo quadro de referência de camada FGS com compensação demovimento mc(FMF'), mc(FNF') e o quadro de referência decamada de base com compensação de movimento mc{FMS')/mc (Fkb' ) · Isto é, o calculador residual 170 calcula Δμ =mc(FMF') - mc (Fmb') e Δκ = mc(FNF') - mc(FNB'). Como éevidente, quando é utilizado um quadro de referênciaunidirecional, somente poderá ser calculado um resíduo.
Em seguida, o calculador residual 170 calcula umamédia dos resíduos ΔΜ e ΔΝ e subtrai a imagem reconstruídaF0' e a média dos resíduos ΔΜ e Δκ do quadro atual F0.Quando é utilizado um quadro de referência unidirecional,não é necessário o processo de cálculo da média.
0 resultado de subtração Fa obtido pelo calculadorresidual 170 é submetido a transformação espacial por umtransformador 175 sendo em seguida quantificado por umquantificador 180. 0 resultado quantificado Faq étransmitido para a unidade 150 de codificação de entropia.
O tamanho da etapa de quantificação utilizado noquantificador 180 é tipicamente menor que aquele utilizadono quantificador 125.
A unidade 150 de codificação de entropia realizacodificação sem perdas do vetor de movimento MV estimadopelo dispositivo 105 de estimativa de movimento, docoeficiente de quantificação FRBQ recebido do quantificador125, do resultado quantificado Faq recebido doquantificador 180, para uma seqüência de bits. Existemdiversos métodos de codificação sem perdas incluindocodificação aritmética, codificação de extensão variável, esimilares.
Alternativamente, muito embora não sendo ilustradonos desenhos, um codificador de video de acordo com umasegunda configuração exemplar da presente invenção pode tera mesma configuração e operação que o codificador de video100 ilustrado na FIG. 4, com exceção de um calculadorresidual.
Isto é, o calculador residual de acordo com asegunda configuração exemplar da presente invenção gera umquadro previsto para cada camada antes de calcular umresíduo entre quadros em diferentes camadas. Em outraspalavras, o calculador residual gera o quadro de camada FGSprevisto e um quadro de camada de base previsto medianteutilização de um quadro de referência de camada FGS comcompensação de movimento e de um quadro de referência decamada de base com compensação de movimento. O quadroprevisto pode ser calculado mediante simples ponderação demédia de dois quadros de referência com compensação demovimento. Como é evidente, quando é utilizada previsãounidirecional, o quadro com compensação de movimento podeser o próprio quadro previsto.
O calculador residual calcula então um resíduoentre os quadros previstos, e subtrai uma imagemreconstruída e o resíduo calculado de um quadro atual.
A FIG. 5 é um diagrama de blocos de um codificadorde vídeo 300 de acordo com uma terceira configuraçãoexemplar da presente invenção. Fazendo referência à FIG. 5,muito embora nas primeira e segunda configuraçõesexemplares o resíduo entre a imagem de referência de camadade base e a imagem de referência de camada FGS sejacalculado após a realização de compensação de movimento, ocodificador de vídeo 300 ilustrado realiza compensação demovimento após calcular o resíduo entre quadros dereferência nas duas camadas. Para ser evitada umaexplicação repetitiva, a descrição a seguir irá focalizaras características distintas entre as primeira e segundaconfigurações exemplares.Um dispositivo de subtração 390 subtrai quadros dereferência Fmb' e Fnb' de camada de base, que são recebidosde uma memória de armazenamento temporário 34 5, de quadrosde referência FMf' e Fnf' de camada FGS, que são recebidosde uma memória de armazenamento temporário 365, e forneceos resultados de subtração Fmf' ~ Fmb' e Fjjf' — Fnb1 para umcompensador de movimento 360. Quando é utilizado um quadrode referência unidirecional, somente existe um resíduo.
O compensador de movimento 360 utiliza um vetor demovimento modificado MVi recebido de um modificador 355 devetor de movimento para realização de compensação demovimento nos resíduos FMf' - Fmb' e Fkf' - Fnb' entre oquadro de referência de camada FGS e o quadro de referênciade camada de base recebidos do dispositivo de subtração390. Quando o vetor de movimento MV1 com precisão de 1/2pixel é utilizado durante a compensação de movimento,poderá ser utilizado para interpolação um filtro bilinearcom baixo requisito de computação ao invés de um filtro deseis derivações utilizado no padrão H.264. Conforme foidescrito acima, a interpolação tem pouco efeito sobre aeficiência de compressão.
Um calculador residual 370 calcula uma média entreos resíduos com compensação de movimento mc(FMF' - Fmb') emc(FKF' - Fsb') e subtrai a imagem reconstruída F0' e amédia do quadro atual F0. Quando é utilizado um quadro dereferência unidirecional, o processo de ponderação de médianão é requerido.As FIGS. 6 e 7 são diagramas de blocos de exemplosde codificadores de video 400 e 600 de acordo com umaquarta configuração exemplar da presente invenção. Fazendoem primeiro lugar referência à FIG. 6, diferentemente daprimeira configuração exemplar ilustrada na FIG. 4, umcalculador residual 470 no codificador de video 400 daconfiguração exemplar subtrai um quadro de camada de baseprevisto Fpb, ao invés do quadro de base reconstruído F01,do quadro atual F0.
Os codificadores de vídeo 400 e 600 de acordo com aquarta configuração exemplar ilustrados nas FIGS. 6 e 7correspondem às FIGS. 4 e 5 que ilustram codificadores devídeo 100 e 300 de acordo com as primeira e terceiraconfigurações exemplares. Fazendo referência em primeirolugar à FIG. 6, o calculador residual 470 subtrai a imagemde camada de base prevista Fpa recebida de um compensadorde movimento 410, ao invés da imagem de camada de basereconstruída F0', do quadro atual. Desta forma, ocalculador residual 470 subtrai a imagem prevista £pB e umamédia dos resíduos ΔΜ e Δκ do quadro atual F0 para obter umresultado de subtração Fa.
Similarmente, com referência à FIG. 7, o calculadorresidual 670 subtrai a imagem prevista Fpb e uma média dosresíduos com compensação de movimento mc (Fkf 1 - Fmb'5 emc(FNF' - Fnb'}) do quadro atual F0 para obtenção de umresultado de subtração F^.
Um exemplo de um codificador de vídeo de acordo comuma quarta configuração exemplar correspondente à s e-σ unaaconfiguração exemplar (não exibido) poderá ter a mesmaconfiguração e realizar a mesma operação conforme ilustradona FIG. 6, exceto com relação à operação do calculadorresidual 470. No codificador de vídeo da quartaconfiguração exemplar correspondente à segunda configuraçãoexemplar, o calculador residual 470 gera um quadro decamada FGS previsto Fpf e um quadro de camada de baseprevisto FSf utilizando um quadro de referência de camadaFGS com compensação de movimento mc(FMF'), mc(FNF') e umquadro de referência de camada de base com compensação demovimento mc(F®' ) , mc(FNB'), respectivamente. 0 calculadorresidual 4 70 calcula também um resíduo Fpf - Fpb entre osquadros previstos Fpf e Fpb e subtrai a imagem reconstruídaF0' e o resíduo Fpf - Fpb do quadro atual F0 para obtenção deum resultado de subtração F^.
Se for aplicada previsão com fuga ("leakyprediction"), o calculador residual 470 multiplica um fatorde ponderação α pelo resíduo Fpf - Fpb e subtrai a imagemreconstruída Fo' e o produto (α χ {Fpf - Fpb) ) do quadroatual F0 para obtenção de um resultado de subtração Fa-
A FIG. 8 é um diagrama de blocos de umdecodificador de vídeo 700 de acordo com uma primeiraconfiguração exemplar da presente invenção. Fazendoreferência à FIG. 8, uma unidade 701 de decodificação deentropia decodifica sem perdas uma seqüência de bits deentrada para extrair dados de textura de camada de baseF pbq, dados de textura de camada FGS Faq, e vetores demovimento MV's. A decodificação sem perdas é um processoinverso do processo de codificação sem perdas.
Os dados de textura de camada de ba se F03 e osdados de textura de camada FGS F^q são fornecidos paraquantificadores inversos 705 e 745, respectivamente, e osvetores de movimento MV's são fornecidos a um compensadorde movimento 720 e a um modificador de vetor de movimento730.
O quantificador inverso 705 aplica quantificaçãoinversa aos dados de textura de camada de base F?BQrecebidos da unidade 701 de decodificação de entropia. Aquantificação inversa é realizada em uma ordem inversa comrelação à da quantificação realizada pelo transformadorpara restauração de valores equiparados a índices geradosdurante a quantificação de acordo com uma etapa dequantificação previamente determinada^ utilizada naquantificação.
Um transformador inverso 710 realiza transformaçãoinversa no resultado quantificado inversamente. Atransformação inversa é realizada em uma ordem inversa comrelação à da transformação realizada pelo transformador.Especificamente, poderá ser utilizada transformação de DCTinversa, ou transformação de onda pequena inversa.
Um resíduo reconstruído Frb' é fornecido para umadicionador 715.
O compensador de movimento 720 realiza compensaçãocie movimento em quadros de referência de camada de basepreviamente reconstruídos FMb' e Fnb' armazenados em umamemória de armazenamento temporário 725 utilizando osvetores de movimento MV's extraídos para geração de umaimagem prevista Fpb, que é então enviada para o adicionador 715.
Quando é utilizada previsão bidirecional, a imagemprevista Fpb é calculada mediante ponderação de média dosquadros de referência com compensação de movimento. Quandoé utilizada previsão unidirecional, a imagem prevista Fpb éobtida como um quadro de referência com compensação demovimento.
O adicionador 715 adiciona entre si as entradas Frbe Fp3 para produzir como saída uma imagem de camada de basereconstruída F0' que é então armazenada na memória dearmazenamento temporário 725.
Um quantificador inverso 745 aplica quantificaçãoinversa aos dados de textura de camada FGS Faq, e umtransformador inverso 750 realiza transformação inversa noresultado inversamente quantificado Fat, para obtenção deum quadro reconstruído Fa(Fa') que é então fornecido a umreconstrutor de quadro 755.
O modificador 730 de vetor de movimento reduz onível de precisão do vetor de movimento MV extraído. Porexemplo, o vetor de movimento MV com uma precisão de 1/4 depixel poderá ter um valor de 0, 0,25, 0,5, ou 0,75. Omodificador 730 de vetor de movimento altera o vetor demovimento MV com precisão de 1/4 de pixel para um vetor demovimento MVi com uma precisão de pixel inferior à precisãode 1/4 de pixel, tal como 1/2 pixel ou 1 pixel.
Um compensador de movimento 735 utiliza o vetor demovimento modificado MVx para realizar compensação demovimento em quadros de referência de camada de basereconstruídos Fmb' e Fnb' recebidos da memória dearmazenamento temporário 725 e quadros de referência decamada FGS reconstruídos Fmf' e Fnf' recebidos da memória dearmazenamento temporário 740 e fornece um quadro de camadade base com compensação de movimento mc(FMB'), rac (Flis'), eum quadro de camada FGS com compensação de movimentomc(FM?') , mc(FNF') para o dispositivo 755 de reconstrução dequadro.
Quando o vetor de movimento MVi com precisão de 1/2pixel, por exemplo, é utilizado durante a compensação demovimento, poderá ser utilizado para interpolação o filtrobilinear com baixo requisito de computação ao invés de umfiltro de seis derivações utilizado no padrão H.264. Oprocesso de interpolação tem pouco efeito sobre aeficiência de compressão.
O dispositivo 755 de reconstrução de quadro calculaum resíduo ΔΜ entre os quadros de referência de camada debase e de camada FGS com compensação de movimento mc(FKF'}e me (Fnf1), isto é, ΔΜ = me (Fmf') - mc(FM3'), è um resíduo ΔΝentre os quadros de referência de camada de base e decamada FGS com compensação de movimento mc{FNF') e h?.c(Fhb' ) ,isto é, Δν = mc(FNF') - mc(FNB')· Como é evidente, quando éutilizado um quadro de referência unidirecional, somentepoderá ser calculado um resíduo.
O dispositivo 755 de reconstrução de quadro calculatambém uma média dos resíduos ΔΜ e ΔΝ e adiciona a média,Fa', e a imagem de camada de base reconstruída Fc' entre sipara geração de uma imagem F0F' de camada FGS reconstruída.Quando é utilizado um quadro de referência unidirecional, oprocesso de ponderação de média não é requerido.
A memória de armazenamento temporário 740 armazenaentão a imagem reconstruída F0F' · Como é evidente, asimagens previamente reconstruídas Fmf' e FBf' podem serarmazenadas na memória de armazenamento temporário 740.
Alternativamente, um decodificador de vídeo deacordo com uma segunda configuração exemplar da presenteinvenção poderá ter a mesma configuração e realizar a mesmaoperação conforme ilustrado na FIG. 8 com exceção daoperação de um dispositivo de reconstrução de quadro. Istoé, o dispositivo de reconstrução de quadro de acordo com asegunda configuração exemplar gera um quadro previsto paracada camada antes de calcular um resíduo entre quadros nasduas camadas. Isto é, o dispositivo de reconstrução doquadro gera um quadro de camada FGS previsto e um quadro decamada de base previsto utilizando quadros de referência decamada FGS com compensação de movimento e quadros de camadade base com compensação de movimento. Os quadros previstospodem ser gerados mediante simples ponderação da média dosdois quadros de referência com compensação de movimento.Como é evidente, quando é utilizada previsão unidirecional,o quadro previsto consiste em um quadro com compensação demovimento propriamente dito.
0 dispositivo de reconstrução de quadro calculaentão um resíduo entre os quadros previstos, e adicionaentre si os dados de textura, o quadro de camada de basereconstruído, e o resíduo.
A FIG. 9 é um diagrama de blocos de umdecodificador de- vídeo 900 de acordo com uma terceiraconfiguração exemplar da presente invenção. Fazendoreferência à FIG. 9, diferentemente das primeira e segundaconfigurações exemplares em que a compensação de movimentoé realizada anteriormente ao cálculo de um resíduo entreuma imagem de referência de camada FGS e uma imagem dereferência de camada de base, o decòdificador de vídeo 900realiza compensação de movimento após o cálculo de umresíduo entre os quadros de referência nas duas camadas.
Para ser evitada uma explicação repetitiva, a descrição aseguir irá focalizar características distintas da primeiraconfiguração exemplar ilustrada na FIG. 4,
Um dispositivo de subtração 960 subtrai quadros dereferência de camada de base reconstruídos Fm31 e Fsb'recebidos de uma memória de armazenamento temporário 925,de quadros de referência de camada FGS Fmf' e Fnf' e forneceos resultados de subtração Fmf'- Fmb' e Fkf' - Fsb' para umcompensador de movimento 935. Quando é utilizado um quadrode referência unidirecional, somente existe uni resíduo.
O compensador de movimento 935 utiliza um vetor demovimento modificado MVi recebido de um modificador 930 devetor de movimento para realizar compensação de movimentonos resíduos Fmf1- Fmb' e Fnf' - Fnb' entre os quadros dereferência na camada FGS e na camada de base recebidos dodispositivo de subtração 960. Quando o vetor de movimentoMVi com precisão de 1/2 pixel é utilizado durante acompensação de movimento, poderá ser utilizado um filtrobilinear com baixo requisito de computação para ainterpolação ao invés de um filtro de seis derivaçõesutilizado no padrão H.264. Conforme foi descrito acima, ainterpolação tem pouco efeito sobre a eficiência decompressão.
O dispositivo de reconstrução de quadro 955 calculauma média entre os resíduos com compensação de movimento,isto é, uma média entre mc(FMF'- Fmb') e mc(FNF' - FNB!), eadiciona entre si a média calculada, Fa' recebida dotransformador inverso 950, e uma imagem de camada de basereconstruída F0' . Quando é utilizado um quadro dereferência unidirecional, o processo de ponderação de médianão é requerido.
As FIGS. 10 e 11 são diagramas de blocos deexemplos de decodificadores de vídeo 1000 e 1200 de acordocom uma quarta configuração exemplar da presente invenção.
Fazendo referência às FIGS. 10 e 11,correspondentes às FIGS. 8 e 9 que ilustram osdecodificadores de vídeo 700 e 900 de acordo com asprimeira e terceira configurações exemplares, osdispositivos 1055 e 1255 de reconstrução de quadroadicionam um quadro de camada de base previsto FP3, aoinvés do quadro de camada de base reconstruído Fc' .
Os decodificadores de vídeo 1000 e 1200 de acordocom a quarta configuração exemplar ilustrados nas FIGS. 10e 11 correspondem aos decodificadores de acordo com asprimeira e terceira configurações ilustrados nas FIGS. 8 e9, respectivamente.
Fazendo em primeiro lugar referência à FIG. 10,correspondente à FIG. 8, o compensador de movimento 1020fornece a imagem de referência de camada de base F©b para odispositivo 1055 de reconstrução de quadro, ao invés daimagem reconstruída F0' . Desta forma, o dispositivo .470 dereconstrução de quadro adiciona entre si Fa' recebida dotransformador inverso 1050, a imagem de camada de baseprevista Fpb, e uma média de resíduos inter-camadas ΔΜ e ΔΝpara obtenção da imagem de camada de base reconstruídaFof'.
Similarmente, fazendo referência à FIG. 11, odispositivo 1255 de reconstrução de quadro adiciona entresi Fa1 recebida de um transformador inverso 1250, a imagemde camada de base prevista Fpb recebida de um compensadorde movimento 1220, e uma média de resíduos com compensaçaode movimento mc(Fmf,_ Fmb') e mcíFur' - Fn31)) para obtençãode uma imagem de camada FGS reconstruída F0F' -Entretanto, o decodificador de video de acordo coma quarta configuração exemplar, correspondente aodecodificador de video de acordo com a segunda configuraçãoexemplar (não exibido) poderá ter a mesma configuração erealizar a mesma operação conforme a ilustração da FIG. 8com exceção da operação do dispositivo 1255 de reconstruçãode quadro. No decodificador de video da quarta configuraçãoexemplar correspondente à segunda configuração exemplar, odispositivo 1255 de reconstrução de quadro gera um quadrode camada FGS previsto Fpf e um quadro de camada de baseprevisto Fbf utilizando os quadros de referência de camadaFGS com compensação de movimento mc(FMF') e mc(FNF') e osquadros de referência de camada FGS com compensação demovimento mc(FMB') e mc(FNB')· 0 dispositivo 1255 dereconstrução de quadro também calcula ura resíduo Fpf - Fp3entre um quadro de camada FGS previsto Fpf e um quadro decamada de base previsto Fpb e adiciona entre si Fa' recebidado transformador inverso 1250, a imagem prevista Fpbrecebida do compensador de movimento 1220, e o resíduo Fpf- Fpb para obtenção da imagem reconstruída Fof' .
Quando é aplicada previsão com fuga ("leakyprediction") (quinta configuração exemplar), o dispositivo1255 de reconstrução de quadro multiplica um fator deponderação α pelo resíduo inter-camadas Fpf - Fpb e adicionaentre si F/\', F0' e o produto α χ (Fpf - Fp3) para obtençãode Fof'.
A FIG. 12 é um diagrama de blocos de um sistemapara realização de um processo de codificação oudecodificação utilizando um codificador de video 100, 300,400, 600 ou um decodificador de video 700, 900, 1000, 1200,de acordo com uma configuração exemplar da presenteinvenção. O sistema pode consistir em uma TV, umdispositivo do tipo utilizado para recepção de serviços porassinatura. {"Set-Top Box" - STB), um computador de mesa("desktop"), um computador portátil ("laptop"), ou umcomputador de bolso ("palmtop"), um assistente digitalpessoal ("Personal Digital Assistant" - PDA), umdispositivo de armazenamento de video ou imagens (porexemplo, um gravador de video cassete ("Video CassetteRecorder" - VCR), ou um gravador de video digital ("DigitalVideo Recorder" - DVR) . O sistema pode consistir em umacombinação dos dispositivos listados acima ou um outrodispositivo que incorpore os mesmos. Adicionalmente, osistema pode consistir em uma combinação dos aparelhosmencionados acima ou em um dos aparelhos incluindo umaparte de um outro aparelho entre os mesmos. O sistemainclui pelo menos uma fonte de video 1310, pelo menos umaunidade de entrada/saída 1320, um processador 1340, umamemória 1350, e uma unidade de exibição 1330.
A fonte de video 1310 pode ser um receptor de TV,um VCR, ou outro aparelho de armazenamento de video. Afonte de video 1310 pode indicar pelo menos uma conexão derede para recepção de um video ou uma imagem de um servidormediante utilização da Internet, de uma rede de área ampla("Wide Area Network" - WAN)., uma rede de área local ("LocalArea Network" - LAN) , um sistema de difusão terrestre, umarede de cabo, uma rede de comunicação por satélite, umarede sem fios, uma rede telefônica, ou similares.
Adicionalmente, a fonte de vídeo 1310 pode consistir em umacombinação das redes ou uma rede incluindo uma parte de umaoutra rede de entre as redes.
O dispositivo de entrada/saída 1320, o processador1340, e a memória 1350 comunicam entre si através de umamídia de comunicação 1360. A mídia de comunicação 1360 podeconsistir em um barramento de comunicações, uma rede decomunicações, ou pelo menos um circuito de conexão interna.Os dados de vídeo de entrada recebidos da fonte de vídeo1310 podem ser processados pelo processador 1340 utilizandopelo menos um programa de software armazenado na memória1350 e podem ser executados pelo processador 1340 parageração de uma saída de vídeo que é fornecida à unidade deexibição 1330.
Em particular, o programa de software armazenado namemória 1350 inclui um codec baseado em onda pequenaescalável que executa um método da presente invenção. Ocodec pode ser armazenado na memória 1350, pode ser lido deuma mídia de armazenamento tal como um disco compacto dememória somente de leitura ("Gompact Disc - Read OnlyMemory" - CD-ROM) ou um disquete, ou pode ser "baixado"{"downloaded") de um servidor previamente determinadoatravés de uma diversidade de redes.Aplicação Industrial
Conforme foi descrito acima, a presente invençãoproporciona codificação de vídeo que pode reduzirsignificativamente a quantidade de computações requeridaspara implementação de um algoritmo PFGS. Devido ao fato deum processo de decodificação ser modificado de acordo comum processo de codificação de vídeo da presente invenção, apresente invenção pode ser aplicada ao documentonormalizado H.264 SE.
Muito embora a presente invenção tenha sidoparticularmente ilustrada e descrita com referência aconfigurações exemplares da mesma, deverá ser entendido poraqueles que são normalmente versados na técnica que épossível realizar nas mesmas diversas alterações de forma edetalhes sem afastamento do escopo e espírito da presenteinvenção conforme definidos nas reivindicações que seencontram em anexo.
Claims (50)
1. MÉTODO DE CODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:obtenção de uma imagem prevista para um quadroatual mediante utilização de um primeiro vetor de movimentocom estimativa de precisão previamente determinada;quantificação de um resíduo entre o quadro atual ea imagem prevista, com quantificação inversa do resíduoquantificado e geração de uma imagem reconstruída para oquadro atual;realização de compensação de movimento em umquadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento;cálculo de um resíduo entre o quadro de referênciade camada FGS com compensação de movimento e o quadro dereferência de camada de base com compensação de movimento;subtração da imagem reconstruída para o quadroatual e do resíduo calculado do quadro atual; ecodificação de um resultado da subtração.
2. Método, de acordo com a reivindicação 1,caracterizado por a realização de compensação de movimentocompreender a geração do segundo vetor de movimentomediante alteração de uma precisão do primeiro vetor demovimento, e uma precisão do segundo vetor de movimentoutilizado na realização da compensação de movimento sermenor que a precisão do primeiro vetor de movimentoutilizado para obtenção da imagem prevista para o quadroatual.
3. Método, de acordo com a reivindicação 1,caracterizado por o resíduo calculado constituir uma médiade um primeiro resíduo entre um quadro de referência decamada FGS dianteiro e um quadro de referência de camada debase dianteiro e um segundo resíduo entre um quadro dereferência de camada FGS traseiro e um quadro de referênciade camada de base traseiro.
4. Método, de acordo com a reivindicação 2,caracterizado por, se for realizada interpolação para acompensação de movimento, ser utilizado para a interpolaçãoum tipo de filtro de interpolação diferente daqueleutilizado na obtenção da imagem prevista para o quadroatual.
5. Método, de acordo com a reivindicação 1,caracterizado por a codificação do resultado da subtraçãocompreender:transformação do resultado da subtração parageração de um coeficiente de transformação;quantificação do coeficiente de transformação parageração de um coeficiente de quantificação; ecodificação sem perdas do coeficiente dequantificação.
6. Método, de acordo com a reivindicação 1,caracterizado por a obtenção da imagem prevista para oquadro atual compreender:estimativa do primeiro vetor de movimentoutilizando o quadro atual e pelo menos um quadro de camadade base reconstruído como quadros de referência;realização de compensação de movimento nos quadrosde referência utilizando o primeiro vetor de movimento; eobtenção da imagem prevista mediante ponderação demédia dos quadros de referência com compensação demovimento.
7. Método, de acordo com a reivindicação 1,caracterizado por a obtenção da imagem prevista para aimagem compreender:estimativa do primeiro vetor de movimentoutilizando o quadro atual e um quadro original adjacente aoquadro atual como quadro de referência;realização de compensação de movimento no quadrode referência utilizando o primeiro vetor de movimento; eobtenção da imagem prevista mediante ponderação demédia dos quadros de referência com compensação demovimento.
8. Método, de acordo com a reivindicação 1,caracterizado por o quadro de referência de camada FGS serum quadro original adjacente a um quadro de referência decamada FGS e o quadro de referência de camada de base serum quadro vizinho reconstruído da camada de base.
9. Método, de acordo com a reivindicação Ircaracterizado por o quadro de referência de camada FGS serum quadro vizinho reconstruído da camada FGS e o quadro dereferência de camada de base ser um quadro vizinhoreconstruído da camada de base.
10. Método, de acordo com a reivindicação 5,caracterizado por um tamanho de etapa de quantificaçãoutilizado na quantificação do coeficiente de transformaçãoser menor que aquele utilizado na quantificação do resíduo.
11. MÉTODO DE CODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:obtenção de uma imagem prevista para um quadroatual mediante utilização de um primeiro vetor de movimentocom estimativa de precisão previamente determinada;quantificação de um resíduo entre o quadro atual ea imagem prevista, com quantificação inversa do resíduoquantificado e geração de uma imagem reconstruída para oquadro atual;realização de compensação de movimento em umquadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento e geração de um quadro previstopara a camada FGS e um quadro previsto para a camada debase, respectivamente;cálculo de um resíduo entre o quadro previsto paraa camada FGS e o quadro previsto para a camada de base;subtração da imagem reconstruída e do resíduo doquadro atual; ecodificação de um resultado da subtração.
12. Método, de acordo com a reivindicação 11,caracterizado por a realização de compensação de movimentocompreender a geração do segundo vetor de movimentomediante alteração de uma precisão do primeiro vetor demovimento, e uma precisão do segundo vetor de movimentoutilizado na realização da compensação de movimento sermenor que a precisão do primeiro vetor de movimentoutilizado para obtenção da imagem prevista para o quadroatual.
13. Método, de acordo com a reivindicação 11,caracterizado por o quadro de camada FGS previstoconstituir uma média de quadros de referência de camada FGScom compensação de movimento e o quadro de camada de baseprevisto constituir uma média de quadros de referência decamada de base com compensação de movimento.
14. Método, de acordo com a reivindicação 12,caracterizado por se for realizada interpelação para acompensação de movimento, ser utilizado para a interpolaçãoum tipo de filtro de interpolação diferente daqueleutilizado na obtenção da imagem prevista para o quadroatual.
15. Método, de acordo com a reivindicação 11,caracterizado por a codificação do resultado da subtraçãocompreender:transformação do resultado da subtração parageração de um coeficiente de transformação;quantificação do coeficiente de transformação parageração de um coeficiente de quantificação; ecodificação sem perdas do coeficiente dequantificação.
16. Método, de acordo com a reivindicação 15,caracterizado por um tamanho de etapa de quantificaçãoutilizado na quantificação do coeficiente de transformaçãoser menor que aquele utilizado na quantificação do resíduo.
17. MÉTODO DE CODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método «sendocaracterizado por compreender:obtenção de uma imagem prevista para um quadroatual mediante utilização de um primeiro vetor de movimentocom estimativa de precisão previamente determinada;quantificação de um resíduo entre o quadro atual ea imagem prevista, com quantificação inversa do resíduoquantificado e geração de uma imagem reconstruída para oquadro atual;cálculo de um resíduo entre um quadro dereferência de camada de escalabilidade de granularidadefina (FGS) e um quadro de referência de camada de base;realização de compensação de movimento no resíduomediante utilização de um segundo vetor de movimento;subtração da imagem reconstruída e de um resultadoda compensação de movimento do quadro atual; ecodificação de um resultado da subtração.
18. Método, de acordo com a reivindicação 17,caracterizado por a realização de compensação de movimentocompreender a geração do segundo vetor de movimentomediante alteração de uma precisão do primeiro vetor demovimento, e uma precisão do segundo vetor de movimentoutilizado na realização da compensação de movimento sermenor que a precisão do primeiro vetor de movimentoutilizado na obtenção da imagem prevista para o quadroatual.
19. Método, de acordo com a reivindicação 17,caracterizado por o resultado da compensação de movimentosubmetida à subtração ser uma média de resíduos comcompensação de movimento.
20. Método, de acordo com a reivindicação 18,caracterizado por, se for utilizada interpolação para acompensação de movimento, ser utilizado para a interpelaçãoum tipo de filtro de interpolação diferente daqueleutilizado na obtenção da imagem prevista para o quadroatual.
21. Método, de acordo com a reivindicação 17,caracterizado por a codificação do resultado da subtraçãocompreender:transformação do resultado da subtração parageração de um coeficiente de transformação;quantificação do coeficiente de transformação parageração de um coeficiente de quantificação; ecodificação sem perdas do coeficiente dequantificação.
22. Método, de acordo com a reivindicação 21,caracterizado por um tamanho de etapa de quantificaçãoutilizado na quantificação do coeficiente de transformaçãoser menor que aquele utilizado na quantificação do resíduo.
23. MÉTODO DE CODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:obtenção de uma imagem prevista para um quadroatual mediante utilização de um primeiro vetor de movimentocom estimativa de precisão previamente determinada;realização de compensação de movimento em umquadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento com precisão menor que a doprimeiro vetor de movimento;cálculo de um resíduo entre os quadros dereferência de camada de base e camada FGS com compensaçãode movimento;subtração da imagem prevista e do resíduo doquadro atuai; ecodificação de um resultado da subtração.
24. MÉTODO DE CODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:obtenção de uma imagem prevista para um quadroatual mediante utilização de um primeiro vetor de movimentocom estimativa de precisão previamente determinada;realização de compensação de movimento em umquadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento com precisão menor que a doprimeiro vetor de movimento e geração de um quadro previstopara a camada FGS e um quadro previsto para a camada debase, respectivamente;cálculo de um resíduo entre o quadro previsto paraa camada FGS e o quadro previsto para a camada de base;subtração da imagem prevista e do resíduo doquadro atual; ecodificação de um resultado da subtração.
25. Método, de acordo com a reivindicação 24,caracterizado por compreender adicionalmente amultiplicação do resíduo entre o quadro previsto para acamada FGS e o quadro previsto para a camada de base por umfator de ponderação a, em que o resíduo calculado nasubtração da imagem prevista é o produto do fator deponderação α e do resíduo entre o quadro previsto para acamada FGS e o quadro previsto para a camada de base.
26. MÉTODO DE CODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:obtenção de uma imagem prevista para um quadroatual mediante utilização de um primeiro vetor de movimentocom estimativa de precisão previamente determinada;cálculo de um resíduo entre um quadro dereferência de camada FGS e um quadro de referência decamada de base;realização de compensação de movimento no resíduomediante utilização de um segundo vetor de movimento comprecisão menor que a do primeiro vetor de movimento;subtração da imagem reconstruída e de um resultadoda compensação de movimento do quadro atual; ecodificação do resultado da subtração.
27. MÉTODO DE DECODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:extração de dados de textura de camada de base edados de textura de camada FGS e um primeiro vetor demovimento de uma seqüência de bits de entrada;reconstrução de um quadro de camada de base apartir dos dados de textura de camada de base;realização de compensação de movimento em umquadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento;cálculo de um resíduo entre o quadro de referênciade camada FGS com compensação de movimento e o quadro dereferência de camada de base com compensação de movimento;eadição do quadro de camada de base, dos dados detextura de camada FGS, e do resíduo.
28. Método, de acordo com a reivindicação 27,caracterizado por o segundo vetor de movimento utilizado narealização da compensação de movimento ter uma precisãomenor que a do primeiro vetor de movimento.
29. Método, de acordo com a reivindicação 27,caracterizado por o resíduo calculado ser uma média de umprimeiro resíduo entre um quadro de referência de camadaFGS dianteiro e um quadro de referência de camada de basedianteiro e um segundo resíduo entre um quadro dereferência de camada FGS traseira e um quadro de referênciade camada de base traseiro.
30. Método, de acordo com a reivindicação 28,caracterizado por, se for realizada interpolação para acompensação de movimento, ser utilizado para a interpolaçãoum tipo de filtro de interpolação diferente daqueleutilizado na reconstrução do quadro de camada de base.
31. Método, de acordo com a reivindicação 27,caracterizado por os dados de textura de camada FGS naadição do quadro de camada de base serem obtidos medianterealização de quantificação inversa e transformação inversanos dados de textura de camada FGS extraídos.
32. Método, de acordo com a reivindicação 31,caracterizado por a reconstrução do quadro de camada debase compreender:quantificação inversa dos dados de textura decamada de base;transformação inversa de um resultado daquantificação inversa;geração de uma imagem prevista de um quadro dereferência de camada de base reconstruído medianteutilização do primeiro vetor de movimento; eadição da imagem prevista e um resultado datransformação inversa.
33. Método, de acordo com a reivindicação 32,caracterizado por um tamanho de etapa de quantificação naquantificação inversa aplicada aos dados de textura decamada FGS ser menor que o tamanho de etapa utilizado naquantificação inversa realizada na reconstrução do quadrode camada de base.
34. MÉTODO DE DECODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:extração de dados de textura de camada de base edados de textura de camada FGS e um primeiro vetor demovimento de uma seqüência de bits de entrada;reconstrução de um quadro de camada de base apartir dos dados de textura de camada de base;realização de compensação de movimento em umquadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento e geração de um quadro de camadaFGS previsto e um quadro de camada de base previsto;cálculo de um resíduo entre o quadro de referênciade camada FGS previsto e o quadro de referência de camadade base previsto; eadição dos dados de textura, do quadro de camadade base reconstruído, e do resíduo.
35. Método, de acordo com a reivindicação 34,caracterizado por o segundo vetor de movimento utilizado narealização da compensação de movimento ter uma precisãomenor que a do primeiro vetor de movimento.
36. Método, de acordo com a reivindicação 35,caracterizado por, se for utilizada interpolação para acompensação de movimento, ser utilizado para a interpolaçãoum tipo de filtro de interpolação diferente daqueleutilizado na reconstrução do quadro de camada de base.
37. Método, de acordo com a reivindicação 34,caracterizado por os dados de textura de camada FGS naadição do quadro de camada de base, os dados de textura nacamada FGS, e o resíduo serem obtidos mediante realizaçãode quantificação inversa e transformação inversa nos dadosde textura de camada FGS extraídos.
38. MÉTODO DE DECODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:extração de dados de textura de camada de base edados de textura de camada FGS e um primeiro vetor demovimento de uma seqüência de bits de entrada;reconstrução de um quadro de camada de base apartir dos dados de textura de camada de base;cálculo de um resíduo entre um quadro dereferência de camada FGS e um quadro de referência decamada de base;realização de compensação de movimento no resíduomediante utilização de um segundo vetor de movimento; eadição dos dados de textura de camada FGS, doquadro de camada de base reconstruído, e de um resultado dacompensação de movimento.
39. Método, de acordo com a reivindicação 38,caracterizado por o resultado da compensação de movimentosubmetido à adição consistir em uma média de resíduos comcompensação de movimento.
40. Método, de acordo com a reivindicação 38,caracterizado por o segundo vetor de movimento utilizado narealização de compensação de movimento ter uma precisãomenor que a do primeiro vetor de movimento.
41. Método, de acordo com a reivindicação 40,caracterizado por, se for utilizada interpolação para acompensação de movimento, ser utilizado para a interpolaçãoum tipo de filtro de interpolação diferente daqueleutilizado na reconstrução do quadro de camada de base.
42. Método, de acordo com a reivindicação 38,caracterizado por os dados de textura de camada FGS naadição serem obtidos mediante realização de quantificaçãoinversa e transformação inversa nos dados de textura decamada FGS extraídos.
43. MÉTODO DE DECODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:extração de dados de textura de camada de base,dados de textura de camada FGS e um primeiro vetor demovimento de uma seqüência de bits de entrada;reconstrução de uma imagem prevista para um quadrode camada de base a partir dos dados de textura de camadade base mediante utilização dos primeiros vetores demovimento;realização de compensação de movimento em umquadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento com menor precisão que oprimeiro vetor de movimento;cálculo de um resíduo entre um quadro dereferência de camada FGS com compensação de movimento e umquadro de referência de camada de base com compensação demovimento; eadição dos dados de textura de camada FGS, daimagem prevista, e do resíduo calculado.
44. MÉTODO DE DECODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:extração de dados de textura de camada de base,dados de textura de camada FGS e um primeiro vetor demovimento de uma seqüência de bits de entrada;reconstrução de uma imagem prevista para um quadrode camada de base a partir dos dados de textura de camadade base, mediante utilização do primeiro vetor demovimento;realização de compensação de movimento em umquadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento com precisão menor que a doprimeiro vetor de movimento e geração de um quadro decamada FGS previsto e um quadro de camada de base previsto;cálculo de um resíduo entre o quadro de camada FGSprevisto e o quadro de camada de base previsto; eadição dos dados de textura de camada FGS, dasimagens previstas, e do resíduo calculado.
45. Método, de acordo com a reivindicação 25,caracterizado por compreender adicionalmente amultiplicação do resíduo entre o quadro de camada FGSprevisto e o quadro de camada de base previsto por um fatorde ponderação a, em que o resíduo calculado na adição é umproduto do fator de ponderação α e do resíduo entre oquadro de camada FGS previsto e o quadro de camada de baseprevisto.
46. MÉTODO DE DECODIFICAÇÃO DE VÍDEO COM SUPORTEPARA ESCALABILIDADE DE GRANULARIDADE FINA, o método sendocaracterizado por compreender:extração de dados de textura de camada de base,dados de textura de camada FGS e um primeiro vetor demovimento de uma seqüência de bits de entrada;reconstrução de uma imagem prevista para um quadrode camada de base a partir dos dados de textura de camadade base, mediante utilização do primeiro vetor demovimento;cálculo de um resíduo entre um quadro dereferência de camada FGS e um quadro de referência deuauia da de UQBC ,realização de compensação de movimento no resíduomediante utilização de um segundo vetor de movimento commenor precisão que a precisão do primeiro vetor demovimento; eadição dos dados de textura de camada FGSf daimagem prevista, e do resíduo.
47. CODIFICADOR DE VÍDEO BASEADO EMESCALARILIDADE DE GRANULARIDADE FINA, caracterizado porcompreender:meios para obtenção de uma imagem prevista para umquadro atual mediante utilização de um primeiro vetor demovimento com uma estimativa de precisão previamentedeterminada;meios para quantificação de um resíduo entre oquadro atual e a imagem prevista, quantificação inversa doresíduo quantificado, e geração de uma imagem reconstruídapara o quadro atual;meios para realização de compensação de movimentoem um quadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento;meios para cálculo de um resíduo entre os quadrosde referência de camada FGS e de camada de base;meios para subtração da imagem reconstruída e doresíduo do quadro atual; emeios para codificação de um resultado dasubtração.
48. Codificador, de acordo com a reivindicação-47, caracterizado por uma precisão do segundo vetor demovimento utilizado na realização da compensação demovimento ser menor que a precisão do primeiro vetor demovimento utilizado na obtenção da imagem prevista para oquadro atual.
49. DECODIFICADOR DE VÍDEO BASEADO EMESCALABILIDADE DE GRANULARIDADE FINA, caracterizado porcompreender:meios para extração de dados de textura de camadade base, dados de textura de camada FGS e um primeiro vetorde movimento de uma seqüência de bits de entrada;meios para reconstrução de um quadro de camada debase a partir dos dados de textura de camada de base;meios para realização de compensação de movimentoem um quadro de referência de camada FGS e um quadro dereferência de camada de base mediante utilização de umsegundo vetor de movimento e geração de um quadro de camadaFGS previsto e um quadro de camada de base previsto;meios para cálculo de um residuo entre o quadro decamada FGS previsto e o quadro de camada de base previsto;emeios para adição dos dados de textura, do quadrode camada de base reconstruído, e do resíduo.
50. Decodificador, de acordo com a reivindicação 49, caracterizado por uma precisão do segundo vetor demovimento utilizado na realização da compensação demovimento ser menor que a precisão do primeiro vetor demovimento extraído da seqüência de bits de entrada.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US67592105P | 2005-04-29 | 2005-04-29 | |
| US60/675.921 | 2005-04-29 | ||
| KR10-2005-0052428 | 2005-06-17 | ||
| KR1020050052428A KR100703778B1 (ko) | 2005-04-29 | 2005-06-17 | 고속 fgs를 지원하는 비디오 코딩 방법 및 장치 |
| PCT/KR2006/001471 WO2006118383A1 (en) | 2005-04-29 | 2006-04-20 | Video coding method and apparatus supporting fast fine granular scalability |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BRPI0611142A2 true BRPI0611142A2 (pt) | 2010-08-17 |
Family
ID=37651703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0611142-4A BRPI0611142A2 (pt) | 2005-04-29 | 2006-04-20 | método de codificação de vìdeo com suporte para escalabilidade de granularidade fina, codificador de vìdeo baseado em escabilidade de granularidade fina |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20060245495A1 (pt) |
| KR (1) | KR100703778B1 (pt) |
| CN (1) | CN101185342A (pt) |
| BR (1) | BRPI0611142A2 (pt) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4641892B2 (ja) * | 2005-07-27 | 2011-03-02 | パナソニック株式会社 | 動画像符号化装置、方法、及びプログラム |
| US7956930B2 (en) | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
| US8340179B2 (en) * | 2006-03-21 | 2012-12-25 | Canon Kabushiki Kaisha | Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method |
| JP4321626B2 (ja) * | 2007-05-23 | 2009-08-26 | ソニー株式会社 | 画像処理方法および画像処理装置 |
| WO2009051419A2 (en) | 2007-10-16 | 2009-04-23 | Lg Electronics Inc. | A method and an apparatus for processing a video signal |
| US8711948B2 (en) * | 2008-03-21 | 2014-04-29 | Microsoft Corporation | Motion-compensated prediction of inter-layer residuals |
| RU2506711C2 (ru) * | 2008-07-25 | 2014-02-10 | Сони Корпорейшн | Способ и устройство обработки изображения |
| US9571856B2 (en) * | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
| KR20100050072A (ko) * | 2008-11-05 | 2010-05-13 | 삼성전자주식회사 | 데이터 압축 방법 및 이를 이용한 데이터 통신 시스템 |
| US8665367B2 (en) * | 2010-01-29 | 2014-03-04 | Sharp Laboratories Of America, Inc. | Video resolution enhancement technique |
| JP5768491B2 (ja) * | 2011-05-17 | 2015-08-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| US9641836B2 (en) * | 2012-08-07 | 2017-05-02 | Qualcomm Incorporated | Weighted difference prediction under the framework of generalized residual prediction |
| JPWO2014050948A1 (ja) * | 2012-09-28 | 2016-08-22 | シャープ株式会社 | 画像復号装置、画像復号方法及び画像符号化装置 |
| KR102163477B1 (ko) * | 2012-12-04 | 2020-10-07 | 인텔렉추얼디스커버리 주식회사 | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 |
| KR20150056679A (ko) * | 2013-11-15 | 2015-05-27 | 광운대학교 산학협력단 | 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치 |
| US9749642B2 (en) | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
| US9774881B2 (en) * | 2014-01-08 | 2017-09-26 | Microsoft Technology Licensing, Llc | Representing motion vectors in an encoded bitstream |
| US20150271512A1 (en) * | 2014-03-18 | 2015-09-24 | Texas Instruments Incorporated | Dynamic frame padding in a video hardware engine |
| AU2015406855A1 (en) | 2015-08-24 | 2018-03-15 | Huawei Technologies Co., Ltd. | Motion vector field coding and decoding method, coding apparatus, and decoding apparatus |
| US10448013B2 (en) * | 2016-12-22 | 2019-10-15 | Google Llc | Multi-layer-multi-reference prediction using adaptive temporal filtering |
| US11900640B2 (en) * | 2020-07-15 | 2024-02-13 | Tencent America LLC | Method and apparatus for substitutional neural residual compression |
| US12568184B2 (en) | 2020-07-30 | 2026-03-03 | Nvidia Corporation | Techniques to generate interpolated video frames |
| US11503322B2 (en) | 2020-08-07 | 2022-11-15 | Samsung Display Co., Ltd. | DPCM codec with higher reconstruction quality on important gray levels |
| US11509897B2 (en) | 2020-08-07 | 2022-11-22 | Samsung Display Co., Ltd. | Compression with positive reconstruction error |
| US11638025B2 (en) * | 2021-03-19 | 2023-04-25 | Qualcomm Incorporated | Multi-scale optical flow for learned video compression |
| CN114268797B (zh) * | 2021-12-23 | 2024-02-06 | 北京达佳互联信息技术有限公司 | 用于视频的时域滤波的方法、装置、存储介质及电子设备 |
| KR20250079887A (ko) * | 2023-11-27 | 2025-06-04 | 한국전자통신연구원 | 계층적 양자화에 기반한 잠재 표현 부호화/복호화 방법 및 이를 기록한 컴퓨터로 판독 가능한 기록 매체 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6614936B1 (en) * | 1999-12-03 | 2003-09-02 | Microsoft Corporation | System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding |
| US6904092B2 (en) * | 2002-02-21 | 2005-06-07 | Koninklijke Philips Electronics N.V. | Minimizing drift in motion-compensation fine granular scalable structures |
| KR100626651B1 (ko) * | 2004-02-17 | 2006-09-21 | 한국전자통신연구원 | 선택적인 미세입자 스케일러블 코딩 장치 및 그 방법 |
-
2005
- 2005-06-17 KR KR1020050052428A patent/KR100703778B1/ko not_active Expired - Fee Related
-
2006
- 2006-04-20 CN CNA2006800191144A patent/CN101185342A/zh active Pending
- 2006-04-20 BR BRPI0611142-4A patent/BRPI0611142A2/pt not_active IP Right Cessation
- 2006-04-26 US US11/410,955 patent/US20060245495A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN101185342A (zh) | 2008-05-21 |
| US20060245495A1 (en) | 2006-11-02 |
| KR20060113319A (ko) | 2006-11-02 |
| KR100703778B1 (ko) | 2007-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BRPI0611142A2 (pt) | método de codificação de vìdeo com suporte para escalabilidade de granularidade fina, codificador de vìdeo baseado em escabilidade de granularidade fina | |
| KR100703760B1 (ko) | 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치 | |
| KR100703788B1 (ko) | 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더 | |
| US8817872B2 (en) | Method and apparatus for encoding/decoding multi-layer video using weighted prediction | |
| US20060291562A1 (en) | Video coding method and apparatus using multi-layer based weighted prediction | |
| KR20070026317A (ko) | 비디오 코딩에 사용되는 코딩단/디코딩단의 양방향예측방법 | |
| US20100177893A1 (en) | Distributed video decoder and distributed video decoding method | |
| JP2004519909A (ja) | 細粒度スケーラビリティビデオ符号化における上位レイヤのための改善された予測構造 | |
| KR20040032913A (ko) | 모션 보상을 사용하는 전체적 삽입 fgs 비디오 코딩 | |
| US20070047644A1 (en) | Method for enhancing performance of residual prediction and video encoder and decoder using the same | |
| KR100763179B1 (ko) | 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치 | |
| JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
| KR100694137B1 (ko) | 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체 | |
| KR20050012755A (ko) | 더 높은 질의 참조 프레임들을 이용하는 향상된 효율의미세 입상 계위 시간 프레임워크 | |
| RU2340115C1 (ru) | Способ кодирования видеосигналов и устройство, поддерживающее быстрый алгоритм точной масштабируемости по качеству | |
| KR20120072205A (ko) | 매크로블록 간의 예측 기법을 이용한 움직임 추정 장치 및 방법 | |
| WO2006118384A1 (en) | Method and apparatus for encoding/decoding multi-layer video using weighted prediction | |
| US20060088100A1 (en) | Video coding method and apparatus supporting temporal scalability | |
| KR20100082700A (ko) | 와이너-지브 부호화 및 복호화 시스템 및 방법 | |
| KR20100045959A (ko) | 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및 장치 및 기록매체 | |
| Dufaux et al. | Encoder and decoder side global and local motion estimation for distributed video coding | |
| CN1254115C (zh) | 双回路移动补偿精细颗粒的可标度性 | |
| KR0169654B1 (ko) | 동영상 부호화기 | |
| KR0169653B1 (ko) | 동영상 부호화기 | |
| KR0174444B1 (ko) | 초저속 전송을 위한 움직임 보상장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B08F | Application fees: application dismissed [chapter 8.6 patent gazette] |
Free format text: REFERENTE AS 4A, 5A E 6A ANUIDADES. |
|
| B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] |
Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2161 DE 05/06/2012. |
|
| B15K | Others concerning applications: alteration of classification |
Ipc: H04N 19/34 (2014.01), H04N 19/187 (2014.01) |