BRPI0920213A2 - método de codificação de vídeo escalável, aparelho de codificação de vídeo escalável, programa de codificação de vídeo escalável, e meio de gravação legível por computador armazenando o programa - Google Patents

Abstract

MÉTODO DE CODIFICAÇÃO DE VÍDEO ESCALÁVEL, APARELHO DE CODIFICAÇÃO DE VÍDEO ESCALÁVEL, PROGRAMA DE CODIFICAÇÃO DE VÍDEO ESCALÁVEL, E MEIO DE GRAVAÇÃO LEGÍVEL POR COMPUTADOR ARMAZENANDO O PROGRAMA. A presente invenção refere-se à codificação de vídeo escalável, às tacas de incidência de combinações de modos de predição ótimos a serem selecionados para blocos espacialmente correspondentes de uma camada superior a uma camada inferior que são determinadas com base em um modo de predição ótimo que foi selecionado em uma codificação convencional, e depois uma tabela de correspondência que descreve as relações entre as mesmas é criada. Subsequentemente, as combinações dos modos de predição ótimos selecionados descritos na tabela de correspondência são reduzidas com base no valor da taxa de incidência para criar informação de correspondência do modo de predição que descreve as combinações do modo de predição ótimo reduzido. Ao codificar o bloco de camada superior, o candidato de pesquisa do modo de predição que é para ser pesquisado na codificação é decidido referindo à informação de correspondência do modo de predição usando como uma chave o modo de predição ótimo selecionado na codificação do bloco de camada inferior espacialmente correspondente e assim reduzindo o número dos candidatos de pesquisa do modo de predição.

Description

Relatório Descritivo da Patente de Invenção para "MÉTODO DE ' CODIFICAÇÃO DE VÍDEO ESCALÁVEL, APARELHO DE CODIFICAÇÃO DE VÍDEO ESCALÁVEL, PROGRAMA DE CODIFICAÇÃO DE VÍDEO ES- CALÁVEL, E MEIO DE GRAVAÇÃO LEGÍVEL POR COMPUTADOR AR- —MAZENANDO O PROGRAMA".

CAMPO TÉCNICO A presente invenção refere-se a um método de codificação de vídeo escalável e aparelho que codifica de modo escalável vídeos, e a um programa de codificação de vídeo escalável que é usado para realizar este método de codificação de vídeo escalável, e a um meio de gravação legível » por computador armazenando o programa. Em particular, a presente inven- ção diz respeito a um método e aparelho de codificação de vídeo escalável " que alcançam uma redução no tempo de codificação, e a um programa de codificação de vídeo escalável que é usado para realizar este método de codificação de vídeo escalável, e a um meio de gravação legível por compu- tador no qual este programa é armazenado.

Prioridade é reivindicada no Pedido de Patente japonês 2008- 271513, depositado em 22 de outubro de 2008, os conteúdos deste são aqui incorporados por referência.

—ANTECEDENTE DA TÉCNICA Vários terminais de exibição e ambientes de rede têm sido de- senvolvidos nos últimos anos. Por causa disso, o JVT (Joint Video Team) empreendeu um exame do sistema de codificação SVC (Codificação de Ví- deo Escalável) que permite escalabilidade de espaço/tempo/SNR (Razão de Sinal para Ruído) para AVC (Codificação de Vídeo Avançada) (vide, por e- xemplo, Documento de não Patente 1).

Em SVC, três métodos de predição, a saber, predição Inter, pre- dição Intra, e Predição intercamadas, são usadas, e eliminação de redun- dância interposta entre tempos, espaços, e camadas é executada. Exemplos —dosmodos de predição obteníveis por meio de SVC são dados abaixo.

PREDIÇÃO INTER =" Modo saltar (Saltar)

=" Modo direto (Direto) ' = Modo de predição de movimento de tamanho de bloco 16x 16 (P16 x 16) = Modo de predição de movimento de tamanho de bloco 16 x 8 (PI6x8) =" Modo de predição de movimento de tamanho de bloco 8 x 16 (P8 x 16) = Modo de predição de movimento de tamanho de bloco 8 x 8 (P8x38)

PREDIÇÃO INTRA - =" Modo de predição Intra de tamanho de bloco 16 x 16 (116 x 16) " = Modo de predição Intra de tamanho de bloco 8 x 8 (I8 x 8) = Modo de predição Intra de tamanho de bloco 4 x 4 (4 x 4)

PREDIÇÃO INTERCAMADAS =" Modo BLSkip (BLSKip) = Modo IntraBL (IntraBL) Quando P8 x 8 estiver sendo executado, cada bloco 8 x 8 pode ser ainda dividido em tamanhos de bloco 8 x 4, 4 x 4, e 4x4. Em SVC, um destes candidatos para pesquisa do modo de predição (candidatos de pes- quisa do modo de predição) é selecionado como o modo de predição ótimo em cada macrobloco. .

Um exemplo de um método usado para decidir o modo de predi- ção ótimo é dado abaixo.

Em JSVM (Joint Scalable Video Model: vide, por exemplo, Do- cumento de não Patente 2) que é promovido por JVT como um codificador de referência de SVC, os custos de codificação que são gerados pelo bit de codificação e distorção de codificação são calculados em cada modo de predição, e o modo de predição tendo os custos de codificação mais baixos fora todos os modos de predição acima mencionados é determinado para ser o modo de predição ótimo.

Além disso, no Documento de Patente 1 dado abaixo, os vetores são criados extrapolando ou interpolando vetores de movimento dos quadros ' de referência na codificação dos quadros em questão, e as coordenadas de cada pixel nos macroblocos que moveram como um resultado disso são de- pois determinados, e o número de vezes que os pixels coincidem é contado para cada pixel. Em seguida, os candidatos de pesquisa do modo de predi- ção são reduzidos de acordo com o tamanho do valor de uma contagem que é calculada do número de contagem de cada pixel dentro dos macroblocos alvos de codificação. O método usado para esta redução é um que foi pro- posto para aumentar a velocidade de uma pesquisa do modo de predição H.264/AVC, porém, pode também ser aplicado em SVC, que é um meca- - nismo para a mesma pesquisa do modo de predição como em H.264/AVC. Além disso, no Documento de Patente 2 dado abaixo, para tor- " nar possível executar a codificação intraquadros em velocidade alta, por e- xemplo, nove erros de predição intraquadros são determinados em um bloco onde a codificação intraquadros é para ser executada usando os valores de pixel dos blocos de codificação adjacentes e com base nestes erros de pre- dição, um modo de predição é decidido para aquele bloco. Em seguida, um modo de predição para aquele bloco é decidido usando o modo de predição intraquadros de um bloco adjacente que já foi codificado, e quando os dois modos de predição emparelharem, o modo de predição é selecionado como se encontra. Porém, se os dois modos de predição não emparelharem, o modo de predição tendo os custos de codificação mais baixo é selecionado.

TÉCNICA ANTERIOR [Documento de não Patente 1] T. Wiegand, G. Sullivan, J. Reichel, H. Sch- warzeM. Wien: "Joint Draft ITU-T Rec. H.264 |ISO/IEC 14496-10/Amd.3 Scalable video coding", ISO/IEC JTC1/SC29/WWG11 e ITU-T SG16 Q.6, JVT- X201, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007 06 Geneva/JVTX201.zip [Documento de não Patente 2] J. Reichel, H. Schwarz e M. Wien: "Joint Sca- lable Video Model JSVM-11", ISO/EEC JTC1/SC29MWG11 e ITU-T SG16 Q.6, JVT-X202, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007 06 Geneval/JVTX202.zip

[Documento de Patente 1] Pedido de Patente japonês não examinado, Pri- Í meira Publicação (JP-A) No. 2006-033451 [Documento de Patente 2] Pedido de Patente japonês não examinado, Pri- meira Publicação (JP-A) No. 2005-184241

DESCRIÇÃO DA INVENÇÃO

PROBLEMAS A SEREM SOLUCIONADOS PELA INVENÇÃO No método de JSVM de decidir o modo de predição ótimo des- crito no Documento de não Patente 2, porque não há nenhuma redução dos candidatos de pesquisa do modo de predição, um desempenho de codifica- ção superior pode ser alcançado. Por outro lado, neste método de decisão, - uma quantidade enorme de tempo é necessária para executar a pesquisa do modo de predição. A saber, neste método de decisão, tempo considerável é Í perdido porque todos os modos de predição são pesquisados até mesmo para os modos de predição que claramente têm uma probabilidade baixa de serem selecionados se as características das imagens dentro dos macroblo- cos forem consideradas (por exemplo, modos de predição do modo Intra em áreas estáticas).

Além disso, porque a redução dos candidatos de pesquisa do modo de predição no Documento de Patente 1 é um método de determinar seounão executa predição do modo Intra, não tem nenhum efeito na redu- ção das pesquisas do modo de predição Inter, que requerem um tempo de cálculo mais longo comparado às pesquisas do modo predição Intra. A sa- ber, espaço considerável para melhoria permanece quando vem para pes- quisas de modo de predição Inter.

Além disso, porque a redução dos candidatos de pesquisa do modo de predição do Documento de Patente 2 é apenas uma redução de predição Intra, da mesma maneira que a redução dos candidatos de pesqui- sa do modo de predição do Documento de Patente 2, não há nenhum efeito na redução das pesquisas do modo de predição Inter. A saber, espaço con- siderável para melhoria permanece quando ocorre para pesquisas de modo de predição Inter.

A presente invenção foi concebida em vista das circunstâncias descritas acima e é um objetivo da mesma fornecer nova tecnologia de codi- ' ficação de vídeo escalável que, em codificação de vídeo escalável que al- cança escalabilidade por meio de uma estrutura de camada, reduz os candi- datos de pesquisa do modo de predição da camada superior usando corre- lações dos modos de predição ótimos entre as camadas para alcançar uma melhoria na velocidade.

MEIOS PARA SOLUCIONAR O PROBLEMA Em codificação de vídeo escalável em que escalabilidade é al- cançada por meio de uma estrutura de camada para alcançar um aumento na velocidade de uma pesquisa do modo de predição, o aparelho de codifi- - cação de vídeo escalável da presente invenção inclui: (1) uma unidade de criação que, com base na informação acerca de um modo de predição ótimo í que foi selecionado na codificação escalável executada sem qualquer limite sendo estabelecido no uso dos modos de predição definidos como sendo capazes de ser usados, determina as taxas de incidência de combinações dos modos de predição ótimos a serem selecionados para blocos espacial- mente correspondentes de uma camada superior e uma camada inferior, e cria uma tabela de correspondência que descreve as relações entre as com- binações do modo de predição ótimo selecionado e do modo de predição ótimoa ser selecionado, e as taxas de incidência; (2) uma unidade de aqui- sição que, ao codificar o bloco de camada superior, adquire informação a- cerca do modo de predição ótimo selecionado na codificação do bloco de camada inferior espacialmente correspondente; (3) uma unidade de decisão que, com base na informação acerca do modo de predição ótimo seleciona- do adquirido pela unidade de aquisição e na informação acerca das taxas de incidência descritas na tabela de correspondência, extrai uma combinação efetiva dentre as combinações descritas na tabela de correspondência, e decide o modo de predição ótimo da camada superior mantida pela combi- nação efetiva extraída como o candidato de pesquisa do modo de predição a ser pesquisado na codificação do bloco da camada superior; e (4) uma uni- dade de controle que executa controle de modo que codificação escalável em que limites são estabelecidos no uso dos modos de predição executados usando a tabela de correspondência, e codificação escalável em que ne- ' nhum limite é estabelecido no uso dos modos de predição executados sem usar a tabela de correspondência são repetidos alternadamente. Em uma estrutura tal como aquela descrita acima, referindo à tabela de correspondência usando como uma chave a informação acerca dos modos de predição ótimos que foram adquiridos pela unidade de aquisi- ção, a unidade de decisão especifica as taxas de incidência associadas à- queles modos de predição ótimos. Em seguida, é preferível para a unidade de decisão ou extrair uma combinação dos modos de predição ótimos tendo taxas de incidência mostrando um valor maior que um valor de limiar prede- - terminado dentre estas taxas de incidência especificadas, ou extrair uma combinação dos modos de predição ótimos tendo taxas de incidência mos- ' trando o maio valor r dentre aquelas taxas de incidência especificadas, ou extrair uma combinação dos modos de predição ótimos tendo um número predeterminado de taxas de incidência que são selecionadas em sequência da taxa de incidência tendo o valor maior dentre aquelas taxas de incidência especificadas. A unidade de decisão então decide o modo de predição óti- mo de camada superior mantido pela combinação dos modos de predição ótimos extraído como o candidato de pesquisa do modo de predição a ser pesquisado na codificação do bloco de camada superior.

Além disso, para alcançar processamento de decisão eficiente pela unidade de decisão, é preferível que o aparelho de codificação de vídeo escalável da presente invenção extraia com antecedência uma combinação dos modos de predição ótimos efetivos reduzindo as combinações dos mo- dos de predição ótimos descritos na tabela de correspondência com base nos valores das taxas de incidência descritas na tabela de correspondência, e crie informação de correspondência do modo de predição que descreve as combinações dos modos de predição ótimos efetivos extraídos.

Neste caso, em codificação de vídeo escalável em que escalabi- lidade é alcançada por meio de uma estrutura de camada para alcançar um aumento na velocidade de uma pesquisa do modo de predição, o aparelho de codificação de vídeo escalável da invenção presente inclui: (1) uma uni-

dade de criação da tabela de correspondência que, com base na informação ' acerca de um modo de predição ótimo que foi selecionado na codificação escalável executada sem qualquer limite sendo estabelecido no uso dos modos de predição definidos como sendo capazes de ser usados, determina astaxasde incidência das combinações de modos de predição ótimos a se- rem selecionados para blocos espacialmente correspondentes de uma ca- mada superior e uma camada inferior, e cria uma tabela de correspondência que descreve as relações entre as combinações do modo de predição ótimo selecionado e do modo de predição ótimo a ser selecionado, e as taxas de incidência; (2) uma unidade de criação de informação de correspondência do - modo de predição que, com base nos valores das taxas de incidência, extrai uma combinação dos modos de predição ótimos efetivos reduzindo as com- " binações dos modos de predição ótimos selecionados descritos na tabela de correspondência e do modo de predição ótimo que deveria ser selecionado, ecria informação de correspondência do modo de predição que descreve as combinações dos modos de predição ótimos efetivos extraídos; (3) uma uni- dade de aquisição que, ao codificar o bloco de camada superior, adquire informação acerca do modo de predição ótimo selecionado na codificação do bloco de camada inferior espacialmente correspondente; (4) uma unidade de decisão que, referindo à informação de correspondência do modo de pre- dição usando como uma chave a informação acerca do modo de predição ótimo selecionado adquirida pela unidade de aquisição, o candidato de pes- quisa do modo de predição que é para ser pesquisado na codificação do bloco de camada superior é decidido; e (5) uma unidade de controle que e- —xecuta controle de modo que codificação escalável, em que limites são esta- belecidos no uso dos modos de predição executados usando a tabela de correspondência, e codificação escalável, em que nenhum limite é estabele- cido no uso dos modos de predição executados sem usar a tabela de cor- respondência, são alternadamente repetidas.

Quando esta estrutura for empregada, a unidade de criação de informação de correspondência do modo de predição é capaz de: criar in- formação de correspondência do modo de predição extraindo, como a com-

binação efetiva, a combinação dos modos de predição ótimos tendo uma S taxa de incidência mostrando um valor que é maior que um valor de limiar predeterminado; ou, alternativamente, criar informação de correspondência do modo de predição extraindo, como a combinação efetiva, a combinação dosmodos de predição ótimos tendo a taxa de incidência mostrando o valor maior, dentre as combinações dos modos de predição ótimos que têm o mesmo modo de predição ótimo na camada inferior; ou criar informação de correspondência do modo de predição extraindo, como a combinação efeti- va, uma combinação de um número predeterminado de modos de predição ótimos selecionados em sequência da taxa de incidência mostrando o valor - maior. O método de codificação de vídeo escalável da presente inven- 7 ção que é realizado como resultado de cada uma das unidades de proces- samento acima operando é também capaz ser realizado por um programa de computação. Este programa de computação permite a presente invenção ser realizada sendo gravada em um meio de gravação legível por computa- dor adequado, ou sendo fornecido por meio de uma rede, ou sendo instalado em um computador e operado por uma unidade de controle tal como uma CPU quando a presente invenção vir a implementada.

EFEITOS DA INVENÇÃO Na presente invenção, em codificação de vídeo escalável que alcança escalabilidade por meio de uma estrutura de camada, porque é pos- sível reduzir os candidatos de pesquisa do modo de predição de camada superior usando correlações dos modos de predição ótimos entre as cama- das,uma redução no tempo de codificação pode ser alcançada.

Além disso, na presente invenção, quando uma redução no tem- po de codificação for alcançada reduzindo os candidatos de pesquisa do modo de predição, porque esta redução é executada com base nas relações correspondentes dos modos de predição ótimos entre as camadas em qua- drosjá codificados, é possível evitar o risco dos candidatos de pesquisa do modo de predição ótimos serem omitidos por causa desta redução. Conse- quentemente, é possível suprimir qualquer deterioração no desempenho de codificação que poderia ocorrer possivelmente como resultado dos candida- ] tos de pesquisa do modo de predição sendo reduzidos.

BREVE DESCRIÇÃO DOS DESENHOS Figura 1 é uma vista explicativa mostrando exemplos de qua- dros visados para codificação e quadros visados para criar uma tabela de taxas de correspondência do modo de predição.

Figura 2 é um fluxograma mostrando o fluxo vasto de proces- samento de codificação de vídeo de acordo com uma modalidade da presen- te invenção.

Figura 3 é uma tabela de taxas de correspondência do modo de - predição de acordo com uma modalidade da presente invenção. Figura 4 é uma tabela mostrando os resultados quando os can- ' didatos de pesquisa do modo de predição são reduzidos em uma modalida- de da presente invenção.

Figura 5 é uma tabela mostrando os resultados quando os can- didatos de pesquisa do modo de predição são reduzidos em uma modalida- de da presente invenção.

Figura 6 é um fluxograma mostrando processamento de codifi- cação de vídeo escalável de acordo com uma modalidade da presente in- venção.

Figura 7 é um fluxograma mostrando um exemplo de proces- samento para decidir os candidatos de pesquisa do modo de predição que são executados no processamento de codificação de vídeo escalável mos- trado na figura 6.

Figura 8 é um fluxograma mostrando outro exemplo de proces- samento para decidir candidatos de pesquisa do modo de predição que são executados no processamento de codificação de vídeo escalável mostrado na Figura 6.

Figura 9 é um diagrama de blocos mostrando um aparelho de codificação de vídeo escalável de acordo com uma modalidade da presente invenção.

Figura 10 é um diagrama de blocos mostrando um exemplo de uma unidade de decisão do candidato de pesquisa do modo de predição no ' aparelho de codificação de vídeo escalável mostrado na Figura 9, Figura 11 é um diagrama de blocos mostrando outro exemplo de uma unidade de decisão do candidato de pesquisa do modo de predição noaparelho de codificação de vídeo escalável mostrado na figura 9.

Figura 12 é uma vista explicativa mostrando um quadro de cál- culo de correspondência e um quadro de seleção de modo de velocidade alta em um experimento que foi executado para verificar a efetividade de uma modalidade da presente invenção, Figura 13 é um gráfico mostrando os resultados experimentais - de um experimento que foi executado para verificar a efetividade de uma modalidade da presente invenção. É Figura 14 é um gráfico mostrando os resultados experimentais de um experimento que foi executado para verificar a efetividade de uma modalidade da presente invenção.

MODALIDADES PARA REALIZAR A INVENÇÃO A idéia básica por trás das modalidades da presente invenção.

Em uma modalidade da presente invenção, em codificação de vídeo escalável que alcança escalabilidade por meio de uma estrutura de camada, um aumento na velocidade, na qual a pesquisa do modo de predi- ção é executada, é alcançado por meio de dois processos, a saber: (i) criando uma tabela de taxas de correspondência do modo de predição (isto é, uma tabela que descreve as correlações dos modos de pre- dição ótimos entre as camadas); e (ii)reduzindo os candidatos de pesquisa do modo de predição usando esta tabela de taxas de correspondência do modo de predição.

Doravante, a descrição prossegue de acordo com o exemplo mostrado na figura 1. A saber, é assumido que tanto uma camada L e uma camada L-1 são codificadas usando uma estrutura graduada B de IBBBP. As setas no diagrama mostram um destino de referência de predição. Uma ca- mada de codificação alvo é assumida como L, uma estrutura de codificação é assumida como B2b, e uma estrutura visada para criar a tabela de taxas de correspondência do modo de predição é assumida como B2a. Além dis- ' so, uma estrutura da camada L-1 em uma regulação idêntica à B2b é assu- mida como B'2b, e uma estrutura da camada L-1 em uma regulação idêntica à B2a é assumida como B'2a. A codificação é executada em sequência do nível de tempo de mais baixo e, dentro do mesmo nível de tempo, a codifi- cação é executada em sequência da estrutura tendo a regulação mais pre- matura. As camadas são codificadas nesta sequência a partia do nível me- nor. Em seguida, em referência a um fluxograma mostrado na figura 2,ofluxovastodo processamento da modalidade presente será descrito. - Na modalidade presente, quando codificação escalável for exe- cutada em vídeos, como é mostrado no fluxograma na figura 2, uma variá- , vel n é ajustada em 1 na etapa S101, e uma determinação é feita sobre se ou não todas os quadros foram codificados na etapa S102 subsequente. Se for determinado que todas os quadros foram codificados, a rotina é finaliza- da.

Porém, se de acordo com o processamento de determinação da etapa S102, for determinado que todos os quadros não foram codificados, a rotina move-se para a etapa S103 onde um quadro não processado é sele- cionado de acordo com a sequência do quadro principal. Na próxima etapa S104, o quadro selecionado é codificado fazendo uma predição sem estabe- lecer qualquer limite no uso dos modos de predição que foram definidos co- mo sendo capazes de ser usados, a saber, fazer uma predição usando todos os modos de predição utilizáveis.

Em seguida, na etapa S105, o valor da variável n é incrementa- do em um. Na etapa subsequente S106, uma determinação é feita sobre se ou não o valor da variável n é maior que um valor de limiar predeterminado N1 (em que N1 é um número inteiro de 1 ou maior). Se for determinado que o valor da variável n não é maior que o valor de limiar N1, a rotina retorna parao processamento da etapa S102 e a codificação dos quadros continua sem qualquer limite ser estabelecido no uso dos modos de predição que fo- ram definidos como sendo capazes de ser usados.

Porém, se no processamento de determinação da etapa S106, ' for determinado que o valor da variável n é maior que o valor de limiar N1, a rotina move-se para a etapa S107, e uma tabela de taxas de correspondên- cia do modo de predição é criada. A tabela de taxas de correspondência do modo de predição tem uma estrutura de dados tal como aquela descrita a- baixo, e é uma tabela que descreve as correlações (isto é, taxas de incidên- cia) dos modos de predição ótimos entre as camadas.

Em seguida, na etapa S108, a variável n é ajustada em 1, e na etapa subsequente S109, uma determinação é feita sobre se ou não todos os quadros foram codificados. Se for determinado que todos os quadros fo- - ram codificados, a rotina é finalizada. Porém, se na etapa S109, for determinado que todos os quadros ' não foram codificados, a rotina move-se para a etapa S110. Na etapa S110, um quadro não processado é selecionado de acordo com a sequência do quadro principal. Na próxima etapa S111, o quadro selecionado é codificado fazendo uma predição ao mesmo tempo reduzindo os candidatos de pesqui- sa do modo de predição usando a tabela de taxas de correspondência do modo de predição.

Em seguida, na etapa S112, o valor da variável n é incrementa- doem um. Na etapa subsequente S113, uma determinação é feita sobre se ou não o valor da variável n é maior que um valor de limiar predeterminado N2 (em que Ni é um número inteiro de 1 ou maior). Se for determinado que o valor da variável n não é maior que o valor de limiar N2, a rotina retorna para o processamento da etapa S109 e a codificação dos quadros continua enquanto os candidatos de pesquisa do modo de predição são reduzidos usando a tabela de taxas de correspondência do modo de predição.

Porém, se na etapa S113, for determinado que o valor da variá- vel n é maior que o valor de limiar N2, então é determinado ser necessário atualizar a tabela de taxas de correspondência do modo de predição modo e a rotina retorna para a etapa S101. Consequentemente, o processamento das etapas S101 à S113 continua enquanto a tabela de taxas de correspon- dência do modo de predição estiver sendo atualizada.

Desta maneira, na modalidade presente, quando a codificação i escalável estiver sendo executada nos vídeos, após o N1º quadro ter sido codificado, com base nos resultados desta codificação, uma tabela de taxas de correspondência do modo de predição descrevendo as correlações (isto é, taxasde incidência) dos modos de predição ótimos entre as camadas é criada. Em seguida, a rotina move-se para a codificação do N2º quadro sub- sequente, e o processamento é repetido para codificar o N2º quadro en- quanto os candidatos de pesquisa do modo de predição são reduzidos u- sando a tabela de taxas de correspondência do modo de predição criada.

(i) Criação da tabela de taxas de correspondência do modo de . predição A seguir, o processamento de criação da tabela de taxas de cor- : respondência do modo de predição executado na etapa S107 será descrito. Como resultado do processamento da etapa S104, o quadro B2a,criado pela tabela de taxas de correspondência do modo de predição e o quadro B'2a diretamente abaixo deste mostrado na figura 1já completou a codificação, e os modos de predição ótimos já foram selecionados. Quando os quadros B2a e B'2a estiverem sendo codificados, informação acerca do modo de predição ótimo selecionado é armazenada em um armazenamento temporário. Com base nesta informação do modo de predição ótimo que é armazenado no armazenamento temporário, uma relação de correspondên- cia é examinada entre o modo de predição ótimo para o macrobloco (dora- vante, abreviado como MB) do quadro B2a, e do submacrobloco (doravante, abreviado como SNIB) do quadro espacialmente correspondente B'2a.

Especificamente, uma tabela de taxas de correspondência do modo de predição tendo uma estrutura de dados tal como aquela mostrada na figura 3 é criada entre B2a e B'2a. O valor numérico mostrado na figura 3 mostra a razão (isto é, taxa de incidência) na qual, quando o modo de pre- dição ótimo selecionado em cada SMB (tamanho 8 x 8) do quadro B'2a for i, omodo de predição ótimo jé selecionado no MB do quadro B2a. Por exem- plo, se P16 x16 for selecionado no SMB do quadro B'2a, então no MB do quadro B2a espacialmente correspondendo ao SMB em que P16 x 16 foi selecionado, mostra que um modo de salto de 32,3% é selecionado.

Aqui, o método usado para selecionar o modo de predição ótimo nos quadros B2a e B'2a pode ser o método de JSVM descrito no Documento de não Patente 2, ou um método tal como em que os candidatos de pesqui- sado modo de predição são reduzidos tais como aqueles descritos no Do- cumento de Patente 1.

Além disso, neste exemplo, o quadro alvo da tabela de taxas de correspondência do modo de predição é assumido como um quadro simples (isto é, B2a) que já foi codificado e tem o mesmo nível de tempo que a qua- droalvoa ser codificado, porém, não é limitado a este. É também possível . visar um quadro que já foi codificado e tem um nível de tempo diferente (por exemplo, B1). Além disso, é também possível visar uma pluralidade de qua- í dros (por exemplo, B1 e B2a) e calcular a taxa de correspondência usando a soma desta pluralidade de quadros. A saber, contanto que os quadros já tenham concluído a codificação na camada de codificação alvo e na camada imediatamente abaixo, então os mesmos podem ser quadros alvos a ser criados pela tabela de taxas de correspondência do modo de predição.

(ii) Redução dos candidatos de pesquisa do modo de predição usando uma tabela de taxas de correspondência do modo de predição A seguir, uma descrição será dada do processamento para re- duzir os candidatos de pesquisa do modo de predição usando a tabela de taxas de correspondência do modo de predição descritos na etapa S111.

Os candidatos de pesquisa do modo de predição são reduzidos em cada MB do quadro alvo de codificação B2b de acordo com os valores dastaxasde correspondências do modo de predição na tabela de taxas de correspondência do modo de predição criada na etapa S107. Os valores numéricos na tabela de taxas de correspondência do modo de predição mostram a probabilidade de um modo de predição ótimo estando em um macrobloco alvo de codificação particular.

O processamento para reduzir os candidatos de pesquisa do modo de predição será agora descrito em mais detalhe. Na descrição dada abaixo, o macrobloco alvo de codificação do quadro B2b é escrito como M-

BL, enquanto o submacrobloco do quadro B'2b da camada L-1 que está es- pacialmente na mesma posição que este MBL é escrito como SMBL-1.

Quando reduzir os candidatos de pesquisa do modo de predição do macrobloco MBL, primeiramente, informação acerca do modo de predi- ção ótimodo submacrobloco SMBL-1 é lida. Em seguida, a tabela de taxas de correspondência do modo de predição é verificada com o modo de predi- ção ótimo SMBL-1, e a probabilidade (isto é, a taxa de incidência) de cada modo de predição na codificação do macrobloco alvo MBL sendo o modo de predição ótimo é investigado. A seguir, com base nesta probabilidade de ser omodode predição ótimo, os candidatos de pesquisa do modo de predição . são reduzidos. Dois exemplos desta redução são dados abaixo. (a) Procedimento de Redução 1 : Procedimento de redução 1 é um procedimento para reduzir os candidatos de pesquisa do modo de predição usando os valores de limiar parareduzir os candidatos de pesquisa do modo de predição.

Neste procedimento de redução 1, um valor de limiar t% para reduzir os candidatos de pesquisa do modo de predição é fornecido, e mo- dos de predição que são menos que este valor de limiar t%o são removidos dos candidatos de pesquisa. O valor do valor de limiar t é fornecido exter- namente. Um exemplo do método usado para decidir este valor é um em que um valor que limita qualquer deterioração no desempenho de codifica- ção para dentro de uma faixa permissível é decidido executando o proces- samento de codificação uma pluralidade de vezes.

Aqui, se um método for usado em que a probabilidade (isto é, taxade correspondência) de cada modo de predição no MBL sendo o modo de predição ótimo é lido da tabela de taxas de correspondência do modo de predição no ponto de tempo quando a informação acerca do modo de predi- ção ótimo para SMBL-1 foi adquirida, e é comparada com o valor de limiar para reduzir os candidatos de pesquisa do modo de predição, então o pro- cessode comparação requerido torna-se extremamente complexo.

Portanto, processamento do valor de limiar é executado com an- tecedência nas taxas de correspondência da tabela de taxas de correspon-

dência do modo de predição usando os valores de limiar de redução dos : candidatos de pesquisa do modo de predição de modo que as taxas de cor- respondência da tabela de correspondência do modo de predição são binari- zadas.

Os resultados da redução dos candidatos de pesquisa do modo de predição quando o valor de limiar para a redução dos candidatos de pes- quisa do modo de predição foi ajustado em 5% na tabela de taxas de cor- respondência do modo de predição mostrada na figura 3 estão mostrados na figura 4. Na figura 4, o representa os candidatos de pesquisa, e x repre- senta os modos de predição removidos dos candidatos de pesquisa.

- (b) Procedimento de Redução 2 Procedimento de redução 2 é um procedimento em que apenas ' modos de predição em que a taxa de correspondência do modo de predição está no máximo são determinados como candidatos de pesquisa.

Os modos de predição em que a taxa de correspondência do modo de predição está no máximo são determinados como candidatos de pesquisa. Neste caso, os candidatos de pesquisa normalmente serão redu- zidos até um modo de predição simples, porém, quando houver uma plurali- dade de candidatos de pesquisa do modo de predição que fornecem um va- lormáximo, estes são todos determinados como candidatos de pesquisa.

Aqui, se um método for usado em que a probabilidade (isto é, taxa de correspondência) de cada modo de predição no MBL sendo o modo de predição ótimo é lida da tabela de taxas de correspondência do modo de predição no ponto de tempo quando a informação acerca do modo de predi- ção ótimo para SMBL-1 foi adquirida, e a taxa de correspondência tendo o valor máximo dentre estas é especificada, então o processamento de espe- cificação requerido torna-se extremamente complexo.

Portanto, a taxa de correspondência tendo o valor máximo que está contido nas taxas de correspondência da tabela de correspondência do modo de predição é especificada, e a taxa de correspondência da tabela de correspondência do modo de predição é binarizada.

Os resultados da redução quando o modo de predição tendo o valor máximo na tabela de taxas de correspondência do modo de predição mostrada na figura 3 foi determinado como o candidato de pesquisa do mo- do de predição são mostrados na figura 5. Na figura 5, o representa os candidatos de pesquisa, e x representa modos de predição removidos dos candidatos de pesquisa.

Doravante, a presente invenção será descrita em mais detalhe de acordo com as modalidades.

figura 6 à figura 8 são fluxogramas mostrando o processamento de codificação de vídeo escalável executado pela modalidade presente.

figura 6 é um fluxograma mostrando o processamento de codifi- - cação de vídeo escalável geral executado pela modalidade presente. figura 7 e figura 8 são fluxogramas mostrando um exemplo e outro exemplo dos ' detalhes do processamento executado na etapa S201 do fluxograma mos- trado na figura 6.

A seguir, o processamento de codificação de vídeo escalável executado pela modalidade presente será descrito em detalhes de acordo com estes fluxogramas.

O processamento de codificação da modalidade presente é pro- cessado para as camadas de enriquecimento, e processamento de codifica- ção de camada simples não escalável é aplicado à camada de base. Um exemplo de processamento de codificação de camada simples é o proces- samento de codificação da porção de camada de base do codificador de re- ferência de SVC JVSM mencionado no Documento de não Patente 2.

O processamento das etapas S201 à S206 executadas no fluxo- grama mostrado na figura 6 será agora descrito.

Na etapa S201, os valores iniciais dos candidatos de pesquisa do modo de predição a serem pesquisados no macrobloco alvo de codifica- ção (MB) são lidos, e os candidatos de pesquisa para o modo de predição que são para ser pesquisados por fim no MB alvo de codificação são decidi- dose armazenados em um registro. Este processamento é descrito abaixo em detalhes com referência às figura 7 e figura 8.

Na etapa S202, informação acerca dos candidatos de pesquisa do modo de predição que foi armazenada como resultado do processamento Ú da etapa S201 é lida do registro, e uma pesquisa de cada candidato de pes- quisa do modo de predição é executada. Um modo de predição ótimo a ser usado para a codificação é depois decidido e informação acerca deste modo é armazenada no registro. Um exemplo de um método de decidir o modo de predição ótimo é um método que é executado em JSVM em que um modo de predição, em que os custos de codificação que são expressos por uma soma linear do bit de codificação e distorção de codificação são minimiza- dos, é considerado como o modo de predição ótimo.

Na etapa S203, informação acerca do modo de predição ótimo - no MB alvo de codificação é lida do registro, e compensação de movimento é executado neste modo de predição ótimo. Um sinal residual de predição é ' depois criado e é armazenado em um armazenamento temporário. Na etapa S204, o sinal residual de predição é lido do armaze- namento temporário e este sinal residual de predição é depois codificado e os dados codificados resultantes são armazenados no armazenamento tem- porário. Um exemplo deste processamento é o DCT, quantificação, e se- quência de processamento de codificação de comprimento variável no codi- ficador de referência de SVC JSVM mencionado no Documento de não Pa- tente2.

Na etapa S205, processamento de determinação é executado para determinar se ou não a codificação de todo o MB foi concluída. Se a codificação de todo o MB foi concluída, o processamento de codificação é finalizado e os dados codificados de cada MB como também outra informa- çãode cabeçalho necessária são lidos do armazenamento temporário, e são transmitidos como dados codificados finais. Se a codificação de todo o MB não foi concluída, a rotina move-se para a etapa S206.

Na etapa S206, o processamento move-se para o próximo MB alvo de codificação, e o processamento da etapa S201 é executado.

A seguir, um exemplo do processamento específico executado na etapa S201 será descrito usando o fluxograma mostrado na figura 7 que inclui a etapa S301 à S306.

Na etapa S301, informação é lida que específica se ou não o MB i visado para codificação é um MB visado para a predição dos candidatos de pesquisa do modo de predição que é o objetivo da modalidade presente.

Se o MB visado para codificação for um MB visado para a redução dos candida- tos de pesquisado modo de predição, a rotina move-se para o processa- mento da etapa S302. Se o MB visado para codificação não for um MB visa- do para a redução dos candidatos de pesquisa do modo de predição, o valor inicial dos candidatos de pesquisa do modo de predição é transmitido como o candidato de pesquisa do modo de predição final.

Na etapa S302, informação que especifica os quadros já codifi- . cados que são visados para cálculo da tabela de taxas de correspondência do modo de predição é lida do exterior, e a informação do modo de predição ' acerca dos quadros especificados é armazenada no registro. ' Na etapa S303, a informação do modo de predição (isto é, in- formação acerca do modo de predição ótimo usado na codificação) nos qua- dros que são visados para cálculo da tabela de taxas de correspondência do modo de predição é lida, e as taxas de correspondência (isto é, as taxas de incidência) dos modos de predição ótimos da camada visada para codifica- ção e da camada diretamente abaixo daquela são calculadas e armazena- das no registro como uma tabela de taxas de correspondência do modo de predição.

Uma tabela de taxas de correspondência do modo de predição tal como aquela mostrada na figura 3 é criada e armazenada no registro.

Na etapa S304, a tabela de taxas de correspondência do modo de predição é lida e esta tabela é depois armazenada no armazenamento temporário.

Na etapa S305, o valor de limiar de redução dos candidatos de pesquisa do modo de predição é lido e depois armazenado no registro.

Na etapa S306, a tabela de taxas de correspondência do modo de predição é lida do armazenamento temporário, e os valores de redução dos candidatos de pesquisa do modo de predição são também lidos do re- gistro.

Apenas aqueles modos de predição em que a taxa de correspondên- cia (isto é, a taxa de incidência) é igual ou maior do que o valor de limiar de redução dos candidatos de pesquisa do modo de predição são determinados | como candidatos de pesquisa do modo de predição, e informação acerca destes é armazenada no registro. Quando estas determinações e armaze- namentos estão sendo feitos, apenas os candidatos de pesquisa do modo de predição que estão associados ao modo de predição ótimo obtido codifi- cando a camada de base são selecionados, determinados e armazenados.

Desta maneira, no fluxograma mostrado na figura 6, com base em uma tabela de taxas de correspondência do modo de predição tendo uma estrutura de dados tal como aquela mostrada na figura 3, processa- mento é executado para reduzir os candidatos de pesquisa do modo de pre- dição em um formato tal como aquele mostrado na figura 4.

A seguir, outro exemplo do processamento específico executado na etapa S201 será descrito usando o fluxograma mostrado na figura 8 que inclui a etapa S401 até a etapa S405.

Na etapa S401, informação é lida que especifica se ou não o MB visado para codificação é um MB visado para a redução dos candidatos de pesquisa do modo de predição que é o objetivo da modalidade presente. Se o MB visado para codificação for um MB visado para a redução dos candida- tos de pesquisa do modo de predição, a rotina move-se para o processa- —mentoda etapa S402. Se o MB visado para codificação não for um MB visa- do para a redução dos candidatos de pesquisa do modo de predição, o valor inicial do candidato de pesquisa do modo de predição é transmitido como o candidato de pesquisa do modo de predição final.

Na etapa S402, informação que específica os quadros já codifi- —cados que são visados para cálculo da tabela de taxas de correspondência do modo de predição é lida do exterior, e a informação do modo de predição acerca dos quadros especificados é armazenada no registro.

Na etapa S403, a informação do modo de predição (isto é, in- formação acerca do modo de predição ótimo usado na codificação) nos qua- —dros que são visados para cálculo da tabela de taxas de correspondência do modo de predição é lida. A seguir, as taxas de correspondência (isto é, as taxas de incidência) dos modos de predição ótimos da camada visada para codificação e da camada diretamente abaixo daquela são calculadas e ar- mazenadas no registro como uma tabela de taxas de correspondência do modo de predição. A saber, uma tabela de taxas de correspondência do mo- do de predição tal como aquela mostrada na figura 3 é criada e armazenada noregistro.

Na etapa S404, a tabela de taxas de correspondência do modo de predição é lida e este tabela é depois armazenada no armazenamento temporário.

Na etapa S405, a tabela de taxas de correspondência do modo de predição é lida do armazenamento temporário, e apenas o modo de pre- dição que tem a taxa de correspondência máxima (isto é, a taxa de incidên- cia) é determinado como o candidato de pesquisa do modo de predição, e informação acerca deste é armazenada no registro. Aqui, quando estas de- terminações e armazenamentos estão sendo feitos, apenas os candidatos de pesquisa do modo de predição que estão associados ao modo de predi- ção ótimo obtido codificando a camada de base são selecionados, determi- nados, e armazenados.

Desta maneira, no fluxograma mostrado na figura 6, com base em uma tabela de taxas de correspondência do modo de predição tendo uma estrutura de dados tal como aquela mostrada na figura 3, processa- mento é executado para reduzir os candidatos de pesquisa do modo de pre- dição em um formato tal como aquele mostrado na figura 5.

figura 9 à figura 11 mostram a estrutura de um aparelho de co- dificação de vídeo escalável de acordo com uma modalidade da presente invenção.

figura 9 mostra a estrutura geral do aparelho de codificação de vídeo escalável da modalidade presente. figura 10 e figura , 11 mostram um exemplo e outro exemplo da estrutura detalhada de uma unidade de decisão dos candidatos de pesquisa do modo de predição 102 mostrada na figura 9.

A seguir, o aparelho de codificação de vídeo escalável da moda- lidade presente será descrito em detalhes com referência a estes diagramas estruturais do aparelho.

O aparelho de codificação de vídeo escalável da modalidade presente é um aparelho de processamento para camadas de enriquecimen- to, e processamento de codificação de camada simples não escalável é apli- cado à camada de base.

Um exemplo de processamento de codificação de camada simples é o processamento de codificação da porção de camada de base do codificador de referência de SVC JVSM mencionado no Documento de não Patente 2. Primeiramente, a estrutura geral do aparelho de codificação de vídeo escalável será descrita com referência à figura 9. Unidade de armazenamento dos valores iniciais dos candidatos - de pesquisa do modo de predição 101 lê os valores iniciais dos candidatos de pesquisa do modo de predição, e transmite estes para um registro.

Ú A unidade de decisão dos candidatos de pesquisa do modo de predição 102 lê os valores iniciais para os candidatos de pesquisa do modo de predição, e decide os candidatos de pesquisa do modo de predição a se- rem por fim pesquisados.

Em seguida, a unidade de decisão dos candidatos de pesquisa do modo de predição 102 transmite para o registro a informação acerca dos candidatos de pesquisa do modo de predição que foram por fim decididos, e o processamento move para a unidade de decisão do modo de predição ótimo 103. A estrutura detalhada desta unidade de processamento será descrita abaixo usando a figura 10 e figura 11. A unidade de decisão do modo de predição ótimo 103 lê os can- didatos de pesquisa do modo de predição do registro, e executa uma pes- quisa de cada candidato de pesquisa do modo de predição.

Em seguida, a unidade de decisão do modo de predição ótimo 103 decide um modo de predição ótimo a ser usado para a codificação, e transmite a informação a- cerca deste modo para uma unidade de armazenamento de modo de predi- ção ótimo 104. Um exemplo do método de decidir o modo de predição ótimo é um método que é executado em JSVM em que um modo de predição em queos custos de codificação que são expressos por uma soma linear do bit de codificação e codificação de distorção é considerado como o modo de predição ótimo.

A unidade de criação do sinal residual de predição 105 lê o mo- do de predição ótimo no MB alvo de codificação da unidade de armazena- mento de modo de predição ótimo 104, e executa compensação de movi- mento neste modo de predição ótimo. Ela depois cria um sinal residual de predição e transmite este para um armazenamento temporário.

A unidade de codificação do sinal residual de predição 106 de- pois lê o sinal residual de predição no MB visado para codificação do arma- zenamento temporário e executa a codificação deste sinal residual de predi- ção. Os dados codificados são depois transmitidos para o armazenamento temporário. Um exemplo deste processamento é o DCT, quantificação, e - sequência de processamento de codificação de comprimento variável do Codificador de referência de SVC JSVM mencionado no Documento de não ' Patente 2. A unidade de determinação de conclusão total MB 107 executa processamento de determinação para determinar se ou não a codificação de todo o MB foi concluída. Se a codificação de todo o MB foi concluída, o pro- cessamento de codificação é finalizado e os dados codificados finais são transmitidos. Se codificação de todo o MB não foi concluída, a rotina move o processamento de uma unidade de atualização de MB alvo de codificação

108.

A unidade de atualização de MB alvo de codificação 108 move o processamento para o próximo MB visado para codificação, e o processa- mento da unidade de decisão dos candidatos de pesquisa do modo de pre- dição 102 é executado.

A seguir, um exemplo da estrutura detalhada da unidade de de- cisão dos candidatos de pesquisa do modo de predição 102 será descrito com referência à figura 10. Uma unidade de armazenamento da informação de especifica- ção do MB alvo de redução dos candidatos de pesquisa do modo de predi- ção201lêa informação que específica se ou não um MB é para sofrer redu- ção dos candidatos de pesquisa do modo de predição, e transmite esta in- formação para um registro.

Uma unidade de determinação do MB alvo de redução dos can- didatos de pesquisa do modo de predição 202 lê a informação que especifi- ca os MB que são para sofrer redução dos candidatos de pesquisa do modo de predição da unidade de armazenamento da informação de especificação doMB alvode redução dos candidatos de pesquisa do modo de predição 201, e executa processamento de determinação para determinar se ou não um MB visado para codificação é um MB a ser reduzido. Se o MB visado para codificação for um MB a ser reduzido, a rotina move-se para o proces- samento de uma unidade de criação da tabela de taxas de correspondência domodo de predição 206. Se o MB visado para codificação não for um MB a - ser reduzido, então o valor inicial do candidato de pesquisa do modo de pre- dição é decidido como o candidato de pesquisa do modo de predição final, e ' é transmitido.

Uma unidade de armazenamento da informação de especifica- çãodo quadro alvo de cálculo da taxa de correspondência do modo de pre- dição 203 lê a informação que especifica os quadros que já foram codifica- dos e são visados para o cálculo das taxas de correspondência do modo de predição, e transmite a mesma para o registro.

Uma unidade de armazenamento do modo de predição ótimo da camada de enriquecimento do quadro alvo 204 lê a informação do modo de predição ótimo de uma camada visada para codificação dos quadros que são visados para o cálculo das taxas de correspondência do modo de predi- ção que são especificados pela informação de especificação lida da unidade de armazenamento da informação de especificação do quadro alvo de cálcu- lo da taxa de correspondência do modo de predição 203, e transmite a mesma para o registro.

Uma unidade de armazenamento 205 para modos de predição ótimos para a camada diretamente abaixo de um quadro alvo lê a informa- ção do modo de predição ótimo de uma camada diretamente abaixo da ca- mada visada para codificar os quadros que são visados para o cálculo das taxas de correspondência do modo de predição que são especificados pela informação lida da especificação lida da unidade de armazenamento da in-

formação de especificação do quadro alvo de cálculo da taxa de correspon- dência do modo de predição 203, e transmite a mesma para o registro.

A unidade de criação da tabela de taxas de correspondência do modo de predição 206 lê da unidade de armazenamento do modo de predi- ção ótimo da camada de enriquecimento do quadro alvo 204 a informação do modo de predição ótimo em uma camada visada para codificação de um quadro visado para o cálculo das taxas de correspondência do modo de pre- dição.

Além disso, a unidade de criação da tabela de taxas de correspon- dência do modo de predição 206 também lê a informação do modo de predi- ção ótimode uma camada diretamente abaixo da camada visada para codi- - ficação dos quadros que são visados para o cálculo das taxas de correspon- dência do modo de predição da unidade de armazenamento 205 para modos ' de predição ótimos para a camada diretamente abaixo de um quadro alvo, e calcula as taxas de correspondência (isto é, as taxas de incidência) dos mo- dos de predição ótimos entre os macroblocos e submacroblocos correspon- dentes, e transmite os resultados para uma unidade de armazenamento da tabela de taxas de correspondência do modo de predição 207 como uma tabela de taxas de correspondência do modo de predição.

Uma unidade de armazenamento do valor de limiar da redução dos candidatos de pesquisa do modo de predição 208 lê os valores de limiar para reduzir os candidatos de pesquisa do modo de predição, e os transmite para o registro.

Uma unidade de comparação do valor de limiar da tabela de ta- xas de correspondência do modo de predição 209 lê as tabelas de taxas de correspondência do modo de predição da unidade de armazenamento da tabela de taxas de correspondência do modo de predição 207, e também lê os valores de limiar para reduzir os candidatos de pesquisa do modo de pre- dição da unidade de armazenamento do valor de limiar da redução dos can- didatos de pesquisa do modo de predição 208. Em seguida, a unidade de comparação do valor de limiar da tabela de taxas de correspondência do modo de predição 209 examina a probabilidade de incidência de um modo de predição ótimo de um MB visado para codificação que está imediatamen-

te associado ao modo de predição ótimo do SMB abaixo dele, e depois de- ' termina apenas os modos de predição para cuja probabilidade de incidência é igual ou maior que o valor de limiar de redução dos candidatos de pesqui- sa do modo de predição como candidatos de pesquisa do modo de predição, etransmite estes.

Desta maneira, na estrutura do aparelho mostrado na figura 10, com base em uma tabela de taxas de correspondência do modo de predição tendo uma estrutura de dados tal como aquela mostrada na figura 3, pro- cessamento é executado para reduzir os candidatos de pesquisa do modo de prediçãoem um formato tal como aquele mostrado na figura 4. - A seguir, outro exemplo da estrutura detalhada da unidade de decisão dos candidatos de pesquisa do modo de predição 102 será descrito ' com referência à figura 11. Uma unidade de armazenamento da informação de especiífica- çãodoMB alvo de redução dos candidatos de pesquisa do modo de predi- ção 301 lê a informação que especifica se ou não um MB é para sofrer redu- ção dos candidatos de pesquisa do modo de predição, e transmite esta in- formação para um registro.

Uma unidade de determinação do MB alvo de redução dos can- didatosde pesquisa do modo de predição 302 lê a informação que especifi- ca o MB que é para sofrer redução dos candidatos de pesquisa do modo de predição da unidade de armazenamento da informação de especificação do MB alvo de redução dos candidatos de pesquisa do modo de predição 301, e executa processamento de determinação para determinar se ou não um MBvisado para codificação é um MB para ser reduzido. Se o MB visado pa- ra codificação for um MB para ser reduzido, a rotina move-se para o proces- samento de uma unidade de criação da tabela de taxas de correspondência do modo de predição 306. Se o MB visado para codificação não for um MB para ser reduzido, então o valor inicial do candidato de pesquisa do modo de predição é decidido como o candidato de pesquisa do modo de predição fi- nal, e é transmitido.

Uma unidade de armazenamento da informação de especifica-

ção do quadro alvo de cálculo da taxa de correspondência do modo de pre- dição 303 lê a informação que especifica os quadros que já foram codifica- dos e são visados para o cálculo das taxas de correspondência do modo de predição, e transmite a mesma para o registro.

Uma unidade de armazenamento do modo de predição ótimo da camada de enriquecimento do quadro alvo 304 lê a informação do modo de predição ótimo de uma camada visada para codificar os quadros que são visados para o cálculo das taxas de correspondência do modo de predição que são especificados pela informação de especificação lida da unidade de armazenamento da informação de especificação do quadro alvo de cálculo - da taxa de correspondência do modo de predição 303, e transmite a mesma para o registro. ' Uma unidade de armazenamento 305 para modos de predição ótimos para a camada diretamente abaixo de um quadro alvo lê a informa- çãodo modo de predição ótimo de uma camada diretamente abaixo da ca- mada visada para codificar quadros que são visados para o cálculo das ta- xas de correspondência do modo de predição que são especificados pela informação de especificação lida da unidade de armazenamento da informa- ção de especificação do quadro alvo de cálculo da taxa de correspondência domodo de predição 303, e transmite a mesma para o registro, A unidade de criação da tabela de taxas de correspondência do modo de predição 306 lê da unidade de armazenamento do modo de predi- ção ótimo da camada de enriquecimento do quadro alvo 304 a informação do modo de predição ótimo em uma camada visada para codificação de um quadro visado para o cálculo das taxas de correspondência do modo de pre- dição. Além disso, a unidade de criação da tabela de taxas de correspon- dência do modo de predição 306 também lê a informação do modo de predi- ção ótimo de uma camada diretamente abaixo da camada visada para codi- ficação dos quadros que são visados para o cálculo das taxas de correspon- —dênciado modo de predição da unidade de armazenamento 305 para modos de predição ótimos para a camada diretamente abaixo de um quadro alvo. Em seguida, a unidade de criação da tabela de taxas de correspondência do modo de predição 306 calcula as taxas de correspondência (isto é, as taxas de incidência) dos modos de predição ótimos entre os macroblocos e sub- macroblocos correspondentes, e transmite os resultados para uma unidade de armazenamento da tabela de taxas de correspondência do modo de pre- dição307 como uma tabela de taxas de correspondência do modo de predi- ção, Uma unidade de examinação do modo de predição máximo de taxa de incidência 308 lê as tabelas de taxas de correspondência do modo de predição da unidade de armazenamento da tabela de taxas de corres- —pondênciado modo de predição 207, e examina a probabilidade de incidên- . cia de um modo de predição ótimo de um MB visado para codificação para o modo de predição ótimo do SMB imediatamente abaixo deste e depois de- ] termina o modo de predição cuja probabilidade de incidência ao máximo como o candidato de pesquisa do modo de predição final, e transmite este. Desta maneira, na estrutura do aparelho mostrada na figura 11, com base em uma tabela de taxas de correspondência do modo de predição tendo uma estrutura de dados tal como aquela mostrada na figura 3, pro- cessamento é executado para reduzir os candidatos de pesquisa do modo de predição em um formato tal como aquele mostrado na figura 5. A seguir, os resultados de um experimento que foi executado pa- ra verificar a efetividade da presente invenção serão descritos.

Este experimento foi executado instalando a modalidade presen- te em JSVM 9.12.2, e depois comparando JSVM com a modalidade presen- te. As imagens usadas foram imagens de teste de SVC "Cidade" e "Futebol" tendo um tamanho de 704 x 576, e "Pedestre" e "Estação" tendo um tama- nho de 1920 x 1024. Imagens tendo as resoluções acima foram do | de teste de predição dor os rediç entradas na camada de enriquecimento, enquanto as imagens tendo as resoluções de número de pixel tanto vertical como hori- zontalmente da metade daquelas dadas acima foram entradas na camada de base. O número de quadros de imagem codificados foi 129, e quatro QP (Parâmetros de Quantização), a saber, 22, 27, 32, e 37 foram testados com os mesmos valores sendo usados em ambas as camadas. A estrutura GOP

(Grupo de Imagens) foi a estrutura de imagem B hierárquica de IBBBP e | foi ] entrado a cada 16 quadros. Como é mostrado na figura 12, dois quadros que pertencem ao nível de tempo menor foram usados respectivamente para o quadro de cálculo da taxa correspondência do nível e quadro de seleção —domodo de velocidade alta. Uma CPU Xeon 3.16 GHz foi usada para a me- dição do tempo de codificação, A presente invenção não é limitada à modalidade descrita acima. Por exemplo, na modalidade descrita acima, um exemplo é descrito em que a presente invenção é aplicada a uma estrutura de camadas graduadas for- mada por uma camada de base e uma camada de enriquecimento, porém, . as aplicações da presente invenção não são limitadas a este tipo de estrutu- ra de camadas graduadas. ' APLICABILIDADE INDUSTRIAL A presente invenção pode ser aplicada à codificação de imagem móvel escalável que alcança escalabilidade usando uma estrutura de cama- da, e é possível diminuir o tempo de codificação aplicando a presente inven- ção.

LISTAGEM DE REFERÊNCIA 101 Unidade de armazenamento dos valores iniciais dos candidatos de pesquisado modo de predição 102 Unidade de decisão dos candidatos de pesquisa do modo de predição 103 Unidade de decisão do modo de predição ótimo 104 Unidade de decisão do modo de predição ótimo 105 Unidade de criação do sinal residual de predição 106 Unidade de codificação do sinal residual de predição 107 Unidade de determinação da conclusão total do MB 108 Unidade de atualização de codificação do MB alvo 201 Unidade de armazenamento da informação de especificação do MB alvo da redução dos candidatos de pesquisa do modo de predição. 202 Unidade de determinação do MB alvo de redução dos candidatos de pesquisa do modo de predição 203 Unidade de armazenamento da informação de especificação do quadro alvo de cálculo da taxa de correspondência do modo de predição 204 Unidade de armazenamento do modo de predição ótimo da camada de enriquecimento do quadro alvo 205 Unidade de armazenamento para modo de predição ótimo para a ca- mada diretamente abaixo de um quadro alvo 206 Unidade de criação da tabela de taxas de correspondência do modo de predição 207 Unidade de armazenamento da tabela de taxas de correspondência do modo de predição 208 Unidade de armazenamento do valor de limiar da redução dos candida- . tos de pesquisa do modo de predição 209 Unidade de comparação do valor de limiar da tabela de taxas de cor- 7 respondência do modo de predição 301 Unidade de armazenamento da informação de especificação do MB alvode redução dos candidatos de pesquisa do modo de predição 302 Unidade de determinação do MB alvo de redução dos candidatos de pesquisa do modo de predição 303 Unidade de armazenamento da informação de especificação do quadro alvo de cálculo da taxa de correspondência do modo de predição 304 Unidade de armazenamento do modo de predição ótimo da camada de enriquecimento do quadro alvo 305 Unidade de armazenamento para modo de predição ótimo para cama- da diretamente abaixo de um quadro alvo 306 Unidade de criação da tabela de taxas de correspondência do modo de predição 307 Unidade de armazenamento da tabela de taxas de correspondência do modo de predição 308 Unidade de examinação do modo de predição máximo de taxa de inci- dência

Claims (10)

1. REIVINDICAÇÕES ] 1. Método de codificação de vídeo escalável para codificar de modo escalável vídeos, compreendendo: uma etapa em que, com base na informação acerca de um mo- dode predição ótimo que foi selecionado na codificação escalável executada sem qualquer limite sendo estabelecido no uso dos modos de predição defi- nidos como sendo capazes de ser usados, taxas de incidência das combina- ções de modos de predição ótimos a serem selecionados para blocos espa- cialmente correspondentes de uma camada superior e uma camada inferior são determinadas, e uma tabela de correspondência é criada que descreve . relações entre as combinações do modo de predição ótimo selecionado e do modo de predição ótimo a ser selecionado e as taxas de incidência; " uma etapa em que, ao codificar o bloco de camada superior, in- formação acerca do modo de predição ótimo selecionado na codificação do —blocode camada inferior espacialmente correspondente é adquirida; e uma etapa em que, com base na informação acerca do modo de predição ótimo selecionado adquirida na etapa de aquisição e na informação acerca das taxas de incidência descritas na tabela de correspondência, uma combinação efetiva é extraída dentre as combinações descritas na tabela de correspondência, e o modo de predição ótimo da camada superior mantida pela combinação efetiva extraída é decidido como o candidato de pesquisa do modo de predição a ser pesquisado na codificação do bloco da camada superior.
2. 2. Método de codificação de vídeo escalável para codificar de modo escalável vídeos, compreendendo: uma etapa em que, com base na informação acerca de um mo- do de predição ótimo que foi selecionado na codificação escalável executada sem qualquer limite sendo estabelecido no uso dos modos de predição defi- nidos como sendo capazes de ser usados, as taxas de incidência de combi- nações de modos de predição ótimos a serem selecionados para blocos es- pacialmente correspondentes de uma camada superior e uma camada infe- rior são determinadas, e uma tabela de correspondência é criada que des-

   creve as relações entre as combinações do modo de predição ótimo selecio- Ú nado e o modo de predição ótimo a ser selecionado e as taxas de incidência; uma etapa em que, com base nos valores das taxas de incidên- cia, uma combinação dos modos de predição ótimos efetivos é extraída re- duzindoas combinações dos modos de predição ótimos selecionados des- critos na tabela de correspondência e do modo de predição ótimo a ser sele- cionado, e informação de correspondência do modo de predição que des- creve as combinações dos modos de predição ótimos efetivos extraídos é criada; uma etapa em que, ao codificar o bloco de camada superior, in- - formação acerca do modo de predição ótimo selecionado na codificação do bloco de camada inferior espacialmente correspondente é adquirida; e ] uma etapa em que, referindo à informação de correspondência do modo de predição usando como uma chave a informação acerca do mo- dode predição ótimo selecionado adquirida na etapa de aquisição, o candi- dato de pesquisa do modo de predição a ser pesquisado na codificação do bloco de camada superior é decidido.
3. 3. Método de codificação de vídeo escalável, de acordo com a reivindicação 2, em que, na etapa para criar a informação de correspondência do modo de predição, a combinação tendo uma taxa de incidência mostrando um va- lor que é maior que um valor de limiar predeterminado, é extraída como a combinação efetiva.
4. 4. Método de codificação de vídeo escalável, de acordo com a reivindicação 2, em que, na etapa para criar a informação de correspondência do modo de predição, a combinação tendo a taxa de incidência mostrando o valor maior dentre as combinações de modos de predição ótimos tendo os mes- mos modos de predição ótimos na camada inferior é extraída como a combi- nação efetiva, ou alternativamente, uma combinação de um número prede- terminado dos modos de predição ótimos selecionados em sequência da taxa de incidência mostrando o valor maior é extraída como a combinação efetiva. :
5. 5. Método de codificação de vídeo escalável, de acordo com qualquer uma das reivindicações 1 a 4, em que é fornecida uma etapa em que o controle é executado de modo que codificação escalável em que limites são estabelecidos no uso dos mo- dos de predição executados usando a tabela de correspondência, e codifica- ção escalável em que nenhum limite é estabelecido no uso dos modos de predição executados sem usar a tabela de correspondência são alternada- mente repetidas.
6. 6. Aparelho de codificação de vídeo escalável que codifica de . modo escalável vídeos, compreendendo: uma unidade de criação que, com base na informação acerca de : um modo de predição ótimo que foi selecionado na codificação escalável executada sem qualquer limite sendo estabelecido no uso dos modos de predição definidos como sendo capazes de ser usados, determina as taxas de incidência das combinações de modos de predição ótimos a serem sele- cionados para blocos espacialmente correspondentes de uma camada supe- rior e uma camada inferior, e cria uma tabela de correspondência que des- creve as relações entre as combinações do modo de predição ótimo selecio- nadoedo modo de predição ótimo a ser selecionado, e as taxas de incidên- cia; uma unidade de aquisição que, ao codificar o bloco de camada superior, adquire informação acerca do modo de predição ótimo selecionado na codificação do bloco de camada inferior espacialmente correspondente; e uma unidade de decisão que, com base na informação acerca do modo de predição ótimo selecionado adquirida pela unidade de aquisição e na informação acerca das taxas de incidência descritas na tabela de cor- respondência, extrai uma combinação efetiva dentre as combinações descri- tas na tabela de correspondência, e decide o modo de predição ótimo da camada superior mantida pela combinação efetiva extraída como o candida- to de pesquisa do modo de predição a ser pesquisado na codificação do blo- co da camada superior.
7. 7. Aparelho de codificação de vídeo escalável que codifica de ' modo escalável vídeos, compreendendo: uma unidade de criação da tabela de correspondência que, com base na informação acerca de um modo de predição ótimo que foi selecio- nado na codificação escalável executada sem qualquer limite sendo estabe- lecido no uso dos modos de predição definidos como sendo capazes de ser usados, determina as taxas de incidência das combinações dos modos de predição ótimos a serem selecionados para blocos espacialmente corres- pondentes de uma camada superior e uma camada inferior, e cria uma tabe- lade correspondência que descreve as relações entre as combinações do . modo de predição ótimo selecionado e do modo de predição ótimo a ser se- lecionado, e as taxas de incidência; ' uma unidade de criação de informação de correspondência do modo de predição que, com base nos valores das taxas de incidência, extrai uma combinação dos modos de predição ótimos efetivos reduzindo as com- binações dos modos de predição ótimos selecionados descritos na tabela de correspondência e do modo de predição ótimo a ser selecionado, e cria in- formação de correspondência do modo de predição que descreve as combi- nações dos modos de predição ótimos efetivos extraídos; uma unidade de aquisição que, ao codificar o bloco de camada superior, adquire informação acerca do modo de predição ótimo selecionado na codificação do bloco de camada inferior espacialmente correspondente; e uma unidade de decisão que, referindo à informação de corres- pondência do modo de predição usando como uma chave a informação a- cercado modo de predição ótimo selecionado adquirida pela unidade de aquisição, o candidato de pesquisa do modo de predição a ser pesquisado na codificação do bloco de camada superior é decidido.
8. 8. Aparelho de codificação de vídeo escalável de acordo com a reivindicação 6 ou 7, compreendendo: uma unidade de controle que executa controle de modo que co- dificação escalável em que limites são estabelecidos no uso dos modos de predição executados usando a tabela de correspondência, e codificação es-

   calável em que nenhum limite é estabelecido no uso dos modos de predição ' executado sem usar a tabela de correspondência são alternadamente repe- tidas.
9. 9. Programa de codificação de vídeo escalável que é usado para executar em um computador o método de codificação de vídeo escalável como definido em qualquer uma das reivindicações 1 a 5.
10. 10. Meio de gravação legível por computador que armazena um programa de codificação de vídeo escalável que é usado para executar em um computador o método de codificação de vídeo escalável como definido em qualquer uma das reivindicações 1 a 5.