BRPI1014257B1 - aparelho de codificação de vídeo e aparelho de decodificação de vídeo - Google Patents

aparelho de codificação de vídeo e aparelho de decodificação de vídeo Download PDF

Info

Publication number
BRPI1014257B1
BRPI1014257B1 BRPI1014257-6A BRPI1014257A BRPI1014257B1 BR PI1014257 B1 BRPI1014257 B1 BR PI1014257B1 BR PI1014257 A BRPI1014257 A BR PI1014257A BR PI1014257 B1 BRPI1014257 B1 BR PI1014257B1
Authority
BR
Brazil
Prior art keywords
transformation
partition
frequency
transformations
list
Prior art date
Application number
BRPI1014257-6A
Other languages
English (en)
Inventor
Tomoyuki Yamamoto
Tomohiro Ikai
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42936156&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=BRPI1014257(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Publication of BRPI1014257A2 publication Critical patent/BRPI1014257A2/pt
Publication of BRPI1014257B1 publication Critical patent/BRPI1014257B1/pt

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

APARELHO DE CODIFICAÇÃO DE VÍDEO E APARELHO DE DECODIFICAÇÃO DE VÍDEO. Embora mantendo um alto grau de liberdade na escolha de tamanhos de partições e tamanhos de transformações adaptadas para características locais de vídeos, a quantidade de metadados é diminuída. Um aparelho de codificação de vídeo (10) divide um vídeo de entrada em blocos de um tamanho prescrevido e codifica o vídeo bloco a bloco. O aparelho de codificação de vídeo é fornecido com: uma parte de determinação de parâmetro de predição (102) que decide a estrutura de partição de blocos; uma parte de produção de imagens preditivas (103) que gera imagens preditivas, partição por partição tal como prescrevido pela estrutura de partição; Uma parte de produção de coeficiente de transformação (107) que aplica uma das transformações de frequências incluídas em um conjunto de transformações predefinidas prescrevido para residuais de predição, isto é, as diferenças entre imagens preditivas e o vídeo de entrada; uma parte de derivação de restrição de transformação (104) que gera a lista de candidatos e transformação, isto é, listas de transformações de frequências que podem ser aplicadas a cada partição, com base em informação de formato de partição; e uma parte de codificação de comprimento variável (108) que, com base na lista (...).

Description

Campo Técnico
A presente invenção diz respeito a um aparelho de codificaçãode vídeo que produz dados codificados ao codificar um vídeo, e a um apare-lho de decodificação de vídeo que reproduz o vídeo a partir dos dados codi-ficados do vídeo que são transmitidos e acumulados.
Técnica Anterior Introdução e Definições de Termos Básicos
Em um sistema de codificação de vídeo baseado em blocos: umí vídeo de entrada a ser codificado é dividido em unidade predeterminada de processamento que é referida como "macroblocos" (em seguida, "MB"); processamento de codificação é executado para cada um dos MBs; e, assim, 15 dados codificados são produzidos. Quando um vídeo é reproduzido, dados codificados a ser decodificados são processados para cada um dos MBs, e uma imagem decodificada é produzida.
Existe um sistema especificado na Literatura Não de Patente 1 (H.264/AVC (Codificação de Vídeo Avançada)) como um sistema de codifi- 20 cação de vídeo baseado em blocos que é amplamente predominante na a- tualidade. De acordo com o H.264/AVC, imagens preditivas que predizem um vídeo de entrada a ser dividido em MBs são produzidas, e um residual de predição que é uma diferença entre o vídeo de entrada e a imagem predi- tiva é calculado. Um coeficiente de transformação é derivado ao aplicar uma 25 transformação de frequência tal como expressada por uma transformada discreta de cosseno (DCT) ao residual de predição. O coeficiente de transformação derivado é codificado com comprimento variável usando um método que é referido como "CABAC (Codificação Aritmética Binária Adaptativa Baseada em Contexto)" ou "CAVLC (Codificação de Comprimento Variável 30 Adaptativa Baseada em Contexto)". A imagem preditiva é produzida por meio de predição intra que usa a correlação espacial do vídeo ou predição inter (predição de compensação de movimento) que usa a correlação especial dos vídeos.
Conceito de Partição e Efeitos da Mesma
De acordo com a predição inter, uma imagem de um vídeo de entrada que se aproxima de um MB a ser codificado é produzida por uma unidade que é referida como "partição". Um ou dois vetores de movimento são relacionados com cada partição. Uma imagem preditiva é produzida ao se referir a uma área que corresponde ao MB a ser codificado em uma ima-gem decodificada local que é gravada em uma memória de quadro, com ba-se no(s) vetor(s) de movimento. A imagem decodificada local referida neste caso é chamada de "imagem de referência". De acordo com o H.264/AVC, tais tamanhos de partições estão disponíveis como "16x16", "16x8", "8x16", "8x8", "8x4", "4x8" e "4x4" em pixels. Quando um tamanho de partição pe-queno é usado, uma imagem preditiva pode ser produzida ao designar cada vetor de movimento em unidades finas e, portanto, a imagem preditiva que seja quase igual ao vídeo de entrada pode ser produzida mesmo quando a correlação espacial do movimento é baixa. Por outro lado, quando um tama-nho de partição grande é usado, a quantidade de códigos que são necessá-rios para codificar um vetor de movimento quando a correlação espacial do movimento é alta pode ser reduzida.
Conceito de Tamanho de Transformação e Efeitos do Mesmo
Para um residual de predição que é produzido usando uma ima-gem preditiva, redundância espacial ou temporal do valor de pixel do vídeo de entrada é reduzida. Além do mais, uma energia pode ser concentrada em um componente de baixa frequência de um coeficiente de transformação ao aplicar uma DCT ao residual de predição. Portanto, ao executar a codifica-ção de comprimento variável usando a predisposição da energia, a quanti-dade de códigos dos dados codificados pode ser reduzida quando compara-da com aquela do caso onde nenhuma imagem preditiva e nenhuma DCT não são usadas.
De acordo com o H.264/AVC, um sistema (seleção de transfor-mação adaptativa de bloco) é empregado que seleciona uma DCT adaptada para a propriedade local do vídeo a partir de DCTs tendo diversos tipos de tamanhos de transformações para o propósito de aumentar a concentração de energia no componente de baixa frequência pela DCT. Por exemplo, quando uma imagem preditiva é produzida usando a predição inter, a DCT que é aplicável à transformação do residual de predição pode ser seleciona-da de dois tipos de DCTs que são uma DCT de 8x8 e uma DCT de 4x4. A DCT de 8x8 é efetiva para uma área plana tendo relativamente uma peque-na quantidade de componentes de alta frequência por causa de a correlação espacial do valor de pixel poder ser usada em uma ampla faixa na DCT de 8x8. Por outro lado, a DCT de 4x4 é efetiva para uma área tendo uma grande quantidade de componentes de alta frequência tal como uma área que inclui um contorno de um objeto. Pode ser dito que, de acordo com o H.264/AVC, a DCT de 8x8 é a DCT para um tamanho de transformação grande e a DCT de 4x4 é a DCT para um tamanho de transformação peque-no.
De acordo com o H.264/AVC, a DCT de 8x8 e a DCT de 4x4 po-dem ser selecionadas quando a área de uma partição é igual ou maior que 8x8 pixels. A DCT de 4x4 pode ser selecionada quando a área de uma parti-ção é menor que 8x8 pixels.
Tal como indicado acima, de acordo com o H.264/AVC, um ta-manho de partição adequado e um tamanho de transformação adequado podem ser selecionados correspondendo ao grau de cada um de a correla-ção espacial, o valor de pixel ou a correlação espacial do vetor de movimen-to que são as propriedades locais de um vídeo. Portanto, a quantidade de códigos dos dados codificados pode ser reduzida.
Descrição de Expansão de Tamanho de Transformação Adaptativo e Expansão de Tamanho de Partição
Recentemente, vídeos de alta definição têm aumentado, os quais têm a resolução igual ou maior que a "HD (1.920 pixelsx1.080 pixels)". Comparado ao caso de um vídeo de baixa resolução convencional, no caso de um vídeo de alta definição, a correlação espacial do valor de pixel e a correlação espacial do vetor de movimento em um vídeo podem utilizar uma ampla faixa em uma área local no vídeo. Acima de tudo, o vídeo de alta defi- nição tem uma propriedade em que as correlações espaciais são altas em uma área local tanto para o valor de pixel quanto para o vetor de movimento.
A Literatura Não de Patente 2 descreve um sistema de codifica-ção de vídeo no qual a quantidade de códigos de dados codificados é redu-zida ao usar a propriedade da correlação espacial em um vídeo de alta defi-nição, tal como indicado anteriormente, ao expandir o tamanho de partição e o tamanho de transformação em H.264/AVC.
Mais especificamente, tamanhos de partições tais como "64x64", "64x32", "32x64", "32x32", "32x16" e "16x32" são adicionados além daque-les que são especificados no H.264/AVC. Além disso, DCTs tendo três tipos de novos tamanhos de transformações, "DCT de 16x16", "DCT de 16x8" e "DCT de 8x16", são adicionadas além daquelas que são especificadas no H.264/AVC.
Quando a área de uma partição é igual ou maior que 16x16 pi-xels, a DCT de 16x16, a DCT de 8x8 e a DCT de 4x4 podem ser seleciona-das. Quando o tamanho de partição é 16x8, a DCT de 16x8, a DCT de 8x8 e a DCT de 4x4 podem ser selecionadas. Quando o tamanho de partição é 8x16, a DCT de 8x16, a DCT de 8x8 e a DCT de 4x4 podem ser seleciona-das. Quando o tamanho de partição é 8x8, a DCT de 8x8 e a DCT de 4x4 podem ser selecionadas. Quando a área da partição é menor que 8x8 pixels, a DCT de 4x4 pode ser selecionada.
De acordo com o sistema descrito na Literatura Não de Patente 2, a quantidade de códigos dos dados codificados pode ser reduzida, por causa de o tamanho de partição e o tamanho de transformação que são a- daptativos à propriedade local do vídeo poderem ser selecionados mesmo para um vídeo de alta definição que tenha faixas dinâmicas relativamente amplas de correlações espaciais do pixel e do vetor de movimento ao mudar entre os vários tamanhos de partições e tamanhos de transformações indi-cados acima.
Documento de Técnica Anterior Literatura Não de Patente
Literatura Não de Patente 1: Recomendação ITU-T H.264 (11/07); Literatura Não de Patente 2: ITU-TT09-SG16-C-0123.
Revelação da Invenção Problemas Que a Invenção Tem Que Resolver
Tal como indicado acima, no sistema de codificação de vídeo, é efetivo aumentar os tipos de tamanhos de partições e tamanhos de trans-formações que podem ser selecionados para reduzir a quantidade de códi-gos dos dados codificados. Entretanto, surge um novo problema em que a quantidade de códigos de informação adicional que é exigida para selecionar o tamanho de partição e o tamanho de transformação aplicado em decodifi- cação em cada área local em um vídeo é aumentada.
De acordo com as Literaturas Não de Patente 1 e 2, mesmo quando o tamanho de partição é grande, uma transformação de frequência cujo tamanho de transformação é pequeno (a DCT de 4x4) pode ser usada. Entretanto, uma partição grande tende a ser selecionada em uma área tendo uma alta correlação espacial do valor de pixel e do vetor de movimento. Por-tanto, quando a transformação de frequência cujo tamanho de transformação é pequeno é aplicada a uma partição como esta, é difícil concentrar a energia do residual de predição em poucos coeficientes de transformação quando comparado ao caso onde a transformação de frequência cujo tamanho de transformação é grande é aplicada a isto. Portanto, uma transformação de frequência cujo tamanho de transformação é pequeno raramente é selecionado, e a informação adicional que é necessária para selecionar o tamanho de transformação é desperdiçada. Especialmente, quando a dife-rença é aumentada em magnitude entre um tamanho de partição grande e um tamanho de transformação pequeno por causa de expansão do maior tamanho de partição, torna-se mais difícil um tamanho de transformação menor ser selecionado.
De acordo com a Literatura Não de Patente 2, uma transformação de frequência pode ser selecionada cujo tamanho de transformação seja igual ao tamanho da partição para uma partição retangular. Entretanto, a Li-teratura Não de Patente 2 não se refere a qualquer coisa a respeito de qual critério é usado para determinar os tamanhos de transformações que podem ser selecionados quando tipos de tamanhos de transformação são acrescen-tados adicionalmente.
A presente invenção foi concebida em virtude das circunstâncias indicadas anteriormente e um objetivo da mesma é fornecer um aparelho de codificação de vídeo que capacite a quantidade de códigos de informação adicional para ser reduzida enquanto mantendo a possibilidade na qual o tamanho de partição e o tamanho de transformação que são adaptativos à propriedade local de um vídeo podem ser selecionados quando vários tama-nhos de partições e vários tamanhos de transformações estão disponíveis no aparelho de codificação de vídeo. Um outro objetivo da mesma é fornecer um aparelho de decodificação de vídeo que seja capaz de decodificar dados codificados pelo aparelho de codificação de vídeo.
Recursos Para Resolver os Problemas
Um primeiro recurso técnico de acordo com a presente invenção é um aparelho de codificação de vídeo que divide um vídeo de entrada em blocos de tamanhos predeterminados e executa um processamento de codi-ficação para cada bloco, compreendendo: uma parte de determinação de parâmetro de predição que determina uma estrutura de partição do bloco; uma parte de produção de imagem preditiva que produz uma imagem preditiva para cada partição especificada pela estrutura de partição; uma parte de produção de coeficiente de transformação que aplica qualquer uma das transformações incluídas em um conjunto de transformações predefinidas a um residual de predição que é uma diferença entre a imagem preditiva e o vídeo de entrada; uma parte de derivação de candidatas a transformação que produz uma lista de candidatas a transformação que é uma lista de transformações aplicáveis com base em informação de forma de partição; uma parte de determinação de transformação de frequência que determina uma sinalização de seleção de transformação indicando uma transformação a ser aplicada a cada partição com base na lista de candidatas a transformação; e uma parte de codificação de comprimento variável que aplica codificação de comprimento variável à sinalização de seleção de transformação com base na lista de candidatas a transformação e no conjunto de transfer- mações predefinidas.
Um segundo recurso técnico é o aparelho de codificação de vídeo do primeiro recurso técnico, compreendendo adicionalmente uma parte de derivação de restrição de transformação que produz uma lista de trans-formações proibidas que é uma lista de transformações inaplicáveis para cada partição com base na informação de forma de partição, em que a lista de candidatas a transformação é derivada com base na lista de transformações proibidas e no conjunto de transformações predefinidas.
Um terceiro recurso técnico é o aparelho de codificação de vídeo do primeiro ou do segundo recurso técnico, em que a informação de forma de partição é uma razão de um comprimento longitudinal para um comprimento lateral de uma partição, ou uma relação de magnitudes entre o comprimento longitudinal e o comprimento lateral da partição.
Um quarto recurso técnico é o aparelho de codificação de vídeo do primeiro ou do segundo recurso técnico, em que a informação de forma de partição é cada um dos menores valores de um comprimento longitudinal e um comprimento lateral de uma partição.
Um quinto recurso técnico é o aparelho de codificação de vídeo do primeiro ou do segundo recurso técnico, em que a estrutura de partição é expressada por meio de uma estrutura de camadas, e é especificado que cada partição é incluída em uma ou outra camada correspondendo a uma forma da partição, e a informação de forma de partição é uma camada à qual a partição pertence.
Um sexto recurso técnico é o aparelho de codificação de vídeo do primeiro recurso técnico, em que o conjunto de transformações predefinidas inclui pelo menos uma ou mais transformações cujo tamanho de trans-formação é um retângulo extenso lateralmente cuja altura é um pixel, e quando um comprimento lateral de uma partição é maior que um comprimento longitudinal da mesma, a parte de produção de lista de candidatas a transformação inclui na lista de candidatas a transformação uma transforma-ção cujo tamanho de transformação é um retângulo extenso lateralmente cuja altura é um pixel.
Um sétimo recurso técnico é o aparelho de codificação de vídeo do segundo recurso técnico, em que o conjunto de transformações predefi- nidas inclui pelo menos uma transformação cujo tamanho de transformação é um quadrado e pelo menos uma transformação cujo tamanho de transformação é um retângulo extenso lateralmente ou um retângulo extenso longi-tudinalmente, e quando um comprimento longitudinal de uma partição e um comprimento lateral da mesma não coincidem um com o outro, a parte de derivação de restrição de transformação inclui pelo menos uma transformação quadrada na lista de transformações proibidas.
Um oitavo recurso técnico é o aparelho de codificação de vídeo do segundo recurso técnico, em que o conjunto de transformações predefi- nidas inclui pelo menos uma ou mais transformações cujo tamanho de trans-formação é um retângulo extenso lateralmente e pelo menos uma ou mais transformações cujo tamanho de transformação é um retângulo extenso lon-gitudinalmente, e quando um comprimento lateral de uma partição é maior que um comprimento longitudinal da mesma, a parte de derivação de restrição de transformação inclui na lista de transformações proibidas uma transformação cujo tamanho de transformação é um retângulo extenso longitudinalmente.
Um nono recurso técnico é o aparelho de codificação de vídeo do segundo recurso técnico, em que o conjunto de transformações predefi- nidas inclui pelo menos duas ou mais transformações cujos tamanhos de transformações estão mutuamente em uma relação análoga, e quando cada um dos menores valores de um comprimento longitudinal e um comprimento lateral de uma partição é igual ou maior que um valor limiar predeterminado, a parte de derivação de restrição de transformação inclui na lista de trans-formações proibidas uma transformação cujo tamanho de transformação é o menor entre aqueles das transformações tendo os tamanhos de transforma-ções mantendo uma relação análoga uns com os outros.
Um décimo recurso técnico é o aparelho de codificação de vídeo do primeiro recurso técnico, em que o conjunto de transformações predefini- das inclui uma primeira transformação e uma segunda transformação man- tendo uma relação análoga com a primeira transformação e tendo tamanho de transformação menor que aquele da primeira transformação, a estrutura de partição é expressada por meio de uma estrutura de camadas e é especificado que cada partição é incluída em uma ou outra camada correspondendo a uma forma da partição, e a parte de derivação de restrição de transformação inclui a primeira transformação na lista de candidatas a transformação e não inclui a segunda transformação na lista de candidatas a transformação quando uma partição pertence a uma camada predeterminada que não é uma camada mais baixa, e inclui a segunda transformação na lista de candidatas a transformação quando a partição pertence a uma camada mais baixa que a camada predeterminada que não é a camada mais baixa.
Um décimo primeiro recurso técnico é um aparelho de decodifi-cação de vídeo que executa um processamento de decodificação para dados codificados de entrada para cada bloco, compreendendo: uma parte de decodificação de código de comprimento variável que decodifica uma estrutura de partição de um bloco a ser processado a partir dos dados codificados de entrada; uma parte de produção de imagem preditiva que produz uma imagem preditiva para cada partição que é especificada pela estrutura de partição; e uma parte de derivação de controle de transformação que deriva uma restrição de transformação e/ou uma candidata a transformação de uma transformação aplicável com base em informação de forma de partição, em que a parte de decodificação de comprimento variável decodifica uma sinalização de seleção de transformação com base nos dados decodificados de entrada e na restrição de transformação e/ou na candidata a transformação assim como decodifica um coeficiente de transformação do bloco a ser processado com base na sinalização de seleção de transformação, e o aparelho de decodificação de vídeo compreende adicionalmente: uma parte de reconstrução de residual de predição que reconstrói um residual de predição ao aplicar uma transformação inversa ao coeficiente de transformação, a transformação inversa correspondendo a uma transformação, a transformação sendo especificada pela sinalização de seleção de transformação; e uma parte de produção de imagem decodificada local que produz dados de imagem decodificados com base na imagem preditiva e no residual de predi-ção, os dados de imagem decodificados correspondendo ao bloco a ser pro-cessado.
Um décimo segundo recurso técnico é um aparelho de decodifi- cação de vídeo que decodifica uma imagem para cada bloco da imagem ao processar dados codificados de entrada, compreendendo: uma parte de de- codificação de código de comprimento variável que decodifica uma regra para especificar ou atualizar uma transformação, aplicável a um parâmetro de predição determinando uma estrutura de partição de um bloco a ser pro-cessado, uma partição, e um conjunto de partições; e uma parte de produção de imagem preditiva que produz uma imagem preditiva para cada partição especificada pela estrutura de partição, em que a parte de decodificação de comprimento variável decodifica uma sinalização de seleção de transformação com base nos dados codificados de entrada e na regra assim como decodifica um coeficiente de transformação do bloco a ser processado com base na sinalização de seleção de transformação, e o aparelho de decodificação de vídeo compreende adicionalmente: uma parte de reconstrução de residual de predição que reconstrói um residual de predição ao aplicar uma transformação inversa correspondendo a uma transformação especificada pela sinalização de seleção de transformação ao coeficiente de transformação; e uma parte de produção de imagem decodificada local que produz dados de imagem decodificados correspondendo o bloco a ser processado com base na imagem preditiva e no residual de predição.
Um décimo terceiro recurso técnico é o aparelho de decodificação de vídeo do décimo segundo recurso técnico, em que a regra inclui uma regra de incluir um tipo específico de transformação na lista de candidatas a transformação para uma partição tendo uma forma específica.
Um décimo quarto recurso técnico é o aparelho de decodificação de vídeo do décimo segundo recurso técnico, em que a regra inclui uma regra especificando que inclusão de um tipo específico de transformação é proibida na lista de candidatas a transformação para uma partição tendo uma forma específica.
Um décimo quinto recurso técnico é o aparelho de decodificação de vídeo do décimo segundo recurso técnico, em que quando um tipo espe-cífico de transformação é incluído na lista de candidatas a transformação para uma partição tendo uma forma específica, a regra inclui uma regra que especifica que a transformação é substituída por uma outra transformação.
Um décimo sexto recurso técnico é o aparelho de decodificação de vídeo do décimo segundo recurso técnico, em que a regra inclui uma regra complexa que é expressada como uma combinação de regras básicas, cada qual permite, proíbe ou substitui um tipo específico de transformação para uma partição tendo uma forma específica.
Um décimo sétimo recurso técnico é o aparelho de decodificação de vídeo do décimo sexto recurso técnico, em que a regra inclui, como a regra complexa, uma regra especificando que inclusão de uma transformação de pequeno porte de transformações em uma relação análoga é proibida na lista de candidatas a transformação para uma partição pertencendo a uma camada que é mais alta que uma camada específica.
Um décimo oitavo recurso técnico é o aparelho de decodificação de vídeo do décimo sexto ou do décimo sétimo recurso técnico, em que a parte de codificação de comprimento variável codifica uma sinalização indicando se a regra complexa é aplicada como a regra.
Um décimo nono recurso técnico é um aparelho de codificação de vídeo que divide um vídeo de entrada em blocos de tamanhos predeter-minados e executa um processamento de codificação para cada bloco, com-preendendo: uma parte de determinação de parâmetro de predição que de-termina uma estrutura de partição de um bloco; uma parte de produção de imagem preditiva que produz uma imagem preditiva para cada partição, a partição sendo especificada pela estrutura de partição; uma parte de produção de coeficiente de transformação que aplica qualquer uma das transformações de frequência incluídas em um conjunto de transformações predefi- nidas para um residual de predição que é uma diferença entre a imagem preditiva e o vídeo de entrada; uma parte de derivação de controle de transformação que deriva uma restrição de transformação e/ou uma candidata a transformação de uma transformação aplicável para cada partição com base em informação de forma de partição; uma parte de determinação de trans-formação de frequência que determina uma sinalização de seleção de trans-formação indicando uma transformação a ser aplicada com base na restrição de transformação e/ou na candidata a transformação; uma parte de determi-nação de regra de derivação de candidata a transformação que determina uma regra, especificando ou atualizando um método de derivar a restrição de transformação e/ou a candidata a transformação na parte de derivação de controle de transformação; e uma parte de codificação de comprimento variável que aplica codificação de comprimento variável à sinalização de seleção de transformação com base na restrição de transformação e/ou em uma lista de candidatas a transformação e no conjunto de transformações predefinidas, e aplica adicionalmente mais codificação de comprimento variável à regra de derivação de candidata a transformação para cada unidade predeterminada que seja maior que um bloco.
Efeitos da Invenção
De acordo com o aparelho de codificação de vídeo da presente invenção, uma quantidade de códigos de informação adicional é capaz de ser reduzida enquanto mantendo em um alto nível a possibilidade de que o tamanho de transformação adequado para a propriedade local de um vídeo é capaz de ser selecionado; e adicionalmente uma quantidade de proces-samento de codificação é capaz de ser reduzida ao limitar os tamanhos de transformações que podem ser selecionados para tamanhos altamente efeti-vos quando um tamanho de partição específico é selecionado. De acordo com o aparelho de decodificação da presente invenção, dados codificados são capazes de serem decodificados, os quais são codificados pelo aparelho de codificação de vídeo.
Descrição Resumida dos Desenhos
A figura 1 é um diagrama para explicar as definições de um ma- crobloco (MB) expandido e uma sequência de processamento.
A figura 2 é um diagrama de blocos de uma modalidade de um aparelho de codificação de vídeo da presente invenção.
Afigura 3 é um diagrama para explicar as definições de uma es-trutura de camadas de partição e uma sequência de processamento.
Afigura 4 é um fluxograma para explicar um exemplo de proces-samento de produção de uma lista de transformações proibidas.
A figura 5 é um fluxograma para explicar um outro exemplo do processamento de produção da lista de transformações proibidas.
As figuras 6 são diagramas para explicar divisão de partição e- xecutada quando a lista de transformações proibidas é produzida.
As figuras 7 são outros diagramas para explicar a divisão de par-tição executada quando a lista de transformações proibidas é produzida.
A figura 8 é um fluxograma também para explicar um outro e- xemplo do processamento de produção da lista de transformações proibidas.
A figura 9 é um diagrama para explicar um exemplo específico do procedimento de produção da lista de transformações proibidas.
Afigura 10 é um fluxograma para explicar um processamento de produção de dados codificados exemplar para uma sinalização de seleção de transformação.
Afigura 11 é um diagrama de blocos de uma modalidade de um aparelho de decodificação de vídeo da presente invenção.
Afigura 12 é um diagrama de blocos de uma outra modalidade do aparelho de codificação de vídeo da presente invenção.
Afigura 13 é um fluxograma para explicar um exemplo de pro-cessamento de produção de uma lista de candidatas a transformação.
A figura 14 é um diagrama de blocos de uma outra modalidade do aparelho de decodificação de vídeo da presente invenção.
Afigura 15 é um diagrama de blocos também de uma outra mo-dalidade do aparelho de codificação de vídeo da presente invenção.
A figura 16 é um diagrama de blocos também de uma outra mo-dalidade do aparelho de decodificação de vídeo da presente invenção. Modos Para Execução da Invenção Primeira Modalidade
Um aparelho de codificação de vídeo 10 e um aparelho de deco- dificação de vídeo 20 que são uma modalidade de um aparelho de codificação de vídeo e um aparelho de decodificação de vídeo de acordo com a presente invenção serão descritos com referência às figuras 1 a 11. Na descrição destes desenhos, os mesmos números de referência são dados para os mesmos componentes e as descrições dos mesmos componentes são omitidas.
Na descrição a seguir, é considerado que vídeos de entrada são introduzidos sequencialmente no aparelho de codificação de vídeo por meio de MB expandido que é configurado por 64^64 pixels e processamento é executado para isso. Uma ordem de entrada dos MBs expandidos é assumida para ser a ordem de uma varredura de rastreio tal como mostrado na figura 1. Entretanto, a presente invenção é aplicável ao caso onde o tamanho do MB expandido é o tamanho a não ser aqueles indicados anteriormente. Especialmente, a presente invenção é efetiva para MBs expandidos tendo um tamanho maior que um tamanho de 16x16 pixels que é uma quantidade de unidade a ser processada amplamente usada presentemente.
É considerado que o processamento executado nos aparelhos de codificação de vídeo e nos aparelhos de decodificação de vídeo na descrição a seguir é realizado com base no H.264/AVC, e que em partes não mencionadas especificamente as operações seguem as operações de acordo com o H.264/AVC. Entretanto, o sistema de codificação de vídeo ao qual a presente invenção é aplicável não está limitado ao H.264/AVC e a presente invenção é aplicável a sistemas que sejam similares ao H.264/AVC tais como VC-1, MPEG-2 e AVS, e a outro sistema de codificação de vídeo que empregue processamento para cada bloco ou uma transformação de fre-quência.
Configuração do Aparelho de Codificação de Vídeo 10
Afigura 2 é um diagrama de blocos da configuração do aparelho de codificação de vídeo 10. O aparelho de codificação de vídeo 10 inclui uma memória de quadro 101, uma parte de determinação de parâmetro pre- ditivo 102, uma parte de produção de imagem preditiva 103, uma parte de derivação de restrição de transformação 104, uma parte de determinação de transformação de frequência 105, uma parte de produção de residual de predição 106, uma parte de produção de coeficiente de transformação 107, uma parte de codificação de comprimento variável 108, uma parte de re-construção de residual de predição 109 e uma parte de produção de imagem decodificada local 110.
Memória de Quadro 101
A memória de quadro 101 tem uma imagem decodificada local gravada na mesma. A "imagem decodificada local" é uma imagem que é produzida ao adicionar uma imagem preditiva a um residual de predição que é reconstruído ao aplicar uma transformação de frequência inversa a um coeficiente de transformação. No momento em que um MB expandido espe-cífico de um quadro específico do vídeo de entrada é processado, uma ima-gem decodificada local para um quadro que é codificado antes de um quadro a ser processado e uma imagem decodificada local que corresponde a um MB expandido que é codificado antes de o MB expandido ser processado são gravadas na memória de quadro 101. É considerado que a imagem de-codificada local gravada na memória de quadro 101 pode ser lida adequa-damente por cada um dos componentes no aparelho.
Parte de Determinação de Parâmetro de Predição 102 (Definição de Estrutura de Partição, Descrição de Determinação de Modo)
A parte de determinação de parâmetro de predição 102 determina um parâmetro de predição com base em uma propriedade local do vídeo de entrada e envia o parâmetro de predição. O parâmetro de predição inclui pelo menos uma estrutura de partição que representa a estrutura de partições que são aplicadas a cada parte em um MB expandido, e informação de movimento para predição inter (um vetor de movimento e um índice de uma imagem decodificada local a ser referido (índice de imagem de referência)). O parâmetro de predição também pode incluir modo de predição intra que indica um método de produção de imagem preditiva para predição intra.
Os detalhes da estrutura de partição serão descritos com refe-rência à figura 3. A estrutura de partição é expressada por meio de uma es-trutura hierárquica. Uma camada na qual 64x64 pixels são manuseados co- mo uma quantidade de unidade para processamento é definida como "ca-mada LO". Uma camada na qual 32x32 pixels são manuseados como uma quantidade de unidade para processamento é definida como "camada L1". Uma camada na qual 16x16 pixels são manuseados como uma quantidade de unidade para processamento é definida como "camada L2". Uma camada na qual 8x8 pixels são manuseados como uma quantidade de unidade para processamento é definida como "camada L3". Em cada camada, qualquer tipo de divisão pode ser selecionado como um método de divisão para ela, os quais são divisão em uma que não executa qualquer divisão, divisão em duas horizontais que divide uma área em duas áreas iguais usando uma linha reta na direção horizontal, divisão em duas verticais que divide uma á- rea em duas áreas iguais usando uma linha reta na direção vertical, e divisão em quatro que divide uma área em quatro áreas iguais usando duas linhas retas, uma na direção horizontal e uma na direção vertical. Uma camada cuja unidade de processamento é grande é referida como "camada superior" e uma camada cuja unidade de processamento é pequena é referida como "camada inferior". Na modalidade, a camada LO é a camada mais alta e a camada L3 é a camada mais baixa. A estrutura de partição é expressada ao identificar o método de divisão em cada camada sequencialmente a partir da camada LO que é a camada mais alta. Mais especificamente, a estrutura de partição pode ser expressada exclusivamente de acordo com o procedimento seguinte.
Etapa S10: Quando o método de divisão para a camada LO é qualquer um de a divisão em uma, a divisão em duas horizontais e a divisão em duas verticais, uma área expressada usando o método de divisão é de-terminada para ser a partição da unidade de processamento na camada LO. Quando o método de divisão é a divisão em quatro, a partição é determinada de acordo com a etapa S11 para cada uma das áreas divididas.
Etapa S11: Quando o método de divisão para a camada L1 é qualquer um de a divisão em uma, a divisão em duas horizontais e a divisão em duas verticais, uma área expressada usando o método de divisão é de-terminada para ser uma partição da unidade de processamento na camada L1. Quando o método de divisão é a divisão em quatro, uma partição é de-terminada de acordo com a etapa S12 para cada uma das áreas divididas.
Etapa S12: Quando o método de divisão para a camada L2 é qualquer um de a divisão em uma, a divisão em duas horizontais e a divisão em duas verticais, uma área expressada usando o método de divisão é de-terminada para ser uma partição da unidade de processamento na camada L2. Quando o método de divisão é a divisão em quatro, uma partição é de-terminada de acordo com a etapa S13 para cada uma das áreas divididas.
Etapa S13: Uma área expressada usando o método de divisão para a camada L3 é determinada para ser uma partição da unidade de pro-cessamento na camada L3.
A ordem de processamento de cada partição em um MB expandido será descrita. Tal como representado na figura 3, em cada camada, processamento é executado em ordem de varredura de rastreio independente do método de divisão. Entretanto, quando a divisão em quatro é selecionada como o método de divisão em uma camada a não ser a camada mais baixa (a camada L3), a partição expressada para uma camada inferior é processada em ordem de varredura de rastreio para cada uma das áreas obtidas pela divisão em quatro. Em partes que serão descritas mais tarde, a ordem de processamento indicada acima será aplicada ao processar uma partição em um MB expandido.
Uma camada Lx à qual uma partição p pertence é derivada de acordo com o procedimento seguinte.
Etapa S20: Quando o tamanho da partição p é igual ao tamanho de uma partição que é produzida pela divisão em uma, a divisão em duas horizontais, ou pela divisão em duas verticais de uma camada específica Ly, o valor de Lx é estabelecido para ser "Ly".
Etapa S21: No caso a não ser o indicado acima, o valor de Lx é estabelecido para ser "L3" (Lx é estabelecida para ser a camada mais baixa).
Descrição de Forma de Partição
Informação caracterizando cada partição que pertence à estrutu- ra de partição, isto é, o tamanho de partição, informação indicando o recurso do tamanho de partição, ou a camada na estrutura de partição é referida como "informação de forma de partição". Cada um de todos os tais itens é informação de forma de partição tal como, por exemplo, o tamanho de partição propriamente dito tal como 32x32, informação que indica se o tamanho de partição é maior que um tamanho de partição específico, a razão do comprimento longitudinal para o comprimento lateral da partição, a relação de magnitudes entre o comprimento longitudinal e o comprimento lateral da partição, o valor mínimo e o valor máximo do comprimento longitudinal e do comprimento lateral da partição, e a camada à qual a partição pertence.
O parâmetro de predição é determinado por meio de uma de-terminação de distorção de taxa. Na determinação de distorção de taxa, para cada candidato a parâmetro de predição, a quantidade de códigos dos dados codificados obtidos quando o MB expandido a ser processado é codificado usando o parâmetro de predição é calculada e um custo referido como "custo de distorção de taxa" é calculado a partir da imagem decodificada local e da distorção do vídeo de entrada, e um parâmetro de predição é selecionado que minimiza o custo. O custo de distorção de taxa é calculado para todas as possíveis combinações das estruturas de partições e partes de informação de movimento que são parâmetros de predição. A melhor combinação das mesmas é determinada para ser o parâmetro de predição. Indicando a quantidade de códigos dos dados codificados do MB expandido por "R" e um erro quadrático médio entre o vídeo de entrada e a imagem decodificada local que correspondem ao MB expandido por "D", o custo de distorção de taxa C pode ser calculado de acordo com uma equação C=D+ÀR u- sando um parâmetro À que representa a relação entre a quantidade de códigos R e o erro D.
De acordo com a determinação de distorção de taxa, o parâmetro de predição que é adequado para codificar o MB expandido a ser processado, isto é, uma estrutura de partição adequada, e informação de movimento que corresponde a cada partição são determinados e produzidos.
Quando o custo de distorção de taxa é calculado para um parâ- metro de predição específico, a transformação de frequência que é aplicada ao MB expandido a ser processado pode não ser determinada exclusivamente. Neste caso, o custo de distorção de taxa pode ser usado como um custo de distorção de taxa que é obtido quando uma transformação de frequência específica é aplicada, ou um custo mínimo de distorção de taxa que é obtido quando todas de uma pluralidade de transformações de frequência são aplicadas pode ser usado.
Parte de Produção de Imagem Preditiva 103
A parte de produção de imagem preditiva 103 produz uma imagem preditiva do MB expandido a ser processado com base no parâmetro de predição introduzido na mesma, e envia a imagem preditiva. A produção da imagem preditiva é executada de acordo com o procedimento seguinte.
Etapa S30: Com base na estrutura de partição incluída no parâ-metro de predição, o MB expandido é dividido em partições e uma imagem preditiva para cada uma das partições é produzida de acordo com a etapa S31.
Etapa S31: A informação de movimento correspondendo à partição a ser processada, isto é, o vetor de movimento e o índice de imagem de referência, é lida a partir do parâmetro de predição. Em uma imagem decodi-ficada local indicada pelo índice de imagem de referência, a imagem preditiva é produzida por meio de predição de compensação de movimento com base no valor de pixel da área representada pelo vetor de movimento.
Parte de Produção de Residual de Predição 106
A parte de produção de residual de predição 106 produz um re-sidual de predição de um MB expandido com base no vídeo de entrada e na imagem preditiva que são introduzidos na mesma e envia o residual de pre-dição. Um residual de predição são dados bidimensionais que têm o mesmo tamanho que aquele do MB expandido e cada elemento dos mesmos é um valor de diferença entre um pixel do vídeo de entrada e um pixel da imagem preditiva correspondente.
Parte de Produção de Coeficiente de Transformação 107
A parte de produção de coeficiente de transformação 107 aplica a transformação de frequência ao residual de predição com base no residual de predição e em uma sinalização de seleção de transformação que são introduzidos na mesma, e assim produz um coeficiente de transformação e envia o coeficiente de transformação. Uma sinalização de seleção de transformação indica a transformação de frequência a ser aplicada a cada parti-ção de um MB expandido. Aparte de produção de coeficiente de transformação 107 seleciona a transformação de frequência indicada pela sinalização de seleção de transformação para cada partição no MB expandido e aplica a transformação de frequência selecionada ao residual de predição. A transformação de frequência indicada pela sinalização de seleção de transformação é qualquer uma das transformações de frequência incluídas em um conjunto (conjunto de transformações predefinidas) de todas as transformações de frequência que são aplicáveis pela parte de produção de coeficiente de transformação 107. O conjunto de transformações predefinidas na modalidade inclui nove tipos de transformações de frequência que são uma DCT de 4x4, uma DCT de 8x8, uma DCT de 16x16, uma DCT de 16x8, uma DCT de 8x16, uma DCT de 16x1, uma DCT de 1x16, uma DCT de 8x1 e uma DCT de 1x8. Cada uma das transformações de frequência especificadas neste documento corresponde a uma DCT (Transformada Discreta de Cosseno) tendo um tamanho de transformação específico (por exemplo, a DCT de 4x4 corres-ponde a uma transformada discreta de cosseno cujo tamanho de transfor-mação é 4x4 pixels). A presente invenção não está limitada somente ao con-junto das transformações de frequência indicadas acima, e também é adap-tável para qualquer subconjunto dos conjuntos de transformações predefini-das. Transformações de frequência incluindo transformadas discretas de cosseno que tenham outros tamanhos de transformações tais como, por e- xemplo, uma DCT de 32x32 e uma DCT de 64x64, podem ser incluídas no conjunto de transformações predefinidas. Transformações de frequência a não ser a transformada discreta de cosseno, tal como, por exemplo, uma transformada de Hadamard, uma transformada de seno e uma transformada de ondeleta, ou transformações de frequência incluindo transformadas que se aproximam destas transformadas podem ser incluídas no conjunto de transformações predefinidas. Processamento que aplica uma transformação de frequência tendo um tamanho de transformação de W*H a uma partição de M*N pixels é o processamento que é indicado por um pseudocódigo como se segue. Uma área R (x, y, w, h) significa uma área que está presente em uma posição deslocada para a direita por x pixels e para baixo por y pixels a partir do ponto mais alto e mais à esquerda em uma partição como o ponto de partida e que tem uma largura de w pixels e uma altura de h pixels. para (j=0, j<N, j+=H) { para (i=0, i<M, i+=W) { A transformação de frequência é aplicada a uma área R (i, j, W, H) }
Parte de Derivação de Restrição de Transformação 104
A parte de derivação de restrição de transformação 104 deriva uma restrição com referência à transformação de frequência que pode ser selecionada em cada partição no MB expandido como uma restrição de transformação com base no parâmetro de predição que é introduzido na mesma, e envia a restrição de transformação. A parte de derivação de restrição de transformação 104 deriva a restrição de transformação de cada partição com base na informação de forma de partição da partição que é determinada pelo parâmetro de predição.
A restrição de transformação é definida como um conjunto de lis-tas de transformações proibidas que estão correlacionadas com as partições no MB expandido. Uma lista de transformações proibidas inclui como seus elementos transformações de frequência que não podem ser selecionadas para sua partição correlacionada (transformações de frequência proibidas) das transformações de frequência que estão incluídas no conjunto de trans-formações predefinidas. Em outras palavras, o restante que é obtido ao extrair os elementos da lista de transformações proibidas dos elementos do conjunto de transformações predefinidas constitui um conjunto das transfor-mações de frequência que podem ser selecionadas para a partição correla-cionada (lista de candidatas a transformação).
A lista de transformações proibidas e a lista de candidatas a transformação podem ser indicadas por meio de informação de conjunto de transformações que inclui informação indicando se cada transformação está incluída no conjunto. Indicando o número de transformações incluídas no conjunto de transformações predefinidas por "Nt", o número de combinações das transformações é a potência de ordem Nt de dois e, portanto, transfor-mações incluídas no conjunto podem ser expressadas por meio de informação de conjunto de transformações que tem uma faixa de valores de zero a 2Nt"1 (a potência de ordem Nt menos um de dois). Nem todas as combinações das transformações necessitam ser sempre expressadas pela informação de conjunto de transformações e um valor correspondendo a uma combinação específica pode ser expressado. Em um exemplo direto, quando o conjunto de transformações predefinidas inclui somente a DCT de 4x4 e a DCT de 8x8, uma lista de proibições pode ser expressada por meio de uma sinalização de um bit que indica se a DCT de 4x4 (ou a DCT de 8x8) é proibida. A lista de candidatas a transformação também pode ser expressada por meio de valores de zero a dois ao relacionar respectivamente a DCT de 4x4 com zero, uma combinação da DCT de 4x4 e a DCT de 8x8 com um, e a DCT de 8x8 com dois.
O significado da informação de conjunto de transformações pode ser mudado para cada uma de a camada, a partição, uma combinação de blocos, etc. O mesmo valor "zero" da informação de conjunto de transforma-ções pode significar a DCT de 16x16 para a camada LO, a DCT de 8x8 para a camada L1 e a DCT de 4x4 para a camada L2. Cada uma de a lista de transformações proibidas e a lista de candidatas a transformação pode ser expressada usando valores em uma pequena faixa ao mudar o significado dos valores da informação de conjunto de transformações.
Portanto, É Considerado Que A Restrição De Transformação E A Lista De Candidatas A Transformação Na Presente Invenção São Consideradas Para Serem Iguais À Informação De Conjunto De Transformações Que Indica A Restrição De Transformação E A Candidata A Transformação Sem Ser Influenciada Pelo Termo "Lista".
Uma lista de transformações proibidas Lp para uma partição es-pecífica p é produzida de acordo com o procedimento seguinte. É considerado que o tamanho da partição p é MxN pixels (M pixels lateralmente e N pixels longitudinalmente) e que a partição p pertence à camada Lx. Etapa S40: Lp é estabelecida para ser vazia. Etapa S41: Transformação de frequência é adicionada à Lp, cujo tamanho de transformação é maior que MxN pixels. Etapa S42: Transformação de frequência é adicionada à Lp, que é determinada correspondendo ao valor do Mínimo(M, N). Etapa S43: Transformação de frequência é adicionada à Lp, que é determinada correspondendo ao valor de M-^-N. Etapa S44: Transformação de frequência que é determinada de-pendendo do valor da camada Lx é adicionada à Lp. Deve-se notar que informação de forma de partição inclui infor-mação indicando se o tamanho de transformação é maior que MxN pixels, o valor do Mínimo(M, N), o valor de M-N e o valor da camada Lx.
Limitação em Tamanho de Transformação de Acordo Com Mínimo(M, N)
Um procedimento mais detalhado da etapa S42 será descrito com referência para um fluxograma da figura 4. Etapa S50: Quando Mínimo(M, N) é igual ou maior que um valor limiar predeterminado Th1 (por exemplo, Th1 é Th1=16 pixels), o procedimento é avançado para a etapa S51 e, quando Mínimo(M, N) assume um outro valor, o procedimento é avançado para a etapa S52. Etapa S51: Quando existem duas ou mais transformações de frequência que têm tamanhos de transformações em uma relação análoga em uma lista de transformações de frequência, a transformação de frequência cujo tamanho de transformação é o menor (a DCT de 4x4, a DCT de 8x8, ou a DCT de 1x8) em um conjunto das transformações de frequência tendo os tamanhos de transformações em uma relação análoga é adiciona da à Lp, e o procedimento é avançado para a etapa S52. A relação análoga neste caso inclui uma relação de similaridade. Por exemplo, tamanhos de transformações tais como 16x16, 8x8 e 4x4 no conjunto de transformações predefinidas da modalidade estão em uma relação análoga. A relação análoga também inclui uma relação análoga aproximada. Por exemplo, os tamanhos de transformações de 16x1 e 8x1 e os tamanhos de transformações de 1x16 e 1x8 no conjunto de transformações predefinidas da modalidade estão em uma relação análoga. Embora não aplicado na descrição a seguir, transformações de frequência podem ser classificadas em três categorias de um quadrado, um retângulo extenso longitudinalmente e um retângulo extenso lateralmente com base nos tamanhos dos mesmos e as transformações de frequência pertencendo a cada uma das categorias podem ser consideradas como estando em uma relação análoga. Etapa S52: Quando Mínimo(M, N) é igual ou maior que um limiar predeterminado Th2 (por exemplo, Th2 é Th2=32 pixels), o procedimento é avançado para a etapa S53 e, em outros casos, o processamento chega ao fim. Etapa S53: Quando existem três ou mais transformações de fre-quência que têm tamanhos de transformações em uma relação análoga no conjunto de transformações predefinidas, a transformação de frequência cujo tamanho de transformação é o segundo menor (a DCT de 8x8) em cada combinação das transformações de frequência que têm os tamanhos de transformações na relação análoga é adicionada à Lp, e o processamento chega ao fim. Entretanto, Th1 e Th2 são Th2>Th1. Uma partição é uma unidade de compensação de movimento. A configuração de partição é determinada de tal maneira que os movimentos entre os quadros da imagem na partição são uniformes a fim de produzir uma imagem preditiva que é partição produzida por parte usando vetores de movimento próximos à imagem de entrada. Uma partição grande é alocada para um objeto grande (ou uma parte do mesmo) no vídeo de entrada e uma partição pequena é alocada para um objeto pequeno no mesmo. De uma maneira geral, no vídeo de entrada, a correlação espacial dos valores de pixels em uma área correspondendo a um objeto grande é alta quando com-parada à correlação espacial dos valores de pixels de uma área correspon-dendo a um objeto pequeno. Portanto, uma transformação de frequência cujo tamanho de transformação é grande é efetiva quando comparada a uma transformação de frequência cujo tamanho de transformação é pequeno para uma partição grande. Portanto, mesmo quando uma transformação de frequência cujo tamanho de transformação é um pouco pequeno é de-terminada para ser uma transformação proibida para uma partição grande, a quantidade de códigos dos dados decodificados não é aumentada substan-cialmente.
Limitação em Tamanho de Transformação de Acordo Com Valor de M-^-N
Um procedimento mais detalhado da etapa S43 será descrito com referência para um fluxograma da figura 5. Etapa S60: Quando o valor de M+N é igual ou maior que dois (o comprimento lateral da partição p é duas ou mais vezes maior que o com-primento longitudinal da mesma), o procedimento é avançado para a etapa S61 e, em outros casos, o procedimento é avançado para a etapa S63. Etapa S61: Todas as transformações de frequência que têm ta-manhos de transformações quadrados (a DCT de 4^4, a DCT de 8x8 e a DCT de 16x16) são adicionadas à Lp, e o procedimento é avançado para a etapa S62. Etapa S62: As transformações de frequência cujos comprimentos longitudinais de seus tamanhos de transformações são maiores que o comprimento lateral dos mesmos (a DCT de 8x16 e a DCT de 1x16) são adicionadas à Lp, e o procedimento chega ao fim. Etapa S63: Quando o valor de M-^N é igual ou menor que 0,5 (o comprimento longitudinal da partição p é duas ou mais vezes maior que o comprimento lateral da mesma), o procedimento é avançado para a etapa S64 e, em outros casos, o procedimento é avançado para a etapa S66. Etapa S64: Todas as transformações de frequência que têm ta-manhos de transformações quadrados (a DCT de 4x4, a DCT de 8x8 e a DCT de 16x16) são adicionadas à Lp, e o procedimento é avançado para a etapa S65. Etapa S65: Transformações de frequência cujos comprimentos laterais de seus tamanhos de transformações são maiores que o comprimento longitudinal dos mesmos (a DCT de 16x8 e a DCT de 16x1) são adicionadas à Lp, e o procedimento chega ao fim. Etapa S66: Quando o valor de M-dM é igual a um (os comprimen-tos lateral e o longitudinal da partição p são iguais), o procedimento é avan-çado para a etapa S67 e, em outros casos, o procedimento chega ao fim. Etapa S67: Transformações de frequência que têm tamanhos de transformações tendo comprimentos laterais e comprimentos longitudinais que são diferentes uns dos outros (a DCT de 16x8, a DCT de 16x1, a DCT de 8x16 e a DCT de 1 X16) são adicionadas à Lp.
A finalidade das etapas S61 e S62 será descrita com referência à figura 6. Tal como representado na figura 6(a), é considerado que dois objetos (um objeto de primeiro plano O e um segundo plano B) estão presentes em uma unidade de processamento, U, em uma camada e uma divisa entre o objeto de primeiro plano O e o segundo plano B está presente na parte inferior da unidade de processamento U. Neste caso, uma partição de um retângulo extenso lateralmente em que o valor de l\/KN é igual ou maior que dois tal como representado na figura 6(b) é selecionada. Em contraste, nenhuma partição de um retângulo extenso longitudinalmente tal como representado na figura 6(c) não é selecionado.
A relação entre o tamanho de transformação e a quantidade de códigos dos dados codificados para uma partição que inclua tanto o segundo plano B quanto o objeto de primeiro plano O no caso onde uma partição re-tangular extensa lateralmente é selecionada será descrita com referência às figuras 6(d) a 6(f). As figuras 6(d), 6(e) e 6(f) representam as relações entre a partição e o tamanho de transformação nos casos onde tamanhos de transformações quadrados, retangulares extensos lateralmente e retangulares extensos longitudinalmente são aplicados à partição. Quando a transformação de frequência cujo tamanho de transformação é um quadrado (figura 6(d)) ou a transformação de frequência cujo tamanho de transformação é um retângulo extenso longitudinalmente (figura 6(f)) é usada, uma divisa tende a estar presente na área à qual a transformação de frequência é apli-cada.
Por outro lado, quando a transformação de frequência tendo um tamanho de transformação de um retângulo extenso lateralmente (figura 6(e)) é usada, uma divisa raramente aparece na área à qual a transformação de frequência é aplicada. Quando uma divisa está presente na área à qual a transformação de frequência é aplicada, a energia não pode ser concentrada no componente de baixa frequência do coeficiente de transformação por causa da transformação de frequência e, portanto, a quantidade de códigos exigidos para a codificação do coeficiente de transformação é aumentada. Por outro lado, quando nenhuma divisa não está presente na área à qual a transformação de frequência é aplicada, a energia pode ser concentrada no componente de baixa frequência do coeficiente de transformação por causa da transformação de frequência e, portanto, a quantidade de códigos exigidos para a codificação do coeficiente de transformação é reduzida. Portanto, para uma partição retangular extensa lateralmente, é mais efetivo aplicar a transformação de frequência cujo tamanho de transformação é um retângulo extenso lateralmente quando comparado ao caso onde a transformação de frequência cujo tamanho de transformação é um quadrado ou um retângulo extenso longitudinalmente é aplicada. Portanto, mesmo quando a transfor-mação de frequência cujo tamanho de transformação é um quadrado ou um retângulo extenso longitudinalmente é estabelecida para ser uma transfor-mação proibida para uma partição retangular extensa lateralmente, a quanti-dade de códigos dos dados codificados não é aumentada substancialmente.
A finalidade de cada uma das etapas S64 e S65 é igual à indicada acima. Mesmo quando a transformação de frequência cujo tamanho de transformação é um quadrado ou um retângulo extenso lateralmente é esta-belecida para ser uma transformação proibida para uma partição retangular extensa longitudinalmente, a quantidade de códigos dos dados codificados não é aumentada substancialmente.
A finalidade da etapa S66 será descrita com referência à figura 7. Tal como representado na figura 7(a), é considerado que dois objetos (o objeto de primeiro plano O e o segundo plano B) estão presentes na unidade de processamento, U, em uma camada e a divisa entre o objeto de primeiro plano O e o segundo plano B está presente na parte direita inferior da unidade de processamento U. Neste caso, uma partição que é um quadrado é selecionada para obter o valor de M-HM para ser uma tal como representada na figura 7(b).
A relação entre o tamanho de transformação e a quantidade de códigos dos dados codificados para uma partição (a partição direita inferior) que inclui tanto o segundo plano B quanto o objeto de primeiro plano O, obtida quando uma partição quadrada é selecionada será descrita com referência às figuras 7(d) a 7(f). As figuras 7(d), 7(e) e 7(f) representam as relações entre a partição e os tamanhos de transformações para os casos onde tamanhos de transformações quadrados, retangulares extensos lateralmente e retangulares extensos longitudinalmente são aplicados à partição direita inferior. Neste caso, quando qualquer um dos tamanhos de transformações de um quadrado, um retângulo extenso longitudinalmente e um retângulo extenso lateralmente é usado a taxa da presença de uma divisa não varia tanto na área à qual a transformação de frequência é aplicada. Portanto, para a partição direita inferior, a diferença na quantidade de códigos dos dados codificados é pequena quando a transformação de frequência é usada cujo tamanho de transformação é qualquer um de o quadrado, o retângulo extenso longitudinalmente e o retângulo extenso lateralmente.
Por outro lado, somente o segundo plano B está incluído e ne-nhuma divisa não está presente em uma partição a não ser a partição direita inferior na unidade de processamento U. Portanto, quando qualquer um dos tamanhos de transformações é usado, nenhuma divisa não está presente na área à qual a transformação de frequência é aplicada. Portanto, mais energia pode ser concentrada no coeficiente de transformação quando a trans-formação de frequência é usada cujo tamanho de transformação é um qua-drado com que a relação espacial dos valores de pixels dos residuais de predição pode ser utilizada em um modo equilibrado em ambas as direções, a direção horizontal (direção lateral) e a direção vertical (direção longitudinal), quando comparado ao caso onde a transformação de frequência cujo tamanho de transformação é um retângulo extenso longitudinalmente ou um retângulo extenso lateralmente é usada. Portanto, para uma partição quadrada, a transformação de frequência cujo tamanho de transformação é um quadrado é mais efetiva que a transformação de frequência cujo tamanho de transformação é um retângulo extenso lateralmente ou um retângulo extenso longitudinalmente. Portanto, mesmo quando a transformação de frequência cujo tamanho de transformação é um retângulo extenso lateralmente ou um retângulo extenso longitudinalmente é estabelecida para ser uma transfor-mação proibida para uma partição quadrada, a quantidade de códigos dos dados codificados não é aumentada substancialmente.
Limitação em Tamanho de Transformação de Acordo com Camada á Qual a Partição Pertence
Um procedimento mais detalhado da etapa S44 será descrito com referência para um fluxograma da figura 8. Etapa S70: Quando a camada Lx é a camada mais alta, o pro-cedimento é avançado para a etapa S71 e, em outros casos, o procedimento é avançado para a etapa S72. Etapa S71: Transformações de frequência a não ser a transfor-mação de frequência tendo o maior tamanho de transformação (a DCT de 8x8 e a DCT de 4x4) de uma pluralidade de transformações de frequência candidatas tendo tamanhos de transformações de tais formas (a DCT de 16x16, a DCT de 8x8 e a DCT de 4x4) são adicionadas à Lp e o procedimento chega ao fim. Etapa S72: Quando a camada Lx é a camada mais baixa, o pro-cedimento é avançado para a etapa S73 e, em outros casos, o procedimento chega ao fim. Etapa S73: Transformações de frequência a não ser a transfor-mação de frequência tendo o menor tamanho de transformação (a DCT de 16x16 e a DCT de 8x8) da pluralidade de transformações de frequência candidatas tendo tamanhos de transformações de tais formas (a DCT de 16x16, a DCT de 8x8 e a DCT de 4x4) são adicionadas à Lp e o procedimento chega ao fim.
No caso onde partições são expressadas por meio de uma es-trutura de camadas, mesmo quando algumas transformações de frequência cujos tamanhos de transformações são relativamente pequenos são restrin-gidas para uma partição que pertence à camada mais alta, a quantidade de códigos dos dados codificados não é aumentada substancialmente. Isto é porque, mesmo quando uma transformação específica (por exemplo, a DCT de 8x8 ou a DCT de 4x4) não pode ser selecionada na camada mais alta, esta transformação pode ser selecionada em uma camada inferior. Em uma área onde transformações de frequência de pequenos tamanhos de trans-formações são efetivas, nenhuma partição que pertence à camada mais alta não é selecionada e partições são selecionadas que estejam em camadas inferiores e para as quais transformações de frequência de pequenos tama-nhos de transformações podem ser selecionadas e, assim, qualquer aumento da quantidade de códigos dos dados codificados pode ser suprimido. Es-pecialmente, com base no fato de que as transformações de frequência de grandes tamanhos de transformações são efetivas para uma partição grande, quando uma pluralidade de transformações de frequência cujos tamanhos de transformações são similares em forma está presente entre as transformações de frequência candidatas, é preferível restringir transformações de frequência de pequenos tamanhos de transformações entre aquelas transformações de frequência na camada mais alta.
De forma similar, no caso onde partições são expressadas por meio de uma estrutura de camadas, mesmo quando algumas transformações de frequência cujos tamanhos de transformações são relativamente grandes são restringidas para uma partição que pertence à camada mais baixa, a quantidade de códigos dos dados codificados não é aumentada substancialmente. Especialmente, com base no fato de que as transformações de frequência cujos tamanhos de transformações são pequenos são efetivas para uma partição pequena, quando uma pluralidade de transformações de frequência cujos tamanhos de transformações são similares em forma está presente entre as transformações de frequência candidatas, é preferível restringir transformações de frequência de grandes tamanhos de transformações entre aquelas transformações de frequência na camada mais baixa.
Exemplo Especifico de Processamento de Produção de Lista de Transfor-mações Proibidas
Um exemplo específico de um procedimento para produzir res-trições de transformação para uma estrutura de partição específica, isto é, uma lista de transformações proibidas para cada partição executada pela parte de derivação de restrição de transformação 104, será apresentado com referência à figura 9. Tal como representado na figura 9, um MB expandido é dividido em quatro na camada LO e, em seguida, a parte superior esquerda do mesmo é dividida em uma (uma partição "um") na camada L1, a parte superior direita do mesmo é dividida horizontalmente em duas (as partições b e c) na camada L1, a parte esquerda inferior do mesmo é dividida verticalmente em duas (as partições d e e) na camada L1, e a parte direita inferior do mesmo é dividida em quatro na camada L1.
Tal como para uma área que é dividida em quatro na camada L1, a parte superior esquerda da mesma é dividida em uma (partição f) na camada L2, a parte superior direita da mesma é dividida horizontalmente em duas (as partições g e h) na camada L2, a parte esquerda inferior da mesma é dividida verticalmente em duas (as partições i e j) na camada L2, e a parte direita inferior da mesma é dividida em quatro na camada L2. Cada parte obtida pela divisão em quatro na camada L2 é dividida em uma (as partições k, I, m e n) na camada L3. Os tamanhos de transformações das transformações de frequência que podem ser selecionados têm, tal como indicado anteriormente, nove tipos de tamanhos que são 4x4, 8x8, 16x16, 16x1, 1x16, 8x1, 1x8, 16x8 e 8x16.
A partição "a" tem um tamanho de 32x32 pixels e pertence à camada L1. Aplicando a isto o procedimento mencionado anteriormente para produzir a lista de transformações proibidas, transformações de frequência cujos tamanhos de transformações são 4x4, 8x1 e 1x8 são adicionadas à lista de transformações proibidas na etapa S51, transformação de frequência cujo tamanho de transformação é 8*8 é adicionada à lista de transformações proibidas na etapa S52, e transformações de frequência cujos tamanhos de transformações são 1x16, 16x1, 16x8 e 8x16 são adicionadas à lista de transformações proibidas na etapa S67.
As partições b e c têm um tamanho de 32x16 pixels e pertencem à camada L1. Aplicando a isto o procedimento mencionado anteriormente para produzir a lista de transformações proibidas, transformações de frequência cujos tamanhos de transformações são 4x4, 8x1 e 1x8 são adicionadas à lista de transformações proibidas na etapa S51, transformações de frequência cujos tamanhos de transformações são 4x4, 8x8 e 16x16 são adicionadas à lista de transformações proibidas na etapa S61, e transformações de frequência cujos tamanhos de transformações são 1xl6e8x16 são adicionadas à lista de transformações proibidas na etapa S62.
As partições d e e têm um tamanho de 16x32 pixels e pertencem à camada L1. Aplicando a isto o procedimento mencionado anteriormente para produzir a lista de transformações proibidas, transformações de frequência cujos tamanhos de transformações são 4x4, 8x1 e 1x8 são adicionadas à lista de transformações proibidas na etapa S51, transformações de frequência cujos tamanhos de transformações são 4x4, 8x8 e 16x16 são adicionadas à lista de transformações proibidas na etapa S64, e transformações de frequência cujos tamanhos de transformações são 16x1 e 16x8 são adicionadas à lista de transformações proibidas na etapa S65.
A partição f tem um tamanho de 16x16 pixels e pertence à camada L2. Aplicando a isto o procedimento mencionado anteriormente para produzir a lista de transformações proibidas, transformações de frequência cujos tamanhos de transformações são 4x4, 8x1 e 1x8 são adicionadas à lista de transformações proibidas na etapa S51, e transformações de frequência cujos tamanhos de transformações são 16x1, 1x16, 16x8 e 8x16 são adicionadas à lista de transformações proibidas na etapa S67.
As partições g e h têm um tamanho de 16x8 pixels e pertencem à camada L2. Aplicando a isto o procedimento mencionado anteriormente para produzir a lista de transformações proibidas, transformações de fre-quência cujos tamanhos de transformações são 16x16, 1x16 e 8x16 são adicionadas à lista de transformações proibidas na etapa S41, transformações de frequência cujos tamanhos de transformações são 4x4, 8x8 e 16x16 são adicionadas à lista de transformações proibidas na etapa S61, e transformações de frequência cujos tamanhos de transformações são 1x16 e 8x16 são adicionadas à lista de transformações proibidas na etapa S62.
As partições i e j têm um tamanho de 8x16 pixels e pertencem à camada L2. Aplicando a isto o procedimento mencionado anteriormente para produzir a lista de transformações proibidas, transformações de frequência cujos tamanhos de transformações são 16x16, 16x1 e 16x8 são adicionadas à lista de transformações proibidas na etapa S41, transformações de frequência cujos tamanhos de transformações são 4x4, 8x8 e 16x16 são adicionadas à lista de transformações proibidas na etapa S64, e transformações de frequência cujos tamanhos de transformações são 16x1 e 16x8 são adi-cionadas à lista de transformações proibidas na etapa S65.
As partições k, I, m e n têm um tamanho de 8x8 pixels e pertencem à camada L3. Aplicando a isto o procedimento mencionado anteriormente para produzir a lista de transformações proibidas, transformações de frequência cujos tamanhos de transformações são 16x16, 16x1 16x8, 1x16, e 8x16 são adicionadas à lista de transformações proibidas na etapa S41, transformações de frequência cujos tamanhos de transformações são 16x1, 16x8, 1x16 e 8x16 são adicionadas à lista de transformações proibidas na etapa S67, e transformações de frequência cujos tamanhos de transformações são 8x8 e 16x16 são adicionadas à lista de transformações proibidas na etapa 5b.
Tal como no exemplo anterior, para um MB expandido que tenha uma outra estrutura de partição, uma lista de transformações proibidas também pode ser produzida para cada partição no MB expandido e pode ser produzida como uma restrição de transformação.
No exposto acima, está descrito que todas as etapas S42, S43 e S44 são executadas no procedimento para produzir a lista de transforma- ções proibidas. Entretanto, somente algumas destas podem ser executadas. No procedimento detalhado da etapa S42, somente a determinação na etapa S50 ou a determinação na etapa S51 pode ser executada. No procedimento detalhado da etapa S43, com referência às determinações, somente algumas das determinações executadas nas etapas S60, S63 e S66 podem ser executadas ou, com referência ao processamento executado após cada uma das determinações, somente a etapa S61 ou a etapa S62, e a etapa S64 ou a etapa S65 podem ser executadas. No procedimento detalhado da etapa S44, somente a determinação na etapa S70 ou a determinação na etapa S72 pode ser executada. Quando tal simplificação do procedimento é executada, o processamento de cálculo necessário para produzir a lista de transformações proibidas pode ser reduzido.
Parte de Determinação de Transformação de Frequência 105
A parte de determinação de transformação de frequência 105 determina a transformação de frequência a ser aplicada a cada partição no MB expandido usando a restrição de transformação introduzida na mesma; e envia a informação da mesma como uma sinalização de seleção de trans-formação. Um procedimento para determinar a transformação de frequência a ser aplicada à partição específica p é como se segue:
Etapa S120: A lista de transformações proibidas Lp correspon-dendo à partição p é extraída da restrição de transformação.
Etapa S121: Uma lista de candidatas a transformação, Cp, é obtida ao utilizar um conjunto de diferenças entre o conjunto de transformações predefinidas e a lista de transformações proibidas Lp.
Etapa S122: Quando a lista de candidatas a transformação, Cp, é um conjunto vazio, a transformação de frequência é adicionada à lista de candidatas a transformação, Cp, cujo tamanho de transformação é o menor das transformações de frequência cujos tamanhos de transformações são quadrados que estejam incluídas no conjunto de transformações predefinidas. Esta etapa é necessária para evitar o caso onde nenhuma transformação de frequência aplicável não está presente quando a lista de transformações proibidas coincide com o conjunto de transformações predefinidas.
Quando a lista de transformações proibidas é sempre produzida, a qual não coincide com o conjunto de transformações predefinidas, esta etapa pode ser omitida.
Etapa S123: O custo de distorção de taxa para um caso onde cada uma das transformações de frequência incluídas na lista de candidatas a transformação, Cp, é aplicada é calculado, e a transformação de frequência que minimiza o custo de distorção de taxa é determinada para ser a transformação de frequência a ser aplicada à partição p.
Parte de Codificação de Comprimento Variável 108
A parte de codificação de comprimento variável 108 produz os dados codificados que correspondem ao coeficiente de transformação, ao parâmetro de predição e à sinalização de seleção de transformação no MB expandido, com base no coeficiente de transformação, no parâmetro de pre-dição, na restrição de transformação e na sinalização de seleção de trans-formação que são introduzidos na mesma, e envia os dados codificados.
O coeficiente de transformação e o parâmetro de predição são codificados com comprimento variável em um método convencional e os có-digos resultantes são produzidos. A sinalização de seleção de transformação é codificada com comprimento variável usando a restrição de transformação e o código resultante é produzido. Um procedimento para codificação de comprimento variável da sinalização de seleção de transformação será des-crito com referência para um fluxograma da figura 10.
Etapa S80: Quando o método de divisão usado para a camada L0 no MB expandido é divisão a não ser em quatro partes iguais, o processo da etapa S81 é executado e, em outros casos, os processos das etapas S82 à S92 são executados.
Etapa S81: A informação é codificada com comprimento variável que indica a transformação de frequência a ser aplicada a cada partição na unidade de processamento da camada L0 (64x64 pixels), e o procedimento chega ao fim.
Etapa S82: Processos das etapas seguintes S83 à S92 são exe-cutados para cada uma das unidades de processamento (32x32 pixels cada) na camada L1 que são obtidas ao dividir a unidade de processamento na camada LO em quatro.
Etapa S83: Quando o método de divisão usado para a camada L1 na unidade corrente de processamento (32x32 pixels) é divisão a não ser em quatro partes iguais, o procedimento é avançado para a etapa S84 e, em outros casos, o procedimento é avançado para a etapa S85.
Etapa S84: A informação é codificada com comprimento variável que indica a transformação de frequência a ser aplicada a cada partição na unidade corrente de processamento (32x32 pixels), e o procedimento é a- vançado para a etapa S92.
Etapa S85: Processos das etapas seguintes S86 à S91 são apli-cados a cada uma das unidades de processamento (16x16 pixels cada) na camada L2 que são obtidas ao dividir a unidade de processamento na camada L1 (32x32 pixels) em quatro.
Etapa S86: Quando o método de divisão usado na camada L2 na unidade corrente de processamento (16x16 pixels) é divisão a não ser em quatro partes iguais, o procedimento é avançado para a etapa S87 e, em outros casos, o procedimento é avançado para a etapa S88.
Etapa S87: A informação é codificada com comprimento variável que indica a transformação de frequência a ser aplicada a cada partição na unidade corrente de processamento (16x16 pixels), e o procedimento é a- vançado para a etapa S91.
Etapa S88: Processos das etapas seguintes S89 à S90 são exe-cutados para cada uma das unidades de processamento (8x8 pixels cada) na camada L3 que são obtidas ao dividir a unidade de processamento na camada L2 em quatro.
Etapa S89: A informação é codificada com comprimento variável que indica a transformação de frequência a ser aplicada a cada partição na unidade corrente de processamento (8x8 pixels), e o procedimento é avançado para a etapa S90.
Etapa S90: Quando processamento de todas as unidades de processamento (8x8 pixels cada) chega ao fim, o procedimento é avançado para a etapa S91. Quando o processamento não chega ao fim, uma próxima unidade de processamento (8x8 pixels) é estabelecida e o procedimento é avançado para a etapa S89.
Etapa S91: Quando processamento de todas as unidades de processamento (16x16 pixels cada) chega ao fim, o procedimento é avançado para a etapa S92. Quando o processamento não chega ao fim, uma próxima unidade de processamento (16x16 pixels) é estabelecida e o procedimento é avançado para a etapa S86.
Etapa S92: Quando processamento de todas as unidades de processamento (32x32 pixels cada) chega ao fim, o procedimento chega ao fim. Quando o processamento não chega ao fim, uma próxima unidade de processamento (32x32 pixels) é estabelecida e o procedimento é avançado para a etapa S83.
A codificação de comprimento variável é executada de acordo com o procedimento seguinte para a sinalização de seleção de transformação que corresponde à partição específica p.
Etapa S130: A lista de transformações proibidas Lp correspon-dendo à partição p é extraída da restrição de transformação.
Etapa S131: A lista de candidatas a transformação, Cp, é obtida por utilizar um conjunto de diferenças entre o conjunto de transformações predefinidas e a lista de transformações proibidas Lp.
Etapa S132: Quando a lista de candidatas a transformação, Cp, é um conjunto vazio, a transformação de frequência é adicionada à lista de candidatas a transformação, Cp, cujo tamanho de transformação é o menor das transformações de frequência cujos tamanhos de transformações são quadrados que estejam incluídos no conjunto de transformações predefinidas. A transformação de frequência adicionada nesta etapa não está limitada às transformações de frequência indicadas acima, e pode ser a transformação de frequência cujo tamanho de transformação é menor que aquele de uma outra partição p incluída no conjunto de transformações predefinidas. Entretanto, esta transformação de frequência necessita ser a mesma transformação de frequência que aquela usada na etapa S122 da parte de deter minação de transformação de frequência.
Etapa S133: Quando o número de transformações de frequência incluídas na lista de candidatas a transformação, Cp, é somente um, o pro-cessamento de codificação de comprimento variável chega ao fim. Neste caso, mesmo quando a informação indicando a transformação de frequência a ser aplicada à partição p não está incluída nos dados codificados, não surge nenhum problema porque ela pode ser identificada exclusivamente no momento de decodificar os dados aos quais transformação de frequência deve ser aplicada.
Etapa S134: As transformações de frequência incluídas na lista de candidatas a transformação, Cp, são rearranjadas em ordem predeterminada e correlacionadas aos índices que aumentam um por um iniciando de zero.
Etapa S135: O índice codificado com comprimento variável é correlacionado com a transformação de frequência a ser aplicada à partição p. Como um método de codificação de comprimento variável do índice, por exemplo, um método que utiliza uma série de bits de um valor de índice obtido ao expressar o valor de índice no binário usando t bits, como os dados codificados usando o "t" mínimo com o qual a potência de ordem t de dois é igual ou maior que s onde s é o número de elementos da lista de transfor-mações de frequência candidatas.
Quando o número de elementos da lista de transformações de frequência candidatas se torna menor, a quantidade de códigos necessários para codificar o índice se torna menor. Ao estabelecer uma transformação proibida para cada partição, a quantidade de códigos necessários para codi-ficar a sinalização de seleção de transformação pode ser reduzida. Quando o número de elementos da lista de transformações de frequência candidatas é pequeno, a quantidade de computação pode ser reduzida para o proces-samento de codificação para selecionar a transformação de frequência a ser aplicada.
Com relação à ordem predeterminada na etapa S134, a ordem pode ser usada de acordo com a qual, por exemplo, um índice menor que um índice fixado para uma transformação de frequência cujo tamanho de transformação é pequeno é fixado para uma transformação de frequência cujo tamanho de transformação é grande, quando o tamanho de transformação de uma transformação de frequência é um quadrado, um índice menor que um índice fixado para uma outra transformação de frequência cujo tamanho de transformação é um retângulo extenso lateralmente é fixado para a transformação de frequência, e quando o tamanho de transformação de uma transformação de frequência é um retângulo extenso lateralmente, um índice menor que um índice fixado para uma outra transformação de frequência cujo tamanho de transformação é um retângulo extenso longitudinalmente é fixado para a transformação de frequência. Neste caso, índices em ordem crescente tendem a ser correlacionados um por um com a DCT de 16x16, a DCT de 16x8, a DCT de 8x16, a DCT de 8x8, a DCT de 4x4, a DCT de 16x1, a DCT de 1x16, a DCT de 8x1 e a DCT de 1x8 nesta ordem.
A ordem predeterminada na etapa S134 também pode ser uma ordem decrescente da frequência de seleção de cada transformação de fre-quência, como um outro exemplo. Mais especificamente, o número de vezes que cada transformação no conjunto de transformações predefinidas é sele-cionada como a transformação de uma partição após iniciar o processamento de codificação para o vídeo de entrada é contado, e a ordem é produzida de tal maneira que um menor índice é alocado para uma transformação de frequência que é selecionada por mais vezes. Neste caso, uma tendência também é gerada na frequência de produção do índice e, portanto, a quanti-dade de códigos é reduzida, o que é obtido quando o índice é codificado com comprimento variável na etapa S135. O valor do coeficiente do número de vezes da seleção pode ser inicializado com um valor predeterminado tal como zero em um momento apropriado tal como o ponto de tempo de início de codificação de um novo quadro ou o ponto de tempo de início de codificação de uma fatia que é um conjunto de um número predeterminado de MBs expandidos. O número de vezes de seleção de uma transformação de frequência condicional tal como, por exemplo, o número de vezes de seleção de cada transformação de frequência para cada tamanho de partição pode ser contado e usado.
Um outro método também pode ser usado para a codificação de comprimento variável do índice executado na etapa S135. Por exemplo, vários tipos de VLCs, CABACs, etc., especificados no H.264/AVC também podem ser usados.
Sem codificação de comprimento variável do índice tal como ele é, uma sinalização é codificada que indica se o índice coincide com um valor estimado de índice e, somente quando a sinalização não indica coincidência, o índice pode ser codificado com comprimento variável. A transformação de frequência usada para a partição a ser processada é estimada usando as partes de informação no MB expandido já codificadas (tal como a imagem decodificada local, a estrutura de partição e o vetor de movimento), e um índice correspondendo à transformação de frequência pode ser determinado para ser o valor estimado de índice. Especialmente, é preferível derivar um valor estimado de índice com base na transformação de frequência que é aplicada a uma partição nas proximidades da partição a ser processada le-vando em consideração a correlação espacial da transformação de frequên-cia. Mais especificamente, os índices das transformações de frequência que são aplicadas às partições localizadas no lado esquerdo acima e no direito superior da partição a ser processada são derivados, respectivamente. E em um sistema no qual dois ou mais desses índices coincidem um com o outro, o valor dos dois ou mais índices é determinado para ser o valor estimado de índice e, em outros casos, é preferível que o menor valor desses índices seja determinado para ser o valor estimado de índice.
Está descrito que uma codificação de comprimento variável é dada para as sinalizações de seleção de transformação para todas as parti-ções no procedimento para codificação de comprimento variável da sinaliza-ção de seleção de transformação. Entretanto, após impor uma restrição em que a transformação de frequência é comumente aplicada às partições per-tencendo à mesma unidade de processamento da camada específica Lx, uma sinalização de seleção de transformação comum para as partições na unidade de processamento pode ser codificada com comprimento variável para cada unidade de processamento da camada Lx. Neste caso, o grau de liberdade de seleção da transformação de frequência é diminuído. Entretanto, codificação de qualquer sinalização de seleção de transformação não é necessária para cada partição e a sinalização de seleção de transformação somente tem que ser codificada para cada unidade de processamento da camada Lx e, portanto, a quantidade de códigos que são necessários para codificar a sinalização de seleção de transformação pode ser reduzida. Em contraste, uma partição pode ser dividida em unidades em que cada uma não é menor que a transformação de frequência cujo tamanho de transformação é o maior incluído na lista de candidatas a transformação, e a sinalização de seleção de transformação pode ser codificada para esta unidade. Parte de Reconstrução de Residual de Predição 109
A parte de reconstrução de residual de predição 109 reconstrói o residual de predição ao aplicar uma transformação de frequência inversa ao coeficiente de transformação com base no coeficiente de transformação e na sinalização de seleção de transformação que são introduzidos na mesma, e envia o residual de predição reconstruído. Quando o coeficiente de transfor-mação é quantificado, quantificação inversa é aplicada ao coeficiente de transformação antes da aplicação da transformação de frequência inversa.
Parte de Produção de Imagem Decodificada Local 110
A parte de produção de imagem decodificada local 110 produz uma imagem decodificada local com base na imagem preditiva e no residual de predição que são introduzidos na mesma, e envia a imagem decodificada local. Cada valor de pixel da imagem decodificada local é a soma dos valores de pixels dos pixels correspondentes da imagem preditiva e o residual de predição. Um filtro pode ser aplicado à imagem decodificada local com o propósito de reduzir a distorção de bloco que é gerada em uma divisa de bloco e reduzir os erros de quantificação.
Operações do Aparelho de Codificação de Vídeo 10
Operações do aparelho de codificação de vídeo 10 serão descritas.
Etapa S100: O vídeo de entrada introduzido no aparelho de codi ficação de vídeo 10 é introduzido sequencialmente em MBs expandidos na parte de determinação de parâmetro de predição 102 e na parte de produção de residual de predição 106. Os processos de S101 a S109 como se segue são executados sequencialmente para cada um dos MBs expandidos.
Etapa S101: A parte de determinação de parâmetro de predição 102 determina um parâmetro de predição para o MB expandido a ser pro-cessado com base no vídeo de entrada que é introduzido na mesma, e envia o parâmetro de predição para a parte de produção de imagem preditiva 103 e para a parte de codificação de comprimento variável 108.
Etapa S102: A parte de produção de imagem preditiva 103 produz a imagem preditiva que se aproxima de uma área do MB expandido a ser processado no vídeo de entrada com base no parâmetro de predição introduzido na mesma e na imagem decodificada local gravada na memória de quadro 101, e envia a imagem preditiva para a parte de produção de residual de predição 106 e para a parte de produção de imagem decodificada local 110.
Etapa S103: A parte de produção de residual de predição 106 produz o residual de predição que corresponde ao MB expandido a ser pro-cessado com base no vídeo de entrada e na imagem preditiva que são intro-duzidos na mesma, e envia o residual de predição para a parte de determi-nação de transformação de frequência 105 e para a parte de produção de coeficiente de transformação 107.
Etapa S104: A parte de derivação de restrição de transformação 104 deriva uma restrição quanto à transformação de frequência em cada partição do MB expandido a ser processado como uma restrição de trans-formação com base no parâmetro de predição que é introduzido na mesma, e envia a restrição de transformação para a parte de determinação de trans-formação de frequência 105 e para a parte de codificação de comprimento variável 108.
Etapa S105: A parte de determinação de transformação de fre-quência 105 determina a transformação de frequência a ser aplicada a cada partição do MB expandido a ser processado com base na restrição de trans- formação e no residual de predição que são introduzidos na mesma, e envia a transformação de frequência como uma sinalização de seleção de trans-formação para a parte de produção de coeficiente de transformação 107, para a parte de codificação de comprimento variável 108 e para a parte de reconstrução de residual de predição 109.
Etapa S106: A parte de produção de coeficiente de transformação 107 aplica a transformação de frequência especificada pela sinalização de seleção de transformação introduzida na mesma ao residual de predição introduzida na mesma, produz assim o coeficiente de transformação que corresponde ao MB expandido a ser processado, e envia o coeficiente de transformação para a parte de codificação de comprimento variável 108 e para a parte de reconstrução de residual de predição 109.
Etapa S107: A parte de reconstrução de residual de predição 109 aplica a transformação de frequência inversa que corresponde à transforma-ção de frequência especificada pela sinalização de seleção de transformação introduzida na mesma ao coeficiente de transformação introduzido na mesma, reconstrói assim o residual de predição que corresponde ao MB expandido a ser processado, e envia o residual de predição reconstruído para a parte de produção de imagem decodificada local 110.
Etapa S108: A parte de produção de imagem decodificada local 110 produz a imagem decodificada local com base no residual de predição e na imagem preditiva que são introduzidos na mesma, e envia a imagem de-codificada local para a memória de quadro 101 para gravar a imagem deco-dificada local na mesma.
Etapa S109: A parte de codificação de comprimento variável 108 aplica codificação de comprimento variável ao coeficiente de transformação, ao parâmetro de predição e à sinalização de seleção de transformação que são introduzidos na mesma usando a restrição de transformação introduzida na mesma, e envia para fora os dados resultantes como os dados codificados.
De acordo com o procedimento mencionado anteriormente, o aparelho de codificação de vídeo 10 pode codificar o vídeo de entrada forne- eido para o mesmo, produzir assim os dados codificados e enviar para fora os dados codificados.
Configuração do Aparelho de Decodificação de Vídeo 20
O aparelho de decodificação de vídeo 20 será descrito, o qual decodifica os dados codificados que são codificados pelo aparelho de codifi-cação de vídeo 10 e que assim produz o vídeo decodificado.
A figura 11 é um diagrama de blocos da configuração do aparelho de decodificação de imagem 20. O aparelho de decodificação de vídeo 20 inclui a memória de quadro 101, a parte de produção de imagem preditiva 103, a parte de derivação de restrição de transformação 104, a parte de re-construção de residual de predição 109, a parte de produção de imagem de-codificada local 110 e uma parte de decodificação de código de comprimento variável 201.
A parte de decodificação de código de comprimento variável 201 decodifica o parâmetro de predição, a sinalização de seleção de transformação e o coeficiente de transformação com base nos dados codificados e na restrição de transformação que são introduzidos na mesma, e envia os resultados decodificados. Mais especificamente, o parâmetro de predição é primeiramente decodificado a partir dos dados codificados e o resultado é enviado. A sinalização de seleção de transformação é então decodificada a partir dos dados codificados usando a restrição de transformação e o resultado é enviado. O coeficiente de transformação é finalmente decodificado a partir dos dados codificados usando a sinalização de seleção de transformação e o resultado é enviado.
Operações do Aparelho de Decodificação de Vídeo 20
Operações do aparelho de decodificação de vídeo 20 serão des-critas.
Etapa S110: Os dados codificados externamente introduzidos no aparelho de decodificação de vídeo 20 são introduzidos sequencialmente na parte de decodificação de código de comprimento variável 201 em MBs ex-pandidos, e processos da S111 à S117 como se segue são executados se-quencialmente para os dados codificados que correspondem a cada MB ex- pandido.
Etapa S111: Aparte de decodificação de código de comprimento variável 201 decodifica o parâmetro de predição que corresponde ao MB expandido a ser processado a partir dos dados codificados que são introdu-zidos na mesma, e envia o parâmetro de predição para a parte de produção de imagem preditiva 103 e para a parte de derivação de restrição de trans-formação 104.
Etapa S112: A parte de derivação de restrição de transformação 104 deriva uma restrição com referência à transformação de frequência para cada partição do MB expandido a ser processado como a restrição de trans-formação com base no parâmetro de predição que é introduzido na mesma, e envia a restrição de transformação para a parte de decodificação de código de comprimento variável 201.
Etapa S113: A parte de decodificação de código de comprimento variável 201 decodifica a sinalização de seleção de transformação que cor-responde ao MB a ser processado com base nos dados codificados e na restrição de transformação que são introduzidos na mesma, e envia a sinali-zação de seleção de transformação para a parte de reconstrução de residual de predição 109.
Etapa S114: A parte de decodificação de código de comprimento variável 201 decodifica o coeficiente de transformação que corresponde ao MB expandido a ser processado, com base nos dados decodificados intro-duzidos na mesma e na sinalização de seleção de transformação derivada na etapa S113, e envia o coeficiente de transformação para a parte de re-construção de residual de predição 109.
Etapa S115: A parte de produção de imagem preditiva 103 produz a imagem preditiva que corresponde ao MB expandido a ser processado, com base no parâmetro de predição introduzido na mesma e na imagem decodificada local gravada na memória de quadro 101, e envia a imagem preditiva para a parte de produção de imagem decodificada local 110.
Etapa S116: Aparte de reconstrução de residual de predição 109 aplica a transformação de frequência inversa correspondendo à transforma ção de frequência especificada pela sinalização de seleção de transformação introduzida na mesma ao coeficiente de transformação introduzido na mesma, reconstrói assim o residual de predição que corresponde ao MB expandido a ser processado, e envia o residual de predição para a parte de produção de imagem decodificada local 110.
Etapa S117: A parte de produção de imagem decodificada local 110 produz a imagem decodificada local com base no residual de predição e na imagem preditiva que são introduzidos na mesma, envia a imagem deco-dificada local para a memória de quadro 101 para gravação da imagem de-codificada local na memória 101, e envia para fora a imagem decodificada local como a área no vídeo decodificado que corresponde ao bloco a ser processado.
Tal como indicado acima, de acordo com o aparelho de decodifi-cação de vídeo 20, o vídeo decodificado pode ser produzido a partir dos dados codificados que são produzidos pelo aparelho de codificação de vídeo 10.
Item Anexado 1: Uso de Informação a Respeito de Itens a Não Ser Tamanho de Partição e Camadas às Quais Ela Pertence
Na descrição do aparelho de codificação de vídeo 10 e do apare-lho de decodificação de vídeo 20, a lista de transformações proibidas para cada partição no MB expandido está descrita como sendo produzida com base somente no tamanho de partição e na camada à qual a partição pertence. Entretanto, uma outra parte de informação também pode ser usada, a qual pode ser reproduzida para a decodificação com base na informação incluída nos dados codificados. Por exemplo, o vetor de movimento e o índice de imagem de referência incluídos no parâmetro de predição também podem ser usados para derivar a lista de transformações proibidas.
Um procedimento será descrito para adicionar uma transformação de frequência à lista de transformações proibidas usando um vetor de movimento e um índice de imagem de referência na partição específica. Um vetor de movimento da partição p é indicado por "mvp" e um índice de imagem de referência da mesma é indicado por "refp". Um vetor de movimento de uma partição (partição u) localizada na posição mais à esquerda das par-tições que são adjacentes ao lado superior da partição p é indicado por "mvu" e um índice de imagem de referência da mesma é indicado por "ref- pu". Um vetor de movimento de uma partição (partição I) localizada na extremidade superior das partições que são adjacentes ao lado esquerdo da partição p é indicado por "mvl" e um índice de imagem de referência da mesma é indicado por "refl".
Etapa S140: Quando todos de mvp, mvu e mvl coincidem uns com os outros e todos de refp, refu e refl coincidem uns com os outros, o procedimento é avançado para a etapa S141. Em outros casos, o procedimento chega ao fim.
Etapa S141: Quando duas ou mais transformações de frequência que têm tamanhos de transformações em uma relação análoga na lista de transformações de frequência estão presentes, a transformação de frequência cujo tamanho de transformação é o menor em cada combinação das transformações de frequência que têm os tamanhos de transformações na relação análoga é adicionada à Lp, e o procedimento chega ao fim.
A coincidência dos vetores de movimento entre blocos adjacentes significa que a correlação espacial dos vetores de movimento é alta na área local nas proximidades do MB expandido a ser codificado. Quando a correlação espacial dos vetores de movimento é alta, a correlação espacial dos valores de pixels tende também a ser alta e, portanto, o aumento da quantidade de códigos dos dados codificados é insignificante mesmo quando aplicação das transformações de frequência cujos tamanhos de transfor-mações são pequenos das transformações de frequência que têm tamanhos de transformações similares é proibida.
No exposto acima, é considerado que os vetores de movimento e os índices de imagem de referência a ser usados para derivar a lista de transformações proibidas são os vetores de movimento e os índices de imagem de referência das partições que são adjacentes à partição p. Entretanto, outros vetores de movimento podem ser usados. Por exemplo, vetores de movimento em MBs expandidos adjacentes ao MB expandido ao qual a par- tição p pertence (o MB expandido a ser processado) podem ser usados. Mais especificamente, um vetor de movimento de uma partição localizada no lado direito superior no MB expandido adjacente ao lado esquerdo do MB expandido a ser processado é usado como mvl, e um vetor de movimento de uma partição localizada no lado esquerdo inferior no MB expandido adjacente ao lado superior do MB expandido a ser processado é usado como mvu. Neste caso, os mesmos mvl e mvu são usados em todas as partições no MB expandido e, portanto, os processos das etapas S140 e S141 podem ser executados em paralelo para cada partição.
Item Anexado 2: Momento Para Produzir Lista de Transformações Proibidas
Na descrição do aparelho de codificação de vídeo 10 e do apare-lho de decodificação de vídeo 20, está descrito que a parte de derivação de restrição de transformação 104 executa o processamento de produção da lista de transformações proibidas para cada partição do MB expandido a qualquer hora. Entretanto, quando a adição da transformação de frequência à lista de transformações proibidas é executada com base somente no tamanho de partição e na camada à qual a partição pertence, uma lista de transformações de frequência proibidas também pode ser produzida antecipadamente em um momento predeterminado. Neste caso, a lista de transformações proibidas produzida antecipadamente para cada tipo de partição necessita estar correlacionada com cada partição no MB expandido pela parte de derivação de restrição de transformação 104. O momento predeterminado pode ser o ponto de tempo de início da codificação do vídeo de entrada ou um ponto de tempo imediatamente após o início da decodificação dos dados codificados, ou pode ser um ponto de tempo imediatamente após o início da codificação ou do processamento de decodificação de uma unidade de codificação predeterminada tal como uma sequência, um quadro ou uma fatia. O número de vezes de execução do processamento de produção da lista de transformações proibidas pode ser reduzido e, portanto, a quantidade de processamento de codificação e decodificação pode ser reduzida.
Em contraste, no caso onde a transformação de frequência é a- dicionada à lista de transformações proibidas, quando os vetores de movi mento e os índices de imagem de referência são usados, o processamento de produção da lista de transformações proibidas necessita ser executado a qualquer hora para cada MB expandido tal como descrito para o aparelho de codificação de vídeo 10 e para o aparelho de decodificação de vídeo 20. Neste caso, a quantidade de processamento para a codificação e a decodificação é aumentada por causa do aumento do número de vezes de execução do processamento de produção da lista de transformações proibidas. Entretanto, quando comparado ao caso onde o processamento de produção não é executado para cada MB, a lista de transformações proibidas que é produzida pode ser mais adaptativa à propriedade local do vídeo ao usar mais informação do que pode ser derivada a partir dos dados codificados.
Segunda Modalidade
Um aparelho de codificação de vídeo 11 e um aparelho de deco-dificação de vídeo 21 que são uma outra modalidade do aparelho de codifi-cação de vídeo e do aparelho de decodificação de vídeo de acordo com a presente invenção serão descritos com referência às figuras 12 a 14. Na descrição dos desenhos anexos, aos mesmos componentes são dados os mesmos números de referência e não serão descritos de novo.
O aparelho de codificação de vídeo 11 e o aparelho de decodifi-cação de vídeo 21 na modalidade são caracterizados em que a lista de can-didatas a transformação é derivada diretamente sem produzir qualquer lista de transformações proibidas ao substituir a parte de derivação de restrição de transformação 104 em cada um de o aparelho de codificação de vídeo 10 e o aparelho de decodificação de vídeo 20 por uma parte de derivação de candidatas a transformação 111.
A parte de derivação de restrição de transformação 104 e a parte de derivação de candidatas a transformação 111 são referidas coletivamente como "parte de derivação de controle de transformação".
Afigura 12 é um diagrama de blocos da configuração do aparelho de codificação de vídeo 11.0 aparelho de codificação de vídeo 11 inclui a memória de quadro 101, a parte de determinação de parâmetro de predição 102, a parte de produção de imagem preditiva 103, a parte de produção de residual de predição 106, a parte de produção de coeficiente de transfor-mação 107, a parte de reconstrução de residual de predição 109, a parte de produção de imagem decodificada local 110, a parte de derivação de candi-datas a transformação 111, uma parte de determinação de transformação de frequência 112 e uma parte de codificação de comprimento variável 113.
A parte de derivação de candidatas a transformação 111 produz, como uma lista de candidatas a transformação, informação a respeito de transformações de frequência que podem ser selecionadas para cada partição em um MB expandido com base em um parâmetro de predição que é introduzido na mesma. A parte de derivação de candidatas a transformação 111 produz uma lista de candidatas a transformação para a partição com base em informação de forma de partição de cada partição determinada pelo parâmetro de predição.
A lista de candidatas a transformação é correlacionada com cada partição no MB expandido e especifica um conjunto de transformações de frequência que pode ser selecionado para cada partição de transformações de frequência incluídas em um conjunto de transformações predefinidas.
Uma lista de candidatas a transformação, Cp, para uma partição específica p é produzida de acordo com um procedimento como se segue. O tamanho da partição p é assumido para ser MxN pixels (M pixels lateralmente e N pixels longitudinalmente). A partição p também é assumida como per-tencendo a uma camada Lx.
Etapa S150: A transformação de frequência é adicionada à Cp, a que é determinada correspondendo à relação de magnitudes entre M e N.
Etapa S151: Quando Cp está vazio, a transformação de frequência é adicionada à Cp, cujo tamanho de transformação é o maior dessas transformações de frequência cujos tamanhos de transformações são menores que todos os tamanhos de partições.
Um procedimento detalhado da etapa S150 será descrito com referência para um fluxograma da figura 13.
Etapa S160: Usando um valor predeterminado Th3 (que é em seguida, por exemplo, Th3=16), o valor do Mínimo(M, Th3) é estabelecido para ser M1 e o valor do Mínimo(N, Th3) é estabelecido para ser N1. Preferi-velmente, o valor de Th3 é estabelecido para ser o comprimento de um lado do tamanho de transformação da transformação de frequência cujo tamanho de transformação é o maior quadrado incluído no conjunto de transformações predefinidas. Quando uma transformação de frequência tendo um tamanho de transformação de um tamanho de transformação M1*N1 está presente no conjunto de transformações predefinidas, esta transformação de frequência é adicionada à lista de candidatas a transformação, Cp, e o procedimento é avançado para a etapa S161.
Etapa S161: Quando M é maior que N (quando a partição p é um retângulo extenso lateralmente), o procedimento é avançado para a etapa S162 e, em outros casos, o procedimento é avançado para a etapa S163.
Etapa S162: Quando uma transformação de frequência tendo um tamanho de transformação de um tamanho de transformação M1*1 está presente no conjunto de transformações predefinidas, esta transformação de frequência é adicionada à lista de candidatas a transformação, Cp, e o pro-cedimento chega ao fim.
Etapa S163: Quando M é menor que N (quando a partição p é um retângulo extenso longitudinalmente), o procedimento é avançado para a etapa S164 e, em outros casos, o procedimento é avançado para a etapa S165.
Etapa S164: Quando uma transformação de frequência tendo um tamanho de transformação de um tamanho de transformação 1*N1 está presente no conjunto de transformações predefinidas, esta transformação de frequência é adicionada à lista de candidatas a transformação, Cp, e o pro-cedimento chega ao fim.
Etapa S165: O valor de M1-2 é estabelecido para ser M2 e o valor de N1-2 é estabelecido para ser N2. Quando uma transformação de fre-quência tendo um tamanho de transformação de um tamanho de transfor-mação M2*N2 está presente no conjunto de transformações predefinidas, esta transformação de frequência é adicionada à lista de candidatas a trans-formação, Cp, e o procedimento chega ao fim. Esta etapa é executada quando M é igual a N (quando a partição p é um quadrado).
A relação de magnitudes entre M e N e o tamanho de partição MxN são partes da informação de forma de partição.
No procedimento mencionado anteriormente, quando uma trans-formação de frequência cujo tamanho de transformação tem um comprimento longitudinal (lateral) menor que a altura (largura) da partição está presente no conjunto de transformações predefinidas para uma partição retangular extensa lateralmente (retangular extensa longitudinalmente), esta transformação de frequência é adicionada à lista de candidatas a transformação Cp. Uma transformação de frequência cujo tamanho de transformação é um retângulo extenso lateralmente (retângulo extenso longitudinalmente) é efetiva para uma partição retangular extensa lateralmente (retangular extensa longi-tudinalmente) tal como mencionado com referência à figura 6 na descrição do procedimento para derivar a lista de transformações proibidas pela parte de derivação de restrição de transformação 104 do aparelho de codificação de vídeo 10. Especialmente, os casos onde uma divisa de um objeto está presente no tamanho de transformação podem ser reduzidos ao usar uma transformação de frequência tendo um tamanho de transformação cujo com-primento de lado menor é extremamente pequeno quando comparado ao seu comprimento de lado maior. Portanto, o efeito de concentração da energia no componente de baixa frequência do coeficiente de transformação por causa da transformação de frequência pode ser aprimorado.
A parte de determinação de transformação de frequência 112 de-termina uma transformação de frequência a ser aplicada a cada partição no MB expandido usando a lista de candidatas a transformação que é introduzida na mesma, e produz a transformação de frequência como uma sinalização de seleção de transformação. Mais especificamente, o custo de distorção de taxa para um caso onde cada uma das transformações de frequência incluídas na lista de candidatas a transformação, Cp, é aplicada é calculado, e a transformação de frequência que minimiza o custo de distorção de taxa é determinada como a transformação de frequência a ser aplicada à partição P-
A parte de codificação de comprimento variável 113 produz os dados codificados que correspondem ao coeficiente de transformação, ao parâmetro de predição e à sinalização de seleção de transformação no MB expandido, com base na codificação de comprimento variável, na lista de candidatas a transformação e na sinalização de seleção de transformação além do coeficiente de transformação e do parâmetro de predição que são introduzidos na mesma, e envia os dados codificados.
O procedimento para codificação de comprimento variável da si-nalização de seleção de transformação para cada partição no MB expandido é tal como descrito nas etapas S80 a S92 (figura 10) pela parte de codificação de comprimento variável 108 do aparelho de codificação de vídeo 10. As etapas S133 a S135 são aplicadas pela parte de codificação de comprimento variável 108 como um procedimento detalhado para codificação de comprimento variável da sinalização de seleção de transformação para uma partição específica.
Operações do aparelho de codificação de vídeo 11 serão descritas.
Etapa S170: O vídeo de entrada introduzido no aparelho de codi-ficação de vídeo 11 é introduzido sequencialmente em MBs expandidos na parte de determinação de parâmetro de predição 102 e na parte de produção de residual de predição 106. Os processos de S171 a S179 como se segue são executados sequencialmente para cada um dos MBs expandidos.
Etapa S171: A parte de determinação de parâmetro de predição 102 determina o parâmetro de predição para o MB expandido a ser processado com base no vídeo de entrada que é introduzido na mesma, e envia o parâmetro de predição para a parte de produção de imagem preditiva 103 e para a parte de codificação de comprimento variável 113.
Etapa S172: A parte de produção de imagem preditiva 103 produz a imagem preditiva que se aproxima de uma área do MB expandido a ser processado no vídeo de entrada com base no parâmetro de predição introduzido na mesma e na imagem decodificada local gravada na memória de quadro 101, e envia a imagem preditiva para a parte de produção de re sidual de predição 106 e para a parte de produção de imagem decodificada local 110.
Etapa S173: A parte de produção de residual de predição 106 produz o residual de predição que corresponde ao MB expandido a ser pro-cessado, com base no vídeo de entrada e na imagem preditiva que são in-troduzidos na mesma, e envia o residual de predição para a parte de deter-minação de transformação de frequência 112 e para a parte de produção de coeficiente de transformação 107.
Etapa S174: A parte de derivação de candidatas a transformação 111 deriva a restrição com referência à transformação de frequência para cada partição no MB expandido a ser processado, com base no parâmetro de predição que é introduzido na mesma, e envia a restrição para a parte de determinação de transformação de frequência 112 e para a parte de codifi-cação de comprimento variável 113.
Etapa S175: A parte de determinação de transformação de fre-quência 112 determina a transformação de frequência a ser aplicada a cada partição do MB expandido a ser processado, com base na restrição de trans-formação e no residual de predição que são introduzidos na mesma, e envia a transformação de frequência como uma sinalização de seleção de trans-formação para a parte de produção de coeficiente de transformação 107, para a parte de codificação de comprimento variável 113 e para a parte de reconstrução de residual de predição 109.
Etapa S176: A parte de produção de coeficiente de transformação 107 aplica uma transformação de frequência especificada pela sinalização de seleção de transformação introduzida na mesma ao residual de predição introduzido na mesma, produz assim um coeficiente de transformação que corresponde ao MB expandido a ser processado, e envia o coeficiente de transformação para a parte de codificação de comprimento variável 108 e para a parte de reconstrução de residual de predição 109.
Etapa S177: A parte de reconstrução de residual de predição 109 aplica uma transformação de frequência inversa que corresponde à trans-formação de frequência especificada pela sinalização de seleção de trans- formação introduzida na mesma ao coeficiente de transformação introduzido na mesma, reconstrói assim o residual de predição que corresponde ao MB expandido a ser processado, e envia o residual de predição para a parte de produção de imagem decodificada local 110.
Etapa S178: A parte de produção de imagem decodificada local 110 produz a imagem decodificada local com base no residual de predição e na imagem preditiva que são introduzidos na mesma, e envia a imagem de-codificada local para a memória de quadro 101 para gravação da imagem decodificada local na memória de quadro 101.
Etapa S179: A parte de codificação de comprimento variável 113 aplica codificação de comprimento variável ao coeficiente de transformação, ao parâmetro de predição e à sinalização de seleção de transformação que são introduzidos na mesma, usando a restrição de transformação introduzida na mesma, e envia para fora os resultados de codificação como os dados codificados.
De acordo com o procedimento mencionado anteriormente, o aparelho de codificação de vídeo 11 pode codificar o vídeo de entrada forne-cido para o mesmo, produzir os dados codificados, e enviar para fora os dados codificados.
Um Outro Exemplo de Método de Produzir Lista de Candidatas a Transfor-mação
Um exemplo do método de produzir a lista de candidatas a trans-formação é descrito com referência à parte de derivação de candidatas a transformação 111. Entretanto, a lista de candidatas a transformação pode ser produzida usando um outro método. Por exemplo, quando duas trans-formações de frequência DCTa e DCTb que estejam em uma relação análoga (entretanto, o tamanho de transformação da DCTa é maior que o tamanho de transformação da DCTb) estão incluídas no conjunto de transformações predefinidas, um método de produzir a lista de candidatas a transformação efetivo é a DCTa ser adicionada e a DCTb não ser adicionada à lista de can-didatas a transformação para uma partição incluída em uma camada superior e a DCTb ser adicionada à lista de candidatas a transformação para uma partição incluída em uma camada inferior. Mais especificamente, quando uma DCT de 16^16 e uma DCT de 8x8 estão incluídas no conjunto de trans-formações predefinidas, pelo menos a DCT de 16x16 é adicionada e a DCT de 8x8 não é adicionada à lista de candidatas a transformação para uma partição incluída na camada LO cuja unidade de processamento é de 64x64 pixels; e pelo menos a DCT de 8x8 é adicionada à lista de candidatas a transformação para uma partição incluída na camada L1 cuja unidade de processamento é de 32x32 pixels.
Mesmo no caso onde a transformação de frequência específica DCTb (por exemplo, uma DCT de 8x8) não pode ser selecionada para uma partição incluída na camada específica Lx, quando a DCTb pode ser sele-cionada para uma partição pertencendo à camada Ly que é mais baixa que a camada Lx, um aumento da quantidade de códigos dos dados codificados pode ser suprimido, ao não selecionar qualquer partição pertencendo à ca-mada superior Lx, mas ao selecionar a partição pertencendo à camada inferior Ly que permite que a DCTb seja selecionada em uma área em que a DCTb é efetiva. Especialmente, com base no fato de que uma transformação de frequência cujo tamanho de transformação é grande é efetiva para uma partição grande, é efetivo que, para uma partição pertencendo à camada superior Lx, à DCTa tendo um maior tamanho de transformação (por exemplo, uma DCT de 16x16) seja permitido ser selecionada em vez de proibir a DCTb de ser selecionado e, por outro lado, para uma partição pertencendo à camada inferior Ly, à DCTb é permitido ser selecionada.
Configuração do Aparelho de Decodificação de vídeo 21
O aparelho de decodificação de vídeo 21 será descrito, o qual produz um vídeo decodificado ao decodificar os dados codificados pelo apa-relho de codificação de vídeo 11.
A figura 14 é um diagrama de blocos da configuração do aparelho de decodificação de imagem 21. O aparelho de decodificação de vídeo 20 inclui a memória de quadro 101, a parte de produção de imagem preditiva 103, a parte de reconstrução de residual de predição 109, a parte de produção de imagem decodificada local 110, a parte de derivação de candidatas a transformação 111 e uma parte de decodificação de código de comprimento variável 202.
A parte de decodificação de código de comprimento variável 202 decodifica o parâmetro de predição, a sinalização de seleção de transforma-ção e o coeficiente de transformação com base nos dados codificados e na lista de candidatas a transformação que são introduzidos na mesma, e envia os resultados de decodificação. Mais especificamente, a parte de decodifica-ção de código de comprimento variável 202 primeiramente decodifica o pa-râmetro de predição a partir dos dados codificados e envia o parâmetro de predição, decodifica então a sinalização de seleção de transformação a partir dos dados codificados usando a lista de candidatas a transformação e envia a sinalização de seleção de transformação, e finalmente decodifica o coeficiente de transformação a partir dos dados codificados usando a sinali-zação de seleção de transformação e envia o coeficiente de transformação. Quando a sinalização de seleção de transformação é decodificada, é neces-sário conhecer quantos bits são usados para codificar a sinalização de sele-ção de transformação. Para isso a informação dos elementos incluídos na lista de candidatas a transformação não é necessariamente exigida, mas somente é necessário conhecer o número de elementos incluídos na lista de candidatas a transformação. Neste caso, um sinal introduzido na parte de decodificação de código de comprimento variável 202 e um sinal usado para decodificar a sinalização de seleção de transformação podem ser somente um sinal com referência ao número de elementos incluídos na lista de candidatas a transformação da lista de candidatas a transformação.
Operações do Aparelho de Decodificação de Vídeo 21
Operações do aparelho de decodificação de vídeo 21 serão des-critas.
Etapa S180: Os dados codificados externamente introduzidos no aparelho de decodificação de vídeo 20 são introduzidos sequencialmente na parte de decodificação de código de comprimento variável 201 MB expandido por MB expandido, e processamento seguinte das etapas S181 a S187 é executado sequencialmente para os dados codificados que correspondem a cada MB expandido.
Etapa S181: A parte de decodificação de código de comprimento variável 202 decodifica o parâmetro de predição que corresponde ao MB expandido a ser processado a partir dos dados codificados introduzidos na mesma, e envia o parâmetro de predição para a parte de produção de imagem preditiva 103 e para a parte de derivação de candidatas a transformação 111.
Etapa S182: A parte de derivação de candidatas a transformação 111 deriva a lista de candidatas a transformação para cada partição do MB expandido a ser processado com base no parâmetro de predição introduzido na mesma, e envia a lista de candidatas a transformação para a parte de decodificação de código de comprimento variável 202.
Etapa S183: A parte de decodificação de código de comprimento variável 202 decodifica a sinalização de seleção de transformação que cor-responde ao MB a ser processado com base nos dados codificados e na restrição de transformação que são introduzidos na mesma, e envia a sinali-zação de seleção de transformação para a parte de reconstrução de residual de predição 109.
Etapa S184: A parte de decodificação de código de comprimento variável 202 decodifica o coeficiente de transformação que corresponde ao MB expandido a ser processado com base nos dados codificados introduzidos na mesma e na sinalização de seleção de transformação derivada na etapa S183, e envia o coeficiente de transformação para a parte de reconstrução de residual de predição 109.
Etapa S185: A parte de produção de imagem preditiva 103 produz a imagem preditiva que corresponde ao MB expandido a ser processado com base no parâmetro de predição introduzido na mesma e na imagem de-codificada local gravada na memória de quadro 101, e envia a imagem pre-ditiva para a parte de produção de imagem decodificada local 110.
Etapa S186: A parte de reconstrução de residual de predição 109 aplica a transformação de frequência inversa que corresponde à transforma-ção de frequência especificada pela sinalização de seleção de transforma- ção introduzida na mesma ao coeficiente de transformação introduzido na mesma, reconstrói assim o residual de predição que corresponde ao MB ex-pandido a ser processado, e envia o residual de predição para a parte de produção de imagem decodificada local 110.
Etapa S187: A parte de produção de imagem decodificada local 110 produz a imagem decodificada local com base no residual de predição e na imagem preditiva que são introduzidos na mesma, envia a imagem deco-dificada local para a memória de quadro 101 para gravação da imagem de-codificada local na memória de quadro 101, e envia para fora a imagem de-codificada local como a área no vídeo decodificado que corresponde ao bloco a ser processado.
Conclusão Para Decodificador
Tal como indicado acima, de acordo com o aparelho de decodifi-cação de vídeo 21, o vídeo decodificado pode ser produzido a partir dos dados codificados que são produzidos pelo aparelho de codificação de vídeo 11.
Terceira Modalidade
Um aparelho de codificação de vídeo 30 e um aparelho de deco-dificação de vídeo 40 que também são uma outra modalidade do aparelho de codificação de vídeo e do aparelho de decodificação de vídeo de acordo com a presente invenção serão descritos com referência às figuras 15 a 16. Na descrição dos desenhos anexos, os mesmos números de referência são dados para os mesmos componentes e esses componentes não serão des-critos de novo. É considerado que a estrutura de partição e o conjunto de transformações predefinidas que estão disponíveis para o aparelho de codi-ficação de vídeo 30 e para o aparelho de decodificação de vídeo 40 são i- guais àqueles que foram usados para o aparelho de codificação de vídeo 11 e para o aparelho de decodificação de vídeo 21.
O aparelho de codificação de vídeo 30 e o aparelho de decodifi-cação de vídeo 40 na modalidade são diferentes do aparelho de codificação de vídeo 11 e do aparelho de decodificação de vídeo 21, em que o aparelho de codificação de vídeo 30 e o aparelho de decodificação de vídeo 40 inclu em uma função que muda adaptativamente o método de derivar a lista de candidatas a transformação pela parte de derivação de candidatas a trans-formação comparando a propriedade do vídeo com uma unidade predeter-minada que é maior que um MB tal como uma cena, um quadro, ou uma fatia do vídeo.
A figura 15 é um diagrama de blocos da configuração do aparelho de codificação de vídeo 30. O aparelho de codificação de vídeo 30 inclui a memória de quadro 101, a parte de determinação de parâmetro de predição 102, a parte de produção de imagem preditiva 103, a parte de produção de residual de predição 106, a parte de produção de coeficiente de transformação 107, a parte de reconstrução de residual de predição 109, a parte de produção de imagem decodificada local 110, a parte de determinação de transformação de frequência 112, uma parte de determinação de regra de derivação de lista de candidatas a transformação 301, uma parte de derivação de candidatas a transformação 302 e uma parte de codificação de comprimento variável 303.
A parte de determinação de regra de derivação de lista de candi-datas a transformação 301 produz uma regra de derivação de lista de candi-datas a transformação que especifica ou atualiza o método de derivar a lista de candidatas a transformação executado pela parte de derivação de candi-datas a transformação com base no vídeo de entrada que é introduzido em unidades predeterminadas que são maiores que um MB tal como uma cena, um quadro, ou uma fatia. Em seguida, para a simplicidade da descrição, a regra de derivação de lista de candidatas a transformação será descrita as-sumindo que esta regra é produzida para cada quadro.
Definição de Regra de Derivação de Lista de Candidatas a Transformação
A regra de derivação de lista de candidatas a transformação é definida como uma combinação das regras básicas que são listadas como se segue.
Regra Básica 1: Esta regra especifica adicionar uma transforma-ção de frequência predeterminada B no conjunto de transformações predefi-nidas à lista de candidatas a transformação para uma partição predetermi nada A. Em seguida, a regra básica 1 é descrita em uma forma de [permissão, partição A, transformação de frequência B]. Por exemplo, [permissão, 64x64, T16x16] indica adicionar uma transformação de frequência de T16x16 à lista de candidatas a transformação para uma partição de 64x64.
Regra Básica 2: Esta regra especifica proibir que a transformação de frequência predeterminada B no conjunto de transformações predefinidas seja incluída na lista de candidatas a transformação para a partição predeterminada A. Em seguida, a regra básica 2 é descrita em uma forma de [proibição, partição A, transformação de frequência B]. Por exemplo, [proibi-ção, 64x64, T4x4] indica proibir T4x4 para uma partição tendo um tamanho de 64x64 e não incluir T4x4 na lista de candidatas a transformação.
Regra Básica 3: Esta regra especifica substituir a transformação de frequência B na lista de candidatas a transformação por uma outra trans-formação de frequência C quando a transformação de frequência predeter-minada B no conjunto de transformações predefinidas está incluída na lista de candidatas a transformação para a partição predeterminada A. Em segui-da, a regra básica 3 é descrita em uma forma de [substituição, partição A, transformação de frequência B, transformação de frequência C], Por exem-plo, [substituição, 64x32, T4x4, T16x1] indica excluir T4x4 da lista de candi-datas a transformação e, em vez dela, adicionar T16x1 à lista de candidatas a transformação quando T4x4 está incluída na lista de candidatas a trans-formação para uma partição tendo um tamanho de 64x32.
A regra de derivação de lista de candidatas a transformação inclui uma pluralidade de regras básicas e cada uma das regras básicas é classificada em qualquer uma das regras básicas 1 a 3.
Na regra de derivação de lista de candidatas a transformação, além das regras básicas, ou em vez das regras básicas, uma regra complexa expressada por uma combinação das regras básicas pode ser incluída. Exemplos de algumas das regras complexas serão listados.
Regra Complexa 1: Uma transformação específica é proibida para uma partição que pertence a uma camada específica. Por exemplo, uma regra de proibir qualquer transformação cujo tamanho é T8x8 ou menor na camada LO corresponde a esta regra complexa 1. A regra complexa R1 pode ser expressada como um conjunto das regras básicas como se segue. R1={ [proibição, P, T]:("P" é uma partição que pertence à camada L0)A("T" é uma transformação de frequência de T8x8 ou menor)}.
Uma regra que também corresponde a esta regra complexa 1 é proibir qualquer transformação de frequência cujo tamanho seja pequeno nas transformações de frequência em uma relação análoga em uma camada que seja mais alta que uma camada predeterminada; mais especificamente, uma regra de proibir T8x8 e T4x4 das transformações de T16x16, T8x8 e T4x4 que estão em uma relação análoga em uma camada que é mais alta que a camada L1.
Regra Complexa 2: Uma transformação específica A é substituída por uma transformação específica B para uma partição tendo uma forma específica. Por exemplo, uma regra de substituir uma transformação de fre-quência retangular por uma transformação de frequência quadrada específica (por exemplo, T4x4) para uma partição quadrada corresponde a esta regra complexa 2. A regra complexa R2 pode ser expressada como um conjunto da regras básicas como se segue: R2={[substituição, P, T, T4x4]:(PEpartições quadradas)A(Tetransformações de frequência retangulares)}.
Uma regra de substituir uma transformação de frequência qua-drada por uma transformação de frequência retangular extensa lateralmente para uma partição retangular extensa lateralmente também corresponde a esta regra complexa 2.
Procedimento Para Determinar Regra de derivação de lista de candidatas a transformação
Regras candidatas tendo, como seus elementos, as regras bási-cas e as regras complexas são especificadas antecipadamente antes do início do processamento de codificação, e a regra de derivação de lista de candidatas a transformação é estabelecida para ser vazia. O custo de distor-ção de taxa é calculado para um caso onde o processamento de codificação é executado aplicando cada uma das regras básicas ou cada uma das re- gras complexas incluídas nas regras candidatas para cada quadro que é in-troduzido. Um custo de distorção de taxa C1 também é calculado para um caso onde todas as regras candidatas não são aplicadas. Na comparação entre um custo de distorção de taxa C2 calculado para um caso onde cada uma das regras básicas ou cada uma das regras complexas é aplicada e o custo C1, quando o custo C2 é menor que o custo C1, é determinado que a regra básica ou a regra complexa é aplicada e incluída na regra de derivação de lista de candidatas a transformação.
De acordo com o procedimento mencionado anteriormente, so-mente a regra básica ou a regra complexa de regras candidatas predetermi-nadas que pode reduzir o custo de distorção de taxa por meio de aplicação ao codificar um quadro é adicionada à regra de derivação de lista de candidatas a transformação.
A parte de derivação de candidatas a transformação 302 produz a informação a respeito de transformações de frequência que podem ser selecionadas em cada partição no MB expandido como uma lista de candi-datas a transformação com base no parâmetro de predição que é introduzido e na regra de derivação de lista de candidatas a transformação. A lista de candidatas a transformação é correlacionada com cada partição no MB ex-pandido e especifica um conjunto das transformações de frequência que po-dem ser selecionadas em cada partição das transformações de frequência incluídas no conjunto de transformações predefinidas. Nesta etapa, a regra de derivação de lista de candidatas a transformação que é introduzida também é usada para o processamento de derivar a lista de candidatas a transformação.
Um procedimento para produzir a lista de candidatas a transfor-mação, Cp, para a partição específica p com base na regra de derivação de lista de candidatas a transformação que é introduzida é como se segue. É considerado que o tamanho da partição p é M*N pixels (lateralmente, M pixels e, longitudinalmente, N pixels).
Etapa S200: Quando as regras complexas estão incluídas na re-gra de derivação de lista de candidatas a transformação, cada uma das re- gras complexas é desassociada nas regras básicas e estas regras básicas são adicionadas à regra de derivação de lista de candidatas a transformação.
Etapa S201: O processamento da etapa S202 é executado para todas as regras básicas pertencendo à regra básica 1 que estejam incluídas na lista de candidatas a transformação.
Etapa S202: A regra básica 1 a ser processada é expressada como [permissão, P1, T1]. Quando a forma da partição p e P1 coincidem uma com a outra, uma transformação de frequência T1 é adicionada à lista de candidatas a transformação.
Etapa S203: O processamento da etapa S204 é executado para todas as regras básicas pertencendo à regra básica 2 que estejam incluídas na lista de candidatas a transformação.
Etapa S204: A regra básica 2 a ser processada é expressada como [proibição, P2, T2). Quando a forma da partição p e P2 coincidem uma com a outra e uma transformação de frequência T2 está presente na lista de candidatas a transformação, a transformação de frequência T2 é removida da lista de candidatas a transformação.
Etapa S205: O processamento da etapa S206 é executado para todas as regras básicas pertencendo à regra básica 3 que estejam incluídas na lista de candidatas a transformação.
Etapa S206: A regra básica 2 a ser processada é expressada como [substituição, P3, T3, T4], Quando a forma da partição p e P3 coincidem uma com a outra e uma transformação de frequência T3 está presente na lista de candidatas a transformação, a transformação de frequência T3 é substituída por uma transformação de frequência T4.
De acordo com o procedimento mencionado anteriormente, a parte de derivação de candidatas a transformação 302 pode derivar a lista de candidatas a transformação de acordo com a regra de derivação de lista de candidatas a transformação introduzida na mesma.
A parte de codificação de comprimento variável 303 produz dados codificados que correspondem respectivamente ao coeficiente de trans- formação, ao parâmetro de predição, à lista de candidatas a transformação, à sinalização de seleção de transformação e à regra de derivação de lista de candidatas a transformação que são introduzidos na mesma, e envia os da-dos codificados.
Detalhes do processamento de produzir os dados codificados correspondendo à regra de derivação de lista de candidatas a transformação serão descritos. Os dados codificados são produzidos por meio de codificação de comprimento variável de cada uma das regras básicas ou das regras complexas que estejam incluídas na regra de derivação de lista de candidatas a transformação. Na codificação de comprimento variável da regra básica, a informação que é codificada primeiramente indica em qual das regras básicas 1 a 3 a regra básica a ser codificada está classificado, e então é codificada informação que indica a partição à qual a regra básica é aplicada. Finalmente, informação que indica a transformação de frequência permitida é codificada no caso da regra básica 1, informação que indica a transformação de frequência proibida é codificada no caso da regra básica 2, e informação que índica o tipo de cada transformação de frequência antes e após a substituição é codificada no caso da regra básica 3. Quando qual regra básica pode ser incluída na lista de derivação de lista de candidatas a transformação é determinada antecipadamente, a quantidade de códigos pode ser reduzida ao determinar a informação indicando se a regra básica é aplicada para ser os dados codificados em vez de codificação de comprimento variável das regras básicas de acordo com o método exposto anteriormente. Quando é determinado antecipadamente que uma regra básica específica é sempre aplicada a codificação de comprimento variável da regra básica não é necessária.
Uma regra complexa é codificada após a regra complexa ser de- sassociada nas regras básicas. Quando qual regra complexa pode ser inclu-ída na lista de derivação de lista de candidatas a transformação é determinada antecipadamente, a quantidade de códigos pode ser reduzida ao determinar a informação indicando se a regra complexa é aplicada para ser os dados codificados. Por exemplo, é possível codificar onde aplicar ou não uma regra complexa que proíbe T4*4 e T8*8 em uma partição que seja maior que 32x32 como uma sinalização de um bit.
Pode ser possível codificar a informação indicando com ou sem aplicação para cada uma das regras básicas incluídas em um grupo de regras que é especificado por manusear coletivamente as regras básicas específicas ou as regras complexas específicas, para codificar uma sinalização indicando onde ou não estimar com ou sem aplicação para todas as regras básicas incluídas no grupo de regras. Mais especificamente, quando regras complexas indicando que T16x16, T8x8 e T4x4 são aplicadas à camada L3 são respectivamente expressadas como "enable_t16x16_L3", "ena- ble_t16xl6_L3" e "enable_t16xl6_L3", um grupo de regras "enable_L3" é produzido ao manusear coletivamente estas três regras complexas. Na codi-ficação, se enable_L3 é aplicado é codificado por um bit primeiro. Quando enable_L3 é aplicado, se cada regra complexa incluída na grupo de regras é aplicada é codificado por um bit. Quando enable_L3 não é aplicado, se cada regra complexa é aplicada é estimado de acordo com um método predeter-minado.
As regras básicas e as regras complexas podem ser codificadas coletivamente sem codificação de comprimento variável dessas regras uma por uma. Por exemplo, somente quando é codificada uma sinalização que indica se todas as regras básicas não são aplicadas ou pelo menos uma regra básica é aplicada e esta sinalização indica que pelo menos uma regra básica é aplicada, a informação que indica se cada uma das regras básicas é aplicada pode ser codificada. Além do mais, pode ser codificada uma sina-lização que indica se a regra de derivação de lista de candidatas a transfor-mação aplicada em um quadro anterior é aplicada continuamente, e somente quando esta regra de derivação de lista de candidatas a transformação não é aplicada continuamente a regra de derivação de lista de candidatas a transformação pode ser codificada.
Operações do aparelho de codificação de vídeo 30 serão descri-tas.
Etapa S210: O vídeo de entrada introduzido no aparelho de codi ficação de vídeo 30 é introduzido na parte de determinação de regra de derivação de lista de candidatas a transformação 301 quadro por quadro, e é introduzido sequencialmente na parte de determinação de parâmetro de predição 102 e na parte de produção de residual de predição 106 MB expandido por MB expandido. Os processos das etapas S211 a S212 são executados para cada quadro e os processos das etapas S213 a S221 são executados para cada MB expandido.
Etapa S211: A parte de determinação de regra de derivação de lista de candidatas a transformação 301 produz a regra de derivação de lista de candidatas a transformação com base no quadro introduzido na mesma, e envia a regra de derivação de lista de candidatas a transformação para a parte de derivação de candidatas a transformação 302 e para a parte de codificação de comprimento variável 303.
Etapa S212: A parte de codificação de comprimento variável 303 produz os dados codificados correspondentes com base na regra de deriva-ção de lista de candidatas a transformação introduzida na mesma, e envia para fora os dados codificados correspondentes.
Etapa S213: A parte de determinação de parâmetro de predição 102 determina o parâmetro de predição para o MB expandido a ser proces-sado com base no vídeo de entrada introduzido na mesma, e envia o parâ-metro de predição para a parte de produção de imagem preditiva 103, para a parte de derivação de candidatas a transformação 302 e para a parte de co-dificação de comprimento variável 303.
Etapa S214: A parte de produção de imagem preditiva 103 produz a imagem preditiva que se aproxima de uma área do MB expandido a ser processado no vídeo de entrada, com base no parâmetro de predição introduzido na mesma e na imagem decodificada local gravada na memória de quadro 101, e envia a imagem preditiva para a parte de produção de re-sidual de predição 106 e para a parte de produção de imagem decodificada local 110.
Etapa S215: A parte de produção de residual de predição 106 produz o residual de predição que corresponde ao MB expandido a ser pro- cessado com base no vídeo de entrada e na imagem preditiva que são intro-duzidos na mesma, e envia o residual de predição para a parte de determi-nação de transformação de frequência 112 e para a parte de produção de coeficiente de transformação 107.
Etapa S216: A parte de derivação de candidatas a transformação 302 deriva a restrição com referência à transformação de frequência para cada partição do MB expandido a ser processado com base no parâmetro de predição e na regra de derivação de lista de candidatas a transformação que são introduzidos na mesma, e envia a restrição para a parte de determinação de transformação de frequência 112 e para a parte de codificação de comprimento variável 303.
Etapa S217; A parte de determinação de transformação de fre-quência 112 determina a transformação de frequência a ser aplicada a cada partição do MB expandido a ser processado com base na restrição de trans-formação e no residual de predição que são introduzidos na mesma, e envia a transformação de frequência como a sinaliza-ção de seleção de transfor-mação para a parte de produção de coeficiente de transformação 107, para a parte de codificação de comprimento variável 303 e para a parte de re-construção de residual de predição 109.
Etapa S218: A parte de produção de coeficiente de transformação 107 aplica a transformação de frequência especificada pela sinalização de seleção de transformação introduzida na mesma ao residual de predição introduzido na mesma, produz assim o coeficiente de transformação que corresponde ao MB expandido a ser processado, e envia o coeficiente de transformação para a parte de codificação de comprimento variável 108 e para a parte de reconstrução de residual de predição 109.
Etapa S219: A parte de reconstrução de residual de predição 109 aplica a transformação de frequência inversa que corresponde à transforma-ção de frequência especificada pela sinalização de seleção de transformação introduzida na mesma ao coeficiente de transformação introduzido na mesma, reconstrói assim o residual de predição que corresponde ao MB ex-pandido a ser processado, e envia o residual de predição para a parte de produção de imagem decodificada local 110.
Etapa S220: A parte de produção de imagem decodificada local 110 produz a imagem decodificada local com base no residual de predição e na imagem preditiva que são introduzidos na mesma, e envia a imagem de-codificada local para a memória de quadro 101 para gravação da imagem decodificada local na memória de quadro 101.
Etapa S221: A parte de codificação de comprimento variável 303 aplica codificação de comprimento variável ao coeficiente de transformação, ao parâmetro de predição e à sinalização de seleção de transformação que são introduzidos na mesma, usando a restrição de transformação introduzida na mesma, e envia para fora os dados resultantes como os dados codificados.
De acordo com o procedimento mencionado anteriormente, o aparelho de codificação de vídeo 30 pode codificar o vídeo de entrada que é introduzido no mesmo, produzir assim os dados codificados e enviar para fora os dados codificados.
Configuração do Aparelho de Decodificação de Vídeo 40
O aparelho de decodificação de vídeo 40 será descrito, o qual decodifica os dados codificados que são codificados pelo aparelho de codifi-cação de vídeo 30 e que assim produz o vídeo decodificado.
Afigura 16 é um diagrama de blocos da configuração do aparelho de decodificação de imagem 40. O aparelho de decodificação de vídeo 40 inclui a memória de quadro 101, a parte de produção de imagem preditiva 103, a parte de reconstrução de residual de predição 109, a parte de produção de imagem decodificada local 110, a parte de derivação de candidatas a transformação 302 e uma parte de decodificação de código de comprimento variável 401.
A parte de decodificação de código de comprimento variável 401 decodifica o parâmetro de predição, a sinalização de seleção de transforma-ção, o coeficiente de transformação e a regra de derivação de lista de candi-datas a transformação com base nos dados codificados e na lista de candi-datas a transformação que são introduzidos na mesma, e envia os resulta- dos de decodificação. Mais especificamente, a parte de decodificação de código de comprimento variável 401: primeiro decodifica e envia a regra de derivação de lista de candidatas a transformação; então, decodifica o parâ-metro de predição a partir dos dados codificados e envia o parâmetro de predição; decodifica a sinalização de seleção de transformação a partir dos dados codificados usando a lista de candidatas a transformação e envia a sinalização de seleção de transformação; e, finalmente, decodifica o coefici-ente de transformação a partir dos dados codificados usando a sinalização de seleção de transformação e envia o coeficiente de transformação.
Operações do Aparelho de Decodificação de Vídeo 40
Operações do aparelho de decodificação de vídeo 40 serão des-critas.
Etapa S230: Os dados codificados externamente introduzidos no aparelho de decodificação de vídeo 40 são introduzidos sequencialmente na parte de decodificação de código de comprimento variável 401 em quadros. Os processos das etapas S231 a S239 como se segue são executados se-quencialmente para os dados codificados que correspondem a cada quadro.
Etapa S231: A parte de decodificação de código de comprimento variável 401 decodifica a regra de derivação de lista de candidatas a trans-formação que corresponde ao quadro a ser processado, a partir dos dados codificados introduzidos na mesma, e envia a regra de derivação de lista de candidatas a transformação para a parte de derivação de candidatas a trans-formação 302.
Etapa S232: A parte de decodificação de código de comprimento variável 401 divide os dados codificados para cada quadro introduzido na mesma em dados codificados para cada MB expandido. Os processos das etapas S233 a S239 como se segue são executados sequencialmente para dados codificados correspondendo a cada MB expandido.
Etapa S233: A parte de decodificação de código de comprimento variável 401 decodifica o parâmetro de predição de cada um dos dados codi-ficados correspondendo a um MB expandido a ser processado, e envia o parâmetro de predição para a parte de derivação de candidatas a transfer- mação 302.
Etapa S234: A parte de derivação de candidatas a transformação 302 deriva a lista de candidatas a transformação para cada partição do MB expandido a ser processado com base na regra de derivação de lista de candidatas a transformação e no parâmetro de predição que são introduzidos na mesma, e envia a lista de candidatas a transformação para a parte de decodificação de código de comprimento variável 401.
Etapa S235: A parte de decodificação de código de comprimento variável 401 decodifica a sinalização de seleção de transformação que cor-responde ao MB a ser processado com base nos dados codificados e na restrição de transformação que são introduzidos na mesma, e envia a sinali-zação de seleção de transformação para a parte de reconstrução de residual de predição 109.
Etapa S236: A parte de decodificação de código de comprimento variável 202 decodifica o coeficiente de transformação que corresponde ao MB expandido a ser processado, com base nos dados codificados introduzidos na mesma e na sinalização de seleção de transformação derivada na etapa S235, e envia o coeficiente de transformação para a parte de reconstrução de residual de predição 109.
Etapa S237: A parte de produção de imagem preditiva 103 produz a imagem preditiva que corresponde ao MB expandido a ser processado com base no parâmetro de predição introduzido na mesma e na imagem de-codificada local gravada na memória de quadro 101, e envia a imagem pre-ditiva para a parte de produção de imagem decodificada local 110.
Etapa S238: A parte de reconstrução de residual de predição 109 aplica a transformação de frequência inversa que corresponde à transforma-ção de frequência especificada pela sinalização de seleção de transformação introduzida na mesma ao coeficiente de transformação introduzido na mesma, reconstrói assim o residual de predição que corresponde ao MB expandido a ser processado, e envia o residual de predição reconstruído para a parte de produção de imagem decodificada local 110.
Etapa S239: A parte de produção de imagem decodificada local 110 produz a imagem decodificada local com base no residual de predição e na imagem preditiva que são introduzidos na mesma, envia a imagem decodificada local para a memória de quadro 101 para gravação da imagem decodificada local na memória de quadro 101, e envia para fora a imagem decodificada local como a área no vídeo decodificado que corresponde ao bloco a ser processado.
Tal indicado acima, de acordo com o aparelho de decodificação de vídeo 40, o vídeo decodificado pode ser produzido a partir dos dados co-dificados produzidos pelo aparelho de codificação de vídeo 11.
Uma parte ou todo o aparelho de codificação de vídeo e o aparelho de decodificação de vídeo em cada uma das modalidades tipicamente podem ser implementados como uma LSI (Integração em Grande Escala) que é um circuito integrado. Cada um dos blocos funcionais do aparelho de codificação de vídeo e do aparelho de decodificação de vídeo pode ser implementado individualmente como um chip, ou uma parte ou todos esses blocos funcionais podem ser integrados em um chip. A abordagem de implementação dos mesmos como um(s) circuito(s) integrado(s) pode ser concretizada não somente por uma LSI, mas também por um(s) circuito(s) dedicado^) ou por um(s) processador(s) de múltiplos usos. Quando uma técnica de implementação dos mesmos como circuito(s) integrado(s) é estabelecida que substitui LSIs por causa do avanço da tecnologia de semicondutor, tal técnica também pode ser usada.
Explicações de Letras ou Números ...aparelho de codificação de vídeo, 11...aparelho de codificação de vídeo, 20...aparelho de decodificação de vídeo, 21...aparelho de de-codificação de vídeo, 30...aparelho de codificação de vídeo, 40...aparelho de decodificação de vídeo, 101...memória de quadro, 102...parte de determinação de parâmetro de predição, 103...parte de produção de imagem preditiva, 104...parte de derivação de restrição de transformação, 105...parte de de-terminação de transformação de frequência, 106...parte de produção de re-sidual de predição, 107...parte de produção de coeficiente de transformação, 108...parte de codificação de comprimento variável, 109...parte de recons- trução de residual de predição, 110...parte de produção de imagem decodifi-cada local, 111...parte de derivação de candidatas a transformação, 112...parte de determinação de transformação de frequência, 113...parte de codificação de comprimento variável, 201...parte de decodificação de código de comprimento variável, 202...parte de decodificação de código de comprimento variável, 301... parte de determinação regra de derivação de lista candidatas, 302...parte de derivação de candidatas a transformação, 303...parte de codificação de comprimento variável, 401...parte de decodificação de código de comprimento variável.

Claims (1)

1. Aparelho de decodificação de vídeo (21) que executa um processo de decodificação para dados codificados de entrada para cada bloco, compreendendo: uma porção de decodificação de tamanho variável (202) que decodifica uma estrutura de partição a partir dos dados codificados de entrada; e uma porção de produção de imagem de predição (103) que pro-duz uma imagem de predição para cada partição especificada pela estrutura 10 de partição; o aparelho de decodificação de vídeo (21) sendo caracterizado por uma porção de derivação de candidatos de transformação (111) que determina um candidato de transformação que é uma transformação aplicável que está inclusa em um padrão de transformação predeterminado baseado em uma característica de tamanho de partição, e a característica de tamanho de partição indica que a partição é um retângulo lateralmente longo ou um retângulo longitudinalmente longo.
BRPI1014257-6A 2009-04-08 2010-03-17 aparelho de codificação de vídeo e aparelho de decodificação de vídeo BRPI1014257B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009-093606 2009-04-08
JP2009093606 2009-04-08
JP2009146509 2009-06-19
JP2009-146509 2009-06-19
PCT/JP2010/054485 WO2010116869A1 (ja) 2009-04-08 2010-03-17 動画像符号化装置および動画像復号装置

Publications (2)

Publication Number Publication Date
BRPI1014257A2 BRPI1014257A2 (pt) 2016-04-12
BRPI1014257B1 true BRPI1014257B1 (pt) 2021-03-09

Family

ID=42936156

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1014257-6A BRPI1014257B1 (pt) 2009-04-08 2010-03-17 aparelho de codificação de vídeo e aparelho de decodificação de vídeo

Country Status (9)

Country Link
US (1) US8855203B2 (pt)
EP (1) EP2418855B1 (pt)
JP (3) JPWO2010116869A1 (pt)
CN (5) CN104717505B (pt)
BR (1) BRPI1014257B1 (pt)
EA (5) EA201690320A3 (pt)
MX (1) MX2011010550A (pt)
MY (1) MY157572A (pt)
WO (1) WO2010116869A1 (pt)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9549190B2 (en) * 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
BR112012025206B1 (pt) 2010-04-09 2022-04-12 Mitsubishi Electric Corporation Dispositivo de decodificação de imagem em movimento
US10432956B2 (en) * 2010-12-17 2019-10-01 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
US8948271B2 (en) * 2011-01-13 2015-02-03 Texas Instruments Incorporated Method and apparatus for a low complexity transform unit partitioning structure for HEVC
CN102685487B (zh) * 2011-03-16 2015-07-08 华为技术有限公司 图像编解码方法、图像编解码设备及网络系统
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
JP2014523710A (ja) * 2011-07-22 2014-09-11 モトローラ モビリティ エルエルシー ビデオ・コーディングにおける直交形状変換をスキャンするためのデバイスおよび方法
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
US9247254B2 (en) 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
CN103096053B (zh) 2011-11-04 2015-10-07 华为技术有限公司 一种变换模式的编解码方法和装置
EP2795901A1 (en) 2011-12-20 2014-10-29 Motorola Mobility LLC Method and apparatus for efficient transform unit encoding
CN102761742B (zh) * 2012-07-03 2017-06-06 华为技术有限公司 变换块划分方法，变换块划分参数的编码方法及解码方法
EP2941864B1 (en) * 2013-01-07 2016-12-07 Telefonaktiebolaget LM Ericsson (publ) Limiting use of largest transform unit size for intra coding units in inter coded slices of encoded video
JP6337380B2 (ja) * 2013-07-31 2018-06-06 サン パテント トラスト 画像符号化方法および画像符号化装置
JP6187826B2 (ja) 2014-02-04 2017-08-30 パナソニックＩｐマネジメント株式会社 動画像符号化装置及び動画像符号化方法
US9591313B2 (en) * 2014-03-04 2017-03-07 Vixs Systems, Inc. Video encoder with transform size preprocessing and methods for use therewith
CN104284188B (zh) 2014-10-11 2018-03-13 华为技术有限公司 预测块的划分方法、编码设备和解码设备
US10791364B2 (en) * 2015-02-27 2020-09-29 Sony Corporation Transmitting device, transmitting method, receiving device, and receiving method
FR3038196A1 (fr) * 2015-06-29 2016-12-30 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
CN113347441B (zh) 2016-02-09 2022-08-23 弗劳恩霍夫应用研究促进协会 解码器、编码器、方法、网络设备以及可读存储介质
US10390048B2 (en) * 2016-02-15 2019-08-20 Qualcomm Incorporated Efficient transform coding using optimized compact multi-pass transforms
EP3439304A4 (en) 2016-03-28 2020-02-26 KT Corporation VIDEO SIGNAL PROCESSING METHOD AND APPARATUS
WO2018011345A1 (en) * 2016-07-14 2018-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Predictive picture coding using transform-based residual coding
FR3057131A1 (fr) * 2016-10-04 2018-04-06 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes
FR3064870A1 (fr) * 2017-03-31 2018-10-05 B<>Com Procede de decodage d'au moins une image numerique, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
CN112601083A (zh) 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
FR3068556A1 (fr) * 2017-06-29 2019-01-04 B<>Com Procede de decodage d'une image, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
WO2019151268A1 (ja) * 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
KR20240159015A (ko) * 2018-02-09 2024-11-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 파티션 기반 인트라 코딩 개념
CN119011831A (zh) * 2018-03-29 2024-11-22 弗劳恩霍夫应用研究促进协会 用于视频编码的候选变换集合的确定
KR102825862B1 (ko) * 2018-09-05 2025-06-26 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
MX2022001939A (es) 2019-08-15 2022-03-11 Beijing Dajia Internet Information Tech Co Ltd Restriccion del tama?o de los bloques de crominancia peque?os en la codificacion de video.
TWI783390B (zh) * 2021-02-26 2022-11-11 圓展科技股份有限公司 影像處理系統及產生動態影像分割畫面的方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
JP4627812B2 (ja) * 1996-12-18 2011-02-09 トムソン コンシユーマ エレクトロニクス インコーポレイテツド 固定長ブロックの効率的な圧縮および圧縮解除
US6529634B1 (en) * 1999-11-08 2003-03-04 Qualcomm, Inc. Contrast sensitive variance based adaptive block size DCT image compression
CA2396369A1 (en) * 2000-01-03 2001-07-12 Caleb Avery Efficient and lossless conversion for transmission or storage of data
DE10022331A1 (de) 2000-05-10 2001-11-15 Bosch Gmbh Robert Verfahren zur Transformationscodierung von Bewegtbildsequenzen
JP3679083B2 (ja) * 2002-10-08 2005-08-03 株式会社エヌ・ティ・ティ・ドコモ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
US8081678B2 (en) * 2003-02-21 2011-12-20 Panasonic Corporation Picture coding method and picture decoding method
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
CN100401780C (zh) * 2004-05-07 2008-07-09 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术（北京）有限公司 一种基于上下文的多码表变长编解码方法及编解码装置
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP4889231B2 (ja) 2005-03-31 2012-03-07 三洋電機株式会社 画像符号化方法および装置、画像復号方法
JP2008219205A (ja) 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び画像情報符号化方法
JP4922101B2 (ja) 2007-08-21 2012-04-25 株式会社東芝 情報処理装置およびインター予測モード判定方法
JP4937224B2 (ja) * 2008-09-30 2012-05-23 株式会社東芝 画像符号化装置
JP5259828B2 (ja) * 2008-10-03 2013-08-07 クゥアルコム・インコーポレイテッド ４×４および８×８よりも大きい変換を使用するビデオ符号化

Also Published As

Publication number Publication date
EA029414B1 (ru) 2018-03-30
EA029773B1 (ru) 2018-05-31
EA201101473A1 (ru) 2012-04-30
CN104717505A (zh) 2015-06-17
MY157572A (en) 2016-06-30
US8855203B2 (en) 2014-10-07
EP2418855B1 (en) 2017-12-27
CN104717502B (zh) 2018-06-22
JP6012816B2 (ja) 2016-10-25
EA029351B1 (ru) 2018-03-30
EA024522B1 (ru) 2016-09-30
EA201690320A3 (ru) 2016-10-31
EA201690324A1 (ru) 2016-10-31
CN104717503A (zh) 2015-06-17
EA201690320A2 (ru) 2016-09-30
JP6239713B2 (ja) 2017-11-29
CN104717504B (zh) 2018-04-06
CN102388614B (zh) 2015-04-29
US20120033731A1 (en) 2012-02-09
CN104717503B (zh) 2018-12-04
JPWO2010116869A1 (ja) 2012-10-18
CN102388614A (zh) 2012-03-21
EP2418855A4 (en) 2013-07-24
CN104717505B (zh) 2019-01-11
HK1211400A1 (en) 2016-05-20
EA201690326A1 (ru) 2016-10-31
JP2017028726A (ja) 2017-02-02
EP2418855A1 (en) 2012-02-15
MX2011010550A (es) 2011-10-19
WO2010116869A1 (ja) 2010-10-14
CN104717504A (zh) 2015-06-17
JP2015173505A (ja) 2015-10-01
EA201690329A1 (ru) 2016-11-30
CN104717502A (zh) 2015-06-17
HK1211398A1 (en) 2016-05-20
BRPI1014257A2 (pt) 2016-04-12
HK1211401A1 (en) 2016-05-20
HK1211399A1 (en) 2016-05-20

Similar Documents

Publication Publication Date Title
JP6239713B2 (ja) 動画像符号化装置および動画像復号装置
CN113574880B (zh) 关于子块变换模式的分割
US10645410B2 (en) Video decoding apparatus
BR102013001124B1 (pt) Método de decodificar um fluxo de bits de vídeo codificado, codificador para codificar um fluxo de bits de vídeo e mídia legível por processador não transitória
CN105532000A (zh) 用于对视频数据进行编码和解码的方法、设备和系统
BR112013014371B1 (pt) Método e aparelho de codificação aperfeiçoada de modo de predição intra crominância
BR112020012295A2 (pt) método para codificar uma sequência de vídeos, programa de computador, transportadora, codificador, e, decodificador
CN105850132A (zh) 颜色指数预测的方法和装置
CN110839161A (zh) 扩展四叉树分割的边界处理
CN105306953A (zh) 图像编码方法和装置
HK40118378A (zh) 用於对编码单位进行编码和解码的方法和设备以及存储介质
HK40117891A (zh) 图像解码方法和设备、图像编码方法和设备以及存储介质
HK1211401B (en) Video encoding apparatus and video decoding apparatus
HK1211400B (en) Video encoding apparatus and video decoding apparatus
BR112021021631B1 (pt) Método para processar vídeo, aparelho para processar dados de vídeo, mídias de armazenamento e de gravação legíveis por computador não transitórias
HK1211399B (zh) 运动图像编码装置以及运动图像解码装置
HK1211398B (zh) 运动图像编码装置以及运动图像解码装置
BR112014017608B1 (pt) Decodificador de vídeo para decodificar um fluxo codificado com um sistema de codificação de vídeo
BR122020016799B1 (pt) Decodificador de vídeo para decodificar um fluxo codificado com um sistema de codificação de vídeo, método de decodificar vídeo executado por um decodificador de vídeo, e meio de gravação

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: H04N 19/109 (2014.01), H04N 19/119 (2014.0

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 09/03/2021, OBSERVADAS AS CONDICOES LEGAIS.