BRPI0800010B1

BRPI0800010B1 - dispositivo de codificação de imagem em movimento, dispositivo de decodificação de imagem em movimento, método de codificação de imagem em movimento e método de decodificação de imagem em movimento

Info

Publication number: BRPI0800010B1
Application number: BRPI0800010A
Authority: BR
Inventors: Sugimoto Kazuo; Asai Kohtaro; Sekiguchi Shunichi; Murakami Tokumichi; Yamada Yoshihisa; Moriya Yoshimi; Idehara Yuichi
Original assignee: Mitsubishi Electric Corp
Priority date: 2007-01-12
Filing date: 2008-01-09
Publication date: 2020-05-19
Also published as: RU2400941C1; KR20080066559A; RU2008101377A; CN101969566A; KR100956478B1; EP1950971A2; US8369404B2; JP5026092B2; HK1150287A1; KR20100036284A; BRPI0800010A; KR101030638B1; CN101969566B; CN101222644A; EP1950971B1; RU2404537C2; KR20100030638A; CA2614016C; CN101222644B; US20080181304A1

Abstract

dispositivo de codificação de imagem em movimento, dispositivo de decodificação de imagem em movimento, método de codificação de imagem em movimento e método de decodificação de imagem em movimento. codificação e decodificação são uniformemente realizados para uma grande quantidade de formatos de chroma. com base em um sinal de controle par fornecer um tipo de formato de chroma de um sinal de imagem em movimento de entrada, no caso de um formato de chroma de 4: 2: 0 e 4: 2: 2, um primeira unidade de decisão de modo de intra prognóstico e uma primeira unidade de geração de imagem de intra prognóstico são aplicadas à uma componente de luminância do sinal de imagem em movimento de entrada, e uma segunda unidade de decisão de modo de intra prognóstico e uma segunda unidade de geração de imagem de intra prognóstico são aplicadas à uma componente de crominância. no caso de um formato de chroma de 4: 4: 4, a primeira unidade de decisão de modo de intra prognóstico e a primeira unidade de geração de imagem de intra prognóstico são aplicadas para todas as componentes de cor para realizar codificação, e um áudio de codificação de comprimento variável multiplexa o sinal de controle com dados de codificação a ser aplicado para uma unidade de seqüência de imagem em movimento em uma seqüência de bits.

Description

DISPOSITIVO DE CODIFICAÇÃO DE IMAGEM EM MOVIMENTO, DISPOSITIVO DE DECODIFICAÇÃO DE IMAGEM EM MOVIMENTO, MÉTODO DE CODIFICAÇÃO DE IMAGEM EM MOVIMENTO E MÉTODO DE DECODIFICAÇÃO DE IMAGEM EM MOVIMENTO

CONHECIMENTO DA INVENÇÃO

1. Campo da Invenção

[001] A presente invenção se refere a um dispositivo de codificação de sinal de imagem digital, um dispositivo de decodificação de sinal de imagem digital, um método de codificação de sinal de imagem digital, e um método de decodificação de sinal de imagem digital, usado por uma tecnologia de codificação de compressão de imagem, ou uma tecnologia de transmissão de dados de imagem comprimidos.

2. Descrição da Arte Relacionada

[002] Um sistema de codificação de vídeo de padrão internacional tal como MPEG ou ITU-Terminal H. 26x (e. g., “Information Techonology Coding of áudio-Visual Objects Particular 10: Advanced Vídeo Coding,” ISO/IEC 14496-10, 2003 (daqui adiante, referenciado como Non-Patent document 1)) convencionalmente tem sido premissa no uso de um formato de sinal de entrada padronizado chamado formato 4: 2: 0. O formato 4: 2: 0 é um formato onde um sinal de imagem em movimento de cor de RGB ou o similar é convertido em uma componente de luminância (Y) e duas componentes de crominância (Cb, Cr), e o número de amostras de componente de crominância é reduzido a metade das componentes de luminace ambos nas direções horizontal e vertical (FIGS. 23).A componente de crominância é inferior a componente de luminância em visibilidade. Conseqüentemente, o sistema de codificação de vídeo de padrão internacional tem sido baseado na premissa que a quantidade de informação original a ser codificada é reduzida através da amostragem decrescente das componentes de crominância antes da codificação ser executada como mencionada acima. Em codificação de vídeo

Petição 870190113730, de 06/11/2019, pág. 7/101 / 45 para finalidade de negócio, tais como uma transmissão por difusão de material de vídeo, um formato 4: 2: 2 para amostrar de forma decrescente as componentes Cb e Cr, que reduz o número das componentes para a metade daquela das componentes de luminância somente em uma direção horizontal, pode ser usada. Assim sendo, a resolução de cor em uma direção vertical se torna igual para luminância, e por meio disso aumentando a reprodutibilidade de cor comparada com o formato 4: 2: 0. Por outro lado, recentes aumentos na resolução e gradação de um mostrador de vídeo têm sido acompanhados de estudos em um sistema para efetuar codificação mantendo o número de amostras igual àquelas das componentes de luminância sem amostrar de forma decrescente as componentes de crominância. Um formato onde os números de amostras de componente de luminância e crominância são completamente iguais é chamado de um formato 4: 4: 4. O formato 4: 2: 0 convencional tem sido limitado às definições de espaço de cor de Y, Cb, e Cr por causa da premissa de amostragem decrescente das componentes de crominância. No caso do formato 4: 4: 4, contudo, porque não existe distinção de proporção de amostra entre as componentes de cor, R, G, e B podem ser diretamente usada em adição a Y, Cb, e Cr, e uma grande quantidade de definições de espaço de cor pode ser usada. Um exemplo de um sistema de codificação de vídeo objetivando o formato 4: 4: 4 é, Woo-Shik Kim, DaeSung Cho, e Hyun Mun Kim, “INTER-PLANE PREDICTION FOR RGB VIDEO CODING,” ICIP 2004, Ocotober 2004 (daqui adiante, referenciada como Non-Patent Document 2).

[003] Em um elevado perfil de 4: 2: 0 codificando o formato 4: 2: 0 de codificação de AVC do Non-Patent Document 1, em uma área de macro blocos composta de componentes de luminância de 16 x 16 elementos mínimos de imagem, componentes de crominância correspondentes são de 8 x 8 blocos de elementos mínimos de imagem para ambas, Cb e Cr. Em prognóstico de compensação de movimento do elevado perfil de 4: 2: 0,

Petição 870190113730, de 06/11/2019, pág. 8/101 / 45 informação de tamanho de bloco que se torna uma unidade de prognóstico de compensação de movimento somente para os componentes de luminância, a informação de imagem de referência usada para prognóstico, e informação de vetor de movimento de cada bloco, são multiplexadas, e prognóstico de compensação de movimento é realizado para as componentes de crominância pela mesma informação que aquela das componentes de luminância. O formato 4: 2: 0 tem características em definição de espaço de cor em que quase todos os pedaços de informação de estrutura de uma imagem são integradas em uma (textura) componente de luminância, visibilidade de distorção é mais baixa para uma componente de crominância do que para a componente de luminância, e uma contribuição para a reprodutibilidade de vídeo é pequena, e prognóstico e codificação do elevado perfil de 4: 2: 0 são baseados em tais características do formato 4: 2: 0. Por outro lado, no caso do formato 4: 4: 4, três componentes de cor mantêm igualmente a informação de textura. O sistema para efetuar prognóstico de compensação de movimento com base no modo de inter prognóstico, informação de imagem de referência, e informação de vetor de movimento dependendo somente de uma componente, não é necessariamente um método ótimo no formato 4: 4: 4, onde as componentes de cor fazem contribuições iguais na representação de uma estrutura de um sinal de imagem. Assim sendo, o sistema de codificação objetivando o formato 4: 2: 0, efetua processamento de sinal diferente do sistema de codificação objetivando o formato 4: 4: 4 para executar codificação ótima, e definições de pedaços de informação multiplexada em uma seqüência de bits codifica também são diferentes. Como um resultado, para construir um dispositivo de decodificação capaz de decodificar dados de vídeo comprimido de uma grande quantidade de formatos diferentes, uma configuração onde seqüências de bits para sinais dos formatos são individualmente interpretadas, necessitam ser empregadas, por meio disso fazendo uma configuração de dispositivo ineficiente.

Petição 870190113730, de 06/11/2019, pág. 9/101 / 45

SUMÁRIO DA INVENÇÃO

[004] É por conseguinte, um objeto da presente invenção fornecer um método de geração de seqüência de bits para fornecer compatibilidade entre a seqüência de bits codificada em um espaço Y, Cb, e Cr como no caso de formato 4: 2: 0 convencional e uma seqüência de bits tendo nenhuma distinção de proporção de amostra entre componentes de cor tais como o formato 4: 4: 4 e obtida por compressão de um sinal de vídeo tendo liberdade na definição do espaço de cor, e um método de decodificação.

[005] Um dispositivo de codificação de imagem em movimento que recebe, comprime, e codifica um sinal de imagem em movimento digital inclui: uma primeira unidade de decisão de modo de intra prognóstico para efetuar intra prognóstico em uma componente de sinal correspondendo à componente de luminância em um caso onde um formato de croma do sinal de imagem em movimento de entrada é 4: 2: 0 ou 4: 2: 2; uma segunda unidade de decisão de modo de intra prognóstico para efetuar intra prognóstico em uma componente de sinal correspondendo à componente de crominância no caso onde um formato de croma do sinal de imagem em movimento de entrada é 4: 2: 0 ou 4: 2: 2; uma unidade de codificação de comprimento variável para codificar por comprimento variável um primeiro modo de intra prognóstico determinado pela primeira unidade de decisão de modo de intra prognóstico ou um segundo modo de intra prognóstico determinado pela segunda unidade de decisão de modo de intra prognóstico; a primeira unidade de geração de imagem de intra prognóstico para gerar uma primeira imagem de intra prognóstico com base no primeiro modo de intra prognóstico; uma segunda unidade de geração de imagem de intra prognóstico para gerar uma segunda imagem de intra prognóstico com base no segundo modo de intra prognóstico; e uma unidade de codificação para efetuar transformação e codificação em um sinal de erro prognosticado obtido com uma diferença entre a primeira imagem de intra prognóstico ou a segunda

Petição 870190113730, de 06/11/2019, pág. 10/101 / 45 imagem de intra prognóstico e sinais de componente de cor correspondentes do sinal de imagem em movimento de entrada. Com base em um sinal de controle para fornecer um tipo de formato de croma do sinal de imagem em movimento de entrada, no caso de um formato de croma de 4: 2: 0 ou de 4: 2: 2, a primeira unidade de decisão de modo de intra prognóstico e a primeira unidade de geração de imagem de intra prognóstico são aplicada à componente de luminância do sinal de imagem em movimento de entrada, e a segunda unidade de decisão de modo de intra prognóstico e a segunda unidade de geração de imagem de intra prognóstico são aplicadas à componente de crominância do sinal de imagem em movimento de entrada. No caso de um formato de croma de 4: 4: 4, a primeira unidade de decisão de modo de intra prognóstico e a primeira unidade de geração de imagem de intra prognóstico são aplicadas à todas as componentes de cor do sinal de imagem em movimento de entrada para efetuar codificação, e a unidade de codificação de comprimento variável multiplexa o sinal de controle conforme dados de codificação a serem aplicados à uma unidade de seqüência de imagem em movimento sobre uma seqüência de bits.

[006] Codificação/decodificação pode ser efetuada para a grande quantidade de diferentes formatos de croma tais como 4: 2: 0, 4: 2: 2 e 4: 4: 4 em uma maneira unificada pela configuração de dispositivo eficiente, e habilidade de conexão mútua entre os dados codificados de vídeo pode ser aumentada.

DESCRIÇÃO BREVE DOS DESENHOS

[007] Nos desenho anexos:

FIG. 1 é um diagrama explicativo mostrando uma relação entre uma seqüência, uma cena, um fatia, e um macro bloco;

FIG. 2 é um diagrama explicativo mostrando um processo de codificação comum;

FIG. 3 é um diagrama explicativo mostrando um processo de

Petição 870190113730, de 06/11/2019, pág. 11/101 / 45 codificação independente;

FIG. 4 é um diagrama em bloco mostrando uma configuração de um dispositivo de codificação de acordo com a primeira modalidade da presente invenção;

FIG. 5 são diagramas explicativos mostrando modos de intra prognóstico de N x N (N = 4 ou 8);

FIG. 6 são diagramas explicativos mostrando modos de intra prognóstico de 16 x 16;

FIG. 7 são diagramas explicativos mostrando modos de intra prognóstico de Cb/Cr de 4: 2: 0/4: 2: 2;

FIG. 8A à 8H são diagramas explicativos mostrando unidades de macro blocos;

FIG. 9 são diagramas explicativos mostrando processos de geração de imagem prognosticada de compensação de movimento de 4: 2: 0/4: 2: 2 Y e 4: 4: 4;

FIG. 10 é um diagrama explicativo mostrando processos de geração de imagem prognosticada de compensação de movimento de Cb/Cr de 4: 2: 0/4: 2: 2;

FIG. 11 são diagramas explicativos mostrando processos de codificação residual prognosticados de 4: 2: 0/4: 2: 2 Y;

FIG. 12 são diagramas explicativos mostrando processos de codificação residual prognosticados de Cb/Cr de 4: 2: 0/4: 2: 2;

FIG. 13 é um diagrama explicativo mostrando uma seqüência de bits;

FIG. 14 é um diagrama explicativo mostrando uma estrutura de fatia;

FIG. 15A e 15B são diagramas explicativos mostrando fatia codificadas comum e independentes de 4: 4: 4;

FIG. 16 é um diagrama de bloco mostrando uma configuração

Petição 870190113730, de 06/11/2019, pág. 12/101 / 45 de um dispositivo de decodificação de acordo com a primeira modalidade da presente invenção;

FIG. 17 é um diagrama explicativo mostrando um processo interno de camada de macro bloco de uma unidade de decodificação de comprimento variável;

FIG. 18 é um diagrama explicativo mostrando comutação de intra prognóstico de acordo com um formato de croma em uma componente Cb/Cr;

FIG. 19 é um diagrama explicativo mostrando comutação de MC de acordo com um formato de croma em uma componente Cb/Cr;

FIG. 20 é um diagrama explicativo mostrando um processo de decodificação residual prognosticado de 4: 2: 0/4: 2: 2 Y, 4: 4: 4;

FIGS. 21A e 21B são diagramas explicativos mostrando processos de decodificação residual prognosticados de Cb/Cr de 4: 2: 0 e 4: 2: 2;

FIG. 22 é um diagrama explicativo mostrando uma configuração interna de uma unidade de decodificação residual prognosticada de componentes C1 e C2; e

Figs. 23 são diagramas explicativos mostrando formatos

DESCRIÇÃO DETALAHA DAS MODALIDADE PREFERIDAS

Primeira Modalidade

[008] A primeira modalidade da presente invenção se refere a um dispositivo de codificação que recebe um de um, sinal de vídeo de um formato croma de 4: 2: 0 ou 4: 2: 2 definido em um espaço de cor (Y, Cb, e Cr) e um sinal de vídeo de um formato de croma de 4: 4: 4 definido em um espaço de cor (R, G, e B), (Y, Cb, e Cr), ou (X, Y e Z) para efetuar codificação de vídeo, e emite uma seqüência de bits, e um dispositivo de decodificação que recebe a seqüência de bits codificada gerada pelo dispositivo de decodificação para restaurar um sinal de imagem. Na descrição

Petição 870190113730, de 06/11/2019, pág. 13/101 / 45 abaixo, três componentes de cor genericamente será referenciada às componentes (C0, C1 e C2) e, no caso de formatos de croma de 4: 2: 0 ou 4: 2: 2, componentes C0, C1 e C2 serão consideradas como uma componente Y, uma componente Cb, e uma componente Cr, respectivamente.

[009] Como ilustrando na FIG. 1, o dispositivo de codificação da primeira modalidade da presente invenção recebe um sinal de vídeo representado como informação de tela de dados em série no tempo de informação de tela (daqui adiante, chamada de cena) definida por uma unidade de um quadro ou de um campo através de amostragem no tempo. Uma unidade de dados incluindo cenas arrumadas em série no tempo, é chamada uma seqüência. A seqüência pode ser dividida em alguns grupos de cena (GOPs). O GOP é utilizado para o propósito de garantia de execução de decodificação a partir de um GOP inicial arbitrário sem depender de outro GOP e de acesso aleatório para uma seqüência de bits. A cena é ainda dividida em blocos quadrados chamados macros blocos, e aplicada a um processo de prognóstico/transformação/quantização por uma unidade macro bloco para efetuar compressão de vídeo. Uma unidade formada por uma coleção de uma grande quantidade de macro blocos é chamada de fatia. A fatia é uma unidade de dados a ser codificada e decodificada independentemente para fatias diferentes. Por exemplo, quando um sinal de vídeo tendo resolução igual a ou maior do que àquela de uma HDTV é processado em tempo real, divisão de fatia é executada para codificar ou decodificar fatias divididas em paralelo, e por meio disso encurtando o tempo de computação. Quando uma seqüência de bits é transmitida através de uma linha de alta taxa de erro, mesmo se uma certa fatia é destruída por uma influência de um erro para perturbar uma imagem decodificada, um processo de decodificação correto é restaurado a partir de uma próxima fatia. Geralmente, uma fronteira de fatia, prognóstico usando dependência de sinal com uma fatia adjacente não pode ser usado. Assim sendo, como o número de

Petição 870190113730, de 06/11/2019, pág. 14/101 / 45 fatias é aumentado, flexibilidade do processamento paralelo e resistência a erros são aumentadas enquanto desempenho de codificação é reduzido.

[0010] Um macro bloco no caso de cada formato de croma de formato de 4: 2: 0, 4: 2: 2 ou 4: 4: 4 ser definido como um bloco de elemento mínimo de imagem de W = H = 16 na FIGS. 23. De modo a realizar compressão de vídeo através do processo de prognóstico, transformação, ou quantização através de uma unidade de macro bloco, dados codificados do macro bloco multiplexados em uma seqüência de bits amplamente contem dois tipos de informação. Um é um tipo de informação secundária diferente de um próprio sinal de vídeo, tal como um modo de prognóstico, informação de prognóstico de movimento, ou parâmetro de quantização, e aqueles pedaços de informação são coletivamente chamados de um cabeçalho de macro bloco. Um outro tipo é informação do próprio sinal de vídeo. De acordo com a primeira modalidade da presente invenção, um sinal de vídeo a ser codificado é dado comprimido de um sinal de erro de prognóstico obtido como um resultado da execução de prognóstico, transformação ou quantização com base na informação do cabeçalho de macro bloco, e representado em uma forma quantizada de um coeficiente de transformação. Assim sendo, o sinal de vídeo será referenciada com um coeficiente de quantização daqui adiante.

[0011] Daqui adiante, um processo de codificação dos três sinais de componentes de cor de um quadro ou de um campo baseado em um cabeçalho de macro bloco comum será referenciado como “processo de codificação comum”, e um processo de codificação de sinais dos três sinais de componentes de cor de um quadro ou um campo baseado nos cabeçalhos de macro bloco independentes individuais será referenciado como “processo de codificação independente”. Igualmente, um processo de decodificação de dados de imagem a partir de uma seqüência de bits obtida codificando os três sinais de componentes de cor de um quadro ou de um campo baseado no cabeçalho de macro bloco comum será referenciado como “processo de

Petição 870190113730, de 06/11/2019, pág. 15/101 / 45 decodificação comum”, e um processo de decodificação de dados de imagem a partir de uma seqüência de bits obtida codificando os três sinais de componentes de cor de um quadro ou de um campo baseado nos cabeçalhos de macro blocos independentes individuais será referenciado como “processo de decodificação independente”. O dispositivo de codificação da primeira modalidade da presente invenção é configurado para codificar um sinal de um formato de croma de 4: 4: 4 através da seleção de um do processo de codificação comum ou do processo de codificação independente. No processo de codificação comum, as três componentes de cor de um quadro ou de um campo são coletivamente definidos como uma cena, e a cena é dividida em macro blocos que coleta as três componentes de cor (FIG. 2). Na FIG. 2 e descrição abaixo, as três componentes de cor serão chamadas de componentes C0, C1 e C2. Por outro lado, no processo de codificação independente, um sinal de vídeo de entrada de um quadro ou de um campo é separado em três componentes de cor, cada um é definido como uma cena, e cada cena é dividida em macro blocos incluindo componentes de cor do sinal (FIG. 3). Em outras palavras, o macro bloco a ser submetido a um processo de codificação comum contém uma amostra (elemento mínimo de imagem) de três componentes de cor de C0, C1 e C2, enquanto o macro bloco a ser submetido ao processo de codificação independente contém uma amostra (elemento mínimo de imagem) de somente uma componente de C0, C1 e C2. De acordo com o dispositivo de codificação da primeira modalidade da presente invenção, a definição de macro bloco da FIG. 2 é sempre usada para os formatos de croma de 4: 2: 0 e 4: 2: 2, e um processo de codificação equivalente para o “processo de codificação comum” ou o “processo de decodificação comum” é usado.

(Dispositivo de Codificação)

[0012] FIG. 4 mostra uma configuração do dispositivo de codificação de acordo com a primeira modalidade da presente invenção. Daqui adiante,

Petição 870190113730, de 06/11/2019, pág. 16/101 / 45 informação para designar uma informação de identificação de formato de croma 1 e informação de identificação indicando qual, codificação através de um processo de codificação comum e codificação através de um processo de codificação independente é executada, será referenciada como informação de identificação de codificação comum/codificação independente 2.

[0013] Um sinal de vídeo de entrada 3 primeiro é dividido em dados de macro blocos da FIG. 2 ou 3 baseados na informação de identificação de formato de croma 1 e na informação de identificação de codificação comum/codificação independente 2. De acordo com a informação de instrução de somente intra codificação 4, um processo de intra prognóstico (unidade de decisão de modo de intra prognóstico de componente C0 5, unidade de decisão de modo de intra prognóstico de componente C1/C2 6, unidade de geração de imagem de prognóstico de componente C0 7, e unidade de geração de imagem de intra prognóstico de componente C1/C2 8), e um processo de prognóstico de compensação de movimento (unidade de detecção de movimento de componente C0 9, unidade de detecção de movimento de componente C1/C2 10, unidade de compensação de movimento de componente C0 11, e unidade de compensação de movimento de componente C1/C2 12) são realizados para selecionar um modo de prognóstico (unidade de seleção de modo de codificação informação de tamanho de imagem 14) mais eficiente para codificar o macro bloco, um residual prognosticado é transformado ou quantizado (unidade de codificação residual prognosticada de componente C0 18, unidade de codificação residual prognosticada de componente C1 19 e unidade de codificação residual prognosticada de componente C2 20), e informação secundária tal como um modo prognosticado ou informação de movimento e um coeficiente de transformação quantizado são codificados em um maneira de comprimento variável para gerar uma seqüência de bits 30 (unidade de codificação de comprimento variável 27). O coeficiente de transformação quantizado é

Petição 870190113730, de 06/11/2019, pág. 17/101 / 45 localmente decodificado (unidade de decodificação local de componente C0 24, unidade de decodificação local de componente C1 25 e unidade de decodificação local de componente C2 26), e uma imagem prognosticada obtida com base na informação secundária e dados de imagem de referência é adicionada para obter uma imagem decodificada local. Se necessário, uma filtragem de desbloqueio (unidade de filtro de desbloqueio 28) é executada para suprimir distorção de fronteira de bloco acompanhando a quantização, e então a imagem decodificada local é armazenada em uma memória de quadro 13 e/ou uma memória de linha 12 a ser usada para processos de prognóstico subseqüentes. Quando a informação de instrução de somente intra codificação 4 indica “executar somente intra prognóstico”, somente um processo de intra prognóstico será executado sem executar um processo de prognóstico de compensação de movimento.

[0014] Daqui adiante, características da primeira modalidade da presente invenção, i. e., o processo de intra prognóstico, o processo de prognóstico de compensação de movimento, o processo de codificação residual prognosticada, e o processo de codificação de comprimento variável (e configuração de seqüência de bits obtida como um resultado) que executa comutação de processo com base na informação de identificação de formato de croma 1, a informação de identificação de codificação comum/codificação independente 2, na informação de instrução de somente intra codificação 4 e o similar serão descritos em detalhes.

(1) Processo de Intra Prognóstico

[0015] O processo de intra prognóstico é realizado pela unidade de decisão de modo de intra prognóstico de componente C0 5, a unidade de decisão de modo de intra prognóstico de componente C1/C2 6, a unidade de geração de imagem de prognóstico de componente C0 7, e a unidade de geração de imagem de intra prognóstico de componente C1/C2 8 da FIG. 4. [0016] No caso dos formatos de 4: 2: 0 e 4: 2: 2, para um sinal de uma

Petição 870190113730, de 06/11/2019, pág. 18/101 / 45 componente Y, um modo de intra prognóstico de componente C0 100 é decidido pela unidade de decisão de modo de intra prognóstico de componente C0 5. Neste caso, há três tipos possíveis de selecionar de modos, um modo de intra prognóstico de 4 x 4, um modo de intra prognóstico de 8 x 8 e um modo de intra prognóstico de 16 x 16. Para o modo de intra prognóstico de 4 x informação de instrução de somente intra codificação 4 e o modo de intra prognóstico de 8 x unidade de geração de imagem de intra prognóstico de componente C1/C2 8, um macro bloco é dividido em elementos mínimos de imagem de 4 x 4 ou elementos mínimos de imagem de 8 x unidade de geração de imagem de intra prognóstico de componente C1/C2 8, e prognóstico de espaço usando um elemento mínimo de imagem de referência próximo é realizado para cada bloco como mostrado na FIG. 5. O método de prognóstico tem nove opções. Qual das nove opções foi usada para executar prognóstico, é codificada como um pedaço de informação secundária na forma de um modo de intra prognóstico. Elementos mínimos de imagem de 4 x 4 fechados em um retângulo da FIGS. 5 são elementos mínimos de imagem a serem prognosticados, e um elemento mínimo de imagem evidenciado por uma linha oblíqua é um elemento mínimo de imagem de referência para gerar uma imagem prognosticada. Uma seta indica uma direção na qual o elemento mínimo de imagem de referência afeta um valor prognosticado. No Modo 2, um valor médio dos elementos mínimos de imagem de referência é um valor prognosticado. FIGS. 5 mostra exemplo de bloco de 4 x 4. Para um bloco de elemento mínimo de imagem de 8 x 8, um modo similar é definido. Através de prognóstico de espaço tendo o direcionamento acima, prognósticos eficazes podem ser feitos para informação de estrutura de uma imagem tal com um perfil de um objeto ou um padrão de textura.

[0017] É empregado um modo de intra prognóstico de 16 x 16 com um modo de execução de intra prognóstico em um bloco de 16 x 16 sem

Petição 870190113730, de 06/11/2019, pág. 19/101 / 45 subdividir macro blocos (FIGS. 6) Neste caso, quatro tipos de métodos de prognóstico de espaço mostrados na FIGS. 6 podem ser selecionados. Estação modo é eficaz como um modo de aumentar efeitos de prognóstico de uma pequena quantidade de informação secundária para uma área de imagem onde a cena é plana.

[0018] Para componentes Cb e Cr, através da unidade de decisão de modo de intra prognóstico de componente C1/C2 6, um modo de intra prognóstico de componente C1/C2 101 diferente da componente Y (aquele correspondendo à C1 e C2 são 101a e 101b, respectivamente. Note que 101a e 101b são sempre iguais em valor no caso de 4: 2: 0 e 4: 2: 2, e um de 101a e 101b é multiplexado em uma seqüência de bits. Um decodificador configura valores decodificados conforme 101a e 101b é decidido. FIGS. 7 mostra modos de intra prognóstico de componentes de Cb e Cr que podem ser selecionados no caso dos formatos de croma de 4: 2: 0 e 4: 2: 2. FIGS. 7 mostra o caso do formato 4: 2: 0, e os mesmos modos são usados para o formato 4: 2: 2. Somente para um modo 0, entre os quatro modos, uma área equivalente de macro bloco de Cb e Cr (bloco de elemento mínimo de imagem de 8 x 8 no caso de 4: 2: 0, e bloco de elemento mínimo de imagem de 8 x 16 no caso de 4: 2: 2) é dividida em blocos de 4 x 4, e um valor médio é prognosticado, a partir dos lados pelas unidades de bloco de 4 x 4. Por exemplo, para um bloco 4 x 4 da parte esquerda superior, todos os 8 elementos mínimos de imagem de áreas “a” e “x” são calculados ou 4 elementos mínimos de imagem de “a” e “x” são calculados, e um daqueles valores médios é usado como um valor prognosticado. Para modos 1, 2, e 3, como no caso das FIGS. 5 e 6, prognóstico de espaço tendo direcionamento é realizado. No caso dos formatos de croma de 4: 2: 0 e 4: 2: 2, pedaços de informação de estrutura, tal como texturas de imagem, são integrados em uma componente Y, enquanto nenhuma informação de estrutura de uma imagem é armazenada para as componentes Cb e Cr que são sinais de componente de

Petição 870190113730, de 06/11/2019, pág. 20/101 / 45 crominância. Conseqüentemente, prognóstico eficaz é realizado pelo simples modo de prognóstico acima.

[0019] No caso do formato de croma de 4: 4: 4, componentes C0, C1 e C2 não são fixas em Y, Cb, e Cr, mas informação de estrutura de imagem equivalente para uma componente Y é mantida em cada componente de cor em um espaço de cor de R, G, e B. Assim, eficiência de prognosticado satisfatório pode não ser obtida através de prognóstico para as componentes Cb e Cr. Assim sendo, de acordo com o dispositivo de decodificação da primeira modalidade da presente invenção, no caso de formato de croma de 4: 4: 4, para C0, C1 e C2, um modo de intra prognóstico é selecionado código secundário um processo equivalente para unidade de decisão de modo de intra prognóstico unidade de decisão de modo de intra prognóstico de componente C0 5 da componente C0. Mais ainda, especificamente, se a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação comum”, componentes C0, C1 e C2 são prognosticadas em somente um modo de intra prognóstico comum. Por outro lado, se a informação de identificação de codificação comum/codificação independente indica “processo de codificação independente”, componentes C0, C1 e C2 são prognosticadas em modos de intra prognóstico obtidos individualmente. Em outras palavras, se um formato de croma é 4: 4: 4, e a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação comum”, componentes C0, C1 e C2 são todas submetidas à intra prognóstico no modo de intra prognóstico de componente C0 100. Se um formato de croma é 4: 4: informação de instrução de somente intra codificação 4, e informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação independente”, componentes C1 e C2 são submetidas à intra prognóstico nos modos de intra prognóstico 101a e 101b das componentes C1 e C2 obtidas independentemente da componente C0 a partir do modo de intra prognóstico

Petição 870190113730, de 06/11/2019, pág. 21/101 / 45 correspondendo à componente C0 nas FIGS. 5 e 6.

[0020] De acordo com a configuração do dispositivo de codificação mostrado na FIG. informação de instrução de somente intra codificação 4, se o formato de croma é 4: 4: 4, e a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação comum”, um modo de prognóstico é decidido para a componente C0 através da unidade de decisão de modo de intra prognóstico de componente C0 5, e o modo de prognóstico para a componente C0 é diretamente usado ou a unidade de decisão de modo de intra prognóstico de componente C1/C2 6 é usada em conjunto para as componentes C1 e C2, para decidir somente uma modo de intra prognóstico ótimo para todas as componentes C0, C1 e C2. Se o formato de croma é 4: 4: 4 e o informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação independente”, um modo de prognóstico é decidido para a componente C0 através da unidade de decisão de modo de intra prognóstico de componente C0 5, e o modos de prognóstico ótimos são individualmente decididos para as componentes C1 e C2 através da unidade de decisão de modo de intra prognóstico de componente C1/C2 unidade de decisão de modo de intra prognóstico de componente C1/C2 6.

[0021] Em todos os processos de modo de intra prognóstico, um valor de elemento mínimo de imagem periférico que se torna um elemento mínimo de imagem de referência tem de ser um a imagem decodificada local não submetida à filtragem de desbloqueio. Assim sendo, um aval de elemento mínimo de imagem antes de um processo de filtragem de desbloqueio obtido adicionando junto um sinal residual prognosticado decodificado local 17b quando é uma saída de cada um da unidade de decodificação local de componente C0 24, unidade de decodificação local de componente C1 25, e unidade de decodificação local de componente C2 26 e uma imagem prognosticada 34 é armazenada na memória de linha 29 para ser usada para

Petição 870190113730, de 06/11/2019, pág. 22/101 / 45 intra prognóstico.

[0022] Com base nos modos de intra prognóstico das respectivas componentes de cor decididos através do processo supracitado, imagens prognosticadas são gerada pela unidade de geração de imagem de prognóstico de componente C0 7 e unidade de geração de imagem de intra prognóstico de componente C1/C2 8. Membros comuns são usados par a unidade de geração de imagem de prognóstico de componente C0 7 e para a unidade de geração de imagem de intra prognóstico de componente C1/C2 8 no dispositivo de decodificação, e assim sendo, uma operação detalhada será descrita na descrição do lado do dispositivo de decodificação.

(2) Processo de Prognóstico de Compensação de Movimento [0023] O processo de prognóstico de compensação de movimento é realizado através da unidade de detecção de movimento de componente C0 9, da unidade de detecção de movimento de componente C1/C2 10, da unidade de compensação de movimento de componente C0 11, e da unidade de compensação de movimento de componente C1/C2 12 mostrado na FIG. 4. [0024] No caso dos formatos de croma sendo 4: 2: 0 e 4: 2: 2, para um sinal de uma componente Y, informação de movimento é decidida pela unidade de detecção de movimento de componente C0 9. A informação de movimento contém um índice de imagem de referência para instruir que imagem de referência de um ou mais dados de imagem de referência armazenados na memória de quadro 13, é usado para prognóstico, e um vetor de movimento aplicado à imagem de referência designada pelo índice de imagem de referência.

[0025] Na unidade de detecção de movimento de componente C0 9, uma imagem de referência é selecionada entre dados de imagem de referência prognosticada de compensação de movimento armazenados na memória de quadro 13 para executar um processo de prognóstico de compensação de movimento código secundário de uma unidade de macro bloco para a

Petição 870190113730, de 06/11/2019, pág. 23/101 / 45 componente Y. Na memória de quadro 13, uma grande quantidade de dados de imagem de referência é armazenada na hora imediatamente antes ou sobre um grande quantidade de tempos no passado/futuro, e uma imagem de referência ótima é selecionada entre aqueles dados através de uma unidade de macro bloco para realizar prognóstico de movimento. Existem preparados, sete tipos de tamanhos de bloco quando estatísticas e tornam unidades para realmente executar prognóstico de compensação de movimento.

[0026] Primeiro, como ilustrado nas FIGS. 8A à 8D, qualquer tamanho de unidade de macro bloco de 16 x 16, 16 x 8, 8 x 16, e 8 x 8 é selecionado com base no macro bloco. Ainda, quando 8 x 8 é selecionado, para cada bloco de 8 x 8, como mostrado nas FIGS. 8E à 8H, qualquer tamanho de 8 x 8, 8 x 4, 4 x 8, e 4 x 4 é selecionado. Para todos ou alguns dos tamanhos de bloco/tamanhos de sub bloco das FIGS. 8A à 8H, um vetor de movimento dentre de um intervalo de procura pré-determinado, e uma ou mais imagens de referência usáveis, um processo de prognóstico de compensação de movimento é executado para cada macro bloco para obter informação de movimento (vetor de movimento e índice de imagem de referência) 102 da componente Y. Para as componentes Cb e Cr, o mesmo índice de imagem de referência que aquele da componente Y e o vetor de movimento da componente Y são usados para obter informação de movimento 103 da componente Cb e Cr (especificamente, a informação corresponde a um proporção de amostra de Y, e Cb e Cr e é obtida escalonando o vetor de movimento da componente Y).Este processo é realizado através da unidade de detecção de movimento de componente C1/C2 10.

[0027] Note que métodos de geração de candidatas de imagem prognosticada de compensação de movimento a serem avaliadas pela unidade de detecção de movimento e imagens prognosticadas a serem geradas pela unidade de compensação de movimento são diferentes como a seguir entre a

Petição 870190113730, de 06/11/2019, pág. 24/101 / 45 componente Y, e as componentes Cb e Cr.

[0028] Para a componente Y, não somente um elemento mínimo de imagem (elemento mínimo de imagem inteiro) de uma posição realmente de entrada para o dispositivo de codificação, mas também elementos mínimos de imagem de uma posição de ½ elemento mínimo de imagem que é um ponto médio entre elementos mínimos de imagem inteiros e elementos mínimos de imagem de uma posição de ¼ elemento mínimo de imagem que é um ponto médio entre ½ elementos mínimos de imagem, são virtualmente criados através de um processo de interpolação a ser usado para gerar imagens prognosticadas. Esta situação é mostrada nas FIGS. 9. Nas FIGS. 9, para obter um valor de elemento mínimo de imagem da posição de ½ elemento mínimo de imagem, dados de seus unidade de decisão de modo de intra prognóstico de componente C1/C2 6 elementos mínimos de imagem de contorno, são usados para executar filtragem de interpolação, e por mio disso obter um valor de elemento mínimo de imagem. De modo a obter um valor de elemento mínimo de imagem da posição de ¼ elemento mínimo de imagem, seus dois elementos mínimos de imagem de contorno são usados para executar interpolação linear através de um processo de cálculo de média, e por meio disso obter um valor de elemento mínimo de imagem. O valor de movimento é representado usando precisão de ¼ elemento mínimo de imagem como uma unidade. Por outro lado,, na geração de imagem prognosticada de Cb e Cr, como mostrado na FIG. unidade de detecção de movimento de componente C1/C2 10, um valor de elemento mínimo de imagem de uma posição de elemento mínimo de imagem indicada através de um vetor de movimento obtido como um resultado de escalonar um vetor de movimento correspondente da componente Y é calculado dos valores de elemento mínimo de imagem dos elementos mínimos de imagem inteiros de seus 4 locais vizinhos, através de um processo de interpolação linear ponderada, de acordo com um distância entre elementos mínimos de imagem.

Petição 870190113730, de 06/11/2019, pág. 25/101 / 45

[0029] No caso do formato de croma ser 4: 4: 4, informação de estrutura de imagem equivalente para uma componente Y é mantida em cada componente de cor em um espaço de cor de R, G, ou B enquanto as C0, C1 e C2 não são fixas em Y, Cb, e Cr. Assim sendo, eficiência de prognosticado satisfatório pode não ser obtida através do método de geração de imagem prognosticada para as componentes Cb e Cr. Assim sendo, de acordo com o dispositivo de decodificação da primeira modalidade da presente invenção, no caso de formato de croma ser 4: 4: 4, uma candidata de imagem prognosticada ou um imagem prognosticada são geradas através do processo da unidade de detecção de movimento de componente C0 9 e da unidade de compensação de movimento de componente C0 11 junto com C0, C1 e C2 para obter informação de movimento.

[0030] Mais especificamente, se a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação comum”, somente informação de movimento comum 102 é obtida para as componentes C0, C1 e C2. Um processo de escalonamento não é realizado quando um vetor de movimento de um componente de cor específica é aplicada a outra componente com no caso do 4: 2: 0 e 4: 2: 2. Por outro lado,, se informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação independente”, cada informação de movimento é obtida independentemente para as componentes C0, C1 e C2. De acordo com a configuração do dispositivo de codificação da FIG. informação de instrução de somente intra codificação 4, se o formato de croma é 4: 4: 4 e a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação comum”, somente informação de movimento comum de componente C0 102 é decidido para a componente C0 através da unidade de detecção de movimento de componente C0 9. Para as componentes C1 e C2, a informação de movimento de C0 é diretamente usada ou somente um pedaço de informação de

Petição 870190113730, de 06/11/2019, pág. 26/101 / 45 movimento 102 ótimo para todas as componentes C0, C1 e C2 é decidido usando em conjunto a unidade de detecção de movimento de componente C1/C2 10. Se o formato de croma é 4: 4: 4 e a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação independente”, informação de movimento de componente C0 102 é decidida pela unidade de detecção de movimento de componente C0 9 para a componente C0. Para as componentes C1 e C2, pedaços individuais de informação de movimento ótima 103a e 103b são decididos pela unidade de detecção de movimento de componente C1/C2 10.

[0031] Com base na informação de movimento decidida para cada componente de cor através do processo supra mencionado, imagens prognosticadas são geradas pela unidade de compensação de movimento de componente C0 11 e pela unidade de compensação de movimento de componente C1/C2 12. Como membros comuns são usados para a unidade de compensação de movimento de componente C0 11 e a unidade de compensação de movimento de componente C1/C2 12 no dispositivo de decodificação, operações detalhadas serão descritas no lado do dispositivo de decodificação.

(3) Processo de Codificação Residual Prognosticada

[0032] Um modo de intra prognóstico ótimo obtido como um resultado do processo de intra prognóstico e sua imagem prognosticada, e informação de movimento ótima (vetor de movimento/índice de imagem de referência) obtida como um resultado do processo de prognóstico de compensação de movimento e sua imagem prognosticada são avaliados pela unidade de seleção de modo de codificação informação de tamanho de imagem 14 para selecionar um modo de codificação 15 ótimo. Se o modo de codificação 15 é intra prognóstico, uma diferença é calculada entre um sinal de vídeo de entrada 3 e a imagem prognosticada do intra prognóstico através do diminuidor memória 16 para obter um sinal residual prognosticado 17 a. Se

Petição 870190113730, de 06/11/2019, pág. 27/101 / 45 o modo de codificação 15 é prognóstico de compensação de movimento, uma diferença é calculada entre o sinal de vídeo de entrada 3 e a imagem prognosticada do prognóstico de compensação de movimento através do diminuidor 16 para obter um sinal residual prognosticado 17 a.

[0033] O sinal residual prognosticado 17a obtido é transformado ou quantizado pela unidade de codificação residual prognosticada de componente C0 18, pela unidade de codificação residual prognosticada de componente C1

19, e pela unidade de codificação residual prognosticada de componente C2

20, para comprimir informação. Na unidade de codificação residual prognosticada de componente C1 19 e na unidade de codificação residual prognosticada de componente C2 20, um processo para as componentes C1/C2 é comutada de acordo com a informação de identificação de formato de croma 1 e a informação de identificação de codificação comum/codificação independente 2.

[0034] Para a componente Y no caso dos formatos de croma serem 4: 2: 0 e 4: 2: 2, e a componente C0 no caso do formato de croma ser 4: 4: 4, processos de codificação residual progonosticada da FIGS. unidade de compensação de movimento de componente C0 11 são realizados preâmbulos de acesso aleatório unidade de codificação residual prognosticada de componente C0 18. De acordo com o processo, primeiro, se o modo de codificação 15 é um modo de intra prognóstico 8 x 8, ou um modo para submeter o sinal residual prognosticado 17a para transformação de inteiro de uma unidade de bloco de 8 x 8 é selecionado, transformação de inteiro é executada pelas unidades de blocos de 8 x 8 onde um macro bloco é dividido em quatro, e um processo de quantização é executado de acordo com um parâmetro de quantização 32 para obter dados de coeficiente de quantização

21, Se modo de codificação 15 é outro que o acima, transformação de inteiro é primeiro executada pelas unidades de 4 x 4. Subseqüentemente, se o modo de codificação 15 é um modo de intra prognóstico de 16 x 16, somente

Petição 870190113730, de 06/11/2019, pág. 28/101 / 45 componente DC de coeficientes de transformação de blocos de 4 x 4 são coletados para constituir blocos de 4 x 4, e transformação de Hadamard é realizada. prognóstico. Para a componente DC, quantização é realizada para o coeficiente de transformação de Hadamard de acordo com o parâmetro de quantização 32, e processos de quantização são individualmente realizados 15 componentes AC dos blocos de 4 x 4 remanescentes. Se modo de codificação 15 não é um modo de intra prognóstico de 16 x 16, um processo de quantização é simultaneamente realizado por 16 coeficientes de transformação de acordo com o parâmetro de quantização 32.

[0035] Para componente Cb, no caso dos formatos de croma serem 4: 2: 0 e 4: 2: 2, e para a componente C1 no caso do formato de croma ser 4: 4: 4, um processo de codificação residual prognosticada é realizado pela unidade de codificação residual prognosticada de componente C1 19. Neste caso, como codificação residual prognosticada é executada através dos processos mostrado na FIGS. 12 quando os formatos de croma são 4: 2: 0 e 4: 2: 2, e através dos processos mostrados na FIGS. 11 quando o formato de croma é 4: 4: 4, somente o processo no caso dos formatos de croma serem 4: 2: 0 e 4: 2: 2, será descrito abaixo. De acordo com este processo, sem depender do modo de codificação 15, o sinal da componente Cb do macro bloco é dividido em blocos de 4 x 4 para executar transformação de inteiro, e um processo de quantização é realizada de acordo com o parâmetro de quantização 32 para obter dados de coeficiente quantizados 22. Primeiro, transformação de inteiro é realizado pelas unidades de bloco de 4 x 4, e então as componentes DC dos blocos de 4 x 4 são coletados para constituir bloco de 2 x 2 (quando o formato de croma é 4: 2: 0) ou bloco de 2 x 4 (quando o formato de croma é 4: 2: 2), por meio disso realizando transformação de Hadamard. Para a componente DC, quantização é realizada para o coeficiente de transformação de Hadamard de acordo com o parâmetro de quantização 32, e um processo de quantização é realizado individualmente para 15 componentes AC dos blocos de 4 x 4

Petição 870190113730, de 06/11/2019, pág. 29/101 / 45 remanescentes de acordo com o parâmetro de quantização 32.

[0036] Para componente Cr, no caso dos formatos de croma serem 4: 2: 0 e 4: 2: 2, e para a componente C2 no caso do formato de croma ser 4: 4: 4, um processo de codificação residual prognosticada é realizado pela unidade de codificação residual prognosticada de componente C2 20. Neste caso, codificação residual prognosticada é executada através dos processos mostrado na FIGS. 12 quando os formatos de croma são 4: 2: 0 e 4: 2: 2, e através dos processos mostrados na FIGS. 11 quando o formato de croma é 4: 4: 4, para obter dados de coeficiente quantizados 23 como uma saída.

[0037] Para cada componente de cor, como um resultado de quantização, informação de um padrão de bloco codificado (CBP) indicando se há um coeficiente válido (não zero), é definido em unidades de bloco de 8 x 8, e multiplexado como um pedaço de informação de uma unidade de macro bloco de novo em um seqüência de bits. Definição de CBP é comutada com base na informação de identificação de formato de croma 1 e na informação de identificação de codificação comum/codificação independente 2, e os detalhes dela serão descritos na descrição do dispositivo de decodificação.

[0038] Usando os dados de coeficiente quantizados 21 à dados de coeficiente quantizados 23 obtidos através do processo supra mencionado como entradas, sinais residuais prognosticados de decodificação local são obtidos na unidade de decodificação local de componente C0 24, na unidade de decodificação local de componente C1 25 e na unidade de decodificação local de componente C2 26. Para essa unidades de decodificação local, exatamente os mesmos números são usados no lado do dispositivo de decodificação. Assim sendo, as operações detalhadas delas serão descritas na descrição do lado do dispositivo de decodificação.

(4) Processo de Codificação de Comprimento Variável

[0039] Conforme pedaços de informação de cabeçalho de um nível de seqüência, a informação de identificação de formato de croma 1, a informação

Petição 870190113730, de 06/11/2019, pág. 30/101 / 45 de identificação de codificação comum/codificação independente 2, a informação de instrução de somente intra codificação 4, e a informação de tamanho de imagem 31 são entradas para a unidade de codificação de comprimento variável 27. qualidade a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação independente”, informação de identificação de componente indicando a que componente de cor uma cena correntemente sobrecarga o processo de codificação pertence, é entrada, e um sinalizador de identificação de componente de cor 33 é adicionado a um inicio de fatia correntemente sobrecarga o processo de codificação com base na informação. Conseqüentemente, no lado do dispositivo de decodificação, qual os dados codificados de componente de cor a fatia recebida contém, pode ser identificada. Como dados codificados de um nível de macro bloco, o modo de codificação 15, o modo de intra prognóstico 100/101, o informação de movimento 102/103, o parâmetro de quantização 32, a informação de instrução de tamanho de bloco transformado 104, e os dados de coeficiente quantizados 21/22/23 são entrados, e submetidos à codificação por entropia através da codificação de Huffman ou codificação aritmética a ser multiplexada na seqüência de bits 30. A seqüência de bits 30 é formada em um pacote através de uma unidade de dados de fatia onde um ou uma grande quantidade de macro bloco são coletados (também chamada individualização NAL na AVC) para serem emitidos.

[0040] FIG. 13 mostra a seqüência de bits 30 inteira. A unidade de detecção de movimento de componente C0 9, a informação de identificação de codificação comum/codificação independente 2, a informação de instrução de somente intra codificação 4, e a informação de tamanho de imagem 31 são multiplexadas em um conjunto de parâmetros de seqüência (SPS) que é informação de cabeçalho do nível de seqüência. Como a informação de identificação de codificação comum/codificação independente 2 é necessária

Petição 870190113730, de 06/11/2019, pág. 31/101 / 45 somente quando o formato de croma é 4: 4: 4, ela é multiplexada somente quando a informação de identificação de formato de croma 1 indica 4: 4: 4. Um valor inicial do parâmetro de quantização 32 usado em um inicio de cena é multiplexado em um conjunto de parâmetro de cena (PPS) que é informação de cabeçalho do nível de cena. Dados de codificação de imagem são multiplexados em uma fatia ou unidade menor, e formatos de dados variam como mostrado nas FIGS. 14 e 15A e 15B de acordo com os valores da informação de identificação de formato de croma 1 e da informação de identificação de codificação comum/codificação independente 2.

[0041] Quando a informação de identificação de formato de croma 1 indica que formatos de croma são 4: 2: 0 e 4: 2: 2, uma estrutura de fatia mostrada na FIG. 14 é obtida. Na FIG. 14, SH é um cabeçalho de fatia, MB é dado de codificação de macro bloco, MBH é um cabeçalho de macro bloco, e Tx é dado de coeficiente quantizado de uma componente x. Neste caso, na configuração da FIG. 2, a fatia contém dados codificados de um macro bloco constituído de elementos mínimos de imagem de Y, Cb, e Cr de acordo com uma proporção de amostra de formato de croma. o MBH contém um tipo de macro bloco equivalente para o modo de codificação 15. Se o tipo de macro bloco indica um modo de intra prognóstico, um modo de intra prognóstico 100 de uma C0, i. e., componente Y, um modo de intra prognóstico 101 de C1 e C2, i. e., componentes de Cb e Cr, e um parâmetro de quantização 32 usado para dados de coeficiente quantizado de quantização/quantização inversa são obtidos. Se o tipo de macro bloco indica um modo de prognóstico de compensação de movimento (inter), informação de movimento 102 (vetor de movimento e índice de imagem de referência) de C0, i. e., componente Y, e parâmetro de quantização 32 usados para quantização/quantização inversa do dados de coeficiente quantizados sã contidos.

[0042] Quando a informação de identificação de formato de croma 1 indica que um formato de croma é 4: 4: 4, uma estrutura de fatia mostrada em

Petição 870190113730, de 06/11/2019, pág. 32/101 / 45 cada um das FIGS. 15A e 15B é obtida da um valor da informação de identificação de codificação comum/codificação independente 2. Se a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação comum” (FIG. 15A), na configuração da FIG. 2, a fatia contém dados codificados de um macro bloco constituído de elementos mínimos de imagem de componentes C0, C1 e C2 de acordo com uma proporção de amostra de formato de croma, e o MBF contém um tipo de macro bloco equivalente para o modo de codificação 15. Se o tipo de macro bloco indica um modo de intra prognóstico, um modo de intra prognóstico 100 comum entre todas as componentes C0, C1 e C2, e o parâmetro de quantização 32 usados para quantização/quantização inversa do dados de coeficiente quantizados são contidos. Se o tipo de macro bloco indica um modo de prognóstico de movimento (inter), informação de movimento 102 (vetor de movimento e índice de imagem de referência) comum entre as componentes C0, C1 e C2, e o parâmetro de quantização 32 usados para quantização/quantização inversa do dados de coeficiente quantizados são contidos.

[0043] Se a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação independente” (FIG. 15B), na configuração da FIG. 3, a fatia contém dados codificados de um macro bloco constituído de uma componente de cor (k) de elementos mínimos de imagem de componentes C0, C1 e C2. Conforme informação indicando qual das componentes de cor C0, C1 e C2 é Ck, um sinalizador de identificação de componente de cor 33 é adicionada ao início da fatia. O MBH contém um tipo de macro bloco equivalente ao modo de codificação 15. Se o tipo de macro bloco indica um modo de intra prognóstico, um modo de intra prognóstico 100 da componente Ck, e o parâmetro de quantização 32 usado para quantização/quantização inversa dos dados de coeficiente quantizados são contidos.

Petição 870190113730, de 06/11/2019, pág. 33/101 / 45

[0044] Embora não mostrado, se necessário, uma palavra única indicando uma pausa de uma unidade de acesso (uma cena onde os formatos de croma são 4: 2: 0 e 4: 2: 2, ou um processo de codificação comum é executado, e três cenas quando um processo de codificação independente é executado) pode ser inserida (delimitador de unidade de acesso de AVC, código de início de cena no padrão MPEG-2, ou código de início de VOP no padrão MPEG-4).

[0045] Com a configuração da seqüência de bits, mesmo quando a grande quantidade de diferentes formatos de croma tais com 4: 2: 0, 4: 2: 2 e 4: 4: 4 são codificados em bloco, um método para detectar/gerar um modo de prognóstico codificado ou informação de movimento, e semânticas de dados codificados podem ser feito comuns, Assim sendo, a configuração do dispositivo de codificação pode ser feita eficiente. Ainda, como dados codificados de vídeo da grande quantidade de diferentes formatos de croma tais com 4: 2: 0, 4: 2: 2 e 4: 4: informação de instrução de somente intra codificação 4 podem ser representados através de uma seqüência de bits de um formato único, a seqüência de bits 30 emitida a partir do dispositivo de codificação da primeira modalidade pode satisfazer elevada conectividade mútua em um sinais de transmissão/gravação para tratar a grande quantidade de formatos de croma diferente.

[0046] O dispositivo de codificação da FIG. 4 é configurado para controlar um processo de codificação com base na informação de instrução de somente intra codificação 4. A informação de instrução de somente intra codificação 4 é um sinal para instruir se, para executar um processo de prognóstico de um direção no tempo baseado no prognóstico de compensação de movimento através do dispositivo de codificação. Se o sinal indica “somente intra codificação”, codificação fechada na tela (codificação de somente intra prognóstico) é realizada para todas as cenas do sinal de vídeo de entrada 3 sem executar prognóstico de uma direção no tempo com base no

Petição 870190113730, de 06/11/2019, pág. 34/101 / 45 prognóstico de compensação de movimento. Simultaneamente, um filtro de desbloqueio é tornado inválido na unidade de codificação de cena. Se a informação de instrução de somente intra codificação 4 indica “não somente intra codificação”, para as cenas do informação de instrução de somente intra codificação 4, também usando prognóstico de uma direção no tempo com base no prognóstico de compensação de movimento, codificação usando todas correlações na tele e entre as é realizada. A informação de instrução de somente intra codificação 4 é adicionada ao conjunto de parâmetros de seqüência para ser multiplexado na seqüência de bits 30 pela unidade de codificação de comprimento variável 27. Conseqüentemente, o dispositivo de decodificação que recebe a seqüência de bits 30 pode reconhecer somente intra codificação da seqüência de bits 30 decodificando a informação de instrução de somente intra codificação 4 do conjunto de parâmetros de seqüência para verificar seu valor. Assim sendo, se a somente intra codificação foi operada, a quantidade de cálculo do dispositivo de decodificação pode ser reduzida sem executa rum processo de filtragem de desbloqueio. Se a informação de instrução de somente intra codificação 4 indica “somente intra codificação”, prognóstico de compensação de movimento não é realizado, e assim sendo, nenhuma imagem de referência é escrita na memória de quadro 13. com esta configuração, acesso à memória é reduzido.

[0047] O dispositivo de codificação é ainda configurado para controlar o processo de codificação com base na informação de tamanho de tela 31 do sinal de vídeo de entrada 3. A informação de tamanho de tela 31 indica o número de macro blocos na cena do sinal de vídeo de entrada 3. Se este valor excede unidade valor limite pré-determinado, um limite superior é configurado no num de macro blocos incluído em uma fatia, e controle é executado para não incluir mais macro blocos na fatia. Especificamente, a informação de tamanho de tela 31 é entrada na unidade de codificação de

Petição 870190113730, de 06/11/2019, pág. 35/101 / 45 comprimento variável 27. A unidade de codificação de comprimento variável 27 configura um valor de limite superior para o número de macro blocos incluídos na fatia, com base na informação de tamanho de tela 31. A unidade de codificação de comprimento variável 27 conta imagem número de macro blocos de antemão e fecha um pacote de dados de fatia para formar macro blocos subseqüentes em um pacote como dados de fatia nova quando o número de macro blocos incluídos na fatia atinge o valor limite superior. A informação de tamanho de tela 31 é adicionada ao conjunto de parâmetros de seqüência para ser multiplexado na seqüência de bits 30 pela unidade de codificação de comprimento variável 27. Conseqüentemente, quando um tamanho de tela da informação de identificação de codificação comum/codificação independente 2 é grande (resolução de espaço é alta), o dispositivo de codificação e o dispositivo de decodificação, ambos podem especificar unidades a serem processadas em paralelo, e realizar alocação de tarefas suavemente.

Dispositivo de Decodificação

[0048] FIG. 16 mostra uma configuração do dispositivo de decodificação de acordo com a primeira modalidade. O dispositivo de decodificação da FIG. 16 é configurado para receber a seqüência de bits 30 e comutar um processo de decodificação interna com base na informação de identificação de formato de croma informação de identificação de formato de croma 1 contida na seqüência de bits, e decodificar dados codificados da grande quantidade de diferentes formatos de croma.

[0049] A seqüência de bits 30 é primeiro submetido ao processo de decodificação de comprimento variável (unidade de decodificação de comprimento variável 200), e a informação de identificação de formato de croma 1, a informação de identificação de codificação comum/codificação independente 2, a informação de instrução de somente intra codificação 4, e a informação de tamanho de tela 31 são decodificadas como pedaços de

Petição 870190113730, de 06/11/2019, pág. 36/101 / 45 informação de cabeçalho de alta ordem para serem mantidos durante a decodificação de seqüência. Subseqüentemente, cada dado de macro bloco é decodificado com base nas estruturas de FIGS. 14 e 15A e 15B definido pela informação de identificação de formato de croma 1 e pela informação de identificação de codificação comum/codificação independente 2, e a estrutura de macro bloco da FIG. informação de identificação de codificação comum/codificação independente 2 ou 3. Na decodificação de unidades de macro blocos, primeiro, de acordo com o modo de codificação 15, um processo de geração de imagem intra prognosticada (unidade de geração de imagem de prognóstico de componente C0 7 e unidade de geração de imagem de intra prognóstico de componente C1/C2 8) e um prognóstico de compensação de movimento (unidade de compensação de movimento de componente C0 11 e unidade de compensação de movimento de componente C1/C2 12) são realizadas para gerar um imagem prognosticada do macro bloco. Um processo de quantização inversa/transformação de inteiro inversa é realizado para dados de coeficiente de quantização decodificados como uma parte de dados codificados de macro bloco para decodificar um sinal residual prognosticado 17b (unidade de decodificação local de componente C0 24, unidade de decodificação local de componente C1 25, e unidade de decodificação local de componente C2 26). Então, uma imagem prognosticada 34 e o sinal residual prognosticado 17b são adicionados juntos para obter uma imagem decodificada temporária. Se necessário, filtragem de desbloqueio (unidade de filtro de desbloqueio 28) é realizado para suprimir distorção de fronteira de bloco acompanhando a quantização, e então armazenada em uma memória de quadro 201 e/ou uma memória de linha 202 a ser usada para processos de geração de imagem prognosticada subseqüentes. Quando a informação de instrução de somente intra codificação 4 indica “execução de somente intra codificação”, somente um processo de geração de imagem intra prognosticada é realizado será um processo de compensação de

Petição 870190113730, de 06/11/2019, pág. 37/101 / 45 movimento.

[0050] O processo de decodificação de comprimento variável, um processo de geração de imagem intra prognosticada, um prognóstico de compensação de movimento, e um processo de decodificação residual prognosticada comutados com base na informação de identificação de formato de croma 1, na informação de identificação de codificação comum/codificação independente 2, e na informação de instrução de somente intra codificação 4 que são características da primeira modalidade serão descritas em detalhes.

(1) Processo de Decodificação de Comprimento Variável [0051] A seqüência de bits 30 é entrada para a unidade de decodificação de comprimento variável 200, e um cabeçalho de alta ordem tal como um conjunto de parâmetros de seqüência ou conjunto de parâmetros de cena da FIG. 13 são analisados. Através deste processo, a informação de identificação de formato de croma 1, a informação de identificação de codificação comum/codificação independente 2, a informação de instrução de somente intra codificação 4, e a informação de tamanho de tela 31, são decodificadas. A informação de identificação de codificação comum/codificação independente 2 é extraída da seqüência de bits 30 somente quando a informação de identificação de formato de croma 1 indica um formato de croma sendo 4: 4: 4. Esses parâmetros são mantidos na memória interna da unidade de decodificação de comprimento variável 200 durante a decodificação da seqüência.

[0052] Subseqüentemente, uma unidade NAL de fatia é decodificada. Primeiro, somente quando a informação de identificação de formato de croma 1 indica um formato de croma sendo 4: 4: 4, e a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação independente”, o sinalizador de identificação de componente de cor 33 é decodificado para reconhecer quais dados codificados de componente

Petição 870190113730, de 06/11/2019, pág. 38/101 / 45 cor uma fatia corrente contém. Um cabeçalho de fatia é subseqüentemente decodificado, chave e o processo prossegue para decodificação de dados codificados de macro bloco pertencendo a fatia.

[0053] Referenciando á FIG. 17, uma matriz de dados codificados de macro bloco e um fluxo de seu processo de análise/decodificação será descrito. Decodificação de macro bloco é realizada como a seguir.

(a) Primeiro, como mostra nas FIGS. 14 e 15A e 15B, um tipo de macro bloco (mb_type da FIG. 17) equivalente ao modo de codificação 15 é decodificado.

(b) No SW1, mb_type é avaliado. Se mb_type indica um modo de PCM (modo de diretamente multiplexar valor de elemento mínimo de imagem na seqüência de bits sem compressão), dados não comprimidos equivalentes ao número de elemento mínimo de imagem no macro bloco são extraídos diretamente a partir da seqüência de bits, e o processo de decodificação do macro bloco é terminado.

(c) No SW1, mb_type não é um modo de PCM. No SW2, mb_type é avaliado para indicar um modo de executar prognóstico de compensação de movimento com base em um tamnho igual ou menor do que blocos de 8 x 8, um tipo de sub macro bloco (sub_mb_type) igual ou mento do que blocos 8 x 8 é decodificado, e informação de movimento (vetor de movimento/índice de imagem de referência) de cada sub bloco é decodificado. Para SW4.

(d) No SW2, mb_type não satisfaz as condições de (c). No SW3, mb_type é avaliado. Se blocos de 8 x 8 podem ser selecionados como um tamanho de bloco de transformação do sinal residual prognosticado 17b no modo de inter codificação, informação de instrução de tamanho de bloco de transformação informação de instrução de tamanho de bloco de transformação 104 é decodificado, e informação de movimento é decodificada. No caso de decodificar a informação de movimento,

Petição 870190113730, de 06/11/2019, pág. 39/101 / 45 decodificação é realizada com a seguir baseada na informação de identificação de formato de croma 1 e na informação de identificação de codificação comum/codificação independente 2. Para SW4.

(1) Quando um formato de croma é 4: 2: 0 ou 4: 2: 2, informação de movimento a ser decodificada, é decodificada como informação de movimento de componente C0 102.

(2) Quando um formato de croma é 4: 4: 4 e um processo é um processo de codificação comum, informação de movimento a ser decodificada, é decodificada como pedaços de informação de movimento 102 e 103 usada em comum entre as componentes C0, C1 e C2.

(3) Quando um formato de croma é 4: 4: 4 e um processo é um processo de codificação independente, informação de movimento a ser decodificada, é decodificada como informação de movimento usada para uma componente Ck indicada pelo sinalizador de identificação de componente de cor 33.

(e) No SW2, mb_type não satisfaz as condições de (c). No SW3, mb_type é avaliado. Se um modo é um modo de prognóstico de 4 x 4 ou 8 x 8, informação de modo de intra prognóstico é decidido. No caso de decodificar a informação de modo de intra prognóstico, decodificação é realizada como a seguir com base na informação de identificação de formato de croma 1 e na informação de identificação de codificação comum/codificação independente 2. Para SW4.

(1) Quando um formato de croma é 4: 2: 0 ou 4: 2: 2, um modo de intra prognóstico de componente C0 100 definido através de uma unidade de blocos de 4 x 4 ou 8 x 8 é decodificada para a componente Y, e independentemente, um modo de intra prognóstico de componente C1/C2 101 é decodificado para a as componentes Cb e Cr.

(2) Quando um formato de croma é 4: 4: 4 e um processo é um processo de codificação comum, informação de modo de intra prognóstico a

Petição 870190113730, de 06/11/2019, pág. 40/101 / 45 ser decodificada a ser decodificada, é decodificada como pedaços de informação de modo de intra prognóstico 100 e modo de intra prognóstico de componente C1/C2 101 usados em comum entre as componentes C0, C1 e C2.

(3) Quando um formato de croma de 4: 4: 4 e um processo é um processo de codificação independente, informação de modo de intra prognóstico a ser decodificada, é decodificada como informação de modo de intra prognóstico usada para uma componente Ck indicada pelo sinalizador de identificação de componente de cor 33.

(f) No SW3, mb_type não satisfaz as condições de (d) ou (e). No SW4, mb_type é avaliado. Se um modo é um modo de prognóstico de 16 x 16, o modo de prognóstico de 16 x 16 incorporado em mb_type é decodificado. Então, se a informação de identificação de formato de croma 1 indica um formato de croma sendo 4: 2: 0 ou 4: 2: 2, de acordo com (1) de (e), o modo de intra prognóstico de componente C1/C2 101 independente da componente Y é decodificado. Então, um parâmetro de quantização é decodificado.

(g) Se, mb_type não satisfaz as condições de (f) no SW4, um padrão de bloco codificado (CBP) é decodificado. Com base em um valor do CBP, resultados de decodificação de dados de coeficiente quantizados são todos configurados para 0 para blocos de 8 x 8 indicando que todos os coeficientes são 0. Se o CBP indica que há um coeficiente válido em um dos blocos de 8 x 8 no macro bloco (SW5), o parâmetro de quantização é decodificado. Se a informação de identificação de formato de croma 1 indica um formato de croma sendo 4: 2: 0 ou 4: 2: 2, o CBP a ser codificado é decodificado como informação para julgamento de presença de dados de coeficiente válidos para quatro blocos de 8 x 8 de componentes de luminância e blocos de 8 x 8 de N (N = 2 para 4: 2: 0, N = 4 para 4: 2: 2) componentes de crominância. Se a informação de identificação de formato de croma 1 indica

Petição 870190113730, de 06/11/2019, pág. 41/101 / 45 um formato de croma sendo 4: 4: 4, e se o informação de identificação de codificação comum/codificação independente 2 indica “codificação comum”, o CBP é decodificado como informação para definir se há um voe válido em um dos blocos de 8 x 8 no mesmo espaço de C0, C1 e C2 para os quatro blocos de 8 x 8. Se a informação de identificação de codificação comum/codificação independente 2 indica “codificação independente”, o CBP é decodificado para cada componente de C0, C1 e C2 como informação da mesma definição como aquela da componente de luminância quando o formato de croma é 4: 2: 0 ou 4: 2: 2.

(h) Os dados de coeficiente quantizados são decodificados para o macro bloco cujo parâmetro de quantização foi decodificado. Neste caso, o dado de coeficiente quantizado Tx é decodificado de acordo com a fatia e estruturas de dados de macro bloco das FIGS. 14 e 15A e 15B definido com base na informação de identificação de formato de croma 1 e na informação de identificação de codificação comum/codificação independente

2.

(2) Processo de Geração de Imagem Intra Prognosticada

[0054] O processo de geração de imagem intra prognosticada é realizado pela unidade de geração de imagem de prognóstico de componente C0 7 e pela unidade de geração de imagem de intra prognóstico de componente C1/C2 8 da FIG. 16, Essas unidades são comuns àquela do dispositivo de codificação da FIG. 4.

[0055] No caso dos formatos de croma de 4: 2: 0 e 4: 2: 2, para um sinal de uma componente Y, uma imagem prognosticada é gerada com base em um modo de intra prognóstico de componente C0 100 fornecido a partir da unidade de decodificação de comprimento variável 200 através unidade de geração de imagem de prognóstico de componente C0 7. Para o modo de intra prognóstico de componente C0 100, há três tipos possíveis de seleção de modos, um modo de intra prognóstico de 4 x 4, um modo de intra prognóstico

Petição 870190113730, de 06/11/2019, pág. 42/101 / 45 de 8 x 8, e um modo de intra prognóstico de 16 x 16. Para o modo de intra prognóstico de 4 x 4 e o modo de intra prognóstico de 8 x 8, um macro bloco é dividido em blocos de 4 x 4 elementos mínimos de imagem ou 8 x 8 elementos mínimos de imagem, e prognóstico de espaço usando um elemento mínimo de imagem de referência próximo é realizado para cada bloco como mostrado na FIGS. 5 para formar uma imagem prognosticada. Este método de geração de imagem prognosticada tem nove opções. Qual das nove opções é usada para gerar uma imagem prognosticada é fornecida como o modo de intra prognóstico de componente C0 100 para a unidade de geração de imagem de prognóstico de componente C0 7. FIGS. 5 mostra um exemplo de bloco de 4 x 4. Para um bloco de elemento mínimo de imagem de 8 x 8, um modo similar é definido. Efeitos do método de prognóstico de espaço tendo tal direcionamento, são como descrito acima.

[0056] Há um modo de intra prognóstico 16 x 16 como um modo de executar intra prognóstico em um bloco de 16 x 16 não subdividido em qualquer macro blocos (FIGS. 6). Neste caso, o método de geração de imagem prognosticada é selecionada a partir de quatro tipos de métodos de prognóstico de espaço mostrados nas FIGS. 6. Efeitos desse modo de prognóstico de espaço são como descritos acima.

[0057] Para componentes Cb e Cr, através da unidade de geração de imagem de intra prognóstico de componente C1/C2 8, uma imagem prognosticada é gerada independente da componente Y. FIG. 18 mostra uma configuração interna da unidade de geração de imagem de intra prognóstico de componente C1/C2 8 da primeira modalidade. Se a informação de identificação de formato de croma 1 indica um formato de croma sendo 4: 2: 0 ou 4: 2: 2, o modo de intra prognóstico de componente C1/C2 101 indica um de quatro tipos de modos mostrados nas FIGS. 7. Com base no número de blocos de uma geração de imagem prognosticada alvo, o processo se ramifica para uma unidade de geração de imagem de intra prognóstico de componente

Petição 870190113730, de 06/11/2019, pág. 43/101 / 45

Cb/Cr de 4: 2: 0 8a ou uma unidade de geração de imagem de intra prognóstico de componente Cb/Cr de 4: 2: 2 8b de acordo com um formato de croma. No caso do formato de croma ser 4: 4: 4, como o modo de intra prognóstico de componente C1/C2 101 tem exatamente a mesma definição que do modo de intra prognóstico de componente C0 para processamento da componente Y, o processo se ramifica para uma unidade de geração de imagem de intra prognóstico de componente Y 8c. A unidade de geração de imagem de intra prognóstico de componente Y 8c pode ser configurado usando substancialmente os mesmos membros como aqueles da unidade de geração de imagem de prognóstico de componente C0 7. Contudo, uma diferença é que geração de imagem prognosticada é realizada para ambas componentes C1 e C2 se a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação comum”, e geração de imagem prognosticada é realizada somente para um modo de intra prognóstico (101a ou 101b) correspondendo à componente Ck indicada pelo sinalizador de identificação de componente de cor 33 no caso de “processo de codificação independente”.

[0058] Em todos os processos de geração de imagem intra prognosticada, um valor de elemento mínimo de imagem periférico que se torna um elemento mínimo de imagem de referência tem de se refere uma imagem decodificada não submetida à filtragem de desbloqueio. Assim sendo, um valor de elemento mínimo de imagem antes de um processo de filtragem de desbloqueio obtido adicionando junto um sinal residual prognosticado decodificado 17b que é uma saída de cada uma das unidades de decodificação residual prognosticada de componente C0 24, unidade de decodificação residual prognosticada de componente C1 25 e unidade de decodificação residual prognosticada de componente C2 26 e uma imagem prognosticada 34 é armazenada na memória de linha 202 a ser usada para geraçãzo de imagem intra prognosticada.

Petição 870190113730, de 06/11/2019, pág. 44/101 / 45 (3) Processo de Compensação de Movimento

[0059] O processo de compensação de movimento é realizado pela unidade de compensação de movimento de componente C0 11 e pela unidade de compensação de movimento de componente C1/C2 12 da FIG. 16. Essas unidades são comuns aquelas do dispositivo de codificação da FIG. 4

[0060] No caso dos formatos de croma sendo 4: 2: 0 e 4: 2: 2, um sinal de uma componente Y é gerado pela unidade de compensação de movimento de componente C0 11 com base na informação de movimento de componente Y 102 decodificada como parte de dados codificados de macro bloco. A informação de movimento contém um índice de imagem de referência indicando que imagem de referência entre uma ou mais dados de imagem de referência armazenados na memória de quadro 201 é usada, e um vetor de movimento aplicado à imagem de referência designada pelo índice de imagem de referência.

[0061] A informação de movimento de componente Y 102 é decodificada correspondendo a sete tipos de tamanhos de blocos que se tornam unidades de prognóstico de compensação de movimento mostrada nas FIGS. 8a à 8h. Qual um dos tamanhos de bloco das FIGS. 8a à 8h são usadas para executar compensação de movimento é decidido pelo modo de codificação 15 e pelo tipo de sub macro bloco (sub_mb_type) descrito na descrição do processo de decodificação de comprimento variável. A informação de movimento de componente Y 102 é alocada a um bloco que se torna uma unidade de compensação de movimento, e um vetor de movimento é aplicado à imagem de referência indicada pelo índice de imagem de referência da memória de quadro memória de quadro 201 para obter um imagem prognosticada. Para as componentes Cb e Cr, como mostrado na FIG. 17, na unidade de decodificação de comprimento variável 200, o mesmo índice de imagem de referência como aquele da componente Y é alocado e o vetor de movimento da componente Y é usado para obter informação de

Petição 870190113730, de 06/11/2019, pág. 45/101 / 45 movimento de componente Cb/Cr 103 (especificamente, obtida escalonando o vetor de movimento da componente Y em um proporção de amostragem de Y, Cb, e Cr).

[0062] Como descrito acima referenciando às FIGS. 9 e 10, um método para gerar uma imagem prognosticada na unidade de compensação de movimento varia entre a componente Y e a componente Cb/Cr. Um prognóstico de compensação de movimento da componente Cb/Cr é realizado pela unidade de compensação de movimento de componente C1/C2 12.

[0063] FIG. 19 mostra uma configuração interna da unidade de compensação de movimento de componente C1/C2 12 da primeira modalidade. Se a informação de identificação de formato de croma 1 indica um formato de croma sendo 4: 2: 0 ou 4: 2: 2, a informação de movimento de componente Cb/Cr 103 é gerada pela unidade de decodificação de comprimento variável 200 com base na componente C0, i. e., informação de movimento de componente Y informação de movimento de componente Y 102 como descrito acima para ser entrado para a unidade de compensação de movimento de componente C1/C2 12. com base no número de blocos de uma geração de imagem prognosticada alvo, o processo se ramifica para uma unidade de compensação de movimento de componente Cb/Cr de 4: 2: 0 12a ou uma unidade de compensação de movimento de componente Cb/Cr de 4: 2: 2 12b de acordo com um formato de croma. No caso do formato de croma ser 4: 4: 4, como a informação de movimento de componente Cb/Cr 103 tem exatamente a mesma definição como aquela da informação de movimento de componente Y 102 para processamento da componente Y, o processo se ramifica para uma unidade de compensação de movimento de componente Y 12c. A unidade de compensação de movimento de componente Y 12c pode ser configurado usando substancialmente os mesmos membros como aqueles da unidade de compensação de movimento de componente C0 11. Contudo, uma diferença é que geração de imagem prognosticada é realizada para ambas

Petição 870190113730, de 06/11/2019, pág. 46/101 / 45 componentes C1 e C2 se a informação de identificação de codificação comum/codificação independente 2 indica “processo de codificação comum”, e geração de imagem prognosticada é realizada somente para informação de movimento (103a ou 103b) correspondendo à componente Ck indicada pelo sinalizador de identificação de componente de cor 33 no caso de “processo de codificação independente”.

(4) Processo de Decodificação Residual Prognosticada

[0064] O processo de decodificação residual prognosticada é realizado pela unidade de decodificação residual prognosticada de componente C0 24, unidade de decodificação residual prognosticada de componente C1 25, e unidade de decodificação residual prognosticada de componente C2 26 da FIG. 16. Essas são comuns à unidade de decodificação local de componente C0 24, unidade de decodificação local de componente C1 25, e unidade de decodificação local de componente C2 26 da FIG. 4.

[0065] O processo de decodificação residual prognosticada é um processo para restaurar um sinal residual prognosticado 17b executando quantização inversa/transformação inversa para dados de coeficiente quantizados de componente C0 à C2 21 à 23 para cada macro bloco emitido da unidade de decodificação de comprimento variável 200. Na unidade de decodificação residual prognosticada de componente C1 25 e unidade de decodificação residual prognosticada de componente C2 26, um processo para componente C1/C2 é comutado da com a informação de identificação de formato de croma 1 e a informação de identificação de codificação comum/codificação independente 2.

[0066] Para a componente Y, no caso dos formatos de croma serem 4: 2: 0 e 4: 2: 2, e a componente C0 no caso do formato de croma ser 4: 4: 4, um processo de decodificação residual prognosticada da FIG. 20 é realizado para a unidade de decodificação residual prognosticada de componente C0 24. De acordo com o processo, primeiro, se o modo de codificação 15 é um modo de

Petição 870190113730, de 06/11/2019, pág. 47/101 / 45 intra prognóstico 8 x 8, ou a informação de instrução de tamanho de bloco de transformação 104 indicar transformação de inteiro através de uma unidade de bloco de 8 x 8, dados de coeficiente de quantização 21 são processado através de uma unidade de blocos de 8 x 8 onde um macro bloco é dividido em quatro. Após um processo de quantização inversa é executado da com um parâmetro de quantização 32 através de uma unidade de bloco de 8 x 8, transformação de inteiro inversa é executada através de uma unidade de bloco de 8 x 8 para obter um valor restauração 17b de um sinal residual prognosticado 17a.

[0067] Se o modo de codificação 15 é outro que o acima, o processo é comutado com base se o modo de codificação 15 é uma modo de intra prognóstico de 16 x 16. No caso do modo de intra prognóstico de 16 x 16, um processo de quantização inversa é primeiro realizado para um coeficiente de transformação de somente componentes DC de coeficientes de transformação de blocos de 4 x 4 a partir dos dados de coeficiente de quantização 21 de acordo com o parâmetro de quantização 32, e substancialmente transformação de Hadamard inversa de 4 x 4 é realizada. Conseqüentemente, um valor de restauração de uma componente DC dos blocos de 4 x 4 do macro bloco é obtido. Uma quantização inversa é também realizada para 15 coeficientes de AC remanescentes de acordo com o parâmetro de quantização 32, e um coeficiente quantizado inverso de uma unidade de blocos de 4 x 4 pode ser obtida quando combinada com a componente DC obtida. Finalmente, submetendo isto para transformação de inteiro inversa de 4 x 4, um sinal residual prognosticado 17b é restaurado.

[0068] Se modo de codificação 15 não é um modo de intra prognóstico de 16 x 16, quantização inversa/transformação de inteiro inversa é realizada processo de aquisição cada bloco de 4 x 4 para restaurar um sinal residual prognosticado 17b.

[0069] Para as componentes Cb e Cr, no caso dos formatos de croma

Petição 870190113730, de 06/11/2019, pág. 48/101 / 45 serem 4: 2: 0 e 4: 2: 2, e para as componentes C1 e C2 no caso do formato de croma ser 4: 4: 4, processos de decodificação residual prognosticada são realizados na unidade de decodificação residual prognosticada de componente C1 25 e na unidade de decodificação residual prognosticada de componente C2 26.

[0070] Para as componentes Cb e Cr, no caso dos formatos de croma serem 4: 2: 0 e 4: 2: informação de identificação de codificação comum/codificação independente 2, um processo de decodificação residual prognosticada é realizado com base em um fluxo das FIGS. 21A e 21B. Uma diferença entre 4: 2: 0 e 4: 2: 2 é qual dos blocos de 2 x 2 e blocos de 2 x 4 é a unidade, para executar transformação de Hadamard. Primeiro, somente componentes DC do coeficiente de transformação dos blocos de 4 x 4 são coletados para constituir um bloco a ser submetido à transformação de Hadamard inversa, e transformação de Hadamard inversa é executada após quantização inversa. Para 15 componentes de AC remanescente, quantização inversa é individualmente realizada, e transformação de inteiro inversa de 4 x 4 é executada após combinação com as componentes DC. Assim sendo, um sinal residual prognosticado 17b é restaurado.

[0071] FIG. 22 mostra configurações internas da unidade de decodificação residual prognosticada de componente C1 25 e da unidade de decodificação residual prognosticada de componente C2 26. Processos para componentes Cb e Cr, no caso dos formatos de croma serem 4: 2: 0 e 4: 2: 2 são separadamente descritos na FIG. 22 como a unidade de decodificação residual prognosticada de componente Cb e Cr de 4: 2: 0 25a e a unidade de decodificação residual prognosticada de componente Cb e Cr de 4: 2: 2 25b, mas uma diferença no conteúdo de processamento é como descrito acima. No caso do formato de croma ser 4: 4: 4, como dados de coeficiente quantizados de C1/C2 22 e 23 são codificados exatamente pelo mesmo método como aquele para os dados de coeficiente quantizados de componente Y de 4: 2: 0 e

Petição 870190113730, de 06/11/2019, pág. 49/101 / 45

4: 2: 2 21, o processo se ramifica para a unidade de decodificação residual prognosticada de componente Y 25c. A unidade de decodificação residual prognosticada de componente Y 25c pode ser configurada usando o mesmo membro como aquele da unidade de decodificação residual prognosticada de componente C0 24.

[0072] Se informação de instrução de somente intra codificação 4 indica “somente intra codificação”, as cenas da seqüência de bits 30 são todas codificadas usando codificação fechada (codificação de somente intra prognóstico) na tela sem executar prognóstico de uma direção de tempo baseada no prognóstico de compensação de movimento. Assim sendo, um processo de uma unidade de filtro de desbloqueio 28 é tornado válido. Conseqüentemente, no dispositivo de decodificação que recebe a seqüência de bits 30, o processo de filtragem de desbloqueio não é executado no caso de somente intra codificação, e assim sendo, uma quantidade de cálculo do dispositivo de decodificação pode ser reduzida. Ainda, e informação de instrução de somente intra codificação 4 indica “somente intra codificação”, como nenhum prognóstico de compensação de movimento é executado, nenhuma imagem de referência é escrita na memória de quadro 201. Com esta configuração, acesso à memória é reduzido.

[0073] O dispositivo de decodificação da primeira modalidade foi descrito por meio de configuração onde decodificação é realizada quando da recepção da seqüência de bits 30 emitida do dispositivo de codificação. Contudo, enquanto o dispositivo de codificação emite uma seqüência de bits de acordo com a forma da seqüência de bits 30, seqüências de bits emitida a partir de um dispositivo de codificação que executa codificação usando somente formato de croma de 4: 2: 0 como uma entrada, ou dispositivos de codificação de várias especificações usando somente formato de croma de 4: 2: 2 ou dois formatos de croma de 4: 2: 0 e 4: 2: 2 podem ser corretamente decodificados.

Petição 870190113730, de 06/11/2019, pág. 50/101 / 45

[0074] De acordo com os dispositivos de codificação/decodificação da primeira modalidade, para a grande quantidade de diferentes formatos de croma, tais como 4: 2: 0, 4: 2: 2, e 4: 4: 4, codificação e decodificação podem ser realizadas em uma maneira unificada através da configuração de dispositivo eficiente, e capacidade de conectividade mútua dos dados codificados de vídeo pode ser aumentada.

[0075] A primeira modalidade foi descrita por meio do caso onde os três espaços de cor dos formatos de croma de 4: 2: 0 e 4: 2: 2 são Y, Cb, e Cr. contudo,, usando outros espaços de cor tal como Componente Y, Pb e Pr, os mesmos efeitos podem ser obtidos.

Claims

1. Dispositivo de codificação de imagem em movimento para gerar uma seqüência de bits submetendo um sinal de imagem em movimento digital para codificação de compressão que é efetuada transformando e fazendo quantização do sinal de imagem em movimento digital segundo um modo de bloco, o dispositivo de codificação de imagem em movimento, caracterizado pelo fato de compreender:

- uma unidade de codificação para multiplexar, na seqüência de bits, informação de identificação de formato de croma (1) para designar um formato de croma de um sinal de vídeo de entrada (3) a ser codificado, informação de identificação de codificação comum / codificação independente (2) indicando qual dentre codificação através de um processo de codificação comum e codificação através de um processo de codificação independente é executado, e informação de instrução de somente intra codificação (4) que indica se intra codifica ou não todas as cenas correspondendo ao sinal de imagem em movimento digital; em que a unidade de codificação codifica utilizando uma pluralidade de modos de prognóstico, cada um respectivamente correspondendo a um de um componente de luminância e um componente de crominância quando a informação de identificação de formato de croma indica 4: 2: 0 ou 4: 2: 2;

a unidade de codificação codifica utilizando uma imagem de intra prognóstico de cada componente de cor gerado com base em um único modo de intra prognóstico comum a todos os componentes de cor quando a informação de identificação de formato de croma indica 4: 4: 4 e a informação de identificação de codificação independente / codificação comum indicar processamento de codificação comum;

a unidade de codificação codifica utilizando uma imagem de intra prognóstico de cada componente de cor gerado com base em um modo de intra prognóstico individual para cada componente de cor quando a

Petição 870190113730, de 06/11/2019, pág. 52/101

2 / 6 informação de identificação do formato de croma indica 4: 4: 4 e a informação de identificação de codificação comum / codificação independente indica processamento de codificação independente; e a unidade de codificação controla uma operação de um filtro de desbloqueio (28) em cada limite entre os blocos que servem como unidades da transformação e quantização a não serem executadas quando a informação de instrução de somente intra codificação indica que todas as imagens correspondentes ao sinal de imagem em movimento digital são intra codificado.

2. Dispositivo de decodificação de imagem em movimento para decodificar um sinal de imagem em movimento digital, com base em uma entrada de uma sequência de bits gerada submetendo o sinal de imagem em movimento digital à codificação de compressão na qual o sinal de imagem em movimento digital é transformado e quantizado segundo um modo de bloco, o dispositivo de decodificação de imagem em movimento, caracterizado pelo fato de compreender:

- uma unidade de decodificação para decodificar informação de identificação de formato de croma (1) para designar um formato de croma de um sinal de vídeo de entrada a ser decodificado, informação de identificação de codificação comum / codificação independente (2) indicando qual dentre codificação através de um processo de codificação comum e codificação através de um processo de codificação independente é executado, e informação de instrução de somente intra codificação (4) que indica se intra codifica ou não todas as cenas correspondendo ao sinal de imagem em movimento digital; em que a unidade de decodificação gera uma imagem decodificada sem executar um filtro de desbloqueio (28) em cada limite entre os blocos que servem como unidades da transformação e quantização quando a informação de instrução de somente intra codificação indica que todas as imagens

Petição 870190113730, de 06/11/2019, pág. 53/101

3 / 6 correspondentes ao sinal de imagem em movimento digital são intra codificadas;

a unidade de decodificação decodifica utilizando uma pluralidade de modos de intra prognóstico, cada um respectivamente correspondendo a um de um componente de luminância e um componente de crominância quando a informação de identificação de formato de croma indica 4: 2: 0 ou 4: 2: 2;

a unidade de decodificação decodifica utilizando uma imagem de intra prognóstico de cada componente de cor gerado com base em um único modo de intra prognóstico comum a todos os componentes de cor quando a informação de identificação de formato de croma indica 4: 4: 4 e a informação de identificação de codificação independente / codificação comum indicar processamento de codificação comum; e a unidade de decodificação decodifica utilizando uma imagem de intra prognóstico de cada componente de cor gerado com base em um modo de intra prognóstico individual para cada componente de cor quando a informação de identificação do formato de croma indica 4: 4: 4 e a informação de identificação de codificação comum / codificação independente indica processamento de codificação independente.

3. Método de codificação de imagem em movimento para gerar uma seqüência de bits submetendo um sinal de imagem em movimento digital para codificação de compressão que é efetuada transformando e fazendo quantização o sinal de imagem em movimento digital segundo um modo de bloco, o método de codificação de imagem em movimento, caracterizado pelo fato de compreender:

- uma etapa de codificação para multiplexar, na seqüência de bits, informação de identificação de formato de croma (1) para designar um formato de croma de um sinal de vídeo de entrada (3) a ser codificado, informação de identificação de codificação comum / codificação

Petição 870190113730, de 06/11/2019, pág. 54/101

4 / 6 independente (2) indicando qual dentre codificação através de um processo de codificação comum e codificação através de um processo de codificação independente é executado, e informação de instrução de somente intra codificação (4) que indica se intra codifica ou não todas as cenas correspondendo ao sinal de imagem em movimento digital; em que a etapa de codificação codifica utilizando uma pluralidade de modos de prognóstico, cada um respectivamente correspondendo a um de um componente de luminância e um componente de crominância quando a informação de identificação de formato de croma indica 4: 2: 0 ou 4: 2: 2;

a etapa de codificação codifica utilizando uma imagem de intra predição de cada componente de cor gerado com base em um único modo de intra prognóstico comum a todos os componentes de cor quando a informação de identificação de formato de croma indica 4: 4: 4 e a informação de identificação de codificação independente / codificação comum indicar processamento de codificação comum;

a etapa de codificação codifica utilizando uma imagem de intra prognóstico de cada componente de cor gerado com base em um modo de intra prognóstico individual para cada componente de cor quando as informações de identificação do formato de croma indicam 4: 4: 4 e as informações de identificação de codificação comum / codificação independente indicam processamento de codificação independente; e a etapa de codificação controla uma operação de um filtro de desbloqueio (28) em cada limite entre os blocos que servem como unidades da transformação e quantização a não serem executadas quando a informação de instrução de somente intra codificação indica que todas as imagens correspondentes ao sinal de imagem em movimento digital são intra codificado.

4. Método de decodificação de imagem em movimento para decodificar um sinal de imagem em movimento digital, com base em uma

Petição 870190113730, de 06/11/2019, pág. 55/101

5 / 6 entrada de uma seqüência de bits gerada submetendo o sinal de imagem em movimento digital à codificação de compressão na qual o sinal de imagem em movimento digital é transformado e quantizado segundo um modo de bloco, o método de decodificação de imagem em movimento, caracterizado pelo fato de compreender:

- uma etapa de decodificação para decodificar informação de identificação de formato de croma (1) para designar um formato de croma de um sinal de vídeo de entrada (3) a ser decodificado, informação de identificação de codificação comum / codificação independente (2) indicando qual dentre codificação através de um processo de codificação comum e codificação através de um processo de codificação independente é executado, e informação de instrução de somente intra codificação (4) que indica se intra codifica ou não todas as cenas correspondendo ao sinal de imagem em movimento digital; em que a etapa de decodificação gera uma imagem decodificada sem executar um filtro de desbloqueio (28) em cada limite entre os blocos que servem como unidades da transformação e quantização quando a informação de instrução de somente intra codificação indica que todas as imagens correspondentes ao sinal de imagem em movimento digital são intra codificadas;

a etapa de decodificação decodifica utilizando uma pluralidade de modos de intra prognóstico, cada um respectivamente correspondendo a um de um componente de luminância e um componente de crominância quando a informação de identificação de formato de croma indica 4: 2: 0 ou 4: 2: 2;

a etapa de decodificação decodifica utilizando uma imagem de intra prognóstico de cada componente de cor gerado com base em um único modo de intra prognóstico comum a todos os componentes de cor quando a informação de identificação de formato de croma indica 4: 4: 4 e a

Petição 870190113730, de 06/11/2019, pág. 56/101

6 / 6 informação de identificação de codificação independente / codificação comum indicar processamento de codificação comum; e a etapa de decodificação decodifica utilizando uma imagem de intra prognóstico de cada componente de cor gerado com base em um modo de intra prognóstico individual para cada componente de cor quando a informação de identificação do formato de croma indicam 4: 4: 4 e a informação de identificação de codificação comum / codificação independente indica processamento de codificação independente.