ES2717476T3 - Método de codificación de imágenes, dispositivo de codificación de imágenes y programa de codificación de imágenes - Google Patents

Description

DESCRIPCIÓN

Método de codificación de imágenes, dispositivo de codificación de imágenes y programa de codificación de imágenes

Campo técnico

La presente invención se refiere a un método de codificación de imágenes, un aparato de codificación de imágenes, y un programa de codificación de imágenes.

Antecedentes de la técnica

La codificación de vídeo de alta eficacia (HEVC) desarrollada como un siguiente esquema de norma de codificación de vídeo de una norma H. 264, que es una técnica convencional, es un esquema de codificación para lograr una eficacia de codificación superior que la norma H.264. Sin embargo, la h Ev C implica procesos complicados y complejidad computacional mayor, y por lo tanto la HEVC tiene un problema en que debería reducirse significativamente un coste computacional de codificación para emplear la HEVC en productos reales. En particular, en la HEVC, puesto que aumentan las opciones para el tamaño de un bloque, que es una unidad de codificación, aumentan los procesos asociados con la optimización de codificación en los que se determina un tamaño de bloque óptimo y un modo óptimo y por lo tanto es necesario reducir la complejidad computacional de los mismos.

En codificación de vídeo, los píxeles se codifican en general en unidades de bloques. En la HEVC, se introducen los conceptos de una unidad de codificación más grande (LCU) y una unidad de codificación (CU) como bloques para los que se realiza codificación, y un concepto de una unidad de predicción (PU) como una unidad de predicción. En lo sucesivo, se describirá la LCU, la CU, y la PU. En la HEVC, una instantánea (imagen) se divide igualmente en cuadrados que tienen un tamaño dado, como se ilustra en la Figura 11. La Figura 11 es un diagrama que ilustra un ejemplo de división de una instantánea. Los bloques cuadrados ilustrados en la Figura 11 se denominan como LCU. Los tamaños de las LCU pueden seleccionarse de entre 16x16 píxeles, 32x32 píxeles, y 64x64 píxeles, pero son todos iguales dentro de la misma instantánea.

Una CU, que es una unidad para realizar codificación real, es un bloque cuadrado que existe en una LCU, y se determina un modo de predicción usando la CU como una unidad. La CU es un bloque que tiene el mismo tamaño que la LCU, o, como se ilustra en la Figura 11, la CU es un bloque cuadrado obtenido dividiendo igualmente la LCU en cuatro o en un bloque cuadrado obtenido aplicando de manera repetitiva un proceso de sección en cuatro de este tipo a la LCU. Cuando el tamaño de la LCU es (2N)x(2N), el tamaño de la CU puede seleccionarse de entre (2M)x(2M) (3 < M < N, donde N y M son números enteros).

Además, la PU es una unidad para establecer una dirección de predicción en la CU. Las Figuras 12A y 12B son diagramas que ilustran ejemplos de opciones para división en PU (tipos de división de PU). Como se ilustra en la Figura 12A, en inter predicción, es posible la selección a partir de ocho métodos de división. Además, como se ilustra en la Figura 12B, en intrapredicción, es posible la selección a partir de dos métodos de división únicamente cuando un tamaño de CU es 8x8. En otros casos, la PU es la misma que la CU. Para mejora de la eficacia de codificación, es necesario realizar división en CU y el establecimiento de un modo de predicción de cada CU adecuada para cada LCU. En particular, mientras que aumenta el grado de libertad de selección del método de división de la CU y el modo de predicción a medida que aumenta el tamaño de la LCU, y se espera una mejora de la eficacia de codificación realizando división apropiada en CU y el establecimiento apropiado de un modo de predicción, existe un problema en que es necesario realizar un cálculo en todas las CU que pueden ser opciones y por lo tanto la complejidad computacional aumenta en consecuencia.

Un proceso real con respecto a la selección del tamaño de la CU en una LCU se describirá usando un ejemplo de un modelo de prueba de HEVC (HM). Una operación de un proceso de cálculo de coste de codificación para una determinación de formas de PU divididas en una CU se describirá en primer lugar con referencia a la Figura 13. La Figura 13 es un diagrama de flujo que ilustra una operación de un proceso de cálculo de coste de codificación para una determinación de formas de PU divididas en una CU. En primer lugar, se realiza inter predicción para cada tipo de división de PU (etapa S71). A continuación, si un coste de codificación es el más bajo, se almacena el coste de codificación más bajo, y las formas de las PU divididas y una dirección de inter predicción que logra el coste de codificación más bajo (etapa S72).

A continuación, se realiza intrapredicción para cada tipo de división de PU (etapa S73). A continuación, si un coste de codificación es el más bajo, se almacena el coste de codificación más bajo, y las formas de PU divididas y una dirección de intrapredicción que logra el coste de codificación más bajo (etapa S74).

A continuación, se describirá una operación de un proceso de cálculo de coste de codificación para una determinación del tamaño de división de CU en una LCU con referencia a la Figura 14. La Figura 14 es un diagrama de flujo que ilustra la operación del proceso de cálculo de coste de codificación para una selección del tamaño de división de CU en una LCU. En primer lugar, se repiten las etapas S71 a S74 ilustradas en la Figura 13 en una CU para calcular costes de codificación para las CU de todos los tamaños y determinar tamaños de CU (etapa S75). Para una LCU, se compara el coste de codificación cuando la CU se divide en cuatro con el coste de codificación cuando la CU no se divide en cuatro, se selecciona el tamaño de división de la CU en la que el coste de codificación es el más bajo, y se almacena el tamaño de división seleccionado (etapa S76).

Se ha de observar que un bucle de QP, que no se ha descrito anteriormente, se ilustra en la Figura 14. En la HEVC, un parámetro de cuantificación QP que determina un tamaño de etapa de cuantificación puede establecerse para cada CU si no se realiza codificación usando un parámetro de cuantificación QP fijo. Para lograr esto, una estructura de cálculo de un coste de codificación óptimo mientras cambia el valor del parámetro de cuantificación QP está incluida en el software de referencia. Por lo tanto, el bucle de QP se ilustra en la Figura 14.

Un proceso de selección de un modo óptimo, forma de división, y tamaño de división para obtener el coste de codificación más bajo se denomina como un proceso de optimización de codificación. Se ha de observar que mientras que se usan las representaciones "LCU" y "CU" en lo sucesivo como conceptos de unidades de procesamiento en la HEVC, las unidades que corresponden a la LCU y la CU ya no se representan más en general como un bloque y un subbloque, respectivamente, teniendo en cuenta otras tecnologías de codificación.

A continuación, se describirá una operación del proceso de optimización de codificación. La Figura 15 es un diagrama de flujo que ilustra la operación del proceso de optimización de codificación. En primer lugar, se calculan costes de codificación de un modo de inter predicción, un modo de salto, y un modo de intrapredicción (etapa S77). Posteriormente, se usa un modo en el que el coste de codificación es el más bajo como un modo de predicción para cada tamaño de CU, y se establece y almacena un modo óptimo (etapa S78). Este proceso se repite para todos los tamaños de CU. A continuación, se determina una combinación de CU divididas en las que el coste de codificación es el más bajo (etapa S79).

En este punto, el coste de codificación significa un coste RD según se representa por la Ecuación (1), y la optimización significa una determinación de codificación mediante la cual el coste de codificación es el más bajo.

coste RD = D+AR ■■■ (1)

En la Ecuación (1), D indica una suma de errores cuadrados entre píxeles decodificados y píxeles de una imagen original, R es una cantidad de bits generados, y A es un parámetro de Lagrange. Además, para acelerar el proceso de optimización de codificación, existe también una técnica en la que se usa un pseudo coste de RD en el que se sustituye D por una suma D' de diferencias absolutas entre píxeles previstos y los píxeles de la imagen original y R se sustituye por una cantidad de bits generados R' distinta de una cantidad de bits de coeficientes como el coste de codificación. En lo sucesivo, el coste de codificación se supone que significa un coste según se representa por el coste RD del pseudo coste RD.

A continuación, se describirá una operación de un procedimiento para determinar una dirección de predicción óptima de intrapredicción con referencia a la Figura 16. La Figura 16 es un diagrama de flujo que ilustra la operación del proceso para determinar la dirección de predicción óptima de la intrapredicción. Un proceso de las etapas S82 a S85 que se va a describir a continuación se realiza de manera repetitiva mientras se selecciona una cierta dirección de predicción (etapa S81). En primer lugar, se genera una imagen intra prevista en la dirección de predicción usando píxeles codificados vecinos (etapa S82). Posteriormente, se calcula un error entre píxeles de la imagen intra-prevista y píxeles de la imagen original (etapa S83).

A continuación, se calcula una cantidad de bits generados (etapa S84), y se calcula un coste de codificación a partir del error y de la cantidad de bits generados (etapa S85). A continuación, se repiten las etapas S82 a S85 para cada dirección de predicción. Finalmente, una dirección en la que el coste de codificación calculado es el más bajo se establece como una dirección de intrapredicción para establecer de esta manera una dirección de intrapredicción óptima (etapa S86).

En el proceso de optimización de codificación, un bloque que tiene un cierto tamaño fijo se divide en subbloques que tienen un tamaño de subbloque óptimo, y se determina un modo de predicción óptimo para cada subbloque. Para determinar el tamaño de subbloque óptimo y el modo de predicción óptimo en unidades de bloques, es necesario obtener un coste de codificación en cada modo de predicción para cada tamaño de subbloque, como se ha descrito anteriormente. Particularmente, para una determinación de la dirección de intrapredicción óptima, es necesario realizar decodificación en píxeles codificados vecinos necesarios para la generación de una imagen prevista para cada dirección de intrapredicción. Estos procesos también se realizan en un subbloque que no tiene un tamaño óptimo. Sin embargo, en este caso, se usa un resultado de decodificación de los píxeles vecinos únicamente para comparación de los costes de codificación.

Particularmente, en el caso de una determinación que usa un pseudo coste RD, que es una de las técnicas que tienen por objeto acelerar el proceso de optimización de codificación, no es necesario codificar un error de predicción cuando se calcula R'; sin embargo, puesto que se usa una imagen prevista para calcular D', es necesario codificar y decodificar píxeles vecinos usados para el cálculo. Por lo tanto, cuando se determina un coste de codificación óptimo de cada tamaño de sub-bloque a través de únicamente aceleración usando un pseudo coste RD, se consigue una reducción real del proceso de cálculo en únicamente un proceso de codificación aritmética de un coeficiente de error de predicción, y es necesario realizar un proceso de decodificación en el que la complejidad computacional es grande para cada tamaño de subbloque.

Se ha de observar que se supone que se ha descrito en el presente documento anteriormente un caso en el que la cantidad de bits generados incluye un caso en el que está incluida una cantidad de bits generados de coeficientes y un caso en el que la cantidad de bits generados de los coeficientes no está incluida.

El documento no de patente 1 es un ejemplo en el que se realiza aceleración usando la técnica convencional. El documento no de patente 1 introduce una técnica en la que se usan píxeles de una imagen original, o píxeles obtenidos aplicando un filtro a los píxeles de la imagen original, como píxeles de una seudoimagen intra prevista. Con esta técnica, los píxeles de referencia usados para cálculo de un modo de intrapredicción óptimo de cada tamaño de un subbloque son únicamente los píxeles de la imagen original o los píxeles obtenidos aplicando el filtro a los píxeles de la imagen original, y por lo tanto no es necesaria la decodificación de los píxeles vecinos y puede reducirse la complejidad computacional.

Documentos de la técnica anterior

Documento no de patente 1: Takafumi Bando, Naoyuki Hirai, Tian Song y Takashi Shimamoto, "New Prediction Modes for Parallel Processing of H.264/AVC", Proceedings of International Conference on Multimedia and Signal Processing (CMSP'11), págs. 344-347, Guilin, China, mayo de 2011.

Documento no de patente 2: Sakae Okubo, Teruhiko Suzuki, Seishi Takamura y Takeshi Chujo, "Impress standard textbook series H.265/HEVC textbook", Impress Japón, 18 de octubre de 2013.

Documento no de patente 3: K. McCann, B. Bross, W.-J. Han, I. K. Kim, K. Sugimoto y G. J. Sullivan, "High Efficiency Video Coding (HEVC) Test Model 15 (HM 15) Encoder Description", Joint Collaborative Team on Video Coding (JCT-VC) documento JCTVC-Q1002, marzo de 2014,

Documento US 2009/297053 A1: generar una imagen pseudo decodificada a partir de la imagen original en lugar de la imagen decodificada para realizar la etapa de selección de modo de intrapredicción. Para considerar efectos de cuantificación, se proporcionan varias opciones para modificar los píxeles originales para generar la imagen pseudo decodificada, por ejemplo usando transformación de Hadamard y/o cuantificación.

Documento WO 2012/111208 A1: uso de la imagen original en lugar de la imagen decodificada para realizar la etapa de selección de modo de intrapredicción. Usar pesos para los píxeles de referencia que dependen del parámetro de cuantificación.

SEIJI MOCHIZUKI ET AL: "A low power and high picture quality H.264/MPEG-4 video codec IP for HD mobile applications", 2007 IEEE ASIAN SOLID-STATE CIRCUITS CONFERENCE IEEE PISCATAWAY, NJ, Estados Unidos, 1 de noviembre de 2007 (01-11-2007), páginas 176-179:

Generar una imagen pseudo decodificada a partir de la imagen original en lugar de la imagen decodificada para realizar la etapa de selección de modo de intrapredicción. La imagen pseudo-decodificada se genera cuantificando la imagen original.

TAKAFUMI BANDO; NAOYUKI HIRAI; TIAN SONG; TAKASHI SHIMAMOTO: "New Prediction Modes for Parallel Processing of H.264/AVC", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON MULTIMEDIA AND SIGNAL PROCESSING (CMSP' 11 de mayo de 2011 (05-2011), páginas 344-347:

Generar una imagen pseudo decodificada a partir de la imagen original en lugar de la imagen decodificada para realizar la etapa de selección de modo de intrapredicción. Para generar la imagen pseudo decodificada se usa la imagen de referencia ya decodificada anterior.

Sumario de la invención

Problemas a resolver por la invención

En la técnica desvelada en el documento no de patente 1, se generan píxeles de la seudoimagen intra prevista usando los píxeles de la imagen original o los píxeles obtenidos aplicando un filtro fijo a los píxeles de la imagen original como píxeles de una imagen de referencia de la intrapredicción.

Sin embargo, cuando únicamente se usan los píxeles de la imagen original o únicamente los píxeles obtenidos aplicando el filtro fijo a los píxeles de la imagen original, existe un problema en que no se usan un tamaño de etapa de cuantificación, un modo de predicción seleccionado, y similares, que se considera que tienen una influencia en una imagen decodificada original, y por lo tanto no puede realizarse predicción correcta y cálculo de coste correcto.

La presente invención se ha realizado en vista de tales circunstancias, y un objeto de la misma es proporcionar un método de codificación de imágenes, un aparato de codificación de imágenes, y un programa de codificación de imágenes que pueden reducir la complejidad computacional en intrapredicción de un proceso de optimización de codificación.

Medios para resolver los problemas

Un aspecto de la presente invención es un aparato de codificación de imágenes que incluye: una unidad de generación de píxel de referencia que genera píxeles de referencia a partir de píxeles previstos de píxeles vecinos y píxeles de una imagen original para direcciones de intrapredicción; una unidad de generación de seudopíxel intraprevisto que genera seudopíxeles intraprevistos a partir de los píxeles de referencia y las direcciones de intrapredicción; una unidad de cálculo de coste de codificación que calcula costes de codificación para las direcciones de intrapredicción a partir de errores entre los seudopíxeles intraprevistos y los píxeles de la imagen original y las cantidades de bits generados cuando se generan los seudopíxeles intraprevistos; y una unidad de establecimiento de dirección de intrapredicción que establece una dirección de intrapredicción que corresponde al coste de codificación más bajo entre los costes de codificación como una dirección de intrapredicción óptima.

Un aspecto de la presente invención es un aparato de codificación de imágenes que incluye: una unidad de determinación de modo de salto que determina si un modo de predicción de píxeles previstos de píxeles vecinos para una dirección de intrapredicción es un modo de salto; una unidad de generación de píxel intraprevisto/seudopíxel intraprevisto que establece los píxeles previstos de los píxeles vecinos como píxeles de referencia y genera píxeles intraprevistos a partir de los píxeles de referencia si un resultado de determinación de la unidad de determinación de modo de salto es el modo de salto, y genera los píxeles de referencia a partir de los píxeles previstos de los píxeles vecinos y píxeles de una imagen original y genera seudopíxeles intraprevistos a partir de los píxeles de referencia generados y direcciones de intrapredicción si el resultado de la determinación es un modo distinto del modo de salto; una unidad de cálculo de coste de codificación que calcula costes de codificación para direcciones de intrapredicción a partir de errores entre los píxeles intraprevistos o los seudopíxeles intraprevistos y los píxeles de la imagen original y cantidades de bits generados cuando se generan los píxeles intraprevistos o los seudopíxeles intraprevistos; y una unidad de establecimiento de dirección de intrapredicción que establece una dirección de intrapredicción que corresponde al coste de codificación más bajo entre los costes de codificación como una dirección de intrapredicción óptima.

Un aspecto de la presente invención es un aparato de codificación de imágenes que incluye: una unidad de generación de coeficiente de ponderación que genera coeficientes de ponderación que se usan cuando se genera una seudoimagen intra prevista a partir de un tamaño de etapa de cuantificación de píxeles previstos de píxeles vecinos para una dirección de intrapredicción; una unidad de generación de seudopíxel intraprevisto que genera píxeles de referencia usando los coeficientes de ponderación a partir de los píxeles previstos de los píxeles vecinos y píxeles de una imagen original, y genera seudopíxeles intraprevistos a partir de los píxeles de referencia y direcciones de intrapredicción; una unidad de cálculo de coste de codificación que calcula costes de codificación para las direcciones de intrapredicción a partir de errores entre los seudopíxeles intraprevistos y los píxeles de la imagen original y las cantidades de bits generados cuando se generan los seudopíxeles intraprevistos; y una unidad de establecimiento de dirección de intrapredicción que establece una dirección de intrapredicción que corresponde al coste de codificación más bajo entre los costes de codificación como una dirección de intrapredicción óptima.

En los aparatos de codificación de imágenes, puede compararse un coste de codificación para una dirección de intrapredicción establecido en unidades de bloques con un coste de codificación para un modo distinto de un modo de intrapredicción, y puede realizarse intrapredicción de nuevo usando una imagen decodificada vecina en un bloque en el que el coste de codificación para dirección de intrapredicción óptimo es menor.

Un aspecto de la presente invención es un método de codificación de imágenes que incluye: una etapa de generación de píxel de referencia de generación de píxeles de referencia a partir de píxeles previstos de píxeles vecinos y píxeles de una imagen original para direcciones de intrapredicción; una etapa de generación de seudopíxel intraprevisto de generación de seudopíxeles intraprevistos a partir de los píxeles de referencia y las direcciones de intrapredicción; una etapa de cálculo de coste de codificación de cálculo de costes de codificación para las direcciones de intrapredicción a partir de errores entre los seudopíxeles intraprevistos y los píxeles de la imagen original y cantidades de bits generados cuando se generan los seudopíxeles intraprevistos; y una etapa de establecimiento de dirección de intrapredicción de establecimiento de una dirección de intrapredicción que corresponde al coste de codificación más bajo entre los costes de codificación como una dirección de intrapredicción óptima.

Un aspecto de la presente invención es un programa de codificación de imágenes para provocar que un ordenador ejecute el método de codificación de imágenes.

Efectos ventajosos de la invención

De acuerdo con la presente invención, es posible reducir la complejidad computacional de codificación. En particular, de acuerdo con la presente invención, puede obtenerse un efecto ventajoso que es posible reducir la complejidad computacional en la intrapredicción del proceso de optimización de codificación.

Breve descripción de los dibujos

La Figura 1 es un diagrama de bloques que ilustra una configuración de un aparato de codificación de imágenes al que se aplica la presente invención.

La Figura 2 es un diagrama de bloques que ilustra una configuración detallada de una unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 1.

La Figura 3 es un diagrama esquemático que describe una seudoimagen intra prevista y una seudoimagen decodificada.

La Figura 4 es un diagrama de flujo que ilustra una operación de un proceso de intrapredicción que usa una seudoimagen decodificada en la unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 2.

La Figura 5 es un diagrama de flujo que ilustra una operación de un proceso de determinación de división de CU y un modo de predicción en una LCU de acuerdo con un proceso convencional.

La Figura 6 es un diagrama de flujo que ilustra una operación de un proceso de determinación de división de CU y un modo de predicción en una LCU de acuerdo con una primera realización.

La Figura 7 es un diagrama de flujo que ilustra una operación de un proceso de intrapredicción que usa una seudoimagen decodificada en la unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 2.

La Figura 8 es un diagrama de flujo que ilustra una operación de un proceso de intrapredicción que usa una seudoimagen decodificada en la unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 2.

La Figura 9 es un diagrama de flujo que ilustra una operación de un proceso de cálculo de una dirección correcta de intrapredicción en una unidad de establecimiento de dirección de intrapredicción 1013 ilustrada en la Figura 2 La Figura 10 es un diagrama de flujo que ilustra una operación de un proceso de determinación de división de CU y un modo de predicción en una LCU de acuerdo con una cuarta realización.

La Figura 11 es un diagrama que ilustra un ejemplo de división de una instantánea (imagen).

La Figura 12A es un diagrama que ilustra un ejemplo de opciones de división en PU.

La Figura 12B es un diagrama que ilustra un ejemplo de opciones de división en PU.

La Figura 13 es un diagrama de flujo que ilustra una operación de un proceso de cálculo de coste de codificación para una determinación de formas de PU divididas en una CU.

La Figura 14 es un diagrama de flujo que ilustra una operación de un proceso de cálculo de coste de codificación para una determinación de un tamaño de división de CU en una LCU.

La Figura 15 es un diagrama de flujo que ilustra una operación de un proceso de optimización de codificación. La Figura 16 es un diagrama de flujo que ilustra una operación de un procedimiento para determinar una dirección de predicción óptima de intrapredicción.

Modos para llevar a cabo la invención

En lo sucesivo, se describirá un aparato de codificación de imágenes al que se aplica la presente invención con referencia a los dibujos. La Figura 1 es un diagrama de bloques que ilustra una configuración del aparato de codificación de imágenes al que se aplica la presente invención. El aparato de codificación de imágenes 100 incluye una unidad de procesamiento de intrapredicción 101, una unidad de procesamiento de inter predicción 102, una unidad de generación de señal de predicción residual (unidad de adición) 103, una unidad de procesamiento de transformada 104, una unidad de procesamiento de cuantificación 105, una unidad de procesamiento de cuantificación inversa 106, una unidad de procesamiento de transformada inversa 107, una unidad de generación de señal decodificada (unidad de adición) 108, una memoria de fotograma 109, una unidad de procesamiento de filtro de desbloqueo 110, una unidad de almacenamiento de información de inter predicción 111, una unidad de almacenamiento de información de intrapredicción 112, y una unidad de procesamiento de codificación por entropía 113. Puesto que la configuración del aparato de codificación de imágenes 100 ilustrada en la Figura 1 es equivalente a un bloque de proceso de codificación de vídeo de la HEVC y es una configuración conocida como se describe en los documentos no de patente 2 y 3

A continuación, se describirá una configuración detallada de la unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 1 con referencia a la Figura 2. La Figura 2 es un diagrama de bloques que ilustra la configuración detallada de la unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 1. En la Figura 2, el número de referencia 1011 indica una unidad de generación de seudoimagen intra prevista que genera una seudoimagen intra prevista. El número de referencia 1012 indica una unidad de cálculo de coste de codificación que calcula un coste de codificación. El número de referencia 1013 indica una unidad de establecimiento de dirección de intrapredicción que establece una dirección de intrapredicción. La unidad de procesamiento de intrapredicción 101 usa píxeles obtenidos usando píxeles previstos de píxeles vecinos y píxeles de una imagen original, en lugar de píxeles decodificados, como píxeles de referencia de intrapredicción.

En este punto, se describirá una seudoimagen intra prevista y una seudoimagen decodificada con referencia a la Figura 3. La Figura 3 ilustra un caso en el que un coste de codificación de un subbloque en la esquina superior izquierda en un bloque objetivo de codificación ya se ha calculado, y un coste de codificación de un subbloque en el lado derecho del mismo es un objetivo de cálculo. El coste de codificación del subbloque en la esquina superior izquierda ya se ha calculado, pero una forma de bloque del mismo no se ha determinado definitivamente, y por lo tanto no se genera una imagen decodificada. Por lo tanto, no quedan píxeles decodificados vecinos usados para la intrapredicción. Por consiguiente, se usa una seudoimagen decodificada generada a partir de una imagen de referencia (que corresponde a los "píxeles previstos de los píxeles vecinos" anteriormente descritos) y la imagen original (que corresponde a los "píxeles de referencia" en "píxeles de referencia obtenidos usando los píxeles previstos de los píxeles vecinos y los píxeles de la imagen original" que se van a describir a continuación), en lugar de los píxeles decodificados izquierdos vecinos, para generar una seudoimagen intra prevista desde la seudoimagen decodificada y la dirección de intrapredicción. Se ha de observar que se genera una imagen decodificada real a una temporización después de que se determinan formas de bloques divididos de todo el bloque objetivo de decodificación (por ejemplo, véanse las Figuras 6 y 10).

La presente invención se define en las reivindicaciones independientes. La divulgación propicia para la invención se halla en la tercera realización. Las realizaciones restantes han de entenderse como ejemplos que no describen partes de la presente invención.

<Primera realización>

A continuación, una operación de un proceso de intrapredicción usando una seudoimagen decodificada de acuerdo con una primera realización de la presente invención se describirá con referencia a la Figura 4. La Figura 4 es un diagrama de flujo que ilustra la operación del proceso de intrapredicción usando la seudoimagen decodificada en la unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 2. La unidad de generación de seudoimagen intra prevista 1011 repite un proceso en las etapas S1 a S4 que se va a describir a continuación mientras se selecciona una dirección de intrapredicción (etapa S0). En primer lugar, la unidad de generación de seudoimagen intra prevista 1011 genera seudopíxeles intraprevistos a partir de píxeles de referencia determinados usando píxeles previstos de píxeles vecinos y píxeles de una imagen original, y la dirección de intrapredicción (etapa S1). Por ejemplo, la unidad de generación de seudoimagen intra prevista 1011 genera valores promedio de valores de píxel de los píxeles previstos de los píxeles vecinos y valores de píxel de píxeles co-localizados de la imagen original como los valores de píxel del píxeles de referencia.

A continuación, la unidad de generación de seudoimagen intra prevista 1011 calcula un error entre los seudopíxeles intraprevistos generados y los píxeles de la imagen original (etapa S2). La unidad de generación de seudoimagen intra prevista 1011 calcula una cantidad de bits generados resultantes de la generación de los seudopíxeles intraprevistos (etapa S3).

A continuación, la unidad de cálculo de coste de codificación 1012 calcula un coste de codificación para cada dirección de intrapredicción (etapa S4). Después de seleccionar todas las direcciones de intrapredicción, la unidad de establecimiento de dirección de intrapredicción 1013 a continuación establece la dirección de intrapredicción en la que el coste de codificación es el más bajo como una dirección de intrapredicción óptima (etapa S5).

En intrapredicción cuando se acelera un proceso de optimización de codificación, se usan píxeles decodificados para cálculo del coste de codificación, y por lo tanto es necesario realizar de manera secuencial decodificación de píxeles vecinos al determinar un tamaño de subbloque apropiado y un modo de predicción apropiado. En contraste, en la presente realización, los seudopíxeles intraprevistos se generan a partir de los píxeles de referencia obtenidos usando los píxeles previstos vecinos y los píxeles de la imagen original, en lugar de los píxeles decodificados vecinos, y se calcula el coste para cada dirección de predicción de intrapredicción. Por consiguiente, puesto que se deriva un coste de predicción apropiado sin realizar el proceso de decodificación, es posible realizar reducción de la complejidad computacional mientras se suprime la degradación de eficacia de codificación en el proceso de optimización de codificación.

A continuación, se describirá un objetivo para reducción en cálculo de acuerdo con la primera realización con referencia a las Figuras 5 y 6.

La Figura 5 es un diagrama de flujo que ilustra una operación de un proceso de determinación de división de CU y un modo de predicción en una LCU en el proceso convencional. En primer lugar, se genera una imagen intra prevista en cada modo de predicción usando píxeles codificados vecinos (etapa S11). A continuación, se calcula un error entre píxeles de la imagen intra-prevista y los píxeles de la imagen original (etapa S12). A continuación, se calcula una cantidad de bits generados (etapa S13), y se calcula un coste de codificación a partir del error y de la cantidad de bits generados (etapa S14). Las etapas S11 a S14 se repiten para todos los modos de predicción. A continuación, se determina el modo de predicción en el que el coste de codificación es el más bajo como un modo de predicción de cada tamaño de CU (etapa S15). A continuación, se genera una imagen decodificada de acuerdo con el modo de predicción determinado (etapa S16). Las etapas S11 a S16 se repiten para todos los tamaños de CU. Finalmente, se obtiene una combinación de CU divididas en las que el coste de codificación es el más bajo, y se determina una forma de división de LCU (etapa S17).

La Figura 6 es un diagrama de flujo que ilustra una operación de un proceso de determinación de división de CU y un modo de predicción en una LCU de acuerdo con la presente realización. En primer lugar, se generan seudopíxeles intraprevistos en cada modo de predicción a partir de píxeles de referencia que se obtienen usando píxeles previstos de píxeles vecinos y píxeles de una imagen original y un modo de predicción (etapa S21). A continuación, se calcula un error entre píxeles de una seudoimagen intra prevista generada y los píxeles de la imagen original (etapa S22). A continuación, se calcula una cantidad de bits generados (etapa S23), y se calcula un coste de codificación a partir del error y de la cantidad de bits generados (etapa S24). Las etapas S21 a S24 se repiten para todos los modos de predicción. A continuación, se determina el modo de predicción en el que el coste de codificación es el más bajo como un modo de predicción de cada tamaño de CU (etapa S25). Las etapas S21 a S25 se repiten para todos los tamaños de CU. A continuación, se obtiene una combinación de CU divididas en las que el coste de codificación es el más bajo, y se determina una forma de división de LCU (etapa S26). Finalmente, se genera una imagen decodificada de acuerdo con la forma de división de LCU determinada (etapa S27).

En el proceso convencional, es necesario generar píxeles decodificados para cada tamaño de CU, como se muestra en la etapa S16 de la Figura 5. En contraste, en la presente realización, no es necesario usar píxeles decodificados vecinos en cada intrapredicción, y por lo tanto es suficiente que se realice la generación de píxeles decodificados únicamente una vez para una LCU como se muestra en la etapa S27 de la Figura 6. Por consiguiente, se reduce la complejidad computacional.

<Segunda realización>

A continuación, una operación de un proceso de intrapredicción usando una seudoimagen decodificada de acuerdo con una segunda realización de la presente invención se describirá con referencia a la Figura 7. La Figura 7 es un diagrama de flujo que ilustra un proceso de operación de la intrapredicción que usa la seudoimagen decodificada en la unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 2. En el proceso ilustrado en la Figura 7, cuando se generan los píxeles de referencia usando los píxeles previstos de los píxeles vecinos y los píxeles de la imagen original, se usan píxeles obtenidos en consideración de un modo de predicción de los píxeles previstos de los píxeles vecinos. La unidad de generación de seudoimagen intra prevista 1011 repite un proceso en las etapas S32 a S37 que se va a describir a continuación mientras se selecciona una dirección de intrapredicción (etapa S31). En primer lugar, la unidad de generación de seudoimagen intra prevista 1011 determina si el modo de predicción de los píxeles previstos de los píxeles vecinos es un modo de salto (etapa S32). Como resultado de esta determinación, "si el modo de predicción de los píxeles previstos de los píxeles vecinos es un modo de salto", la unidad de generación de seudoimagen intra prevista 1011 genera píxeles intraprevistos usando píxeles previstos del modo de salto (etapa S33).

En contraste, "si el modo de predicción de los píxeles previstos de los píxeles vecinos es un modo distinto del modo de salto (un modo de intrapredicción o un modo de inter predicción)", la unidad de generación de seudoimagen intra prevista 1011 genera seudopíxeles intraprevistos a partir de píxeles de referencia obtenidos usando los píxeles previstos del modo de salto y los píxeles de la imagen original, y la dirección de intrapredicción (etapa S34). Por ejemplo, la unidad de generación de seudoimagen intra prevista 1011 genera valores promedio de valores de píxel de los píxeles previstos de los píxeles vecinos y valores de píxel de píxeles co-localizados de la imagen original como los valores de píxel del píxeles de referencia.

A continuación, la unidad de generación de seudoimagen intra prevista 1011 calcula un error entre los píxeles intraprevistos generados o seudopíxeles intraprevistos y los píxeles de la imagen original (etapa S35). A continuación, la unidad de generación de seudoimagen intra prevista 1011 calcula una cantidad de bits generados resultantes de la generación de los píxeles intraprevistos o los seudopíxeles intraprevistos (etapa S36).

A continuación, la unidad de cálculo de coste de codificación 1012 calcula un coste de codificación para cada dirección de intrapredicción (etapa S37). A continuación, la unidad de establecimiento de dirección de intrapredicción 1013 establece la dirección de intrapredicción en la que el coste de codificación es el más bajo como una dirección de intrapredicción óptima (etapa S38).

En la intrapredicción cuando se acelera el proceso de optimización de codificación, se usan píxeles decodificados para cálculo del coste de codificación, y por lo tanto es necesario realizar de manera secuencial decodificación de píxeles vecinos al determinar un tamaño de subbloque apropiado y un modo de predicción apropiado. En contraste, en la presente realización, los píxeles previstos de los píxeles vecinos se conmutan de acuerdo con el modo de predicción para los píxeles vecinos, y los píxeles conmutados se usan como los seudopíxeles intraprevistos, en lugar de usar los píxeles decodificados vecinos. Por lo tanto, se deriva un coste de predicción apropiado sin realizar el proceso de decodificación, y por lo tanto es posible realizar reducción de la complejidad computacional mientras se suprime la degradación de eficacia de codificación en el proceso de optimización de codificación.

Se ha de observar que en la etapa S33 (si el modo de predicción de los píxeles previstos de los píxeles vecinos es el modo de salto), los píxeles previstos del modo de salto son píxeles decodificados, y por lo tanto la imagen prevista se indica como una "imagen intra prevista" en lugar de una "seudoimagen intra prevista".

<Tercera realización>

A continuación, una operación de un proceso de intrapredicción usando una seudoimagen decodificada de acuerdo con una tercera realización de la presente invención se describirá con referencia a la Figura 8. La Figura 8 es un diagrama de flujo que ilustra la operación del proceso de intrapredicción usando la seudoimagen decodificada en la unidad de procesamiento de intrapredicción 101 ilustrada en la Figura 2. El proceso ilustrado en la Figura 8 usa píxeles obtenidos en consideración de un tamaño de etapa de cuantificación de píxeles vecinos cuando se usan los píxeles previstos de los píxeles vecinos y píxeles de una imagen original. La unidad de generación de seudoimagen intra prevista 1011 repite un proceso en las etapas S42 a S46 que se va a describir a continuación mientras se selecciona una dirección de intrapredicción (etapa S41). En primer lugar, la unidad de generación de seudoimagen intra prevista 1011 determina coeficientes de ponderación de seudopíxeles intraprevistos a partir del tamaño de etapa de cuantificación de los píxeles vecinos (etapa S42). Por ejemplo, se determinan los coeficientes de ponderación ajustando los coeficientes de ponderación de modo que un peso para un píxel previsto de un píxel vecino es mayor que un peso para un píxel de la imagen original cuando el tamaño de etapa de cuantificación es grande. Además, se determinan los coeficientes de ponderación ajustando los coeficientes de ponderación de modo que un peso para un píxel de la imagen original es mayor que un peso para un píxel previsto de un píxel vecino cuando el tamaño de etapa de cuantificación es pequeño.

A continuación, la unidad de generación de seudoimagen intra prevista 1011 genera píxeles de referencia a partir de los píxeles previstos de los píxeles vecinos y los píxeles de la imagen original usando los coeficientes de ponderación, y genera los seudopíxeles intraprevistos para cada dirección de intrapredicción a partir de los píxeles de referencia generados y la dirección de intrapredicción (etapa S43). Posteriormente, la unidad de generación de seudoimagen intra prevista 1011 calcula un error entre los seudopíxeles intraprevistos generados y los píxeles de la imagen original (etapa S44). A continuación, la unidad de generación de seudoimagen intra prevista 1011 calcula una cantidad de bits generados resultantes de la generación de los seudopíxeles intraprevistos (etapa S45).

A continuación, la unidad de cálculo de coste de codificación 1012 calcula un coste de codificación para cada dirección de intrapredicción (etapa S46). A continuación, la unidad de establecimiento de dirección de intrapredicción 1013 establece la dirección de intrapredicción en la que el coste de codificación es el más bajo como una dirección de intrapredicción óptima (etapa S47).

En la intrapredicción cuando se acelera el proceso de optimización de codificación, los píxeles decodificados se usan para el cálculo del coste de codificación, y por lo tanto es necesario realizar de manera secuencial decodificación de los píxeles vecinos al determinar un tamaño de subbloque apropiado y un modo de predicción apropiado. En contraste, en la presente realización, los seudopíxeles intraprevistos se derivan a partir de los píxeles de referencia obtenidos como una suma ponderada de los píxeles previstos vecinos y los píxeles de la imagen original basándose en el tamaño de etapa de cuantificación de los píxeles decodificados vecinos, en lugar de los píxeles decodificados vecinos, y la dirección de intrapredicción, y se usan. Por consiguiente, puesto que se deriva un coste de codificación apropiado sin realizar el proceso de decodificación, es posible realizar reducción de la complejidad computacional mientras se suprime la degradación de eficacia de codificación en el proceso de optimización de codificación.

<Cuarta realización>

A continuación, una operación de un proceso de cálculo de una dirección correcta de intrapredicción de acuerdo con una cuarta realización de la presente invención se describirá con referencia a la Figura 9. La Figura 9 es un diagrama de flujo que ilustra la operación del proceso de cálculo de la dirección correcta de la intrapredicción en la unidad de establecimiento de dirección de intrapredicción 1013 ilustrada en la Figura 2. En el proceso ilustrado en la Figura 9, los seudopíxeles intraprevistos y el coste de codificación de los mismos calculados en la primera a tercera realizaciones se usan únicamente para una determinación del modo de predicción, y si el modo de predicción óptimo de un subbloque es un modo de intrapredicción, se calcula la dirección correcta de intrapredicción usando píxeles decodificados originales como píxeles de referencia de nuevo después de que se determina de manera definitiva un tamaño de subbloque. En primer lugar, la unidad de generación de seudoimagen intra prevista 1011 genera seudopíxeles intraprevistos a partir de píxeles de referencia obtenidos usando píxeles previstos de píxeles vecinos y píxeles de una imagen original, y una dirección de intrapredicción (etapa S51). Posteriormente, la unidad de cálculo de coste de codificación 1012 calcula un coste de codificación para cada dirección de intrapredicción basándose en los seudopíxeles intraprevistos generados (etapa S52).

A continuación, la unidad de establecimiento de dirección de intrapredicción 1013 establece una dirección en la que el coste de codificación es el más bajo como una dirección de intrapredicción provisional (etapa S53). La unidad de establecimiento de dirección de intrapredicción 1013 compara costes de codificación para modos de predicción para determinar el modo de predicción (etapa S54). A continuación, la unidad de establecimiento de dirección de intrapredicción 1013 determina formas de bloques divididos (etapa S55).

A continuación, la unidad de establecimiento de dirección de intrapredicción 1013 determina si hay un subbloque para el que se selecciona el modo de intrapredicción como el modo de predicción (etapa S56). Si hay un subbloque para el que se selecciona el modo de intrapredicción como el modo de predicción, la unidad de establecimiento de dirección de intrapredicción 1013 calcula píxeles decodificados reales para únicamente el subbloque, realiza la intrapredicción de nuevo, y almacena su resultado como la dirección de intrapredicción del subbloque (etapa S57).

En la intrapredicción cuando se acelera el proceso de optimización de codificación, los píxeles decodificados se usan para cálculo del coste de codificación, y por lo tanto es necesario realizar de manera secuencial decodificación de píxeles vecinos al determinar un tamaño de subbloque apropiado y un modo de predicción apropiado. En contraste, en la presente realización, los seudopíxeles intraprevistos se derivan a partir de los píxeles de referencia obtenidos usando los píxeles previstos vecinos y los píxeles de la imagen original y la dirección de intrapredicción, en lugar de los píxeles decodificados vecinos, y se usan para determinar el tamaño de subbloque y el modo de predicción óptimo. Por consiguiente, se deriva un coste de codificación apropiado sin realizar el proceso de decodificación. Además, en la presente realización, después de que se determina el tamaño de subbloque, se realiza cálculo de la dirección de intrapredicción de nuevo en únicamente el subbloque en el que la intrapredicción es óptima. Por consiguiente, es posible realizar intrapredicción más apropiada sin aumentar un proceso de decodificación innecesario. Por lo tanto, en la presente realización, es posible realizar la mejora de eficacia de codificación mientras se suprime un aumento en la complejidad computacional de codificación, en comparación con los procesos de la primera a tercera realizaciones.

Una diferencia entre la cuarta realización y la primera a tercera realizaciones se describirá con referencia a las Figuras 6 y 10. La Figura 10 es un diagrama de flujo que ilustra una operación de un proceso de determinación de división de CU y un modo de predicción en una LCU en la cuarta realización. Se ha de observar que un proceso en las etapas S61 a S66, y S69 es el mismo que el de las etapas S21 a S27 ilustradas en la Figura 6. Puesto que se usa un resultado de intrapredicción para determinar el modo de predicción óptimo, la forma de división, y el tamaño de división como está en la primera a tercera realizaciones, existe una posibilidad de que no se seleccione una dirección de intrapredicción apropiada cuando el modo de predicción óptimo para un subbloque es un modo de intrapredicción. Sin embargo, en la cuarta realización, después de que se determinan las formas de los bloques divididos, se determina si hay o no un subbloque para el que se selecciona el modo de intrapredicción como el modo de predicción (etapa S67), y únicamente si el modo de predicción óptimo es el modo de intrapredicción, la dirección de intrapredicción se obtiene usando los píxeles decodificados de nuevo, como en la etapa S68 de la Figura 10. Por lo tanto, en la cuarta realización, es posible realizar intrapredicción más apropiada mientras se suprime un aumento en la complejidad computacional de codificación, en comparación con la primera a tercera realizaciones.

A continuación, se describirá un ejemplo de un caso en el que se aplica una combinación de la primera realización y la segunda realización a la operación de proceso ilustrada en la Figura 13. En primer lugar, una imagen de entrada se divide en LCU de 64x64 píxeles (en lo sucesivo, LCU de 64x64) (proceso 1). A continuación, se calculan costes de codificación para modos de predicción que incluyen el modo de inter predicción y el modo de salto para una CU que tiene un tamaño de NxN en la esquina superior izquierda en la LCU superior izquierda usando una trama codificada, y se almacenan el modo en el que el coste de codificación es el más bajo y su coste de codificación C1 (proceso 2).

A continuación, para obtener un coste de codificación en intrapredicción de la CU que tiene un tamaño de NxN, se generan píxeles de referencia de acuerdo con un modo de predicción para píxeles vecinos del mismo (proceso 3). A continuación, si el modo de predicción para los píxeles vecinos es un modo de salto, se aplica un filtro de acuerdo con la dirección de la intrapredicción a píxeles previstos de los píxeles vecinos para generar píxeles intraprevistos de la CU objetivo de codificación (proceso 3-1). En contraste, si el modo de predicción para los píxeles vecinos es un modo distinto del modo de salto, se calculan valores promedio de los píxeles previstos de los píxeles vecinos y píxeles co-localizados de la imagen original para obtener los píxeles de referencia, y un filtro de acuerdo con la dirección de la inter predicción a valores de píxel de los mismos para generar seudopíxeles intraprevistos de la CU objetivo de codificación (proceso 3-2).

A continuación, se realiza el proceso 3 para cada dirección de intrapredicción, se compara el coste de codificación más bajo C2 con el coste de codificación C1, se almacenan la dirección de intrapredicción y el coste de codificación si el coste de codificación C2 es menor, y se almacena el coste de codificación C1 directamente como el coste de codificación C2 si el coste de codificación C1 es menor (proceso 4). Es decir, un proceso de bucle continúa de modo que un valor mínimo se almacena como el coste de codificación C2.

Los procesos 2 a 4 se realizan de manera repetitiva para los tamaños de CU 8x8 a 64x64, y los modos de predicción óptimos y sus costes de codificación se calculan para las CU que tienen todos los tamaños en la LCU superior izquierda (proceso 5). A continuación, se compara un coste de codificación de una CU de 16x16 píxeles (en lo sucesivo, una 16x16 CU) en la esquina superior izquierda con una suma de costes de codificación de cuatro CU de 8x8 píxeles (en lo sucesivo, 8x8 CU) en la misma, se selecciona la CU de la cual el coste de codificación es menor como la CU óptima, y se almacena información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 6). El proceso 6 se repite a continuación para cada CU de 16x16 (proceso 7).

A continuación, se compara un coste de codificación de una CU de 32x32 píxeles (en lo sucesivo, una CU de 32x32) en la esquina superior izquierda con una suma de costes de codificación de cuatro CU de 16x16 en la misma. En este caso, el coste de codificación de la CU óptima seleccionada en el proceso 6 se usa como el coste de codificación de las CU de 16x16. La CU de la cual el coste de codificación es menor se selecciona como la CU óptima basándose en el resultado de la comparación, y se almacenan la información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 8). El proceso 8 se repite para cada 32x32 CU (proceso 9).

A continuación, se compara un coste de codificación de una CU de 64x64 píxeles (en lo sucesivo, una CU de 64x64) con una suma de costes de codificación de cuatro CU de 32x32 en las misma. En este caso, el coste de codificación de la CU óptima seleccionada en el proceso 8 se usa como el coste de codificación de las CU de 32x32. La CU de la cual el coste de codificación es menor se selecciona como la CU óptima basándose en el resultado de la comparación, y se almacenan la información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 10). A continuación, los procesos 2 a 10 se repiten para cada LCU (proceso 11).

A continuación, se describirá un ejemplo de un caso en el que se aplica una combinación de la segunda realización y la tercera realización a la operación de proceso ilustrada en la Figura 13. En primer lugar, se divide una imagen de entrada en LCU de 64x64 (proceso 21). A continuación, se calculan costes de codificación para modos de predicción que incluyen el modo de inter predicción y el modo de salto para una CU que tiene un tamaño de NxN en la esquina superior izquierda en la LCU superior izquierda usando una trama codificada, y se almacenan el modo en el que el coste de codificación es el más bajo y su coste de codificación C1 (proceso 22).

A continuación, para obtener un coste de codificación en intrapredicción de la CU que tiene un tamaño de NxN, se generan píxeles de referencia de acuerdo con un modo de predicción para píxeles vecinos (proceso 23). Si el modo de predicción para los píxeles vecinos es un modo de salto, se aplica un filtro de acuerdo con la dirección de la intrapredicción a píxeles previstos de los píxeles vecinos para generar píxeles intraprevistos de la CU objetivo de codificación (proceso 23-1). En contraste, si el modo de predicción para los píxeles vecinos es un modo distinto del modo de salto, se calcula una suma ponderada basándose en un tamaño de etapa de cuantificación de los píxeles vecinos para los píxeles previstos de los píxeles vecinos y píxeles co-localizados de la imagen original para obtener los píxeles de referencia, y se aplica un filtro de acuerdo con la dirección de la intrapredicción a sus valores de píxel para generar seudopíxeles intraprevistos de la CU objetivo de codificación (proceso 23-2). Un método para calcular la suma ponderada es como sigue.

Si el modo de predicción para los píxeles vecinos es el modo de intrapredicción,

P(x, y) = (1- (a-1)/(N-1)x1/2)O(x, y)+((a-1)/(N-1)x1/2)xR(x, y)

Si el modo de predicción para los píxeles vecinos es el modo de inter predicción,

P(x, y) = (1- (a-1)/(N-1)x2/3)O(x, y)+((a-1)/(N-1)x2/3)xR(x, y)

En este punto,

O(x, y): el píxel de la imagen original

R(x, y): el píxel de referencia

P(x, y): el seudopíxel intraprevisto

a: el tamaño de etapa de cuantificación (= 1, ..., N)

N: un valor máximo del tamaño de etapa de cuantificación.

El proceso 23 se realiza para cada dirección de intrapredicción, el coste de codificación más bajo C2 se compara con el coste de codificación C1, se almacenan la dirección de intrapredicción y el coste de codificación si el coste de codificación C2 es menor, y se almacena el coste de codificación C1 directamente como el coste de codificación C2 si el coste de codificación C1 es menor (proceso 24). Los procesos 22 a 24 se realizan de manera repetitiva para tamaños de CU 8x8 a 64x64, y se calcula el modo de predicción óptimo y su coste de codificación para las CU que tienen todos los tamaños en la LCU superior izquierda (proceso 25).

A continuación, se compara un coste de codificación de una CU de 16x16 en la esquina superior izquierda con una suma de costes de codificación de cuatro CU de 8x8 en la misma, la CU de la cual el coste de codificación es menor se selecciona como la CU óptima, y se almacena la información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 26). A continuación, el proceso 26 se repite para cada CU de 16x16 (proceso 27). A continuación, se compara un coste de codificación de una CU de 32x32 en la esquina superior izquierda con una suma de costes de codificación de cuatro CU de 16x16 en la misma. En este caso, el coste de codificación de la CU óptima seleccionada en el proceso 26 se usa como el coste de codificación de las CU de 16x16. La CU de la cual el coste de codificación es menor se selecciona como la CU óptima basándose en el resultado de la comparación, y se almacenan la información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 28). A continuación, el proceso 28 se repite para cada CU de 32x32 (proceso 29). A continuación, se compara un coste de codificación de una CU de 64x64 CU con una suma de costes de codificación de cuatro CU 32x32 en la misma. En este caso, el coste de codificación de la CU óptima seleccionada en el proceso 28 se usa como el coste de codificación de las CU de 32x32. La CU de la cual el coste de codificación es menor se selecciona como la CU óptima basándose en el resultado de la comparación, y se almacenan la información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 30). A continuación, los procesos 22 a 30 se repiten para cada LCU (proceso 31).

A continuación, se describirá un ejemplo de un caso en el que se aplica una combinación de la segunda realización, la tercera realización, y la cuarta realización a la operación de proceso ilustrada en la Figura 13. En primer lugar, se divide una imagen de entrada en LCU de 64x64 (proceso 41). A continuación, se calculan costes de codificación para modos de predicción que incluyen el modo de inter predicción y el modo de salto para una CU que tiene un tamaño de NxN en la esquina superior izquierda en la lCu superior izquierda usando una trama codificada, y se almacenan el modo en el que el coste de codificación es el más bajo y su coste de codificación C1 (proceso 42). A continuación, para obtener un coste de codificación en intrapredicción de la CU que tiene un tamaño de NxN, se generan píxeles de referencia de acuerdo con un modo de predicción para píxeles vecinos (proceso 43). Si el modo de predicción para los píxeles vecinos es un modo de salto, se aplica un filtro de acuerdo con la dirección de la intrapredicción a los píxeles previstos de los píxeles vecinos para generar píxeles intraprevistos de la CU objetivo de codificación (proceso 43-1). En contraste, si el modo de predicción para los píxeles vecinos es un modo distinto del modo de salto, se calcula una suma ponderada basándose en un tamaño de etapa de cuantificación de los píxeles vecinos para píxeles previstos de los píxeles vecinos y píxeles co-localizados de la imagen original para obtener los píxeles de referencia, y se aplica un filtro de acuerdo con la dirección de la intrapredicción a sus valores de píxel para generar seudopíxeles intraprevistos de la CU objetivo de codificación (proceso 43-2). Un método para calcular la suma ponderada es como sigue.

Si el modo de predicción para los píxeles vecinos es el modo de intrapredicción,

P(x, y) = (1- (a-1)/(N-1)x1/2)O(x, y)+((a-1)/(N-1)x1/2)xR(x, y)

Si el modo de predicción para los píxeles vecinos es el modo de inter predicción,

P(x, y) = (1- (a-1)/(N-1)x2/3)O(x, y)+((a-1)/(N-1)x2/3)xR(x, y)

En este punto,

O(x, y): el píxel de la imagen original

R(x, y): el píxel de referencia

P(x, y): el seudopíxel intraprevisto

a: el tamaño de etapa de cuantificación (= 1, ..., N)

N: un valor máximo del tamaño de etapa de cuantificación.

A continuación, se realiza el proceso 43 para cada dirección de intrapredicción, se compara el coste de codificación más bajo C2 con el coste de codificación C1, se almacenan la dirección de intrapredicción y el coste de codificación si el coste de codificación C2 es menor, y se almacena el coste de codificación C1 directamente como el coste de codificación C2 si el coste de codificación C1 es menor (proceso 44). Los procesos 42 a 44 se realizan de manera repetitiva para tamaños de CU de 8x8 a 64x64, y los modos de predicción óptimos y sus costes de codificación para las CU que tienen todos los tamaños en la LCU superior izquierda (proceso 45).

A continuación, se compara un coste de codificación de una CU de 16x16 en la esquina superior izquierda con una suma de costes de codificación de cuatro CU de 8x8 en la misma, la CU de la cual el coste de codificación es menor se selecciona como la CU óptima, y se almacena la información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 46). A continuación, el proceso 46 se repite para cada CU de 16x16 (proceso 47).

A continuación, se compara un coste de codificación de una CU de 32x32 en la esquina superior izquierda con una suma de costes de codificación de cuatro CU de 16x16 en la misma. En este caso, el coste de codificación de la CU óptima seleccionada en el proceso 46 se usa como el coste de codificación de las CU de 16x16. La CU de la cual el coste de codificación es menor se selecciona como la CU óptima basándose en el resultado de la comparación, y se almacenan la información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 48). A continuación, el proceso 48 se repite para cada CU de 32x32 (proceso 49).

A continuación, se compara un coste de codificación de una CU de 64x64 CU con una suma de costes de codificación de cuatro CU 32x32 en la misma. En este caso, el coste de codificación de la CU óptima seleccionada en el proceso 48 se usa como el coste de codificación de las CU de 32x32. La CU de la cual el coste de codificación es menor se selecciona como la CU óptima basándose en el resultado de la comparación, y se almacenan la información de división de CU, y el modo de predicción y el coste de codificación de cada CU (proceso 50).

A continuación, si una CU en la que está incluido el modo de intrapredicción es el modo de predicción óptimo en las CU finalmente almacenadas en la LCU, se realiza de manera secuencial la decodificación de píxeles vecinos usando un tamaño de división fijo y modo de la CU, y la dirección de intrapredicción óptima se obtiene de nuevo y almacena únicamente para una localización de la intrapredicción (proceso 51). A continuación, los procesos 42 a 51 se repiten para cada LCU.

Como se ha descrito anteriormente, es posible reducir la complejidad computacional requerida para intrapredicción calculando el coste de codificación para la seudoimagen intra prevista generada a partir de los píxeles de referencia obtenidos usando los píxeles previstos de los píxeles vecinos y los píxeles de la imagen original, en lugar de los píxeles decodificados vecinos, y la dirección de intrapredicción, y determinar la dirección de predicción óptima basándose en el coste de codificación.

La unidad de procesamiento de intrapredicción 101 en las realizaciones anteriormente descritas puede realizarse por un ordenador. En este caso, la unidad de procesamiento de intrapredicción 101 puede realizarse grabando un programa para realizar las funciones de la misma en un medio de grabación legible por ordenador, cargar el programa grabado en el medio de grabación al ordenador, y ejecutar el programa. Se ha de observar que "el sistema informático" establecido en el presente documento incluye un sistema operativo (SO) y hardware tal como dispositivos periféricos. Además, el "medio de grabación legible por ordenador" incluye un medio portátil tal como un disco flexible, un disco magneto-óptico, una memoria de sólo lectura (ROM), y un disco compacto (CD)-ROM, y un aparato de almacenamiento tal como un disco duro creado en un sistema informático. Además, el "medio de grabación legible por ordenador" puede incluir también un medio de grabación que mantiene dinámicamente un programa durante un corto periodo de tiempo, tal como una línea de comunicación cuando el programa se transmite a través de una red tal como Internet o una línea de comunicación tal como una línea telefónica y un medio de grabación que mantiene un programa durante un cierto periodo de tiempo, tal como una memoria volátil dentro de un sistema informático que funciona como un servidor o un cliente en un caso de este tipo. Además, el programa puede ser un programa para realizar parte de las funciones anteriormente descritas o puede ser un programa que puede realizar las funciones anteriormente descritas en combinación con un programa previamente almacenado en el sistema informático. Además, la unidad de procesamiento de intrapredicción 101 puede realizarse usando hardware tal como un dispositivo de lógica programable (PLD) o un campo de matriz de puertas programables (FPGA).

Aplicabilidad industrial

La presente invención es aplicable a aplicaciones que reducen la complejidad computacional necesaria para intrapredicción calculando el coste de codificación para la seudoimagen intra prevista generada a partir de los píxeles de referencia obtenidos usando los píxeles previstos de los píxeles vecinos y los píxeles de la imagen original, en lugar de los píxeles decodificados vecinos, y la dirección de intrapredicción, y determinar la dirección de predicción óptima basándose en el coste de codificación.

Descripción de signos de referencia

101 unidad de procesamiento de intrapredicción

1011 unidad de generación de seudoimagen intra prevista

1012 unidad de cálculo de coste de codificación

1013 unidad de ajuste de dirección de intrapredicción

Claims (6)

REIVINDICACIONES

1. Un aparato de codificación de imágenes que comprende:

una unidad de generación de seudopíxeles intraprevistos basados en bloques (1011) que está configurada para generar píxeles de referencia en subbloques vecinos de un subbloque en un bloque objetivo de codificación promediando píxeles previstos de píxeles vecinos en los subbloques vecinos y valores de píxel originales en los subbloques vecinos o realizando ponderación en los píxeles previstos de los píxeles vecinos en los subbloques vecinos y valores de píxel originales en los subbloques vecinos para direcciones de intrapredicción usando coeficientes de ponderación que se generan a partir de un tamaño de etapa de cuantificación de los píxeles previstos de los píxeles vecinos en los subbloques vecinos para la dirección de intrapredicción, y está configurada para generar seudopíxeles intraprevistos a partir de los píxeles de referencia y las direcciones de intrapredicción, siendo los píxeles previstos de los píxeles vecinos en los subbloques vecinos píxeles obtenidos realizando predicción en los píxeles vecinos durante la codificación,

una unidad de cálculo de coste de codificación (1012) que está configurada para calcular costes de codificación para las direcciones de intrapredicción a partir de errores entre los seudopíxeles intraprevistos y los píxeles de la imagen original y las cantidades de bits generados cuando se generan los seudopíxeles intraprevistos, y una unidad de establecimiento de dirección de intrapredicción (1013) que está configurada para establecer una dirección de intrapredicción que corresponde al coste de codificación más bajo entre los costes de codificación como una dirección de intrapredicción óptima.

2. El aparato de codificación de imágenes de acuerdo con la reivindicación 1, que comprende adicionalmente una unidad de determinación de modo de salto (1011) que está configurada para determinar si un modo de predicción de los píxeles previstos de los píxeles vecinos para la dirección de intrapredicción es un modo de salto,

en el que la unidad de generación de seudopíxel intraprevisto (1011) está configurada para establecer los píxeles previstos de los píxeles vecinos como píxeles de referencia y está configurada para generar los píxeles intraprevistos a partir de los píxeles de referencia si un resultado de determinación de la unidad de determinación de modo de salto es el modo de salto, y está configurada para generar los píxeles de referencia a partir de los píxeles previstos de los píxeles vecinos y los píxeles de la imagen original y está configurada para generar seudopíxeles intraprevistos a partir de los píxeles de referencia generados y direcciones de intrapredicción si el resultado de la determinación es un modo distinto del modo de salto,

la unidad de cálculo de coste de codificación (1012) está configurada para calcular costes de codificación para direcciones de intrapredicción a partir de errores entre los píxeles intraprevistos o los seudopíxeles intraprevistos y los píxeles de la imagen original y cantidades de bits generados cuando se generan los píxeles intraprevistos o los seudopíxeles intraprevistos.

3. El aparato de codificación de imágenes de acuerdo con la reivindicación 1, que comprende adicionalmente:

una unidad de generación de coeficiente de ponderación (1011) que está configurada para generar los coeficientes de ponderación que se usan cuando la seudoimagen intra prevista se genera a partir del tamaño de etapa de cuantificación de los píxeles previstos de los píxeles vecinos para la dirección de intrapredicción, en el que la unidad de generación de coeficiente de ponderación (1011) está configurada para generar los coeficientes de ponderación de modo que los coeficientes de peso para los píxeles previstos de los píxeles vecinos se hacen mayores que los coeficientes de ponderación para los píxeles de la imagen original a medida que el tamaño de etapa de cuantificación se hace grande y los coeficientes de ponderación para los píxeles de la imagen original se hacen mayores que los coeficientes de peso para los píxeles previstos de los píxeles vecinos a medida que el tamaño de etapa de cuantificación se hace más pequeño, y

la unidad de generación de seudopíxel intraprevisto (1011) está configurada para generar los píxeles de referencia usando los coeficientes de ponderación a partir de los píxeles previstos de los píxeles vecinos y los píxeles de la imagen original.

4. El aparato de codificación de imágenes de acuerdo con una cualquiera de las reivindicaciones 1 a 3, en el que un coste de codificación para una dirección de intrapredicción establecida en unidades de bloques se compara con un coste de codificación para un modo distinto de un modo de intrapredicción, y se realiza intrapredicción de nuevo usando una imagen decodificada vecina en un bloque en el que el coste de codificación para la dirección de intrapredicción óptima es menor.

5. Un método de codificación de imágenes que comprende:

una etapa de generación de seudopíxeles intraprevistos basados en bloques (S1) de generación de píxeles de referencia en subbloques vecinos de un subbloque en un bloque objetivo de codificación promediando píxeles previstos de píxeles vecinos en los subbloques vecinos y valores de píxel originales en los subbloques vecinos o realizando ponderación en los píxeles previstos de los píxeles vecinos en los subbloques vecinos y los valores de píxel originales en los subbloques vecinos para direcciones de intrapredicción usando coeficientes de ponderación que se generan a partir de un tamaño de etapa de cuantificación de los píxeles previstos de los píxeles vecinos en los subbloques vecinos para la dirección de intrapredicción, y generar seudopíxeles intraprevistos a partir de los píxeles de referencia y las direcciones de intrapredicción, siendo los píxeles previstos de los píxeles vecinos en los subbloques vecinos píxeles obtenidos realizando predicción en los píxeles vecinos durante la codificación,

una etapa de cálculo de coste de codificación (S2, S3, S4) de cálculo de costes de codificación para las direcciones de intrapredicción a partir de errores entre los seudopíxeles intraprevistos y los píxeles de la imagen original y cantidades de bits generados cuando se generan los seudopíxeles intraprevistos, y

una etapa de establecimiento de dirección de intrapredicción (S5) de establecimiento de una dirección de intrapredicción que corresponde al coste de codificación más bajo entre los costes de codificación como una dirección de intrapredicción óptima.

6. Un programa informático que comprende instrucciones que, cuando el programa es ejecutado por un ordenador, provoca que el ordenador lleve a cabo el método de la reivindicación 5.