ES2364079T3 - Procedimiento y dispositivo para determinar y reconstruir una zona de imagen pronosticada. - Google Patents
Procedimiento y dispositivo para determinar y reconstruir una zona de imagen pronosticada. Download PDFInfo
- Publication number
- ES2364079T3 ES2364079T3 ES06806804T ES06806804T ES2364079T3 ES 2364079 T3 ES2364079 T3 ES 2364079T3 ES 06806804 T ES06806804 T ES 06806804T ES 06806804 T ES06806804 T ES 06806804T ES 2364079 T3 ES2364079 T3 ES 2364079T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- image area
- predictor
- predicted
- pbb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000002123 temporal effect Effects 0.000 claims abstract description 39
- 238000011835 investigation Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 description 15
- 230000009466 transformation Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Procedimiento para determinar una zona de imagen pronosticada (PBB) para una zona de imagen (BB) de una imagen (B0), en el que a) se determina en una primera etapa un predictor temporal (ZP) para la zona de imagen (BB) en base a una imagen anterior reconstruida (RB) que precede en el tiempo a la imagen (B0), b) se determina en una segunda etapa un predictor local (OP) para la zona de imagen (BB) dentro de una zona de imagen reconstruida (RBB) de la imagen (B0), que minimiza la magnitud del error (FM) entre la zona de imagen a pronosticar (BB) y la zona de imagen pronosticada (PBB) en base a los predictores temporal y local (ZP, OP), c) la zona de imagen pronosticada (PBB) se determina mediante el predictor local (OP) utilizando la zona de imagen reconstruida (RBB) y mediante el predictor temporal (ZP), utilizando una de las imágenes precedentes (RB).
Description
La invención se refiere a un procedimiento y un dispositivo para determinar una zona de imagen pronosticada, así como a un procedimiento y un dispositivo para reconstruir una zona de imagen pronosticada.
En la transmisión digital de datos de video con elevada resolución y coeficiente de repetición de imagen se necesitan procedimientos de codificación de video con gran eficiencia de compresión. Entonces se prescribe a menudo al procedimiento de codificación de video una velocidad de transmisión con la que debe alcanzarse una alta calidad de la imagen.
Los procedimientos de codificación de video hoy usuales están estandarizados por ejemplo como MPEG2, MPEG4, ITU H.261, H.263 y H.264 (MPEG – Motion Picture Expert Group, Grupo de Expertos en Películas Animadas, ITU – International Telecommunication Union, Unión Internacional de Telecomunicaciones). Estos procedimientos de codificación de video se basan en un principio híbrido, compuesto por una predicción en el tiempo o temporal del contenido de una imagen (= compensación de movimiento), junto con una transformación, por ejemplo una DCT o bien ICT (DCT – Discrete Cosinus Transformation, transformada discreta coseno; ICT – Integer Coded Transformation, transformada codificada en número entero) y una cuantificación de la señal de error restante tras la compensación de movimiento y la transformación. En este procedimiento de codificación de video se transmiten esencialmente los parámetros del modelo de movimiento (vectores, modo de bloqueo) y los coeficientes resultantes de la señal de error residual.
Mediante una mejora de la eficiencia de la compresión a igualdad de calidad de la imagen, se reduce la velocidad de los datos que se transmiten para transmitir una secuencia de video comprimida. Esto puede por ejemplo lograrse mediante una mejora de la predicción. Además, haciendo más fina la retícula de puntos de imagen pasando de una precisión a nivel de píxel a una precisión a nivel de semipixel, puede mejorarse la estimación del movimiento y con ello la compensación del movimiento. Un aumento adicional de la eficiencia de la compresión puede lograrse reduciendo el tamaño del bloque para el que se realiza la correspondiente predicción en el marco de la estimación de movimiento o bien compensación de movimiento. Además de una inter-predicción, es decir, el aprovechamiento de una correlación entre imágenes que se han tomado en diferentes instantes, puede lograrse mediante una intra-predicción un aumento de la eficiencia de la compresión. En esta intra-predicción se realiza una predicción para una zona de imagen en base a contenidos de imagen ya codificados y reconstruidos de la imagen actual.
Por una solicitud de patente europea EP 1 501 312 A2 se conoce un método de codificación y decodificación de imágenes, así como un dispositivo que prevé para una predicción de un bloque de imágenes, además de una predicción local y temporal, también una predicción ponderada. La predicción ponderada prevé que un valor de un punto de imagen utilizado para la predicción se forme mediante adición ponderada de uno o varios valores de puntos de imagen de un bloque tal que este valor del punto de imagen o este conjunto de valores de puntos de imagen se multiplique por un primer factor de ponderación y la multiplicación del primer factor de ponderación y del valor del punto de imagen se superpongan aditivamente con un segundo factor de ponderación.
Es tarea de la presente invención lograr una posibilidad con la que sea posible una mejora de la predicción.
Esta tarea se resuelve mediante las respectivas reivindicaciones independientes. Ventajosos perfeccionamientos de la invención se reflejan en las reivindicaciones dependientes.
En el procedimiento para determinar una zona de imagen pronosticada para una zona de imagen de una imagen, se determina un predictor temporal para la zona de imagen en base a una imagen anterior reconstruida referida a la imagen precedente en el tiempo, y se determina un predictor local para la zona de imagen dentro de una zona reconstruida de la imagen, minimizándose la magnitud del error entre la zona de imagen y la zona de imagen pronosticada en base a los predictores temporal y local, determinándose la zona de imagen pronosticada mediante el predictor local utilizando la zona de imagen reconstruida y mediante el predictor temporal utilizando una de las imágenes precedentes.
Mediante el procedimiento correspondiente a la invención se reduce un error de predicción (= magnitud del error) en base a la zona de imagen reconstruida mediante los predictores local y temporal y a la zona de imagen a predecir. Así puede incrementarse la eficiencia de la compresión, con lo que es posible un volumen de memoria reducido o bien un tramo de transmisión de banda estrecha para memorizar o transmitir una zona de imagen comprimida o bien datos de imagen con el procedimiento correspondiente a la invención.
Cuando se genera la zona de imagen pronosticada combinando una primera zona de imagen formada por el predictor temporal y una segunda zona de imagen descrita por el predictor local en base a una regla de combinación, puede lograrse otra reducción adicional del error de predicción adaptando la regla de combinación a la zona de imagen a predecir.
Si se describe preferiblemente mediante la regla de combinación una combinación ponderada mediante factores de ponderación de puntos de imagen que se correspondan de la primera y la segunda zona de imagen, entonces puede realizarse la regla de combinación de manera sencilla y eficiente.
Además, pueden describirse individualmente los factores de ponderación para cada punto de imagen de la primera y/o de la segunda zona de imagen. De esta manera se logra una mejora adicional de la predicción de la zona de imagen a predecir o bien una reducción del error de predicción.
Alternativamente a ello, puede realizarse preferiblemente en base a la regla de combinación un giro o corte de al menos la primera o la segunda zona de imagen. Así puede seguirse afinando una adaptación de la primera y/o segunda zona de imagen, con lo que es posible aumentar la precisión de la predicción.
En una ampliación ventajosa del procedimiento, se elige a partir de un conjunto de distintas reglas de combinación aquellas reglas de combinación que minimizan la magnitud del error. Esto tiene la ventaja de que con un pequeño coste adicional en señalización puede transmitirse la regla de combinación elegida desde un emisor, por ejemplo con un dispositivo para realizar el procedimiento para determinar una zona de imagen pronosticada, a un receptor con un dispositivo para realizar el procedimiento para reconstruir una zona de imagen pronosticada.
Si se referencia mediante el predictor local una zona de imagen dentro de la zona ya reconstruida de la imagen, entonces puede mejorarse más aún la exactitud de la predicción del procedimiento.
Preferiblemente se elige para determinar el predictor local a partir de un grupo de modos de intra-predicción que pueden predeterminarse aquel modo de intra-predicción que minimice la magnitud del error. De esta manera es posible una forma de proceder sencilla para determinar el predictor local. Además, reutilizando modos de intrapredicción ya conocidos por los estándares, como por ejemplo H.264, puede lograrse una implementación económica.
La invención se refiere también a un procedimiento para reconstruir una zona de imagen pronosticada, determinándose la zona de imagen pronosticada mediante un predictor local y un predictor temporal, formados según una de las reivindicaciones precedentes, en los que la zona de imagen pronosticada se genera mediante combinación de una primera zona de imagen formada por el predictor temporal y una segunda zona de imagen descrita por el predictor local.
De esta manera se proporciona un procedimiento con el que pueden utilizarse para la reconstrucción los predictores local y temporal averiguados para determinar una zona de imagen pronosticada para una zona de imagen de una imagen. Así puede utilizarse el procedimiento para reconstruir una zona de imagen pronosticada en el marco de un procedimiento de codificación de video en un receptor.
El dispositivo de averiguación para determinar una zona de imagen pronosticada para una zona de imagen de una imagen incluye un primer módulo para determinar un predictor temporal para la zona de imagen de la imagen en base a una imagen anterior reconstruida respecto a la imagen precedente en el tiempo, un segundo módulo para determinar un predictor local para la zona de imagen a pronosticar en base a una zona reconstruida de la imagen, minimizándose la magnitud del error entre la zona de imagen y la zona de imagen pronosticada en base a los predictores temporal y local, determinándose la zona de imagen pronosticada mediante el predictor local utilizando la zona de imagen reconstruida y mediante el predictor temporal utilizando una de las imágenes anteriores. Con ayuda del dispositivo de averiguación puede implementarse y ejecutarse el procedimiento para determinar una zona de imagen pronosticada para una zona de imagen de una imagen, así como sus ampliaciones.
La invención se refiere también a un dispositivo de reconstrucción para reconstruir una zona de imagen pronosticada, determinándose la zona de imagen pronosticada mediante un predictor local y uno temporal, habiéndose formado el predictor local y el predictor temporal en base a un dispositivo de averiguación para determinar una zona de imagen pronosticada, con un primer módulo de reconstrucción para formar una primera zona de imagen en base al predictor temporal y una de las imágenes anteriores precedentes en el tiempo a la imagen, un segundo módulo de reconstrucción para formar la segunda zona de imagen en base a una zona de imagen ya reconstruida en la imagen, un tercer módulo de reconstrucción para reconstruir la zona de imagen pronosticada mediante combinación de la primera y segunda zona de imagen. Con ayuda del dispositivo de reconstrucción puede implementarse y ejecutarse el procedimiento para reconstruir una zona de imagen pronosticada, así como sus ampliaciones.
Otros detalles así como ventajas de la invención se describirán más en detalle en base al dibujo. En detalle
- muestran:
- figura 1
- una representación esquemática del procedimiento y del dispositivo para determinar una zona de imagen pronosticada;
- figura 2
- una representación esquemática del dispositivo y del procedimiento para reconstruir la zona de imagen pronosticada;
- figura 3
- un esquema de una configuración usual para la codificación de imagen basada en bloques con una ampliación para realizar el procedimiento para averiguar una zona de imagen pronosticada;
- figura 4
- configuración de píxeles del borde contiguos de una zona de imagen o bien bloque de imagen a predecir.
5
10
15
20
25
30
35
40
45
Los elementos con la misma función y forma de funcionamiento se han dotado en las figuras 1 a 4 de las mismas referencias.
Con ayuda de la figura 1 se describirá más en detalle primeramente el procedimiento para averiguar una zona de imagen pronosticada. Una imagen BO o bien una imagen precedente en el tiempo RB a la imagen BO, incluye varias zonas de imagen, formadas por un conjunto de puntos de imagen BP, por ejemplo 8 × 8 o 4 × 4. Cada punto de imagen BP representa entonces un valor de brillo y/o valor cromático. Para el siguiente ejemplo de ejecución se supone para una zona de imagen una forma cuadrada, por ejemplo un bloque de imagen con 4 × 4 puntos de imagen. En general puede asumir una zona de imagen cualquier forma.
En una primera etapa S1 se determina un predictor temporal ZP para la zona de imagen BB que ha de predecirse. Esta zona de imagen BB se denomina también zona de imagen a predecir BB. Primeramente se busca una primera zona de imagen BBT en una de las imágenes RB que preceden en el tiempo a la imagen B0, que por ejemplo minimice una suma de las diferencias absolutas de puntos de imagen BP que se corresponden en la zona de la imagen a predecir BB y en la primera zona de imagen BBT.
Si incluyen las correspondientes zonas de imagen BB y BBT por ejemplo en cada caso 4 × 4 puntos de imagen, entonces puede escribirse como fórmula esta primera etapa como sigue:
( representando x, y posiciones de puntos de imagen BP dentro de las correspondientes zonas de imagen BB, BBT y |.| un valor absoluto. Se determina en la ecuación (1) aquella primera zona de imagen BBT en la imagen RB precedente en el tiempo a la imagen B0 que minimiza esta ecuación (1), es decir, SAD se hace mínimo. La posición de la primera zona de imagen BBT averiguada viene representada por el factor temporal ZP. La primera zona de imagen BBT puede formarse tanto en base a puntos de imágenes precedentes de la imagen RB como también mediante una interpolación de los puntos de la imagen RB, por ejemplo en puntos intermedios de la imagen (en ingles = halfpel). El especialista conoce desde hace mucho tiempo tales procedimientos de una estimación de movimiento, por ejemplo de un estándar
H.263.
En una segunda etapa S2 se determina un predictor local OP, que minimiza la magnitud del error FM entre la zona de imagen BB a predecir y la zona de imagen PBB pronosticada en base a los predictores temporal y local ZP, OP. La magnitud de la medida FM corresponde a un error de predicción. El predictor local OP utiliza una zona de imagen reconstruida RBB dentro de la imagen BO, que ya se ha reconstruido.
En una primera variante del procedimiento correspondiente a la invención se averigua para determinar el predictor local OP una segunda zona de imagen BBO en la zona de imagen RBB ya reconstruida, que juntamente con la primera zona de imagen BBT averiguada mediante el predictor temporal ZP, minimiza la magnitud del error FM. Entonces se combinan o mezclan la primera y la segunda zonas de imagen BBT, BBO mediante una regla de combinación VKR. En el presente ejemplo de ejecución describe la regla de combinación VKR una mezcla ponderada punto a punto de la imagen de la primera y segunda zonas de imagen BBT, BBO mediante factores de ponderación asociados. Esto puede indicarse de la siguiente manera mediante una fórmula:
siendo x, y posiciones de puntos de imagen BP dentro de las correspondientes zonas de imagen BB, BBT, BBO, |.| el valor absoluto, α un factor de ponderación temporal y β un factor de ponderación local. Entonces puede ser α + β = 1. En la ecuación (2) se determina aquella segunda zona de imagen BBO en la zona de imagen ya reconstruida PBB que minimiza esta ecuación (2), es decir, FM se hace mínimo. La posición de la segunda zona de imagen BBO averiguada viene representada por el predictor local OP. Los factores de ponderación α y β pueden adaptarse en función del contenido de la imagen, por ejemplo para α = 0,2 y β = 0,8 se asigna un peso mayor a la segunda que a la primera zona de imagen BBO, BBT, es decir, a la predicción local que a la predicción temporal.
En la ecuación (2) corresponde el término imagen pronosticada PPB. Así se representa la zona de imagen pronosticada PPB mediante el predictor temporal ZP, que describe la imagen RB de la primera zona de imagen BBT precedente en el tiempo a la imagen B0, es decir RB(ZP), y el predictor local OP, que se representa utilizando la zona de imagen reconstruida RPP de la imagen BO de la segunda zona de imagen BBO, es decir, RBB(OP).
En las ecuaciones (1) y (2) pueden colocarse, en lugar del valor absoluto, otras funciones, que describen una similitud entre la zona de imagen BO a predecir y la zona de imagen pronosticada PBB. Así puede generarse la magnitud del error FM, en lugar de mediante el valor absoluto, también mediante elevación al cuadrado, como por ejemplo:
Las etapas S1 y S2 pueden utilizarse en el marco de un procedimiento para codificar una o varias imágenes. Entonces pueden integrarse los predictores local y temporal OP, ZP en un flujo de datos DS y transmitirse desde un dispositivo de averiguación VE para determinar una zona de imagen pronosticada a un dispositivo de reconstrucción VD para reconstruir la zona de imagen pronosticada.
La combinación o mezcla ponderada según la ecuación (2) es solamente una de las reglas de combinación VKR posibles. Así puede formarse la regla de combinación VKR en función de los predictores temporal y/o local ZP, OP determinados. Además, puede realizarse la elección de una regla de combinación VKR a partir de una cantidad que puede predeterminarse de reglas de combinación, tal que la regla de combinación elegida minimice la magnitud del error FM. Una posibilidad de elección a modo de ejemplo es:
- Índice VKR
- α β
- 0
- 0,2 0,8
- 1
- 0.5 0,5
- 2
- 0,8 0,2
El índice VKR describe la regla de combinación utilizada. La regla de combinación elegida puede generarse separadamente en el dispositivo de averiguación VE y el dispositivo de reconstrucción VD. Alternativamente puede transmitirse esta regla de combinación VKR mediante el flujo de datos DS.
En base a la figura 2 se describirá más en detalle la reconstrucción de la zona de imagen PBB pronosticada, habiéndose creado los predictores temporal y local ZP, OP según el procedimiento correspondiente a la invención para averiguar una zona de imagen pronosticada. El dispositivo VD para la reconstrucción recibe por ejemplo el flujo de datos DS, que incluye los predictores local y temporal OP, ZP.
En una primera etapa de reconstrucción S’1, se obtiene la segunda zona de imagen BBO utilizando el predictor local OP a base de la zona de imagen RBB ya reconstruida de la imagen BO.
En una segunda etapa de reconstrucción S’2 se genera la primera zona de imagen BBT en base al predictor temporal ZP utilizando la imagen RB precedente en el tiempo a la imagen B0.
En una siguiente tercera etapa de reconstrucción S’3, se averigua mediante una mezcla de la primera y la segunda zona de imagen BBT, BBO la zona de imagen pronosticada PBB. La mezcla puede generarse mediante un promedio ponderado por puntos de imagen (x, y) de la primera y la segunda zonas de imagen. Esto puede representarse mediante la siguiente ecuación:
siendo x, y posiciones de los puntos de imagen BP dentro de las correspondientes zonas de imagen BBT, BBO, α el factor de ponderación temporal y β el factor de ponderación local. Los valores de los factores de ponderación utilizados entonces son idénticos en el procedimiento para la averiguación y en el procedimiento para la reconstrucción.
La zona de imagen pronosticada y con ello reconstruida PBB, puede finalmente copiarse en la correspondiente posición dentro de la zona de imagen reconstruida RBB.
En una segunda variante del procedimiento, se averigua para determinar el predictor local OP un modo de intra-predicción IPM que minimiza la magnitud del error FM. Entonces se determina el modo de intra-predicción IPM en base a la zona de imagen reconstruida RBB de la imagen BO, considerándose por ejemplo píxeles del borde de zonas de imagen reconstruidas directamente contiguas de la zona de imagen a predecir BB. Esto se explicará más en detalle en base a la figura 4.
La figura 4 muestra la zona a predecir BB, indicándose los distintos puntos de imagen, como por ejemplo BB(0,0). Si se reconstruyen por ejemplo zonas de imagen de izquierda a derecha y de arriba hacia abajo, entonces resulta la zona de imagen reconstruida RBB tal como se observa por ejemplo en la figura 1. A esta zona de imagen reconstruida pertenecen las zonas de imagen ya reconstruidas RBA, RBC y RBD, que se encuentran arriba, arriba la izquierda y a la izquierda en la zona de imagen a predecir BB. Al respecto se indican puntos de imagen individuales, como por ejemplo RBA(3,3), limitando estos puntos de imagen directamente con la zona de imagen a predecir BB.
Para determinar el predictor local OP se determina uno de los modos de intra-predicción IPM que minimiza la magnitud del error FM. Tales modos de intra-predicción IPM le son conocidos al especialista por ejemplo por el estándar de codificación de video H.264. Allí se utilizan ocho modos de intra-predicción diferentes que se diferencian, además del modo de predicción de componente constante, en cada caso en la dirección de predicción. Así se conocen por ejemplo según H.264 los siguientes modos de intra-predicción:
- número de modo
- denominación
- 0
- modo de predicción vertical
- 1
- modo de predicción horizontal
- 2
- modo de predicción de componente
- constante
- 3
- modo de predicción diagonal -hacia
- abajo- hacia la izquierda
- 4
- modo de predicción diagonal-hacia
- abajo- hacia la derecha
- 5
- modo de predicción vertical –hacia la
- derecha
- 6
- modo de predicción horizontal-hacia
- abajo
- 7
- modo de predicción vertical-hacia la
- izquierda
- 8
- modo de predicción horizontal-hacia
- arriba
Así pueden indicarse, indicando el número de modo correspondiente al modo intra-predicción, una de las normas para formar el correspondiente modo de intra-predicción. Si se utiliza por ejemplo el número de modo 2, entonces resulta un valor de predicción idéntico para todos los puntos de imagen de la segunda zona de imagen BBO.Éste es:
5
10
15
25
30
35
40
identificándose con i el correspondiente punto de imagen. El valor de predicción que resulta de la ecuación 5 se asigna a todos los puntos de imagen de la segunda zona de imagen BBO.
Para averiguar un modo de intra-predicción IPM óptimo, se calculan por ejemplo para todos los modos de intrapredicción IPM segundas zonas de imagen BBO y éstas se llevan en cada caso a la ecuación (3). Finalmente, se elige el modo de intra- predicción IPM que minimiza la magnitud del error FM. El modo de intra-predicción IPM determinado se representa mediante el predictor local OP. Si minimiza por ejemplo el modo de intra-predicción con el número de modo 5 la magnitud del error, entonces es OP = 5.
En la ecuación (3) se ha realizado un promedio ponderado de los correspondientes puntos de imagen de la primera y la segunda zona de imagen BBT, BBO tal que cada punto de imagen de la primera zona de imagen se ha multiplicado por el factor de ponderación temporal α y cada punto de imagen de la segunda zona de imagen por el factor de ponderación local β. En una ampliación del procedimiento correspondiente a la invención, se dota cada punto de imagen3
imagen de un factor de ponderación
individual temporal y local respectivamente. Tales factores de ponderación individuales temporales y locales pueden tener o tienen la siguiente forma:
Una utilización de tales factores de ponderación
Cuando se utilizan idénticos factores de ponderación temporales y locales para cada punto de imagen, se amplían las ecuaciones (2) y (4) como sigue:
diferentes en función del correspondiente modo de intra-predicción IPM elegido.
El procedimiento para determinar una zona de imagen pronosticada, así como el procedimiento para reconstruir una zona de imagen pronosticada, pueden utilizarse en un procedimiento de codificación de imagen. Esto se describe a modo de ejemplo en base a la figura 3. En la figura 3 se representa en forma detallada una posible configuración en forma de un esquema básico de conexión para la codificación de imágenes o la decodificación de imágenes, que puede utilizarse en el marco de una codificación de imágenes basada en bloques. Aquí se muestra más en detalle la utilización del procedimiento en un procedimiento de codificación de video, representándose con trazo discontinuo las ampliaciones para la integración de los procedimientos para la determinación y la reconstrucción respectivamente.
En el procedimiento de codificación de imágenes basado en bloques se divide una imagen digitalizada BO, RB usualmente en zonas de imagen cuadradas BB del tamaño 8 × 8 puntos de imagen BP o 16 × 16 puntos de imagen BP y se llevan a la configuración para la codificación de imágenes.
A un punto de imagen está usualmente asociada inequívocamente una información de codificación, por ejemplo información de brillo (valores de luminancia) o información de color (valores de crominancia).
En el procedimiento de codificación de imágenes basado en bloques se diferencia entre distintos modos de codificación de imagen. En el llamado modo de codificación intra-imagen se codifica y transmite en cada caso la imagen completa con la información de codificación completa, asociada a los puntos de la imagen (imagen I). En el modo de codificación inter-imágenes se codifica y transmite en cada caso sólo la información diferencial entre dos imágenes sucesivas (imagen P, imagen B).
Para conmutar entre el modo de codificación intra-imagen y el modo de codificación inter-imágenes, se prevén dos unidades de interruptor SE. Para realizar el modo de codificación inter-imágenes, se prevé una unidad de sustracción S, en la que se forma la diferencia entre la información de imagen de dos imágenes sucesivas. La codificación de imagen completa es controlada mediante una unidad de control de codificación de imagen ST. Las zonas de imagen a codificar BB o zonas de imagen diferencial DB se llevan en cada caso a una unidad de codificación de transformación DCT, en la que se aplica a la información de codificación asociada a los puntos de imagen una codificación de transformación, por ejemplo la transformación discreta de coseno (DCT).
No obstante, en general puede realizarse cualquier codificación de transformación, por ejemplo una transformación discreta de seno o también una transformación discreta de Fourier.
Los coeficientes espectrales formados mediante la codificación de transformación se cuantifican en una unidad de cuantificación Q y se llevan a un multiplexor de codificación de imágenes (no representado), por ejemplo para la codificación de canal y/o para la codificación de entropía. En un bucle interno de reconstrucción se cuantifican inversamente los coeficientes espectrales cuantificados en una unidad de cuantificación inversa IQ y se someten a una codificación de transformación inversa en una unidad de codificación de transformación inversa IDCT.
Además, en el caso de una codificación inter-imágenes en una unidad de adición AE se añade información de imagen de la correspondiente imagen precedente. Las imágenes reconstruidas de esta manera se memorizan en una memoria de imagen SP. En la memoria de imagen SP se ha representado simbólicamente, para simplificar, una unidad para la estimación de movimiento/compensación de movimiento MC. Esta unidad para la compensación de movimiento MC genera un vector de movimiento, es decir, el predictor temporal ZP.
Además se prevé un filtro de bucle (filtro de loop LF), que está unido con la memoria SP, así como con la unidad de sustracción S.
Al multiplexor de codificación de imágenes se llevan, adicionalmente a los datos de imagen transmitidos, un señalizador (flag) de modo P, con el que se indica en cada caso si se ha realizado una codificación intra- o bien interimágenes.
Además se llevan índices de cuantificación q para los coeficientes espectrales al multiplexor de codificación de imagen.
También el predictor temporal ZP, es decir, un vector de movimiento, se asocia en cada caso a una zona de imagen o bien bloque de imagen y/o a un macrobloque, que por ejemplo presenta cuatro bloques de imagen con información sobre brillo y dos bloques de imagen con información de color y se lleva al multiplexor de codificación de imagen.
Además se prevé una indicación de información f para activar o desactivar el filtro de bucle LF.
A un módulo MV son accesibles la zona de imagen a predecir BB, la primera zona de imagen BBT y la zona de imagen reconstruida RBB. La primera zona de imagen BBT se genera utilizando la estimación de movimiento MC y tras aplicar el filtro de bucle LF. El módulo MV averigua primeramente el predictor local OP, que minimiza la magnitud del error, por ejemplo según la ecuación (3).
El módulo MV genera entonces una zona de imagen temporal TBB, que cumple con la siguiente ecuación:
Con ayuda de esta zona de imagen temporal TBB se logra que tras una adición de esta zona de imagen temporal TBB con la primera zona de imagen BBT, resulte en la unidad de adición adicional ADD la zona de imagen pronosticada PBB, que puede seguirse procesando. Cuando se utiliza la ecuación (4), resulta TBB(x,y) en relación con:
El procedimiento para averiguar la zona de imagen pronosticada PBB puede realizarse mediante el dispositivo de averiguación VE. Este dispositivo de averiguación incluye las siguientes unidades:
-un primer módulo M1 para determinar un predictor temporal ZP para la zona de imagen a predecir BB de la imagen B0 en base a una imagen anterior reconstruida RB precedente a la imagen B0;
-un segundo módulo M2 para determinar el predictor temporal OP para la zona de imagen a predecir BB en base a una zona de imagen reconstruida RBB de la imagen BO, minimizándose la magnitud del error FM entre la zona de imagen a predecir BB y la zona de imagen pronosticada PBB en base a los predictores temporal y local ZP, OP, determinándose la zona de imagen pronosticada PBB mediante el predictor local OP utilizando la zona de imagen reconstruida RBB y mediante el predictor temporal ZP utilizando una de las imágenes precedentes RB.
Este dispositivo de averiguación VE puede integrarse en un dispositivo que ejecuta un procedimiento de codificación de video.
5 El procedimiento para la reconstrucción de la zona de imagen pronosticada RBB puede realizarse mediante el dispositivo de reconstrucción DV. Entonces incluye este dispositivo de reconstrucción DV los siguientes módulos de reconstrucción:
-primer módulo de reconstrucción M’1 para formar la primera zona de imagen BBT en base al predictor temporal ZP y a una imagen anterior RB que precede en el tiempo a la imagen BO;
10 -segundo módulo de reconstrucción M’2 para formar la segunda zona de imagen BBO en base a la zona de imagen RBBM ya reconstruida en la imagen BO;
-tercer módulo de reconstrucción M’3 para reconstruir la zona de imagen pronosticada mediante combinación de la primera y la segunda zona de imagen BBT, BBO, teniendo en cuenta la regla de combinación VKR.
Este dispositivo de reconstrucción VD puede integrarse en un dispositivo que ejecute un procedimiento de
15 codificación de video. El dispositivo de averiguación VE y el dispositivo de reconstrucción VD pueden estar integrados en un aparato de telefonía móvil, por ejemplo que funcione según el estándar GSM (GSM- Global System for Mobile Communications, sistema global para comunicaciones móviles), o en un aparato de red fija, por ejemplo un ordenador, conectado a una LAN (LAN- Local Area Network, red de área local). Además pueden implementarse y realizarse los dispositivos VD, VE en hardware, como software ejecutable sobre un procesador o como combinación de software y
20 hardware.
Claims (11)
- REIVINDICACIONES1. Procedimiento para determinar una zona de imagen pronosticada (PBB) para una zona de imagen (BB) de una imagen (B0), en el quea) se determina en una primera etapa un predictor temporal (ZP) para la zona de imagen (BB) en base a una imagen anterior reconstruida (RB) que precede en el tiempo a la imagen (B0),b) se determina en una segunda etapa un predictor local (OP) para la zona de imagen (BB) dentro de una zona de imagen reconstruida (RBB) de la imagen (B0), que minimiza la magnitud del error (FM) entre la zona de imagen a pronosticar (BB) y la zona de imagen pronosticada (PBB) en base a los predictores temporal y local (ZP, OP),c) la zona de imagen pronosticada (PBB) se determina mediante el predictor local (OP) utilizando la zona de imagen reconstruida (RBB) y mediante el predictor temporal (ZP), utilizando una de las imágenes precedentes (RB).
-
- 2.
- Procedimiento según la reivindicación 1,
caracterizado porque la zona de imagen pronosticada (PBB) se forma mediante combinación de una primera zona de imagen (BBT) formada por el predictor temporal (ZP) y una segunda zona de imagen (BBO) descrita por el predictor local (OP), en base a una regla de combinación (VKR). -
- 3.
- Procedimiento según la reivindicación 2,
caracterizado porque mediante la regla de combinación (VKR) se describe una combinación ponderada mediante puntos de imagen (BP) de la primera y la segunda zona de imagen (BBT, BBO) mediante factores de ponderación (α, β). -
- 4.
- Procedimiento según la reivindicación 3,
caracterizado porque los factores de ponderación (α, β) se describen individualmente para cada punto de imagen (BP) de la primera y/o de la segunda zona de imagen (BBT, BBO). -
- 5.
- Procedimiento según una de las reivindicaciones 2 a 4,
caracterizado porque en base a la regla de combinación (VKR) se realiza un giro o corte de al menos la primera o la segunda zona de imagen (BBT, BBO). -
- 6.
- Procedimiento según una de las reivindicaciones 2 a 5,
caracterizado porque de entre un conjunto de distintas reglas de combinación, se elige aquella regla de combinación (VKR) que minimiza la magnitud del error (FM). -
- 7.
- Procedimiento según una de las reivindicaciones precedentes,
caracterizado porque mediante el predictor local (OP) se referencia una zona de imagen dentro de la zona de imagen (RBB) ya reconstruida de la imagen (BO). -
- 8.
- Procedimiento según una de las reivindicaciones precedentes,
caracterizado porque para determinar el predictor local (OP) de entre un grupo de modos de intra-predicción que pueden predeterminarse, se elige aquel modo de intra-predicción (IPM) que minimiza la magnitud del error (FM). -
- 9.
- Procedimiento para reconstruir una zona de imagen pronosticada (PBB),
en el de la zona de imagen pronosticada (PBB) se determina mediante un predictor local y un predictor temporal (OP, ZP), formados en base a un procedimiento para determinar una zona de imagen pronosticada según una de las reivindicaciones precedentes, en el que la zona de imagen pronosticada (PBB) se genera mediante combinación de una primera zona de imagen (BBT) formada por el predictor temporal (ZP) y una segunda zona de imagen (BBO) descrita por el predictor local (OP). -
- 10.
- Dispositivo de averiguación (VE) para determinar una zona de imagen pronosticada (PBB) para una zona de imagen (BB) de una imagen (B0), con
-un primer módulo (M1) para determinar un predictor temporal (ZP) para la zona de imagen (BB) de la imagen (B0) en base a una imagen anterior reconstruida (RB) precedente en el tiempo a la imagen (B0) en una primera etapa,imagen1 -un segundo módulo (M2) para determinar un predictor local (OP) en una segunda etapa para la zona de imagen (BB) en base a una zona de imagen reconstruida (RBB) de la imagen (BO), que minimiza la magnitud del error (FM) entre la zona de imagen a predecir (BB) y la zona de imagen pronosticada (PBB) en base a los predictores temporal y local (ZP, OP),5 determinándose la zona de imagen pronosticada (PBB) mediante el predictor local (OP) utilizando la zona de imagen reconstruida (RBB) y mediante el predictor temporal (ZP) utilizando una de las imágenes precedentes (RB). - 11. Dispositivo de reconstrucción (VD) para reconstruir una zona de imagen pronosticada (PBB), determinándose la zona de imagen pronosticada (PBB) mediante un predictor local y un predictor temporal (OP, ZP), habiéndose formado el predictor local (OP) y el predictor temporal (ZP) en base a un dispositivo de averiguación (VE) para10 determinar una zona de imagen pronosticada (PBB) según la reivindicación 10, con-un primer módulo de reconstrucción (M’1) para formar una primera zona de imagen (BBT) en base al predictor temporal (ZP) y una imagen anterior (RB) precedente en el tiempo a la imagen (BO);-un segundo módulo de reconstrucción (M’2) para formar la segunda zona de imagen (BBO) en base a una zona de imagen ya reconstruida (RBB) en la imagen (BO);15 -un tercer módulo de reconstrucción (M’3) para reconstruir la zona de imagen pronosticada (PBB) combinando la primera y la segunda zona de imagen (BBT, BBO).
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102005051091 | 2005-10-25 | ||
| DE102005051091A DE102005051091A1 (de) | 2005-10-25 | 2005-10-25 | Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2364079T3 true ES2364079T3 (es) | 2011-08-24 |
Family
ID=37891426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES06806804T Active ES2364079T3 (es) | 2005-10-25 | 2006-09-25 | Procedimiento y dispositivo para determinar y reconstruir una zona de imagen pronosticada. |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8208739B2 (es) |
| EP (1) | EP1941744B1 (es) |
| JP (1) | JP2009513080A (es) |
| CN (1) | CN101297557B (es) |
| AT (1) | ATE513416T1 (es) |
| DE (1) | DE102005051091A1 (es) |
| ES (1) | ES2364079T3 (es) |
| WO (1) | WO2007048666A2 (es) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4786623B2 (ja) * | 2007-09-25 | 2011-10-05 | Ｋｄｄｉ株式会社 | 動画像符号化装置および動画像復号装置 |
| KR101857935B1 (ko) * | 2010-09-30 | 2018-05-14 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 프로그램 및 집적 회로 |
| EA201492099A1 (ru) | 2012-05-14 | 2015-04-30 | Лука Россато | Разложение остаточных данных при кодировании, декодировании и реконструкции сигнала в многоуровневой иерархии |
| WO2014003421A1 (ko) * | 2012-06-25 | 2014-01-03 | 한양대학교 산학협력단 | 비디오 부호화 및 복호화를 위한 방법 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57210785A (en) * | 1981-06-19 | 1982-12-24 | Kokusai Denshin Denwa Co Ltd <Kdd> | Adaptive forecasting system between frames of television signal |
| CA1287161C (en) * | 1984-09-17 | 1991-07-30 | Akihiro Furukawa | Apparatus for discriminating a moving region and a stationary region in a video signal |
| CA2127151A1 (en) * | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| EP1279291B1 (de) * | 2000-04-14 | 2004-10-06 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zum speichern und bearbeiten von bildinformation zeitlich aufeinanderfolgender bilder |
| EP1378124B1 (en) * | 2001-02-13 | 2005-06-01 | Koninklijke Philips Electronics N.V. | Motion information coding and decoding method |
| US7437019B2 (en) * | 2002-07-18 | 2008-10-14 | Noritsu Koki Co., Ltd. | Apparatus and method for image processing, image processing program and recording medium storing the image processing program |
| KR100612849B1 (ko) * | 2003-07-18 | 2006-08-14 | 삼성전자주식회사 | 영상 부호화 및 복호화 장치 및 방법 |
| MXPA06002212A (es) | 2003-08-26 | 2006-05-19 | Thomson Licensing | Metodo y aparato para codificar bloques intra-inter-codificados hibridos. |
| CN1224270C (zh) * | 2003-09-30 | 2005-10-19 | 清华大学 | 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法 |
| JP4213646B2 (ja) * | 2003-12-26 | 2009-01-21 | 株式会社エヌ・ティ・ティ・ドコモ | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。 |
| JP4763241B2 (ja) * | 2004-01-29 | 2011-08-31 | Ｋｄｄｉ株式会社 | 動き予測情報検出装置 |
| DE102004017145B4 (de) * | 2004-04-07 | 2006-02-16 | Micronas Gmbh | Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind |
| CN1585486A (zh) | 2004-05-27 | 2005-02-23 | 复旦大学 | 基于时空自适应预测的无损视频压缩方法 |
| US20070168370A1 (en) * | 2004-11-16 | 2007-07-19 | Hardy Mark D | System and methods for provisioning geospatial data |
| CN100340116C (zh) * | 2005-01-21 | 2007-09-26 | 浙江大学 | 一种复杂度可分级的运动估计方法 |
| US7894527B2 (en) * | 2005-09-16 | 2011-02-22 | Sony Corporation | Multi-stage linked process for adaptive motion vector sampling in video compression |
-
2005
- 2005-10-25 DE DE102005051091A patent/DE102005051091A1/de not_active Ceased
-
2006
- 2006-09-25 AT AT06806804T patent/ATE513416T1/de active
- 2006-09-25 US US12/084,101 patent/US8208739B2/en not_active Expired - Fee Related
- 2006-09-25 EP EP06806804A patent/EP1941744B1/de not_active Not-in-force
- 2006-09-25 CN CN2006800400563A patent/CN101297557B/zh not_active Expired - Fee Related
- 2006-09-25 JP JP2008537028A patent/JP2009513080A/ja active Pending
- 2006-09-25 ES ES06806804T patent/ES2364079T3/es active Active
- 2006-09-25 WO PCT/EP2006/066683 patent/WO2007048666A2/de not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| CN101297557A (zh) | 2008-10-29 |
| JP2009513080A (ja) | 2009-03-26 |
| WO2007048666A3 (de) | 2007-06-28 |
| CN101297557B (zh) | 2012-07-04 |
| EP1941744A2 (de) | 2008-07-09 |
| US8208739B2 (en) | 2012-06-26 |
| EP1941744B1 (de) | 2011-06-15 |
| US20090136138A1 (en) | 2009-05-28 |
| DE102005051091A1 (de) | 2007-04-26 |
| WO2007048666A2 (de) | 2007-05-03 |
| ATE513416T1 (de) | 2011-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7558352B2 (ja) | 画像予測方法および関連装置 | |
| US11706440B2 (en) | Video signal processing method and apparatus using adaptive motion vector resolution | |
| US20230140112A1 (en) | Method and apparatus for video signal processing using sub-block based motion compensation | |
| ES3037107T3 (en) | Video and image coding with wide-angle intra prediction | |
| ES2828048T3 (es) | Procedimiento de codificación y procedimiento de decodificación | |
| KR101712108B1 (ko) | 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치 | |
| ES2958265T3 (es) | Dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes, método de codificación de imágenes y método de decodificación de imágenes | |
| UA126919C2 (uk) | Уточнення вектора руху для мультиреференсного прогнозування | |
| ES2822248T3 (es) | Método y aparato para predicción con compensación de movimiento | |
| JP3604290B2 (ja) | 動画像復号方法及び装置 | |
| KR20140089487A (ko) | 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치 | |
| CN113557731B (zh) | 用于编码和解码视频样本的块树的方法、设备和系统 | |
| KR20130116832A (ko) | 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치 | |
| CA2665182A1 (en) | Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for recording the programs | |
| US6408025B1 (en) | Method and configuration for coding and decoding digitized pictures | |
| CN114667731A (zh) | 对编码树单元进行编码和解码的方法、设备和系统 | |
| EP2630800B1 (en) | A method for coding a sequence of digitized images | |
| ES2364079T3 (es) | Procedimiento y dispositivo para determinar y reconstruir una zona de imagen pronosticada. | |
| WO2023123736A1 (zh) | 预测方法、装置、设备、系统、及存储介质 | |
| ES2427427T3 (es) | Procedimiento de codificación de imágenes, así como el correspondiente procedimiento de decodificación de imágenes, equipo codificador y equipo decodificador | |
| KR100479619B1 (ko) | 이동통신 단말기에서의 영상 합성 방법 | |
| CN117640959A (zh) | 图像编码方法、图像解码方法、装置以及计算机存储介质 | |
| JP2016005210A (ja) | 端末装置及びデータ管理装置 | |
| HK1258150A1 (zh) | 图像编码装置、图像解码装置及其方法 | |
| JP2015177295A (ja) | 端末装置及びデータ管理装置 |