ES2283376T3 - Reduccion de los efectos de tipo halo en una interpolacion compensada en movimiento. - Google Patents
Reduccion de los efectos de tipo halo en una interpolacion compensada en movimiento. Download PDFInfo
- Publication number
- ES2283376T3 ES2283376T3 ES01273155T ES01273155T ES2283376T3 ES 2283376 T3 ES2283376 T3 ES 2283376T3 ES 01273155 T ES01273155 T ES 01273155T ES 01273155 T ES01273155 T ES 01273155T ES 2283376 T3 ES2283376 T3 ES 2283376T3
- Authority
- ES
- Spain
- Prior art keywords
- vec
- image
- pixels
- interpolated
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000000694 effects Effects 0.000 title description 12
- 239000013598 vector Substances 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims description 21
- 238000003708 edge detection Methods 0.000 claims description 4
- 125000001475 halogen functional group Chemical group 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Medicines Containing Material From Animals Or Micro-Organisms (AREA)
- Picture Signal Circuits (AREA)
Abstract
Método de interpolación compensada en movimiento de una señal de datos, señal de datos que comprende imágenes sucesivas en las que cada imagen comprende grupos de píxeles, comprendiendo el método: generar (18) vectores de movimiento, correspondiendo cada vector de movimiento a un grupo de píxeles de una imagen, entre un grupo de píxeles de dicha una imagen y un segundo grupo de píxeles de otra imagen en la señal de datos; generar (16) resultados interpolados como una función de estos vectores de movimiento; estimar (20) la fiabilidad de cada vector de movimiento correspondiente a un grupo particular de píxeles; calcular (20) pesos como una función de la fiabilidad de los vectores de movimiento; y generar (20) una intensidad luminosa interpolada de un grupo de píxeles para una imagen interpolada calculando, basándose en estos pesos, un promedio ponderado de los resultados interpolados.
Description
Reducción de los efectos de tipo halo en una
interpolación compensada en movimiento.
La invención se refiere a una interpolación
compensada en movimiento de una señal de datos, señal de datos que
comprende imágenes sucesivas en las que cada imagen comprende grupos
de píxeles, en los que se generan vectores de movimiento,
correspondiendo cada vector de movimiento a un grupo de píxeles de
una imagen, entre un grupo de píxeles de dicha una imagen y un
segundo grupo de píxeles de otra imagen en la señal de datos, y se
obtienen resultados interpolados como una función de esos vectores
de movimiento. Además, la invención se refiere a un aparato de
visualización de señales de fotografía que comprende medios para
recibir una señal de datos, y un dispositivo para la interpolación
compensada en movimiento de esta señal de datos.
El documento
US-A-5.995.154 da a conocer un
proceso para convertir tramas entrelazadas en tramas progresivas
que comprende un cambio de la frecuencia de trama mediante
compensación de movimiento e interpolación, en el que cuando un
vector de movimiento asociado con un píxel que va a interpolarse no
es cero o cuando el vector de movimiento es cero pero la confianza
concedida a este vector es inferior a un umbral dado, la
interpolación del píxel de una trama situada temporalmente entre
dos tramas de entrada se lleva a cabo mediante un filtrado de
mediana con respecto a los valores obtenidos mediante un primer
filtro temporal lineal compensado en movimiento, un segundo filtro
lineal compensado en movimiento, y un filtro temporal de mediana
compensado en movimiento.
El documento
WO-A-99/22520 da a conocer un método
para detectar partes cubiertas y no cubiertas en una imagen que va
a interpolarse. Para este fin, se calculan vectores de movimiento de
avance y de retroceso, así como sus errores de cálculo
respectivamente correspondientes.
El documento
US-A-5.777.682 describe que se
calculan al menos dos vectores de movimiento para cada grupo de
píxeles de una imagen. A continuación, para cada vector de
movimiento se calcula un resultado interpolado. Finalmente, se
promedian los resultados interpolados así obtenidos lo que
finalmente arroja una imagen interpolada. Una desventaja de ese
método es que se aumenta el área del efecto de tipo halo en las
imágenes interpoladas. El efecto de tipo halo es debido a
deterioros (efecto de lente de ampliación y/o emborronamiento) que
se producen principalmente en los contornos de los objetos en
movimiento, provocados por vectores de movimiento incorrectos y/o
una estrategia de interpolación incorrecta (que no tiene en cuenta
el problema de la oclusión) en las imágenes interpoladas
compensadas en movimiento de la señal de datos. Para un observador
de las imágenes el efecto de tipo halo es un efecto molesto.
Es un objeto de la invención proporcionar una
interpolación compensada en movimiento que reduce el área del
efecto de tipo halo en las imágenes interpoladas de la señal de
datos. La invención está definida por las reivindicaciones
independientes. Realizaciones ventajosas están definidas en las
reivindicaciones dependientes.
La fiabilidad de un vector de movimiento puede
ser una función de la precisión del vector de movimiento. La
precisión del vector de movimiento está determinada por la
diferencia de una intensidad luminosa prevista basándose en el
vector de movimiento, en la que el vector de movimiento está
asignado a un primer grupo de píxeles de una primera imagen, para
un segundo grupo de píxeles en una segunda imagen y la intensidad
luminosa real del segundo grupo de píxeles de la segunda imagen. La
fiabilidad de un vector de movimiento también puede ser una función
de la frecuencia relativa de incidencia del vector de movimiento en
los grupos vecinos de píxeles del primer grupo de píxeles.
Generalmente, habrá ocho grupos vecinos de píxeles en la primera
imagen del primer grupo de píxeles. La fiabilidad del vector de
movimiento puede ser también una función tanto de la precisión del
vector de movimiento como de su incidencia relativa.
Para cada resultado de interpolación se calcula
un peso como una función de la fiabilidad del vector de movimiento
que arrojó el resultado de interpolación. Dado que a cada grupo de
píxeles se le asigna un múltiplo de vectores de movimiento esto
lleva a un múltiplo de resultados de interpolación y pesos
correspondientes por cada grupo de píxeles.
Finalmente, se calcula la intensidad luminosa
interpolada de un grupo de píxeles como un promedio ponderado de
los resultados de interpolación basándose en la fiabilidad de los
resultados de interpolación. Este enfoque da lugar a algunas
ventajas importantes. Un primer ejemplo de esto es la situación en
la que entre un múltiplo de vectores de movimiento sólo un vector
de movimiento es el correcto. A continuación, se asigna al resultado
de interpolación, que corresponde a este vector de movimiento, un
peso relativamente grande de modo que este resultado de
interpolación domina la intensidad luminosa interpolada del grupo de
píxeles. Como resultado se obtiene una gran precisión de la
intensidad interpolada del grupo de píxeles y pueden mostrarse
detalles sutiles en la fotografía sin el riesgo de que aparezca el
efecto de tipo halo. Un segundo ejemplo de una ventaja del enfoque
según la invención es la situación en la que no es correcto ninguno
de los vectores de movimiento. En esta situación el múltiplo de
vectores de movimiento mostrará una gran diversidad y a ninguno de
los vectores de movimiento se le asignará un peso considerable. El
efecto es que la intensidad interpolada del grupo de píxeles será
un promedio homogéneo de los resultados interpolados. En este caso
no se muestran detalles sutiles, la fotografía será borrosa. Sin
embargo, para un observador una fotografía borrosa es más atrayente
que detalles de fluctuación incorrecta. Así, se reduce el efecto de
tipo halo en los dos ejemplos.
\newpage
Una realización del método de la invención se
caracteriza porque la intensidad luminosa interpolada de un grupo
de píxeles se calcula según
en la que I^{k +
\Delta}(\vec{x}) es la intensidad luminosa interpolada del
grupo de píxeles de la imagen interpolada F^{k + \Delta}, en la
que el valor real \Delta define el lugar de la imagen interpolada
F^{k + \Delta} en la secuencia F^{n} de imágenes, n =
1,2,...,k,k + 1,...,N. Generalmente, \Delta es un valor real en
el intervalo [0,1]. Además, en (I), la ubicación del grupo de
píxeles en la imagen está definida por el vector bidimensional de
número entero, \sum_{m = 1,...,M}{.} es una suma de 1 a M por
su argumento {.} y W^{k}_{m}(\vec{x}) es un peso
correspondiente al resultado de interpolación de orden m i^{k +
\Delta}_{m}(\vec{x}). El resultado de interpolación de
orden m i^{k + \Delta}_{m}(\vec{x}) puede calcularse
por ejemplo según la estrategia de interpolación
siguiente.
en la que mediana{.} es una función
que proporciona el valor de la mediana de sus argumentos de entrada
y redondear{.} es una función que proporciona el valor de número
entero más próximo a cada componente de su argumento de entrada, y
en la que I^{k}(\vec{x}) es una intensidad luminosa del
grupo de píxeles en la ubicación \vec{x} de la imagen F^{K} y
en la que \vec{D^{k}_{m}}(\vec{x}) es el vector de
movimiento de número entero bidimensional de orden m de los M
vectores de movimiento que corresponden al grupo de píxeles en la
ubicación en la imagen F^{K}, vector de movimiento de orden m que
está normalizado entre dos imágenes sucesivas, y en la que el peso
w^{k}_{m}(\vec{x}) es una función de la fiabilidad del
vector de movimiento \vec{D^{k}_{m}} (\vec{x}). En esta
realización la interpolación (II) se lleva a cabo entre dos
imágenes sucesivas F^{K} y F^{K + 1} lo que lleva a una imagen
F^{K + \Delta} interpolada muy precisa. La implementación de la
función de la mediana en la ecuación (II) es una medida adicional
que reduce el riesgo de interpolar detalles de fluctuación
incorrecta.
Otra realización de la invención se caracteriza
porque la fiabilidad y por tanto, el peso del vector de movimiento
\vec{D^{k}_{m}}(\vec{x}) es una función de la diferencia
entre las intensidades luminosas I^{k}(\vec{x}) e I^{k
+ 1}(\vec{x} + \vec{D^{k}_{m}}(\vec{x})) y
también es una función de la frecuencia relativa de la incidencia
de \vec{D^{k}_{m}}(\vec{x}) en la vecindad de la
ubicación x en la imagen F^{K}. De esta manera, la fiabilidad del
vector de movimiento comprende dos componentes. La primera
componente es la precisión del vector de movimiento, que se
establece basándose en al menos dos intensidades luminosas de al
menos dos imágenes sucesivas. La segunda componente es la
coherencia, que se establece basándose en la incidencia relativa
del vector de movimiento en al menos una imagen.
En otra realización más el método de la
invención se caracteriza porque la generación de intensidades
luminosas interpoladas de grupos de píxeles según el método de la
invención sólo se realiza en aquellas partes en las imágenes de la
señal de datos en las que están situados bordes en el campo de
vector de movimiento. Esto lleva a la ventaja de que la
interpolación según la invención sólo se realiza en aquellas partes
de la imagen en las que es más probable que se produzca el efecto
de tipo halo. Esto puede ahorrar tiempo de procesamiento.
Una realización adicional de la invención se
caracteriza porque comprende una etapa de detección de borde, en la
que se detecta un borde en (el campo de vector de movimiento de) la
imagen F^{K} si se satisface al menos una de las desigualdades
(III) y (IV) siguientes:
en las que q es un valor
predeterminado de número entero, en las que ||.|| es una
función que arroja el valor absoluto de su argumento de entrada y
en la que [.]_{p} es una función que arroja el componente de orden
p de su argumento de entrada vectorial. Además, en (III) y (IV), T
es un umbral de valor real fijo predeterminado y \vec{K} es un
vector dado
por:
en la que K_{1} y K_{2} son
valores de número entero. En esta realización de la invención, con
(III) y (IV), la definición de un borde está determinada por
discontinuidades que aparecen entre vectores de movimiento del
mismo tipo en la misma
imagen.
Estos y otros aspectos de la invención serán
evidentes de y se aclararán con referencia a las realizaciones
descritas a continuación en el presente documento.
En los dibujos adjuntos, en los que se muestran
ciertos modos de llevar a cabo la presente invención con fines
ilustrativos:
la figura 1 es una vista general en perspectiva
esquemática de una señal de datos que comprende imágenes
sucesivas;
la figura 2 muestra una imagen de la señal de
datos; y
la figura 3 es un diagrama esquemático de un
aparato de visualización que comprende un dispositivo según la
invención para la interpolación compensada en movimiento de la señal
de datos.
En el método de interpolación compensada en
movimiento según la invención una señal de datos comprende una
secuencia F^{n} de imágenes, n = 1,2,...,k,k + 1,...,N. La señal
de datos puede ser una película en la que cada imagen es una
fotografía. En la figura 1 se muestra esquemáticamente una señal 2
de datos de este tipo mediante la representación de las imágenes
F^{1}, F^{k}, F^{k + 1} y F^{N}. Además se muestra una
imagen F^{k + \Delta}. Esta imagen, por ejemplo, puede obtenerse
interpolando las imágenes F^{k} yF^{k + 1}. El valor real
\Delta define la posición relativa de la imagen F^{k + \Delta}
interpolada en la secuencia de imágenes.
La figura 2 muestra la imagen F^{k} con más
detalle. Cada imagen está formada por píxeles. Un píxel 4 es el
elemento más pequeño de una imagen al que puede conferirse una
cierta intensidad luminosa. Un número de píxeles 4 constituyen un
grupo de píxeles 6 (también denominado bloque), este número de
píxeles en un grupo de píxeles (o en un bloque) está predefinido y
puede ser cualquier número entero que sea superior a cero. La
ubicación de un grupo particular de píxeles en la imagen está
indicada con un vector de número entero bidimensional \vec{x} =
[x_{1}, x_{2}]^{T}, los componentes x_{1} y x_{2}
de \vec{x} del grupo de píxeles 6 se muestran en la figura 2.
Cada grupo de píxeles tienen una cierta intensidad luminosa. La
intensidad luminosa del grupo de píxeles en la ubicación \vec{x}
en la imagen F^{k} es I^{k}(\vec{x}). Para la
interpolación de la señal 2 de datos han de establecerse los
vectores 8 de movimiento \vec{D^{k}_{m}}(\vec{x}). Estos
vectores de movimiento son vectores de número entero
bidimensionales que están normalizados entre imágenes sucesivas. Un
vector de movimiento \vec{D^{k}_{m}}(\vec{x}) está
asignado a un grupo de píxeles en la ubicación en la imagen F^{k}
y predice la ubicación de la intensidad luminosa correspondiente en
la imagen F^{k + 1}. Dado que un múltiplo de M vectores de
movimiento
\vec{D^{k}_{m}}(\vec{x}) puede asignarse a cada grupo de píxeles, los vectores de movimiento están numerados m = 1,2,...,M.
\vec{D^{k}_{m}}(\vec{x}) puede asignarse a cada grupo de píxeles, los vectores de movimiento están numerados m = 1,2,...,M.
En una primera etapa, para una imagen
particular, para cada grupo de píxeles de la imagen se calcula un
vector 8 de movimiento. A continuación, en una segunda etapa, a
cada grupo de píxeles también se le asignarán aquellos vectores de
movimiento que ya se asignaron a grupos vecinos de píxeles en la
etapa anterior. En este ejemplo, el grupo de píxeles y sus grupos
vecinos están todos ubicados en la misma imagen. Además, en este
ejemplo, sólo se utilizan los ocho grupos de píxeles vecinos más
próximos. En otras realizaciones de la invención puede elegirse el
número y la ubicación relativa de los grupos de píxeles vecinos de
diferente manera que en este ejemplo.
En esta fase a cada grupo de píxeles se le han
asignado múltiples vectores de movimiento. En una tercera etapa se
calcula la fiabilidad de cada vector de movimiento. La fiabilidad de
un vector de movimiento puede ser una función de la precisión del
vector de movimiento. La precisión del vector de movimiento se
determina por la diferencia de una intensidad luminosa prevista
basándose en el vector de movimiento, en la que el vector de
movimiento está asignado a un primer grupo de píxeles de una primera
imagen, para un segundo grupo de píxeles en una segunda imagen y la
intensidad luminosa real del segundo grupo de píxeles de la segunda
imagen. La fiabilidad de un vector de movimiento puede ser también
una función de la frecuencia relativa de incidencia del vector de
movimiento en los grupos de píxeles vecinos del primer grupo de
píxeles. Generalmente, habrá ocho grupos de píxeles vecinos en la
primera imagen del primer grupo de píxeles. La fiabilidad del vector
de movimiento puede ser también una función tanto de la precisión
del vector de movimiento como de su incidencia relativa.
La cuarta etapa comprende la interpolación entre
las imágenes. Esta interpolación se lleva a cabo en principio para
cada vector de movimiento que se ha asignado a los grupos de
píxeles. Cada vector de movimiento arroja un resultado de
interpolación, en el que cada resultado de interpolación está dotado
de un peso que se calcula basándose en la fiabilidad de los
vectores de movimiento.
Finalmente, en la quinta etapa, se promedian los
resultados de interpolación según los pesos, arrojando las
intensidades luminosas de interpolación I^{k +
\Delta}(\vec{x}). Todas estas intensidades luminosas de
interpolación juntas definen la imagen F^{k + \Delta}
interpolada.
El método de interpolación tal como se describió
anteriormente en el presente documento se explica con más detalle
con las fórmulas matemáticas siguientes. Para cada uno de los M
vectores de movimiento del grupo de píxeles correspondiente de la
imagen F^{k} se calcula un resultado de interpolación I^{k +
\Delta}_{m}(\vec{x}) para la imagen F^{k}. El
resultado de interpolación I^{k + \Delta}_{m}(\vec{x})
de orden m correspondiente a \vec{D^{k}_{m}}(\vec{x})
viene dado por ejemplo por:
en la que mediana{.} es una función
que proporciona el valor de la mediana de sus argumentos de entrada
y redondear{.} es una función que proporciona el valor de número
entero más próximo a cada componente de su argumento de entrada. La
razón de elegir una función de la mediana en (VI) es la siguiente.
Si las intensidades luminosas I^{k}(redondear{\vec{x} -
\Delta* \vec{D^{k}_{m}}(\vec{x})}) e I^{k +
1}(redondear{\vec{x} + (1-\Delta)*
\vec{D^{k}_{m}}(\vec{x})}) corresponden ambos a un objeto
en movimiento, objeto que por tanto debe ser visible tanto en las
imágenes F^{k} como F^{k + 1},entonces los argumentos primero y
tercero de (VI) llevarán ambos a aproximadamente los mismos
valores. En consecuencia, una intensidad luminosa I^{k +
\Delta}_{m}(\vec{x}), que es uno de estos dos valores,
será el resultado deseado de (VI). Sin embargo, si el objeto en
movimiento no es visible (por ejemplo porque está cubierto por el
fondo de la fotografía en la imagen) en al menos una de las imágenes
F^{k} y F^{k + 1}, entonces los argumentos primero y tercero
pueden llevar a valores diferentes de la intensidad luminosa. En
este caso, no existe coherencia entre las fotografías de las dos
imágenes sucesivas y la mejor manera de manejar esta situación es
evitar intensidades luminosas extremas. Esto puede realizarse
seleccionando el valor de la mediana de las dos intensidades
luminosas del objeto en movimiento en las imágenes F^{k} y F^{k
+ 1} (que son el argumento de entrada primero y tercero en (VI)) y
el promedio de las intensidades luminosas de las imágenes F^{k} y
F^{k + 1} del grupo de píxeles en la ubicación x (este es el
segundo argumento de entrada en
(VI)).
En esta fase para cada vector de movimiento
\vec{D^{k}_{m}}(\vec{x}) m = 1,2,...,M se obtiene un
resultado de interpolación i^{k + \Delta}_{m}(\vec{x})
según (VI). Además, se calcula un peso relativo
w^{k}_{m}(\vec{x}) correspondiente al resultado de
interpolación i^{k + \Delta}_{m}(\vec{x}) de orden m
basándose en la fiabilidad del vector de movimiento. Con esto puede
calcularse la intensidad luminosa interpolada resultante i^{k +
\Delta}_{m}(\vec{x}) de la imagen F^{k + \Delta} de
la manera siguiente:
en la que \sum_{m = 1,...,M}{.}
es una suma de 1 a M por su argumento
{.}.
En una realización avanzada de la invención la
fiabilidad del vector de movimiento es una función de dos
componentes: su precisión y su coherencia. La precisión de
\vec{D^{k}_{m}}(\vec{x}) es una función de la diferencia
entre las intensidades luminosas I^{k}(\vec{x}) e I^{k
+ 1}(\vec{x} - \vec{D^{k}_{m}}(\vec{x})). La
coherencia de \vec{D^{k}_{m}}(\vec{x}) es una función de
la frecuencia relativa de incidencia de
\vec{D^{k}_{m}}(\vec{x}) en la vecindad de la ubicación (\vec{x}) en la imagen F^{k}. Con este enfoque se estima la precisión del vector de movimiento en relación al tamaño del objeto en movimiento, medido en grupos de píxeles, comparando intensidades luminosas de al menos dos imágenes sucesivas. La coherencia del vector de movimiento se estima basándose en información de al menos una imagen.
\vec{D^{k}_{m}}(\vec{x}) en la vecindad de la ubicación (\vec{x}) en la imagen F^{k}. Con este enfoque se estima la precisión del vector de movimiento en relación al tamaño del objeto en movimiento, medido en grupos de píxeles, comparando intensidades luminosas de al menos dos imágenes sucesivas. La coherencia del vector de movimiento se estima basándose en información de al menos una imagen.
En una realización avanzada adicional según la
invención la generación de intensidades luminosas interpoladas
según la invención se realiza sólo en aquellas partes de las
imágenes de la señal de datos en las que se detectan bordes dentro
del campo de vector de movimiento. Normalmente la interpolación de
áreas planas, es decir, áreas sin bordes, en un campo de vector de
movimiento no dará lugar a errores de interpolación molestos, por
tanto en estas partes de las imágenes puede utilizarse un método de
interpolación convencional.
De nuevo en una realización avanzada adicional
de la invención el método comprende una etapa de detección de borde
en la que se detecta un borde en (el campo de vector de movimiento
de) la imagen F^{k} si se satisface al menos una de las
desigualdades (VIII) y (IX):
en las que q es un valor de número
entero predeterminado y en la que ||.|| es una función que
arroja el valor absoluto de su argumento de entrada. Además
[.]_{p} es una función que arroja el componente de orden p de su
argumento de entrada vectorial, en este ejemplo p puede ser 1 ó 2.
El valor real T es un umbral predeterminado y \vec{K} es un
vector de número entero bidimensional que viene dado
por:
en la que K_{1} y K_{2} son
valores de número entero. Si más de un vector de movimiento está
asignado a un grupo de píxeles (M>1) entonces debe seleccionarse
un vector de movimiento particular para ese grupo de píxeles
eligiendo un valor de número entero para q (1\leqq\leqM) en
(VIII) y (IX). Para la detección de bordes en la dirección
[1,0]^{T} un procedimiento posible es seleccionar K_{1}
para que no sea igual a 0 y K_{2} para que sea igual a cero. Los
bordes en la dirección [1,0]^{T} pueden detectarse con
K_{1} igual a cero y K_{2} no igual a
0.
La figura 3 muestra esquemáticamente una
realización de un dispositivo 10 para la interpolación compensada
en movimiento de una señal 2 de datos. La entrada 12 del dispositivo
es la señal 2 de datos y la salida 14 proporciona intensidades
luminosas interpoladas para la imagen F^{k + \Delta}. La salida 12
se alimenta a un bloque 16 y a un bloque 18. En el bloque 16 se
calculan los resultados de interpolación según (VI) y las
intensidades luminosas interpoladas según (VII). En el bloque 18 se
calcula un primer vector de movimiento para cada grupo de píxeles.
A continuación, en el bloque 18 se asignan un número predeterminado
de segundos vectores de movimiento procedentes de grupos
circundantes de píxeles a cada grupo de píxeles. Esto lleva a un
total de M vectores de movimiento por cada grupo de píxeles. A
continuación, se alimenta cada vector de movimiento
\vec{D^{k}_{m}}(\vec{x}) a su bloque 20.m
correspondiente, bloque que calcula la fiabilidad del vector de
movimiento. A continuación, mediante cada bloque 20.m, m = 1,...,
M, el vector de movimiento \vec{D^{k}_{m}}(\vec{x}) y su
fiabilidad estimada se alimentan al bloque 16.
Además es un objeto de la invención proporcionar
en un aparato de visualización de señales de fotografía que
comprende medios para recibir una señal 2 de datos, un dispositivo
10 para generar intensidades luminosas interpoladas que incluye
medios (16) para generar una imagen interpolada, y medios 22
adicionales para entrelazar dicha señal de datos con al menos una
imagen interpolada y un dispositivo D de visualización. Un aparato
de visualización de señales de fotografía de este tipo puede
utilizarse por ejemplo para generar una señal de televisión de 100
Hz a partir de una señal de entrada de 50 Hz.
Para los expertos en la técnica será evidente
que la invención puede realizarse de otro modo diferente al
ilustrado y descrito específicamente sin apartarse de su alcance.
Por ejemplo, el método de interpolación descrito puede basarse en
imágenes que no sean sucesivas. Además es posible que se utilicen
más de dos imágenes en el método de interpolación. También es una
opción utilizar el método y/o dispositivo de la invención para
extrapolar en lugar de interpolar intensidades luminosas (en ese
caso el valor real \Delta es superior a 1 o inferior a 0). Por
tanto deberá indicarse que las realizaciones anteriormente
mencionadas ilustran más que limitan la invención, y que los
expertos en la técnica podrán diseñar muchas realizaciones
alternativas sin apartarse del alcance de las reivindicaciones
adjuntas. En las reivindicaciones, ninguno de los signos de los
signos de referencia entre paréntesis deberá interpretarse como
limitativo de la reivindicación. El término "comprender" no
excluye la presencia de elementos o etapas diferentes a las
enumeradas en una reivindicación. El término "un" o "una"
precediendo a un elemento no excluye la presencia de una pluralidad
de tales elementos. La invención puede implementarse por medio de
un hardware que comprenda diversos elementos distintos, y por medio
de un ordenador programado adecuadamente. En la reivindicación del
dispositivo que enumera varios medios, varios de estos medios
pueden realizarse por uno y el mismo elemento de hardware. El mero
hecho de enumerar ciertas medidas en reivindicaciones dependientes
diferentes entre sí no indica que no pueda utilizarse una
combinación de estas medidas de manera ventajosa.
Claims (7)
1. Método de interpolación compensada en
movimiento de una señal de datos, señal de datos que comprende
imágenes sucesivas en las que cada imagen comprende grupos de
píxeles, comprendiendo el método:
generar (18) vectores de movimiento,
correspondiendo cada vector de movimiento a un grupo de píxeles de
una imagen, entre un grupo de píxeles de dicha una imagen y un
segundo grupo de píxeles de otra imagen en la señal de datos;
generar (16) resultados interpolados como una
función de estos vectores de movimiento;
estimar (20) la fiabilidad de cada vector de
movimiento correspondiente a un grupo particular de píxeles;
calcular (20) pesos como una función de la
fiabilidad de los vectores de movimiento; y
generar (20) una intensidad luminosa interpolada
de un grupo de píxeles para una imagen interpolada calculando,
basándose en estos pesos, un promedio ponderado de los resultados
interpolados.
2. Método según la reivindicación 1, en el que
se calcula la intensidad luminosa interpolada de un grupo de
píxeles según:
en la que I^{k +
\Delta}(\vec{x}) es la intensidad luminosa interpolada del
grupo de píxeles de una imagen interpolada F^{k + \Delta}, en la
que la ubicación del grupo de píxeles en la imagen está definida
por el vector \vec{x} bidimensional de número entero y en la que
el valor real \Delta define el lugar de la imagen interpolada
F^{k + \Delta} en la secuencia F^{n} de imágenes, n = 1,2,...,
k, k + 1,..., N, en la que \sum_{m = 1,..., M}{.} es una suma
de 1 a M por su argumento {.} y en la que
W^{k}_{m}(\vec{x}) es un peso correspondiente al
resultado de interpolación de orden m i^{k +
\Delta}_{m}(\vec{x}):
en la que mediana{.} es una función
que proporciona el valor de la mediana de sus argumentos de entrada
y redondear{.} es una función que proporciona el valor de número
entero más próximo a cada componente de su argumento de entrada, y
en la que I^{k}(\vec{x}) es una intensidad luminosa del
grupo de píxeles en la ubicación de la imagen F^{K} y en la que
\vec{D^{k}_{m}}(\vec{x}) es el vector de movimiento de
número entero bidimensional de orden m, que está normalizado entre
dos imágenes sucesivas, de los M vectores de movimiento que
corresponden al grupo de píxeles en la ubicación \vec{x} y en la
que el peso w^{k}_{m}(\vec{x}) es una función de la
fiabilidad del vector de movimiento
\vec{D^{k}_{m}}(\vec{x}).
3. Método según la reivindicación 2, en el que
la fiabilidad del vector de movimiento
\vec{D^{k}_{m}}(\vec{x}) es una función de la diferencia
entre las intensidades luminosas I^{k}(\vec{x}) e I^{k +
1}(\vec{x} + \vec{D^{k}_{m}}(\vec{x})) y en el
que la fiabilidad es también una función de la frecuencia relativa
de incidencia de \vec{x} en la vecindad de la ubicación en la
imagen F^{k}.
4. Método según la reivindicación 1, en el que
la generación de las intensidades luminosas interpoladas según la
invención sólo se realiza en aquellas partes de las imágenes de la
señal de datos en las que están situados bordes en el campo de
vector de movimiento de las imágenes.
5. Método según la reivindicación 4, en el que
el método comprende una etapa de detección de borde, en la que se
detecta un borde en el campo de vector de movimiento de la imagen
F^{k} si se satisface al menos una de las desigualdades (C1) y
(C2):
en las que q es un valor
predeterminado de número entero y en las que ||.|| es una
función que arroja el valor absoluto de su argumento de entrada,
[.]_{p} es una función que arroja el componente de orden p de su
argumento de entrada vectorial, en la que T es un umbral de valor
real fijo predeterminado y en la que \vec{K} es un vector dado
por:
en la que K_{1} y K_{2} son
valores de número
entero.
6. Dispositivo para la interpolación compensada
en movimiento de una señal de datos, señal de datos que comprende
imágenes sucesivas en las que cada imagen comprende grupos de
píxeles, comprendiendo el dispositivo:
medios (18) para generar vectores de movimiento,
correspondiendo cada vector de movimiento a un grupo de píxeles de
una imagen, entre un grupo de píxeles de dicha una imagen y un
segundo grupo de píxeles de otra imagen en la señal de datos;
medios (16) para generar resultados interpolados
como una función de esos vectores de movimiento; medios (20) para
estimar la fiabilidad de cada vector de movimiento correspondiente a
un grupo particular de píxeles;
medios (20) para calcular pesos como una función
de la fiabilidad de los vectores de movimiento; y
medios (20) para generar intensidades luminosas
interpoladas de grupos de píxeles calculando, basándose en estos
pesos, promedios ponderados de los resultados interpolados.
7. Aparato de visualización de señales de
fotografía, que comprende
medios (12) para recibir una señal de datos,
señal de datos que comprende imágenes sucesivas en las que cada
imagen comprende grupos de píxeles;
un dispositivo (10) para la interpolación
compensada en movimiento de dicha señal de datos según la
reivindicación 6;
medios para generar al menos una imagen
interpolada basándose en dichas intensidades luminosas interpoladas;
y
medios (D) para visualizar la al menos una
imagen interpolada.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01200140 | 2001-01-16 | ||
| EP01200140 | 2001-01-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2283376T3 true ES2283376T3 (es) | 2007-11-01 |
Family
ID=8179751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES01273155T Expired - Lifetime ES2283376T3 (es) | 2001-01-16 | 2001-12-14 | Reduccion de los efectos de tipo halo en una interpolacion compensada en movimiento. |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7039109B2 (es) |
| EP (1) | EP1356676B1 (es) |
| JP (1) | JP4053422B2 (es) |
| KR (1) | KR100875743B1 (es) |
| AT (1) | ATE359668T1 (es) |
| DE (1) | DE60127866T2 (es) |
| ES (1) | ES2283376T3 (es) |
| WO (1) | WO2002056589A1 (es) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| KR20040050577A (ko) * | 2002-12-10 | 2004-06-16 | 삼성전자주식회사 | 디인터레이싱 장치 및 방법 |
| US7536031B2 (en) | 2003-09-02 | 2009-05-19 | Nxp B.V. | Temporal interpolation of a pixel on basis of occlusion detection |
| WO2005027525A1 (en) * | 2003-09-17 | 2005-03-24 | Koninklijke Philips Electronics N.V. | Motion vector field re-timing |
| JP4890464B2 (ja) * | 2004-12-09 | 2012-03-07 | トムソン ライセンシング | 動き補償されたピクチャを生成する方法及び装置 |
| KR100736041B1 (ko) * | 2005-06-30 | 2007-07-06 | 삼성전자주식회사 | 에러 은닉 방법 및 장치 |
| JPWO2007074605A1 (ja) * | 2005-12-26 | 2009-06-04 | 株式会社ニコン | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
| GB0618323D0 (en) | 2006-09-18 | 2006-10-25 | Snell & Wilcox Ltd | Method and apparatus for interpolating an image |
| KR100778116B1 (ko) * | 2006-10-02 | 2007-11-21 | 삼성전자주식회사 | 움직임벡터 보정장치 및 보정방법 |
| FR2907301A1 (fr) * | 2006-10-12 | 2008-04-18 | Thomson Licensing Sas | Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede |
| DE102007015002A1 (de) | 2007-03-28 | 2008-10-02 | Micronas Gmbh | Iteratives Verfahren zur Interpolation von Bildinformationswerten |
| US8861603B2 (en) | 2007-08-28 | 2014-10-14 | Samsung Electronics Co., Ltd. | System and method for motion vector collection based on K-means clustering for motion compensated interpolation of digital video |
| US8565309B2 (en) | 2007-08-28 | 2013-10-22 | Surapong Lertrattanapanich | System and method for motion vector collection for motion compensated interpolation of digital video |
| KR101540138B1 (ko) * | 2007-12-20 | 2015-07-28 | 퀄컴 인코포레이티드 | 적응적 조사영역을 갖는 모션추정 장치 및 방법 |
| CN101953167B (zh) * | 2007-12-20 | 2013-03-27 | 高通股份有限公司 | 减少光晕的图像插值 |
| JP4600530B2 (ja) | 2008-06-17 | 2010-12-15 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP5200788B2 (ja) | 2008-09-09 | 2013-06-05 | 富士通株式会社 | 映像信号処理装置、映像信号処理方法および映像信号処理プログラム |
| US20100103323A1 (en) * | 2008-10-24 | 2010-04-29 | Ati Technologies Ulc | Method, apparatus and software for determining motion vectors |
| JP4528861B2 (ja) * | 2009-01-19 | 2010-08-25 | シャープ株式会社 | 画像表示装置及び画像表示方法 |
| JP2011039403A (ja) | 2009-08-17 | 2011-02-24 | Toppoly Optoelectronics Corp | ディスプレイ装置及びこれを有する電子機器 |
| KR20110022133A (ko) * | 2009-08-27 | 2011-03-07 | 삼성전자주식회사 | 영상의 움직임 추정방법 및 영상처리장치 |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| JP5652097B2 (ja) * | 2010-10-01 | 2015-01-14 | ソニー株式会社 | 画像処理装置、プログラム及び画像処理方法 |
| KR101669819B1 (ko) | 2010-11-11 | 2016-10-27 | 삼성전자주식회사 | 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법 |
| KR20120069303A (ko) * | 2010-12-20 | 2012-06-28 | 삼성전자주식회사 | 3차원 영상 제공 방법 및 장치 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0577165B1 (en) * | 1992-05-15 | 1997-12-10 | Koninklijke Philips Electronics N.V. | Motion-compensated picture signal interpolation |
| US5412435A (en) * | 1992-07-03 | 1995-05-02 | Kokusai Denshin Denwa Kabushiki Kaisha | Interlaced video signal motion compensation prediction system |
| JPH06113287A (ja) * | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | 画像符号化装置と画像復号化装置 |
| US5654759A (en) | 1995-02-15 | 1997-08-05 | Hitachi America Ltd. | Methods and apparatus for reducing blockiness in decoded video |
| KR100410710B1 (ko) * | 1995-03-14 | 2004-03-31 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 움직임보상된보간방법및그장치 |
| FR2742900B1 (fr) * | 1995-12-22 | 1998-02-13 | Thomson Multimedia Sa | Procede d'interpolation de trames progressives |
| US5982441A (en) | 1996-01-12 | 1999-11-09 | Iterated Systems, Inc. | System and method for representing a video sequence |
| DE69811631T2 (de) * | 1997-10-29 | 2003-10-30 | Koninklijke Philips Electronics N.V., Eindhoven | Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen |
| JP4016227B2 (ja) | 1998-01-07 | 2007-12-05 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
-
2001
- 2001-12-14 KR KR1020027012148A patent/KR100875743B1/ko not_active Expired - Fee Related
- 2001-12-14 DE DE60127866T patent/DE60127866T2/de not_active Expired - Lifetime
- 2001-12-14 AT AT01273155T patent/ATE359668T1/de not_active IP Right Cessation
- 2001-12-14 ES ES01273155T patent/ES2283376T3/es not_active Expired - Lifetime
- 2001-12-14 EP EP01273155A patent/EP1356676B1/en not_active Expired - Lifetime
- 2001-12-14 JP JP2002557120A patent/JP4053422B2/ja not_active Expired - Fee Related
- 2001-12-14 WO PCT/IB2001/002577 patent/WO2002056589A1/en not_active Ceased
-
2002
- 2002-01-14 US US10/046,626 patent/US7039109B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7039109B2 (en) | 2006-05-02 |
| DE60127866T2 (de) | 2007-12-20 |
| KR20020087084A (ko) | 2002-11-21 |
| DE60127866D1 (de) | 2007-05-24 |
| EP1356676A1 (en) | 2003-10-29 |
| JP2004518339A (ja) | 2004-06-17 |
| EP1356676B1 (en) | 2007-04-11 |
| KR100875743B1 (ko) | 2008-12-26 |
| ATE359668T1 (de) | 2007-05-15 |
| JP4053422B2 (ja) | 2008-02-27 |
| US20020159527A1 (en) | 2002-10-31 |
| WO2002056589A1 (en) | 2002-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2283376T3 (es) | Reduccion de los efectos de tipo halo en una interpolacion compensada en movimiento. | |
| JP4198608B2 (ja) | 補間画像生成方法および装置 | |
| Wang et al. | Motion-compensated frame rate up-conversion—Part II: New algorithms for frame interpolation | |
| KR101536794B1 (ko) | 후광현상이 줄어든 영상보간 장치 및 방법 | |
| US8072498B2 (en) | Image processing apparatus, image processing method, and computer program | |
| US8803947B2 (en) | Apparatus and method for generating extrapolated view | |
| US20120093231A1 (en) | Image processing apparatus and image processing method | |
| US8189105B2 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
| JPWO2008053765A1 (ja) | 画像生成装置および画像生成方法 | |
| US20070274588A1 (en) | Method, medium and apparatus correcting projected image | |
| EP1557037A1 (en) | Image processing unit with fall-back | |
| US20110293172A1 (en) | Image processing apparatus, image processing method, and image display apparatus | |
| US8817869B2 (en) | Image processing device and method, and image display device and method | |
| KR101050135B1 (ko) | 광류 정보를 이용한 중간 영상 생성 방법 | |
| US20080298695A1 (en) | Motion vector detecting apparatus, motion vector detecting method and interpolation frame creating apparatus | |
| CN111294545B (zh) | 图像数据插值方法及装置、存储介质、终端 | |
| CN103096009B (zh) | 图像处理装置和方法以及图像显示装置和方法 | |
| EP2237559B1 (en) | Background motion estimate based halo reduction | |
| US20120098942A1 (en) | Frame Rate Conversion For Stereoscopic Video | |
| KR20100029149A (ko) | 화상 신호 처리 장치 | |
| JP5975791B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
| JP5164716B2 (ja) | 映像処理装置および映像表示装置 | |
| JP5197374B2 (ja) | 動き推定 | |
| JP4886479B2 (ja) | 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置 | |
| KR20150135635A (ko) | 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치 |