ES2395363T3

ES2395363T3 - Reconstrucción de vistas desentrelazadas, utilizando interpolación adaptativa basada en disparidades entre las vistas para un muestro ascendente

Info

Publication number: ES2395363T3
Application number: ES09801358T
Authority: ES
Inventors: Peshala V. Pahalawatta; Alexandros Tourapis; Athanasios Leontaris
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2008-12-25
Filing date: 2009-12-22
Publication date: 2013-02-12
Anticipated expiration: 2029-12-22
Also published as: US8605782B2; EP2371138B1; JP2012513728A; US20110254921A1; WO2010075346A1; KR101273232B1; CN102265622A; CN102265622B; DK2371138T3; JP5159959B2; KR20110106398A; EP2371138A1

Abstract

Un método, que comprende las etapas de:recibir un flujo de datos que contiene vistas de canal izquierdo y derecho entrelazadas de un flujo de vídeo 3D,desentrelazar el flujo de vídeo 3D para extraer las vistas de canal izquierdo y derecho,muestrear de manera ascendente las vistas de canal izquierdo y derecho, que comprende: determinar (610, 710,755, 760, 870) una cantidad de disparidad entre las vistas de canal izquierdo y derecho en una ubicación de píxel oen una región correspondiente a la ubicación de píxel; ycaracterizado por: seleccionar (630, 720, 765, 880, 885) al menos un filtro de entre un conjunto de filtros parainterpolar un valor de píxel que falta en la ubicación de píxel en una de las vistas de canal izquierdo y derecho,donde los filtros del conjunto de filtros corresponden a diferentes esquemas de interpolación; en el que el al menosun filtro se selecciona en función de al menos la disparidad determinada, de manera que:cuando la disparidad determinada es igual o inferior a un umbral de disparidad, el al menos un filtro seleccionadointerpola (640, 730, 770) el valor de píxel que falta ya sea a partir de datos de ambas vistas o a partir de datos desolamente la otra vista, ycuando la disparidad determinada es superior al umbral de disparidad, el al menos un filtro seleccionado interpola(650, 740, 775, 820 a 860, 890) el valor de píxel que falta a partir de datos de solamente la vista que va ainterpolarse.

Description

Reconstrucción de vistas desentrelazadas, utilizando interpolación adaptativa basada en disparidades entre las vistas para un muestro ascendente

Antecedentes de la invención

Campo de la invención

La presente invención se refiere a la conversión de datos y, más en particular, a la conversión ascendente de datos, incluyendo la conversión ascendente de vídeo.

Discusión de antecedentes

La distribución de vídeo estereoscópico ha sido un objetivo ansiado por los proveedores de contenido. Innovaciones recientes en la tecnología de visualización incluyen DLP que soportan 3D y pantallas de plasma fabricadas por Mitsubishi y Samsung. El vídeo estereoscópico puede distribuirse en muchos formatos diferentes. Un formato utilizado actualmente para la distribución de vídeo es el formato entrelazado de tablero de ajedrez (CB).

El documento US 2006/0082574 A1 da a conocer una técnica para el procesamiento de imágenes para una pantalla 3D en la que una imagen compuesta de entrada se convierte en imágenes con múltiples puntos de visualización. Un mapa de paralaje que representa información de cantidad de paralaje de cada píxel entre dos imágenes con puntos de visualización en las que faltan píxeles se genera mediante una correspondencia de formas aproximada. Cada píxel del mapa de paralaje tiene información de vectores 2D que representa una cantidad de paralaje del píxel. Los píxeles que faltan se interpolan utilizando información de píxel de coordenadas vecinas en imágenes adyacentes con puntos de visualización, tiendo en cuenta el paralaje.

Sumario de la invención

Existe la necesidad de mejorar la distribución de contenido estereográfico en cualquier formato y, en particular, en formatos entrelazados de tablero de ajedrez.

La presente invención está definida por las reivindicaciones independientes. Las reivindicaciones dependientes describen características opcionales de algunas realizaciones de la invención.

Posteriormente se describen en mayor detalle realizaciones de la invención. Partes de los dispositivos, métodos y otras realizaciones de la invención pueden implementarse de manera conveniente programándose en un ordenador de propósito general, o en ordenadores conectados en red, y los resultados pueden mostrarse en un dispositivo de salida conectado a algún ordenador de propósito general o conectado en red, o transmitirse a un dispositivo remoto para mostrarse o visualizarse. Además, cualquier componente de la presente invención representado en un programa informático, secuencias de datos y/o señales de control pueden adoptar la forma de una señal electrónica difundida (o transmitida) a cualquier frecuencia en cualquier medio incluyendo, pero sin limitarse a, difusiones inalámbricas y transmisiones a través de hilos de cobre, cables de fibra óptica, cables coaxiales, etc.

Breve descripción de los dibujos

Un entendimiento más completo de la invención y muchas de las ventajas intrínsecas de la misma se obtendrán fácilmente haciendo referencia a la siguiente descripción detallada cuando se considera junto con los dibujos adjuntos, en los que:

la figura 1 es un diagrama de bloques de una visión general de un sistema para la distribución entrelazada de tablero de ajedrez de imágenes estereoscópicas comprimidas y la posterior descodificación y visualización de las vistas estereoscópicas desentrelazadas según una realización de la presente invención;

la figura 2 es un diagrama que ilustra un ejemplo de muestreo descendente y multiplexación llevados a cabo mediante un entrelazado de tablero de ajedrez;

la figura 3 es un diagrama que ilustra una reconstrucción de vista estereoscópica de un par de imágenes entrelazadas de tablero de ajedrez según una realización de la presente invención;

la figura 4 es un diagrama que ilustra una clasificación de disparidad entre vistas utilizando un filtrado paso banda según una realización de la presente invención;

la figura 5 es un diagrama que ilustra una clasificación de disparidad entre vistas basada en un análisis de movimiento según una realización de la presente invención;

la figura 6 es un diagrama de flujo que ilustra un proceso de filtrado basado en disparidad de regiones de imágenes estereoscópicas según una realización de la presente invención;

la figura 7a es un diagrama de flujo que ilustra un proceso de un filtro combinado de múltiples hipótesis y un análisis de disparidad según una realización de la presente invención;

la figura 7b es un diagrama de flujo que ilustra un proceso alternativo que utiliza un filtro de múltiples hipótesis y un análisis de disparidad según una realización de la presente invención;

la figura 8a es un diagrama que ilustra un filtrado general de múltiples hipótesis para una interpolación de vistas según una realización de la presente invención;

la figura 8b es un diagrama que ilustra un filtrado de múltiples hipótesis para una interpolación de vistas según una realización de la presente invención;

la figura 9 es un diagrama que ilustra un filtrado separable de campos pares e impares según una realización de la presente invención; y

la figura 10 es un diagrama que ilustra muestras utilizadas para determinar la precisión de interpolación en función de información anterior disponible en una vista opuesta.

Descripción de las realizaciones preferidas

Haciendo referencia a continuación a los dibujos, en los que números de referencia similares designan partes idénticas o correspondientes, y más en particular a la figura 1 de los mismos, se ilustra una visión general de un sistema utilizado para la distribución entrelazada de tablero de ajedrez de imágenes estereoscópicas comprimidas y la posterior descodificación y visualización de las vistas estereoscópicas desentrelazadas. La cadena de distribución comprende filtrar, FL,m() y FR,m(), muestrear de manera descendente las vistas izquierda y derecha, y después multiplexar las vistas. Después, las imágenes multiplexadas se comprimen utilizando un esquema de compresión tal como, pero sin limitarse a, ISO MPEG-4 AVC/ITU-T H.264, MPEG-2, VC1, etc., y se transmiten al descodificador. Después, las imágenes multiplexadas y comprimidas se descomprimen, desmultiplexan y se convierten de manera ascendente a una resolución total utilizando filtros, FL,d() y FR,d().

El muestreo descendente y la multiplexación llevados a cabo por el esquema de entrelazado de tablero de ajedrez se ilustran en mayor detalle en la figura 2. La desmultiplexación y la conversión ascendente se ilustran en la figura 3. Es deseable mejorar la calidad manteniendo o reduciendo al mismo tiempo la complejidad del proceso de conversión ascendente, ya que puede ser necesario que la conversión ascendente se lleve a cabo en tiempo real en el descodificador o el dispositivo de visualización.

La presente invención comprende, por ejemplo, técnicas de interpolación adaptativas (por ejemplo, de adaptación de contenido) que pueden utilizarse para muestrear de manera ascendente las imágenes muestreadas de tablero de ajedrez de cada vista. Una técnica de este tipo es combinar información de la vista que está muestreándose de manera ascendente con información de la vista opuesta. Esto es más efectivo cuando la región que está interpolándose pertenece a una región de baja disparidad de la imagen (es decir, las imágenes de vistas izquierda y derecha son muy parecidas).

Por lo tanto, en varias realizaciones puede llevarse a cabo un análisis de disparidad para una región dada de las dos vistas. Un método para el análisis de disparidad puede obtenerse a partir de la detección y estimación de movimiento. En un ejemplo, un filtro paso banda orientado de manera horizontal con una frecuencia característica de (1/distancia entre píxeles horizontales) se utiliza para detectar artefactos inducidos por un entrelazado horizontal. También puede utilizarse un filtro paso banda orientado de manera vertical para detectar artefactos inducidos por un entrelazado vertical. El filtro, por ejemplo, puede ser un filtro paso banda estándar, tal como ([-1 1 -1 1 -1 1 -1]) multiplicado por una ventana de Hamming ([1 2 3 4 3 2 1]) de manera que a las muestras alejadas de la muestra filtrada se les da un menor peso. Si el filtro produce una mayor respuesta, esto indica la presencia de artefactos producidos por el entrelazado. Según una realización de la invención, ilustrada en la figura 4, en el caso de muestreo de tablero de ajedrez, el filtrado de una imagen entrelazada de tablero de ajedrez en ambas o en una de las direcciones horizontal y vertical con un filtro paso banda puede utilizarse para identificar disparidades. Si una o ambas direcciones generan respuestas de filtro significativas, eso implicaría la presencia de artefactos de entrelazado, tal como un patrón de tablero de ajedrez. Esto indicaría una gran disparidad entre muestras de las vistas izquierda y derecha en la región filtrada.

En otra realización, un filtro orientado en diagonal puede utilizarse con el mismo objetivo y, en otra realización, un filtro 2D sensible a los patrones generados por el entrelazado de patrón de ajedrez puede utilizarse con ese objetivo. Por ejemplo, un filtro separable puede crearse dividiendo en ventanas con una ventana de Gauss el filtro paso banda estándar proporcionado anteriormente. Otras técnicas espaciales y de dominio de frecuencia para la detección de artefactos de entrelazado también pueden adaptarse a la detección de disparidad en el entrelazado de tablero de ajedrez considerando la dimensión horizontal y la vertical.

En otra realización adicional, el análisis de disparidad puede llevarse a cabo mediante métodos basados en la adaptación de movimiento o la compensación de movimiento dadas las dos vistas desentrelazadas utilizando como referencias ya disponibles, por ejemplo descodificadas, imágenes que pueden corresponder a cualquier vista (como se ilustra en la figura 5). Una mayor distorsión o la presencia de vectores de movimiento más grandes pueden indicar la presencia de una mayor disparidad. Por tanto, pueden llevarse a cabo diferentes procesamientos dado este análisis. En otra realización adicional, la estimación de movimiento puede ir seguida de una etapa de compensación de movimiento/disparidad en la que la vista opuesta solapa la vista actual que va a interpolarse después de eliminar la disparidad entre las vistas.

En una realización determinada, si la estimación de disparidad determina que la disparidad en regiones correspondientes que pertenecen a las dos vistas es de nivel “LA”, entonces se lleva a cabo un mecanismo de interpolación de tipo "FA". Asimismo, para los niveles "LB", "LC", etc., se aplicarán los mecanismos de interpolación de tipo “FB”, “FC”, etc., respectivamente. Para cada uno de una pluralidad de niveles de disparidad predeterminados, se utiliza un mecanismo de interpolación correspondiente específico. En una realización, el mecanismo de interpolación es un algoritmo que se ajusta en función de al menos un parámetro de los datos de imagen (por ejemplo, disparidad entre las vistas izquierda y derecha).

Como un ejemplo, si la estimación de disparidad determina que la disparidad entre las dos vistas es baja, entonces pueden utilizarse técnicas de filtrado sencillas para convertir de manera ascendente las vistas desentrelazadas. También puede llevarse a cabo un método de múltiples hipótesis para la interpolación de una vista utilizando información de una vista opuesta en la misma y/o en instancias anteriores que se sabe que tienen una baja disparidad. Como se ilustra en la figura 6, un proceso de filtrado de regiones de imágenes estereoscópicas basado en disparidad comprende un filtro de múltiples hipótesis 640 para la interpolación cuando la disparidad no es alta. El proceso comprende, por ejemplo, un análisis (etapa 610) de regiones de imágenes de vistas estereoscópicas (o de otro tipo). En cada región (bucle 620), si hay una alta disparidad, se utiliza un filtro 2D o más simple (etapa 650) para la interpolación. Como alternativa, si no hay una alta disparidad, se utiliza (etapa 640) un filtro de múltiples hipótesis que utiliza una vista opuesta (o alterna) o una interpolación más complicada.

En otra realización, ilustrada en la figura 7A, se utiliza un filtro combinado de múltiples hipótesis 710 para determinar la disparidad. En vistas de alta disparidad, el filtrado de múltiples hipótesis producirá probablemente valores coherentes con la cantidad de disparidad. En la etapa 720, si el resultado de múltiples hipótesis indica una alta disparidad, puede utilizarse un filtro 2D o de otro tipo (etapa 740), y si el resultado indica una baja disparidad, entonces puede utilizarse un filtro mejor seleccionado (etapa 730). También pueden tenerse en cuenta vistas interpoladas anteriormente de la misma paridad. En otra realización adicional puede utilizarse un filtro de múltiples hipótesis para determinar la disparidad y puede utilizarse otro filtro de múltiples hipótesis para la interpolación.

La figura 7B es un diagrama de flujo que ilustra un proceso alternativo que utiliza un filtro de múltiples hipótesis y un análisis de disparidad según una realización de la presente invención. Un bucle 750 está configurado para examinar, por ejemplo, regiones de una vista. Un valor de píxel candidato se determina utilizando múltiples hipótesis 755. Los candidatos o resultados de valor de píxel de las hipótesis se ordenan, por ejemplo, por su disparidad con otra vista (por ejemplo, una vista opuesta) (etapa 760). Después, el candidato de menor disparidad se compara para determinar si tiene una alta/baja disparidad (por ejemplo, superior o inferior a un umbral de disparidad) (etapa 765). Si el candidato de menor disparidad presenta una baja disparidad entonces, por ejemplo, se utiliza una combinación de los candidatos de menor disparidad disponibles para determinar el valor de píxel (etapa 770). Si el candidato de menor disparidad presenta una alta disparidad entonces, por ejemplo, un filtro 775 que utiliza píxeles de una única vista se utiliza para determinar el valor de píxel (etapa 775).

La figura 8A es un diagrama que ilustra un filtrado general de múltiples hipótesis para una interpolación de vistas según una realización de la presente invención. En la figura 8A, un sistema de múltiples hipótesis 800 comprende un módulo de selección de filtro y de análisis de bordes 802 que evalúa una vista actual (por ejemplo, una vista muestreada de tablero de ajedrez 801) de manera independiente o en combinación con información auxiliar 803 que puede incluir, por ejemplo, cualquiera de entre una vista opuesta, otros componentes de la vista actual, vecinos temporales, etc. La evaluación da como resultado un conjunto de filtros 804, cada uno de los cuales funciona para producir un resultado de interpolación, que se combina después mediante un mecanismo de combinación (por ejemplo, un combinador de hipótesis 805). La combinación puede llevarse a cabo de cualquier manera, por ejemplo mediante promedios, promedios ponderados o selección, dando como resultado una vista interpolada 806.

La figura 8B ilustra un ejemplo de una realización de un filtro de interpolación de múltiples hipótesis. En la figura 8B, el cuadrado de puntos vacío 815 indica el píxel, en la posición (i, j), cuyo calor necesita estimarse utilizando las muestras vecinas disponibles. De las muestras vecinas, las muestras denotadas como X son píxeles que estaban disponibles antes del filtrado, y las muestras denotadas como X’ son píxeles que se han vuelto disponibles debido al filtrado en filas anteriores.

Debe observarse que en otra realización, todas las muestras ilustradas como no disponibles pueden estar ya disponibles, y pueden denotarse como píxeles X’ debido a una fase de prefiltrado que las estima, o debido a un proceso iterativo en el que el filtro de múltiples hipótesis se lleva a cabo de manera iterativa en múltiples fases. El entorno circundante del píxel que va a estimarse se somete después a múltiples etapas de filtrado paralelas que pueden incluir filtros separables (por ejemplo, 1D) o no separables (por ejemplo, 2D) de respuestas de impulsos finitos (FIR), tales como filtros de interpolación vertical (por ejemplo, 820), horizontal (por ejemplo, 830) o diagonal (por ejemplo, 850/860), a un filtrado cruzado con muestras vecinas (por ejemplo, 840), a una extrapolación a partir de vecinos diagonales, etc., siendo lo ilustrado un ejemplo, ya que pueden utilizarse otros tipos de filtrado.

Debe observarse que el entorno circundante de la figura 8 se muestra de manera ilustrativa limitado a los vecinos inmediatos, y el número de filtros también está limitado por motivos de claridad. Sin embargo, en otras realizaciones, puede utilizarse un entorno circundante más grande que permite el uso de filtros con mayores tamaños de soporte, así como una mayor diversidad de filtros. En otra realización, los tipos de filtro utilizados pueden sugerirse o dictaminarse por un análisis de bordes anterior que determina la dirección/intensidad de los bordes en la región filtrada de la imagen. El análisis de bordes, o de otro tipo, puede ser, por ejemplo, un factor para seleccionar el filtro utilizado y/o puede ser también un factor de o utilizado por el propio filtro. El análisis de bordes puede basarse en información del componente de color actual que solamente está interpolándose, aunque también puede utilizar información de otros componentes de color. Además, en otra realización adicional, también pueden considerarse filtros que utilizan vecinos temporales, tanto pasados como futuros, (por ejemplo, un filtro 3D).

En otra realización pueden considerarse filtros que utilizan técnicas de estimación de movimiento o de adaptación de movimiento para generar pronosticadores temporales de compensación de movimiento para el proceso de interpolación. En otra realización también pueden utilizarse otros esquemas de interpolación tales como técnicas de muestreo ascendente de restauración de imagen, de pequeñas ondas, de pequeños contornos y de pequeñas bandas para generar la hipótesis en el filtro de múltiples hipótesis.

Cada tipo de filtro devuelve, por ejemplo, un único valor interpolado para el píxel (en el ejemplo actual, vertical: ,

horizontal: , transversal: , diagonal descendente: , diagonal ascendente: ). Después se lleva a cabo un proceso de selección para determinar el valor interpolado final dadas estas hipótesis. Por ejemplo, un método que puede utilizarse para este proceso de selección es obtener en primer lugar una diferencia o coste/distancia entre cada hipótesis y Oij, que es la muestra ubicada en la misma posición en la vista opuesta. En una realización particular, esta diferencia puede calcularse como:

La diferencia anterior sólo puede considerar un componente de color o puede considerar todos los componentes de color. En este escenario, la diferencia anterior es un vector que contiene la diferencia para todos los componentes de color de una hipótesis comparada con Oij.

Después, por ejemplo, el filtro con la diferencia mínina absoluta se selecciona como el candidato más probable que

se utilizará para la interpolación del píxel, llevada a cabo, por ejemplo, por el calculador de mínimos

870.

En este ejemplo, si es inferior a un umbral, T1, entonces el valor de píxel puede copiarse simplemente desde la muestra ubicada en la misma posición en la vista opuesta (es decir, X’ ij = Oij, como se ilustra en 880). En caso

contrario, si , entonces, en una realización preferida, se utiliza el valor de correspondiente al más

pequeño, es decir, , como se ilustra en 885. En otro caso, el filtro toma por defecto un interpolador 2D fijo, como se ilustra en 890.

En otra realización, si múltiples filtros proporcionan valores inferiores al umbral, T2, entonces puede usarse el valor

medio, un valor mediano o un valor medio ponderado de de todos los filtros que están por debajo del umbral, en lugar del mínimo. Por lo tanto, en varias realizaciones, el mínimo (por ejemplo, MIN 870) puede ser, por ejemplo, un valor de referencia de umbral para varias configuraciones de filtro.

En una realización, los valores de todos los filtros pueden utilizarse para construir un modelo estadístico del valor interpolado. El valor que parece ser el más probable estadísticamente, que no es necesariamente inferior al umbral, T2, puede seleccionarse como el valor interpolado. La probabilidad estadística puede determinarse mediante la similitud entre el valor estimado y la muestra de vista opuesta, como anteriormente, así como mediante otros medios, tales como en función de un análisis de bordes anterior, en función de filtros seleccionados para muestras vecinas, etc. Por ejemplo, si un análisis de bordes de la región de imagen determina que es probable que esté en un borde horizontal, entonces el (los) filtro(s) que lleva(n) a cabo una interpolación horizontal proporcionarán con mayor probabilidad las estimaciones correctas.

En otra realización, puede calcularse la media de los valores “agrupados” más probables, evitando de este modo utilizar valores atípicos para generar el valor estimado medio o el valor intermedio antes de probarlo con la vista opuesta. El número de filtros utilizados también puede adaptarse en función de los recursos de sistema disponibles (energía, complejidad computacional). Si los recursos disponibles son escasos, entonces sólo pueden utilizarse algunos filtros simples, mientras que si hay más recursos disponibles, entonces pueden habilitarse filtros más complejos.

En otra realización, el filtrado de múltiples hipótesis puede llevarse a cabo sin ningún análisis de disparidad anterior ya que es probable que vistas de alta disparidad proporcionen, en cualquier caso, valores superiores al umbral más grande. Un sistema de este tipo sigue, por ejemplo, las etapas ilustradas en la figura 7. En otra realización, los

valores de

de los píxeles vecinos pueden utilizarse como una estimación de disparidad para el píxel actual, para determinar si un filtrado de múltiples hipótesis resultará útil para el píxel actual.

En otra realización, los filtros seleccionados para la interpolación de píxeles vecinos pueden dictaminar los filtros utilizados y/o la complejidad de los filtros utilizados para la interpolación del píxel actual. Por ejemplo, si el filtro seleccionado para el píxel en la posición (i, j-2) era un filtro vertical, entonces un filtro vertical también puede ser

prioritario o tener prioridad para probarse para el píxel en la posición (i, j), y si , entonces no es necesario probar ningún otro filtro, o solamente filtros con cierta orientación vertical (es decir, > que 45 grados y < que 135 grados).

En otra realización, si las muestras anteriores ubicadas en la misma posición son similares a las muestras de los píxeles vecinos actuales, entonces los filtros utilizados para las muestras anteriores pueden utilizarse como pronosticadores de las muestras actuales. En otra realización, las muestras “ubicadas en la misma posición” y los filtros asociados pueden determinarse después de la compensación de movimiento.

En otra realización pueden utilizarse estimaciones de disparidad de regiones espacial y temporalmente circundantes para reducir y/o determinar la complejidad del análisis de disparidad de la región actual. Por ejemplo, inhabilitando o habilitando algoritmos más complejos tales como métodos de estimación de movimiento, análisis de frecuencia, longitud de filtros, etc., dada una complejidad deseada a partir de una estimación anterior (por ejemplo, una estimación de disparidad anterior) y/o una disponibilidad actual de recursos. En otra realización adicional pueden utilizarse estimaciones de disparidad de regiones espacial y temporalmente circundantes para determinar una complejidad de una interpolación realizada en la región actual. Por ejemplo, si se observa que un cuadro tiene una alta disparidad, entonces se asume el peor caso de alta disparidad para los siguientes N cuadros y se utilizan técnicas de interpolación más complejas. Si se observa que un cuadro tiene una baja disparidad, entonces se utilizan técnicas de interpolación de baja complejidad y se lleva a cabo un nuevo análisis de disparidad en el siguiente cuadro. Los ajustes de complejidad de interpolación pueden implementarse, por ejemplo, reduciendo el número de filtros, evitando métodos de interpolación complejos tales como compensación de movimiento o adaptación de movimiento, pequeñas ondas, pequeñas bandas, restauración de imagen, etc. Los ajustes de complejidad de interpolación también pueden llevarse a cabo por separado o junto con los ajustes de complejidad de análisis de disparidad (o de otro tipo), y también pueden llevarse a cabo considerando la cantidad actual de recursos disponibles para llevar a cabo estas interpolaciones y/o análisis de disparidad (o de otro tipo).

También puede utilizarse la misma técnica en regiones de una imagen, donde la disparidad de las regiones circundantes puede determinar si llevar a cabo o no un análisis de disparidad en la región actual. Una región puede ser arbitraria o tener una forma específica, por ejemplo un bloque cuadrado o rectangular, un triángulo, etc., o un tamaño específico, por ejemplo 16x16, 8x8 y 1x1. La correlación espacial y temporal con regiones circundantes también puede utilizarse para determinar si es probable que una región dada tenga las mismas características de disparidad que sus vecinos, así como predecir los filtros utilizados para la interpolación. En un caso a modo de ejemplo, las diferencias de bit de vecinos temporales y espaciales pueden utilizarse como una medida de la correlación con los vecinos.

La figura 9 es un diagrama que ilustra un filtrado separable de campos pares e impares según una realización de la presente invención. Una técnica de filtrado 900 comprende, por ejemplo, separar la vista 910 que va a interpolarse en dos campos muestreados de manera rectangular (por ejemplo, desentrelazador 915, vista izquierda par 920 y vista izquierda impar 921) como en la figura 9. Cada campo (denotado como impar y par) puede convertirse después de manera ascendente hasta dos veces su resolución vertical y horizontal utilizando una o más de una variedad de técnicas de filtrado incluyendo filtros 2D con soporte rectangular, filtros separables, filtros de interpolación de adaptación de bordes, interpolación bilinear o bicúbica, restauración de imagen, interpolación basada en pequeñas ondas, pequeñas bandas, pequeños resaltes, etc. El filtrado mostrado a través del interpolador adaptativo impar izquierdo 930 y el interpolador adaptativo impar derecho 931 puede llevarse a cabo en paralelo para que sea más rápido, pero también puede configurarse, por ejemplo, en situaciones multiplexadas en el tiempo con la suficiente velocidad de procesamiento para que las interpolaciones puedan llevarse a cabo en tiempo real. Después, los resultados de cada campo pueden combinarse para formar la vista interpolada final (por ejemplo, combinador 940, dando como resultado una vista izquierda reconstruida 950).

Pueden utilizarse varias técnicas para combinar los resultados de cada campo. Un método puede ser tomar la media de los dos valores interpolados para cada píxel. Otro método es combinar de manera adaptativa los dos valores interpolados en función de una estimación de la precisión del valor en cada campo. La figura 10 muestra un ejemplo de cómo puede llevarse esto a cabo, e ilustra muestras utilizadas para determinar la precisión de la interpolación en función de información previa disponible en una vista o campo opuestos.

En la figura 10, Xe y Xo denotan muestras disponibles en los campos pares e impares, respectivamente, y X’e y X’o denotan píxeles interpolados en cada campo. Se supone que el píxel central de cada campo (punto rodeado) es una posición (i, j). Después es necesario estimar el valor interpolado final de ese píxel utilizando una combinación de los valores interpolados de campos pares e impares. En primer lugar, debe observarse que las muestras para las posiciones (i, j±1) e (i±2, j±1) están disponibles antes de la interpolación en el campo par pero no en el campo impar; asimismo, las muestras en las posiciones (i±1, j) e (i±1, j±2) están disponibles antes de la interpolación en el campo impar pero no en el campo par. Por lo tanto, la invención puede utilizar una medida de la diferencia entre los valores interpolados de un campo dado y los valores reales del campo opuesto, en los píxeles vecinos, como una estimación de la precisión de la interpolación en el campo dado. La diferencia puede medirse utilizando varias técnicas tales como la diferencia de suma de cuadrados, diferencia de suma absoluta, etc. La región circundante puede ser una ventana fija o depender de un análisis de bordes de cada campo o de un análisis de bordes anterior de la región de imagen combinada. La diferencia y el proceso sólo pueden considerar el componente de color actual o considerar todos los componentes de color correspondientes al píxel actual.

Por lo tanto, en la figura 10, un resultado final o de precisión de una interpolación de los campos (i, j) se determina, por ejemplo, comparándose o combinándose con una interpolación o valor del campo opuesto (por ejemplo, una interpolación para el campo Xo (i, j), ya que una interpolación de Xo (i, j-1) y de Xo (i, j+1) puede verificarse mediante una interpolación de Xe (i, j) que o bien es un valor conocido o una interpolación de, por ejemplo, Xe (i+1, j) y Xe (i-1, j). Asimismo, los valores de campo de cantidades conocidas (por ejemplo, las ilustradas espacialmente en 1030, pueden utilizarse directamente sin interpolación para verificar los valores interpolados de manera correspondiente en el campo opuesto).

Dada una estimación de la precisión de las muestras interpoladas de cada campo, el valor de píxel final puede formarse como una combinación ponderada de todas las hipótesis de cada campo. En otra realización, además de medir las diferencias con el campo de paridad opuesto en la misma vista, también puede utilizarse la diferencia con respecto a los píxeles ubicados en la misma posición en la vista opuesta, especialmente si se sabe que la disparidad entre las vistas es baja. En otra realización, además de las estimaciones anteriores, puede utilizarse la diferencia entre muestras interpoladas del cuadro actual y muestras ubicadas en la misma posición en cuadros temporalmente vecinos. En otra realización, además de las estimaciones anteriores, pueden utilizarse las muestras ubicadas en la misma posición después de la compensación de movimiento de cuadros vecinos.

La restauración de imagen es otra técnica que puede utilizarse para muestrear de manera ascendente las vistas desmultiplexadas. La invención incluye aplicar una técnica de restauración de imagen de variación total (TV) digital que se aplica, por ejemplo, al muestro ascendente de vistas desmultiplexadas de tablero de ajedrez comprimidas. En este caso, por ejemplo, se supone que n denota la cuadrícula de resolución total en la que se define la función de imagen u. Sea n0 una subcuadrícula con menor resolución determinada por el patrón de tablero de ajedrez de píxeles disponibles. Sea Na un entorno circundante definido para cada píxel a en n. Entonces, el esquema de variación total comprende minimizar la energía JA definida como

denota muestras que están disponibles (es decir, muestras en n0). La ecuación anterior minimiza la variación total (TV) sometida a una restricción de ajuste y garantiza que los valores interpolados permanezcan cercanos a los valores conocidos originales de las muestras. La minimización se consigue aplicando de manera iterativa un filtro TV digital,

empezando por una estimación inicial de u(0). Puesto que el método es iterativo, esta invención propone utilizar una estimación inicial precisa para acelerar la convergencia del algoritmo.

En una realización, la estimación inicial comprende los píxeles ubicados en la misma posición en la vista opuesta. En otra realización, la estimación inicial comprende los píxeles ubicados en la misma posición en una versión compensada por disparidad de la vista opuesta. Además, en otra realización, la estimación inicial se determina utilizando píxeles obtenidos interpolándose temporalmente a partir de imágenes descodificadas anteriormente de las vista actual y la vista opuesta. En otra realización, cualquiera de los métodos de interpolación descritos anteriormente puede utilizarse como la estimación inicial. En otra realización, las imágenes vecinas pueden incluir vecinos temporales de la misma vista o de la vista opuesta con o sin compensación de movimiento/disparidad. La estimación de movimiento para obtener los vecinos temporales apropiados puede utilizar cualquier modelo de movimiento, con o sin compensación de iluminación, incluyendo uno basado en bloques, por afinidad, parabólico y paramétrico, entre otros. Un marco de estimación de movimiento basado en bloques que puede utilizarse para esta aplicación incluye el esquema de búsqueda zonal predictiva mejorada.

En otra realización, en lugar de utilizar una estimación inicial, el proceso puede ejecutarse utilizando M hipótesis (por ejemplo, M hipótesis en paralelo). Las hipótesis que dan como resultado, por ejemplo, el mismo valor u otro similar pueden combinarse en una antes de la siguiente iteración. Además, en una realización, el valor de A puede determinarse en función de los parámetros de codificación (por ejemplo, parámetros de cuantificación/velocidades binarias) utilizados en la codificación de las imágenes entrelazadas de tablero de ajedrez. Debe observarse que además del método TV digital, esquemas de restauración de imagen tales como variación limitada, esquemas bayesianos, etc., también pueden aplicarse en el dominio digital al caso de muestreo ascendente a partir de una cuadrícula muestreada de tablero de ajedrez donde, de nuevo, conocer los valores de píxel de la vista opuesta puede utilizarse para mejorar la convergencia de la solución de restauración de imagen.

También pueden utilizarse técnicas de filtrado en el dominio de frecuencia tales como pequeñas ondas, pequeñas bandas, pequeños contornos, etc., para el muestreo descendente y el muestreo ascendente de las vistas muestreadas de tablero de ajedrez. Pueden desarrollarse filtros de espejo en cuadratura, por ejemplo, que lleven a cabo el muestreo descendente y el muestreo ascendente en el domino de frecuencia con un solapamiento mínimo.

Debe observarse que el método basado en pequeñas bandas puede realizarse de manera similar a la técnica de variación total descrita anteriormente y que, de huevo, el problema puede resolverse como una minimización de Lagrange no restringida. Se utiliza un proceso iterativo para hallar la solución. De nuevo, para una convergencia más rápida, el proceso puede inicializarse utilizando muestras de vistas opuestas, vecinos temporales, vecinos temporales compensados por movimiento, o cualquier combinación de los mismos, y el parámetro de Lagrange y el número de iteraciones pueden determinarse en función de los parámetros de codificación.

También debe observarse que puede utilizarse cualquier combinación de los filtros descritos anteriormente para filtrar una imagen/secuencia dada en función de las características de contenido de cada región de la imagen/secuencia. Por ejemplo, pueden usarse pequeñas bandas y otras técnicas de restauración de imagen junto con bordes de objetos, y pueden usarse regiones de alta textura y técnicas más sencillas de múltiples hipótesis en regiones lisas y regiones de baja disparidad. Los filtros aplicados en filtros separados por campo pueden utilizarse en regiones de alta disparidad. En una realización, la invención comprende determinar un parámetro destacado de un área de una imagen. El parámetro destacado puede ser, por ejemplo, una cantidad o tipo de textura en una región. En función del parámetro destacado, se selecciona un filtro. Además, si se conocen los filtros de muestreo descendente que se utilizaron antes del proceso de entrelazado de tablero de ajedrez, entonces los filtros de muestreo ascendente pueden adaptarse a los parámetros de los filtros de muestreo descendente.

En la descripción de realizaciones preferidas de la presente invención ilustrada en los dibujos, se utiliza una terminología específica por motivos de claridad. Sin embargo, la presente invención no pretende limitarse a la terminología específica seleccionada, y debe entenderse que cada elemento específico incluye todos los equivalentes técnicos que funcionan de manera similar.

Partes de la presente invención pueden implementarse de manera conveniente utilizando un ordenador o microprocesador convencional de propósito general o un ordenador o microprocesador digital especializado programado según las enseñanzas de la presente descripción, como resultará evidente a los expertos en la técnica.

Programadores expertos pueden preparar fácilmente una codificación software apropiada basándose en las enseñanzas de la presente descripción, como resultará evidente a los expertos en la técnica. La invención también puede implementarse mediante la preparación de circuitos integrados de aplicación específica o interconectando una red apropiada de circuitos de componente convencionales, como resultará evidente a los expertos en la técnica basándose en la presente descripción.

La presente invención incluye un producto de programa informático el cual es un medio (medios) de almacenamiento que tiene instrucciones almacenadas en el mismo que pueden utilizase para controlar o hacer que un ordenador lleve a cabo cualquiera de los procesos de la presente invención. El medio de almacenamiento puede incluir, pero sin limitarse a, cualquier tipo de disco incluyendo discos flexibles, minidiscos (MD), discos ópticos, DVD, HD-DVD, Blue-ray, CD-ROM, CD o DVD RW+/-, microunidades y discos magneto-ópticos, ROM, RAM, EPROM, EEPROM, DRAM, VRAM, dispositivos de memoria flash (incluyendo tarjetas flash, tarjetas de memoria), tarjetas magnéticas u ópticas, tarjetas SIM, MEM, nanosistemas (incluyendo CI de memoria molecular), dispositivos RAID, almacenamiento/archivo/almacenaje de datos remoto o cualquier tipo de medio o dispositivo adecuado para almacenar instrucciones y/o datos.

Almacenado en uno cualquiera de los medios legibles por ordenador, la presente invención incluye software para controlar el hardware del ordenador o microprocesador especializado/de propósito general y para permitir que el ordenador o microprocesador interactúe con un usuario humano u otro mecanismo utilizando los resultados de la presente invención. Tal software puede incluir, pero sin limitarse a, controladores de dispositivo, sistemas operativos y aplicaciones de usuario. En última instancia, tal medio legible por ordenador incluye además software para llevar a cabo la presente invención descrita anteriormente.

La programación (software) del ordenador o microprocesador general/especializado incluye módulos de software que implementan las enseñanzas de la presente invención incluyendo, pero sin limitarse a, interpolación, diversas complejidades de interpolación, identificación de regiones, identificación e interpolación de partes relacionadas temporalmente de imágenes o vistas, determinación de disparidad entre partes relacionadas de imágenes o vistas, selección de métodos o procesos de interpolación, modificación de métodos o procesos de interpolación basados en cualquier parte de contenido u otros factores relacionados con el contenido que está interpolándose, implementación de filtros que puede incluir, por ejemplo, llevar a cabo procesos o métodos que implementan funcionalidad de filtro descrita en este documento y/o una equivalente, y la visualización, almacenamiento o comunicación de resultados según los procesos de la presente invención.

A continuación se proporcionan varias realizaciones no limitativas de la invención con fines ilustrativos, por ejemplo, un método que comprende las etapas de recibir un flujo de datos que contiene vistas entrelazadas de al menos un flujo de vídeo, determinar una cantidad de disparidad entre una primera vista y una vista opuesta de las vistas entrelazadas en una ubicación de píxel o en una región correspondiente a la ubicación de píxel, y establecer un valor de píxel en la ubicación de píxel en la primera vista utilizando un filtro seleccionado en función de la disparidad determinada y las características de cada vista. La etapa de establecer un valor de píxel puede comprender, por ejemplo, filtrar con un filtro de múltiples hipótesis que tenga hipótesis seleccionadas en función de la disparidad determinada entre las vistas. Al menos dos de las vistas pueden comprender, por ejemplo, vistas de canal izquierdo y derecho de una película 3D. Las vistas pueden comprender más de 2 vistas correspondientes a la misma escena del flujo de vídeo. El filtro seleccionado puede comprender cualquiera de entre un filtro interpolador, un filtro que utiliza datos de la vista que va a interpolarse cuando la disparidad determinada es superior a un umbral de disparidad (los datos utilizados pueden comprender datos temporales, por ejemplo, datos temporales de la vista que va a interpolarse), un filtro que utiliza datos de una vista opuesta cuando la disparidad es igual o inferior a un umbral de disparidad, un filtro de múltiples hipótesis que utiliza la vista opuesta cuando la disparidad es igual o inferior a un umbral de disparidad, un filtro en una región de alta disparidad y un filtro diferente en una región de baja disparidad (uno de los filtros, o ambos, son filtros temporales de compensación de movimiento (MCTF)), un filtro de múltiples hipótesis que utiliza la vista opuesta (donde la utilización de la vista opuesta puede comprender uno cualquiera o más de entre basar en la vista que va a interpolarse al menos parte de una decisión de un filtro que va utilizarse, una media ponderada que incluye al menos un píxel de la vista opuesta), y el filtro de múltiples hipótesis puede comprender un conjunto de filtros que consideran múltiples píxeles vecinos (y una o más de las hipótesis pueden obtenerse a partir de los filtros FIR aplicados en los píxeles vecinos). La utilización de los filtros FIR puede realizarse de varias formas diferentes incluyendo, por ejemplo, una forma en la que los filtros FIR comprenden uno o más de entre filtros horizontales, filtros verticales, filtros direccionales diferentes a los horizontales o verticales, filtros separables y filtros no separables, o una forma en la que los filtros FIR pueden tener diferentes longitudes de soporte. Los filtros utilizados en el filtro de múltiples hipótesis pueden comprender, por ejemplo, uno o más de entre pequeñas ondas, pequeñas bandas, pequeños contornos y restauración de imagen. El filtro de múltiples hipótesis puede comprender además un filtro iterativo de múltiples fases, que comprende una estimación inicial basada en un píxel ubicado en la misma posición en una vista opuesta. En una alternativa, el filtro de múltiples hipótesis comprende un filtro iterativo de múltiples fases, que comprende una estimación inicial basada en un píxel ubicado en la misma posición en una vista opuesta determinada por una interpolación temporal basada en al menos uno de entre métodos de compensación de movimiento y de adaptación de movimiento.

El filtro de múltiples hipótesis puede realizarse además, por ejemplo, comprendiendo al menos dos de entre un filtrado vertical, un filtrado horizontal, un filtrado temporal, un filtrado bilinear o bicúbico, filtrado de vecinos más próximos, al menos un filtrado direccional distinto al filtrado horizontal y vertical, y otros filtros. El filtro de múltiples hipótesis puede realizarse además, por ejemplo, comprendiendo uno cualquiera de entre los filtros que se han seleccionado en un función de un análisis de bordes de la región que va a filtrarse, los filtros que se han seleccionado en función de al menos un análisis de textura o varianza y movimiento de la región que va a filtrarse, y los filtros que se han seleccionado en función de un análisis de bordes, textura o movimiento de la región que va a filtrarse en componentes de color diferentes del componente que va a filtrarse.

En varias realizaciones, cualquiera de los filtros puede comprender, por ejemplo, al menos un filtro que actúa en o que comprende un entorno circundante de píxeles que está diseñado específicamente para hacer frente a una deficiencia provocada por al menos uno de entre un esquema de entrelazado de las vistas del flujo de datos y un códec utilizado en el flujo de vídeo, donde al menos un filtro utiliza píxeles vecinos que se han vuelto disponibles debido a una fase de filtrado anterior.

Determinar una cantidad de disparidad puede comprender, por ejemplo, cualquiera de entre llevar a cabo un filtrado de múltiples hipótesis y comparar un resultado del filtrado con un valor en función de al menos en parte la vista opuesta, llevar a cabo un filtrado paso banda horizontal, vertical o 2D (separable o no separable) ajustado a las características del entrelazador, y/o llevar a cabo al menos uno de entre un filtrado DCT 4x4, un filtrado DCT 8x8, un filtrado de Hadamard y otros filtrados.

En varias realizaciones, una selección de filtro puede comprender, por ejemplo, cualquiera de entre un caso en el que el filtro seleccionado se selecciona en función de una cantidad de disparidad donde un 1º filtro se selecciona en función de una determinación de un 1º nivel de disparidad, un 2º filtro se selecciona en función de un 2º nivel de disparidad, y así sucesivamente hasta un enésimo nivel de disparidad en el que se selecciona un enésimo filtro, un caso en el que el filtro se selecciona en función de características de imagen locales, tales como bordes, textura y movimiento, en la región correspondiente a la ubicación de píxel, un caso en el que el filtro se selecciona en función de características de imagen locales, tales como bordes, textura y movimiento de más de un componente de color en la región correspondiente a la ubicación de píxel, un caso en el que el filtro seleccionado comprende una interpolación basada en al menos una de entre una técnica de muestreado ascendente de restauración de imagen, de pequeñas ondas, de pequeños contornos y de pequeñas bandas de una vista actual, un caso en el que el filtro seleccionado comprende una media ponderada de píxeles cercanos de una vista actual, un caso en el que el filtro seleccionado utiliza al menos un vecino temporal de un píxel de una vista actual, un caso en el que el filtro seleccionado comprende una media ponderada de píxeles cercanos que incluyen píxeles cercanos en la vista opuesta, un caso en el que el filtro seleccionado se basa en una comparación de un resultado del filtro y una muestra en la vista opuesta (por ejemplo, la muestra en la vista opuesta puede, por ejemplo, estar ubicada en la misma posición o en una instancia temporal diferente que el valor de píxel) , un caso en el que el filtro seleccionado comprende un filtro que copia una muestra de la vista opuesta en la posición de píxel de la primera vista.

Cualquiera de las realizaciones puede realizarse en software, firmware u otro(s) medio(s) legible(s) por ordenador en el (los) que el método adopta la forma de un conjunto de instrucciones almacenadas en un medio legible por ordenador en un dispositivo que incluye un procesador en el que cargar y ejecutar las instrucciones almacenadas en el procesador hace que el procesador lleve a cabo las etapas del método.

En una realización, la invención comprende un método que convierte de manera ascendente un cuadro de datos de imagen, que comprende las etapas de dividir el cuadro que va a convertirse de manera ascendente en dos partes, muestrear de manera ascendente cada parte y combinar las partes muestreadas de manera ascendente para crear un cuadro muestreado de manera ascendente. La etapa de dividir el cuadro puede comprender desentrelazar el cuadro.

Utilizada generalmente en cuadros entrelazados, la etapa de desentrelazado puede llevarse a cabo, por ejemplo, a través de cualquiera de las etapas que comprenden utilizar uno de entre un desentrelazado fila a fila, columna a columna, par e impar y otro desentrelazado que divida el cuadro en partes adicionales. En una realización, el desentrelazado comprende un desentrelazado de tablero de ajedrez. En una realización, el desentrelazado comprende un desentrelazado fila a fila seguido de un desentrelazado columna a columna.

La etapa de muestreo ascendente puede comprender convertir de manera ascendente cada parte dividida a una resolución diferente que la resolución original, convertir de manera ascendente cada parte dividida hasta el doble de la resolución original, convertir de manera ascendente cada parte dividida hasta cuatro veces la resolución original, y/o comprender filtros que comprenden uno cualquiera o más de los filtros con soporte para al menos uno de entre interpolación rectangular, filtros separables, interpolación adaptativa de bordes, interpolación bilinear, interpolación bicúbica, interpolación iterativa de múltiples fases y/o un filtro con soporte para al menos uno de entre filtros adaptativos de movimiento, MCTF y filtros basados en uno cualquiera o más de entre pequeñas ondas, restauración de imagen, pequeñas curvas y pequeñas bandas. En una realización, la etapa de muestreo ascendente comprende un filtro de múltiples hipótesis. El filtro de múltiples hipótesis puede comprender combinar de manera adaptativa los valores filtrados de varios filtros en función de una estimación de precisión de cada valor filtrado.

La etapa de combinar las partes muestreadas de manera ascendente puede comprender, por ejemplo, cualquiera de entre una media ponderada de valores muestreados de manera ascendente correspondientes y combinar de manera adaptativa valores interpolados de cada parte en función de una estimación de precisión (la combinación adaptativa de valores interpolados puede comprender, por ejemplo, una media ponderada de los valores obtenidos a partir de los interpoladores más precisos de estimación de precisión).

La estimación de precisión comprende, por ejemplo, cualquiera de entre una diferencia entre valores interpolados de un campo dado y valores reales de un campo opuesto correspondiente, una diferencia entre valores interpolados de un campo dado y valores agrupados más probables de un campo opuesto (la diferencia puede comprender, por ejemplo, una diferencia de suma de cuadrados, una diferencia de suma absoluta y otras técnicas de diferencia). Los campos pueden determinarse, por ejemplo, mediante una ventana fija o un análisis de bordes.

En una realización, la invención comprende un método que comprende las etapas de desentrelazar vistas y muestrear de manera ascendente las vistas utilizando una técnica de restauración de imagen de variación total digital, donde una estimación inicial de la técnica de restauración de imagen comprende una estimación inicial obtenida a partir de al menos uno de entre las vistas desentrelazadas y un proceso iterativo. Las vistas desentrelazadas pueden comprender, por ejemplo, una primera vista y una vista opuesta de una imagen 3D. El proceso iterativo comprende una minimización de un esquema de variación total sometido a una restricción de ajuste. La minimización puede llevarse a cabo, por ejemplo, aplicando un filtro de variación total digital (TV). El filtro

TV puede comprender, por ejemplo: , empezando por una estimación inicial para . La estimación inicial puede comprender, por ejemplo, una estimación que tiene en cuenta un formato mediante el cual las vistas se entrelazaron anteriormente. Como alternativa, la estimación inicial puede comprender, por ejemplo, cualquiera de entre una estimación que tiene en cuenta un códec utilizado en las vistas antes del desentrelazado, una estimación que comprende al menos un píxel temporalmente circundante, una estimación que comprende al menos un píxel ubicado en la misma posición (el píxel ubicado en la misma posición puede comprender, por ejemplo, al menos uno de entre un píxel temporal ubicado en la misma posición de una misma vista, un píxel ubicado en la misma posición en una vista opuesta o alterna, y un píxel temporal ubicado en la misma posición en una vista opuesta o alterna), una estimación que comprende píxeles ubicados en la misma posición en una versión compensada por disparidad de una vista opuesta, una estimación que comprende al menos un píxel temporalmente circundante en una versión compensada por disparidad de una vista opuesta, una estimación que comprende píxeles obtenidos a través de una interpolación temporal de pixeles en al menos una de entre una vista actual y una vista opuesta, y una estimación inicial determinada mediante interpolación.

En una realización, la invención puede comprender un dispositivo de visualización que comprende una entrada configurada para recibir un flujo de vídeo, un generador de cuadros configurado para extraer imágenes izquierda y derecha del flujo de vídeo y muestrear de manera ascendente los cuadros izquierdo y derecho extraídos en función de una interpolación adaptativa de contenido. La entrada puede comprender, por ejemplo, una entrada HDMI y el flujo de vídeo comprende un flujo de imágenes 3D entrelazadas de tablero de ajedrez con formato HDMI.

En otra realización, la invención puede comprender un dispositivo configurado para muestrear de manera ascendente diferentes vistas de una imagen y que comprende un interpolador adaptativo de contenido. El interpolador adaptativo de contenido puede comprender, por ejemplo, un módulo de análisis de disparidad utilizado para determinar un proceso de interpolación para al menos parte de una de las vistas. El módulo de análisis de disparidad puede comprender, por ejemplo, una complejidad ajustable en la que las estimaciones de disparidad de al menos una de las regiones espacial y temporalmente circundantes de al menos parte de una de las vistas se utiliza para fijar un nivel de complejidad del módulo de análisis de disparidad. El interpolador adaptativo de contenido también puede comprender una complejidad ajustable en la que las estimaciones de disparidad de al menos una de las regiones espacial y temporalmente circundantes de al menos parte de una de las vistas se utilizan para fijar un nivel de complejidad de una interpolación llevada a cabo por el interpolador adaptativo de contenido. La invención puede comprender además discreción cuando una estimación de disparidad es igual, superior o inferior a determinados umbrales, por ejemplo, uno o más de los siguientes casos: cuando es superior a un umbral de disparidad, el nivel de complejidad de la interpolación se fija a una alta complejidad para un número predeterminado de cuadros N, cuando una estimación de disparidad es superior a un umbral de disparidad alto en una región, el nivel de complejidad de la interpolación se fija a una alta complejidad para esa región y todas las regiones espacial y/o temporalmente circundantes dentro de un alcance específico, cuando una estimación de disparidad es inferior a un umbral de disparidad bajo, el nivel de complejidad de la interpolación se fija a una baja complejidad para un número predeterminado de cuadros M, cuando una estimación de disparidad es inferior a un umbral de disparidad bajo en una región, el nivel de complejidad de la interpolación se fija a una baja complejidad para esa región y/o todas las regiones espacial y temporalmente circundantes dentro de un alcance específico, cuando una estimación de disparidad está dentro de un intervalo específico en una región, la complejidad de la interpolación para esa región y todas las regiones espacial y/o temporalmente circundantes dentro de un alcance específico se fijan a un nivel correspondiente a la estimación de disparidad. Además, una complejidad de la interpolación para al menos parte de una de las vistas puede fijarse como alta o baja en función de una estimación de disparidad alta o baja correspondiente, y la complejidad fijada de la interpolación para al menos parte de una de las vistas puede permanecer en efecto sin estimaciones de disparidad adicionales de la parte para N cuadros.

En varias realizaciones, las diferentes vistas pueden comprender, por ejemplo, cualquiera de: vistas izquierda y derecha de una imagen 3D, diferentes vistas de una misma escena y diferentes escenas. Además, el interpolador adaptativo de contenido está configurado para seleccionar un esquema de interpolación que se utilizará para muestrear de manera ascendente al menos una vista de la imagen en función de un análisis de ambas vistas (el análisis de ambas vistas puede comprender, por ejemplo, un análisis de disparidad, por ejemplo, un análisis de disparidad entre las vistas). El análisis de disparidad puede comprender, por ejemplo, cualquiera de entre un filtro y un mecanismo de ponderación, al menos uno de entre un filtro horizontal, un filtro vertical, un filtro diagonal y un filtro sensible a patrones generados por una técnica de codificación utilizada en las vistas, una determinación de escala de vectores de movimiento a través de al menos uno de entre un análisis de estimación de movimiento y un análisis de compensación de movimiento entre las vistas, y una consideración de vistas interpoladas anteriormente de una misma paridad. Una muestra en un área que tiene una baja disparidad entre vistas puede muestrearse de manera ascendente, por ejemplo, utilizando datos de la vista opuesta.

El interpolador adaptativo de contenido puede construirse, por ejemplo, para cualquiera de los fines siguientes: seleccionar una de n interpolaciones en función de un nivel de disparidad entre las vistas, de manera que si se produce un primer nivel de disparidad, se lleva a cabo una primera interpolación, si se produce un segundo nivel de disparidad, entonces se lleva a cabo un segundo proceso de interpolación, y así sucesivamente hasta un enésimo nivel de disparidad y una enésima interpolación correspondiente, iniciar una interpolación que varíe en función de un nivel de disparidad entre vistas de un área de un píxel que está interpolándose. Un primer nivel de disparidad puede comprender un área de baja disparidad y la primera interpolación puede comprender una técnica de filtrado simple para convertir de manera ascendente píxeles correspondientes de las vistas, y técnicas de filtrado cada vez más complejas para áreas de mayor disparidad.

En varias realizaciones, el interpolador adaptativo de contenido puede comprender una construcción que interpola de manera iterativa en múltiples fases. Fases posteriores del interpolador pueden utilizar datos interpolados generados en una fase anterior. El interpolador adaptativo de contenido puede utilizar tipos de filtro seleccionados en función de un análisis de bordes en un área de una imagen que está interpolándose. El interpolador adaptativo de contenido puede considerar, por ejemplo, al menos un vecino temporal de un píxel que está interpolándose. El tipo de interpolación utilizada puede incluir, por ejemplo, al menos uno de entre un muestreo ascendente de restauración de imagen, de pequeñas ondas, de pequeños contornos y de pequeñas bandas.

En varias realizaciones, la interpolación llevada a cabo puede comprender, por ejemplo, una interpolación de múltiples hipótesis en la que un resultado de cada hipótesis referente a un píxel filtrado se compara con un píxel ubicado en la misma posición en una vista opuesta para determinar una técnica de filtrado que se utilizará en el píxel filtrado. Una diferencia entre un resultado de cada hipótesis y el píxel ubicado en la misma posición puede compararse con un segundo umbral, y si múltiples filtros proporcionan valores inferiores al umbral, una combinación aritmética de los resultados de filtro de umbral inferior puede utilizarse como el píxel interpolado. La combinación aritmética puede comprender, por ejemplo, uno de entre una media, un valor medio ponderado de todos los filtros por debajo del umbral. En varias realizaciones se produce cualquiera de los siguientes casos: si una diferencia entre un resultado de una hipótesis y el píxel ubicado en la misma posición es inferior a T1, el píxel ubicado en la misma posición se copia como el píxel interpolado, o cuando una diferencia entre resultados de más de una hipótesis y el píxel ubicado en la misma posición está entre un primer umbral T1 y un segundo umbral T2, el resultado con el valor de diferencia mínima entre T1 y T2 se utiliza para el valor de píxel interpolado, o cuando una diferencia entre un resultado de más de una hipótesis y el píxel ubicado en la misma posición es inferior a T2, se aplica un filtro 2D por defecto en los datos de la vista que va a interpolarse.

Cualquier método o proceso descrito en este documento puede adoptar la forma de un conjunto de instrucciones informáticas almacenadas en un medio legible por ordenador, y dichas instrucciones informáticas, cuando se cargan en un ordenador, hacen que el ordenador lleve a cabo las etapas de dicho método. Las instrucciones informáticas pueden ser instrucciones informáticas compiladas almacenadas como un programa ejecutable en dichos medios legibles por ordenador. Los medios legibles por ordenador pueden ser cualquiera de entre, por ejemplo, un componente de un reproductor de Blu-Ray, y un componente de una pantalla que soporta 3D.

Evidentemente, numerosas modificaciones y variaciones de la presente invención son posibles en vista de las enseñanzas anteriores. Por lo tanto, debe entenderse que, dentro del alcance de las reivindicaciones adjuntas, la invención puede llevarse a la práctica de otro modo al descrito específicamente en este documento.

Claims

REIVINDICACIONES

1.- Un método, que comprende las etapas de:

recibir un flujo de datos que contiene vistas de canal izquierdo y derecho entrelazadas de un flujo de vídeo 3D,

desentrelazar el flujo de vídeo 3D para extraer las vistas de canal izquierdo y derecho,

muestrear de manera ascendente las vistas de canal izquierdo y derecho, que comprende: determinar (610, 710, 755, 760, 870) una cantidad de disparidad entre las vistas de canal izquierdo y derecho en una ubicación de píxel o en una región correspondiente a la ubicación de píxel; y

caracterizado por: seleccionar (630, 720, 765, 880, 885) al menos un filtro de entre un conjunto de filtros para interpolar un valor de píxel que falta en la ubicación de píxel en una de las vistas de canal izquierdo y derecho, donde los filtros del conjunto de filtros corresponden a diferentes esquemas de interpolación; en el que el al menos un filtro se selecciona en función de al menos la disparidad determinada, de manera que:

cuando la disparidad determinada es igual o inferior a un umbral de disparidad, el al menos un filtro seleccionado interpola (640, 730, 770) el valor de píxel que falta ya sea a partir de datos de ambas vistas o a partir de datos de solamente la otra vista, y

cuando la disparidad determinada es superior al umbral de disparidad, el al menos un filtro seleccionado interpola (650, 740, 775, 820 a 860, 890) el valor de píxel que falta a partir de datos de solamente la vista que va a interpolarse.
2.- El método según la reivindicación 1, en el que, cuando la disparidad determinada es igual o inferior al umbral de disparidad, el al menos un filtro seleccionado interpola el valor de píxel que falta a partir de datos de solamente la otra vista.
3.- El método según la reivindicación 1, en el que los datos comprenden datos temporales de las vistas que va a interpolarse.
4.- El método según la reivindicación 1, en el que uno o más de los filtros seleccionados son filtros temporales de compensación de movimiento (MCTF).
5.- El método según la reivindicación 1, en el que el conjunto de filtros comprende un filtro que considera múltiples píxeles vecinos.
6.- El método según la reivindicación 5, en el que el al menos un filtro que se selecciona cuando la disparidad determinada es igual o inferior al umbral de disparidad es un filtro FIR aplicado en los píxeles vecinos.
7.- El método según la reivindicación 1, en el que el al menos un filtro que se selecciona cuando la disparidad determinada es igual o inferior al umbral de disparidad es un filtro iterativo de múltiples fases, que comprende una estimación inicial basada en un píxel ubicado en la misma posición en la otra vista determinada por una interpolación temporal basada en al menos uno de entre métodos de adaptación de movimiento y métodos de compensación de movimiento.
8.- El método según la reivindicación 1, en el que al menos uno de los filtros comprende un entorno circundante de píxeles que está diseñado específicamente para hacer frente a una deficiencia provocada por al menos uno de entre un esquema de entrelazado de las vistas del flujo de datos y un códec utilizado en el flujo de vídeo.
9.- Un dispositivo configurado para muestrear de manera ascendente vistas de canal izquierdo y derecho de una imagen 3D y que comprende un interpolador adaptativo de contenido; en el que el interpolador adaptativo de contenido está configurado para seleccionar (630, 720, 765, 880, 885) al menos un esquema de interpolación que se utilizará para muestrear de manera ascendente al menos una primera vista de la imagen en función de un análisis (610, 710, 755, 760, 870) de la primera vista y de una segunda vista de la imagen; en el que el interpolador adaptativo de contenido comprende un módulo de análisis de disparidad utilizado para determinar (630, 720, 765, 880, 885) un esquema de interpolación a partir de una pluralidad de diferentes esquemas de interpolación para interpolar un valor de píxel que falta en una ubicación de píxel en función de al menos una cantidad de disparidad determinada entre la primera vista y la segunda vista en la ubicación de píxel o en una región correspondiente a la ubicación de píxel, de manera que:

cuando la disparidad determinada es igual o inferior a un umbral de disparidad, el interpolador adaptativo de contenido determina (630, 720, 765, 880, 885) un esquema de interpolación que interpola (640, 730, 770) el valor de píxel que falta en la primera vista ya sea a partir de datos de ambas vistas o a partir de datos de solamente la segunda vista, y

cuando la disparidad determinada es superior al umbral de disparidad, el interpolador adaptativo de contenido determina (630, 720, 765, 880, 885) un esquema de interpolación que interpola (650, 740, 775, 820 a 860, 890) el valor de píxel que falta en la primera vista a partir de datos de solamente la primera vista.

5 10.- El dispositivo según la reivindicación 9, configurado para llevar a cabo las etapas enumeradas en una cualquiera de las reivindicaciones 1 a 8.