ES2233202B1

ES2233202B1 - Dispositivo para la estimacion de flujo optico en imagenes mediante fpgas.

Info

Publication number: ES2233202B1
Application number: ES200302745A
Authority: ES
Inventors: Antonio Javier Diaz Alonso; Eduardo Ros Vidal; Sonia Mota Fernandez
Original assignee: Universidad de Granada
Current assignee: Universidad de Granada
Priority date: 2003-11-24
Filing date: 2003-11-24
Publication date: 2006-10-16
Anticipated expiration: 2023-11-24
Also published as: ES2233202A1; WO2005050342A3; WO2005050342A2

Abstract

Dispositivo para la estimación de flujo óptico en imágenes mediante FPGAS, es objeto de esta invención un dispositivo desarrollado para la estimación del flujo óptico denso de una secuencia de video en tiempo real. Proporciona las velocidades de los desplazamientos de los niveles de gris presentes en la secuencia. Las imágenes digitalizadas son la entrada al sistema. El dispositivo propuesto realiza el procesamiento mediante una arquitectura basada en cómputo de los gradientes espacio- temporales de la secuencia (módulo DERIVADAS). Existiendo una unidad de control (módulo CONTROL) que permite configurar el funcionamiento de la unidad. Finalmente el dispositivo proporciona la velocidad de cada píxel (módulo CÓMPUTO VELOCIDAD). El dispositivo puede ser utilizado en sistemas de segmentación de objetos móviles, seguimiento, reconstrucción 3-D de escenas, compresión de video, realizándose todo el procesamiento en tiempo real y siendo un sistema embebido y por ello portátil.

Description

Dispositivo para la estimación de flujo óptico en imágenes mediante FPGAs.

Sector de la técnica

La presente invención se encuadra dentro de los dispositivos para procesamiento de imágenes en tiempo real. Más concretamente dentro de los dispositivos digitales para estimación de flujo óptico en imágenes digitales en niveles de intensidad.

Estado de la técnica

Se conoce el flujo óptico en secuencias de imágenes consistente en, mediante diferentes métodos, estimar el desplazamiento de los niveles de gris de una imagen. Este desplazamiento es medido a nivel subpíxel y nos permite determinar la velocidad del desplazamiento de los píxeles de una imagen. Esta información permite la determinación de objetos en movimiento mediante visión y su segmentación o seguimiento.

El conocimiento de este mapa de velocidades de la imagen es utilizado en la actualidad en sistemas de segmentación de objetos móviles, seguimiento, reconstrucción 3-D de escenas y codificación / compresión de vídeo, siendo sus potenciales utilidades muy numerosas.

Acorde a esta situación, existen numerosas metodologías patentadas, principalmente en Estados Unidos, que describen nuevos métodos de cómputo del flujo óptico. En ellos se describen básicamente. diferentes implementaciones computacionales del sistema, cada una intentando mejorar algunos de los problemas típicos que padecen las demás.

Como ejemplo y referencia tenemos el documento WO 01/96982 A2, que describe un método basado en gradiente y pirámide multiescala para estimación de flujo óptico mediante el algoritmo de Horn & Schunck (descrito en el artículo "Determining Optical flow" publicado en "Artificial Intelligence" 1981, vol 17, pp 185-203). Otros documentos basados en los métodos multiescala son US 6.370.196 B1, US 5680487 (basado en gradiente) y FR2729811 (cómputo de velocidades mediante interpolación polinomial). Diferentes aproximaciones son los documentos que pretenden mejorar la estimación del flujo óptico mediante aproximaciones más robustas. Podemos usar un mapa disperso de rasgos fiables basados en la geometría epipolar de la cámara, documento US 20030086590 A1, o estimaciones multihipótesis, documento US 20030076982 A1. También existen métodos basados en estimaciones de la fiabilidad del flujo óptico como el descrito en US 20030058945 A1. Finalmente podemos encontrar documentos como el US 20030086590 A1 que resuelve la estimación de flujo óptico mediante la solución de la ecuación de Poisson y un método de relaja-
ción.

Los sistemas anteriormente descritos, si bien presentan métodos y "dispositivos" para la estimación del flujo óptico, no persiguen el desarrollo de sistemas en tiempo real. El principal problema es la estimación del flujo óptico es la elevada potencia de calculo requerida para su procesamiento lo que, normalmente relega a los dispositivos basados en procesamiento de imágenes a un segundo plano en las aplicaciones reales. Además no son sistemas portables, lo que limita significativamente su utilidad para aplicaciones reales, o su utilización como sistemas
embebidos.

Existe una metodología para la estimación del movimiento de los niveles de gris basado en correlación entre bloques de la imagen y conocido en la terminología anglosajona como métodos de "blockmaching". Basados en esta técnica sí que existen diferentes dispositivos hardware que son capaces estimar el moviendo de los bloques de la imagen en tiempo real. La principal utilidad de esta técnica es la compresión de vídeo, siendo muy usada en estándares tales como el mpeg y afines.

Ejemplos de ello son los dispositivos descritos en W09526539, US 5969772 (permite además detección de objetos en movimiento), EP0577418 A2 (para codificación de vídeo), Patente US 5627591 (usa un mapa disperso basado en bordes para estimar el movimiento y codificar vídeo), US 20030123551 (para codificación mpeg).

El problema de la técnica anterior es que si bien es muy adecuada para la compresión de vídeo, la información del movimiento que proporciona no se corresponde siempre con los desplazamientos reales de los objetos en la imagen. Esto, que es un problema general de todas las aproximaciones para la estimación de flujo óptico, se hace especialmente crítico en los métodos de "blockmaching". Es por ello que para otras aplicaciones, en especial reconstrucción 3-D de la escena, los métodos basados en otras aproximaciones, típicamente métodos basados en cómputo del gradiente, son más apropiados. El problema de estos sistemas es su complejidad lo que hace poco frecuente la existencia de sistemas de procesamiento en tiempo real basados en ello. Un ejemplo destacable y que incluimos aquí como referencia es el descrito en el documento US5627905. En él se describe un dispositivo de estimación de flujo óptico basado en gradiente y procesado de selección de patrones de movimiento. El dispositivo permite también el seguimiento de objetos. En lo referente a su implementación hardware utiliza un sistema mixto procesador-PGAs así como diferentes chip de
memoria.

Descripción detallada de la invención

El dispositivo inventado tiene por objeto la estimación de flujo óptico denso en secuencias de vídeo digital. El sensor digital podrá ser de cualquier tipo, vídeo estándar, infrarrojos, radar etc. El procesamiento será realizado en tiempo real utilizando un método de estimación de flujo óptico basado en los gradientes de las imágenes. Como hemos visto en el apartado anterior, la existencia de circuitos capaces de realizar tal operación es muy reducida, siendo aún menos numerosos los que pueden ser utilizados como sistemas embebidos. La presente invención es capaz de realizar tal tarea basándose en una estructura para circuitos tipo FPGA de gran paralelismo.

La entrada de datos del sistema serán las imágenes capturadas con cualquier sensor opto-electrónico y digitalizadas. La imagen de entrada es almacenada en una memoria externa para su posterior lectura, tal y como muestra el modulo denominado "Frame-Grabber" (o módulo capturador) de la figura 1. El dispositivo computa la derivada temporal a partir de imágenes suavizadas espacio-temporalmente, utilizando para ello un filtrado temporal con filtros
IIR.

El dispositivo puede operar en diferentes configuraciones que se determinan mediante una señal entrada especialmente existente para ello. El modulo de la figura 1 denominado CONTROL es el encargado de modificar la operación de los restantes elementos del circuito de acuerdo con el estado del mismo. Las diferentes configuraciones modifican los tamaños de imagen de trabajo, pudiendo realizarse la estimación de flujo a diferentes escalas espaciales. También es posible modificar diferentes parámetros del modelo como los umbrales de confianza en la estimación de velocidades o de derivadas. La elección de estos parámetros permitirá elegir la densidad de estimaciones presentes en la imagen y como consecuencia el umbral de fiabilidad de los mismos.

Por último, se computa la velocidad. El dispositivo usa memoria externa para el almacenamiento de resultados previos, utilizado para estimar la velocidad recursivamente de manera más estable.

Breve descripción de la figuras

Para una mejor comprensión de esta memoria, acompañamos la figura 1, que muestra un esquema básico de los principales elementos de procesamiento realizados dentro de circuito de la invención, indicando también las líneas de entrada y salida de datos. Los bloques mostrados informan de las unidades básicas de procesamiento y control descritas en el apartado anterior.

En los dibujos:

1: Módulo de control

2: Módulo derivadas

3: Módulo cómputo de velocidad

4: Cámara

5: Frame grabber

6: Suavizado

7: Memoria

8: Salida

Modos de realización de la invención

Para la realización del circuito de la presente invención, descrita ya su función en el apartado anterior, utilizamos un circuito tipo FPGA que cumpla las restricciones de tiempo real y capacidad de procesamiento descritas en la presente invención, sin perjuicio de otras soluciones como son las basadas en circuitos de uso especifico (ASIC).

El circuito realizado posee las entradas mostradas en la figura 1, los valores de los niveles de gris de la imagen digital, la entrada de control y las interconexiones con la memoria externa. La salida proporciona las estimaciones de velocidad de los píxel de la
imagen.

Claims

1. Dispositivo para la estimación de flujo óptico en imágenes mediante FPGAs caracterizado por comprender los siguientes elementos:

- Circuito de procesamiento de imágenes en tiempo real para estimación de flujo óptico mediante
FPGA.

- Entradas y/o salidas para el control del sistema, valores de los píxeles de la imagen, memorias externas y resultados obtenidos.

- Unidad de transferencia de datos entre el dispositivo y la memoria externa.

- Unidad de procesamiento para realizar el suavizado de las imágenes.

- Unidad de procesamiento para estimación de las derivadas de la imagen.

- Unidad de procesamiento para el cómputo de las velocidades de los píxeles de la imagen.

- Unidad de control del sistema.

2. Dispositivo para estimación de flujo óptico según reivindicación 1 caracterizado porque la unidad de procesamiento para suavizado de imágenes realiza un suavizado recursivo de la imagen mediante un filtro tipo IIR.

3. Dispositivo para estimación de flujo óptico según reivindicación 1 caracterizado porque la unidad de procesamiento para cómputo de velocidades estima las mismas de manera recursiva, utilizando los valores obtenidos en las imágenes anteriores.

4. Dispositivo para estimación de flujo óptico según reivindicación 1 caracterizado porque la unidad de control del sistema permite seleccionar la escala espacial para el cómputo de flujo óptico, así como modificar los umbrales de velocidades computables y de fiabilidad en su estimación.

5. Dispositivo para estimación de flujo óptico según reivindicación 1 caracterizado porque el computo de flujo óptico es realizado utilizando una técnica basada en cómputo de gradientes de la imagen, obteniéndose un flujo óptico denso.