ES2555630B2

ES2555630B2 - Sistema de visión artificial y procedimiento para la detección de objetos anómalos (peatones o animales) en autovías o autopistas

Info

Publication number: ES2555630B2
Application number: ES201401055A
Authority: ES
Inventors: Ezequiel LÓPEZ RUBIO; Rafael Marcos LUQUE BAENA; Esteban José PALOMO FERRER
Original assignee: Universidad de Malaga; Universidad de Extremadura
Current assignee: Universidad de Malaga; Universidad de Extremadura
Priority date: 2014-12-23
Filing date: 2014-12-23
Publication date: 2016-10-06
Anticipated expiration: 2034-12-23
Also published as: WO2016102733A1; ES2555630A1

Abstract

Sistema de visión artificial y procedimiento para la detección de objetos anómalos (peatones o animales) en autovías o autopistas. La invención refiere un sistema que comprende una cámara digital (1) que suministra imágenes a una CPU (2) que implementa un detector de objetos en movimiento (3) que envía la información de los objetos presentes en cada fotograma a un módulo de seguimiento de objetos (4) que identifica las trayectorias y velocidades de los objetos presentes en cada fotograma y que suministra dicha información a un detector de anomalías (5) que clasifica los objetos en normales y anómalos y que, alternativamente, envía la información de objetos anómalos a un módulo de comunicaciones (6) que permite informar sobre dichos objetos. La invención refiere asimismo un procedimiento para la detección de dichos objetos anómalos que comprende las etapas de captación de imágenes, detección de objetos, seguimiento de objetos y detección de objetos anómalos.

Description

DESCRIPCIÓN

Sistema de visión artificial y procedimiento para la detección de objetos anómalos (peatones o animales) en autovías o autopistas.

5

Sector técnico

La presente invención se engloba dentro del campo de los Sistemas de Seguridad en Infraestructuras de Transporte y Tráfico. En concreto, se centra en la detección y posterior aviso de la presencia de elementos no habituales en carreteras y autovías, 10 como son peatones, animales y obstáculos inertes, que pueden poner en riesgo la vida de los ocupantes de los vehículos que circulan por estas vías y de los peatones y animales.

Estado de la técnica 15

El control del tráfico en vías públicas mediante sistemas de vigilancia automatizada está extendiéndose progresivamente debido al coste cada vez menor del hardware asociado a este tipo de sistemas. Existen ya numerosos productos comerciales que se enfocan al problema de detectar vehículos que circulan a velocidad excesiva y al de descubrir 20 vehículos que se han saltado un semáforo. Este tipo de productos se aplican en muchos casos a la imposición de sanciones económicas a los vehículos infractores. Sin embargo, no se ha dedicado tanta atención a la detección de situaciones que, siendo infrecuentes, pueden representar un importante peligro para la vida de las personas que circulan por las vías. Entre estas situaciones se encuentra el cruce de autovías o autopistas por 25 personas o animales, lo cual además de no estar autorizado tiene una alta probabilidad de ocasionar un grave accidente.

En el documento ES 2377802 ("Sistema sensor para la detección de objetos/obstáculos en puntos críticos de líneas férreas") se resuelve un problema relacionado con el que nos 30 ocupa, pero en el caso de vías férreas. Aparte de la diferencia evidente de que son tipos de vías distintos, el problema de las vías férreas es mucho mas fácil de solucionar porque cualquier objeto sobre las vías antes de la llegada del tren representa un peligro. Por este motivo, dicha invención no necesita ni realiza un seguimiento individualizado de los objetos, con lo cual solo puede distinguir entre una situación con objetos y otra sin 35 objetos, sin poder determinar el sistema si un objeto es anómalo o no. Esta capacidad es insuficiente para las autovías y autopistas, en las que coexisten objetos normales y anómalos.

El documento WO 9516252 describe un sistema de seguimiento de vehículos que no 40 daría un buen rendimiento para seguir personas o animales, ya que se basa en calcular los bordes de los objetos presentes en la escena y caracterizar los objetos a partir de ellos (horizontal and vertical edge element intensity data, ver pág. 6 del citado documento). Esto no funcionaría bien para personas o animales, ya que su pequeño tamaño y su cambio de forma a medida que se mueven hacen que los bordes de estos 45 objetos vayan cambiando de apariencia continuamente. La morfología de los objetos no es un criterio robusto para determinar que un objeto no es un coche porque la aparición y desaparición de sombras, los defectos de los algoritmos de separación entre fondo y primer plano y los defectos de compresión del vídeo ocasionan que los coches parezcan cambiar de morfología desde el punto de vista del algoritmo. 50

El documento WO 9622588 se circunscribe a la detección de vehículos, y por ello el sistema está diseñado para detectar únicamente objetos que se muevan a lo largo de los carriles de la vía (ver pág. 5 del citado documento, al principio), no siendo aplicable por tanto al problema objeto de la invención que aquí se propone, debido a que los objetos que nos proponemos detectar no cumplen con las condiciones que dicha patente 5 necesita para funcionar correctamente.

En el documento ES 2155017 ("Sistema de visión artificial para la detección de vehículos en sentido contrario en una autovía"), enfocado a la detección de vehículos en sentido contrario, el objetivo del sistema es distinto. Además de nuevo el problema es mas 10 sencillo porque los vehículos son objetos grandes, rígidos y de trayectoria aproximadamente rectilínea, con lo cual son más fáciles de detectar que las personas y animales, que son más pequeños, flexibles y cuyo movimiento es lento y errático. El documento no especifica el procedimiento para seguir los objetos, citando los documentos WO 9516252 y WO 9622588 que como hemos mencionado antes no 15 servirían para resolver el problema objeto de la presente invención.

En el documento US 8078349, la detección de ciertos elementos (por ejemplo, líneas que delimitan el carril de conducción) se determina mediante cámaras en movimiento dentro del vehículo. 20

Descripción de la invención

La invención aquí propuesta resuelve el problema técnico de localizar e identificar objetos anómalos (peatones y animales) en un entorno no controlado como es el de una vía 25 pública.

En particular, la invención pretende detectar peatones y animales que deambulen por la calzada de autovías o autopistas, o sus proximidades. Mediante su uso se podría alertar a las autoridades de tráfico o directamente a los conductores mediante teléfono móvil u 30 otros sistemas de comunicación, de tal manera que la seguridad en este tipo de vías se vería aumentada. El sistema comprende la utilización de una cámara fija, situándose el dispositivo en diferentes puntos de la autovía o carretera. Esto permite que la perspectiva de la escena sea siempre la misma, lo cual conlleva grandes ventajas a la hora de detectar objetos con respecto a la perspectiva dinámica de las cámaras situadas dentro 35 de un vehículo. Es decir, que un sistema basado en cámaras fijas tendrá en términos generales un mejor rendimiento que otro basado en cámaras móviles situadas dentro de los vehículos.

De forma más particular, el sistema comprende una cámara digital que suministra las 40 imágenes a una CPU que implementa un detector de objetos en movimiento. Dicho detector de objetos envía a un módulo de seguimiento de objetos la información de los objetos presentes en cada fotograma. A partir de esta información el módulo de seguimiento identifica las trayectorias y velocidades de los objetos presentes, y suministra esta información a un detector de anomalías, que clasifica los objetos en 45 normales y anómalos. En caso de detectarse algún objeto anómalo (peatón o animal) se envía esta información a un módulo de comunicaciones, que permite alertar, por ejemplo, a las autoridades de tráfico o a los conductores.

Este entorno tendrá unas características especiales que modelar, como son los cambios 50 de iluminación tanto graduales como repentinos, la aparición de sombras proyectadas en

el asfalto que pueden provocar una variación en la forma de los objetos si no son evitadas o el solapamiento de varios objetos en movimiento debido a su cercanía en el espacio. Así, la construcción de un modelo de fondo robusto que resuelva estas dificultades hace que se requieran técnicas de aprendizaje probabilísticas diferentes de las convencionales en inteligencia computacional. En concreto, se emplea un algoritmo 5 de aproximación estocástica que es capaz de estimar en tiempo real la media y la matriz de covarianzas del color observado de cada píxel del vídeo. Además, se hace uso de un modelo de seguimiento dinámico que incorpora información de los objetos en movimiento registrados en la escena, eliminándolos cuando desaparezcan de la escena y añadiendo nuevos tras su aparición en la misma. Dicho modelo estima las posiciones y velocidades 10 de los objetos registrados, y almacena los instantes de tiempo previos en los que se han identificado estos objetos, con el fin de eliminarlos del modelo a medida que vayan saliendo de la escena grabada.

A lo largo de la descripción y las reivindicaciones la palabra "comprende" y sus variantes 15 no pretenden excluir otras características técnicas, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la práctica de la invención. Los siguientes ejemplos y figuras se proporcionan a modo de ilustración, y no se pretende que sean limitativos de la presente invención. 20

Descripción de las figuras

Figura 1. Esquema global del sistema. Cámara (1), CPU (2), detector de objetos (3), sistema de seguimiento de objetos (4), detector de anomalías (5), módulo de 25 comunicaciones (6).

Figura 2. Esquema del detector de objetos. Fotograma (3.1), modelo de fondo (3.2), objetos de primer plano (3.3), características de los objetos (3.4).

30

Figura 3. Esquema del subsistema de seguimiento de objetos. Asignación de regiones a objetos (4.1), estimación de velocidad y dirección de los objetos (4.2).

Modos de realización de la invención

35

La constitución y características de la invención se comprenderán mejor con ayuda de la siguiente descripción de ejemplos de realización, debiendo entenderse que la invención no queda limitada a estas realizaciones, sino que la protección abarca todas aquellas realizaciones alternativas que puedan incluirse dentro del contenido y del alcance de las reivindicaciones. Asimismo, el presente documento refiere diversos documentos como 40 estado de la técnica, entendiéndose incorporado por referencia el contenido de todos estos documentos, así como de el contenido completo de los documentos a su vez referidos en dichos documentos, con objeto de ofrecer una descripción lo más completa posible del estado de la técnica en el que la presente invención se encuadra. La terminología utilizada a continuación tiene por objeto la descripción de los ejemplos de 45 modos de realización que siguen y no debe ser interpretada de forma limitante o restrictiva.

El esquema global del sistema se representa en la figura 1. El sistema se basa en una cámara digital (1) que suministra las imágenes a una CPU (2) que tiene implementado en 50 hardware un detector de objetos en movimiento (3). Dicho detector de objetos le envía al

módulo de seguimiento de objetos (4) la información de los objetos presentes en cada fotograma. A partir de esta información el módulo de seguimiento identifica las trayectorias y velocidades de los objetos presentes, y suministra esta información al detector de anomalías (5), que clasifica los objetos en normales y anómalos. En caso de detectarse algún objeto anómalo (peatón o animal) se envía esta información al módulo 5 de comunicaciones (6), que mediante una conexión de telefonía móvil da la alerta a las autoridades de tráfico o a los conductores.

El esquema del detector de objetos (3) se representa en la figura 2. Dado un fotograma de entrada (3.1) se actualiza el modelo de fondo (3.2) y se estiman los píxeles que 10 pertenecen a objetos de primer plano (3.3), para posteriormente calcular las características de dichos objetos (3.4).

El esquema del subsistema de seguimiento de objetos (4) se representa en la figura 3. Dadas las regiones del fotograma actual que se corresponden con el primer plano, se 15 asignan dichas regiones a los objetos que se están siguiendo (4.1), y después se estiman las velocidades y direcciones de dichos objetos (4.2).

A continuación se procede a una descripción más detallada de la invención:

20

• A partir de una cámara integrada en el sistema se tomarán imágenes en tiempo real de la vía analizada. Inicialmente, se construirá un modelo del fondo basado en mixturas probabilísticas que establezca las características de color habituales en cada píxel de la escena, tomando para ello un conjunto inicial de fotogramas. A partir de este conjunto inicial de fotogramas se calcula una estimación inicial de la media y 25 la matriz de covarianzas del color observado en cada píxel.

• Por cada fotograma de la escena observada procederemos a realizar las siguientes tareas a fin de actualizar el modelo de fondo (3.2) y usarlo para la detección de objetos (3): 30

o Dado un fotograma de entrada (3.1), se llevará a cabo la detección de los objetos de primer plano (3.3). Dichos objetos serán modelados mediante una distribución uniforme sobre el volumen del espacio tridimensional que representa los posibles colores observables, para poder detectar objetos de cualquier color con la misma 35 eficacia. Se calculará la probabilidad de que cada píxel pertenezca a un objeto de primer plano, y se combinará la información de píxeles próximos para determinar que regiones tienen una alta probabilidad de corresponderse con objetos. La salida tras esta detección será una máscara binaria donde los píxeles activos se corresponderán con los píxeles pertenecientes a objetos en movimiento (3.3). 40

o Actualización del modelo de fondo (3.2) mediante el algoritmo de aproximación estocástica de Robbins-Monro, adecuado cuando los datos de entrada se obtienen consecutivamente (fotograma a fotograma) y no por bloques. La información de cada fotograma (3.1) se descartará tras su análisis en cada 45 iteración del algoritmo. Para cada fotograma captado se vuelven a estimar la media y las covarianzas de cada píxel aplicando una tasa de aprendizaje adaptativa que es directamente proporcional a la probabilidad de que el píxel observado sea de fondo.

50

o Extracción de las características o descriptores fundamentales de los objetos detectados (tamaño, posición y forma) mediante operadores que analizan imágenes binarias (3.4). Se trata de operadores morfológicos que, dada una imagen de ceros y unos que contiene ceros para los píxeles del fondo y unos para los píxeles del primer plano, determinan el número de objetos conexos presentes 5 y sus características anteriormente mencionadas.

• Tras detectar las regiones de primer plano se pasará a realizar el seguimiento de los objetos (4) de esta manera:

10

o Aplicación de un algoritmo de asignación para ver que regiones se corresponden con objetos detectados en el fotograma anterior (4.1). El algoritmo consiste en asignar cada región al objeto registrado cuyo centroide esté mas cerca del centroide de la región. Estos objetos que ya están registrados como objetos en movimiento se incorporarán al modelo de seguimiento basado en un filtro de 15 Kalman con múltiples objetos. Aquellos objetos que aparezcan por primera vez en la escena se registrarán en el modelo, mientras que los que desaparezcan y no vuelvan a aparecer en varios fotogramas consecutivos serán eliminados.

o Cálculo de la velocidad y dirección de los objetos comparando la posición anterior 20 y actual (3.2). Se añadirá esta información a una base de datos de posiciones, tamaños y trayectorias registradas. A partir de dicha base de datos se entrenará una red neuronal artificial para aprender las características habituales de los objetos. Dicha red neuronal será de tipo perceptrón multicapa, cuyas entradas serán las posiciones en el fotograma y las salidas serán las velocidades aparentes 25 habituales de los objetos. El entrenamiento de dicha red se realizará durante un periodo de varias horas anterior a la puesta en funcionamiento definitiva del sistema.

• La detección de anomalías tendrá lugar como sigue (5): 30

o Todo objeto que en un instante dado tenga unas características que difieran en una cantidad prefijada de las predichas por la red neuronal será declarado anómalo. Esta cantidad será determinada tras el proceso de entrenamiento y antes de la puesta en funcionamiento del sistema, dependiendo de las 35 características de la escena. En esta parte del sistema no es necesario mantener el seguimiento del objeto durante varios fotogramas, dado que la creación de la base de datos y la detección de anomalías se hace con la información correspondiente a dos fotogramas sucesivos. Por tanto, no se sigue el procedimiento habitual de analizar la trayectoria de un objeto a lo largo de muchos 40 fotogramas, lo cual redunda en una mayor robustez del sistema a la hora de detectar personas o animales que por sus cambios de apariencia y de trayectoria son fáciles de perder durante algunos fotogramas.

• En caso de que el sistema detecte un comportamiento anómalo, como ejemplo el 45 caminar por el arcén de un peatón o animal, será comunicado a un agente exterior al sistema (6).

Como ejemplo final, a continuación se indican las especificaciones técnicas de una realización concreta de la invención: 50

• El sistema propuesto consta de una cámara digital de resolución 640 x 480 píxeles, que captura 50 fotogramas por segundo en RGB. La CPU es una Raspberry Pi de 512 MB de memoria RAM que está montada en una caseta adecuadamente cerrada para protegerla de la intemperie, y que es alimentada a 5 V por un módulo solar ubicado en el mismo lugar. Dicha CPU recibe las imágenes de la cámara mediante 5 un interfaz CSI. Como almacenamiento no volátil la CPU dispone de una tarjeta SDHC de 64 GB, en el que se almacenan los fotogramas durante su procesamiento y se almacena el software necesario, incluyendo un sistema operativo Linux. La detección de objetos está implementada mediante aceleración de gráficos por hardware (GPU). El módulo de comunicaciones se implementa mediante un teléfono 10 móvil conectado a la Raspberry Pi por USB. El teléfono móvil se conecta a su vez con una antena direccional tipo Yagi-Uda instalada en el exterior de la caseta.

Claims

REIVINDICACIONES

1. Procedimiento de detección de objetos anómalos (peatones o animales) en autovías o autopistas caracterizado por que comprende:

5

a. Una etapa de captación de imágenes en la que se toman imágenes en tiempo real de la vía analizada mediante una cámara (1);

b. Una etapa de detección de objetos en la que, mediante un módulo de detección de objetos (3), dado un fotograma de entrada (3.1), se actualiza el modelo de fondo 10 (3.2) y se estiman los píxeles que pertenecen a objetos de primer plano (3.3) para posteriormente calcular las características de dichos objetos (3.4);

c. Una etapa de seguimiento de objetos en la que, mediante un módulo de seguimiento de objetos (4), se implementa un modelo de seguimiento dinámico que incorpora 15 información de los objetos en movimiento registrados en la escena, asignando regiones a objetos (4.1), eliminándolos cuando desaparecen de la escena y añadiendo nuevos objetos tras su aparición en la escena, estimando las posiciones y velocidades de los objetos registrados (4.2); y

20

d. Una etapa de detección de objetos anómalos que, mediante un módulo de detección de objetos anómalos (5), clasifica los objetos detectados en normales o anómalos en función de la información registrada.
2. Procedimiento según la reivindicación anterior caracterizado por que la etapa de 25 detección de objetos comprende

a. la generación de un modelo del fondo (3.2) basado en mixturas probabilísticas que establecen las características de color habituales en cada píxel de la escena, tomando para ello un conjunto inicial de fotogramas (3.1) a partir del cual se calcula 30 una estimación inicial de la media y la matriz de covarianzas del color observado en cada píxel de cada fotograma (3.1);

b. la detección de los objetos de primer plano (3.3) para cada fotograma de entrada (3.1), modelizándose los objetos detectados mediante una distribución uniforme 35 sobre el volumen del espacio tridimensional que representa los posibles colores observables para poder detectar objetos de cualquier color con la misma eficacia, calculándose la probabilidad de que cada píxel pertenezca a un objeto de primer plano, y combinándose la información de píxeles próximos para posteriormente permitir determinar qué regiones tienen una alta probabilidad de corresponderse con 40 objetos (4.1), generándose una máscara binaria donde los píxeles activos se corresponderán con los píxeles pertenecientes a objetos en movimiento.

c. Se actualiza del modelo de fondo (3.2) mediante un algoritmo de aproximación estocástica, descartándose la información de cada fotograma (3.1) tras su análisis en 45 cada iteración del algoritmo, de forma que para cada fotograma captado se vuelven a estimar la media y las covarianzas de cada píxel aplicando una tasa de aprendizaje adaptativa que es directamente proporcional a la probabilidad de que el píxel observado sea de fondo;

50

d. La extracción de las características o descriptores fundamentales de los objetos detectados (tamaño, posición y forma) mediante operadores que analizan imágenes binarias (3.4).
3. Procedimiento según la reivindicación anterior caracterizado por que la actualización 5 del modelo de fondo (3.2) se realiza mediante el algoritmo de aproximación estocástica de Robbins-Monro, adecuado cuando los datos de entrada se obtienen consecutivamente (fotograma a fotograma) y no por bloques.
4. Procedimiento según cualquiera de las reivindicaciones 1 a 3 caracterizado por que 10 los operadores que analizan las imágenes binarias son operadores morfológicos que, dada una imagen de ceros y unos que contiene ceros para los píxeles del fondo y unos para los píxeles del primer plano, determinan el número de objetos conexos presentes y sus características anteriormente mencionadas.

15
5. Procedimiento según cualquiera de las reivindicaciones 1 a 4 caracterizado por que la etapa de seguimiento de objetos comprende

o La asignación de regiones a objetos (4.1) mediante la aplicación de un algoritmo de asignación para ver que regiones se corresponden con objetos detectados en el 20 fotograma anterior, dicho algoritmo asignando cada región al objeto registrado cuyo centroide esté mas cerca del centroide de la región;

o Y el cálculo de la velocidad y dirección de los objetos (3.2) comparando la posición anterior y actual. 25
6. Procedimiento según la reivindicación anterior caracterizado por que los objetos que ya están registrados como objetos en movimiento se incorporan al modelo de seguimiento basado en un filtro de Kalman con múltiples objetos, de forma que aquellos objetos que aparezcan por primera vez en la escena se registrarán en el modelo, 30 mientras que los que desaparezcan y no vuelvan a aparecer en varios fotogramas consecutivos serán eliminados.
7. Procedimiento según cualquiera de las reivindicaciones 1 a 6 caracterizado por que la etapa de detección de anomalías comprende clasificar como anómalo todo objeto que en 35 un instante dado tenga unas características que difieran en una cantidad prefijada de las características predecidas a partir de la información generada en la etapa de seguimiento de objetos.
8. Procedimiento según cualquiera de las reivindicaciones 6 ó 7 caracterizado por la 40 velocidad y dirección calculados para los objetos (3.2) son almacenados en una base de datos de posiciones, tamaños y trayectorias registradas.
9. Procedimiento según la reivindicación anterior caracterizado por que a partir de la base de datos se entrena una red neuronal artificial tipo perceptrón multicapa para 45 aprender las características habituales de los objetos, cuyas entradas son las posiciones en el fotograma y las salidas son las velocidades aparentes habituales de los objetos, y que tiene por objeto predecir las características frente a las cuáles se confrontan las características observadas de los objetos para determinar si difieren en una cantidad prefijada. 50
10. Procedimiento según cualquiera de las reivindicaciones anteriores caracterizado por que comprende además una etapa de comunicación, mediante un módulo de comunicaciones, que permite informar, avisar o alertar sobre la presencia de un objeto anómalo.

5