ES2359852T3 - Método y sistema para el mapeo de datos de sensores de alcance sobre datos de sensores de imagen. - Google Patents

Abstract

Sistema informático (10) que comprende un procesador (11) y memoria (12; 13; 14; 15) conectada al procesador, donde la memoria comprende un programa de ordenador, que comprende datos e instrucciones configurados para hacer que dicho procesador (11): -reciba los datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a un sistema móvil, al igual que los datos de primer sensor de alcance de al menos un primer sensor de alcance (3(1)) incorporado a dicho sistema móvil, y los datos de imágenes de al menos una cámara (9(j)) incorporada a dicho sistema móvil; -identifique una primera nube de puntos dentro de dichos datos del primer sensor de alcance, asociada con al menos un objeto; -produzca una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos; Y que está caracterizado porque el procesador está configurado de manera adicional para -mapear dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según se encuentran presentes en dichos datos de imágenes de dicha al menos una cámara (9(j)); para -efectuar una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto.

Description

Campo de la invención

La presente invención hace referencia al campo de la captura y procesamiento de imágenes y datos provenientes de sensores de alcance por medio de la utilización de un sensor de imagen, como una cámara montada sobre un vehículo en movimiento, tal como un sistema móvil de mapeo (MMS por sus siglas en inglés), y el mapeo de estos datos sobre los datos del sensor de alcance obtenidos por al menos un sensor de alcance ubicado en el mismo vehículo en movimiento.

En una realización, la invención también hace referencia al campo de la eliminación de información privada y confidencial de dichas imágenes. La información privada y confidencial puede asociarse a objetos en movimiento con respecto al mundo fijo (es decir, La Tierra).

Antecedentes de la invención

En algunas aplicaciones MMS el objetivo es capturar particularmente fotografías de fachadas de edificios y otros objetos fijos tales como árboles, carteles en la vía pública y farolas de alumbrado público, que después son empleadas en imágenes de calles 2D y/o 3D “del mundo real”, utilizadas por ejemplo en sistemas de navegación de cehículos. Después, estas imágenes son presentadas a conductores de automóviles que cuentan con un sistema de navegación para que vean en la pantalla del sistema de navegación imágenes 2D y/o 3D correspondientes al mundo real observado al mirar a través de las ventanas del automóvil. Además de los sistemas de navegación de vehículos, estas fotografías pueden ser empleadas en otras aplicaciones, como por ejemplo en juegos para ordenador, donde funcionarían como sistemas independientes o como parte de un entorno de red. Un ejemplo de dicho entorno puede ser Internet. La solución de la presente invención, tal como se presenta a continuación, no se limita a una aplicación específica.

Sin embargo, es posible que millones de imágenes MMS contengan información privada, como por ejemplo rostros de personas y matrículas legibles de automóviles que pueden aparecer en las imágenes de manera no intencional. Se prefiere no utilizar tales imágenes en aplicaciones públicas en las cuales la información privada u otra información no deseada se observe claramente. Por ejemplo, algunos periódicos han denunciado la presencia de dicha información no deseada en imágenes de mapas de carreteras distribuidas por Google™. Las imágenes capturadas en el mundo real representan objetos móviles y estáticos dentro de las inmediaciones de los MMS. En las imágenes, los objetos que contienen información privada o no deseada pueden ser estáticos o móviles con respecto al mundo fijo. Tales objetos deben identificarse entre las imágenes capturadas por la cámara en los MMS.

Algunas aplicaciones del arte previo han intentado identificar objetos móviles basándose solamente en las propiedades de las imágenes y han intentado determinar su trayectoria de movimiento de acuerdo con las propiedades de píxeles de color en secuencias de imágenes. No obstante, dicho enfoque funciona sólo si es posible determinar los objetos en una o más de dos imágenes secuenciales que sirvan para definir la trayectoria.

Otras aplicaciones han revelado sistemas en los cuales se utilizan otro tipo de sensores con el fin de determinar la aproximación de la trayectoria a corto plazo de objetos con respecto a un vehículo equipado con tales sensores. Estos sensores pueden incluir escáneres láser, sistemas de radar y cámaras de vídeo estéreo. Se hace referencia a tales sistemas, por ejemplo, en la introducción de la memoria EP1418444. Este documento hace referencia a aplicaciones en tiempo real en las cuales las posiciones con respecto al vehículo y las velocidades de objetos con respecto al vehículo son importantes, por ejemplo, para evitar accidentes entre el vehículo y los objetos. El documento no revela la manera en que los datos de posición y velocidad obtenidos por los sensores pueden ser mapeados sobre datos de imágenes obtenidas por las cámaras de vídeo estéreo. Además, no revela la manera de determinar las posiciones y velocidades absolutas de tales objetos. En este contexto, la palabra “absoluto” debe comprenderse como algo que es absoluto con respecto al mundo real fijo determinado por la tierra y los objetos fijos a la tierra, como por ejemplo edificios, señales de tráfico, árboles, montañas etc. Este mundo real puede estar definido, por ejemplo, por una cuadrícula de referencia como las utilizadas en el sistema GPS. Además, este documento no hace referencia a cómo tratar datos privados y confidenciales que aparezcan en imágenes capturadas por las cámaras de video.

La utilización de datos de escáner láser para asistir en la identificación de la ubicación del espacio ocupado por edificios se describe, por ejemplo, en la solicitud de patente copendiente PCT/NL2006/050264.

15

25

35

45

55

La memoria WO98/12504 describe un sistema móvil de mapeo diseñado para generar un modelo tridimensional detallado, geométricamente preciso, de un entorno de interior desconocido. No existe límite en la distancia que el sistema móvil puede viajar, ni en la clase de detalles que pueden ser mapeados. El mismo diseño se utiliza para entornos que varían desde simples vestíbulos de oficina hasta largos y sinuosos túneles de minas bajo tierra. Se pueden mapear superficies y características de imágenes adquiridas a través de una configuración única de diferentes clases de sensores de imagen óptica y dispositivos de posicionamiento. Esta configuración garantiza que toda la información requerida para reconstruir el entorno tridimensional se incluirá en las imágenes obtenidas. Siempre y cuando haya suficiente coincidencia entre la intensidad de las imágenes bidimensionales y, si se combinen las mismas con imágenes de alcance tridimensional, el método reconstruirá un entorno ajustando simultáneamente una pluralidad de imágenes.

La patente US 2006152522 describe un sistema de texturización para representaciones electrónicas de objetos e incluye una biblioteca de texturas, un motor de texturas y un módulo gráfico de usuario de interfaz. Se puede almacenar una textura de origen en la biblioteca con un identificador único asociado. La textura de origen puede manipularse por medio del módulo gráfico del usuario de la interfaz a fin de formar una textura compleja. Las manipulaciones para formar texturas complejas pueden capturarse y almacenarse en la biblioteca de texturas como un procedimiento de transformación con un identificador único. El identificador único de la textura compleja o de la textura de origen puede asociarse con una superficie de una representación electrónica de una imagen. Cuando se muestra la representación electrónica, se realiza el procedimiento de transformación y se puede texturizar la superficie asociada a ese procedimiento de transformación.

ZHAO, HUIJING et al. describen en su trabajo titulado "Updating a digital geographic database using vehicle-borne laser scanners and line cameras" [Actualización de una base de datos geográfica digital utilizando escáneres láser y cámaras de línea montados sobre vehículos] (Photogrammetric Engineering & Remote Sensing [Ingeniería fotogramétrica y detección remota], vol. 71, no. 4, abril de 2005), un sistema móvil de mapeo (VLMS), en el cual tres escáneres láser de una fila, cámaras CCD de seis líneas y una unidad de navegación basada en GPS/INS se colocan en una camioneta, y se mide tanto la geometría del objeto como la textura a lo largo de la calle. Este trabajo contribuye con un método de fusionar la salida de datos del VLMS con fuentes de datos geográficos ya existentes, donde el enfoque es la rectificación de parámetros GPS/INS, los cuales pueden contener bastantes errores en zonas urbanas. Se desarrolla un algoritmo para corregir cuatro parámetros en cada actualización GPS/INS, es decir, las coordenadas xyz de posición del vehículo y el ángulo de derrape de la orientación del vehículo, por medio de un registro de puntos láser de VLMS con una fuente de datos existente, por ejemplo DSM.

El algoritmo se examina por medio de los datos VLMS tomados en el área de GINZA, en Tokio.

Mediante la asignación manual de 18 series de puntos de conexión, los parámetros de GPS/INS se corrigen automática y efectivamente a fin de lograr que los puntos láser del VLMS correspondan con un DSM. En la fusión de datos, se extrae una serie de objetos de los datos rectificados de VLMS utilizando una interfaz desarrollada en investigaciones previas, la cual contiene anuncios comerciales, señales de tráfico, límites e iluminación de calles, etc. Éstos están integrados a un mapa 3D 1:2500 que consiste sólo en armazones de edificios. Además, se proyectan imágenes alineadas del VLMS sobre fachadas de edificios en el mapa 3D, y las texturas se generan de manera automatizada.

ISHIKAWA, K et al. describen en su trabajo "A mobile mapping system for road data capture based on 3D road model" [Sistema móvil de mapeo para la captura de datos viales en base a un modelo de carretera 3D] (Computer Aided Control System Design, 2006 IEEE International Conference on Control Applications [Diseño de sistemas de control asistido por ordenador, Conferencia Internacional de Aplicaciones de Control IEEE 2006], 2006 IEEE International Symposium on Intelligent Control [Simposio Internacional de Control Inteligente IEEE 2006], 2006 IEEE, Octubre de 2006), la utilización de un MMS (Sistema Móvil de Mapeo) que tiene un sistema de navegación combinado SPG/DR (Navegación por Estima, DR por sus siglas en inglés), un GPS-Gyro/IMU(Unidad de Medida de Inercia, IMU por sus siglas en inglés), escáneres láser, cámaras casi horizontales y un registrador de datos viales con alta frecuencia de muestreo, a fin de medir las ubicaciones centrales y laterales con precisión, teniendo en cuenta el modelo de la superficie vial 3D basado en un escáner láser. El sistema de navegación combinado DGPS/DR de fase portadora y el GPS-Gyro/IMU logran cálculos de posicionamiento y postura muy precisos a unos pocos centímetros y dentro de 0,1 grado. Se puede afirmar que el MMS propuesto y su método único de posicionamiento de señales de tráfico es válido y efectivo, ya que el error en la localización de la señal de tráfico está dentro de los 100[mm] aún en calle inclinada, si se considera el modelo de superficie vial 3D.

La memoria EP1462762 describe un dispositivo de monitoreo de un vehículo que comprende medios para tomar una imagen de los alrededores del vehículo y para introducir esa información de imagen; medios de detección de la información del vehículo que comprenden un sistema de navegación por estima para detectar consecutivamente el movimiento de un vehículo; medios de construcción de información de entorno tridimensional para construir información del entorno tridimensional de los alrededores del vehículo en base a la imagen capturada por el medio de captura de imagen; medios para almacenar al menos uno de los datos de imagen y de entorno tridimensional; medios de creación de imágenes de visualización cuyo objetivo es crear una imagen basada en la información de

15

25

35

45

entorno tridimensional. Por tal motivo es posible memorizar en un modelo 3D partes de la escena ya observada a partir de diferentes tomas mientras que el vehículo está en movimiento. Al utilizar este modelo virtual 3D, el conductor puede observar la escena desde cualquier punto virtual en cualquier tiempo.

La memoria US 2004/051711 describe un sistema integrado que genera un modelo de un objeto tridimensional. Un dispositivo láser de escaneo escanea el objeto tridimensional y genera una nube de puntos. Cada uno de los puntos en la nube de puntos indica la ubicación de un punto correspondiente sobre la superficie del objeto. Se genera un primer modelo, correspondiente a la nube de puntos, que representa formas geométricas constitutivas del objeto. Se genera un archivo de datos, correspondientes al primer modelo, que puede ser introducido en un sistema de diseño asistido por ordenador.

Resumen de la invención

La presente invención tiene como objeto proporcionar un sistema y método que permita la detección precisa de objetos presentes en una serie de imágenes capturadas por una o más cámaras mientras éstas están en movimiento, por ejemplo por estar ubicadas en un sistema móvil de mapeo.

Con este objetivo, la invención proporciona un sistema informático como se indica en la reivindicación 1. Se proporcionan más características de la invención en las reivindicaciones dependientes y a continuación.

El sensor de alcance muestra nubes de puntos relacionadas con los diferentes objetos. Debido a que los objetos no están ubicados en el mismo lugar, los puntos relacionados con cada una de las nubes de puntos muestran una clara diferencia en distancia y/o rumbo con respecto al sensor de alcance, según el objeto al que pertenezcan. Por lo tanto, al utilizar estas diferencias en alcance con respecto al sensor de alcance, las máscaras relacionadas con diferentes objetos pueden fabricarse fácilmente. Después, se pueden aplicar estas máscaras a la imagen tal como la capturó la cámara, para así identificar objetos en la imagen. Esto resulta ser una manera confiable de identificar dichos objetos y además es más sencillo que confiar solamente en datos de imágenes.

Este método demuestra efectividad si el objeto no está en movimiento con respecto al mundo fijo. Sin embargo, los objetos pueden estar en movimiento. Pero esto implica una reducción en la precisión de la detección. Por lo tanto, en una realización, la presente invención hace referencia a un sistema informático tal como se define con anterioridad, en el cual dicho programa informático se diseña para que el procesador pueda:

•

Recibir segundos datos del sensor de alcance proveniente de un segundo sensor de alcance instalado en dicho sistema móvil;

•

Identificar una segunda nube de puntos dentro de dichos segundos datos de sensor de alcance relacionados con al menos un objeto;

•

Calcular un vector de movimiento para dicho al menos un objeto proveniente de dichas primera y segunda nubes de puntos;

•

Mapear dicha máscara sobre dichos datos imagen de objeto mientras se utiliza el vector de movimiento.

En esta realización, el sistema determina una posición absoluta y una velocidad absoluta del objeto al momento de la captura de imágenes, y el sistema emplea una aproximación a corto plazo de la trayectoria de movimiento del objeto. Es decir, ya que el período de tiempo entre las sucesivas imágenes y los sucesivos escaneos de los sensores de alcance es muy breve, se podría asumir que todos los movimientos son aproximadamente lineales y los objetos moviéndose con respecto al mundo fijo se pueden identificar de manera muy precisa. A tal efecto, el sistema utiliza los escaneos de sensores de alcance provenientes de al menos dos sensores de alcance que, al estar distanciados uno del otro y orientados en direcciones diferentes, brindan datos que pueden utilizarse para identificar ubicaciones y movimientos de objetos. Esto disminuye los problemas relacionados con objetos móviles basados solamente en las propiedades de las imágenes y determinan su trayectoria de movimiento de acuerdo con las propiedades de píxeles de color dentro de las secuencias de imágenes, tal como ya se conoce en el arte previo.

Además, al utilizar métodos muy precisos para la determinación de la posición y velocidad absoluta del sistema MMS que soporta la cámara y los sensores, también puede obtenerse una posición absoluta y trayectoria a corto plazo precisas de al menos un punto del objeto cercano al sistema MMS presente en las imágenes capturadas por la cámara. Esto permite la reconstrucción de posiciones 3D de píxeles de imágenes que mejora el valor de dichas imágenes y permite una reconstrucción más acabada de los objetos presentes en lo que se denomina un corredor vial tal como lo ve el conductor de un vehículo. No solamente pueden utilizarse técnicas de filtrado de imágenes sino que también pueden agregarse características espaciales, como por ejemplo separación de espacio, tamaño real y variación de tamaño para lograr una aproximación al eje principal del objeto o al punto de referencia del objeto. Esto incrementa el valor del filtrado.

10

15

20

25

30

35

40

45

Al agregar el aspecto espacial 3D a las imágenes, es decir, al agregar un componente z a los objetos en las imágenes, se pueden separar de manera exitosa incluso objetos con las mismas propiedades de color y espacio (por ejemplo, arbustos cercanos de árboles lejanos).

Los píxeles pueden asociarse con lugares en el espacio (absoluto). Al llevar a cabo este procedimiento, los resultados de un análisis y filtrado de imagen, tal como detección de rostro o de texto, pueden fácilmente ser transferidos y aplicados a otras imágenes con el mismo mapeado a espacio absoluto.

En algunos casos puede seleccionarse un ROI (Regiones de Interés, por sus siglas en inglés) en una imagen con propiedades ilegibles y puede utilizarse para determinar las mismas propiedades en un ROI de otra imagen. Por ejemplo, ROIs de dos o más imágenes diferentes pueden mapearse al mismo ROI en espacio, y pueden aplicarse propiedades de una segunda imagen a una imagen capturada en un tiempo anterior o posterior. Por lo tanto, la utilización de medidas de sensores de alcance puede conectar algoritmos desarrollados en una pluralidad de imágenes.

Los principios de la presente invención pueden aplicarse mientras se utiliza cualquier tipo de sensores de alcance como por ejemplo escáneres láser, radares o Lidares. Las imágenes pueden ser captadas por cualquier tipo de cámara acoplada a cualquier vehículo apropiado, incluyendo vehículos aéreos.

La cámara del sistema MMS puede captar imágenes consecutivas mientras proporciona varias imágenes con fragmentos superpuestos de la misma escena. En esos fragmentos superpuestos, puede aparecer un objeto que por consiguiente se verá en varias imágenes. En caso de aplicarse una técnica de filtrado de imagen sobre dicho objeto, al utilizar el método objeto de la presente invención, dicha técnica sólo precisa ser aplicada sobre el objeto en una de esas imágenes (usualmente en la que se captura primero en el tiempo). Esto da como resultado un objeto con imagen procesada que puede utilizarse en todas las imágenes en las cuales aparece. Esto permite un ahorro significativo de tiempo informático.

Cuando la velocidad del objeto es alta con respecto a la velocidad de la cámara, el tamaño observado del objeto es un factor importante ya que mientras más alta sea la diferencia de velocidad entre los dos, más se desvía el tamaño observado del tamaño real. Por lo tanto, si se desea mapear los datos del sensor de alcance en los datos de la imagen, son necesarias compensaciones para este efecto. Por lo tanto, en otra realización, el tamaño del objeto se determina a partir de los datos de trayectoria a corto plazo. En esta realización, la aproximación a corto plazo de la trayectoria de movimiento del objeto permite al sistema informático aplicar un procedimiento de corrección de formas para las nubes de puntos asociadas con objetos en movimiento (rápido) tales como los obtenidos por los sensores de alcance, lo que resulta en una mejor correspondencia entre las nubes de puntos y los objetos provenientes de las imágenes capturadas por la o las cámaras.

Breve descripción de los dibujos

La invención se explicará en detalle con referencia a algunos dibujos que sólo pretenden mostrar las realizaciones de la invención y no limitar su alcance. El alcance de la invención se define en las reivindicaciones adjuntas y en sus equivalentes técnicos.

Los dibujos muestran:

La figura 1 muestra un sistema SMM con una cámara y un escáner láser;

La figura 2 muestra un diagrama de parámetros de ubicación y orientación;

La figura 3 muestra una vista esquemática superior de un vehículo equipado con dos cámaras y dos sensores de alcance en el techo;

La figura 4a muestra un diagrama de un sistema informático a través del cual puede realizarse la invención;

La figura 4b muestra un diagrama de flujo de un proceso básico según una realización de la invención;

La figura 5 muestra una imagen de un objeto inmóvil;

La figura 6 muestra un ejemplo de datos de sensor de alcance obtenidos por uno de los sensores de alcance relacionados con la misma escena que puede visualizarse en la imagen de la figura 5;

La figura 7 muestra la manera en que los datos de la figura 6 pueden ser utilizados para producir una máscara;

5

10

15

20

25

30

35

40

La figura 8 muestra la manera en que la máscara de la figura 7 puede utilizarse para identificar un objeto presente en la imagen de la figura 5;

La figura 9 muestra el resultado obtenido después de hacer que la imagen del objeto presente en la figura 8 se vea borrosa;

La figura 10 muestra un ejemplo de una fotografía tomada por una de las cámaras;

La figura 11 muestra un ejemplo de datos de un sensor de alcance obtenidos por uno de los sensores de alcance relacionados con la misma escena que se observa en la imagen de la figura 10;

La figura 12 muestra la manera en que los datos de la figura 11 pueden ser utilizados para producir una máscara;

La figura 13 muestra la manera en que la máscara de la figura 12 puede utilizarse para identificar un objeto presente en la imagen de la figura 10;

La figura 14 muestra un diagrama de flujo de un proceso básico, según una realización de la invención;

Las figuras 15a-15c muestran la posición de un objeto con respecto a un automóvil equipado con una cámara y dos sensores de alcance en diferentes momentos sucesivos en el tiempo;

La figura 16 muestra una nube de puntos de medición de sensor de alcance de un objeto;

La figura 17 muestra un cilindro como se utiliza en un modelo para calcular el centro de masa de un objeto;

La figura 18 muestra dos sensores de alcance apuntando en diferentes direcciones;

La figura 19 muestra la manera en que un objeto móvil es identificado en una imagen mientras se utiliza una máscara, tal como se observa en la figura 12, al mismo tiempo también se calcula la velocidad del objeto;

La figura 20 muestra el objeto identificado por la máscara;

La figura 21 muestra el resultado obtenido después de hacer que la imagen del objeto de la figura 20 se vea borrosa;

La figura 22 muestra la manera en que puede determinarse el tamaño y forma real de un objeto móvil.

Descripción detallada de las realizaciones

La presente invención hace referencia principalmente al campo de procesamiento de imágenes capturadas por cámaras a través de un Sistema Móvil de Mapeo (MMS por sus siglas en inglés). Más específicamente, en algunas realizaciones, la invención hace referencia al mejoramiento de tales imágenes o la identificación de objetos (móviles) en dichas imágenes, como así también a la eliminación de datos privados y confidenciales presentes en estas imágenes. No obstante, no se excluyen otras aplicaciones que se incluyen dentro del alcance de las reivindicaciones adjuntas. Por ejemplo, la o las cámaras pueden ser transportadas por cualquier otro vehículo apropiado, como por ejemplo un vehículo aéreo.

La figura 1 muestra un sistema MMS que adopta la forma de un automóvil 1.El automóvil 1 es equipado con una o más cámaras 9(I), I = 1, 2, 3 ... I, y uno o más escáneres láser 3(j), j = 1, 2, 3 ... J. En el contexto de la presente invención, si deben identificarse objetos móviles, se utiliza información proveniente de al menos dos o más escáneres láser 3(j). El automóvil 1 puede ser conducido por un conductor por carreteras de interés. Los escáneres láser 3(j) pueden sustituirse por cualquier clase de sensores de alcance que permitan, para algunos rumbos, la detección de una distancia entre el sensor de alcance y un objeto detectado por el sensor de alcance. Puede utilizarse como sensor alternativo, por ejemplo, un radar o un sensor Lidar. Si se utiliza un radar, los datos de medición de alcance y rumbo deberían ser comparables con aquellos obtenidos por un escáner láser.

El término "cámara" incluye en la presente todo tipo de sensor de imágenes, incluyendo, por ejemplo, un Ladybug™.

El automóvil 1 está equipado con una pluralidad de ruedas 2. Además, el automóvil 1 está equipado con un dispositivo de determinación de posición/orientación de gran precisión. Dicho dispositivo dispone de datos de 6 grados de libertad en cuanto a la posición y orientación del automóvil 1. Una realización de este dispositivo se muestra en la figura 1. Tal como se ve en la figura 1, el dispositivo de determinación de posición/orientación comprende los siguientes componentes:

15

25

35

45

55

•

una unidad GPS (sistema de posicionamiento global) conectada a una antena 8 y diseñada para comunicarse con una pluralidad de satélites SLk (k = 1, 2, 3, ...) y para calcular una señal de posición desde señales recibidas de los satélites SLk. La unidad de GPS se conecta a un microprocesador µP. El microprocesador µP se configura de manera tal que puede almacenar los datos recibidos de la unidad GPS como una función de tiempo. Estos datos serán enviados a un sistema informático externo para procesamiento posterior. En una realización, en base a las señales recibidas de la unidad de SPG, el microprocesador µP puede determinar señales de visualización apropiadas que serán mostradas en un monitor 4 ubicado en el automóvil 1, informando al conductor la ubicación del vehículo y posiblemente la dirección en que está viajando.

•

un DMI (Instrumento de Medición de Distancia, por sus siglas en inglés). Este instrumento es un odómetro que mide la distancia recorrida por el automóvil 1 por medio de la percepción de la cantidad de rotaciones de una o más de las ruedas 2. El DMI también se conecta al microprocesador µP. El microprocesador µP está configurado para almacenar los datos recibidos del DMI como una función de tiempo. Estos datos serán enviados al sistema informático externo para procesamiento posterior. En una realización, el microprocesador µP toma en cuenta la distancia medida por el DMI mientras calcula la señal de visualización proveniente de la señal de salida de la unidad GPS.

•

una IMU (Unidad de Medida de Inercia, IMU por sus siglas en inglés). Esta IMU puede implementarse como tres unidades giroscópicas dispuestas para medir las aceleraciones rotacionales y tres aceleradores traslacionales a lo largo de tres direcciones ortogonales. La IMU también está conectada al microprocesador µP. El microprocesador µP está configurado de manera tal que puede almacenar los datos recibidos del IMU como una función de tiempo. Estos datos serán enviados al sistema informático externo para procesamiento posterior.

El sistema descripto en la figura 1 recoge datos geográficos por medio de, por ejemplo, la captura de imágenes con una o más cámaras 9(i) montadas en el automóvil 1. La o las cámaras se conectan al microprocesador µP. Además, los escáneres láser 3(j) toman muestras láser mientras el automóvil 1 recorre las calles de interés. De este modo, las muestras láser comprenden datos relacionados con el ambiente asociado con estas calles de interés, y pueden incluir datos relacionados con edificios, árboles, señales de tráfico, automóviles aparcados, personas, etc.

Los escáneres láser 3(j) también están conectados al microprocesador µP y envían estas muestras láser al microprocesador µP.

En general se desea que las tres unidades de medida, GPS, IMU y DMI proporcionen medidas de ubicación y orientación tan precisas como sea posible. Estos datos de ubicación y orientación son medidos mientras que la o las cámaras 9(i) toman imágenes y los escáneres láser 3(j) toman muestras láser. Las imágenes y las muestras láser se almacenan para su posterior utilización en una memoria del microprocesador µP asociada con los datos de ubicación y orientación del automóvil 1 correspondientes mientras se tomaron estas imágenes y muestras láser. Una forma alternativa de correlacionar todos los datos provenientes del GPS, IMU y DMI, la o las cámaras 9(i) y escáneres láser 3(j) en el tiempo es marcar todos estos datos con un registro de tiempo y almacenar los datos con el registro de tiempo junto con todos los otros datos en la memoria del microprocesador. Pueden utilizarse otros marcadores de sincronización de tiempo en lugar de éste.

Las imágenes y muestras láser incluyen información, por ejemplo, de fachadas de edificios. En una realización, los escáneres láser 3(j) se disponen de manera tal que generan una salida con un mínimo de 50 Hz y una resolución de 1 grado a fin de producir un rendimiento lo suficientemente completo para el método. Un escáner láser como el MODELO LMS291-S05 producido por SICK puede alcanzar dicho rendimiento.

La figura 2 muestra qué señales de posición pueden obtenerse de las tres unidades de medida, GPS, DMI, e IMU, que se muestran en la figura 1. La figura 2 muestra que el microprocesador µP se dispone para calcular 6 parámetros diferentes, es decir, 3 parámetros de distancia x, y, z con respecto a un origen en un sistema de coordenadas predeterminado y 3 parámetros de ángulos ωx, ωy, y ωz, respectivamente, los cuales muestran una rotación sobre el eje x, eje y, y eje z, respectivamente. La dirección z coincide con la dirección del vector de gravedad.

La figura 3 muestra el MMS con dos sensores de alcance 3(1), 3(2) (los cuales pueden ser escáneres láser, pero, de manera alternativa, pueden por ejemplo ser radares), y dos cámaras 9(1), 9(2). Los dos sensores de campo 3(1), 3(2) se colocan sobre el techo del automóvil 1 orientándose hacia el lado derecho de automóvil 1 con respecto a la dirección en la que el automóvil 1 está siendo conducido. La dirección de escaneo del sensor de alcance 3(1) se indica por medio de SD1 mientras que la dirección de escaneo del sensor de alcance 3(2) se indica por medio de SD2. La cámara 9(1) también está orientada hacia el lado derecho, es decir, puede orientarse perpendicularmente a la dirección en la que el automóvil 1 está siendo conducido. La cámara 9(2) está orientada hacia la dirección de conducción del vehículo. Esta configuración es apropiada para todos aquellos países donde los vehículos se conducen sobre el carril derecho. Se recomienda cambiar esta configuración en aquellos países donde los vehículos se conducen sobre el carril izquierdo, ya que la cámara 9(1) y los escáneres láser 3(1), 3(2) se ubican en el lado

10

15

20

25

30

35

40

45

50

izquierdo del techo del automóvil. (Una vez más, se establece que el término “izquierdo” se define con respecto a la dirección en la que se conduce el automóvil 1). Cabe aclarar que un experto en el arte podría utilizar muchas otras configuraciones.

El microprocesador ubicado en el automóvil 1 puede ser implementado como un sistema informático. La figura 4a muestra un ejemplo de tal sistema informático.

La figura 4a, presenta una perspectiva general de un sistema informático 10, el mismo consiste en un procesador 11 que lleva a cabo operaciones aritméticas.

El procesador 11 está conectado a una pluralidad de componentes de memoria, incluyendo un disco duro 12, una Memoria de Sólo Lectura (ROM por sus siglas en inglés) 13, un ROM programable y borrable eléctricamente (EEPROM por sus siglas en inglés) 14, y una Memoria de Acceso Aleatorio (RAM por sus siglas en inglés) 15. No es necesario proporcionar todos estos tipos de memoria. Además, no es necesario que estos componentes de memoria se encuentren físicamente cerca del procesador 11, sino que pueden estar en ubicación remota con respecto al procesador 11.

El procesador 11 también está conectado a medios de entrada de instrucciones, datos, etc., por parte de un usuario, como un teclado 16, y un ratón 17. También pueden utilizarse otros medios de entrada, como por ejemplo una pantalla táctil, una esfera de navegación (TrackBall) y/o un conversor de voz, los cuales son conocidos por los expertos en el arte.

Se proporciona también una unidad de lectura 19 conectada al procesador 11. La unidad de lectura está dispuesta para leer y posiblemente escribir datos en un portador de datos como por ejemplo un disquete 20 o un CDROM 21. Otros portadores de datos, conocidos por los expertos en el arte, pueden ser cintas, DVD, CD-R. DVD-R, tarjetas de memoria, etc.

El procesador 11 está conectado a una impresora 23 a fin de imprimir en papel los datos recibidos, también está conectado a una pantalla 18, por ejemplo, un monitor o a una Pantalla de Cristal Líquido (LCD, por sus siglas en inglés), o a cualquier otro tipo de visualizador conocido por los expertos en el arte.

El procesador 11 puede estar conectado a un altavoz 29.

El procesador 11 puede estar conectado a una red de comunicación 27, por ejemplo, la Red Telefónica Pública Conmutada (PSTN, por sus siglas en inglés), la Red de Área Local (LAN por sus siglas en inglés), una Red de Área Amplia (WAN por sus siglas en inglés), Internet, etc., a través de los medios de E/S 25. El procesador 11 puede disponerse de manera tal que pueda conectarse con sistemas de comunicación a través de la red 27. Es posible que estas conexiones no estén todas conectadas en tiempo real ya que el vehículo recoge datos mientras recorre las calles.

El portador de datos 20, 21 puede ser un producto de un programa informático que contenga datos e instrucciones diseñados para proporcionar al procesador la capacidad de llevar a cabo un método conforme a la invención. No obstante, este producto de programa informático puede, de manera alternativa, descargarse a través de la red de telecomunicaciones 27.

El procesador 11 puede implementarse como un sistema independiente o como una pluralidad de procesadores operando en paralelo, estando cada uno de ellos diseñado para llevar a cabo tareas secundarias dentro de un programa informático más amplio, o puede implementarse como uno o más procesadores principales que contienen varios sub-procesadores. Parte de la funcionalidad de la presente invención también puede realizarse mediante procesadores remotos que se comunican con el procesador 11 a través de la red 27.

Se observa que cuando el sistema informático se coloca en el automóvil 1, no es necesario que contenga todos los componentes que se exhiben en la figura 4a. Por ejemplo, no es necesario que el sistema informático tenga un altavoz ni una impresora. En cuanto a la implementación en el automóvil 1, el sistema informático precisa al menos del procesador 11, memoria para almacenar un programa adecuado y una interfaz para recibir instrucciones y datos provenientes de un operador y mostrar a dicho operador los datos de salida.

Para el post-procesamiento de imágenes, escaneos y datos almacenados de posición y orientación tomados por la o las cámaras 9 (i), el o los escáner láser 3(j) y los dispositivos de medición de posición y orientación, respectivamente, se utilizará una configuración similar a la que se indica en la Figura 4a, ya sea que la misma no se encuentra en el automóvil 1 sino que pueda estar ubicada de manera conveniente en un edificio para el post-procesamiento fuera de línea. Las imágenes, escaneos y datos de posición y orientación tomados por la o las cámaras 9(i), el o los escáner 3(j) y los dispositivos de medición de posición y orientación se almacenan en una de las memorias 12 a 15. Esto puede realizarse primero a través de su almacenamiento en un DVD, tarjeta de memoria o similar, o de su

15

25

35

45

transmisión, posiblemente inalámbrica, desde la memoria 12, 13, 14, 15. Además, en lo posible se registra el tiempo de todas las mediciones y estas diferentes mediciones de tiempo también se almacenan.

En una realización de la invención, la configuración que se muestra en la Figura 1 debe ser capaz de distinguir ciertos objetos en las imágenes tomadas por la cámara 9(i). Su posición absoluta y, opcionalmente, su velocidad absoluta en el tiempo en que se tomaron las imágenes deben determinarse de la manera más exacta posible. Por ejemplo, los objetos deben identificarse a fin de procesar al menos algunas de sus partes de modo que el espectador ya no pueda ver claramente las partes procesadas. Dichas partes pueden, por ejemplo, estar relacionadas con rostros humanos, números de licencias de conducir, declaraciones políticas en carteles publicitarios, anuncios comerciales, marcas registradas, características reconocibles de objetos protegidos por derechos de autor, etc. Una acción que puede realizarse durante el procesamiento de imágenes es ignorar los datos relacionados con fachadas de edificios en las imágenes tomadas por la cámara 9(i). Es decir, los datos relacionados con fachadas de edificios no sufrirán cambios en la eventual aplicación. Los datos de ubicación con respecto al lugar donde están dichas fachadas pueden obtenerse mediante un método descrito y revelado en la solicitud de patente copendiente PCT/NL2006/050264. Otras técnicas para identificar la ubicación de las fachadas de edificios pueden utilizarse, por supuesto, dentro del contexto de la presente invención. En caso de que se eliminen los datos de dichas fachadas de edificios, la eliminación de datos privados y confidenciales estarán relacionados con los objetos presentes solamente entre el sistema móvil de mapeo y dichas fachadas.

Dichos objetos pueden ser móviles con respecto al mundo fijo. Tales objetos móviles pueden ser personas y automóviles. Identificar objetos móviles en las imágenes puede ser más difícil que identificar objetos fijos. Mediante la utilización de un solo escáner láser 3(j), se pueden identificar objetos inmóviles y mapearlos adecuadamente en imágenes, pero es muy difícil identificar objetos adecuadamente en imágenes y después procesar algunas de sus partes. Por lo tanto, en las realizaciones relacionadas con los objetos que tienen cierta velocidad, la invención hace referencia a un MMS con una o más cámaras 9(i) y dos o más escáneres láser 3(j). Después se utilizan dos nubes de puntos del mismo objeto, pero tal como se generan desde los dos sensores láser 3(j) diferentes, para determinar una trayectoria corta del objeto móvil que se utilizará para calcular la posición del objeto como una función de tiempo. Dicho cálculo de la posición del objeto como una función de tiempo después se utilizará para identificar al objeto en imágenes recopiladas por la o las cámaras 9(i) en un período en el que también se recopilaron datos del escáner láser.

El sistema informático, como se indica en la Figura 4a, está programada para proporcionar una cierta funcionalidad de acuerdo con la invención. La invención cubre al menos dos aspectos: funcionalidad relacionada con objetos inmóviles y funcionalidad relacionada con objetos móviles. La funcionalidad relacionada con objetos inmóviles se resume en un diagrama de flujo presentado en la Figura 4b, mientras que la funcionalidad relacionada con objetos móviles se resume en un diagrama de flujo presentado en la Figura 14.

En primer lugar, en la Figura 4b aparece un diagrama de flujo que indica las acciones básicas de la presente invención como se ejecutan en el sistema informático 10. Antes de explicar las acciones de la Figura 4b en detalle, las mencionaremos brevemente aquí.

En la acción 30, el sistema informático 10 recibe los datos de los sensores de alcance 3(i) y las cámaras 9(j), al igual que los datos de posición/orientación y tiempo tomados por el dispositivo de determinación de posición/orientación incorporado al MMS.

En la acción 32, el procesador identifica diferentes objetos, como el automóvil que aparece en la Figura 5 en los datos derivados de los sensores de alcance 3(i).

En la acción 36, el sistema informático 10 produce máscaras para uno o más objetos según los datos del sensor de alcance.

En la acción 38, el sistema informático 10 mapea estas máscaras en los objetos correspondientes en las imágenes tomadas por la una o más cámaras 9(j), teniendo en cuenta los distintos tiempos y ubicaciones de las mediciones y también el movimiento de los objetos.

En la acción 40, el sistema informático 10 procesa al menos una parte de la imagen dentro de los límites indicados por la máscara de modo que los datos privados y confidenciales incluidos dentro de ese objeto sean ilegibles.

Ahora explicaremos con más detalle cada una de estas acciones. Con este fin, se hará referencia a las Figuras 5 a

9. En la Figura 5 aparece una imagen con algunos automóviles. La imagen de la Figura 5 se ha tomado con la cámara 9(2). El primer automóvil visible, que se encuentra dentro de un rectángulo con una línea de puntos, posee una matrícula de automóvil cuyos detalles pueden verse claramente. Desde un punto de vista de la privacidad, se deben eliminar tales detalles. El programa ejecutado en el sistema informático 10 identifica a los objetos o, en una realización, a las partes dentro de los objetos que pueden relacionarse con información privada y confidencial y

15

25

35

45

55

deben procesarse. En el caso de la Figura 5, el programa identifica al automóvil entero o a la matrícula de automóvil, y procesa al automóvil entero o a la matrícula de automóvil en la imagen de modo que sean ilegibles. En las Figuras 6 a 9 se explica la manera en que se puede realizar.

En la Figura 6 se muestra una imagen de la misma escena que aparece en la Figura 5, pero tomada por el sensor de alcance 3(1). Los puntos de escaneo del sensor de alcance incluyen datos sobre la distancia relacionados con la distancia entre el sensor de alcance 3(1) y el automóvil.

Como se indica en la acción 30 de la Figura 4b, los datos que aparecen en las Figuras 5 y 6 se transmiten al sistema informático 10. Además de los datos que aparecen en estas figuras 5 y 6, los datos sobre la ubicación y orientación como una función de tiempo y aquellos que obtenga el dispositivo de determinación de posición/orientación incorporado al MMS, se transmiten al sistema informático 10. Esto también se aplica a la posición de la o las cámaras 9(i) y sensores de alcance 3(j) con respecto a la posición del dispositivo de determinación de posición/orientación. La transmisión de datos al sistema informático 10 en la acción 30 puede realizarse a través de cualquier método conocido, por ejemplo, a través de una transmisión inalámbrica de los datos obtenidos por el MMS en el automóvil 1 o a través de un medio intermedio, como un DVD, un disco Blu Ray, una tarjeta de memoria, etc.

En la acción 32, los objetos se identifican en los datos del sensor de alcance. Preferentemente, el sistema informático 10 aplica un método de predicción de fachadas, es decir, un método para identificar las ubicaciones de las fachadas de edificios. Como se indica con anterioridad, los datos de ubicación con respecto al lugar donde están dichas fachadas pueden obtenerse mediante un método que se describe y reivindica en la solicitud de patente copendiente PCT/NL2006/050264. Otras técnicas para identificar la ubicación de las fachadas de edificios pueden utilizarse, por supuesto, dentro del contexto de la presente invención. Si es así, los datos relacionados con las fachadas de edificios en las imágenes tomadas por la o las cámaras 9(i) pueden ignorarse en procesamientos adicionales, como la eliminación de los datos privados y confidenciales que aparecen en estas imágenes. Además los datos relacionados con el terreno pueden eliminarse de manera directa. Por ejemplo, el sistema informático 10 puede utilizar el hecho de que el MMS se mueve en el terreno y, por lo tanto, conoce donde está el terreno con respecto a la o las cámaras 9(i) y los sensores de alcance 3(j). De modo que se puede acercar el terreno como un plano en el cual se mueve el MMS. Si lo desea, también se pueden tomar en cuenta las mediciones de las pendientes. Los objetos móviles e inmóviles ubicados entre el sistema móvil de mapeo y dichas fachadas se pueden encontrar en las nubes de puntos obtenidas por el o los sensores de alcance 3(j) lo cual permite mapear un píxel de imagen en una posición de espacio adecuada.

Se observa que el procesador puede utilizar los datos del sensor de alcance para aumentar un método fotogramétrico para la determinación de las posiciones de punto de imagen de los objetos con respecto al sistema móvil de mapeo. En dicha acción, se pueden detectar tanto los objetos móviles como los objetos inmóviles. Además, se puede calcular la trayectoria que sigue dicho objeto móvil.

Preferentemente, el programa aplica un proceso de pre-filtrado a los datos del sensor de alcance para identificar los objetos de interés. Esto es más adecuado y eficaz, y necesita menos tiempo de procesamiento ya que los datos del sensor de alcance relacionados con un objeto en general constan de menos datos que los datos de imágenes de la cámara relacionados con el mismo objeto. El proceso de pre-filtrado puede basarse en las funciones dinámicas del objeto, en el tamaño del objeto o en las características de posición del objeto. Esto puede provocar que uno o más objetos seleccionados necesiten procesamiento adicional. Dicho procesamiento adicional se efectuará en los datos de imágenes de la cámara del mismo objeto y puede incluir la aplicación de cualquier técnica conocida de descomposición de escenas para identificar las partes dentro de la imagen que, por ejemplo, se relacionen con texto y/o rostros humanos. Dichas técnicas de detección de imágenes se conocen a partir del arte previo y no necesitan mayor explicación aquí. Ejemplos: modelos de búsqueda basados en agrupamiento y/o RANSAC.

Los puntos de escaneo del sensor de alcance incluyen datos sobre la distancia relacionados con la distancia entre el sensor de alcance 3(1) y el automóvil de la figura 10. Según esta información y las otras mediciones recopiladas, el sistema informático 10 puede procesar los puntos de escaneo del sensor de alcance para identificar donde está el automóvil como una función de tiempo, al igual que su vector de velocidad. Como se indica en la acción 36, el sistema informático 10 después determina las trayectorias 3D de los objetos, parametrizados por el tiempo, de modo que las posiciones se relacionen con los puntos de la imagen recopilada por la o las cámaras 9(i) para producir una máscara que se pueda utilizar para hacer que el automóvil en la imagen que aparece en la Figura 5 se vea borroso (o efectuar cualquier otra técnica adecuada de procesamiento de imágenes) para que no haya ningún dato privado y confidencial en la imagen que aparece en la Figura 5. La posición de la máscara coincidirá con la posición de los puntos de escaneo del sensor de alcance con respecto al automóvil a medida que se transforma según la ubicación de la imagen de la cámara 9(2). Dicha máscara aparece en la Figura 7.

En la acción 38, el sistema informático 10 mapea esta máscara en la imagen como aparece en la Figura 5. De esta manera, según se indica en la Figura 8, el sistema informático 10 utiliza la máscara para establecer un límite del automóvil en la imagen de la Figura 5.

15

25

35

45

55

Dentro de ese límite, en la acción 40, el sistema informático 10 puede efectuar cualquier técnica deseada de procesamiento de imágenes para establecer un resultado deseado con respecto al automóvil dentro de ese límite. Por ejemplo, es posible eliminar dicho automóvil (o cualquier otro objeto) completamente de la imagen si hay suficientes imágenes superpuestas o si hay otra información de la escena en cuestión, de modo que la escena pueda reproducirse sin que el objeto sea visible en absoluto. Por lo tanto, en esta realización, el sistema informático 10 elimina los datos de imágenes del objeto en los datos de imágenes, y reemplaza a los datos de imágenes del objeto en la escena según las fotografías tomadas por la cámara 9(2) por los datos que dicha cámara 9(2) habría podido ver si el objeto no hubiese estado presente.

Otra técnica de procesamiento de imágenes es hacer que la imagen relacionada con ese objeto se vea borrosa de modo que los datos privados no se puedan ver más. Esto aparece en la Figura 9. Sin embargo, pueden utilizarse otras técnicas de procesamiento de imágenes que produzcan el efecto de que al menos una parte de la imagen sea invisible o no reconocible, como el desenfoque (véase, por ejemplo: http://www.owlnet.rice.edu/~elec431/projects95/lords/elec431.html) esa parte o la sustitución de esa parte por una parte estándar de la imagen que no indique ningún detalle privado. Por ejemplo, un automóvil completo puede sustituirse por la imagen de un automóvil estándar sin matrícula. O, si la matrícula del automóvil se ha identificado dentro de la imagen del automóvil, se podrá hacer que solamente la matrícula se vea borrosa o sustituirla por una matrícula blanca o que tenga un número de licencia no privado. "Pixelat" puede ser una técnica adecuada y alternativa para utilizar, que divide los píxeles en un mapa de bits, en celdas rectangulares o circulares, y después recrea la imagen al llenar esas celdas con el valor de píxeles mínimo, máximo o promedio, según el efecto que se haya seleccionado (fuente

http://www.leadtools.com/SDK/Functions/Pixelate.htm).

En una realización, se configura al procesador 11 para que utilice técnicas de análisis del procesamiento de imágenes a fin de identificar subobjetos dentro del objeto que comprende datos privados y confidenciales u otros datos que deben eliminarse. Por ejemplo, el programa que se ejecuta en el procesador 11 puede configurarse para identificar rostros de personas al buscar características faciales como ojos, orejas, narices, etc. Los programas para realizar esto están disponibles en el mercado, por ejemplo, en la biblioteca de procesamiento de imágenes de Intel. De manera alternativa o adicional, el programa que se ejecuta en el procesador 11 puede configurarse para identificar partes con texto. Los programas que realizan esto también están disponibles en el mercado; por ejemplo, Microsoft ofrece una biblioteca de procesamiento de imágenes que puede utilizarse aquí. Se pueden encontrar otras técnicas en: http://en.wikipedia.orglwiki/face detection en donde se hace referencia a los siguientes enlaces:

http:llwww.merl.com/reports/docs/TR2004-043.pdf,

http://www.robots.ox.ac.uk/~cvrg/trinity2003/schneiderman cypr00.pdf.

De manera alternativa o adicional, el programa que se ejecuta en el procesador 11 se puede configurar para identificar partes con texto. Los programas que realizan esto también están disponibles en el mercado; por ejemplo, http://en.wikipedia.org/wiki/Optical_character_recognition ofrece una biblioteca de procesamiento de imágenes que puede utilizarse aquí. Existen programas que reconocen (caracteres en) matrículas de automóviles. De esta manera, pueden identificarse las matrículas de automóviles y los anuncios que uno desea eliminar o mostrar borrosos. Los datos privados y confidenciales que uno desea eliminar o mostrar borrosos también pueden estar relacionados con números telefónicos privados.

Se observa que la o las cámaras 9(j) captarán imágenes continuamente de los alrededores del MMS. En muchos casos, se producen varias imágenes consecutivas con partes superpuestas de una escena. De modo que puede haber varias imágenes con el mismo objeto. Una ventaja de la presente invención es que presenta información sobre el lugar en donde se encuentra el objeto en todas estas imágenes. La técnica de procesamiento de imágenes sólo debe aplicarse una vez al objeto en una de estas imágenes (generalmente, la que se toma primero) en lugar de al mismo objeto en todas esas imágenes. Después, el objeto procesado puede utilizarse en cualquiera de las demás imágenes también. Esto reduce el tiempo de procesamiento. Si deben identificarse N objetos y procesarse en las K imágenes subsiguientes, la utilización de la invención da como resultado el análisis del objeto para estos N objetos una sola vez, es decir, mientras ejecutado por el sistema informático 10 en los datos del sensor de alcance. El sistema informático 10 no debe repetir este proceso en todas las K imágenes subsiguientes.

En el ejemplo de las Figuras 5 a 9, el automóvil es un objeto quieto, aparcado en la calle. La imagen que aparece en estas figuras es la parte derecha de la imagen tomada por la cámara frontal 9(2). El objeto, una vez identificado, se procesa para corregir información que ya no debe poder reconocerse. Las Figuras 10 a 21 hacen referencia a otro ejemplo en el cual hay un objeto que se mueve con respecto al mundo fijo. Una vez más, la imagen que aparece en estas figuras es la parte derecha de la imagen tomada por la cámara frontal 9(2). El ejemplo hace referencia a un peatón presente en la escena mientras pasa el MMS y, por lo tanto, se encuentra en la imagen tomada por la cámara 9(2). Esa persona debe ser identificada con el objetivo de procesar al menos la parte en la imagen relacionada con su rostro, de modo que ya no sea reconocible y así proteger la privacidad de las personas.

15

25

35

45

En la Figura 10 aparece la imagen de una persona tomada por la cámara 9(2) en el frente del automóvil 1. La cámara 9(2) toma una imagen de la persona antes que cualquiera de los sensores de alcance 3(1) y 3(2). Por ejemplo, el sensor de alcance 3(1) también ha detectado a la persona pero un poco después. La Figura 11 muestra puntos de escaneo detectados por el sensor de alcance 3(1). Algunos de estos puntos de escaneo hacen referencia a la persona que también se ve en la Figura 10. En una comparación de las Figuras 10 y 11 se podrá ver que hay un cambio entre la imagen de la persona en la Figura 10 y los puntos del sensor de alcance relacionados con la misma persona como se muestra en la Figura 11.

Los puntos de escaneo del sensor de alcance incluyen datos sobre la distancia relacionados con la distancia entre el sensor de alcance 3(1) y la persona. En base a esto, y las otras mediciones recopiladas, el sistema informático 10 puede procesar los puntos de escaneo del sensor de alcance para identificar donde está la persona. En el caso de un objeto inmóvil, el sistema informático 10 después puede ajustar los puntos del escáner láser del objeto en la misma ubicación, como se ve en la imagen recopilada por la cámara 9(2), para producir una máscara que pueda utilizarse para borrar a la persona de la imagen que aparece en la Figura 10 (o efectuar cualquier otra técnica adecuada de procesamiento de imágenes) a fin de lograr que ya no haya ningún dato privado y confidencial en la imagen que aparece en la Figura 10. La posición de la máscara coincidirá con la posición de los puntos de escaneo del sensor de alcance relacionados con la persona a medida que se transforma en la imagen de la cámara 9(2). Dicha máscara aparece en la Figura 12. Sin embargo, si el objeto, en este caso una persona, era móvil, el sistema informático 10 borrará la información sobre la persona según los puntos de escaneo del sensor de alcance y una parte (es decir, la izquierda) de la persona permanecerá en la imagen. Esto se muestra en la Figura 13. Esto se produce debido a que la persona se ha movido entre el tiempo de la imagen de la cámara y el tiempo del escaneo láser.

Se observa que se han demostrado sistemas con cámaras combinadas y sincronizadas con los escáneres láser de modo que proporcionen una correlación directa entre los datos del sensor de alcance y los datos de imágenes. Dichos sistemas han aparecido, por ejemplo, en los siguientes sitios web:

http://www.imk.fhg.de/sixems/media.php/130/3d_cameng.pdf y http://www.3dysystems.com/technology/3D%20Camera%20for%20Gamin-1.pdf.

Otros sistemas en el mercado constan de imágenes de las cámaras aumentadas en distancia z por medio de la fusión de imágenes desde cámaras infrarrojas especiales con datos obtenidos de los sensores normales de CCD. Sin embargo, dichos sistemas poseen baja resolución y alto precio. En el caso de los objetos móviles, el presente invención hace referencia a una solución mucho más genérica y aún obtiene el mapeo adecuado de las nubes de puntos desde un sensor de alcance para las imágenes de una cámara mediante el ajuste del movimiento del objeto con la trayectoria estimada a corto plazo.

Por lo tanto, se desea no sólo producir una máscara basada en los datos del sensor de alcance sino también determinar los datos de la trayectoria de movimiento que definen la cantidad y la dirección del movimiento de un objeto visible en al menos una imagen tomada por al menos una de las cámaras 9(i) entre el tiempo en que la cámara fotografió al objeto y el tiempo en que uno de los sensores de alcance 3(j) detectó al objeto. A continuación, explicaremos cómo puede determinarse dicho vector de movimiento mediante la utilización de al menos dos sensores de alcance 3(i). En la explicación a continuación, se supone que en vista de la corta escala de tiempo involucrada, el movimiento de los objetos es lineal. Sin embargo, la invención no está limitada a esta realización.

El movimiento de los objetos puede calcularse de manera alternativa como una trayectoria no lineal en donde dicha trayectoria se determine, por ejemplo, mediante escaneos producidos por más de dos sensores de alcance 3(j).

En primer lugar, en la Figura 14 aparece un diagrama de flujo que indica las acciones básicas de la presente invención ejecutadas por el sistema informático 10. Las acciones del método que se muestran en la Figura 14 son en su mayoría las mismas que en la Figura 4b. La diferencia es una acción del método 34 entre las acciones 32 y 36. En la acción 34, los vectores de movimiento de uno o más objetos móviles se calculan mediante el sistema informático 10. Además, en la acción 38, el sistema informático 10 representa las máscaras según se producen en la acción 36 con respecto a los objetos móviles correspondientes en las imágenes tomadas por una o más de las cámaras 9(i), teniendo en cuenta las diferentes ubicaciones de las mediciones y también el movimiento de los objetos.

Ahora se explicará con más detalle la acción 34 en especial.

Las acciones 30 y 32 se han explicado con anterioridad con referencia a la Figura 4b.

Para calcular la trayectoria de movimiento de los objetos, según se ejecuta en la acción 34, se supone que un objeto móvil no cambia su velocidad ni dirección de recorrido en gran medida entre los tiempos en que el objeto móvil fue fotografiado por una de las cámaras 3(j) y detectado por dos o más de los sensores de alcance 9(i). Por lo tanto, se

10

15

20

25

30

35

40

45

supone que el vector de movimiento es básicamente constante durante ese tiempo. Se puede decir que se utiliza una "aproximación de trayectoria corta", lo cual es una aproximación muy buena en vista del período corto involucrado entre las sucesivas imágenes y escaneos. Por lo tanto, la magnitud y dirección del vector de movimiento puede calcularse mediante la determinación del vector de movimiento a partir de escaneos sucesivos de dos sensores de alcance 9(i) diferentes.

Se observa que, en una realización alternativa, pueden utilizarse tres o más sensores de alcance. En ese caso, pueden utilizarse escaneos de más de dos sensores de alcance para identificar el movimiento de un objeto lo que da como resultado una mayor aproximación de orden de la trayectoria del movimiento del objeto que las obtenidas con los dos sensores de alcance.

Si un objeto se mueve y fue detectado primero por un sensor de alcance 3(1) y después por un sensor de alcance 3(2), la posición del objeto debe ser diferente entre ambos escaneos. Esto se indica, de manera esquemática, en las Figuras 15a, 15b y 15c. En la Figura 15a, en el tiempo t1, el sensor de alcance 3(1) detecta al objeto. En la Figura 15b, en el tiempo t2, que es posterior al tiempo t1, ninguno de los sensores de alcance 3(i) detecta al objeto pero sólo se encuentra en el campo visual de la cámara 9(1). En la Figura 15c, en el tiempo t3, que es posterior al tiempo t2, el objeto se encuentra en el campo visual del sensor de alcance 3(2).

Se observa que las figuras 15a y 15c muestran regiones de "posición indefinida" que indican que los sensores de alcance 3(i) no pueden identificar la ubicación del objeto con una precisión del 100%. Esto se debe al hecho de que el sensor de alcance, por ejemplo un escáner láser, debe escanear el objeto varias veces para identificarlo. Esto demora un tiempo. En ese período, el objeto puede moverse. Como se explicará con referencia a la Figura 22 a continuación, los objetos que se mueven rápidamente pueden detectarse como de mayor tamaño que el que tienen en realidad. La utilización del concepto de centros de masa para identificar el movimiento puede dar como resultado un error que, sin embargo, puede corregirse con una técnica de corrección de formas que se explicará más adelante.

A continuación, explicaremos cómo el sistema informático 10 puede utilizar los datos de escaneo de los sensores de alcance para obtener el vector de movimiento del objeto. Una vez obtenido esto, el sistema informático 10 puede calcular la velocidad y posición del objeto. Se supone que el problema sólo es 2D porque se puede suponer que la mayoría de los objetos en una carretera sólo se mueven en un plano. Por supuesto, los principios de la presente invención pueden extenderse a fin de incluir objetos "voladores", es decir, objetos que se mueven pero que no tienen contacto con el suelo.

Se compara una primera escena detectada por el sensor de alcance 3(1) con una segunda escena detectada por el sensor de alcance 3(2). Si el objeto se ha movido, entonces no puede estar en la misma posición en la primera y en la segunda escenas.

El sistema informático 10 puede realizar la comparación de escaneos de las nubes de puntos de dos sensores de alcance de la siguiente manera. Primero, el sistema informático 10 calcula dos conjuntos de nubes de puntos que representan las diferencias entre los conjuntos de nubes de puntos:

DIFF1 = scan1 – scan2;

DIFF2 = scan2 – scan1;

donde:

scan2 = nube de puntos en el escaneo del segundo sensor de alcance 3(2)

scan1 = nube de puntos en el escaneo del primer sensor de alcance 3(1)

Se observa que antes de realizar este conjunto de operaciones, los puntos de las nubes de puntos están relacionados con su ubicación correcta. Después, realizar las ecuaciones da como resultado dos conjuntos de nubes de puntos que representan objetos móviles en dos momentos diferentes. Ya que en realidad los objetos móviles están separados en el espacio, también las partes correspondientes a estos dos conjuntos de nubes de puntos están separadas en el espacio, lo cual permite al sistema informático 10 descomponerlas de manera efectiva en conjuntos de puntos que representan objetos móviles separados. Al aplicar estas operaciones en DIFF1 y DIFF2, el sistema informático 10 obtiene dos conjuntos de nubes de puntos que representan los mismos objetos.

Se puede aplicar cualquier técnica de descomposición conocida por un experto en el arte. En general, puede utilizarse la siguiente técnica. Las nubes de puntos en un escaneo del primer sensor de alcance 3(1) se separan en

15

25

35

45

55

nubes de puntos individuales en donde cada nube de puntos individual hace referencia a un solo objeto. Para lograrlo, se agrupan los puntos que poseen una ubicación similar en las coordenadas mundiales absolutas en un plano y que se encuentran dentro de una distancia de alcance entre sí, la cual se determina de forma adaptable para cada grupo de puntos, según las posiciones de secuencia en escaneos o la distancia hacia el sensor de alcance, y la distancia promedio hacia los puntos pertenecientes al otro grupo es significativamente diferente ya que el objeto móvil se separará especialmente.

Los objetos detectados en la primera y segunda escenas, como resultado de un método de descomposición, se analizan mediante la comparación de las características del objeto en ambas escenas a fin de encontrar el mismo objeto en las mismas. Cada grupo de puntos se analiza en cuanto a su forma. El sistema informático 10 calcula si cada grupo se ajusta a una cierta forma básica, como una caja, un cilindro, una esfera, un plano, etc. Cada grupo se sustituye por dicha forma básica y el sistema informático 10 almacena las características básicas de esa forma, como su altura, diámetro, ancho, etc. Después, el sistema informático 10 repite el mismo procedimiento para el escaneo realizado por el segundo sensor de alcance 3(2). El sistema informático 10 ahora es capaz de comparar los objetos detectados en los dos escaneos mediante la comparación de las formas básicas presentes en ambos escaneos, y después los combina o ajusta diferentes objetos en ambos escaneos.

El sistema informático 10 puede utilizar varias técnicas conocidas para determinar los pares coincidentes en esos dos conjuntos. Por ejemplo, se puede aplicar una medición modificada de la distancia de Hausdorff extendida a 3D (véase, por ejemplo,

http://citeseer.ist.psu.edu/cache/papers/cs2/180/http:zSzzSzwww.cse.msu.eduzSzpripzS zFileszSzDubuissonJain.pdf/a-modified-hausdorff-distance.pdf).

Cada objeto en las escenas posee un punto característico que está presente en todas las escenas. Un punto característico adecuado de un objeto es, por ejemplo, un centro de masas de una forma que delimita un objeto y que se puede calcular en base a un subconjunto de nubes de puntos identificado como perteneciente a dicho objeto. Algunas características de la forma del objeto que indican, por ejemplo, la proporción del objeto, pueden agregarse como puntos característicos. Si el objeto es una persona, la forma que puede aproximarse es un cilindro (con el diámetro y la altura correspondiente a los tamaños promedio del cuerpo humano). En una multitud de gente, las personas pueden estar tan cerca unas de otras que el sistema informático 10 no pueda separar a los individuos de la multitud. Por lo tanto, dicha multitud puede analizarse como un objeto único. En este objeto único, no pueden detectarse rostros individuales. Sin embargo, es posible que deban eliminarse los datos privados y confidenciales de una imagen en la que aparezca dicha multitud. Esto puede resolverse haciendo que la multitud en su totalidad se vea borrosa. De manera alternativa, se puede pixelar la parte de la imagen que muestra una multitud. Como alternativa adicional, incluso en las multitudes, las técnicas de detección de rostros mencionadas con anterioridad pueden utilizarse para identificar rostros en las imágenes de multitudes, seguidas por una técnica de procesamiento de imágenes para hacer que esos rostros se vean borrosos, para sustituirlos por alguna clase de imagen de rostro estándar, etc. Si el procesamiento de imágenes automático no produce un resultado aceptable, se puede efectuar el procesamiento de imágenes manual de manera alternativa.

En la mayoría de los casos, no hay ambigüedad con respecto al ajuste de las formas básicas detectadas en un primer escaneo del sensor de alcance 3(1) con las formas básicas detectadas en un segundo escaneo del sensor de alcance 3(2). Si hay alguna ambigüedad, puede resolverse al ampliar este método con técnicas de reconocimiento de objetos aplicadas a los candidatos de objetos coincidentes en la parte de las imágenes (región de interés o ROI, por sus siglas en inglés), y al comparar las propiedades de las imágenes en el espacio de color de la ROI de cada objeto en cada una de las imágenes tomadas por la o las cámaras 9(j). Si aún hay ambigüedad, también se podrá aplicar la intervención manual.

Después, el sistema informático 10 determina las posiciones absolutas del objeto, es decir, las posiciones de los centros de masas en ambas escenas. El modo de calcular un centro de masas se explicará más adelante con referencia a las Figuras 16 y 17.

Las posiciones absolutas del objeto se pueden determinar de cualquier forma conocida a partir de los datos de posición que también se hayan recibido del MMS, cuyos datos de posición están vinculados a los tiempos en que las cámaras 9(j) tomaron las imágenes y los sensores de alcance 3(i) realizaron los escaneos, como es conocido por los expertos en el arte. El cálculo de las posiciones absolutas a partir de los datos recibidos del MMS puede realizarse de la manera que se explica en detalle en la solicitud de patente internacional PCT/NL2006/000552.

El vector de movimiento de un objeto se calcula mediante el sistema informático 10, como una diferencia entre dos posiciones absolutas del mismo objeto en la primera y la segunda escenas. La posición del objeto en la escena puede relacionarse con la posición del centro de masas del objeto en esta escena. El sistema informático 10 puede utilizar al vector de movimiento para calcular la posición del objeto en cualquier tiempo, asumiendo que la velocidad del objeto no cambia rápidamente, la cual es una suposición válida en el período t1-t3, y también en los tiempos cercanos a este período. Como se indica con anterioridad, si hay varios objetos móviles en una escena, se puede producir cierta ambigüedad al analizar qué centros de masas hacen referencia a qué objetos. Al comenzar el cálculo de los vectores de desplazamiento, se asume que esta ambigüedad se ha solucionado y que todos los objetos se han identificado correctamente, por ejemplo, con la utilización de características de nubes de puntos o similares, como

5 se explica con anterioridad.

El sistema informático 10 calcula la posición (X2.Y2) de la Figura 15b mientras utiliza los siguientes cálculos.

El sistema informático 10 utiliza los siguientes datos:

(x1, y1) = posición absoluta del objeto en tiempo t1, según el cálculo del sistema informático 10 a partir de los datos de posición recibidos del sensor de alcance 3(1), con respecto al automóvil 1, y los datos de posición absoluta del

10 automóvil 1 en tiempo t1, según el cálculo del dispositivo de determinación de posición que aparece en la Figura 1; en la solicitud de patente internacional PCT/NL2006/000552 se describe un método adecuado para calcular la posición del automóvil 1 con el dispositivo de determinación de posición que aparece en la Figura 2; sin embargo, pueden utilizarse otros métodos.

(x3, y3) = posición absoluta del objeto en tiempo t3, según el cálculo del sistema informático 10 a partir de los datos

15 de posición recibidos del sensor de alcance 3(2), con respecto al automóvil 1, y los datos de posición absoluta del automóvil 1 en tiempo t3, según el cálculo del dispositivo de determinación de posición que aparece en la Figura 1;

t1 = tiempo en el cual el objeto fue detectado por el sensor de alcance 3(1); el microprocesador del automóvil 1 ha registrado este tiempo y después también se ha almacenado en la memoria del sistema informático 10;

t2 = tiempo en el cual el objeto fue fotografiado por la cámara 9(1); el microprocesador del automóvil 1 ha 20 registrado este tiempo y después también se ha almacenado en la memoria del sistema informático 10;

t3 = tiempo en el cual el objeto fue detectado por el sensor de alcance 3(2); el microprocesador del automóvil 1 ha registrado este tiempo y después también se ha almacenado en la memoria del sistema informático 10;

En los cálculos, se supone que la velocidad del automóvil 1 es sustancialmente constante durante el período t1-t3.

El sistema informático 10 calcula la posición del objeto (x2, y2) en el tiempo t2 como se indica a continuación.

25 Comienza con una ecuación generalmente conocida para calcular una velocidad V del objeto desde una distancia recorrida ∆s durante un tiempo ∆t:

imagen1

Se puede ver que la velocidad V es el vector de movimiento relacionado con un objeto. Si se descompone V en componentes x, y (Vx, Vy), ∆s en componentes x, y ∆sx, ∆sy y se sustituye ∆t por t3-t1, resulta:

imagen1

A partir de esto, (x2, y2) se puede obtener de la siguiente manera:

imagen1

imagen1

5

10

15

20

25

30

35

40

45

Las posiciones (xi, yi) como se han calculado con anterioridad, hacen referencia a un centro de masas del objeto en cuestión. Se supone que la masa se distribuye incluso sobre el objeto en cuestión y que la forma del objeto no ha cambiado básicamente. Si no es el caso, el centro de masas calculado es en realidad el centro de un objeto. Si el objetivo es calcular el vector de movimiento, esto no importa.

Se puede decir que todos los datos de escaneo de un sensor de alcance 3(i) relacionados con un objeto específico en un momento en el tiempo ti forman una "nube de puntos" de puntos de medición. La Figura 16 muestra dicha nube de puntos. Cada punto detectado que se relacione con un objeto (obtenido por el método de descomposición, como se explicó con anterioridad y como se realizó en el sistema informático 10) se indica con un pequeño círculo a una distancia r¡ desde un origen arbitrario, por ejemplo, definido por una posición definida para el automóvil 1. El sistema informático 10 calcula un centro de masas para cada nube de puntos. En objetos como un ser humano, el sistema informático 10 también calcula un cilindro que se aproxima a la forma de ese ser humano, como se muestra en la Figura 12. Hay otras formas externas que pueden aproximarse a otros objetos. La forma externa y el centro de masas juntos forman una descripción del objeto.

A continuación aparece un centro de masas geométrico de los puntos de dicha nube a partir de

imagen1

Se observa que los sensores de alcance 3(i) pueden mirar en diferentes direcciones, como se indica esquemáticamente en la Figura 18. En la Figura 18, los círculos con línea de puntos indican el objeto. El sensor de alcance 3(1) mira en una dirección que tiene un ángulo α con respecto a la dirección visual de la cámara 9(1), y el sensor de alcance 3(2) mira en una dirección que tiene un ángulo β con respecto a la dirección visual de la cámara 9(1). Se puede mostrar que el sistema informático 10 puede calcular con más exactitud la posición de un objeto a partir de los datos recibidos de los sensores de alcance 3(i), si los ángulos α y β son de 0°. Sin embargo, la invención no se limita a este valor. De hecho, para calcular la velocidad de manera exacta, la distancia indicada por a+d+b debe ser lo más extensa posible y al mismo tiempo, concordar con la suposición de que el tiempo de la trayectoria es corto.

En la acción 36, el sistema informático 10 produce una máscara definida por al menos una parte de los puntos de escaneo dentro de una nube relacionada con un objeto. La Figura 19 indica dicha máscara para una nube de píxeles relacionada con la persona que se muestra en la Figura 10. La máscara se deriva de una nube de píxeles relacionada con un objeto que hace referencia al mismo objeto en la imagen. La máscara utilizada posee una forma fija que funciona bien para esos objetos que, aunque se mueven, básicamente no cambian su forma durante la escala de tiempo involucrada, la cual ha resultado ser una suposición adecuada para los casos en donde los objetos sólo se mueven lentamente. Si los objetos se mueven rápido, su forma detectada por los sensores de alcance 3(i) primero debe ser corregida en el sistema informático 10. La manera en que se puede realizar esto se explicará con referencia a la figura 22 a continuación.

En la acción 38, el sistema informático 10, mientras utiliza el vector de movimiento calculado, mapea esta máscara en la posición (x2, y2) en la imagen como aparece en la Figura 10. De esta manera, según se indica en la Figura 20, el sistema informático 10 utiliza la máscara para establecer un límite del objeto en la imagen de la Figura 10.

Dentro de ese límite, en la acción 40, el sistema informático 10 puede efectuar cualquier técnica deseada de procesamiento de imágenes para establecer cualquier resultado deseado con respecto al objeto dentro de ese límite.

Como se indica con anterioridad, dicha técnica de procesamiento de imágenes es hacer que la imagen relacionada con ese objeto se vuelva borrosa de modo tal que los datos privado dejen de ser visibles. Esto se muestra en la Figura 21. Sin embargo, una vez más, pueden utilizarse otras técnicas de procesamiento de imágenes que produzcan el efecto de que al menos una parte de la imagen sea invisible o no reconocible, como el desenfoque (véase, por ejemplo:

http://www.owlnet.rice.edu/~elec431/projects95/lords/elec431.html) esa parte o la sustitución de esa parte por una parte de imagen estándar que no muestre ningún detalle privado.

10

15

20

25

30

35

40

45

Por ejemplo, el rostro de un ser humano se puede sustituir por un rostro estándar de un muñeco. "Pixelat" puede ser una técnica adecuada para utilizar, como se indicara con respecto a la Figura 4b.

En una realización, se configura al procesador 11 para que identifique subobjetos dentro del objeto móvil que comprenden datos privados y confidenciales u otros datos que deben eliminarse. Por ejemplo, el programa que se ejecuta en el procesador 11 puede configurarse para identificar rostros de personas al buscar características faciales como ojos, orejas, narices, etc. Los programas que realizan esto están disponibles en el mercado. Microsoft ofrece una biblioteca de procesamiento de imágenes que puede utilizarse aquí. Se pueden encontrar otras técnicas en:

http://en.wikipedia.org/wiki/face detection en donde se hace referencia a los siguientes enlaces:

http://www.merl.com/reports/docs/TR2004.043.pdf,

httn://www.robots.ox.ac.uk/~cvrg/trinity2003/schneiderman cvpr00.pdf.

De manera alternativa o adicional, el programa que se ejecuta en el procesador 11 puede configurarse para identificar partes con texto. Los programas que realizan esto también están disponibles en el mercado; por ejemplo, http://en.wikipedia.org/wiki/Optical_character_recognition ofrece una biblioteca de procesamiento de imágenes que puede utilizarse aquí. Existen programas que reconocen (caracteres en) matrículas de automóviles. Tales programas se utilizan, por ejemplo, en segmentos de carreteras con límite de velocidad. De esta manera, se pueden identificar matrículas de automóviles, números telefónicos y anuncios que uno desea eliminar o volver borrosos.

Hasta ahora, se analizó como abordar objetos móviles e inmóviles. Sin embargo, cuando los objetos móviles se mueven rápido con respecto a la velocidad del propio MMS, el tamaño de ese objeto observado por los sensores de alcance 3(j) se desviará de su tamaño real. Por ejemplo, un automóvil que pasa frente al MMS o que pasó frente al MMS continúa siendo escaneado por los sensores de alcance 3(j) durante un período más prolongado que si se hubiera estuviera quieto o casi quieto. Por lo tanto, dicho automóvil parece ser más largo de lo que es. El efecto contrario se produce si el automóvil se mueve en la dirección opuesta. Esto no supone un gran problema para las imágenes tomadas por la o las cámaras 9(i) ya que la o las cámaras poseen una mayor velocidad del obturador: las imágenes indicarán el tamaño real del automóvil.

La diferencia entre el tamaño real y el tamaño del automóvil en la nube de puntos observada por los sensores de alcance 3 (j) da como resultado una máscara demasiado pequeña o demasiado grande obtenida de los datos del sensor de alcance. Por lo tanto, el programa que se ejecuta en el sistema informático 10 debe compensar este error de tamaño observado. Esto se realizará en la acción 36.

La Figura 22 explica cómo se puede determinar la velocidad y el tamaño, y opcionalmente la forma, de un objeto que se mueve rápidamente. La parte superior de la figura hace referencia al MMS que pasa frente a un automóvil mientras que la parte inferior de la figura hace referencia a un automóvil que pasa en la dirección opuesta.

La longitud observada de un objeto móvil se determina por un tiempo de escaneo tscanning tomado por uno de los sensores de alcance. La parte superior de la Figura 22 muestra una situación donde el sensor de alcance 3(1) detecta un automóvil por primera vez. El tiempo de escaneo del sensor de alcance 3(1) es el tiempo entre la primera y la última detección (la última detección no se muestra en la Figura 22) del sensor de alcance 3(1).

La velocidad real Vreal del automóvil se define por:

donde

Vreal = velocidad real del automóvil

VMMS = velocidad del MMS según lo determinan los datos del dispositivo de determinación de posición

Vrelative = velocidad relativa del automóvil con respecto a la velocidad del MMS, según se calcula mientras se

utilizan fórmulas idénticas a las utilizadas para calcular la velocidad de la persona de la Figura 10. La longitud observada del automóvil Lobserved según se calcula a partir de los datos del sensor de alcance y los datos del dispositivo de determinación de posición proviene de:

imagen1

imagen1

5

10

15

20

25

30

35

La longitud real del automóvil Lreal, sin embargo, proviene de:

imagen1

donde Lcorr es una corrección porque el automóvil tiene velocidad propia, y es equivalente a:

imagen1

Por lo tanto, la velocidad real del automóvil proviene de:

imagen1

Debe tenerse en cuenta que en esta última ecuación, la velocidad real del automóvil Vreal debe restarse de la velocidad del MMS si el automóvil transita en la misma dirección que el MMS, y debe sumarse si transita en la dirección opuesta. Ya sea que el automóvil transite en la misma dirección o en la dirección opuesta, se deriva del cálculo de velocidad en base a los datos de los dos sensores de alcance 3(1) y 3(2).

Después de haber establecido la longitud real del automóvil Lreal, en la acción 36, el sistema informático 10 toma en cuenta esto para calcular la máscara. Es decir que, por ejemplo, el sistema informático la multiplica la longitud de la máscara por el factor F igual a:

imagen1

Por lo tanto, la máscara obtenida se utiliza en la acción 38.

Resumen

Con anterioridad se explicó que la invención hace referencia a una determinación de posiciones de objetos, como fachadas, accesorios viales, peatones y vehículos, dentro de una imagen tomada por una o más cámaras digitales en un automóvil en movimiento, por ejemplo, un MMS. Se utiliza uno o más sensores de alcance dispuestos en el automóvil para producir una máscara que puede utilizarse para identificar objetos en dicha imagen y después efectuar una acción de procesamiento de imágenes en dichos objetos o partes de éstos. Los tamaños y las trayectorias de los objetos posiblemente móviles en las imágenes pueden aproximarse mediante un sistema que comprende dos o más sensores de alcance, como escáner láser u otros sensores de alcance, adheridos al MMS que realizan escaneos de las mismas escenas fotografiadas por la o las cámaras montadas en el MMS. Mediante la utilización de, por ejemplo, cualquier algoritmo conocido de detección de edificios y/o fachadas, y la identificación de objetos dentro de las imágenes tomadas por la o las cámaras y la utilización al mismo tiempo de los datos de sensores de alcance, y la posterior aplicación de uno o más filtros de procesamiento de imágenes a dichos objetos, se pueden lograr las siguientes ventajas:

1.

Protección de las partes privadas y confidenciales u otras partes no deseadas en las imágenes al cambiar la resolución u otras características visuales de imágenes de esas partes.

2.

Las partes de las imágenes relacionadas con los objetos o partes de objetos en una imagen después de ser procesadas como datos no deseados, pueden utilizarse en otras imágenes recopiladas por el MMS que muestren el mismo objeto. Por lo tanto, cualquier acción de procesamiento de imágenes efectuada en un objeto sólo debe aplicarse una vez y no es necesario repetirla en diferentes imágenes.

3.

Se pueden distinguir objetos estáticos, al igual que objetos que se mueven de manera rápida o lenta, en una nube de puntos del sensor de alcance. Se puede determinar su longitud y velocidad reales.

4.

Los objetos en las imágenes de la cámara se pueden ocultar con exactitud en base al ajuste de la detección de escaneo láser de dicha imagen con los valores de longitud y velocidad determinados y la diferencia de tiempo entre el escaneo láser y la captura de la imagen.

5.

Pueden eliminarse los objetos no deseados en el área entre el automóvil y la fachada, y la información de la imagen actual o de otra imagen se puede procesar para reemplazar la imagen en primer plano.

Claims (16)

1. REIVINDICACIONES

   1. Sistema informático (10) que comprende un procesador (11) y memoria (12; 13; 14; 15) conectada al procesador, donde la memoria comprende un programa de ordenador, que comprende datos e instrucciones configurados para hacer que dicho procesador (11):

   5 • reciba los datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a un sistema móvil, al igual que los datos de primer sensor de alcance de al menos un primer sensor de alcance (3(1)) incorporado a dicho sistema móvil, y los datos de imágenes de al menos una cámara (9(j)) incorporada a dicho sistema móvil;

   • identifique una primera nube de puntos dentro de dichos datos del primer sensor de alcance, asociada con 10 al menos un objeto;

   •

   produzca una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos; Y que está caracterizado porque el procesador está configurado de manera adicional para

   •

   mapear dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según se encuentran presentes en dichos datos de imágenes de dicha al menos una cámara (9(j)); y para

   15 • efectuar una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto.
2. 2. Sistema informático (10) de acuerdo con la reivindicación 1, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

   • reciba datos de segundo sensor de alcance de un segundo sensor de alcance (3(2)) incorporado a dicho 20 sistema móvil;

   •

   identifique una segunda nube de puntos dentro de dichos datos del segundo sensor de alcance, relacionados con dicho al menos un objeto;

   •

   calcule un vector de movimiento para dicho al menos un objeto a partir de dichas primera y segunda nubes de puntos;

   25 • mapee dicha máscara sobre los datos de imágenes de dicho objeto mientras utiliza dicho vector de movimiento.
3. 3. Sistema informático (10) de acuerdo con la reivindicación 2, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

   • calcule un tamaño real de dicho objeto basado en dichos datos del primero y segundo sensores de alcance; 30 • utilice dicha longitud real mientras produce dicha máscara.
4. 4. Sistema informático (10) de acuerdo con la reivindicación 3, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

   • calcule un tamaño observado de dicho objeto basado en uno de dichos datos del primero y segundo sensores de alcance;

   35 •calcule dicha máscara en base a dicha longitud observada y dicha longitud real.
5. 5. Sistema informático de acuerdo con la reivindicación 2 ó 3, en donde dicho procesador (11) calcula dicho vector de movimiento asumiendo que una velocidad y dirección de movimiento de cualquier objeto detectado dentro de los datos de dicho sensor de alcance de dicho al menos primer y segundo sensores de alcance (3(i)) es básicamente constante.
6. 6. Sistema informático de acuerdo con cualquiera de las reivindicaciones 2 a 5, en donde dicha identificación de dicha 40 segunda nube de puntos comprende la distinción de al menos un objeto a partir de un objeto de referencia fijo a la tierra.
7. 7. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha identificación de dicha primera nube de puntos comprende la distinción de dicho al menos un objeto a partir de un objeto de referencia fijo a la tierra.

8. 8.

   Sistema informático de acuerdo con la reivindicación 6 ó 7, en donde dicho objeto de referencia es un edificio.

9. 9.

   Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha técnica

   5 predeterminada de procesamiento de imágenes incluye al menos una de las siguientes técnicas: volver borrosa dicha al menos una parte, desenfocar dicha al menos una parte y sustituir dicha al menos una parte por datos de imágenes predeterminados.
10. 10. Sistema informático (10) de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11) identifique dicha al menos una parte mediante la

    10 utilización de al menos una de la técnica de reconocimiento de objetos y una técnica de reconocimiento de caracteres.

11. 11.

    Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha al menos una parte incluye datos privados y confidenciales.

12. 12.

    Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dichos datos de

    15 imágenes de objeto pertenecen a una escena en particular, dicha técnica predeterminada de procesamiento de imágenes incluye la eliminación de dichos datos de imágenes del objeto en dichos datos de imágenes, y el reemplazo de dichos datos de imágenes de objeto en dicha escena por datos que habrían sido visibles en esa escena si dicho objeto no hubiese estado presente.
13. 13. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dichos datos de

    20 imágenes hacen referencia a una pluralidad de imágenes, cada una de las cuales muestra dicho objeto, y dicho procesador (11) está configurado para producir una imagen de objeto procesada por dicha acción de efectuar dicha técnica predeterminada de procesamiento de imágenes sobre al menos dicha parte de dichos datos de imágenes de objeto en una de dichas pluralidades de imágenes, y sustituir dicho objeto en otras de dicha pluralidad de imágenes por dicha imagen procesada del objeto.

    25 14. Sistema de procesamiento de datos que comprende un sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes y un sistema móvil, dicho sistema móvil comprende un dispositivo de determinación de posición que proporciona dichos datos de tiempo, posición y orientación, al menos un primer sensor de alcance (3(i)) que proporciona dichos datos del primer sensor de alcance, y al menos una cámara (9(j)) que proporciona dichos datos de imágenes.

    30 15. Método de mapeo de los primeros datos de sensor de alcance de un primer sensor de alcance (3(1)) en datos de imágenes desde al menos una cámara (9(j)), tanto dicho primer sensor de alcance (3(1)) como dicha al menos una cámara (9(j)) se ubican en un sistema móvil en una relación fija entre sí, el método incluye:

    • la recepción de datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a dicho sistema móvil, al igual que dichos primeros datos de sensor de alcance de dicho primer sensor de

    35 alcance 3(1) incorporado a dicho sistema móvil, y dichos datos de imágenes desde dicha al menos una cámara (9(j)) incorporada a dicho sistema móvil;

    •

    la identificación de una primera nube de puntos dentro de dichos datos del primer sensor de alcance, relacionados con al menos un objeto;

    •

    la producción de una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos;

    40 y está caracterizado porque incluye los próximos pasos de

    •

    mapeo de dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según está presentes en dichos datos de imágenes de dicha al menos una cámara (9(j));

    •

    realización de una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto.

    45 16. Método de acuerdo con la reivindicación 15, en donde dicho método incluye:

    •

    la recepción de segundos datos de sensor de alcance desde un segundo sensor de alcance (3(2)) incorporado a dicho sistema móvil;

    •

    la identificación de una segunda nube de puntos dentro de dichos datos del segundo sensor de alcance, relacionados con dicho al menos un objeto;

    •

    el cálculo de un vector de movimiento para dicho al menos un objeto desde dicha primera y segunda nubes de puntos;

    5 • el mapeo de dicha máscara sobre los datos de imágenes de dicho objeto utilizando dicho vector de movimiento.
14. 17. Método de acuerdo con la reivindicación 16, en donde dicho método incluye:

    • el cálculo de un tamaño real de dicho objeto basado en dichos datos del primero y segundo sensores de alcance;

    10 • la utilización de dicho tamaño real mientras produce dicha máscara.

15. 18.

    Producto de programa de ordenador que comprende datos e instrucciones adaptados para realizar todos los pasos de cualquiera de los métodos, de acuerdo con las reivindicaciones 15 a 17 cuando dicho producto de programa de ordenador se ejecuta en un ordenador.

16. 19.

    Portador de datos con un producto de programa de ordenador, según se reivindica en la reivindicación 18.