ES2907737T3 - Procedimiento para calibrar un sistema de sensores - Google Patents

Procedimiento para calibrar un sistema de sensores Download PDF

Info

Publication number
ES2907737T3
ES2907737T3 ES18717240T ES18717240T ES2907737T3 ES 2907737 T3 ES2907737 T3 ES 2907737T3 ES 18717240 T ES18717240 T ES 18717240T ES 18717240 T ES18717240 T ES 18717240T ES 2907737 T3 ES2907737 T3 ES 2907737T3
Authority
ES
Spain
Prior art keywords
sensor
calibration
calibration feature
data stream
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18717240T
Other languages
English (en)
Inventor
Michael Fiegert
Wendelin Feiten
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Application granted granted Critical
Publication of ES2907737T3 publication Critical patent/ES2907737T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

Procedimiento para calibrar un sistema de sensores (100), en el que: - se capta (S101) un primer flujo de datos mediante un primer sensor (101-1); - se extrae (S102) una característica de calibración (103) del primer flujo de datos; - se capta (S103) un segundo flujo de datos mediante un segundo sensor (101-2); - se identifica (S104) la característica de calibración (103) extraída en el segundo flujo de datos; caracterizado porque - la extracción de la característica de calibración (103) y la identificación de la característica de calibración (103) extraída se ejecutan en base a una red neuronal y - se calibra (S105) el primer sensor (101-1) con respecto al segundo sensor (101-2) en base a la característica de calibración extraída y a la característica de calibración identificada.

Description

DESCRIPCIÓN
Procedimiento para calibrar un sistema de sensores
La presente invención se refiere a un procedimiento para calibrar un sistema de sensores y a un sistema de sensores que se autocalibra.
Un sistema técnico que incluye varios sensores basados en diversos principios de medición presupone para una funcionalidad correcta una calibración de esos sensores. Los sensores de sistemas de sensores, como por ejemplo en un vehículo, se calibran uno respecto a otro, para obtener la mayor coincidencia posible de los datos captados por los sensores. Por ejemplo, se calibran los lugares de montaje y las direcciones de orientación de los sensores u otras magnitudes como tiempos de latencia entre los sensores y el sistema completo o características de reproducción de los sensores.
En esta calibración puede realizarse tanto una calibración intrínseca de los distintos sensores como también una calibración extrínseca de los sensores entre sí.
Una calibración intrínseca significa que se determinan parámetros internos del sensor. Una calibración extrínseca se ocupa por el contrario de determinar parámetros entre distintos sensores o entre un sensor y otro sistema de coordenadas fijado. La calibración extrínseca se realiza ya que a menudo no se conoce exactamente la disposición mutua de los sensores, por ejemplo, debido a inexactitudes en el montaje o debido a características internas desconocidas de los sensores.
A la vez, una medición manual de los sensores es imprecisa, sensible a las faltas o no puede realizarse. La calibración extrínseca presupone que existen invariantes conocidas, con lo que puede determinarse la interrelación espacial entre diversos sensores.
Para ello se utilizan características de calibración inequívocas, que se han introducido expresamente para este fin en cuerpos de calibración fijamente definidos. Pero la utilización de cuerpos de calibración no hace posible realizar la calibración durante un funcionamiento normal.
El documento DE 10 2014 014 295 A1 se refiere a un procedimiento para vigilar varios sensores del entorno que captan datos de sensor del entorno de un vehículo automotor, montados en el vehículo automotor en una posición de montaje descrita por parámetros de calibración extrínsecos, en relación con los parámetros de calibración extrínsecos, así como a un vehículo automotor. En un vehículo automotor en movimiento, se evalúan datos de sensor tomados a la vez.
El documento US 2014 240 690 A1 se refiere a una determinación de parámetros de calibración extrínsecos para al menos un sensor, que está montado en un aparato portátil.
El documento US 2011/228101 A1 se refiere a un procedimiento para determinar parámetros de calibración de una cámara. En este procedimiento se calibra una cámara individual en base a dos imágenes tomadas en momentos diferentes mediante una matriz de transformación.
Por el documento “Peyman y colab.: “Line-based Extrinsic Calibration of Range and Image Sensors” (calibración extrínseca basada en línea de sensores de rango e imagen); IEEE International Conference on Robotics and Automation (IRCA); Karlsruhe, Alemania, 6-10 mayo 2013; páginas 3685 a 3691” se conoce la calibración basada en línea de sensores de imagen y de rango, extrayendo características dominantes de aristas (Edge features) de una imagen bidimensional del sensor de imagen y adicionalmente dos clases de líneas de 3D de datos tridimensionales de nube de puntos del sensor de rango. Entonces se busca una transformación de pose “6 Degrees of Freedom (6DoF)” (6 grados de libertad) de la imagen con respecto a los datos de nube de puntos en base a las líneas extraídas en base a un enfoque de optimización y se utiliza la transformación de pose para calibrar sensores de rango de 3D y sensores de imagen de 2D.
Es el objetivo técnico de la presente invención realizar una calibración de un sistema de sensores durante un funcionamiento sin un cuerpo de calibración especial.
Este objetivo se logra mediante objetos correspondientes a las reivindicaciones independientes. Ventajosas formas de realización son objeto de las reivindicaciones dependientes, de la descripción y de las figuras.
Según un primer aspecto, se logra el objetivo mediante un procedimiento para calibrar un sistema de sensores, con las siguientes etapas:
- Captar un primer flujo de datos mediante un primer sensor;
- extraer una característica de calibración del primer flujo de datos;
- captar un segundo flujo de datos mediante un segundo sensor;
- identificar la característica de calibración extraída en el segundo flujo de datos;
- ejecutar la extracción de la característica de calibración y la identificación de la característica de calibración extraída en base a una red neuronal y
- calibración del primer sensor con respecto al segundo sensor en base a la característica de calibración extraída y a la característica de calibración identificada.
Puesto que la característica de calibración se extrae automáticamente mediante un análisis del primer flujo de datos, se logra la ventaja técnica de que no es necesario ningún cuerpo de calibración ni proceso de calibración especiales que perjudicarían el funcionamiento normal.
Profundizando, se logra por ejemplo la ventaja técnica de que pueden aprenderse rápidamente características de calibración adecuadas.
En una forma de realización técnicamente ventajosa del procedimiento, el primer y/o el segundo sensor es un sensor de imagen para captar ópticamente el entorno del sistema de sensores. Así se logra por ejemplo la ventaja técnica de que puede captarse rápida y fácilmente el entorno del sistema de sensores. En otra forma de realización técnicamente ventajosa del procedimiento, el primer y/o segundo sensor es un escáner de láser, que irradia un rayo láser, que explora barriendo el entorno por filas o retículas. Así se logra por ejemplo igualmente la ventaja técnica de puede captarse rápida y fácilmente el entorno del sistema de sensores.
En otra forma de realización técnicamente ventajosa del procedimiento, el primer y/o segundo sensor es un sensor de radar, que emite una señal de radar, que se refleja en el entorno del sistema de sensores retornando al sensor. Así se logra por ejemplo la ventaja técnica de que puede captarse el entorno del sistema de sensores en un amplio rango de longitudes de onda.
En otra forma de realización técnicamente ventajosa del procedimiento, se ejecuta la extracción o identificación de una característica de calibración en base a un aprendizaje automático, en el que se reconocen patrones en los flujos de datos como características de calibración. Así se logra por ejemplo la ventaja técnica de que pueden determinarse rápida y fácilmente características de calibración adecuadas. En otra forma de realización técnicamente ventajosa del procedimiento, se ejecuta la extracción o identificación de una característica de calibración en base a un cierto número de elementos descriptivos. Así se logra por ejemplo la ventaja técnica de que puede ejecutarse rápida y eficientemente el reconocimiento de una característica de calibración.
Según un segundo aspecto, se logra el objetivo mediante un sistema de sensores con
- un primer sensor para captar un primer flujo de datos;
- un segundo sensor para captar un segundo flujo de datos;
- un módulo de extracción para extraer una característica de calibración a partir del primer flujo de datos en base a una red neuronal;
- un módulo de identificación para identificar la característica de calibración extraída en el segundo flujo de datos en base a la red neuronal y
- un módulo de calibración para calibrar el primer sensor con respecto al segundo sensor en base a la característica de calibración extraída y a la característica de calibración identificada.
De esta manera se logran las mismas ventajas técnicas que mediante el procedimiento según el primer aspecto.
Según un tercer aspecto, se logra el objetivo mediante un programa informático con secciones de programa para ejecutar las etapas del procedimiento según el primer aspecto cuando se ejecuta el programa informático sobre una computadora.
Según un cuarto aspecto, se logra el objetivo mediante una memoria de datos con un programa informático según el tercer aspecto.
En los dibujos se representan ejemplos de realización de la invención y se describirán a continuación más en detalle.
Se muestra en:
figura 1 una representación esquemática de un sistema de sensores;
figura 2 un modelo probabilístico gráfico y
figura 3 un diagrama de bloques de un procedimiento.
La figura 1 muestra una representación esquemática de un sistema de sensores 100. El sistema de sensores 100 incluye varios sensores 101-1, ..., 101-3 para captar el entorno, los cuales generan respectivos flujos de datos.
El sensor 101-1 es por ejemplo un sensor de imagen para captar ópticamente el entorno del sistema de sensores 100 y genera un flujo de datos de imagen. El sensor de imagen puede ser un sensor de imagen basado en semiconductores, que puede captar fotografías en distintas zonas espectrales. Para este fin incluye el sensor de imagen un campo CCD (CCD - Charge Coupled Electronic Device, dispositivo electrónico de carga acoplada) como componente electrónico fotosensible, que se basa en el fotoefecto interior. El sensor de imagen capta por ejemplo una característica del entorno 113 y genera un flujo de datos, de datos de imagen.
El sensor 101-2 es por ejemplo un sensor de radar, que genera un flujo de datos, de datos de sensor de radar. El sensor de radar emite una señal de radar, que se refleja en el entorno del sistema sensor 100 retornando al sensor 101-2 y es captada por el sensor 101-2. En función del material del que está compuesto un objeto, se refleja la señal del radar mejor o peor como luz óptica.
El sensor 101-3 es por ejemplo un escáner de láser, que irradia un rayo láser, que explora barriendo el entorno por filas o retículas y que igualmente genera un flujo de datos. Así puede medirse el entorno o generarse una imagen. El escáner de láser puede captar, además de la geometría de un objeto, adicionalmente la intensidad de la señal reflejada, con lo que pueden captarse tonos de gris.
El sistema de sensores 100 está dispuesto por ejemplo en un vehículo automotor, un tren, un barco o un avión. Pero en general puede estar previsto el sistema de sensores también en otros equipos técnicos. Según el campo de aplicación, incluye el sistema de sensores 100 distintos sensores, que están diseñados para la correspondiente finalidad de utilización del sistema de sensores.
Para obtener de los sensores 101-1, ..., 101-3 resultados coincidentes, se coordinan los mismos mediante un procedimiento de calibración. Una calibración intrínseca significa que se determinan parámetros internos del sensor 101-1, ..., 101-3. Una calibración extrínseca se ocupa por el contrario de determinar parámetros entre distintos sensores 101-1, ..., 101-3 o entre un sensor 101-1, ..., 101-3 y otro sistema de coordenadas fijado. La calibración extrínseca se realiza ya que a menudo no se conoce exactamente la disposición de los sensores 101-1, ..., 101-3 uno respecto a otro, por ejemplo, debido a inexactitudes en el montaje o cuando no se conocen características internas del sensor.
Para calibrar los sensores 101-1, ..., 101-3 pueden utilizarse cuerpos físicos de calibración con características especiales de calibración, que a la vez son captadas por los sensores 101-1, ..., 101-3. Mediante los cuerpos de calibración pueden coordinarse entre sí los sensores 101-1, ..., 101-3. Claramente puede realizarse está calibración sólo con un cuerpo de calibración adecuado, es decir, durante un mantenimiento o puesta en servicio del sistema de sensores. Por lo tanto, no es posible sin más una calibración a posteriori del sistema de sensores 100.
Por ello incluye el sistema de sensores 100 un módulo de extracción 105, para extraer una característica de calibración 103 adecuada a partir del flujo de datos de cualquier sensor 101-1, ..., 101-3. El módulo de extracción 105 está formado por ejemplo por un autoencoder (autocodificador) o una red neuronal. Mediante el módulo de extracción 105 se extrae automáticamente una característica de calibración 103 adecuada a partir del flujo de datos, por ejemplo, mediante un análisis de imagen con el que pueden detectarse elementos de imagen que se repiten o que se presentan con frecuencia como características de calibración 103.
En el caso de un vehículo automotor que se mueve sobre una carretera, determina el módulo de extracción 105 por ejemplo automáticamente una única característica de imagen como característica de calibración, que puede incluirse para calibrar los demás sensores. La característica de imagen es por ejemplo una placa indicadora de un lugar, una placa de autopista, un pilón o baliza, o una placa indicadora de tráfico. Estas características de calibración pueden captarse con seguridad y permanecen constantes en amplia medida a lo largo del tiempo. La característica de calibración no está predeterminada, sino que se reconoce automáticamente mediante el módulo de extracción 105 por medio de un análisis del flujo de datos.
Además, incluye el sistema de sensores 100 un módulo de identificación 107 para identificar aquella característica de calibración 103 que se ha extraído de uno de los flujos de datos en el flujo de datos de uno de los otros sensores. Si se ha extraído por ejemplo del flujo de datos del sensor de imagen una determinada placa indicadora de tráfico como característica de calibración, busca el módulo de identificación exactamente esta placa indicadora de tráfico en el flujo de datos de otro sensor. Tan pronto como se ha identificado la placa indicadora de tráfico en el flujo de datos del otro sensor, pueden compararse ambos sensores entre sí. Entonces puede detectarse si la característica de calibración se ha captado en ambos sensores en el mismo lugar o al mismo tiempo. El módulo de identificación 107 está formado por ejemplo igualmente mediante un autoencoder o una red neuronal.
Un módulo de calibración 109 determina los parámetros de calibración para calibrar el primer sensor 101­ 1 con respecto al segundo sensor 101-2 en base a la característica de calibración extraída y a la característica de calibración identificada, como por ejemplo parámetros para una transformación de coordenadas o un decalaje en el tiempo.
El módulo de extracción 105, el módulo de identificación 107 y el módulo de calibración 109 pueden estar formados por circuitos electrónicos correspondientes o mediante módulos de software, que se cargan en una memoria del sistema de sensores 100 y que se ejecutan mediante un procesador del sistema de sensores 100.
La figura 2 muestra un modelo gráfico probabilístico como Graph 200. Los nodos 201-1, ..., 201-n se representan aquí como círculos. Las mediciones 203 se representan en forma de una pequeña marca sobre la arista 205 (= asociación). Un método concebible al respecto se basa en un “Simultaneous Localization and Mapping (SLAM)” (localización y mapeo simultáneos) basado en gráficos, en el que para cada magnitud o grupo desconocidos de magnitudes conexas se crea un nodo 201-1, . , 201-n y para cada medición asociada una arista 205. Existen nodos 201-1, ..., 201-n en particular para los diversos sensores 101-1, ..., 101-3. Los nodos 201-1, ..., 201-n contienen los respectivos parámetros a calibrar. Además existen nodos 207-1 y 207-2 para las características extraídas, es decir, los objetos del entorno que sirven de base. Cada medición que ha podido ser asociada inequívocamente mediante el módulo de identificación 107 a una característica del entorno, se inscribe en forma de una arista 205 entre el sensor y la característica. Con ello resulta un sistema de condiciones probabilísticas que permite calcular los parámetros. Mientras en el SLAM ante todo se determina la posición de las características en el entorno (es decir, en el mapa), se determinan en este caso los parámetros de sensores para el calibrado.
Las características no se representan explícitamente, pero sirven de base para cada arista. Los nodos 201-1, ..., 201-n se representan para un objeto de calibración conocido en diversos instantes. Por supuesto pueden existir igualmente varios objetos de calibración distintos en el entorno, usualmente objetos de calibración emplazados fijos. Desde luego pueden ser igualmente objetos de calibración objetos del entorno desconocidos que se mueven.
La figura 3 muestra un diagrama de bloques de un procedimiento para calibrar el sistema de sensores 100. En una primera etapa S101 se capta un primer flujo de datos mediante un primer sensor 101-1. En la etapa S102 se extrae una característica de calibración 103 a partir del primer flujo de datos. En la etapa S103 se capta mediante un segundo sensor 101-2 un segundo flujo de datos, en el que se tiene la misma característica de calibración 103. En la etapa S104 se identifica la característica de calibración 103 en el segundo flujo de datos. Las características de calibración 103 resultan mediante patrones en los flujos de datos.
En una variante se extraen en una etapa a partir de un flujo de datos mixto características asociadas. Con ello se reduce el coste de realizar la extracción, que entonces no puede asociarse. Las dos etapas resultan mediante una mezcla y una extracción de asociaciones junto con las características.
De esta manera resulta posible en la etapa S105 calibrar el primer sensor 101-1 con respecto al segundo sensor 101-2 en base a la característica de calibración extraída y a la característica de calibración identificada. Así puede asociarse en el tiempo la característica de calibración de ambos sensores 101-1 y 101-2. De la misma manera pueden calibrarse otros sensores 101-3 del sistema de sensores 100.
De esta manera pueden utilizarse para la calibración objetos cotidianos, que se captan durante el funcionamiento normal mediante los sensores 101-1, ..., 101-3 . Las etapas de trabajo para determinar características de calibración que sean características, adecuadas para la calibración, así como su extracción a partir de los flujos de datos, se basan en un aprendizaje no vigilado (unsupervised learning). Al calibrar los sensores 101-1, ..., 101-3 puede compensarse por ejemplo un decalaje, un desplazamiento o un giro de los correspondientes sistemas de coordenadas captados por los sensores 101-1, ..., 101-3 o bien un decalaje en el tiempo entre los sensores 101-1, ..., 101-3.
El aprendizaje no vigilado es un aprendizaje automático sin valores objetivo previamente conocidos, así como sin recompensa mediante el entorno. En lugar de ello, la recompensa es una calibración consistente, que se pretende, pero que no se obtiene del entorno. La máquina de aprendizaje intenta identificar en los flujos de datos patrones como características de calibración, que son distintas de ruidos no estructurados. El aprendizaje automático sirve para generar artificialmente conocimiento a partir de la experiencia. El sistema aprende a partir de ejemplos y puede generalizar los mismos tras finalizar la fase de aprendizaje. Es decir, no sólo se aprenden ejemplos memorizándolos, sino que se identifican patrones y leyes en los flujos de datos. Así puede enjuiciar el sistema también características de calibración desconocidas (transferencia de aprendizaje).
Una red neuronal artificial se orienta a la similitud de los datos y adapta correspondientemente los pesos (ponderación) de la red. Así pueden aprenderse automáticamente diversas características de calibración a partir de cada entorno.
Otra realización a modo de ejemplo se basa aquí en el principio del Sparse Coding (codificación dispersa), realizada por ejemplo mediante autoencoder. El Sparse Coding se basa en captar las características de calibración esenciales de un conjunto dado de datos de sensor mediante un número mínimo de elementos descriptivos. La totalidad de los elementos descriptivos en cuestión se determina entonces mediante el procesamiento previo de un conjunto de datos muy grande, que incluye muchos casos individuales.
El autoencoder es una red neuronal artificial que se utiliza para aprender codificaciones eficientes. El objetivo del autoencoder es aprender una representación comprimida (encoding) de las características de calibración para los flujos de datos y extraer las características de calibración esenciales.
El autoencoder utiliza tres o más capas, que son una capa de entrada, en la que las neuronas reproducen por ejemplo el entorno, un cierto número de capas bastante más pequeñas, que forman el encoding y una capa de salida, en la cual cada neurona tiene el mismo significado que la neurona correspondiente en la capa de entrada.
Las características de calibración adecuadas para la calibración proceden de objetos que son captados con seguridad por los sensores 101-1, ..., 101-3 y que permanecen lo más constantes posible a lo largo del tiempo. Los datos correspondientes a estas características de calibración se caracterizan porque los mismos se presentan una y otra vez a lo largo de muchas mediciones con pequeñas desviaciones. Esto significa que las características de calibración en los flujos de datos pueden captarse con relativamente pocos elementos descriptivos, que por lo tanto se presentan con especial frecuencia.
Esos elementos son identificados por los algoritmos Sparse Coding y con ello se automatiza la elección de las características de calibración. El comportamiento a lo largo del tiempo puede determinarse de manera similar. Para ello se reúnen los datos de varias tramas para formar un bloque de datos mayor. De esta manera pueden determinarse automáticamente las características de calibración adecuadas para la calibración. Las ventajas técnicas del procedimiento residen en una mayor flexibilidad y un menor coste, tanto en la ejecución de la calibración como también en la preparación de la calibración para sistemas distintos en cada caso.
El sistema de sensores 100 puede calibrarse automáticamente en cualquier entorno, siempre que en este entorno existan características de calibración. Las características de calibración son identificadas automáticamente por el sistema de sensores 100, con lo que el sistema de sensores puede calibrarse correspondientemente en base a las características de calibración elegidas automáticamente.
Es especialmente ventajoso incluir los parámetros de calibración típicos, como por ejemplo una posición y orientación relativa, tiempos de latencia o características de reproducción, en las arquitecturas de red utilizadas. Ejemplos de arquitecturas de red son los modelos gráficos (Graphical Models) o redes neuronales. Para ello pueden desarrollarse previamente plantillas adecuadas y parametrizarse caso por caso.
El procedimiento puede estar implementado mediante un programa informático digital con secciones de programa para ejecutar las etapas del procedimiento, cuando el programa informático se ejecuta sobre una computadora. La computadora incluye para ello una memoria de datos para memorizar el programa informático y un procesador para ejecutar el programa informático. El programa informático puede estar almacenado a su vez en una memoria de datos externa, desde la que puede cargarse el programa informático en la memoria de datos interna de la computadora. La memoria de datos externa es por ejemplo un CD-ROM, una memoria flash USB o una unidad reproductora de discos en Internet.
Todas las características descritas y mostradas en relación con formas individuales de realización de la invención pueden estar previstas en diferentes combinaciones en el objeto de acuerdo con la invención, para realizar a la vez sus efectos ventajosos.
Todas las etapas del procedimiento pueden implementarse mediante equipos que sean adecuados para ejecutar la correspondiente etapa del procedimiento. Todas las funciones que se ejecutan mediante características concretas pueden ser una etapa de procedimiento incluida en un procedimiento.
El ámbito de protección de la presente invención viene dado por las reivindicaciones y no queda limitado por las características descritas en la descripción o mostradas en las figuras.

Claims (9)

REIVINDICACIONES
1. Procedimiento para calibrar un sistema de sensores (100), en el que:
- se capta (S101) un primer flujo de datos mediante un primer sensor (101-1);
- se extrae (S102) una característica de calibración (103) del primer flujo de datos;
- se capta (S103) un segundo flujo de datos mediante un segundo sensor (101-2);
- se identifica (S104) la característica de calibración (103) extraída en el segundo flujo de datos; caracterizado porque
- la extracción de la característica de calibración (103) y la identificación de la característica de calibración (103) extraída se ejecutan en base a una red neuronal y
- se calibra (S105) el primer sensor (101-1) con respecto al segundo sensor (101-2) en base a la característica de calibración extraída y a la característica de calibración identificada.
2. Procedimiento de acuerdo con la reivindicación 1,
en el que el primer y/o el segundo sensor (101-1, 101-2) es un sensor de imagen para captar ópticamente el entorno del sistema de sensores (100).
3. Procedimiento de acuerdo con la reivindicación 1,
en el que el primer y/o el segundo sensor (101-1, 101-2) es un escáner de láser, que irradia un rayo láser, que explora barriendo el entorno por filas o retículas.
4. Procedimiento de acuerdo con la reivindicación 1,
en el que el primer y/o el segundo sensor (101-1, 101-2) es un sensor de radar, que emite una señal de radar, que se refleja en el entorno del sistema de sensores (100) retornando al sensor (101-2).
5. Procedimiento de acuerdo con una de las reivindicaciones precedentes,
en el que la extracción o identificación de la característica de calibración (103) se ejecuta en base a un aprendizaje automático, en el que se reconocen patrones en los flujos de datos como características de calibración.
6. Procedimiento de acuerdo con una de las reivindicaciones precedentes,
en el que la extracción o identificación de una característica de calibración (103) se ejecuta en base a un cierto número de elementos descriptivos.
7. Sistema de sensores (100) con
- un primer sensor (101-1) para captar un primer flujo de datos;
- un segundo sensor (101-2) para captar un segundo flujo de datos;
- un módulo de extracción (105) para extraer una característica de calibración (103) del primer flujo de datos;
- un módulo de identificación (107) para identificar la característica de calibración (103) extraída en el segundo flujo de datos en base a una red neuronal;
caracterizado porque
- el módulo de extracción (105) y el módulo de identificación (107) están diseñados de forma tal que la extracción de la característica de calibración (103) y la identificación de la característica de calibración (103) extraída se ejecuta sobre la base de una red neuronal y
- está incluido un módulo de calibración (109) para calibrar el primer sensor (101-1) con respecto al segundo sensor (101-2) en base a la característica de calibración extraída y a la característica de calibración identificada.
8. Programa informático con secciones de programa para ejecutar las etapas del procedimiento de acuerdo con una de las reivindicaciones 1 a 6, cuando se ejecuta el programa informático sobre una computadora.
9. Memoria de datos con un programa informático de acuerdo con la reivindicación 8.
ES18717240T 2017-04-04 2018-03-20 Procedimiento para calibrar un sistema de sensores Active ES2907737T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017205727.0A DE102017205727A1 (de) 2017-04-04 2017-04-04 Verfahren zum Kalibrieren eines Sensorsystems
PCT/EP2018/057021 WO2018184829A1 (de) 2017-04-04 2018-03-20 Verfahren zum kalibrieren eines sensorsystems

Publications (1)

Publication Number Publication Date
ES2907737T3 true ES2907737T3 (es) 2022-04-26

Family

ID=61965920

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18717240T Active ES2907737T3 (es) 2017-04-04 2018-03-20 Procedimiento para calibrar un sistema de sensores

Country Status (4)

Country Link
EP (1) EP3586090B1 (es)
DE (1) DE102017205727A1 (es)
ES (1) ES2907737T3 (es)
WO (1) WO2018184829A1 (es)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK180555B1 (en) 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
DE102019211327B4 (de) 2019-07-30 2024-02-08 Zf Friedrichshafen Ag Vorrichtung, Fahrzeug und Verfahren zur verbesserten Multi-Radar-Sensor-Kalibration
DE102019211459B4 (de) * 2019-07-31 2021-02-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
GB2594111B (en) 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation
FR3111064B1 (fr) * 2020-06-08 2022-09-09 Panoramic Digital Health procédé de traitement de mesures effectuées par un capteur porté par une personne
US12098647B2 (en) 2022-04-12 2024-09-24 Pratt & Whitney Canada Corp. Position sensor for variable vane assembly and method for calibrating same
CN115113294B (zh) * 2022-07-20 2025-05-16 恒洁卫浴集团有限公司 感应器控制方法、装置、设备及存储介质
EP4495619A1 (en) * 2023-07-21 2025-01-22 GM Cruise Holdings LLC Systems and methods for online calibration in distributed aperture radar

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885049B2 (en) * 2010-03-19 2014-11-11 Sony Corporation Method and device for determining calibration parameters of a camera
GB201116961D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Fast calibration for lidars
DE102014014295A1 (de) * 2014-09-25 2016-03-31 Audi Ag Verfahren zur Überwachung einer Kalibrierung mehrerer Umgebungssensoren eines Kraftfahrzeugs und Kraftfahrzeug

Also Published As

Publication number Publication date
EP3586090A1 (de) 2020-01-01
DE102017205727A1 (de) 2018-10-04
WO2018184829A1 (de) 2018-10-11
EP3586090B1 (de) 2022-02-02

Similar Documents

Publication Publication Date Title
ES2907737T3 (es) Procedimiento para calibrar un sistema de sensores
KR102627453B1 (ko) 위치 추정 장치 및 방법
CN114266282B (zh) 用于自动标记雷达数据的方法和系统
JP7226553B2 (ja) 情報処理装置、データ生成方法、及びプログラム
CN113673282A (zh) 目标检测方法和装置
ES2654157T3 (es) Método para apoyar el guiado de un vehículo sobre terreno
CN112667837A (zh) 图像数据自动标注方法及装置
JP6667065B2 (ja) 位置推定装置および位置推定方法
BR102013010781B1 (pt) método de registro de imagens de dados multimodais utilizando arcos geográficos 3d e veículo aéreo.
CN111491131B (zh) 由每个对象检测器检测的对象检测信息的集成方法及装置
WO2023035301A1 (en) A camera calibration method
US11029399B2 (en) System and method for calibrating light intensity
Ozcan et al. A novel fusion method with thermal and RGB-D sensor data for human detection
CN112150448A (zh) 图像处理方法、装置及设备、存储介质
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN112466112B (zh) 用于生成车辆数据的设备和方法以及系统
CN115273015B (zh) 一种预测方法、装置、智能驾驶系统和车辆
US12339363B2 (en) Apparatus and method for recognizing high-elevation structure using LiDAR sensor
CN115244362B (zh) 用于生成环境的数字地图的系统、方法和计算机程序
KR102817580B1 (ko) 자율주행차량의 경로 보상 장치 및 그 방법
CN114026600B (zh) 相机校准方法
KR102909781B1 (ko) 다중 교통 표지를 사용한 센서 캘리브레이션 장치 및 방법
Dikmen Development of star tracker attitude and position determination system for spacecraft maneuvering and docking facility
US20220268938A1 (en) Systems and methods for bounding box refinement
CN115762154A (zh) 一种红绿灯时序状态估算方法、装置及电子设备