ES2834997T3 - Un procedimiento y sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo - Google Patents

Un procedimiento y sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo Download PDF

Info

Publication number
ES2834997T3
ES2834997T3 ES14889442T ES14889442T ES2834997T3 ES 2834997 T3 ES2834997 T3 ES 2834997T3 ES 14889442 T ES14889442 T ES 14889442T ES 14889442 T ES14889442 T ES 14889442T ES 2834997 T3 ES2834997 T3 ES 2834997T3
Authority
ES
Spain
Prior art keywords
estimate
horizon
pitch
camera
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14889442T
Other languages
English (en)
Inventor
Leif Haglund
Folke Isaksson
Michael Felsberg
Bertil Grelsson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxar International Sweden AB
Original Assignee
Vricon Systems AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vricon Systems AB filed Critical Vricon Systems AB
Application granted granted Critical
Publication of ES2834997T3 publication Critical patent/ES2834997T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/48—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer a model being viewed and manoeuvred from a remote point
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/06—Electric or photoelectric indication or reading means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/14—Artificial horizons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Un procedimiento (200) para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo aerotransportado, que comprende los pasos de capturar (210) una imagen de un área que cubre al menos una parte del horizonte utilizando una cámara montada en el vehículo aerotransportado, y obtener (220; 520) una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, en el que el paso de obtener (220) la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo comprende obtener una primera estimación del horizonte en base a la imagen capturada, y en el que en la primera estimación del horizonte se supone que la tierra es esférica sin topografía, caracterizado por los pasos de determinar (230, 240) una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo en base a la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, y un modelo de elevación digital, en el que el paso de determinar (240) una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo comprende obtener al menos una segunda estimación del horizonte en base al modelo de elevación digital y ajustar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una relación entre la primera estimación de horizonte y la segunda estimación de horizonte.

Description

DESCRIPCIÓN
Un procedimiento y sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo
Campo técnico
La presente divulgación se refiere a un procedimiento para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo. La presente divulgación se refiere particularmente a un procedimiento para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo, en el que se obtiene una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo.
La presente divulgación se refiere además a un sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo.
Antecedentes
Para la navegación de vehículos aéreos no tripulados (UAV), la estimación/determinación absoluta continua de la orientación (disposición) del vehículo es crucial. Hoy en día, la solución más común para obtener esta información es la fusión de datos de sensores de GPS y sensores inerciales (IMU).
Hay varios procedimientos basados en imágenes propuestos en la literatura en los que se utiliza la detección del horizonte para la estimación de la disposición del vehículo.
BERTIL GRELSON ET AL: "Probabilistic Hough Voting for Attitude Estimation from Aerial Fisheye Images", 17 de junio de 2013, IMAGE ANALYSIS, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDENBERG, páginas 478-488, divulga la estimación de disposición a partir de imágenes aéreas.
Gyer M. Methods for Computing Photogrammetric Refraction for Vertical and Oblique Photographs. Photogrammetric Engineering and Remote Sensing, 1996 describe la refracción de la luz en la atmósfera.
Sumario
La precisión de disposición que se puede obtener con un sistema que comprende un GPS y una IMU de alta precisión es suficiente en la mayoría de los problemas de navegación aerotransportada. Sin embargo, es posible que la recepción GPS no siempre esté disponible en determinados entornos y en situaciones de conflicto.
Además, las IMU de alta precisión a menudo pesan unos pocos kilos y pueden exceder el límite de carga útil para vehículos aerotransportados más ligeros. Las IMU precisas también son muy costosas y, a menudo, están sujetas a restricciones de exportación.
Todas las IMU sufren desviaciones, es decir, los errores se acumulan con el tiempo, lo que da como resultado mediciones absolutas no fiables con el tiempo. Las IMU más ligeras y menos costosas tienen una mayor desviación y necesitan el soporte de sensores adicionales para mantener una estimación de orientación absoluta precisa a lo largo del tiempo.
Por tanto, un objeto de la presente divulgación es mejorar la precisión de la disposición. En una realización, esto se ha logrado estimando información relacionada con los ángulos absolutos de cabeceo y alabeo del vehículo a partir de la detección del horizonte de la imagen y los datos del modelo de elevación digital.
Una realización de la presente divulgación se refiere a un procedimiento para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo aerotransportado. El procedimiento comprende un paso de obtener una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo. El procedimiento comprende además un paso de capturar una imagen de un área que cubre al menos una parte del horizonte usando una cámara montada en el vehículo aerotransportado y un paso para determinar una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo en base a la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, y un modelo de elevación digital.
El paso de obtener la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo comprende obtener la primera estimación de horizonte en base a la imagen capturada, en la que en la primera estimación de horizonte, se supone que la tierra es esférica sin topografía.
El paso de determinar una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo comprende ajustar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una relación entre la primera estimación de horizonte y la segunda estimación de horizonte.
Este procedimiento proporciona una capacidad mejorada en tiempo real que usa un modelo de elevación digital (DEM) para mejorar la precisión de la estimación de la información relacionada con el ángulo de cabeceo y/o alabeo.
La invención propuesta se puede utilizar como un sensor autónomo para la disposición absoluta del vehículo o la estimación de la posición tridimensional o como parte de una red de fusión de sensor.
La precisión del procedimiento dependerá de la resolución de la cámara y del DEM utilizado en la implementación. Esa precisión se podrá obtener durante todo el vuelo y no se degradará con el tiempo de vuelo a diferencia de un dispositivo inercial.
El concepto del procedimiento permite que la cámara utilizada sea un sensor óptico o un sensor de infrarrojos. Por lo tanto, el sistema se puede utilizar de día o de noche.
En una opción, la cámara es una cámara omnidireccional.
En una opción, el paso de determinar la al menos una segunda estimación del horizonte comprende los siguientes pasos:
obtener el perfil de elevación respectivo para una pluralidad de direcciones angulares ai alrededor del vehículo a partir del modelo de elevación digital en base a una posición tridimensional del vehículo y/o cámara,
determinar el ángulo de incidencia más grande en la cámara, que es generado por todos los objetos terrestres a alturas y distancias dadas por el perfil de elevación extraído, y
determinar para cada dirección angular ai a lo largo del respectivo perfil de elevación el máximo de todos los ángulos de incidencia para ser el punto geométrico del horizonte efectivo.
En una opción, se determina una pluralidad de segundas estimaciones de horizonte candidatas, cada una relacionada con una cámara candidata y/o posición tridimensional del vehículo. De acuerdo con esta opción, la determinación de una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo implica seleccionar esa segunda estimación de horizonte candidata que proporcione un mejor ajuste entre la primera estimación de horizonte y la segunda estimación de horizonte.
En una opción, el elemento mejorado de obtención de estimaciones relacionadas con el ángulo de cabeceo y/o alabeo está dispuesto para obtener la cámara y/o la posición tridimensional del vehículo relacionada con la estimación del segundo horizonte candidato seleccionado como la cámara verdadera y/o la posición tridimensional del vehículo.
En una opción, se determina que la posición tridimensional de la cámara y/o el vehículo relacionada con la estimación del segundo horizonte candidato seleccionado es la posición tridimensional verdadera de la cámara y/o el vehículo.
En una opción, la determinación del ángulo de incidencia más grande en la cámara, que es generado por todos los objetos terrestres a alturas y distancias dadas por el perfil de elevación extraído, se realiza en base a una búsqueda extensa. En un ejemplo alternativo, la determinación se realiza en base a una tabla de consulta que comprende información relacionada con los ángulos de incidencia en la cámara para sustancialmente todos los objetos a lo largo del perfil de elevación. La tabla de consulta comprende, en una opción, parámetros de entrada relacionados con la posición tridimensional de la cámara y/o el vehículo, la altura del objeto y/o la distancia desde la cámara; y un parámetro de salida relacionado con el ángulo de incidencia en la cámara. En un ejemplo, la posición de la cámara y/o el vehículo se conoce en un plano XY y el parámetro de entrada es la altura de la cámara y/o el vehículo.
En una opción, la determinación de la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo comprende retroproyectar determinados píxeles de borde del horizonte en la imagen sobre la esfera unitaria, y determinar la primera estimación de la información relacionada con la cabeceo y/o el alabeo en base a los píxeles de borde retroproyectados.
En una opción, la determinación de la primera estimación de la información relacionada con la cabeceo y/o el alabeo en base a los píxeles de borde retroproyectados comprende una votación probabilística tal como una votación probabilística Hough para todos los píxeles de borde.
En una opción, la primera estimación del horizonte se determina en base a los píxeles de borde retroproyectados.
En una opción, el procedimiento comprende además los pasos de extraer aquellos píxeles de borde que están dentro de un intervalo determinado de la primera estimación de horizonte y proyectar los píxeles de borde extraídos sobre la esfera unitaria para proporcionar una primera estimación de horizonte actualizada. En esta opción, el paso de determinar una estimación mejorada de la información relacionada con la cabeceo y/o alabeo comprende ajustar la primera estimación de la información relacionada con la cabeceo y/o alabeo en base a una relación entre la primera estimación de horizonte actualizada y la segunda estimación de horizonte.
La presente divulgación también se refiere a un sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo aerotransportado. El sistema comprende una unidad de procesamiento que tiene un primer elemento de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo dispuesto para obtener una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo. El sistema comprende además al menos una cámara montada en el vehículo aerotransportado. La cámara está dispuesta para capturar una imagen de un área que cubre al menos una parte del horizonte. El sistema comprende además una base de datos dispuesta para almacenar un modelo de elevación digital. La unidad de procesamiento comprende además un elemento de obtención de estimaciones mejoradas dispuesto para determinar una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo en base a la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, y el modelo de elevación digital.
El primer elemento de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está dispuesto para obtener la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una primera estimación de horizonte, en la que se supone que la tierra es esférica sin topografía.
La primera estimación del horizonte se determina en base a la imagen.
El elemento mejorado de obtención de estimaciones relacionadas con el ángulo de cabeceo y/o alabeo está dispuesto para obtener al menos una segunda estimación del horizonte en base al modelo de elevación digital, y para determinar la estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo en base a la estimación obtenida de al menos un segundo horizonte.
En una opción, el elemento mejorado de obtención de estimaciones relacionadas con la cabeceo y/o el alabeo está dispuesto para determinar la segunda al menos una estimación del horizonte extrayendo el perfil de elevación en todas las direcciones angulares ai alrededor del vehículo del modelo de elevación digital en base a una posición tridimensional del vehículo, determinando el ángulo de incidencia más grande en la cámara, que es generado por todos los objetos terrestres a alturas y distancias dadas por el perfil de elevación extraído, y determinando para cada dirección angular ai el máximo de todos los ángulos de incidencia a lo largo del perfil de elevación para ser el punto del horizonte geométrico donde el perfil de elevación es válido.
En un ejemplo, el sistema comprende medios para realizar una búsqueda extensa para determinar el mayor ángulo de incidencia en la cámara. Alternativamente, el sistema comprende una tabla de consulta que comprende información relacionada con los ángulos de incidencia en la cámara para sustancialmente todos los objetos a lo largo del perfil de elevación. El elemento de obtención de estimaciones mejoradas se dispone entonces para determinar el ángulo de incidencia más grande en la cámara, que es generado por todos los objetos terrestres a alturas y distancias dadas por el perfil de elevación extraído en base a la tabla de consulta.
En una opción, el primer elemento de obtención de la estimación relacionada con el ángulo de cabeceo y/o alabeo está dispuesto para obtener una primera estimación del horizonte en base a la imagen capturada. El elemento mejorado de obtención de estimaciones relacionadas con el ángulo de cabeceo y/o alabeo se dispone entonces para ajustar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una relación entre la primera estimación del horizonte y la al menos una segunda estimación del horizonte para determinar la estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo.
El primer elemento de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está en una opción dispuesta para retroproyectar píxeles de borde detectados y determinados en la esfera unitaria, y para determinar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a los píxeles de borde reproyectados.
El primer elemento de obtención de estimaciones relacionadas con el ángulo de cabeceo y/o alabeo está en una opción dispuesto para realizar una votación probabilística, tal como la votación probabilística de Hough para todos los píxeles de borde, a fin de determinar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a los píxeles de borde retroproyectados.
El primer elemento de obtención de la estimación relacionada con el ángulo de cabeceo y/o alabeo se dispone en una opción adicional para determinar la primera estimación de horizonte en base a los píxeles de borde retroproyectados.
En una opción, el primer elemento de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está dispuesto para extraer aquellos píxeles de borde que están dentro de un intervalo determinado desde la primera estimación de horizonte y para proyectar los píxeles de borde extraídos en la esfera unitaria de manera que para proporcionar una estimación actualizada del primer horizonte. El elemento de obtención de estimaciones mejoradas relacionadas con el ángulo de cabeceo y/o alabeo se dispone entonces para ajustar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una relación entre la primera estimación de horizonte actualizada y la segunda estimación de horizonte para determinar la estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo.
Una realización de la presente divulgación se refiere a un programa informático para ejecutar los pasos del procedimiento para estimar información relacionada con el ángulo de cabeceo y/o alabeo del vehículo de acuerdo con lo anterior.
Breve descripción de los dibujos
La figura 1 ilustra esquemáticamente un ejemplo de un vehículo aerotransportado.
La figura 2 es un diagrama de flujo que ilustra un ejemplo de un procedimiento para estimar la información relacionada con el ángulo de cabeceo y/o alabeo del vehículo en un vehículo aerotransportado.
La figura 3 es un diagrama de flujo que ilustra un ejemplo de un paso para determinar una segunda estimación de horizonte en base a un modelo de elevación digital.
La figura 4 ilustra esquemáticamente un principio para formar una tabla de consulta para obtener información relacionada con un ángulo de incidencia en una cámara.
La figura 5 es un diagrama de flujo que ilustra un ejemplo de un paso para obtener una primera estimación de información relacionada con el ángulo de cabeceo y/o alabeo.
La figura 6 es una vista general del diagrama de flujo que ilustra un ejemplo de un flujo de estimación de la información relacionada con el ángulo de cabeceo y/o alabeo del vehículo en un vehículo aerotransportado.
La figura 7 ilustra un principio para determinar un horizonte calculado geométricamente.
La figura 8 ilustra un ejemplo de estimación de una normal de horizonte.
La figura 9 ilustra un ejemplo de una banda en la esfera unitaria con píxeles de borde de horizonte verdaderos concebibles.
La figura 10 es un esquema de bloques que ilustra esquemáticamente un ejemplo de un sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo del vehículo en un vehículo aerotransportado.
Descripción detallada
En la figura 1, un vehículo 100 aerotransportado comprende una cámara 101. La cámara está dispuesta para capturar al menos una imagen. En un ejemplo, la cámara está dispuesta para capturar continuamente imágenes de una escena. En un ejemplo, una unidad 102 de procesamiento está dispuesta para determinar la información relacionada con el ángulo de cabeceo y/o alabeo del vehículo. En un ejemplo, la información relacionada con el ángulo de cabeceo y/o alabeo del vehículo comprende un valor de cabeceo del vehículo y/o alabeo del vehículo. En un ejemplo, la información relacionada con el ángulo de cabeceo y/o alabeo del vehículo comprende información transformable en un valor de cabeceo del vehículo y/o alabeo del vehículo. La unidad 102 de procesamiento está dispuesta para operar en cooperación con al menos un elemento 103 de memoria. El al menos un elemento 103 de memoria comprende un algoritmo de software dispuesto para ser ejecutado por la unidad 102 de procesamiento. El al menos un elemento 103 de memoria también está dispuesto para almacenar datos usados por la unidad 102 de procesamiento. En un ejemplo (no mostrado) al menos parte de la unidad 102 de procesamiento y/o el al menos un elemento 103 de memoria está ubicado fuera del vehículo aerotransportado. En un ejemplo, la cámara está montada en el exterior de la aeronave.
En un ejemplo, la cámara 101 está montada con su eje 104 óptico verticalmente hacia abajo. Sin embargo, la cámara 101 se puede montar con su eje óptico en otras direcciones.
En un ejemplo, la cámara es una cámara omnidireccional. La cámara omnidireccional debe tener un campo de visión, FOV, de modo que se garantice que al menos parte del horizonte pueda verse independientemente del ángulo de ladeo del vehículo aerotransportado, suponiendo que esté a una altura suficiente, es decir, por encima de árboles y edificios. En un ejemplo, la cámara omnidireccional tiene un campo de visión, FOV, superior a 180 grados. La cámara omnidireccional tiene en un ejemplo al menos un lente omnidireccional. En un ejemplo, el al menos un lente omnidireccional es un lente de ojo de pez.
En un ejemplo, la cámara es una cámara para luz visual. En un ejemplo, la cámara es una cámara de infrarrojos. En un ejemplo, se proporciona un conjunto de cámaras que comprende una cámara para luz visual y una cámara infrarrojos. Luego, se puede usar esa cámara que captura la imagen de mejor calidad dadas las circunstancias. Por ejemplo, durante la noche, una cámara de infrarrojos funcionaría mejor que una cámara de imagen visual. Durante un día soleado, la cámara visual normalmente proporcionaría la mejor imagen.
En un ejemplo, la cámara o cámaras están calibradas, es decir, se conocen sus parámetros intrínsecos y los parámetros de distorsión. Se conoce la orientación (rotación) de la cámara en un marco de coordenadas fijas del vehículo. Estos requisitos previos se determinan, por ejemplo, antes del vuelo en un entorno de laboratorio o en un vuelo anterior.
El vehículo 100 aerotransportado almacena una base 105 de datos de elevación o tiene acceso a la base de datos de elevación. En un ejemplo, la base 105 de datos de elevación comprende un modelo de elevación digital, DEM, de un área alrededor del vehículo.
El modelo de elevación digital podría ser cualquier tipo de modelo 3D conocido por los expertos en la técnica. En un ejemplo, el modelo de elevación digital se representa como una malla. En un ejemplo, el modelo de elevación digital se representa como una representación de superficie. En un ejemplo, el modelo de elevación digital se representa como una representación de vóxel. En un ejemplo, el modelo de elevación digital incluye información de textura. En un ejemplo, el modelo de elevación digital es una malla basada en una red (estaño) triangular irregular plegada con texturas.
El término modelo de elevación digital se usa en la presente memoria. Este término está destinado a incluir un modelo de superficie digital, así como un modelo de elevación digital sin ninguna estructura modelada.
El vehículo 100 aerotransportado opcionalmente comprende además un elemento 106 indicador de altura. El elemento 106 indicador de altura está dispuesto para proporcionar una altura aproximada para el vehículo en el momento de capturar la imagen. En un ejemplo, el elemento indicador de altura comprende un medidor de presión de aire. En un ejemplo, el elemento 106 indicador de altura comprende un receptor GPS o similar que proporciona la posición tridimensional del vehículo aerotransportado en un sistema de coordenadas global.
El vehículo aerotransportado opcionalmente comprende además un elemento 107 indicador de posición y/o rumbo. Se conoce la posición y rumbo aproximados del vehículo en el sistema de coordenadas global, o en relación con la base 105 de datos de elevación. La posición aproximada y/o el rumbo del vehículo aerotransportado en el sistema de coordenadas global se obtiene en un ejemplo de GPS y/o seguimiento de objetos en una secuencia de imágenes capturada a bordo del vehículo aerotransportado.
Como se indicó anteriormente, la unidad de procesamiento está dispuesta para estimar la información relacionada con el ángulo de cabeceo y/o alabeo del vehículo. El procesamiento implica determinar una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo y determinar una estimación mejorada relacionada con la cabeceo y/o el alabeo en base a la primera estimación, la imagen o imágenes capturadas por la cámara y el modelo de elevación digital.
En la figura 2, se ilustra un procedimiento 200 para estimar información relacionada con el ángulo de cabeceo y/o alabeo del vehículo. El procedimiento comprende un paso de capturar 210 una imagen de un área que cubre al menos una parte del horizonte usando una cámara montada en el vehículo aerotransportado, obtener 220 una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, y determinar 240 una estimación mejorada de la información relacionada con la cabeceo y/o alabeo en base a la primera estimación, la imagen y un modelo de elevación digital. En un ejemplo, el paso de capturar 220 una imagen se realiza en paralelo o después del paso de obtener 210 una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo.
En un ejemplo, la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo se obtiene 220 en base a una primera estimación del horizonte, en el que se supone que la tierra es esférica sin topografía.
En un ejemplo, el paso de obtener 220 la primera estimación comprende obtener una primera estimación de horizonte en base a la imagen capturada.
En un ejemplo, el procedimiento comprende un paso de determinar 230 una segunda estimación de horizonte en base al modelo de elevación digital. El paso de determinar 240 la estimación mejorada de cabeceo y/o alabeo se basa entonces en la segunda estimación de horizonte determinada. El paso de determinar 240 una estimación mejorada de la información relacionada con la cabeceo y/o el alabeo comprende en un ejemplo ajustar la primera estimación de la información relacionada con la cabeceo y/o el alabeo en base a una relación entre la primera estimación del horizonte y la segunda estimación del horizonte.
En la figura 3, se describe un ejemplo de cómo realizar un paso para determinar 330 una segunda estimación de horizonte en base al modelo de elevación digital. La determinación de la segunda estimación de horizonte comprende en este ejemplo lo siguiente. En un primer paso, se obtiene 331 un perfil de elevación para el vehículo aerotransportado en una pluralidad de direcciones alrededor del vehículo aerotransportado. En un ejemplo, esto implica obtener una posición tridimensional global para el vehículo/cámara. La posición tridimensional se obtiene en un ejemplo a partir de un elemento indicador de altura y/o un elemento indicador de posición y/o rumbo a bordo del vehículo o utilizando un procedimiento en base a imágenes. Si la información de la posición GPS no está disponible, la precisión de la posición tridimensional se conoce en un ejemplo con una precisión menor en al menos una dimensión. En un ejemplo, la precisión en un plano XY está en el intervalo de decenas de metros. Si la altura máxima en un vuelo es de 600 m, la distancia al horizonte ideal es de unos 100 km. El horizonte ideal se define como un horizonte determinado en base al supuesto de que la tierra es esférica sin topografía. Para tener algún margen, en un ejemplo se obtienen perfiles de altura de hasta 200 km de distancia del vehículo. En base a la posición tridimensional del vehículo/cámara, el perfil de altura en todas las direcciones angulares ai alrededor del vehículo se extrae del DEM. Para cada dirección, el perfil de elevación se obtiene en un intervalo predeterminado. En un ejemplo, el intervalo predeterminado está dentro del mismo intervalo que la resolución en el modelo de elevación digital, DEM, utilizado. En un ejemplo, la interpolación bilineal se utiliza para encontrar la elevación entre los puntos de la cuadrícula en el modelo de elevación digital.
En un siguiente paso, se determina el ángulo de incidencia más grande en la cámara 332, que es generado por todos los objetos terrestres a alturas y distancias dadas por el perfil de elevación obtenido. Como sería computacionalmente exigente calcular los trayectos de los rayos entre todos los objetos a lo largo del perfil de elevación y la cámara en línea, en un ejemplo, las tablas de consulta se utilizan para encontrar el ángulo de incidencia en la cámara para todos los objetos terrestres a lo largo del perfil de elevación. Más adelante se describirá un ejemplo de generación de tablas de consulta. En un ejemplo alternativo, se utiliza una búsqueda extensa para encontrar el ángulo de incidencia en la cámara para todos los objetos terrestres a lo largo del perfil de elevación. Hay una pluralidad de procedimientos conocidos en la técnica para encontrar el ángulo de incidencia en la cámara para todos los objetos terrestres a lo largo del perfil de elevación. A continuación, la búsqueda se describe en relación con una tabla de consulta. En un paso siguiente, se determina 333 que un máximo de todos los ángulos de incidencia a lo largo del perfil de elevación, denotado ^máx, es el punto del horizonte geométrico para la dirección angular ai donde el perfil de elevación es válido.
Esto se repite para todas las direcciones angulares ai en el plano XY. Por lo tanto, un horizonte calculado geométricamente comprende i puntos, cada uno dado como
Pgeom, i = [eos a¡ seno Oti COS(n-^máx, ¡)]T
A continuación se describen diferentes ejemplos relacionados con la generación de tablas de consulta. En un ejemplo, la determinación 332 del ángulo de incidencia más grande en la cámara, que es generado por todos los objetos terrestres a alturas y distancias dadas por el perfil de elevación obtenido se realiza en base a una tabla de consulta que comprende información relacionada con los ángulos de incidencia en la cámara para prácticamente todos los objetos a lo largo del perfil de elevación. En un ejemplo, los parámetros de entrada comprenden la posición tridimensional de la cámara y/o la altura del objeto y/o la distancia desde la cámara. En un ejemplo, el parámetro de salida es el ángulo de incidencia en la cámara. Este procedimiento se puede realizar para una pluralidad de conjuntos de parámetros de entrada. Especialmente, el procedimiento puede realizarse para una pluralidad de posibles posiciones tridimensionales.
Se seleccionan incrementos para cada parámetro de entrada. En un ejemplo, el incremento para el parámetro de altura de la cámara es de 2 metros. En un ejemplo, el incremento de la altura del objeto es de 2 metros. En un ejemplo, el incremento para la distancia desde la cámara es de 100 metros.
El modelo de elevación digital, DEM, tiene una resolución de cuadrícula XY predeterminada. En un ejemplo, los incrementos para los parámetros de entrada están en el mismo orden que la resolución del modelo de elevación digital.
En un ejemplo, la resolución es de 3 segundos de arco o alrededor de 90 m en el ecuador.
En la figura 7, se ilustra un principio para determinar una segunda estimación de horizonte calculada geométricamente que comprende i puntos Pi como se indica en la ecuación Pgeom, i = [cos ai seno ai cos(n-^máx, posición tridimensional de la cámara se representa como el origen del sistema de coordenadas. El eje z representa la altura. Los ejes x y y están definiendo un plano de tierra. En el ejemplo ilustrado, ai representa una dirección angular al punto Pi en el plano XY. En el ejemplo ilustrado, la dirección angular ai del plano XY se da en relación con el eje x.
En el ejemplo ilustrado, ai representa una dirección angular al punto Pi en el plano XY. m^áx, i representa el ángulo de incidencia más grande en la cámara que es generado por todos los objetos terrestres a alturas y distancias dadas por un perfil de elevación extraído. En el ejemplo ilustrado, el ángulo de incidencia m^áx, i má grande representa un ángulo entre el eje z y una línea entre el origen y el punto P.
En la figura 4, se ilustra un principio para obtener ángulos de incidencia para usar, por ejemplo, en una tabla de consulta que comprende al menos uno de los parámetros de entrada: posición o altura tridimensional de la cámara, altura del objeto y la distancia desde la cámara, se ilustra mediante un ejemplo.
En la figura 4a, se representa un trayecto de rayos refractados con un horizonte ideal al nivel del mar ho. La figura 4b representa un rayo refractado por encima del horizonte ideal que pasa un objeto a una altura hobj ubicada a la distancia dobj de la cámara. La Figura 4c representa un rayo refractado por encima del horizonte ideal que pasa un objeto a una altura hobj ubicado más allá del horizonte ideal.
En detalle, para un modelo estratificado esféricamente, un ángulo 0c desde un punto del suelo a una altura hg a una cámara a una altura hc viene dado mediante
Figure imgf000007_0001
Los subíndices c y g indican la cámara y el suelo, respectivamente, y n indica el índice de refracción.
El modelo estratificado comprende un modelo del índice de refracción n en función de la altura h. El modelo comprende delgadas capas radiales de grosor Ar con índice de refracción constante n. El modelo estratificado determina el trayecto de los rayos refractados desde el horizonte ideal al nivel del mar hasta la cámara a la altura hc.
Para una capa delgada i con índice de refracción constante ni en el modelo estratificado esféricamente, la integral anterior puede expresarse como
Figure imgf000008_0001
La altura de la cámara hc se establece constante, por ejemplo, dentro del intervalo de 200 m a 600 m.
En la figura 4a, se supone que la tierra es esférica sin topografía. El horizonte percibido estará entonces al nivel del mar, es decir, a la altura hü = 0. En el horizonte, el ángulo de incidencia es ^ = n/2. La ecuación anterior se usa para calcular incrementos angulares 0c¡ para cada capa de grosor dr hasta la altura hc. Agregar estos pasos incrementales producirá la distancia al horizonte ideal
Figure imgf000008_0002
El ángulo de incidencia correspondiente en la cámara ^ d(hc) se calcula a partir de un modelo como una esfera con un radio Re y una topografía del suelo superpuesta sobre esta esfera. Para la propagación de rayos refractados en la atmósfera alrededor de la tierra, se utiliza el modelo estratificado esféricamente descrito anteriormente. El modelo determina el trayecto de los rayos refractados desde el horizonte ideal al nivel del mar hasta la cámara a la altura hc. Si no hubiera topografía en una tierra esférica con radio Re, este trayecto del rayo daría el horizonte percibido.
El verdadero horizonte percibido (frontera cielo/tierra) puede desplazarse en la imagen en comparación con el horizonte ideal por dos razones. La primera razón es que hay un objeto terrestre a una altura mayor que el trayecto del rayo dentro de la distancia al horizonte ideal. La segunda razón es que hay un objeto terrestre más alejado que la distancia al horizonte ideal, pero a una altura suficiente para ser percibido en un ángulo de incidencia por encima del horizonte ideal.
En la figura 4b, un primer caso ilustra el efecto de objetos altos dentro de la distancia al horizonte ideal. Para calcular este efecto, se considera una altura del suelo hg entre 0 y hc . El ángulo de incidencia en el objeto en el suelo se establece en = n/2. El trayecto del rayo se calcula de la misma manera que arriba hasta que alcanza la altura hc. Los puntos de datos del trayecto del rayo se extraen a las alturas de objeto terrestre deseadas hobj y las distancias correspondientes a la cámara dc, obj y el ángulo de incidencia del rayo en la cámara ôbj. Los cálculos para todas las alturas del suelo hg se repiten desde 0 hasta hc en pasos Ahg.
En la figura 4c, un segundo caso ilustra el efecto de objetos altos más allá de la distancia al horizonte ideal. Incluso si un objeto está más lejos de la cámara que la distancia al horizonte ideal, el objeto puede desplazar el límite del cielo/tierra del caso ideal. El rayo de la cámara puede tomar un trayecto como en la figura 4c, donde el rayo comienza en el punto Pobj, baja en altura desde el objeto en el suelo hasta que alcanza el ángulo de incidencia n/2 en el punto P90 y luego aumenta de nuevo en altura hasta alcanzar la cámara en el punto Pc. Para calcular este efecto, comenzamos con un rayo a la altura h90 y establecemos el ángulo de incidencia ^90 = n/2. Calculamos el trayecto del rayo hasta el máximo de la altura de la cámara hc y la altura más alta del objeto hobj, máx en el modelo de elevación digital, DEM. A partir de este trayecto del rayo, se extrae la distancia a la cámara di desde P90 y el ángulo de incidencia del rayo correspondiente en la cámara £c, obj. Desde el trayecto del rayo en el lado derecho de P90, se extraen las distancias d2 a las alturas de objeto deseadas hobj. Las distancias di y d2 se suman para obtener la distancia total dobj desde la cámara al objeto a la altura hobj. La distancia total dobj se registra junto con el ángulo de incidencia correspondiente ôbj. Los cálculos se repiten para la altura h90 desde 0 hasta hc.
Del primer y segundo caso de las figuras 4b y 4c, se puede extraer un conjunto de puntos con ángulos de incidencia y distancias desde la cámara al objeto para cada altura de cámara hc y altura de objeto hobj. Este conjunto de puntos se vuelve a muestrear para obtener ángulos de incidencia en el tamaño de paso deseado para la distancia. En un ejemplo, el tamaño del paso es cada 100 m hasta 200 km. En un ejemplo, luego se genera la tabla de consulta. Los parámetros de entrada a la tabla de consulta ejemplificada son entonces la posición tridimensional de la cámara, la altura del objeto, la distancia desde la cámara y el parámetro de salida es el ángulo de incidencia en la cámara.
En este ejemplo, no se han tenido en cuenta los objetos que se encuentran a una altura superior a la cámara y dentro de una distancia menor que la distancia al horizonte ideal. Si se vuela en valles en una zona montañosa, sería necesario tener esto en cuenta.
En la figura 5, un paso para obtener 520 una primera estimación de información relacionada con el ángulo de cabeceo y/o alabeo.
El procedimiento comprende un paso de retroproyectar 522 píxeles de borde determinados en la imagen sobre la esfera unitaria. A continuación, se determina 523 la primera estimación del ángulo relacionado con el ángulo de cabeceo y/o alabeo en base a los píxeles de borde retroproyectados. Además, en un ejemplo, se determina 524 una primera estimación de horizonte actualizada en base a los píxeles de borde retroproyectados.
El procedimiento comprende, en un ejemplo, determinar 521 píxeles de borde en la imagen que están dentro de una distancia predeterminada desde una línea de horizonte en la imagen.
El paso de determinar 521 píxeles de borde comprende, en un ejemplo, aplicar un detector de borde en la imagen de entrada. Varios detectores de bordes están disponibles en la literatura. Por ejemplo, el detector Canny es una opción adecuada. En un ejemplo también se determina una dirección de borde para el píxel de borde determinado respectivo.
El paso de retroproyectar 522 los píxeles de borde detectados determinados sobre la esfera unitaria comprende, en un ejemplo, proyectar cada píxel de borde sobre la esfera unitaria. En un ejemplo, se calcula un ángulo de cabeceo y/o alabeo estimado propuesto por el píxel de borde respectivo dada una altura supuesta, dirección de borde medida y asumiendo una tierra esférica sin topografía.
El paso de determinar 523 la primera estimación de la información relacionada con la cabeceo y/o alabeo en base a los píxeles de borde retroproyectados comprende en un ejemplo realizar una votación probabilística tal como una votación probabilística Hough para todos o un subconjunto de los píxeles de borde. Los votos de los píxeles de borde en un esquema de votación Hough se acumulan. Una celda con la puntuación de votación más alta proporciona la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo. Además, se determina una primera estimación del horizonte en base a la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo. La determinación de la primera estimación del horizonte implica proyectar píxeles del horizonte en el plano de la imagen utilizando la calibración de la cámara. Por tanto, la determinación de la primera estimación del horizonte forma una inversa de la retroproyección realizada en el paso 522 de retroproyección.
El paso de determinar 524 una primera estimación de horizonte actualizada en base a los píxeles de borde retroproyectados comprende, en un ejemplo, extraer los píxeles de borde que están dentro de un intervalo determinado alrededor de la primera estimación de horizonte y proyectar los píxeles de borde extraídos en la esfera unitaria para obtener la estimación actualizada del primer horizonte. En un ejemplo, el intervalo está definido por una cantidad de píxeles en la imagen. El intervalo determinado es, por ejemplo, píxeles dentro de un intervalo máximo de 10 píxeles de distancia desde la primera estimación del horizonte. En un ejemplo alternativo, el intervalo determinado está a 1 píxel de distancia. En un ejemplo, el intervalo se define como una banda angular en la esfera unitaria (figura 10). En un ejemplo, el intervalo determinado es de 0,5 °.
En detalle, dada la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, se utilizan todos los píxeles de borde detectados que están dentro del intervalo determinado, por ejemplo, 1 píxel de la línea de horizonte estimada en la imagen. A partir de entonces, todos los píxeles de borde dentro del intervalo determinado desde la línea de horizonte estimada en la imagen se retroproyectan en la esfera unitaria dados los parámetros de cámara calibrados. Los puntos de la esfera unitaria se transforman de acuerdo con los ángulos de cabeceo y alabeo estimados y el ángulo de rumbo. De este modo, se obtiene la primera estimación de horizonte actualizada.
La obtención de una estimación mejorada de la información relacionada con la cabeceo y/o alabeo comprende entonces, en un ejemplo, ajustar la primera estimación de la información relacionada con la cabeceo y/o alabeo en base a una relación entre la primera estimación del horizonte o la primera estimación del horizonte actualizada, y una segunda estimación de horizonte.
En detalle, en un ejemplo, el ángulo de incidencia máximo percibido en la cámara (esfera unitaria) para todos los ángulos de acimut en el plano XY se determina en función de la posición tridimensional aproximada, el rumbo y la altura de altura del vehículo/cámara, el modelo de elevación digital y posiblemente la tabla de consulta, para obtener la segunda estimación del horizonte. A continuación, la primera estimación de la información relacionada con la cabeceo y/o el alabeo se refina/ajusta minimizando la distancia entre los puntos de imagen retroproyectados y transformados y los puntos determinados geométricamente. El ángulo de cabeceo y alabeo estimado del vehículo es el resultado después del refinamiento.
La figura 6 ilustra un ejemplo de una descripción general de un diagrama de flujo. El diagrama de flujo consta de seis pasos: los pasos 1-3 se relacionan con la obtención de una primera estimación de la información relacionada con un ángulo de cabeceo y/o alabeo, mientras que los pasos 4-6 se relacionan con pasos de refinamiento para obtener una estimación mejorada de la información relacionada con un ángulo de cabeceo y/o alabeo.
1. Ejecutar un detector de bordes en la imagen de entrada. En un ejemplo, se elige un detector Canny. El detector Canny es robusto y se sabe que no proporciona un desplazamiento sistemático en la ubicación de borde.
2. Estimación del vector normal del horizonte en la esfera unitaria para cada píxel de borde. Proyectar el píxel de borde en la esfera unitaria. La dirección del píxel de borde en el plano de la imagen se proyecta como un vector tangente en la esfera unitaria. Para una altura de vehículo conocida, el radio del horizonte en la esfera unitaria es determinista. Combinando esta información, el vector normal del horizonte, es decir, la disposición del vehículo, puede estimarse para cada píxel de borde.
3. Votación probabilística de Hough (Hough, 1962) para todos los píxeles de borde para estimar la disposición del vehículo (ángulos de cabeceo y alabeo) y el horizonte en la imagen. La votación permite el uso de funciones de densidad de probabilidad para la altura del vehículo y los ángulos de cabeceo y alabeo para que la votación sea más sólida.
4. Extraer los píxeles de borde cerca del horizonte estimado en el plano de la imagen y proyecte los píxeles de borde del horizonte extraídos en la esfera unitaria.
5. Calcular el horizonte geométrico en la esfera unitaria a partir de un modelo de elevación digital utilizando la posición y el rumbo aproximados del vehículo como entrada.
6. Refinar la disposición estimada del vehículo del paso 3 minimizando la distancia entre los píxeles del horizonte percibidos del paso 4 con el horizonte calculado geométricamente del paso 5.
El primer paso de detección de borde comprende en un ejemplo al menos algunas de las siguientes características. Antes de aplicar el detector Canny, la imagen en color se convierte en un ejemplo a escala de grises. En un ejemplo, la imagen está suavizada. En un ejemplo, el suavizado se realiza utilizando un kernel gaussiano. Para reducir los cálculos innecesarios posteriores en la votación de Hough, en un ejemplo, se eliminan los píxeles de borde que se originan en el círculo de ojo de pez y/o la estructura de la aeronave.
El segundo paso de la estimación de un vector normal de horizonte se ilustra en la figura 7. El segundo paso comprende en un ejemplo al menos algunos de los siguientes. Para un píxel de borde de imagen p = (x,y), la proyección sobre la esfera unitaria está en el punto P. El gradiente se calcula en p, y la dirección de borde se define en p como (-Vy , Vx), es decir normal al gradiente. El punto de imagen pe se define como el punto a un píxel de distancia de p a lo largo de la dirección de borde. La proyección de pe sobre la esfera unitaria está en pe. Si p es un punto del horizonte, el vector ppees un vector tangente en la esfera unitaria que se encuentra en el plano del horizonte proyectado. Sea t un vector de longitud unitaria en la dirección de ppe. En una sección transversal de la esfera unitaria, ortogonal al vector t, buscamos un segundo punto Q en el plano del horizonte. Para una cierta altura hc, se conoce el radio del círculo del horizonte en la esfera unitaria. Para encontrar Q, definimos el vector
Figure imgf000010_0001
donde O es el origen en la esfera unitaria. Luego obtenemos el vector
Figure imgf000010_0002
donde es el ángulo de incidencia desde el horizonte para una cámara a la altura hc. En esta etapa, asumimos que la tierra está suavizada con radio Re. Los puntos Qmáx y Qmin denotan los puntos del horizonte para las alturas máxima y mínima dada la distribución de probabilidad ph para la altura de la cámara en la votación posterior.
Ahora se puede obtener un vector normal unitario ñ al plano del horizonte como
Figure imgf000010_0003
Las estimaciones del ángulo de cabeceo y alabeo para el punto de borde p vienen dadas por
Figure imgf000010_0004
El tercer paso de realizar la votación probabilística de Hough comprende en un ejemplo al menos algunos de los siguientes. Para cada píxel de borde p, hemos mostrado cómo calcular los ángulos de cabeceo y alabeo estimados para el plano del horizonte, dada una altura supuesta h. Las celdas de acumulación en la votación de Hough se eligen como una cuadrícula de ángulo de cabeceo y alabeo. En el esquema de votación probabilístico de Hough, el peso w para cada voto es proporcional a la probabilidad de que el píxel de borde sea un píxel del horizonte dadas las distribuciones de probabilidad ph, pe y p<p para hc, 0 y 9. Así,
Figure imgf000011_0001
La altura se puede medir con un GPS o usando un medidor de presión de aire a bordo del vehículo.
Usando el teorema de Bayes y asumiendo que las distribuciones de probabilidad para hc, 0 y 9 son independientes, los pesos pueden calcularse como
Figure imgf000011_0002
Para cada píxel de borde p, se calculan los ángulos de cabeceo y alabeo estimados para cada altura h. En un ejemplo, se da un voto ponderado en la celda de alabeo vecina más cercana en el conjunto acumulador.
Para suprimir los máximos locales, los valores del conjunto acumulador están en un ejemplo convolucionados con un kernel gaussiano. A continuación, se elige el índice de la celda con la puntuación máxima como estimación de disposición.
El cuarto paso de extraer píxeles de borde del horizonte comprende en un ejemplo al menos algunos de los siguientes.
Después del paso tres, puede haber presentes errores significativos de estimación de disposición debido a líneas de horizonte real no planas y se hace necesario un mayor refinamiento. Para prepararse para el refinamiento de la estimación de disposición, solo se extraerán los píxeles de borde que se originan en el horizonte en la imagen. En un ejemplo, esto se realiza geométricamente. A continuación, se extraen los píxeles de borde cercanos al horizonte estimado de la votación de Hough. Para una cámara calibrada y conocimiento de la altura de la cámara, la elipse en el plano de la imagen correspondiente al horizonte estimado de la votación de Hough siempre será ligeramente más pequeña que el horizonte percibido real en la imagen debido a la topografía en la parte de arriba de la tierra esférica ideal. Por lo tanto, la mayoría de los píxeles de borde del horizonte real estarán dentro o fuera del horizonte estimado. Debido a los efectos de cuantificación en el detector de bordes, algunos píxeles de borde del horizonte real pueden estar a 1/2 píxel dentro del horizonte estimado. Si el desplazamiento del horizonte debido a la topografía es menor que 1 píxel, es suficiente proyectar el horizonte estimado en el plano de la imagen y extraer todos los píxeles de borde que se encuentran dentro de una matriz de 3x3 de los píxeles del horizonte en el plano de la imagen.
Para imágenes de alta resolución, y cuando la elevación del suelo en la escena es grande, el desplazamiento del horizonte debido a la topografía puede ser superior a 1 píxel. El desplazamiento desde el horizonte ideal es en un ejemplo del orden de 4-5 píxeles. Para extraer todos los píxeles de borde del horizonte real, se calcula el desplazamiento angular en la esfera unitaria generada por la elevación más alta en el área circundante en comparación con el nivel del mar. El límite angular superior se designa en la presente memoria como pl¡m. Esto significa que todos los píxeles del horizonte real de la imagen se proyectarán en la esfera unitaria en una banda por encima del horizonte estimado según lo indicado por la votación probabilística de Hough. Esto se ilustrará en la figura 9.
El quinto paso, calcular el horizonte geométrico comprende en un ejemplo al menos algunos de los siguientes. Para todos los píxeles de borde extraídos en el cuarto paso, proyecte los píxeles de borde en la esfera unitaria. Denote este conjunto de píxeles de borde Ps. Gire el conjunto de puntos con la transposición de la matriz de rotación estimada para el vehículo de la votación de Hough y denote el conjunto de puntos rotados Pr.
Pr = f W Ps
El conjunto de puntos de giro en la esfera unitaria será idealmente los píxeles de borde del horizonte girados a un sistema de coordenadas alineado con el sistema de coordenadas mundial. Los ángulos de acimut ai para todos los píxeles de borde rotados en Pr se calculan como
cti = atan(Pry,¡/Prx,i).
En base a la posición 3D asumida para el vehículo, los perfiles de elevación se extraen del modelo de elevación digital en todas las direcciones ai. Para cada dirección ai, el ángulo de incidencia máximo ^máx, i en la cámara se determina según el perfil de elevación y la tabla de consulta. Esto generará el horizonte calculado geométricamente
Figure imgf000012_0001
El sexto paso, refinar las estimaciones del ángulo de cabeceo y/o alabeo comprende en un ejemplo al menos algunos de los siguientes. Los ángulos de cabeceo y/o alabeo se refinan minimizando la distancia entre el conjunto de puntos Pr, los píxeles de borde del horizonte retroproyectados rotados, y el conjunto de puntos Pgeom, el horizonte calculado geométricamente.
En la figura 9, se ilustra una banda en la esfera unitaria con píxeles de borde de horizonte verdaderos concebibles. En la figura 9, una línea indicada con Ir en la figura es el horizonte estimado. Una línea denominada Ib se genera mediante puntos que forman un ángulo pi¡m con los puntos del horizonte. La línea Ir está definida por las siguientes ecuaciones.
Figure imgf000012_0002
La línea ls es la proyección del horizonte sobre la esfera unitaria para una cámara orientada verticalmente a la altura hc donde ^(hc) es el ángulo de incidencia correspondiente en la cámara. Luego, la línea ls se gira con los ángulos de cabeceo y alabeo estimados.
La línea Ib está definida por las siguientes ecuaciones
Figure imgf000012_0003
En comparación con ls , la línea ish se desplaza un ángulo pi¡m hacia arriba en la esfera unitaria. En un ejemplo, la banda entre las líneas Ir y Ib se proyecta sobre el plano de la imagen para crear una máscara para los posibles píxeles de borde del horizonte. De la imagen de borde de Canny, solo se extraen los píxeles de borde dentro de la máscara para el procedimiento de refinamiento de disposición posterior.
En la figura 10, se ilustra un sistema 900 para estimar información relacionada con el ángulo de cabeceo y/o alabeo del vehículo. El sistema 900 comprende una unidad 902 de procesamiento que tiene un primer elemento 908 de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo dispuesto para obtener una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo. La unidad 902 de procesamiento comprende además un elemento 909 de obtención de estimaciones mejoradas relacionadas con el ángulo de cabeceo y/o alabeo, dispuesto para determinar una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo. El sistema comprende además al menos una cámara 901 montada en el vehículo aerotransportado. La al menos una cámara está dispuesta para capturar una imagen de un área que cubre al menos una parte del horizonte. La cámara es, en un ejemplo, una cámara omnidireccional. El sistema comprende además una base 903 de datos dispuesta para almacenar un modelo digital de elevación o superficie. El elemento 909 de obtención de estimación mejorada relacionada con el ángulo de cabeceo y/o alabeo está dispuesto para determinar la estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo en base a la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, y el modelo de elevación digital.
El primer elemento 908 de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está dispuesto en un ejemplo para obtener la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una primera estimación de horizonte. En un ejemplo, la primera estimación del horizonte se basa en la suposición de que la tierra es esférica sin topografía. La primera estimación está en un ejemplo obtenido de la imagen.
El elemento 909 de obtención de estimación mejorada relacionada con el ángulo de cabeceo y/o alabeo está dispuesto en un ejemplo para obtener una segunda estimación de horizonte en base al modelo de elevación digital, y para determinar la estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo en base a la estimación obtenida del segundo horizonte. En detalle, el elemento 909 de obtención de estimación de cabeceo mejorada relacionada con el ángulo de cabeceo y/o alabeo está dispuesto en un ejemplo para determinar la segunda estimación de horizonte: extrayendo el perfil de elevación en todas las direcciones angulares a i alrededor del vehículo del modelo de elevación digital en base a una posición XY del vehículo, determinando el ángulo de incidencia más grande en la cámara, que es generado por todos los objetos terrestres a alturas y distancias dadas por el perfil de elevación extraído, y determinando para cada dirección angular a i el máximo de todos los ángulos de incidencia a lo largo del perfil de elevación para ser el punto del horizonte geométrico donde el perfil de elevación es válido.
En un ejemplo, el máximo de todos los ángulos de incidencia a lo largo del perfil de elevación se determina para cada dirección angular ai se determina en base a una búsqueda extensa. El sistema comprende en un ejemplo una tabla 910 de consulta. La tabla de consulta comprende información relacionada con los ángulos de incidencia en la cámara para sustancialmente todos los objetos a lo largo del perfil de elevación. En un ejemplo, la tabla 910 de consulta comprende parámetros de entrada relacionados con la altura de la cámara, la altura del objeto y/o la distancia desde la cámara; y un parámetro de salida relacionado con el ángulo de incidencia en la cámara.
En un ejemplo, el primer elemento 908 de obtención de estimación relacionada con el ángulo de cabeceo/alabeo está dispuesto para obtener una primera estimación de horizonte en base a la imagen capturada. El elemento 909 de obtención de estimación mejorada relacionada con el ángulo de cabeceo/alabeo está dispuesto para ajustar la primera estimación de la información relacionada con la cabeceo y/o alabeo en base a una relación entre la primera estimación del horizonte y la segunda estimación del horizonte para determinar la estimación mejorada.
En un ejemplo, el elemento 909 de obtención de estimacioón mejorada relacionada con el ángulo de cabeceo y/o alabeo está dispuesto para determinar una pluralidad de estimaciones de segundo horizonte candidatas. En un ejemplo, cada estimación de segundo horizonte candidato está relacionada con una cámara candidata y/o una posición tridimensional del vehículo. La determinación de la estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo implica entonces seleccionar esa segunda estimación de horizonte candidata que proporciona un mejor ajuste entre la primera estimación de horizonte y la segunda estimación de horizonte.
El primer elemento 908 de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está dispuesto para retroproyectar los píxeles de borde determinados en la esfera unitaria, y determinar la primera estimación de la información relacionada con la cabeceo y/o alabeo en base a los píxeles de borde retroproyectados.
El primer elemento 908 de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está dispuesto en un ejemplo para realizar una votación probabilística tal como una votación probabilística de Hough para todos los píxeles de borde para determinar la primera estimación de la información relacionada con la cabeceo y/o el alabeo en base a los píxeles de borde retroproyectados.
El primer elemento 908 de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está dispuesto además en un ejemplo para determinar la primera estimación del horizonte en base a los píxeles de borde retroproyectados.
El primer elemento 908 de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está s dispuesto además para extraer aquellos píxeles de borde que están dentro de un intervalo determinado desde la primera estimación de horizonte y para proyectar los píxeles de borde extraídos en la esfera unitaria para proporcionar la primera estimación de horizonte actualizada. El elemento 909 de obtención de estimaciones mejoradas relacionadas con el ángulo de cabeceo y/o alabeo se dispone entonces para ajustar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una relación entre la primera estimación de horizonte actualizada y la segunda estimación de horizonte para determinar la estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo.

Claims (11)

REIVINDICACIONES
1. Un procedimiento (200) para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo aerotransportado,
que comprende los pasos de capturar (210) una imagen de un área que cubre al menos una parte del horizonte utilizando una cámara montada en el vehículo aerotransportado, y
obtener (220; 520) una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo,
en el que el paso de obtener (220) la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo comprende obtener una primera estimación del horizonte en base a la imagen capturada, y en el que en la primera estimación del horizonte se supone que la tierra es esférica sin topografía, caracterizado por los pasos de
determinar (230, 240) una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo en base a la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, y un modelo de elevación digital,
en el que el paso de determinar (240) una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo comprende obtener al menos una segunda estimación del horizonte en base al modelo de elevación digital y ajustar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una relación entre la primera estimación de horizonte y la segunda estimación de horizonte.
2. Un procedimiento de acuerdo con la reivindicación 1, en el que el paso de determinar la al menos una segunda estimación del horizonte comprende los siguientes pasos:
obtener (331) un perfil de elevación respectivo para una pluralidad de direcciones angulares ai alrededor del vehículo a partir del modelo de elevación digital en base a una posición tridimensional del vehículo y/o cámara, determinar (332) un ángulo de incidencia más grande en la cámara, que es generado por todos los objetos terrestres a alturas y distancias dadas por el perfil de elevación extraído, y
determinar (333) para cada dirección angular ai a lo largo del respectivo perfil de elevación siendo el máximo de todos los ángulos de incidencia el punto geométrico del horizonte efectivo.
3. Un procedimiento de acuerdo con cualquiera de las reivindicaciones anteriores, en el que se determina una pluralidad de estimaciones de segundo horizonte candidatas, cada una relacionada con una cámara candidata y/o posición tridimensional del vehículo y en el que la determinación de una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo implica seleccionar esa segunda estimación de horizonte candidata que proporcione un mejor ajuste entre la primera estimación de horizonte y la segunda estimación de horizonte.
4. Un procedimiento de acuerdo con la reivindicación 3, en el que se determina que la posición tridimensional de la cámara y/o vehículo relacionada con la estimación del segundo horizonte candidato seleccionado es la posición tridimensional verdadera de la cámara y/o el vehículo.
5. Un procedimiento de acuerdo con cualquiera de las reivindicaciones anteriores, en el que la determinación (510) de la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo comprende
retroproyectar (522) píxeles de bordes determinados del horizonte en la imagen sobre la esfera unitaria, y determinar (523) la primera estimación de la información relacionada con la cabeceo y/o alabeo en base a los píxeles de borde retroproyectados.
6. Un procedimiento de acuerdo con la reivindicación 5, en el que la determinación (523) de la primera estimación de la información relacionada con la cabeceo y/o alabeo en base a los píxeles de borde retroproyectados comprende una votación probabilística tal como una votación probabilística Hough para todos los píxeles de borde.
7. Un procedimiento de acuerdo con las reivindicaciones 5 o 6, que comprende además determinar la primera estimación del horizonte en base a los píxeles de borde retroproyectados.
8. Un procedimiento de acuerdo con la reivindicación 7, que comprende además un paso de extraer aquellos píxeles de borde que están dentro de un intervalo determinado de la primera estimación de horizonte y proyectar los píxeles de borde extraídos sobre la esfera unitaria para proporcionar una primera estimación de horizonte actualizada, en la que el paso de determinar una estimación mejorada de la información relacionada con la cabeceo y/o alabeo comprende ajustar la primera estimación de la información relacionada con la cabeceo y/o el alabeo en base a una relación entre la primera estimación de horizonte actualizada y la segunda estimación de horizonte.
9. Un sistema (900) para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo aerotransportado, el sistema comprende una unidad (102; 902) de procesamiento que tiene un primer elemento (908) de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo dispuesto para obtener una primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo, el sistema comprende además al menos una cámara (101; 901) montada en el vehículo aerotransportado, dicha cámara está dispuesta para capturar una imagen de un área que cubre al menos una parte del horizonte,
una base (103; 903) de datos dispuesta para almacenar un modelo de elevación digital,
en el que el primer elemento (908) de obtención de estimación relacionada con el ángulo de cabeceo y/o alabeo está dispuesto para obtener una primera estimación de horizonte en base a la imagen capturada, en la que en la primera estimación de horizonte se supone que la tierra es esférica sin topografía
caracterizado porque
la unidad (102; 902) de procesamiento comprende un elemento (909) de obtención de estimados relacionados con el ángulo de cabeceo y/o alabeo mejorado dispuesto para determinar una estimación mejorada de la información relacionada con el ángulo de cabeceo y/o alabeo en base a la primera estimación del ángulo de cabeceo y/o alabeo, y el modelo de elevación digital, en el que el elemento (909) de obtención de estimaciones relacionadas con el ángulo de cabeceo y/o alabeo mejorado está dispuesto para obtener al menos una segunda estimación de horizonte en base al modelo de elevación digital y ajustar la primera estimación de la información relacionada con el ángulo de cabeceo y/o alabeo en base a una relación entre la primera estimación del horizonte y la segunda estimación del horizonte.
10. Un sistema de acuerdo con la reivindicación 9, en el que la cámara (101; 901) es omnidireccional.
11. Programa informático para ejecutar los pasos del procedimiento para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo de acuerdo con cualquiera de las reivindicaciones 1 a 8.
ES14889442T 2014-04-14 2014-04-14 Un procedimiento y sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo Active ES2834997T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2014/050457 WO2015160287A1 (en) 2014-04-14 2014-04-14 A method and system for estimating information related to a vehicle pitch and/or roll angle

Publications (1)

Publication Number Publication Date
ES2834997T3 true ES2834997T3 (es) 2021-06-21

Family

ID=54324359

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14889442T Active ES2834997T3 (es) 2014-04-14 2014-04-14 Un procedimiento y sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo

Country Status (5)

Country Link
US (1) US9285460B2 (es)
EP (1) EP3132231B1 (es)
ES (1) ES2834997T3 (es)
PL (1) PL3132231T3 (es)
WO (1) WO2015160287A1 (es)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2539027B (en) * 2015-06-04 2019-04-17 Thales Holdings Uk Plc Video compression with increased fidelity near horizon
US9912868B2 (en) * 2015-09-15 2018-03-06 Canon Kabushiki Kaisha Image-blur correction apparatus, tilt correction apparatus, method of controlling image-blur correction apparatus, and method of controlling tilt correction apparatus
CN105279372B (zh) * 2015-09-29 2018-12-14 百度在线网络技术（北京）有限公司 一种确定建筑物高度的方法和装置
US10192143B1 (en) * 2016-09-20 2019-01-29 Gopro, Inc. Systems and methods to distinguish between features depicted in images
PT3367333T (pt) * 2017-02-28 2022-02-24 Phenospex B V Método de caracterização de um objecto
CN109141347A (zh) * 2017-06-28 2019-01-04 京东方科技集团股份有限公司 车载摄像机测距方法及装置、存储介质和电子设备
EP3435333B1 (en) * 2017-07-26 2020-01-29 Aptiv Technologies Limited Method of determining the roll angle of a vehicle mounted camera
FR3082038B1 (fr) * 2018-06-04 2021-05-07 Continental Automotive France Estimation dynamique du tangage instantane d'une camera embarquee dans un vehicule automobile
EP3584536B1 (de) 2018-06-19 2021-05-05 Safran Vectronix AG Terrestrisches beobachtungsgerät mit lagebestimmungsfunktionalität
KR102553053B1 (ko) * 2018-12-28 2023-07-11 삼성전자주식회사 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
CN109903346B (zh) * 2019-05-13 2019-09-06 长沙智能驾驶研究院有限公司 相机姿态检测方法、装置、设备及存储介质
CN110458893B (zh) * 2019-07-29 2021-09-24 武汉光庭信息技术股份有限公司 高级辅助驾驶视觉感知传感器的横滚角标定方法及系统
US11164330B2 (en) * 2020-03-13 2021-11-02 Applied Research Associates, Inc. Landmark configuration matcher
JP7605467B2 (ja) * 2021-03-05 2024-12-24 ｉ－ＰＲＯ株式会社 カメラ装置および画角ずれ通知方法
CN113899363B (zh) * 2021-09-29 2022-10-21 北京百度网讯科技有限公司 车辆的定位方法、装置及自动驾驶车辆
CN113759953B (zh) * 2021-11-09 2022-01-04 四川格锐乾图科技有限公司 一种基于开源dem数据的飞行姿态照片纠正方法
US11423667B1 (en) * 2021-12-31 2022-08-23 Sea Machines Robotics, Inc. Geolocating an object using a single camera
US12246747B2 (en) * 2023-05-31 2025-03-11 Plusai, Inc. Adaptive and fuel efficient planning and control
CN118311574B (zh) * 2024-04-20 2025-09-12 北京理工大学 一种基于射线理论的探地雷达分层互相关后向投影成像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069654A (en) 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
AU2004202924A1 (en) 2004-06-29 2006-01-12 Monash University Method and apparatus for determining horizon angle and displacement
JP2007255955A (ja) * 2006-03-22 2007-10-04 Mitsubishi Electric Corp 姿勢角検出装置、カメラ
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
US8259174B2 (en) * 2009-02-06 2012-09-04 GM Global Technology Operations LLC Camera auto-calibration by horizon estimation
US8942964B2 (en) * 2010-06-08 2015-01-27 Southwest Research Institute Optical state estimation and simulation environment for unmanned aerial vehicles
US8610708B2 (en) 2010-09-22 2013-12-17 Raytheon Company Method and apparatus for three-dimensional image reconstruction

Also Published As

Publication number Publication date
US20150323648A1 (en) 2015-11-12
EP3132231B1 (en) 2020-09-16
WO2015160287A1 (en) 2015-10-22
US9285460B2 (en) 2016-03-15
EP3132231A4 (en) 2018-02-21
PL3132231T3 (pl) 2021-03-22
EP3132231A1 (en) 2017-02-22

Similar Documents

Publication Publication Date Title
ES2834997T3 (es) Un procedimiento y sistema para estimar información relacionada con el ángulo de cabeceo y/o alabeo de un vehículo
Carbonneau et al. Cost‐effective non‐metric photogrammetry from consumer‐grade sUAS: implications for direct georeferencing of structure from motion photogrammetry
Grodecki et al. IKONOS geometric accuracy
CN106327573B (zh) 一种针对城市建筑的实景三维建模方法
CA2395257C (en) Any aspect passive volumetric image processing method
CN109708649B (zh) 一种遥感卫星的姿态确定方法及系统
CN107917699B (zh) 一种用于提高山区地貌倾斜摄影测量空三质量的方法
EP2442275A2 (en) Method and apparatus for three-dimensional image reconstruction
CN106408601B (zh) 一种基于gps的双目融合定位方法及装置
CN108168521A (zh) 一种基于无人机实现景观三维可视化的方法
CN112857356B (zh) 无人机水体环境调查和航线生成方法
CN104501779A (zh) 基于多站测量的无人机高精度目标定位方法
US9453731B2 (en) System and method for determining orientation relative to earth
Li et al. A new analytical method for estimating Antarctic ice flow in the 1960s from historical optical satellite imagery
JP2012118666A (ja) 三次元地図自動生成装置
CN110930508A (zh) 二维光电视频与三维场景融合方法
CN107560603A (zh) 一种无人机倾斜摄影测量系统及测量方法
CN116027351B (zh) 一种手持/背包式slam装置及定位方法
CN116045979B (zh) 一种基于改进偏振场奇异点模型的仿生偏振光航向测量方法
CN110986888A (zh) 一种航空摄影一体化方法
Sai et al. Geometric accuracy assessments of orthophoto production from uav aerial images
CN116594419B (zh) 巡检航线规划方法、装置、电子设备及存储介质
CN112785686A (zh) 一种基于大数据的林区地图构建方法及可读存储介质
Yuan et al. Theoretical accuracy of direct georeferencing with position and orientation system in aerial photogrammetry
Qiao et al. Assessment of geo-positioning capability of high resolution satellite imagery for densely populated high buildings in metropolitan areas