ES3036714A1 - System and method for relative positioning of an object with respect to a target surface based on vision and navigation system of said object - Google Patents
System and method for relative positioning of an object with respect to a target surface based on vision and navigation system of said objectInfo
- Publication number
- ES3036714A1 ES3036714A1 ES202430205A ES202430205A ES3036714A1 ES 3036714 A1 ES3036714 A1 ES 3036714A1 ES 202430205 A ES202430205 A ES 202430205A ES 202430205 A ES202430205 A ES 202430205A ES 3036714 A1 ES3036714 A1 ES 3036714A1
- Authority
- ES
- Spain
- Prior art keywords
- target surface
- reference markers
- respect
- vision
- triangle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
- G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
- G01C11/34—Aerial triangulation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
DESCRIPCIÓNDESCRIPTION
Sistema y método de posicionamiento relativo de un objeto respecto a una superficie objetivo basado en visión y sistema de navegación de dicho objeto System and method for relative positioning of an object with respect to a target surface based on vision and navigation system of said object
Campo de la invenciónField of invention
La invención se refiere a un sistema a un método de estimación de la posición de un objeto relativa a una superficie objetivo. El método podría utilizarse como parte de los sistemas de navegación de vehículos, tales como aeronaves, para lograr un posicionamiento preciso y/o proporcionar redundancia a los sistemas de posicionamiento tradicionales en entornos complejos, por ejemplo, con un Sistema de Negación Global por Satélite (GNSS) negado. The invention relates to a system or method for estimating the position of an object relative to a target surface. The method could be used as part of vehicle navigation systems, such as those for aircraft, to achieve precise positioning and/or provide redundancy to traditional positioning systems in complex environments, for example, with a denied Global Navigation Satellite System (GNSS).
Antecedentes de la invenciónBackground of the invention
La navegación basada en visión (VBN) se refiere al uso de datos adquiridos ópticamente, mediante cámaras, para fines de navegación. Vision-based navigation (VBN) refers to the use of optically acquired data, via cameras, for navigation purposes.
Los tres pasos principales de la navegación basada en visión (VBN) son típicamente los siguientes: The three main steps of vision-based navigation (VBN) are typically the following:
a) Captura de una imagen de una parte del entorno que rodea a un objeto. Esta imagen contendrá la información que permitirá generar una medición de posición. a) Capture an image of a portion of the environment surrounding an object. This image will contain the information that will allow a position measurement to be generated.
b) Extraer y procesar información de la imagen capturada para generar la medición de posición. En este paso se suelen utilizar técnicas de visión computacional como el reconocimiento de patrones, la detección e identificación de objetos o la estimación de movimiento con odometría visual. b) Extract and process information from the captured image to generate the position measurement. This step typically uses computer vision techniques such as pattern recognition, object detection and identification, or motion estimation with visual odometry.
c) Filtrar las mediciones para calcular una estimación óptima de la posición. c) Filter the measurements to calculate an optimal estimate of the position.
Se sabe que el aterrizaje en pistas sin pavimentar hace que dicha operación sea más exigente de lo habitual. En estos casos, no se suele disponer de aproximaciones por instrumentos con alcance omnidireccional de muy alta frecuencia (VOR), equipos de medición de distancias (DME) y, mucho menos, de sistemas de aterrizaje por instrumentos (ILS). En los aeropuertos, los Sistemas de Aumentación en Tierra (ILS/GBAS) que permiten aterrizajes asistidos son hoy en día la principal forma de facilitar la tarea de pilotaje durante esta fase. Gracias a estos sistemas, las desviaciones de la aeronave respecto a la aproximación ideal pueden calcularse y utilizarse en las leyes de guiado. Sin embargo, estos sistemas son costosos y su disponibilidad se limita a los aeropuertos que han desplegado la infraestructura necesaria. It is known that landing on unpaved runways makes the operation more demanding than usual. In these cases, instrument approaches with very high frequency omnidirectional range (VOR), distance measuring equipment (DME), and, even less so, instrument landing systems (ILS) are not typically available. At airports, Ground Level Augmentation Systems (ILS/GBAS) that enable assisted landings are currently the primary way to facilitate piloting during this phase. Thanks to these systems, aircraft deviations from the ideal approach can be calculated and used in guidance rules. However, these systems are expensive, and their availability is limited to airports that have deployed the necessary infrastructure.
Además, en el caso de las pistas sin pavimentar, basarse únicamente en el Sistema de Posicionamiento Global (GPS) plantea algunos problemas. Furthermore, in the case of unpaved runways, relying solely on the Global Positioning System (GPS) presents some problems.
Los sistemas basados en visión conocidos suelen tener un alcance limitado, y el vehículo aéreo debe estar cerca del objetivo para lograr una localización precisa. Known vision-based systems typically have a limited range, and the aerial vehicle must be close to the target to achieve accurate localization.
Además, un sistema basado en visión puede verse afectado por condiciones de iluminación como el deslumbramiento y las sombras, que dificultan la visión de algunas características en pistas sin pavimentar. En determinados entornos, como los terrenos sin accidentes, la nieve y los desiertos, no se pueden utilizar métodos basados en visión porque no hay características visuales distintivas en el entorno. Furthermore, a vision-based system can be affected by lighting conditions such as glare and shadows, which make it difficult to see some features on unpaved surfaces. In certain environments, such as flat terrain, snow, and deserts, vision-based methods cannot be used because there are no distinctive visual features in the environment.
Sumario de la invenciónSummary of the invention
Es el objetivo de la invención estimar la posición del objeto, por ejemplo, una aeronave, respecto a una superficie objetivo. Para ello el sistema objeto de la invención permite estimar la posición relativa de dicho objeto en coordenadas esféricas, proporcionando sendos ángulos y una distancia, lo que posiciona tridimensionalmente al objeto. Más específicamente, el sistema y método objeto de la invención permite proporcionar la distancia, la elevación y el acimut del objeto respecto a un patrón situado sobre la superficie objetivo. The objective of the invention is to estimate the position of an object, for example, an aircraft, relative to a target surface. To this end, the system of the invention allows the relative position of said object to be estimated in spherical coordinates, providing angles and a distance, thus positioning the object three-dimensionally. More specifically, the system and method of the invention allows the distance, elevation, and azimuth of the object to be provided relative to a pattern located on the target surface.
Según lo anterior, es objeto de la presente invención un sistema de estimación de la posición relativa de un objeto con respecto a una superficie objetivo basado en visión, que comprende: According to the foregoing, the present invention relates to a vision-based system for estimating the relative position of an object with respect to a target surface, comprising:
- Al menos tres marcadores de referencia configurados para estar situados en la superficie objetivo de forma que estén situados en los vértices de un triángulo equilátero visto desde un vista cenital a dicha superficie objetivo, donde los tres vértices tienen un centroide. El centroide de dicho triángulo corresponde al origen del sistema de referencia que se utilizará para el posicionamiento relativo. Visto desde una vista cenital, los tres marcadores de referencia podrían ser circunscritos por una circunferencia denominada circunferencia circunscrita. - At least three reference markers configured to be located on the target surface such that they are situated at the vertices of an equilateral triangle as viewed from a top view of that target surface, where the three vertices share a centroid. The centroid of this triangle corresponds to the origin of the reference system to be used for relative positioning. Viewed from a top view, the three reference markers could be circumscribed by a circle called the circumscribed circle.
- Al menos un dispositivo de formación de imágenes, configurado para estar situado en el objeto, siendo el objeto capaz de realizar una localización espacial de los marcadores de referencia, y para capturar imágenes de la superficie objetivo que incluyen los marcadores de referencia, donde el dispositivo de formación de imágenes posee una distancia focal. - At least one imaging device, configured to be located on the object, the object being capable of spatially localizing the reference markers, and capturing images of the target surface including the reference markers, wherein the imaging device has a focal length.
- Un medio de procesamiento configurado para recibir y procesar las imágenes capturadas por el al menos un dispositivo de formación de imágenes y configurado para: - A processing means configured to receive and process images captured by at least one imaging device and configured to:
<o>detectar los marcadores de referencia en la imagen recibida, <o>detect the reference markers in the received image,
<o>identificar el centroide de un triángulo formado por los marcadores de referencia en la imagen recibida, <o>identify the centroid of a triangle formed by the reference markers in the received image,
<o>circunscribir en la imagen recibida los marcadores de referencia mediante una elipse circunscrita con centro en el centroide del triángulo y que pase por los vértices del triángulo, <o>circumscribe the reference markers in the received image using a circumscribed ellipse centered on the centroid of the triangle and passing through the vertices of the triangle,
<o>determinar la posición relativa del objeto respecto a la superficie objetivo según sus coordenadas geométricas esféricas distancia, elevación y acimut mediante la relación geométrica en la imagen recibida entre los semiejes y el ángulo del semieje mayor de la elipse circunscrita y la posición de los marcadores de referencia y del radio de su circunferencia circunscrita. <o>determine the relative position of the object with respect to the target surface according to its spherical geometric coordinates distance, elevation and azimuth by means of the geometric relationship in the received image between the semi-axes and the angle of the semi-major axis of the circumscribed ellipse and the position of the reference markers and the radius of its circumscribed circle.
Según lo anterior, el medio de procesamiento dispone de los datos de entrada proporcionados por los tres marcadores de referencia que constituyen unas coordenadas bidimensionales en píxeles en la imagen tomada por el dispositivo de formación de imágenes. According to the above, the processing medium has the input data provided by the three reference markers that constitute two-dimensional coordinates in pixels in the image taken by the image formation device.
Según la invención reivindicada, el triángulo equilátero formado por los tres marcadores de referencia puede ser circunscrito por una circunferencia. Cuando ese triángulo se ve en perspectiva, es decir, desde un objeto, por ejemplo, una aeronave que se aproxima a una pista de aterrizaje, el triángulo deja de ser equilátero. La circunferencia circunscrita se percibe entonces como una elipse, cuyos parámetros pueden determinarse analíticamente sobre la imagen tomada. Esta elipse se denomina elipse circunscrita de Steiner, que es la única elipse que pasa por los tres vértices y tiene centro en el centroide del triángulo. According to the claimed invention, the equilateral triangle formed by the three reference markers can be circumscribed by a circle. When this triangle is viewed in perspective, i.e., from an object, for example, an aircraft approaching a runway, the triangle ceases to be equilateral. The circumscribed circle is then perceived as an ellipse, whose parameters can be analytically determined from the image. This ellipse is called the Steiner circumscribed ellipse, which is the only ellipse that passes through the three vertices and is centered at the centroid of the triangle.
De acuerdo con lo anterior, el objetivo de la invención reivindicada es obtener la estimación de la posición relativa de un objeto. According to the above, the objective of the claimed invention is to obtain an estimate of the relative position of an object.
La invención resuelve por lo tanto la estimación de la posición 3D relativa de un objeto mediante el dispositivo de captura de imágenes y los objetos observados en la imagen capturada. The invention therefore solves the estimation of the relative 3D position of an object by means of the image capture device and the objects observed in the captured image.
Además, la instalación de marcadores de referencia en la superficie objetivo, por ejemplo, en el terreno objetivo, podría permitir la creación de un sistema de aterrizaje de bajo coste y fácilmente transportable. Furthermore, the installation of reference markers on the target surface, for example, on the target terrain, could enable the creation of a low-cost and easily transportable landing system.
Varios tipos de objetos podrían beneficiarse del sistema de la invención: aviones, helicópteros, drones, cohetes reutilizables de primera etapa, vehículos no tripulados, etc. Various types of objects could benefit from the invention's system: airplanes, helicopters, drones, reusable first-stage rockets, unmanned vehicles, etc.
Una aplicación específica del sistema y método objeto de la invención podría ser una ayuda al aterrizaje en pistas no pavimentadas, reduciendo así la carga de trabajo del piloto. Otras aplicaciones podrían ser el posicionamiento relativo durante maniobras de reabastecimiento en vuelo, el aterrizaje en heliplataformas pequeñas o móviles, la guía de aterrizaje para el aterrizaje vertical retropropulsivo de una etapa de cohete reutilizable, como ayuda al aterrizaje de multicópteros, etc. A specific application of the system and method of the invention could be an aid to landing on unpaved runways, thereby reducing the pilot's workload. Other applications could include relative positioning during in-flight refueling maneuvers, landing on small or mobile helipads, landing guidance for the retropropulsive vertical landing of a reusable rocket stage, as an aid to the landing of multicopters, etc.
Otra aplicación en la que el aterrizaje basado en visión (VBL) resulta de gran ayuda es cuando la superficie de aterrizaje está en movimiento, por ejemplo, en cubiertas de buques o portaaviones, ya que unos pocos centímetros de diferencia pueden poner en peligro y comprometer la misión. La invención es capaz de determinar la posición relativa en 3D en estos escenarios en los que a menudo no se dispone de ayudas para el aterrizaje. Another application where vision-based landing (VBL) is extremely helpful is when the landing surface is in motion, for example, on the decks of ships or aircraft carriers, since even a few centimeters of difference can jeopardize and compromise the mission. The invention is capable of determining the relative position in 3D in these scenarios where landing aids are often unavailable.
Además, la capacidad de aterrizar con precisión en terrenos no pavimentados y en entornos sin GPS facilitaría la logística de las misiones humanitarias. Furthermore, the ability to land accurately on unpaved terrain and in environments without GPS would facilitate the logistics of humanitarian missions.
El sistema reivindicado podría reducir la fatiga de la tripulación y los costes de formación de la misma, proporcionando así operaciones más eficaces en, por ejemplo, el reabastecimiento en vuelo. The claimed system could reduce crew fatigue and training costs, thus providing more efficient operations in, for example, in-flight refueling.
Para la determinación del número de marcadores de referencia se tiene en cuenta el conjugar los dos siguientes aspectos: To determine the number of reference markers, the following two aspects are taken into account:
<o>Utilizar el menor número posible de marcadores. Use the fewest possible number of markers.
<o>Permitir la detección de la posición 3D del objeto. <o>Allow detection of the object's 3D position.
Colocar tres marcadores de referencia como si fueran los vértices de un triángulo equilátero es suficiente para resolver el posicionamiento 3D de forma analítica, siempre que se cumpla la hipótesis de que el objeto se encuentra dentro de un sector de acimut de 120° ya que hay tres soluciones posibles en acimut y es necesario resolver la ambigüedad. Esta hipótesis suele ser aplicable a muchos de los escenarios descritos. Placing three reference markers as if they were the vertices of an equilateral triangle is sufficient to solve the 3D positioning analytically, provided the assumption that the object is located within a 120° azimuth sector is met, since there are three possible azimuth solutions and it is necessary to resolve the ambiguity. This assumption is generally applicable to many of the scenarios described.
El sistema objeto de la invención proporciona resultados precisos incluso con una cámara básica como dispositivo de captura de imágenes. La presente invención incluye el método para convertir las coordenadas de píxeles 2D de los tres puntos de referencia en la imagen capturada en una posición 3D relativa con respecto al centroide del triángulo formado por los puntos de referencia. Por lo tanto, el método determina la posición 3D relativa con respecto al centroide del triángulo equilátero formado por los puntos de referencia, a partir de las coordenadas de píxeles 2D de dichos puntos de referencia. De este modo, los marcadores de referencia facilitan la tarea de procesamiento de imágenes. The system of the invention provides accurate results even with a basic camera as the image capture device. The present invention includes a method for converting the 2D pixel coordinates of three reference points in the captured image into a 3D position relative to the centroid of the triangle formed by the reference points. Therefore, the method determines the 3D position relative to the centroid of the equilateral triangle formed by the reference points, based on the 2D pixel coordinates of those reference points. In this way, the reference markers facilitate the image processing task.
Por lo tanto, el sistema y el método reivindicados comprenden una solución que proporciona resultados tanto precisos como rápidos de calcular. Therefore, the claimed system and method comprise a solution that provides both accurate and fast-to-calculate results.
El sistema reivindicado posee las siguientes ventajas: The claimed system has the following advantages:
• Es capaz de utilizar imágenes de uno o más dispositivos de formación de imágenes, por ejemplo, cámaras, instalados en el objeto para estimar su posición 3D, sensores infrarrojos, etc. • It is capable of using images from one or more imaging devices, for example, cameras, installed on the object to estimate its 3D position, infrared sensors, etc.
• Es un sistema potencialmente certificable bajo la normativa aeronáutica. Esto es debido a la naturaleza determinista del método. • It is a system that is potentially certifiable under aeronautical regulations. This is due to the deterministic nature of the method.
• Inicialmente, está destinado a ser utilizado como sistema externo de ayuda a la navegación, además de las arquitecturas de sensores certificadas, por ejemplo, ADIRUS (Air Data Inertial Reference Unit) y GPS en las plataformas civiles. • Es compatible con los protocolos actuales del Sistema de Gestión de Vuelo para poder integrarse en diferentes arquitecturas de aviónica. • Initially, it is intended for use as an external navigation aid system, in addition to certified sensor architectures such as ADIRUS (Air Data Inertial Reference Unit) and GPS on civil platforms. • It is compatible with current Flight Management System protocols, allowing for integration with various avionics architectures.
• Es ligero. • It is lightweight.
• Es de bajo consumo de energía. • It has low energy consumption.
• Es de bajo coste. • It is low cost.
• Permite procesamiento en tiempo real, es decir, el algoritmo posee un tiempo de procesamiento bajo. • It allows real-time processing, meaning the algorithm has a low processing time.
• Es fiable e íntegro. • He is reliable and honest.
• Fácil de instalar y mantener. • Easy to install and maintain.
• Los marcadores son capaces de ser detectados desde una gran distancia. • The markers are capable of being detected from a great distance.
Según lo comentado anteriormente, este sistema de posicionamiento se ha aplicado para desarrollar una solución que permite aterrizar una aeronave con precisión sin necesidad de infraestructuras complejas y a bajo coste. Este innovador sistema de aterrizaje permite aplicaciones específicas como el aterrizaje en pistas sin pavimentar, según lo ya indicado. As mentioned previously, this positioning system has been applied to develop a solution that allows for precise aircraft landings without the need for complex infrastructure and at low cost. This innovative landing system enables specific applications such as landing on unpaved runways, as already indicated.
Adicionalmente, el sistema de posicionamiento relativo reivindicado podría también utilizarse como parte de los sistemas de navegación de un objeto para lograr un posicionamiento preciso y/o proporcionar redundancia de estimación además de los sensores de posicionamiento tradicionales. Additionally, the claimed relative positioning system could also be used as part of an object's navigation systems to achieve precise positioning and/or provide estimation redundancy in addition to traditional positioning sensors.
Es también objeto de la invención un sistema de navegación que comprende un sistema de posicionamiento relativo de un objeto respecto a una superficie objetivo basado en visión según lo explicado anteriormente. The invention also includes a navigation system comprising a vision-based relative positioning system for an object with respect to a target surface, as explained above.
Es también objeto de la presente invención un método de estimación de la posición de un objeto con respecto a una superficie objetivo, que comprende las siguientes etapas: The present invention also relates to a method for estimating the position of an object with respect to a target surface, comprising the following steps:
- proporcionar al menos tres marcadores de referencia situados en la superficie objetivo de forma que estén situados en los vértices de un triángulo equilátero visto desde una vista cenital, donde el triángulo equilátero tiene un centroide y una circunferencia circunscrita, - provide at least three reference markers located on the target surface such that they are situated at the vertices of an equilateral triangle viewed from a top view, where the equilateral triangle has a centroid and a circumscribed circle,
- proporcionar al menos un dispositivo de formación de imágenes situado en el objeto para capturar imágenes de la superficie objetivo que incluyen los marcadores de referencia, donde el dispositivo de formación de imágenes posee una distancia focal, - provide at least one imaging device located on the object to capture images of the target surface including reference markers, wherein the imaging device has a focal length,
- proporcionar un medio de procesamiento que reciba y procese las imágenes capturadas recibidas del al menos un dispositivo de formación de imágenes que: - provide a processing means that receives and processes captured images received from at least one imaging device that:
<o>detecte los marcadores de referencia en la imagen recibida, <o>detect the reference markers in the received image,
<o>identifique el centroide del triángulo formado por los marcadores de referencia en la imagen recibida, <o>identify the centroid of the triangle formed by the reference markers in the received image,
<o>circunscriba en la imagen recibida los marcadores de referencia mediante una elipse circunscrita con centro en el centroide del triángulo y que pasa por los vértices del triángulo, <o>circumscribe the reference markers in the received image using a circumscribed ellipse centered on the centroid of the triangle and passing through the vertices of the triangle,
<o>determine la posición del objeto respecto a la superficie objetivo según sus coordenadas geométricas esféricas: distancia, elevación y acimut, mediante la relación geométrica en la imagen recibida entre los semiejes y el ángulo del semieje mayor de la elipse circunscrita y la posición de los marcadores de referencia y del radio de su circunferencia circunscrita. <o>Determine the position of the object with respect to the target surface according to its spherical geometric coordinates: distance, elevation and azimuth, by means of the geometric relationship in the received image between the semi-axes and the angle of the semi-major axis of the circumscribed ellipse and the position of the reference markers and the radius of its circumscribed circle.
Descripción de las figurasDescription of the figures
Para completar la descripción y proporcionar una mejor comprensión de la invención, se proporciona un conjunto de dibujos. Dichos dibujos forman parte integrante de la descripción e ilustran realizaciones preferidas de la invención. Los dibujos comprenden las siguientes figuras. To complete the description and provide a better understanding of the invention, a set of drawings is provided. These drawings form an integral part of the description and illustrate preferred embodiments of the invention. The drawings comprise the following figures.
La figura 1 muestra una representación esquemática de tres marcadores de referencia situados en los vértices de un triángulo equilátero que tiene un centroide, estando los tres vértices circunscritos por una circunferencia. Figure 1 shows a schematic representation of three reference markers located at the vertices of an equilateral triangle having a centroid, the three vertices being circumscribed by a circle.
La figura 2 muestra una imagen capturada desde una aeronave de una pista de aterrizaje y despegue y sus alrededores, en la que aparecen tres marcadores de referencia situados en la pista de aterrizaje y despegue vistos desde un vista cenital. Figure 2 shows an image captured from an aircraft of a runway and its surroundings, showing three reference markers located on the runway as seen from a bird's-eye view.
La figura 3 muestra una imagen capturada desde una aeronave de la pista de la figura 2 y sus alrededores en la que se aprecian tres marcadores de referencia situados en la pista vistos desde una aeronave que se aproxima a la pista. Figure 3 shows an image captured from an aircraft of the runway in Figure 2 and its surroundings, in which three reference markers located on the runway can be seen from an aircraft approaching the runway.
La figura 4 muestra una representación esquemática de tres marcadores de referencia situados en los vértices de un triángulo isósceles; los tres vértices están circunscritos por una elipse. Figure 4 shows a schematic representation of three reference markers located at the vertices of an isosceles triangle; the three vertices are circumscribed by an ellipse.
La figura 5 muestra las coordenadas polares tridimensionales que posicionan un objeto: distancia, elevación y acimut. Figure 5 shows the three-dimensional polar coordinates that position an object: distance, elevation, and azimuth.
La figura 6 es una representación esquemática de una cámara, el plano de imagen de la cámara y el objeto observado en el espacio 3D. Figure 6 is a schematic representation of a camera, the camera's image plane, and the object observed in 3D space.
Descripción detallada de la invenciónDetailed description of the invention
La figura 1 muestra una representación esquemática de tres marcadores de referencia (1) situados en los vértices de un triángulo equilátero (2) que tiene un centroide (5). Los tres vértices están circunscritos por una circunferencia (3). Figure 1 shows a schematic representation of three reference markers (1) located at the vertices of an equilateral triangle (2) having a centroid (5). The three vertices are circumscribed by a circle (3).
Los tres marcadores de referencia (1) están situados en la superficie objetivo. La superficie objetivo puede ser una pista de aterrizaje, como se muestra en las figuras 2 y 3. Alternativamente, las cubiertas de buques o portaaviones también pueden ser una superficie objetivo. The three reference markers (1) are located on the target surface. The target surface can be an airstrip, as shown in Figures 2 and 3. Alternatively, the decks of ships or aircraft carriers can also be a target surface.
La figura 2 muestra una imagen de una pista de aterrizaje (8) y sus alrededores capturada desde una aeronave (10). Los tres marcadores de referencia (1) están situados en la pista de aterrizaje (8) y se ven desde una vista cenital. Los tres marcadores de referencia (1) forman un triángulo equilátero (2) visto desde dicha vista cenital. Figure 2 shows an image of an airstrip (8) and its surroundings captured from an aircraft (10). The three reference markers (1) are located on the airstrip (8) and are viewed from a bird's-eye view. The three reference markers (1) form an equilateral triangle (2) as seen from this bird's-eye view.
Las imágenes (4) capturadas de las figuras 2 y 3 se toman desde al menos un dispositivo de captura de imágenes situado en una aeronave (10). The images (4) captured from Figures 2 and 3 are taken from at least one image capture device located on an aircraft (10).
De las imágenes (4) capturadas de las figuras 2 y 3 se desprende claramente que, visto desde arriba, es decir, cenitalmente, es un triángulo equilátero (2). Existiría una circunferencia circunscrita (3) que pasa por los vértices del triángulo equilátero (2). Sin embargo, visto en perspectiva, como en la figura 3, el triángulo equilátero (2) dejaría de ser equilátero. En ese caso, la circunferencia circunscrita (3) se convertiría en una elipse circunscrita (6) tal y como se ve en la figura 4. From the images (4) captured from Figures 2 and 3, it is clear that, viewed from above, i.e., from a zenithal perspective, it is an equilateral triangle (2). There would be a circumscribed circle (3) passing through the vertices of the equilateral triangle (2). However, viewed in perspective, as in Figure 3, the equilateral triangle (2) would no longer be equilateral. In that case, the circumscribed circle (3) would become a circumscribed ellipse (6), as seen in Figure 4.
De acuerdo con lo anterior, los medios de procesamiento están configurados para recibir y procesar las imágenes (4) capturadas recibidas del al menos un dispositivo de formación de imágenes y configurados para: Accordingly, the processing means are configured to receive and process the captured images (4) received from at least one imaging device and configured to:
<o>detectar los marcadores de referencia (1) en la imagen (4) recibida, <o>detect the reference markers (1) in the received image (4),
<o>identificar el centroide (5) del triángulo (7) formado por los marcadores de referencia (1) en la imagen (4) recibida, <o>identify the centroid (5) of the triangle (7) formed by the reference markers (1) in the received image (4),
<o>circunscribir en la imagen (4) recibida los marcadores de referencia (1) mediante una elipse circunscrita (6) con centro en el centroide (5) del triángulo (7) y que pase por los vértices del triángulo (7), <o>circumscribe in the received image (4) the reference markers (1) by means of a circumscribed ellipse (6) centered on the centroid (5) of the triangle (7) and passing through the vertices of the triangle (7),
<o>determinar la posición relativa del objeto respecto a la superficie objetivo según sus coordenadas geométricas esféricas: distancia, elevación y acimut, mediante la relación geométrica en la imagen (4) recibida entre los semiejes y el ángulo del semieje mayor de la elipse circunscrita (6) y la posición de los marcadores de referencia (1) y del radio de su circunferencia circunscrita (3). <o>determine the relative position of the object with respect to the target surface according to its spherical geometric coordinates: distance, elevation and azimuth, by means of the geometric relationship in the received image (4) between the semi-axes and the angle of the semi-major axis of the circumscribed ellipse (6) and the position of the reference markers (1) and the radius of its circumscribed circle (3).
Dichas coordenadas geométricas esféricas se representan en el figura 5 respecto al objeto aeronave (10). Las coordinadas geométricas esféricas son la distancia, la elevación y el acimut. These spherical geometric coordinates are represented in Figure 5 with respect to the aircraft object (10). The spherical geometric coordinates are distance, elevation, and azimuth.
Los parámetros que definen a la elipse circunscrita (6), elipse de Steiner, tienen una solución analítica. Es la única elipse que pasa por los vértices de un triángulo y tiene como centro el centroide del triángulo (7). La elipse circunscrita (6) de Steiner es también la elipse de menor área que pasa por los vértices. The parameters that define the circumscribed ellipse (6), Steiner's ellipse, have an analytical solution. It is the only ellipse that passes through the vertices of a triangle and has as its center the centroid of the triangle (7). Steiner's circumscribed ellipse (6) is also the ellipse with the smallest area that passes through the vertices.
Los parámetros de la elipse circunscrita (6) son conocidos. Con ellos, como se ha explicado anteriormente, se puede realizar una estimación de la posición relativa de forma analítica. La estimación visual de la posición es el proceso de estimar la posición del objeto basándose en los datos proporcionados, por ejemplo, por una cámara (9). The parameters of the circumscribed ellipse (6) are known. With them, as explained above, an analytical estimation of the relative position can be performed. Visual position estimation is the process of estimating the object's position based on data provided, for example, by a camera (9).
El semieje mayor de la elipse circunscrita (6) mide lo mismo para cualquier acimut considerando una distancia al objeto constante. El semieje menor de la elipse circunscrita (6) varía sus dimensiones en función de la elevación del objeto sobre el objetivo para una misma distancia. The semi-major axis of the circumscribed ellipse (6) has the same length for any azimuth, considering a constant distance to the object. The semi-minor axis of the circumscribed ellipse (6) varies in length depending on the object's elevation above the target for the same distance.
La distancia, es la distancia de la cámara al centro de la elipse. Sabiendo la distancia focal de la cámara y las medidas reales del patrón y las percibidas en la imagen (4) es posible calcular la distancia a la que estoy viendo ese punto. The distance is the distance from the camera to the center of the ellipse. Knowing the camera's focal length and the actual measurements of the pattern and those perceived in the image (4), it is possible to calculate the distance at which I am viewing that point.
En el ejemplo de realización de la figura 6, el marco del dispositivo de formación de imágenes x - y - z es un marco tridimensional con el origen como centro de proyección y tiene su eje z apuntando en la dirección objetivo. El marco de la imagen (4) u - v es un marco bidimensional con los ejes u y v paralelos a los ejes x e y del marco del dispositivo de formación de imágenes, respectivamente. Es posible relacionar las coordenadas tridimensionales (x, y, z) con las coordenadas de la imagen (u, v) de la siguiente manera: In the implementation example in Figure 6, the x-y-z frame of the imaging device is a three-dimensional frame with the origin as its projection center and its z-axis pointing in the target direction. The u-v image frame (4) is a two-dimensional frame with the u and v axes parallel to the x and y axes of the imaging device frame, respectively. The three-dimensional coordinates (x, y, z) can be related to the image coordinates (u, v) as follows:
o either
Donde f es la distancia focal del dispositivo de formación de imágenes, u o v es el tamaño mayor de los semiejes de la elipse circunscrita (6) en la imagen (4) recibida, x o y son los radios reales del tamaño de la circunferencia circunscrita (3) y z la distancia desde el dispositivo de formación de imágenes a los marcadores de referencia (1). Where f is the focal length of the imaging device, u or v is the larger size of the semi-axes of the circumscribed ellipse (6) in the received image (4), x or y are the actual radii of the circumscribed circle size (3) and z is the distance from the imaging device to the reference markers (1).
f es una constante para un modelo de cámara específico y, para las ecuaciones anteriores, sus dimensiones están en píxeles. Se seleccionará un parámetro del marcador de referencia (1) para introducir en la ecuación tanto su dimensión real (x) como su longitud medida sobre la imagen (4) (u). Este parámetro es el semieje mayor de la elipse circunscrita (6). f is a constant for a specific camera model, and for the equations above, its dimensions are in pixels. A parameter from the reference marker (1) will be selected to introduce into the equation both its actual dimension (x) and its length measured on the image (4) (u). This parameter is the semi-major axis of the circumscribed ellipse (6).
Por lo tanto, en un ejemplo de realización para estimar la distancia del objeto respecto a los marcadores de referencia (1) el medio de procesamiento está configurado para calcular la relación geométrica utilizando la siguiente ecuación: Therefore, in an example implementation for estimating the distance of the object from the reference markers (1), the processing medium is configured to calculate the geometric relationship using the following equation:
dondefes la distancia focal del dispositivo de formación de imágenes,ves el tamaño del semieje mayor de la elipse circunscrita (6) en la imagen (4) recibida,yes el radio real del tamaño de la circunferencia circunscrita (3) y z la distancia del objeto a los marcadores de referencia (1). where f is the focal length of the imaging device, v is the size of the semi-major axis of the circumscribed ellipse (6) in the received image (4), y is the actual radius of the circumscribed circle (3) and z is the distance from the object to the reference markers (1).
En otro ejemplo de realización para estimar la elevación del objeto respecto a los marcadores de referencia (1) el medio de procesamiento está configurado para calcular la relación geométrica mediante el arcoseno de la relación entre el semieje menor y el semieje mayor de la elipse circunscrita (6). In another example of implementation for estimating the elevation of the object with respect to the reference markers (1) the processing means is configured to calculate the geometric relationship by means of the arcsine of the ratio between the semi-minor axis and the semi-major axis of the circumscribed ellipse (6).
En otro ejemplo de realización para estimar el acimut del objeto respecto a los marcadores de referencia (1) el medio de procesamiento está configurado para calcular el ángulo entre el semieje mayor de la elipse circunscrita (6) y uno de los lados del triángulo (7) formado por los marcadores de referencia (1) en la imagen (4) recibida desde una vista cenital a la superficie objetivo. In another example of implementation for estimating the azimuth of the object with respect to the reference markers (1) the processing means is configured to calculate the angle between the semi-major axis of the circumscribed ellipse (6) and one of the sides of the triangle (7) formed by the reference markers (1) in the image (4) received from a top-down view of the target surface.
El semieje mayor de la elipse circunscrita proporciona información del acimut del objeto. Dicho semieje mayor es perpendicular al vector que une el objeto con el origen proyectado en el plano, pero sólo si lo vemos desde una vista cenital. Al deformar la imagen por estar en otra vista ya no se cumple. En un ejemplo de realización el medio de procesamiento está configurado para deshacer esa deformación y tratar de replicar la vista cenital. The semi-major axis of the circumscribed ellipse provides information about the object's azimuth. This semi-major axis is perpendicular to the vector connecting the object to the origin projected onto the plane, but only when viewed from a top-down perspective. This is no longer the case when the image is distorted by a different viewpoint. In one implementation example, the processing system is configured to undo this distortion and attempt to replicate the top-down view.
El cálculo de dicho ángulo se puede realizar de diversos modos. En un ejemplo de realización el medio de procesamiento está configurado para calcular la inelipse de Steiner del triángulo (7) de los marcadores de referencia (1) y aplicar el teorema de Marden para el cálculo del ángulo entre el semieje mayor de dicha inelipse de Steiner y uno de los lados del triángulo (7), la base por ejemplo, que coincide con el ángulo del semieje mayor de la elipse circunscrita (6) y la base del triángulo (7). The calculation of this angle can be performed in various ways. In one embodiment, the processing medium is configured to calculate the Steiner inellipse of the triangle (7) from the reference markers (1) and apply Marden's theorem to calculate the angle between the semi-major axis of said Steiner inellipse and one of the sides of the triangle (7), the base for example, which coincides with the angle of the semi-major axis of the circumscribed ellipse (6) and the base of the triangle (7).
Más concretamente, partiendo de la base del Teorema de Marden: More specifically, based on Marden's Theorem:
Supóngase que los tres ceros complejos de un polinomio p(z) de tercer grado son z1, z2 y z3 y supóngase que estos tres puntos del plano complejo no sean colineales. Entonces existe una única elipse inscrita en el triángulo de vértices z1, z2, z3 y tangente a los lados en sus puntos medios: la inelipse de Steiner. Los focos de dicha elipse son precisamente los ceros del polinomio derivado p' (z).Suppose that the three complex zeros of a third-degree polynomial p(z) are z1, z2, and z3, and suppose that these three points in the complex plane are not collinear. Then there exists a unique ellipse inscribed in the triangle with vertices z1, z2, z3 and tangent to the sides at their midpoints: the Steiner inellipse. The foci of this ellipse are precisely the zeros of the derived polynomial p'(z).
La inelipse de Steiner, es una inelipse tangente a los lados del triángulo en sus puntos medios y tiene el área máxima de cualquier inelipse. También es la imagen de la circunelipse de Steiner en la homotecia con centro homotético G y razón de similitud 1/2. El significado de esto es que el eje de simetría de la inelipse de Steiner tendrá la misma dirección que la circunelipse de Steiner. Los focos de cualquier elipse están en el eje mayor y, aprovechando el teorema de Marden, la obtención de sus coordenadas se facilita. The Steiner inellipse is an inellipse tangent to the sides of the triangle at their midpoints and has the maximum area of any inellipse. It is also the image of the Steiner circumellipse under the homothety with homothetic center G and similarity ratio 1/2. This means that the axis of symmetry of the Steiner inellipse will have the same direction as that of the Steiner circumellipse. The foci of any ellipse lie on the major axis, and, using Marden's theorem, obtaining its coordinates is straightforward.
Por último, para obtener el ángulo entre el eje mayor de la elipse y el eje de un lado del triángulo, por ejemplo, la base del triángulo, se restan los focos de la inelipse de Steiner y se calcula el ángulo del número complejo resultante. Éste es el ángulo que define el acimut del objeto. Finally, to obtain the angle between the major axis of the ellipse and the axis of a side of the triangle, for example, the base of the triangle, the foci of the Steiner inellipse are subtracted, and the angle of the resulting complex number is calculated. This is the angle that defines the azimuth of the object.
En un ejemplo de realización, el sistema comprende un cuarto marcador de referencia (1) localizado en uno de los lados del triángulo equilátero (2) para determinar unívocamente el acimut. De este modo se resuelve la ambigüedad en la determinación del acimut, ya que, según los métodos de cálculo, es posible obtener tres soluciones de acimut si se utilizan tres puntos de referencia. In one embodiment, the system includes a fourth reference marker (1) located on one side of the equilateral triangle (2) to uniquely determine the azimuth. This resolves the ambiguity in determining the azimuth, since, according to calculation methods, three azimuth solutions can be obtained if three reference points are used.
Uno de los primeros aspectos que hay que resolver es determinar cómo deben ser los marcadores de referencia: de qué tipo, qué tamaño, cuántos, etc. One of the first aspects to resolve is determining what the reference markers should be like: what type, what size, how many, etc.
En un ejemplo de realización, los tres marcadores de referencia (1) son objetivos cooperativos pasivos. Los objetivos cooperativos pasivos, en oposición a los objetivos cooperativos activos, son más sencillos, es decir, mecánicamente menos complicados. Los objetivos cooperativos activos iluminan activamente la escena, tienen objetivos parpadeantes o algún otro mecanismo activo. Un ejemplo de este tipo de marcadores de referencia (1) activos podrían ser luces infrarrojas. In one implementation example, the three reference markers (1) are passive cooperative targets. Passive cooperative targets, as opposed to active cooperative targets, are simpler, that is, mechanically less complex. Active cooperative targets actively illuminate the scene, have flashing targets, or some other active mechanism. An example of such an active reference marker (1) could be infrared lights.
Más concretamente, los tres marcadores de referencia (1) pueden ser círculos, como se muestra en las figuras 2 y 3. Y más concretamente, los círculos pueden ser círculos blancos. More specifically, the three reference markers (1) can be circles, as shown in Figures 2 and 3. And more specifically, the circles can be white circles.
Las ventajas de utilizar círculos blancos como objetivos cooperativos pasivos son las siguientes: The advantages of using white circles as passive cooperative targets are as follows:
<o>Los objetivos cooperativos son una ayuda óptica a la navegación. El objetivo a buscar se conoce de antemano. Por tanto, los algoritmos pueden adaptarse a ellos, lo que se traduce en una gran eficacia y precisión. Cooperative goals are an optical navigation aid. The target to be found is known beforehand. Therefore, algorithms can adapt to them, resulting in greater efficiency and accuracy.
<o>Los círculos se detectan con solidez y son, en su mayoría, insensibles a traslaciones y rotaciones. Circles are detected reliably and are, for the most part, insensitive to translations and rotations.
<o>Los círculos blancos no son una figura geométrica habitual que pueda aparecer en las imágenes aéreas. <o>White circles are not a common geometric shape that can appear in aerial images.
<o>Se desea que el marcador de referencia (1) se vea desde la mayor distancia posible. Un círculo liso, sin elementos en su interior cumple esta característica. <o>It is desired that the reference marker (1) be visible from the greatest possible distance. A smooth circle, with no elements inside, fulfills this requirement.
En un ejemplo de realización, los centros de los círculos forman los vértices de los triángulos (3, 7). In one example of implementation, the centers of the circles form the vertices of the triangles (3, 7).
En un ejemplo de realización, el patrón es un patrón recursivo, por ejemplo, dentro de los tres círculos habría otros tres círculos y así sucesivamente. Esto es así, ya que, al acercarse el objeto al objetivo, el objeto puede ya tener fuera de su campo de visión los tres círculos exteriores. In one implementation example, the pattern is recursive; for instance, within the three circles there would be three more circles, and so on. This is because, as the object approaches the target, the three outer circles may already be outside its field of view.
En otro ejemplo de realización, los objetivos cooperativos pasivos están pintados con una pintura que contiene dióxido de titanio. Así, los círculos blancos están pintados con dióxido de titanio. In another example of implementation, the passive cooperative targets are painted with a paint containing titanium dioxide. Thus, the white circles are painted with titanium dioxide.
En otro ejemplo de realización, los objetivos cooperativos pasivos forman parte de una funda que se sitúa sobre la superficie objetivo. Así, la funda que comprende, por ejemplo, los círculos blancos, se extiende sobre el suelo. Los círculos pueden coserse a la funda, pintarse, pegarse, etc. In another implementation example, the passive cooperative targets are part of a sleeve that is placed over the target surface. Thus, the sleeve, comprising, for example, the white circles, is laid on the floor. The circles can be sewn to the sleeve, painted, glued, etc.
De acuerdo con lo anterior, en un ejemplo de realización, para determinar la posición 3D de una aeronave (10), deben detectarse los círculos blancos del marcador de referencia (1). En particular, los centros de los círculos son los parámetros buscados. Para obtenerlos, se utilizan técnicas de visión computacional. Entonces, se espera que, si se elige correctamente el umbral que discrimina si un píxel es blanco o negro, en una imagen binarizada aparezcan los círculos blancos. According to the above, in one implementation example, to determine the 3D position of an aircraft (10), the white circles of the reference marker (1) must be detected. Specifically, the centers of the circles are the parameters being sought. To obtain these, computer vision techniques are used. Therefore, it is expected that, if the threshold that discriminates whether a pixel is white or black is correctly chosen, the white circles will appear in a binarized image.
Una vez conseguidos los centros en este punto es necesario calcular la elipse circunscrita (6) que pasa por los vértices del triángulo (7). Once the centers have been obtained at this point, it is necessary to calculate the circumscribed ellipse (6) that passes through the vertices of the triangle (7).
En un ejemplo de realización, el dispositivo de formación de imágenes está situado en una aeronave (10), preferiblemente, está instalado en un eje longitudinal de la aeronave (10). In one embodiment, the imaging device is located on an aircraft (10), preferably installed on a longitudinal axis of the aircraft (10).
En un ejemplo de realización, la superficie objetivo es una pista de aterrizaje (8) y los marcadores de referencia (1) están situados en el inicio de la pista de aterrizaje (8) en su eje longitudinal como se muestra en las figuras 2 y 3. In one embodiment, the target surface is a runway (8) and the reference markers (1) are located at the start of the runway (8) on its longitudinal axis as shown in Figures 2 and 3.
El dispositivo de formación de imágenes puede ser una cámara. The imaging device can be a camera.
Existen varios tipos de cámaras (9) que utilizan tecnologías la luz estructurada. Sin embargo, para el aterrizaje basado en visión (VBL) la selección preferentemente se reduce a cámaras (9) monoculares y estereoscópicas. La selección de la cámara (9) influirá en el diseño de los marcadores de referencia (1). Preferiblemente, la elección es utilizar una cámara (9) monocular. There are several types of cameras (9) that utilize structured light technologies. However, for vision-based landing (VBL), the preferred choice is monocular and stereoscopic cameras (9). The selection of the camera (9) will influence the design of the reference markers (1). Preferably, a monocular camera (9) is used.
En un ejemplo de realización, la cámara (9) es una cámara de escala de grises. Si la cámara (9) instalada capturase imágenes en color, un paso intermedio en el proceso de visión por ordenador sería convertir la imagen RGB en una imagen de intensidad en escala de grises. Por lo tanto, la mejor opción es instalar en la aeronave (10) una cámara (9) de escala de grises. Esto se debe a que: In one implementation example, camera (9) is a grayscale camera. If the installed camera (9) captured color images, an intermediate step in the computer vision process would be to convert the RGB image into a grayscale intensity image. Therefore, the best option is to install a grayscale camera (9) on the aircraft (10). This is because:
<o>Cuando se carga en memoria, una imagen en escala de grises ocupa un tercio del espacio necesario para una imagen RGB. When loaded into memory, a grayscale image occupies one-third of the space required for an RGB image.
<o>Como una imagen en escala de grises tiene un tercio de los datos, requiere menos potencia de cálculo para procesarla y puede reducir el tiempo de cálculo. <o>Since a grayscale image has one-third of the data, it requires less computing power to process and can reduce computation time.
<o>Una imagen en escala de grises es conceptualmente más simple que una imagen RGB, por lo que el desarrollo de un algoritmo de tratamiento de imágenes puede ser más sencillo cuando se trabaja con escala de grises. <o>A grayscale image is conceptually simpler than an RGB image, so developing an image processing algorithm can be easier when working with grayscale.
Para cumplir la definición exacta de estimación de la posición del objeto, por ejemplo, una aeronave (10), también debe obtenerse la orientación de la aeronave (10). El sistema objeto de la invención permite obtener la orientación de la aeronave, por ejemplo, en la forma de ángulos de alabeo, cabeceo y guiñada. To meet the exact definition of estimating the position of an object, for example, an aircraft (10), the orientation of the aircraft (10) must also be obtained. The system of the invention allows obtaining the orientation of the aircraft, for example, in the form of roll, pitch, and yaw angles.
- Alabeo: mediante trigonometría se podría obtener el ángulo. - Warping: the angle could be obtained using trigonometry.
- Cabeceo: el centro de la elipse circunscrita (6) aparecerá más alto en la imagen captada (4) a medida que aumente el cabeceo de la aeronave (10). Mediante trigonometría se obtiene el ángulo. - Pitch: the center of the circumscribed ellipse (6) will appear higher in the captured image (4) as the pitch of the aircraft increases (10). The angle is obtained using trigonometry.
- Guiñada: a medida que la aeronave (10) guiña, el centro de la elipse circunscrita (6) se desplaza hacia la izquierda o la derecha en la imagen (4) captada. Mediante trigonometría, se obtiene el ángulo. - Yaw: As the aircraft (10) yaws, the center of the circumscribed ellipse (6) moves to the left or right in the captured image (4). The angle is obtained using trigonometry.
Es también objeto de la invención un sistema de navegación que comprende un sistema de posicionamiento relativo de un objeto respecto a una superficie objetivo basado en visión según lo explicado anteriormente. The invention also includes a navigation system comprising a vision-based relative positioning system for an object with respect to a target surface, as explained above.
Claims (1)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202430205A ES3036714A1 (en) | 2024-03-21 | 2024-03-21 | System and method for relative positioning of an object with respect to a target surface based on vision and navigation system of said object |
| PCT/ES2025/070121 WO2025196347A1 (en) | 2024-03-21 | 2025-03-07 | Vision-based system and method for the relative positioning of an object with respect to a target surface and a navigation system for navigating said object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202430205A ES3036714A1 (en) | 2024-03-21 | 2024-03-21 | System and method for relative positioning of an object with respect to a target surface based on vision and navigation system of said object |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES3036714A1 true ES3036714A1 (en) | 2025-09-23 |
Family
ID=97138438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES202430205A Pending ES3036714A1 (en) | 2024-03-21 | 2024-03-21 | System and method for relative positioning of an object with respect to a target surface based on vision and navigation system of said object |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES3036714A1 (en) |
| WO (1) | WO2025196347A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785646A (en) * | 2021-01-26 | 2021-05-11 | 联想(北京)有限公司 | Landing pose determining method and electronic equipment |
| US11194344B2 (en) * | 2016-08-26 | 2021-12-07 | SZ DJI Technology Co., Ltd. | Methods and system for autonomous landing |
| CN114689030A (en) * | 2022-06-01 | 2022-07-01 | 中国兵器装备集团自动化研究所有限公司 | Unmanned aerial vehicle auxiliary positioning method and system based on airborne vision |
| CN115402525A (en) * | 2022-11-02 | 2022-11-29 | 众芯汉创（北京）科技有限公司 | Unmanned aerial vehicle intelligence berths storehouse system suitable for individual soldier's operation |
-
2024
- 2024-03-21 ES ES202430205A patent/ES3036714A1/en active Pending
-
2025
- 2025-03-07 WO PCT/ES2025/070121 patent/WO2025196347A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11194344B2 (en) * | 2016-08-26 | 2021-12-07 | SZ DJI Technology Co., Ltd. | Methods and system for autonomous landing |
| CN112785646A (en) * | 2021-01-26 | 2021-05-11 | 联想(北京)有限公司 | Landing pose determining method and electronic equipment |
| CN114689030A (en) * | 2022-06-01 | 2022-07-01 | 中国兵器装备集团自动化研究所有限公司 | Unmanned aerial vehicle auxiliary positioning method and system based on airborne vision |
| CN115402525A (en) * | 2022-11-02 | 2022-11-29 | 众芯汉创（北京）科技有限公司 | Unmanned aerial vehicle intelligence berths storehouse system suitable for individual soldier's operation |
Non-Patent Citations (7)
| Title |
|---|
| 10/10/2019, [en línea][recuperado el 20/03/2025]. Recuperado de Internet (URL:https://es.wikipedia.org/wiki/Inelipse_de_Steiner#Construcci%C3%B3n_gr%C3%A1fica ), toda la página * |
| https://www.youtube.com/watch?v=SXfxcf5gtlQ. 21/12/2023, [en línea][recuperado el 20/03/2025]. Recuperado de Internet (URL:https://www.youtube.com/watch?v=SXfxcf5gtlQ), minutos 28 a 31 * |
| LI KUN ET AL. Development of an unmanned aerial vehicle for rooftop landing and surveillance. 2015 International Conference on Unmanned Aircraft Systems (ICUAS). 2015-06-09. , 09/06/2015, Páginas 832-838 [en línea][recuperado el 20/03/2025]. ISBN 978-1-4799-6010-1 (Electronic), ISBN 978-1-4799-6009-5 (CD), (DOI: 10.1109/ICUAS.2015.7152368) Todo el documento * |
| NGUYEN CUONG V. ET AL. A Novel Framework of Visual Detection, Tracking and Landing for UAVs Utilizing AR Markers. 2023 International Conference on Control, Robotics and Informatics (ICCRI). Danang, Vietnam. , 26/05/2023, Páginas 81-85 [en línea][recuperado el 20/03/2025]. ISBN 979-8-3503-2328-3 (electronic), (DOI: 10.1109/ICCRI58865.2023.00023) Todo el documento<br /> * |
| PASTOR ENRIC ET AL. A Hardware/Software Architecture for UAV Payload and Mission Control. 25th Digital Avionics Systems Conference, 2006 IEEE/AIAA. Portland, OR, USA. Thien Ngo, Greg Snead, Christopher J. Smith, 01/10/2006, Páginas 1-8 [en línea][recuperado el 20/03/2025]. ISBN 1-4244-0378-2 (CD), ISBN 1-4244-0377-4 (Paper), (DOI: 10.1109/DASC.2006.313738) Todo el documento<br /> * |
| TFG_FEDERICO_JOSE_GONZALEZ_VICO_PUERTAS.pdf. 15/09/2019, [en línea][recuperado el 20/03/2025]. Recuperado de Internet (URL:https://www.youtube.com/watch?v=SXfxcf5gtlQ), https://oa.upm.es/56813/1/TFG_FEDERICO_JOSE_GONZALEZ_VICO_PUERTAS.pdf * |
| WU ZHIXIN ET AL. Autonomous UAV Landing System Based on Visual Navigation. 2019 IEEE International Conference on Imaging Systems and Techniques (IST). Abu Dhabi, United Arab Emirates. , 09/12/2019, Páginas 1-6 [en línea][recuperado el 20/03/2025]. ISBN 978-1-7281-3868-8 (electronic), (DOI: 10.1109/IST48021.2019.9010264) Todo el documento<br /> * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2025196347A1 (en) | 2025-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11372455B2 (en) | Imaging sensor-based position detection | |
| Marut et al. | ArUco markers pose estimation in UAV landing aid system | |
| US20220124303A1 (en) | Methods and systems for selective sensor fusion | |
| US10515458B1 (en) | Image-matching navigation method and apparatus for aerial vehicles | |
| US11036946B2 (en) | Navigation using self-describing fiducials | |
| US20210042522A1 (en) | Method of and apparatus for analyzing images | |
| US7599789B2 (en) | Beacon-augmented pose estimation | |
| Xu et al. | Target location of unmanned aerial vehicles based on the electro-optical stabilization and tracking platform | |
| US11828859B2 (en) | Navigation using self-describing fiducials | |
| Hosseinpoor et al. | Pricise target geolocation and tracking based on UAV video imagery | |
| Nagai et al. | UAV borne mapping by multi sensor integration | |
| US20220377261A1 (en) | Real-time thermal camera based odometry and navigation systems and methods | |
| US20250251242A1 (en) | System for aircraft navigation based on image processing | |
| Celik et al. | Mono-vision corner SLAM for indoor navigation | |
| Pieniazek | Measurement of aircraft approach using airfield image | |
| KR101821992B1 (en) | Method and apparatus for computing 3d position of target using unmanned aerial vehicles | |
| Conte et al. | High accuracy ground target geo-location using autonomous micro aerial vehicle platforms | |
| US20240069214A1 (en) | Navigation Using Self-Describing Fiducials | |
| Andert et al. | Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation | |
| Unicomb et al. | Distance function based 6dof localization for unmanned aerial vehicles in gps denied environments | |
| Suzuki et al. | Vision based localization of a small UAV for generating a large mosaic image | |
| Hosseinpoor et al. | Pricise target geolocation based on integeration of thermal video imagery and rtk GPS in UAVS | |
| ES3036714A1 (en) | System and method for relative positioning of an object with respect to a target surface based on vision and navigation system of said object | |
| Celik et al. | Mvcslam: mono-vision corner slam for autonomous micro-helicopters in gps denied environments | |
| Al-Kaff | Vision-based navigation system for unmanned aerial vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BA2A | Patent application published |
Ref document number: 3036714 Country of ref document: ES Kind code of ref document: A1 Effective date: 20250923 |