FR3149687A1 - Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé - Google Patents

Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé Download PDF

Info

Publication number
FR3149687A1
FR3149687A1 FR2305862A FR2305862A FR3149687A1 FR 3149687 A1 FR3149687 A1 FR 3149687A1 FR 2305862 A FR2305862 A FR 2305862A FR 2305862 A FR2305862 A FR 2305862A FR 3149687 A1 FR3149687 A1 FR 3149687A1
Authority
FR
France
Prior art keywords
interest
area
aircraft
obstacle detection
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2305862A
Other languages
English (en)
Other versions
FR3149687B1 (fr
Inventor
Victor BAULIER
Bruno Capelle
Yannick Le Roux
Baptiste IDIART
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR2305862A priority Critical patent/FR3149687B1/fr
Priority to US18/735,728 priority patent/US20240412508A1/en
Publication of FR3149687A1 publication Critical patent/FR3149687A1/fr
Application granted granted Critical
Publication of FR3149687B1 publication Critical patent/FR3149687B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

P rocédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé La présente invention concerne un procédé de détection d’obstacles est mis en œuvre par un système de détection d’obstacles embarqué sur un aéronef, l’aéronef comportant au moins une caméra embarquée ayant un champ de vision associé, configurée pour acquérir des images numériques plein champ. Le procédé comporte des étapes de : a)-réception (50) d’au moins une image numérique plein champ capturée par ladite au moins une caméra embarquée, b)-détermination (54) d’une position spatiale d’une zone d’intérêt de taille prédéterminée dans ladite image numérique plein champ, et extraction (56) de ladite zone d’intérêt de ladite image numérique plein champ, c)-mise en œuvre d’un module de détection d’obstacles (58) sur ladite zone d’intérêt extraite, mettant en œuvre un réseau de neurones préalablement entraîné pour détecter et classifier des obstacles dans des images ayant ladite taille prédéterminée, chaque obstacle détecté étant localisé dans ladite zone d’intérêt. Figure pour l'abrégé : Figure 4

Description

Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé
La présente invention concerne un procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef, l’aéronef comportant au moins une caméra embarquée ayant un champ de vision associé. Elle concerne également un système de détection d’obstacles associé, et un programme d’ordinateur associé.
L’invention se situe dans le domaine de l’avionique, et s’applique plus particulièrement dans le domaine des aéronefs volant à basse altitude, tels que par exemple des hélicoptères, drones, aéronefs de surveillance (feux de forêts, frontières etc).
Le terme basse altitude désigne généralement une altitude inférieure ou égale à 900 mètres au-dessus du niveau de la mer ou AMSL (« Above Mean Sea Level »), ou de 300 mètres au-dessus du sol si le sol est à une altitude supérieure à 900 mètres au-dessus du niveau de la mer.
Il est nécessaire, pour un aéronef en général, et plus particulièrement en vol à basse altitude, de détecter des objets pouvant constituer d’éventuels obstacles, fixes ou en déplacement, pour éviter d’éventuelles collisions.
Par la suite, on appellera obstacle pour un aéronef un objet dont au moins une portion dépasse une altitude prédéterminée, l’objet étant fixe ou mobile. Par exemple, les obstacles fixes comprennent les poteaux, pylônes, câbles suspendus entre des pylônes, immeubles, tours. Les obstacles mobiles comprennent notamment d’autres aéronefs, par exemple des drones sans pilote à bord .
La détection d’obstacles présente par ailleurs un intérêt général pour la cartographie géo-référencée d’obstacles fixes à diverses altitudes, e.g. immeubles gratte-ciel, pylônes, éoliennes, permettant alors la mise en œuvre de stratégies d’évitement des obstacles sur la base d’une telle cartographie.
Certains aéronefs volant à basse altitude, par exemple des drones ou hélicoptères, ne sont pas équipés de solutions de détection d’obstacles, car les solutions existantes, à base de capteurs optroniques, sont coûteuses.
En outre, les aéronefs disposent de ressources calculatoires et de ressources énergétiques limitées, et il est intéressant de mettre au point des solutions minimisant la consommation d’énergie électrique en particulier.
L’invention a pour objet de remédier aux inconvénients des méthodes connues, en fournissant une solution de détection d’obstacles embarquée compatible avec des capteurs embarqués existants et de faible consommation énergétique.
A cet effet, l’invention a pour objet un procédé de détection d’obstacles mis en œuvre par un système de détection d’obstacles embarqué sur un aéronef, l’aéronef comportant au moins une caméra embarquée ayant un champ de vision associé, configurée pour acquérir des images numériques plein champ. Ce procédé est mis en œuvre par un processeur d’une plateforme de calcul et comporte des étapes de :
a)-réception d’au moins une image numérique plein champ capturée par ladite au moins une caméra embarquée,
b)-détermination d’une position spatiale d’une zone d’intérêt de taille prédéterminée dans ladite image numérique plein champ, et extraction de ladite zone d’intérêt de ladite image numérique plein champ,
c)-mise en œuvre d’un module de détection d’obstacles sur ladite zone d’intérêt extraite, mettant en œuvre un réseau de neurones préalablement entraîné pour détecter et classifier des obstacles dans des images ayant ladite taille prédéterminée, chaque obstacle détecté étant localisé dans ladite zone d’intérêt.
Avantageusement, le procédé de l’invention permet de limiter la consommation de ressources calculatoires et énergétiques, tout en fournissant une détection d’obstacle précise grâce à l’utilisation d’un module de détection d’obstacles mettant en œuvre un réseau de neurones préalablement entraîné.
Le procédé de détection d’obstacles selon l’invention peut également présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement envisageables.
Ce procédé comporte en outre une étape de post-traitement comprenant un calcul d’une distance entre l’aéronef et le ou chaque obstacle détecté et/ou une mémorisation d’une position géo-référencée, dans un référentiel terrestre fixe, pour chaque obstacle détecté appartenant à une classe d’obstacles fixes.
Ce procédé comporte la répétition de la détermination d’une position spatiale d’une zone d’intérêt dans une même image numérique grand champ, permettant d’obtenir une pluralité de zones d’intérêt dans ladite image numérique grand champ.
Avant l’étape b) de détermination d’une position spatiale d’une zone d’intérêt, le procédé comporte une étape d’acquisition d’au moins une information avionique relative à un paramètre de déplacement de l’aéronef, et la détermination d’une position spatiale est fonction d’au moins une information avionique.
L’information avionique comporte un vecteur de trajectoire de l’aéronef, la zone d’intérêt étant centrée sur un point indiqué par la direction dudit vecteur de trajectoire.
La détermination d’une position spatiale d’une zone d’intérêt comporte une réception d’une position spatiale de zone d’intérêt au moyen d’une interface de communication avec un système externe.
La détermination d’une position spatiale d’une zone d’intérêt comporte une réception d’une position spatiale de zone d’intérêt d’un autre capteur embarqué par l’aéronef.
La caméra étant configurée pour acquérir une succession d’images numériques plein champ formant une vidéo, les étapes a) à c) sont mises en œuvre sur un sous-ensemble d’images numériques acquises espacées temporellement d’un pas temporel donné, le procédé comportant en outre un suivi temporel des obstacles détectés.
Selon un autre aspect, l’invention concerne un système de détection d’obstacles adapté pour être embarqué sur un aéronef, l’aéronef comportant au moins une caméra embarquée ayant un champ de vision associé, configurée pour acquérir des images numériques plein champ, le système de détection d’obstacles comportant une plateforme de calcul comportant au moins un processeur configuré pour mettre en œuvre:
- un module de réception d’au moins une image numérique plein champ capturée par ladite au moins une caméra embarquée,
- un module de détermination d’une position spatiale d’une zone d’intérêt de taille prédéterminée dans ladite image numérique plein champ, et d’extraction de ladite zone d’intérêt de ladite image numérique plein champ,
-un module de détection d’obstacles, prenant en entrée ladite zone d’intérêt et mettant en œuvre un réseau de neurones préalablement entraîné pour détecter et classifier des obstacles dans des images ayant ladite taille prédéterminée, chaque obstacle détecté étant localisé dans ladite zone d’intérêt.
Selon un aspect avantageux, le système de détection d’obstacles comporte en outre un module de post-traitement, configuré pour calculer une distance entre l’aéronef et le ou chaque obstacle détecté et/ou mémoriser une position géo-référencée, dans un référentiel terrestre fixe, pour chaque obstacle détecté appartenant à une classe d’obstacles fixes.
Selon un autre aspect, l’invention concerne un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé de détection d’obstacles tel que défini ci-dessus.
D’autres caractéristiques et avantages de l’invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles :
la est un synoptique d’un système de détection d’obstacles dans un exemple de mise en œuvre ;
la représente schématiquement un premier exemple d’image numérique grand champ comportant deux zones d’intérêt ;
la représente schématiquement un deuxième exemple d’image numérique grand champ comportant une zone d’intérêt ;
la est un logigramme des principales étapes d’un procédé de détection d’obstacles selon un mode de réalisation.
La représente schématiquement un aéronef 2, équipé d’un système de détection d’obstacles 4 embarqué.
L’aéronef 2 est équipé d’une pluralité de d’instruments avioniques 6, par exemple un capteur 6A configuré pour fournir une position géo-référencée de l’aéronef, par exemple un capteur GPS, un capteur inertiel 6B, et un calculateur de données aérodynamiques 6C, également appelé ADC pour « Air Data Computer », configuré pour fournir des données de vol à partir d’une pluralité de capteurs externes, les capteurs externes étant par exemple des sondes de pression, des sondes de température ou des sondes d’incidence.
Les instruments avioniques 6A, 6B, 6C sont donnés à titre d’exemple, tout autre instrument avionique connu peut être présent, selon le type d’aéronef 2.
Les instruments avioniques sont des instruments certifiés par des normes de sécurité avionique et fournissent des informations avioniques, notamment des informations relatives aux paramètres de déplacement de l’avion, en particulier des vecteurs de trajectoire de vol ou vecteurs FPV (pour « Flight Path Vector »), vecteurs de vitesse, informations relatives à l’attitude de l’aéronef, informations de positionnement dans un référentiel terrestre fixe, également appelé géo-référencé, par exemple des coordonnées GPS.
L’aéronef est également équipé d’une caméra 8 ayant un champ de vision associé.
Par exemple, la caméra 8 est une caméra optique avec un champ de vision large, e.g. un champ de vision d’au moins 120°, par exemple fournissant des images numériques successives dites images numériques plein champ, de grande taille. La taille d’une image numérique est définie par son nombre de lignes et son nombre de colonnes, en pixels. Par exemple les images numériques plein champ sont des images numériques Ultra Haute Définition (ou UHD), également appelées images 4K, par exemple de taille 3840x2160 pixels. En variante, une taille supérieure est envisagée.
Par exemple, la caméra 8 est fixée à l’aéronef et orientée vers l’extérieur, de manière à ce que le champ de vision de la caméra englobe une zone située au-devant à l’aéronef, avec une orientation angulaire par rapport à un axe vertical, choisie de manière à capter une partie du sol survolé lorsque l’aéronef est en vol.
Ainsi, le système de détection 4 est capable de détecter à la fois des obstacles situés au sol et des obstacles aériens lorsque l’aéronef 2 est en vol. Le système de détection 4 est activable, par exemple par commande, de préférence lorsque l’aéronef est en vol.
Bien entendu, d’autres variantes de positionnement de la caméra 8 sont envisageables.
Selon une variante, l’aéronef 2 embarque plusieurs caméras optiques 8, positionnées à divers endroits, par exemple avec des orientations différentes vers l’extérieur de l’aéronef.
En complément optionnel, une ou plusieurs autres caméras 10, de type différent des caméras optiques 8, sont également embarquées, par exemple une caméra infrarouge 10.
L’aéronef comporte, de manière connue, un système avionique référencé 5, configuré pour implémenter des fonctionnalités avioniques de niveau de sécurité certifié par des normes de sécurité avionique, notamment configuré pour implémenter un système de gestion de vol FMS (de l’anglais Flight Management System), un système de guidage, un système de commandes de vol etc.Le système de détection d’obstacles 4 comporte une plateforme de calcul périphérique 12. Différemment du système avionique 5 et plus généralement des instruments avioniques embarqués, la plateforme de calcul périphérique 12 comporte, en plus d’une première interface de communication 14, configurée pour communiquer avec les instruments avioniques 6, le système avionique 5 et plus généralement avec tous les équipements de bord certifiés selon des normes de sécurité avionique, une deuxième interface de communication 16, permettent de communiquer, par un système de communication sans fil, avec des systèmes externes 18, 20, non soumis aux normes de sécurité avionique.
Par exemple, la première interface de communication 14 est configurée pour communiquer avec les équipements de bord certifiés par une communication filaire ou par une communication sans fil, par exemple Wifi ou Bluetooth.
La deuxième interface de communication 16 est par exemple configurée pour communiquer avec des systèmes externes 18, 20 non certifiés, par un protocole de communication radio, par exemple un protocole standard de téléphonie mobile 4G ou 5G, le protocole de communication par satellite SATCOM, le protocole Datalink AOC/ATC (pour « Aeronautical Operation Control »/ « Air Traffic Control »).
Par exemple le système externe 18 est un autre aéronef, comportant notamment une interface de communication compatible avec l’interface de communication 16.
Par exemple, le système externe 20 est un système de calcul distant situé au sol, par exemple un centre de contrôle.
Selon des variantes, la plateforme de calcul périphérique 12 comprend plusieurs deuxièmes interfaces de communication radio 16, selon plusieurs protocoles de communication radio, permettant de communiquer avec systèmes externes mettant en œuvre des protocoles de communication radio différents.
La plateforme de calcul périphérique 12 est, dans un mode de réalisation, un dispositif de calcul électronique comportant en outre une unité de traitement 22, comportant un ou plusieurs processeurs (CPU ou GPU), au moins une unité de mémoire électronique 24 et une interface homme-machine 26, ces éléments étant adaptés à communiquer via un bus de communication (non représenté).
Dans l’exemple de la seule une unité de traitement 22 et une unité de mémoire électronique 24 sont représentées.
L’unité de mémoire électronique 24 comporte notamment des mémoires de type RAM, ROM, tout type de mémoire non-volatile (par exemple FLASH, NVRAM).
L’ensemble des unité(s) de traitement 22 et unité(s) de mémoire électronique 24 forme les ressources calculatoires locales de la plateforme de calcul périphérique 12.
Dans un mode de réalisation, la plateforme de calcul périphérique 12 est modulaire, plusieurs unités de traitement et de mémoire pouvant être ajoutées, ce qui permet une augmentation dynamique des ressources disponibles, en fonction des besoins.
L’unité de traitement 22 est configurée pour exécuter :
  • un module 28 de réception d’au moins une image numérique plein champ capturée par la caméra 8 embarquée, et de réception d’au moins une information avionique relative à un paramètre de déplacement de l’aéronef ;
  • un module 30 de détermination d’une position spatiale d’une zone d’intérêt de taille prédéterminée dans ladite image numérique plein champ, et d’extraction de ladite zone d’intérêt de ladite image numérique plein champ,
  • un module 32 de détection d’obstacles mettant en œuvre un réseau de neurones préalablement entraîné pour détecter et classifier des obstacles, appliqué sur la zone d’intérêt de taille prédéterminée ;
  • un module 34 de post-traitement.
Par exemple, le module 32 de détection d’obstacles met en œuvre un réseau de neurones préalablement entraîné par apprentissage machine, par exemple un réseau de neurones multicouches, de type réseau de neurones convolutionnel (ou CNN) ou un réseau de neurones récurrent (RNN) entraîné par apprentissage profond (en anglais ‘deep learning’).
Par exemple, le module de post-traitement 34 met en œuvre un calcul d’une distance entre l’aéronef et le ou chaque obstacle détecté et/ou une mémorisation d’une position géo-référencée pour chaque obstacle détecté appartenant à une classe d’obstacles fixes.
Les modules 28, 30, 32 et 34 sont adaptés à coopérer, comme décrit plus en détail ci-après, pour mettre en œuvre un procédé de détection d’obstacles tel que décrit plus en détail ci-après, selon divers modes de réalisation.
Dans un mode de réalisation, les modules 28, 30, 32 et 34 sont réalisés sous forme d’instructions logicielles formant un programme d’ordinateur, qui, lorsqu’il est exécuté par un ordinateur, met en œuvre un procédé de détection d’obstacles selon l’invention.
En variante non représentée, les modules 28, 30, 32 et 34 sont réalisés chacun sous forme de composants logiques programmables, tels que des FPGA (de l’anglaisField Programmable Gate Array), des microprocesseurs, des composants GPGPU (de l’anglaisGeneral-purpose processing on graphics processing), ou encore de circuits intégrés dédiés, tels que des ASIC (de l’anglaisApplication Specific Integrated Circuit).
Le programme d’ordinateur comportant des instructions logicielles est en outre apte à être enregistré sur un support, non représenté, lisible par ordinateur. Le support lisible par ordinateur est par exemple, un médium apte à mémoriser les instructions électroniques et à être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible est un disque optique, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, tout type de mémoire non-volatile (par exemple FLASH, NVRAM), une carte magnétique ou une carte optique.
Dans un mode de réalisation, le système externe 20 comporte ou est connecté à un centre de commande opérationnel, comportant un ou plusieurs dispositifs de calcul programmables interconnectés, ou encore le système externe 20 est connecté à un équipement informatique en nuage (de l’anglais « cloud computing »). Grâce à la liaison de communication établie via la deuxième interface de communication, le système externe 20 est en communication bidirectionnelle avec la plateforme de calcul périphérique 12. Cela permet avantageusement de déporter une partie des calculs à effectuer sur le système externe 20, et ainsi d’alléger la consommation de ressources calculatoires et électriques embarquées. En d’autres termes, la plateforme 12 coopère avec le système externe 20 pour la mise en œuvre des calculs, les résultats des calculs effectués par le système externe étant transmis à la plateforme de calcul périphérique 12 via la liaison de communication bidirectionnelle.
La illustre schématiquement une image numérique plein champ I, par exemple une image UHD, de taille C colonnes par L lignes, avec C=3840 et L=2160 pixels.
Deux zones d’intérêt référencés respectivement Z1et Z2sont également représentées. Ces zones d’intérêt sont des sous-images de l’image numérique plein champ I, de taille prédéterminée N colonnes, M lignes, avec N<C et M<L.
Par exemple, N est compris entre 128 et 1024et M est compris entre 128 et 1024, par exemple N=1024 et M=1024 ou N=1024 et M=512.
Les zones d’intérêt Z1, Z2représentées dans la sont disjointes.
En variante, les zones d’intérêt déterminés peuvent se chevaucher partiellement.
Des plus, des obstacles détectés O1, O2 sont schématiquement représentés dans la . Les obstacles sont représentés de manière schématique, par les rectangles circonscrits aux objets. Par exemple, les objets détectés sont des pylônes portant des câbles électriques.
La illustre également schématiquement une image numérique plein champ I, et une zone d’intérêt déterminée dans un autre mode de réalisation. Dans l’exemple de la , la position de la zone d’intérêt Z est indiquée par le vecteur V de trajectoire de vol de l’aéronef, représentatif de la direction de la trajectoire à un instant t. Par exemple la zone d’intérêt Z est centrée sur un point P0indiqué par le vecteur V, qui correspond à la projection du vecteur V sur le champ de vision de la caméra générant l’image numérique plein champ I.
Les figures 2 et 3 illustrent des exemples de mode de réalisation, étant entendu que d’autres modes de réalisation sont envisageables, par exemple : un suivi de zone d’intérêt (ou « tracking » en anglais) sur une pluralité d’images numériques successives formant une vidéo, avec un pas d’échantillonnage temporel choisi : un positionnement de zone d’intérêt en fonction d’une information fournie par une autre caméra embarquée, par exemple une caméra infrarouge ; un positionnement de zone d’intérêt en fonction d’une information en provenance d’un système extérieur, par exemple en provenance d’un autre aéronef, via la deuxième interface de communication 16.
La est un synoptique des principales étapes d’un procédé de détection d’obstacles selon un mode de réalisation.
Le procédé comporte une étape 50 de réception d’une image numérique I, dite image numérique plein champ, capturée par la caméra 8. Les étapes du procédé sont ensuite itérées, par exemple sur toutes les images numériques plein champ capturées par la caméra, ou sur un sous-ensemble des images numériques plein champ capturées, espacées d’un pas temporel choisi, ou en d’autres terme pour une image numérique sur X, le nombre X étant choisi en fonction de diverses contraintes. Dans ce cas, un suivi ou « tracking » des objets détectés est appliqué en plus.
La position de la caméra, par exemple dans un référentiel spatial associé à l’aéronef, l’orientation de la caméra et les paramètres de calibration de la caméra sont également obtenus et mémorisés, pour une utilisation pour assurer la conformité des images générées.
Le procédé comporte également, optionnellement, une étape 52 d’acquisition d’informations avioniques en provenance des instruments avioniques de bord, comportant au moins une information relative à un paramètre de déplacement de l’aéronef, par exemple le vecteur de trajectoire de vol. De préférence d’autres informations avioniques, par exemple le vecteur de vitesse et l’attitude de l’aéronef sont également fournies, ainsi que la position géo-référencée de l’aéronef. Par exemple, les informations avioniques telles que les attitudes de l’aéronef (cap magnétique, assiette et inclinaison) proviennent d’une centrale inertielle.
Le procédé comporte en outre une étape 54 de détermination d’une position spatiale d’une zone d’intérêt dans l’image numérique I reçue à l’étape 50.
Une zone d’intérêt est de préférence une zone rectangulaire, de taille prédéterminée, ie un nombre N de lignes et un nombre M de colonnes, N et M étant des entiers préalablement fixés. En d’autres termes, une zone d’intérêt correspond à une sous-image de taille NxM de l’image numérique I.
Une position spatiale de la zone d’intérêt dans un référentiel spatial choisi est par exemple indiquée par les coordonnées d’un coin, par exemple le coin supérieur gauche, de la zone d’intérêt, dans le référentiel spatial choisi. Par exemple, le référentiel spatial choisi est le référentiel spatial associé à l’image numérique I.
Par exemple, le coin supérieur gauche de l’image numérique I est l’origine du référentiel spatial associé à l’image numérique I, et les coordonnées des points respectifs sélectionnables dans l’image numérique I sont les indices de ligne et de colonne associés.
En variante, la position spatiale de la zone d’intérêt est indiquée par les coordonnées du centre du rectangle formant la zone d’intérêt dans le référentiel spatial choisi.
Il est à noter que connaissant la position et l’orientation de la caméra, il est aisé de passer d’un référentiel spatial associé à l’image au référentiel spatial associé à l’aéronef, puis dans un référentiel terrestre fixe (ou géo-référencé) connaissant les attitudes de l’aéronef.
Plusieurs modes de réalisation sont envisagés pour la détermination 54 de la position spatiale d’une zone d’intérêt.
Dans un premier mode de réalisation, la position spatiale est déterminée aléatoirement. Par exemple, un tirage pseudo-aléatoire est mis en œuvre pour déterminer les coordonnées respectives (x,y) d’un point P, ce point P étant alors choisi comme coin supérieur gauche de la zone d’intérêt. Ce premier mode de réalisation est particulièrement adapté pour une application de cartographie d’obstacles fixes, comme indiqué plus loin en référence aux étapes 60 et 62.
Dans un deuxième mode de réalisation, des informations avioniques sont utilisées pour calculer un point de projection du vecteur de trajectoire de vol (vecteur FPV), ce point étant par exemple choisi comme centre de la zone d’intérêt. Ces informations avioniques sont par exemple le vecteur FPV et/ou la dérivée du vecteur FPV, les attitudes de l’aéronef, le vecteur de vitesse de l’aéronef, ainsi que la position relative de la caméra 8 par rapport à l’aéronef. Ce mode de réalisation est particulièrement approprié pour l’évitement de collisions éventuelles entre l’aéronef et un obstacle se trouvant sur sa trajectoire.
Dans un troisième mode de réalisation, les coordonnées (x,y) d’un point P, le point P étant par exemple un des coins de la zone d’intérêt, sont reçues d’un système externe à l’étape de détermination 54, par exemple d’un deuxième aéronef, distinct du premier aéronef qui implémente le procédé. Ce mode de réalisation est particulièrement utile pour une application de détection d’obstacles coopérative, par exemple dans le cas où un premier aéronef est équipé de capteurs plus performants, par exemple une caméra de champ de vision large, que le ou les deuxième(s) aéronefs. Par exemple, dans ce mode de réalisation, les coordonnées du point P sont exprimées dans le référentiel terrestre fixe (ou géo-référencé) et transformées ensuite en coordonnées dans le référentiel spatial associé à l’aéronef ou en coordonnées dans le référentiel spatial associé à l’image numérique.
Dans un quatrième mode de réalisation, les coordonnées (x,y) d’un point P, le point P étant par exemple un des coins de la zone d’intérêt sont obtenues en fonction d’informations fournies par un autre capteur embarqué, par exemple une autre caméra embarquée. Ce mode de réalisation est particulièrement utile pour une application de détection d’obstacles détectés en partie par un autre capteur. Dans ce mode de réalisation également, les informations de position de chaque caméra, par exemple dans un référentiel associé à l’aéronef, et d’orientation de chaque caméra, ainsi que les paramètres de calibration respectifs sont utilisées pour effectuer un recalage des coordonnées du point P considéré dans un référentiel spatial commun, par exemple le référentiel spatial associé à l’aéronef.
Les divers modes de réalisation de l’étape de détermination peuvent être également combinés, ce qui résulte en la détermination de plusieurs zones d’intérêt par plusieurs méthodes distinctes.
Le procédé comprend ensuite une étape 56 d’extraction de la zone d’intérêt, cette étape consistant à extraire la matrice de valeurs de pixels correspondant à la zone d’intérêt, formant une image de taille NxM, sous-image de l’image numérique I.
Cette matrice est alors fournie en entrée d’un module de détection d’obstacles mettant en œuvre un réseau de neurones préalablement entraîné par apprentissage machine pour détecter et classifier des obstacles. Le module de détection d’obstacles est alors exécuté à l’étape 58 de détection d’obstacles.
Par exemple, plusieurs classes d’obstacles sont prédéterminées, ces classes comportant notamment des pylônes électriques, lignes électriques, éoliennes, poteaux électriques, antennes, projecteurs de stades.
Le module de détection d’obstacles fournit, à l’issue de l’étape 58, un résultat de détection de zéro, un ou plusieurs obstacles dans la zone d’intérêt traitée, chaque obstacle ayant une classe associée et une position spatiale dans la zone d’intérêt. Cela permet alors de calculer les coordonnées correspondantes de l’obstacle détecter dans le référentiel spatial associé à l’aéronef et/ou dans le référentiel terrestre fixe.
De préférence, le module de détection d’obstacles met en œuvre un réseau de neurones.
Le réseau de neurones comporte une succession ordonnée de couches de neurones dont chacune prend ses entrées sur les sorties de la couche précédente.
Plus précisément, chaque couche comprend des neurones prenant leurs entrées sur les sorties des neurones de la couche précédente, ou bien sur les variables d’entrée pour la première couche.
En variante, des structures de réseaux de neurones plus complexes peuvent être envisagées avec une couche qui peut être reliée à une couche plus lointaine que la couche immédiatement précédente.
À chaque neurone est également associée une opération, c’est-à-dire un type de traitement, à effectuer par ledit neurone au sein de la couche de traitement correspondante.
Chaque couche est reliée aux autres couches par une pluralité de synapses. Un poids synaptique est associé à chaque synapse, et chaque synapse forme une liaison entre deux neurones. C’est souvent un nombre réel, qui prend des valeurs positives comme négatives. Dans certains cas, le poids synaptique est un nombre complexe.
Chaque neurone est propre à effectuer une somme pondérée des valeur(s) reçue(s) de la part des neurones de la couche précédente, chaque valeur étant alors multipliée par le poids synaptique respectif de chaque synapse, ou liaison, entre ledit neurone et les neurones de la couche précédente, puis à appliquer une fonction d’activation, typiquement une fonction non-linéaire, à ladite somme pondérée, et à délivrer en sortie dudit neurone, en particulier aux neurones de la couche suivante qui lui sont connectés, la valeur résultant de l’application de la fonction d’activation. La fonction d’activation permet d’introduire une non-linéarité dans le traitement effectué par chaque neurone. La fonction sigmoïde, la fonction tangente hyperbolique, la fonction de Heaviside sont des exemples de fonction d’activation.
En complément facultatif, chaque neurone est également apte à appliquer, en outre, un facteur multiplicatif, également appelé biais, à la sortie de la fonction d’activation, et la valeur délivrée en sortie dudit neurone est alors le produit de la valeur de biais et de la valeur issue de la fonction d’activation.
Un réseau de neurones à convolution est aussi parfois dénommé réseau de neurones convolutif ou par le sigle CNN qui renvoie à la dénomination anglaise de «Convolutional Neural Networks».
Dans un réseau de neurones à convolution, chaque neurone d’une même couche présente exactement le même schéma de connexion que ses neurones voisins, mais à différentes positions d'entrée. Le motif de connexion est appelé noyau de convolution ou, plus souvent, «kernel» en référence à la dénomination anglaise correspondante.
Une couche de neurones entièrement connectée est une couche dans laquelle les neurones de ladite couche sont chacun connectés à tous les neurones de la couche précédente.
Un tel type de couche est plus souvent dénommé selon le terme anglais de «fully connected», et parfois désigné sous la dénomination « couche dense ».
Dans un mode de réalisation, les algorithmes YOLO (de l’anglais “You Only Look Once”) et SSD (de l’anglais “Single Shot Detector”) sont utilisés pour la détection d’obstacles.
Dans certains modes de réalisation, plusieurs zones d’intérêt, pouvant se chevaucher partiellement, sont déterminées à l’étape 54. Dans ce cas, chaque zone d’intérêt est extraite et fournie en entrée de l’étape 58 de détection d’obstacles, qui est appliquée autant de fois qu’il y a de zones d’intérêt à traiter.
En sortie de l’étape 58 sont obtenus, le cas échéant, une pluralité d’obstacles détectés sur la ou les zones d’intérêt extraites de l’image numérique I, O1,…On, chaque obstacle ayant une classe associée, et étant localisé dans la zone d’intérêt. Par exemple, la position de chaque obstacle détecté dans la zone d’intérêt est exprimée par des coordonnées spatiales dans un référentiel choisi.
Le procédé comporte alors une étape 60 de post-traitement, qui utilise le résultat de l’étape 58 de détection d’obstacles.
A partir de la position d’un obstacle O dans la zone d’intérêt, exprimée par des premières coordonnées (x1,y1), il est possible d’obtenir la position de l’obstacle O dans l’image numérique I est obtenue exprimée par des deuxièmes coordonnées (x2,y2), et/ou la position de l’obstacle O dans le référentiel spatial de l’aéronef exprimée par des troisièmes coordonnées (x3,y3,z3), et/ou la position de l’obstacle O dans le référentiel terrestre fixe (ou géo-référencé) exprimée par des quatrièmes coordonnées (x4,y4,z4). Le passage d’un référentiel spatial à l’autre est effectué par des transformations affines de manière connue, à la portée de l’homme du métier.
Lors du post-traitement 60, la distance relative entre l’aéronef et chaque obstacle détecté peut être calculée.
De plus, en utilisant des informations avioniques, par exemple la vitesse de déplacement de l’aéronef et le vecteur de trajectoire de vol, il est également possible de calculer un temps restant avant impact éventuel si la direction de trajectoire est maintenue.
En outre, en utilisant les informations avioniques, notamment la position géo-référencée de l’aéronef au moment de la capture de l’image numérique I, il est aisé de calculer, pour chaque obstacle détecté, et notamment pour chaque obstacle fixe, les coordonnées correspondantes de l’obstacle dans le référentiel géo-référencé. La position d’un obstacle exprimée dans le référentiel géo-référence est dite position géo-référencée de l’obstacle. Le post-traitement 60 peut comprendre, en outre, une mémorisation d’une position géo-référencée pour chaque obstacle détecté appartenant à une classe d’obstacles fixes. Cela permet alors d’enrichir une cartographie d’obstacles fixes.
Le procédé comprend en outre, optionnellement, une étape supplémentaire 62 d’exploitation de la détection d’obstacles, comprenant par exemple un affichage sur l’interface homme-machine de la plateforme 12 et/ou la transmission du résultat de la détection d’obstacles, en utilisant la deuxième interface de communication, par exemple à un centre de contrôle au sol.
En outre, si la détection d’obstacles a permis de détecter un obstacle sur la trajectoire de l’aéronef, par exemple avec un temps restant avant impact éventuel Ti inférieur à un seuil temporel prédéterminé Ts, une levée d’alarme est effectuée à l’étape 62. En variante, une modification automatique de la trajectoire pour éviter une collision peut être envisagée, par exemple si l’aéronef est un drone sans pilote à bord.
Ainsi, avantageusement, le procédé permet l’évitement de collision d’aéronefs en vols.
De plus, avantageusement, le procédé permet également de réaliser une cartographie d’obstacles fixes, grâce à une solution embarquée compatible avec des capteurs embarqués existants et de faible consommation énergétique.
L’utilisation d’un module de détection d’obstacles mettant en œuvre un réseau de neurones permet d’obtenir une bonne précision de détection des obstacles, avec un coût calculatoire maîtrisé grâce à l’utilisation de zone d’intérêt de taille prédéterminée, compatible avec un fonctionnement rapide et efficace du réseau de neurones.
De plus, l’extraction de zones d’intérêt de l’image numérique plein champ plutôt qu’une diminution par calcul de la taille de l’image numérique plein champ pour atteindre la taille prédéterminée compatible avec le module de détection permet d’améliorer la précision de la détection d’obstacles.
Il est à noter que le procédé décrit ci-dessus préconise l’extraction de zones d’intérêt de taille prédéterminée, la taille prédéterminée correspondant à la taille des données d’entrée du module de détection mettant en œuvre un réseau de neurones.
Alternativement, il est envisageable de mettre en œuvre plusieurs tailles, en fonction de plusieurs niveaux de performance qualitative des algorithmes mis en œuvre par le module de détection d’obstacles.

Claims (11)

  1. Procédé de détection d’obstacles mis en œuvre par un système de détection d’obstacles embarqué sur un aéronef, l’aéronef comportant au moins une caméra (8, 10) embarquée ayant un champ de vision associé, configurée pour acquérir des images numériques plein champ, le procédé étant mis en œuvre par un processeur (22) d’une plateforme de calcul (12), et comportant des étapes de :
    a)-réception (50) d’au moins une image numérique plein champ capturée par ladite au moins une caméra embarquée,
    b)-détermination (54) d’une position spatiale d’une zone d’intérêt de taille prédéterminée dans ladite image numérique plein champ, et extraction (56) de ladite zone d’intérêt de ladite image numérique plein champ,
    c)-mise en œuvre d’un module de détection d’obstacles (58) sur ladite zone d’intérêt extraite, mettant en œuvre un réseau de neurones préalablement entraîné pour détecter et classifier des obstacles dans des images ayant ladite taille prédéterminée, chaque obstacle détecté étant localisé dans ladite zone d’intérêt.
  2. Procédé selon la revendication 1, comportant en outre une étape de post-traitement (60) comprenant un calcul d’une distance entre l’aéronef et le ou chaque obstacle détecté et/ou une mémorisation d’une position géo-référencée, dans un référentiel terrestre fixe, pour chaque obstacle détecté appartenant à une classe d’obstacles fixes.
  3. Procédé selon l’une des revendications 1 ou 2, comportant la répétition de la détermination (54) d’une position spatiale d’une zone d’intérêt dans une même image numérique grand champ, permettant d’obtenir une pluralité de zones d’intérêt dans ladite image numérique grand champ.
  4. Procédé selon l’une des revendications 1 à 3, comportant en outre, avant l’étape b) de détermination (54) d’une position spatiale d’une zone d’intérêt, une étape d’acquisition (52) d’au moins une information avionique relative à un paramètre de déplacement de l’aéronef, et dans lequel la détermination (54) d’une position spatiale est fonction d’au moins une information avionique.
  5. Procédé selon la revendication 4, dans lequel ladite information avionique comporte un vecteur de trajectoire de l’aéronef, la zone d’intérêt étant centrée sur un point indiqué par la direction dudit vecteur de trajectoire.
  6. Procédé selon l’une des étapes 1 à 5, dans lequel la détermination (54) d’une position spatiale d’une zone d’intérêt comporte une réception d’une position spatiale de zone d’intérêt au moyen d’une interface de communication (16) avec un système externe (18, 20).
  7. Procédé selon l’une des revendications 1 à 6, dans lequel la détermination (54) d’une position spatiale d’une zone d’intérêt comporte une réception d’une position spatiale de zone d’intérêt d’un autre capteur embarqué par l’aéronef.
  8. Procédé selon l’une quelconque des revendications 1 à 7, la caméra étant configurée pour acquérir une succession d’images numériques plein champ formant une vidéo, dans lequel les étapes a) à c) sont mises en œuvre sur un sous-ensemble d’images numériques acquises espacées temporellement d’un pas temporel donné, le procédé comportant en outre un suivi temporel des obstacles détectés.
  9. Programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un dispositif électronique programmable, mettent en œuvre un procédé de détection d’obstacles conforme aux revendications 1 à 8.
  10. Système de détection d’obstacles, adapté pour être embarqué sur un aéronef, l’aéronef comportant au moins une caméra (8, 10) embarquée ayant un champ de vision associé, configurée pour acquérir des images numériques plein champ, le système de détection d’obstacles comportant une plateforme de calcul (12) comportant au moins un processeur (22) configuré pour mettre en œuvre:
    - un module de réception d’au moins une image numérique plein champ capturée par ladite au moins une caméra embarquée,
    - un module de détermination d’une position spatiale d’une zone d’intérêt de taille prédéterminée dans ladite image numérique plein champ, et d’extraction de ladite zone d’intérêt de ladite image numérique plein champ,
    -un module de détection d’obstacles, prenant en entrée ladite zone d’intérêt et mettant en œuvre un réseau de neurones préalablement entraîné pour détecter et classifier des obstacles dans des images ayant ladite taille prédéterminée, chaque obstacle détecté étant localisé dans ladite zone d’intérêt.
  11. Système de détection d’obstacles selon la revendication 10, comportant en outre un module de post-traitement (34), configuré pour calculer une distance entre l’aéronef et le ou chaque obstacle détecté et/ou mémoriser une position géo-référencée, dans un référentiel terrestre fixe, pour chaque obstacle détecté appartenant à une classe d’obstacles fixes.
FR2305862A 2023-06-09 2023-06-09 Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé Active FR3149687B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR2305862A FR3149687B1 (fr) 2023-06-09 2023-06-09 Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé
US18/735,728 US20240412508A1 (en) 2023-06-09 2024-06-06 Obstacle detection method implemented by an aircraft embedded system and associated obstacle detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2305862 2023-06-09
FR2305862A FR3149687B1 (fr) 2023-06-09 2023-06-09 Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé

Publications (2)

Publication Number Publication Date
FR3149687A1 true FR3149687A1 (fr) 2024-12-13
FR3149687B1 FR3149687B1 (fr) 2025-05-02

Family

ID=88146847

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2305862A Active FR3149687B1 (fr) 2023-06-09 2023-06-09 Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé

Country Status (2)

Country Link
US (1) US20240412508A1 (fr)
FR (1) FR3149687B1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12583619B2 (en) * 2023-09-21 2026-03-24 Honeywell International Inc. Collision avoidance methods and systems using external lighting systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124688A1 (fr) * 2016-12-26 2018-07-05 이선구 Dispositif de commande de drone pour l'évitement d'une collision
WO2021078663A1 (fr) * 2019-10-23 2021-04-29 Airbus Operations Limited Détection de véhicule aérien

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12106553B2 (en) * 2020-12-18 2024-10-01 The Boeing Company Method and system for aerial object detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124688A1 (fr) * 2016-12-26 2018-07-05 이선구 Dispositif de commande de drone pour l'évitement d'une collision
WO2021078663A1 (fr) * 2019-10-23 2021-04-29 Airbus Operations Limited Détection de véhicule aérien

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHUOC NGUYEN THUAN ET AL: "Vision-based Safe Autonomous UAV Docking with Panoramic Sensors", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 25 May 2023 (2023-05-25), XP091519361 *

Also Published As

Publication number Publication date
FR3149687B1 (fr) 2025-05-02
US20240412508A1 (en) 2024-12-12

Similar Documents

Publication Publication Date Title
CN105865454B (zh) 一种基于实时在线地图生成的无人机导航方法
US20050232512A1 (en) Neural net based processor for synthetic vision fusion
Thurrowgood et al. A vision based system for attitude estimation of UAVs
US20240221215A1 (en) High-precision vehicle positioning
US10109074B2 (en) Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images
WO2023094347A1 (fr) Système et procédé de navigation autonome base vision d&#39;un satellite
CN116817910A (zh) 一种拒止状态无人机视觉导航方法及装置
CN110287939B (zh) 天基智能图像处理方法
FR3149687A1 (fr) Procédé de détection d’obstacles mis en œuvre par un système de détection embarqué sur un aéronef et système de détection d’obstacles associé
Yildirim et al. Automated identification of vehicles in very high-resolution UAV orthomosaics using YOLOv7 deep learning model.
Huang et al. Image-based sense and avoid of small scale UAV using deep learning approach
EP2517152B1 (fr) Procede de classification d&#39;objets dans un systeme de veille par imagerie
CN117611687A (zh) 传感器外参标定及模型的训练方法、装置、设备和介质
EP3070643B1 (fr) Procédé et système de reconnaissance d&#39;objets par analyse de signaux d&#39;image numérique d&#39;une scène
CN117011724A (zh) 一种无人机目标检测定位方法
CA3233479A1 (fr) Procede de detection d&#39;obstacles
EP3964796B1 (fr) Procédé et système d&#39;aide à la navigation d&#39;un aéronef, aéronef associé
US20250238953A1 (en) Localization for aerial systems in gps denied environments
Briese et al. Deep learning with semi-synthetic training images for detection of non-cooperative UAVs
Geyer et al. Prototype sense-and-avoid system for UAVs
FR3003356A1 (fr) Procede d&#39;observation d&#39;une zone au moyen d&#39;un drone
FR3107359A1 (fr) Procede et dispositif de determination d&#39;obstacles d&#39;altitude
US12340524B2 (en) Digital video computing system for vehicle
FR3093797A1 (fr) Systeme d&#39;aide au positionnement d&#39;un aeronef, ensemble volant comprenant un tel systeme et procede d&#39;aide au positionnement associe
EP3063550B1 (fr) Terminal d&#39;opérateur à affichage de zones de qualité de prises de vues

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20241213

PLFP Fee payment

Year of fee payment: 3