WO2024100349A1 - Système et procédé d'aide à la navigation d'un système mobile - Google Patents

Système et procédé d'aide à la navigation d'un système mobile Download PDF

Info

Publication number
WO2024100349A1
WO2024100349A1 PCT/FR2023/051741 FR2023051741W WO2024100349A1 WO 2024100349 A1 WO2024100349 A1 WO 2024100349A1 FR 2023051741 W FR2023051741 W FR 2023051741W WO 2024100349 A1 WO2024100349 A1 WO 2024100349A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
depth
convolution
succession
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2023/051741
Other languages
English (en)
Inventor
Michel MOUKARI
Ahmed Nasreddinne BENAICHOUCHE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran SA
Original Assignee
Safran SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran SA filed Critical Safran SA
Priority to CN202380077199.5A priority Critical patent/CN120167033A/zh
Priority to EP23814238.4A priority patent/EP4616148A1/fr
Publication of WO2024100349A1 publication Critical patent/WO2024100349A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the field of the invention is that of aiding the navigation of a mobile system of the robot or autonomous vehicle type moving on terrain, and more particularly that of generating a navigable trajectory by the mobile system on the ground.
  • the invention aims to propose a solution for generating a traversable trajectory for a mobile system moving on terrain which is both reliable and efficient.
  • the invention proposes a computer-implemented method for aiding the navigation of a mobile system, comprising: - obtaining an optical image of a scene acquired by a camera on board the mobile system;
  • determining the semantic map of the scene, the depth map of the scene and the confidence map of the depth map includes the processing of the optical image, the depth image and the mask uncertainty of the depth image by a first convolutional neural network which comprises a succession of convolutional layers, each convolutional layer comprising a first convolution block capable of estimating a map of semantic attributes, a second convolution block capable of estimating a depth attribute map and a third convolution block capable of estimating a confidence attribute map;
  • the second convolution block of a convolutional layer of rank N+1 in the succession of convolutional layers is configured to: o calculate the product of the confidence attribute map estimated by the third convolution block of the convolutional layer of rank N in the succession of convolutional layers with the depth attribute map estimated by the second convolution block of the convolutional layer of rank N in the succession of convolutional layers; o calculate a first convolution result by applying a convolution kernel to said product; o calculate a second convolution result by application of the convolution kernel to the confidence attribute map estimated by the third convolution block of the convolution layer of rank N in the succession of convolutional layers; o calculate the ratio of the first and second correlation results;
  • the second convolution block of a convolutional layer of rank N+1 in the succession of convolutional layers is configured to: o calculate the product of the confidence attribute map estimated by the third convolution block of the convolutional layer of rank N in the succession of convolutional layers with a concatenation map resulting from the concatenation of the semantic attribute map estimated by the first convolution block of the convolutional layer of rank N in the succession of convolutional layers and the map of depth attributes estimated by the second convolution block of the convolutional layer of rank N in the succession of convolutional layers; o calculate a first convolution result by applying a convolution kernel to said product; o calculate a second convolution result by applying the convolution kernel to the confidence attribute map estimated by the third convolution block of the convolution layer of rank N in the succession of convolutional layers; o calculate the ratio of the first and second correlation results;
  • - the second convolution block of the convolutional layer of rank N+1 in the succession of convolutional layers is further configured to add a bias to the ratio of the first and the second correlation result;
  • - the first convolution block of a convolutional layer of rank N+1 in the succession of convolutional layers takes as input a concatenation map resulting from the concatenation of the semantic attribute map estimated by the first convolution block of the layer convolutional layer of rank N in the succession of convolutional layers with the depth attribute map estimated by the second convolution block of the convolutional layer of rank N in the succession of convolutional layers;
  • the depth map and the confidence map of the depth map includes the determination of a concatenation map by concatenation of the semantic map, the depth map and the map of confidence of the depth map and the processing of the concatenation map by a second convolutional neural network.
  • the invention also relates to a computer program product comprising instructions which, when the program is executed by a computer, cause it to implement the steps of the method according to the invention.
  • the invention also extends to a terrain mapping device intended to be embedded on a mobile system, comprising a processor configured to implement the steps of the method according to the invention.
  • FIG. 1 is a diagram illustrating a possible embodiment of a method according to the invention.
  • FIG. 2 represents the operations carried out by a convolutional layer of a first convolutional neural network that can be used by the invention
  • FIG. 3 more particularly represents the operations carried out by the second and the third convolution block of a convolutional layer of a first convolutional neural network which can be used by the invention.
  • the invention relates in particular to a terrain mapping device intended to be embedded on a mobile system, for example an off-road type land mobile system such as a robot, a drone or an autonomous vehicle.
  • a mobile system for example an off-road type land mobile system such as a robot, a drone or an autonomous vehicle.
  • This device includes a traversability estimation unit configured to generate a trajectory traversable by the mobile system from a stream of images coming from a camera as well as depth measurements from a telemeter.
  • the traversability estimation unit advantageously achieves the fusion of a geometric solution for estimating the 3D of the terrain (its depth in occurrence) with a semantic terrain segmentation solution.
  • the traversability estimation unit also uses a confidence map associated with the reliability of the prediction of the geometric solution, which greatly improves performance.
  • the traversability estimation unit delivers a traversability map, for example a binary map in which each point of the terrain imaged by the camera is identified as being traversable or not by the mobile system or even a map in which a probability of traversability is associated with each point on the ground.
  • a traversability map for example a binary map in which each point of the terrain imaged by the camera is identified as being traversable or not by the mobile system or even a map in which a probability of traversability is associated with each point on the ground.
  • the traversability estimation unit is configured to implement the method which will be described below with reference to Figure 1.
  • This method includes obtaining an RGB optical image of a scene (in this case a terrain on which the mobile system is moving), acquired by a camera on board the mobile system.
  • the camera is for example a monocular camera.
  • the images successively acquired by the camera are typically RGB images of the terrain, ensuring functionality in visible light.
  • nighttime operation is ensured by using another wavelength range (infrared for example).
  • the method also includes a LiDAR step for obtaining a cloud of 3D points of the scene acquired by a range finder on board the mobile system.
  • the rangefinder is for example a laser rangefinder, such as a LiDAR.
  • the method then comprises a step of projecting, in 2D in the camera frame, the 3D points of the cloud and an uncertainty relating to the measurement of each of the 3D points of the cloud to provide respectively a depth image and a mask of the uncertainty of the depth image (ie, a map in which an uncertainty relating to the determination of the depth is associated with each point on the ground).
  • the rangefinder provides sparse depth measurements that are usually artificially densified by encoding unobserved pixels. Furthermore, by using the power (amplitude) of the signal received by the rangefinder, which corresponds for example to the quantity of light which returns to the sensor after a shot, it is possible to deduce an uncertainty in the depth measurements. Indeed, the quantity of light received in return by the sensor is directly correlated to the material on which it is projected and provides information on the reliability of the distance calculated at this point.
  • the method then comprises a step consisting of determining a semantic map MS of the scene, a depth map MD of the scene and a confidence map MT of the depth map from the optical image, from the depth image and the uncertainty mask of the depth image.
  • This step is for example implemented by a first convolutional neural network CNN1 suitably pre-trained for this purpose.
  • This step carries out the simultaneous inference of 3D (the depth map) and the semantics of the image (the semantic map). This results in a better prediction of these two modalities, with minimized calculation time. Furthermore, this step exploits an uncertainty determined a priori from the telemetry data to estimate a reliability (the confidence map) on the predictions.
  • the method continues with a step consisting of determining a CT traversability map of the scene by the mobile system by merging the semantic map, the depth map and the confidence map of the depth map.
  • This step is for example implemented by a second convolutional neural network CNN2 suitably pre-trained for this purpose.
  • This step takes advantage of both modalities (3D and semantic) and merges them using trust as a weighting.
  • the first convolutional neural network CNN1 comprises a succession of convolutional layers CN, CN+I and each convolutional layer can comprise a first convolution block B1N, B1N+I capable of estimating a map of semantic attributes FMSN, FMSN+I, a second convolution block B2N, B2N+I capable of estimating a depth attribute map FM DN, FM ⁇ N+i and a third convolution block B3N, B3N+I capable of estimating a depth attribute map trust attributes FMTN, FMTN+I.
  • the first convolution block B1N+I of the convolutional layer of rank N+l in the succession of convolutional layers takes as input the semantic attribute map FMSN estimated by the first convolution block B1N of the convolutional layer of rank N in the succession of convolutional layers. This is true for N integer greater than or equal to 1, while the first convolution block of the first convolutional layer in the succession of convolutional layers takes the optical image as input.
  • the first convolution block B1N+I of the convolutional layer of rank N+l in the succession of convolutional layers takes as input a concatenation map resulting from the concatenation, identified by the reference and in figure 2, of the semantic attribute map FMSN estimated by the first convolution block B1N of the convolutional layer of rank N in the succession of convolutional layers and of the depth attribute map FM DN estimated by the second block of convolution B2N of the convolutional layer of rank N.
  • N integer greater than or equal to 1
  • the first convolution block of the first convolutional layer in the succession of convolutional layers takes as input the concatenation of the optical image and depth image.
  • the first convolutional neural network thus comprises a first branch (the succession of the first convolution blocks) which works on estimating the semantics of the scene by taking advantage of optical information from the camera but also from depth information from the rangefinder. Semantic segmentation is improved.
  • the second convolution block B2N+I of the convolutional layer of rank N+l in the succession of convolutional layers takes as input the depth attribute map FM DN estimated by the second convolution block B2N of the convolutional layer of rank N in the succession of convolutional layers and the confidence attribute map FMSN estimated by the third convolution block B3N of the convolutional layer of rank N in the succession of convolutional layers.
  • N integer greater than or equal to 1
  • the second convolution block of the first convolutional layer in the succession of convolutional layers takes as input the depth image and the uncertainty mask of the depth map.
  • the second convolution block B2N+I of the convolutional layer of rank N+1 in the succession of convolutional layers takes as input, on the one hand the concatenation map resulting from the concatenation, identified by the reference and, of the semantic attribute map FMSN estimated by the first convolution block B1N of the convolutional layer of rank N in the succession of convolutional layers and of the depth attribute map FM DN estimated by the second convolution block B2N of the convolutional layer of rank N and, on the other hand, the FMSN confidence attribute map estimated by the third convolution block B3N of the convolutional layer of rank N in the succession of convolutional layers.
  • N integer greater than or equal to 1
  • the second convolution block of the first convolutional layer in the succession of convolutional layers takes as input, on the one hand, the concatenation of the optical image and the image depth and, on the other hand, the uncertainty mask of the depth map.
  • the first convolutional neural network thus comprises a second branch (the succession of second convolution blocks) which works on estimating the depth of the scene by taking advantage of the depth information coming from the telemeter but also from the optical information from the camera. Semantic depth estimation is improved.
  • Figure 3 represents a possible realization of operations implemented by the second and the third convolution block of a convolutional layer of the first network of convolutional neurons.
  • • corresponds to a point-by-point multiplication, * to a convolution, / to a division and + to an addition.
  • T(W) represents the kernel of the convolution.
  • the learning of the first neural network is carried out so as to determine the parameters corresponding to the product AB for a task of generating the depth map from sparse input data associated with a confidence a priori. More specifically, the basis B is set to be equal to a tensor of 1 and the applicability function A is learned during the network training phase.
  • the applicability function A corresponds to the convolution parameters. Because applicability must remain a positive function, the positivity of the convolution weights must be guaranteed. Thus, a softplus function T(.) can be applied to the weights W of the convolution. If we base our on equation (1), the depth propagation becomes:
  • the second convolution block B2N+I of a convolutional layer of rank N+1 in the succession of convolutional layers can be configured for:
  • the second convolution blocks take as input only the depth attributes FM DN and not the result of their concatenation with the semantic attributes FMSN.
  • This other possible realization is illustrated in Figure 3 and according to it the second convolution block B2N+I of a convolutional layer of rank N+1 in the succession of convolutional layers is configured for:
  • each second convolution block can further be configured to add a bias term BS to the result of the ratio of the first and second correlation results.
  • This bias term makes it possible to increase the capacity of the first neural network.
  • Figure 3 also illustrates a third convolution block B3N+I.
  • This block performs a conventional convolution for trust propagation.
  • This block can include a ReLU (Rectifier Linear Unit) activation function to guarantee positivity and maintain dimension between confidence attribute maps and depth attribute maps.
  • ReLU Rectifier Linear Unit
  • the first convolution blocks which determine the semantic attribute maps can take the form of conventional convolution blocks.
  • a possible realization of learning the first convolutional neural network exploits the following cost function to learn to regress the depth and model the inverse of uncertainty (ie, confidence).
  • S be a set of coordinates where the depth value is given in the ground truth, log predicted log-confidence, depth ground truth and the predicted depth.
  • the cost function can be defined as follows:
  • ⁇ is a hyperparameter
  • L p is the regression error defined by equation (6)
  • Pen is a penalization term defined by equation (7) which allows preventing the case where the output confidences are equal to 0.
  • the term on the left is the product of the regression error and the confidence.
  • the p — norm is to be replaced by the desired regression error.
  • confidence acts as a weight on the regression error and therefore impacts the learning speed, both globally and relatively.
  • the value of the average confidence also decreases, therefore the learning speed decreases overall.
  • the greater the entropy of the confidence distribution the more the impact on the learning speed will be varied depending on the spatial locations. The choice of A therefore controls the average confidence and the entropy of the distribution, thus impacting learning.
  • log confidence prediction can be performed to improve the stability of learning. Also, in order to maintain the confidence outputs in the interval [0, 1] to facilitate the interpretation of the results, a (-1) x ReLU activation can be performed on the last layer to obtain a negative log confidence, which allows producing a final confidence output in the interval [0, 1].
  • the first convolutional neural network outputs a semantic map MS, a depth map MD and a confidence map MT of the depth map.
  • the determination of the CT traversability map of the scene by the mobile system may comprise the determination of a concatenation map by concatenation of the semantic map, the depth map and the confidence map of the depth map and the processing of the concatenation map by the second convolutional neural network CNN2.
  • This second network can be a convolutional network of conventional architecture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

L'invention concerne un procédé mis en œuvre par ordinateur d'aide à la navigation d'un système mobile, comprenant : - l'obtention (RGB) d'une image optique d'une scène acquise par une caméra embarquée à bord du système mobile; - l'obtention (LiDAR) de points 3D de la scène acquis par un télémètre embarqué à bord du système mobile; - la projection, en 2D dans le repère de la caméra, des points 3D et d'une incertitude portant sur chacun des points 3D pour fournir respectivement une image de profondeur et un masque d'incertitude; - la détermination (CNN1) d'une carte sémantique de la scène (MS), d'une carte de profondeur de la scène (MD) et d'une carte de confiance (MT) de la carte de profondeur à partir de l'image optique, de l'image de profondeur et du masque d'incertitude; - la détermination (CNN2) d'une carte de traversabilité (CT) de la scène par le système mobile par fusion de la carte sémantique (MS), de la carte de profondeur (MD) et de la carte de confiance (MT) de la carte de profondeur.

Description

Système et procédé d'aide à la navigation d'un système mobile
DOMAINE TECHNIQUE
Le domaine de l'invention est celui de l'aide à la navigation d'un système mobile du type robot ou véhicule autonome en déplacement sur un terrain, et plus particulièrement celui de la génération d'une trajectoire navigable par le système mobile sur le terrain.
TECHNIQUE ANTÉRIEURE
Dans le domaine de la navigation de systèmes mobiles, on connaît des méthodes qui ont pour but de trouver la présence d'une route dans des images acquises par une caméra embarquée sur un système mobile. Ces méthodes utilisent des indices visuels comme les points de fuite, les textures ou encore le relief pour délimiter les contours d'une route sur une image, ou posent le problème directement comme un problème de segmentation de la route dans l'image. Cependant, ces méthodes ne s'intéressent pas aux chemins au sens le plus large du terme, qui peuvent notamment être des chemins hors-pistes non forcément goudronnés ni correctement délimités, et encore moins au thème plus général de la traversabilité correspondant à l'identification dans les images acquises de zones du terrain sur lesquelles le système mobile serait apte à se déplacer.
On trouve d'autre part des méthodes basées sur des modèles de réseaux de neurones qui identifient le type de sol sur lequel le véhicule évolue. Par exemple, le document WO 2019/241022 Al décrit une solution utilisant un réseau de neurones profond pré-entrainé pour réaliser la détection d'une voie navigable qui n'est pas nécessairement délimitée par des marquages au sol.
EXPOSÉ DE L'INVENTION
L'invention a pour objectif de proposer une solution de génération d'une trajectoire traversable pour un système mobile en déplacement sur un terrain qui soit à la fois fiable et performante.
A cet effet, l'invention propose un procédé mis en œuvre par ordinateur d'aide à la navigation d'un système mobile, comprenant : - l'obtention d'une image optique d'une scène acquise par une caméra embarquée à bord du système mobile ;
- l'obtention d'un nuage de points 3D de la scène acquis par un télémètre embarqué à bord du système mobile ;
- la projection, en 2D dans le repère de la caméra, des points 3D du nuage et d'une incertitude portant sur la mesure de chacun des points 3D du nuage pour fournir respectivement une image de profondeur et un masque d'incertitude de l'image de profondeur ;
- la détermination d'une carte sémantique de la scène, d'une carte de profondeur de la scène et d'une carte de confiance de la carte de profondeur à partir de l'image optique, de l'image de profondeur et du masque d'incertitude de l'image de profondeur ;
- la détermination d'une carte de traversabilité de la scène par le système mobile par fusion de la carte sémantique, de la carte de profondeur et de la carte de confiance de la carte de profondeur.
Certains aspects préférés mais non limitatifs de ce procédé sont les suivants :
- la détermination de la carte sémantique de la scène, de la carte de profondeur de la scène et de la carte de confiance de la carte de profondeur comprend le traitement de l'image optique, de l'image de profondeur et du masque d'incertitude de l'image de profondeur par un premier réseau de neurones convolutif qui comprend une succession de couches convolutives, chaque couche convolutive comprenant un premier bloc de convolution apte à estimer une carte d'attributs sémantiques, un deuxième bloc de convolution apte à estimer une carte d'attributs de profondeur et un troisième bloc de convolution apte à estimer une carte d'attributs de confiance ;
- le deuxième bloc de convolution d'une couche convolutive de rang N+l dans la succession de couches convolutives est configuré pour : o calculer le produit de la carte d'attributs de confiance estimée par le troisième bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives avec la carte d'attributs de profondeur estimée par le deuxième bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives ; o calculer un premier résultat de convolution par application d'un noyau de convolution audit produit ; o calculer un deuxième résultat de convolution par application du noyau de convolution à la carte d'attributs de confiance estimée par le troisième bloc de convolution de la couche convolution de rang N dans la succession de couches convolutives ; o calculer le ratio du premier et du deuxième résultat de corrélation ;
- le deuxième bloc de convolution d'une couche convolutive de rang N+l dans la succession de couches convolutives est configuré pour : o calculer le produit de la carte d'attributs de confiance estimée par le troisième bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives avec une carte de concaténation résultant de la concaténation de la carte d'attributs sémantiques estimée par le premier bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives et de la carte d'attributs de profondeur estimée par le deuxième bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives ; o calculer un premier résultat de convolution par application d'un noyau de convolution audit produit ; o calculer un deuxième résultat de convolution par application du noyau de convolution à la carte d'attributs de confiance estimée par le troisième bloc de convolution de la couche convolution de rang N dans la succession de couches convolutives ; o calculer le ratio du premier et du deuxième résultat de corrélation ;
- le deuxième bloc de convolution de la couche convolutive de rang N+l dans la succession de couches convolutives est en outre configuré pour ajouter un biais au ratio du premier et du deuxième résultat de corrélation ; - le premier bloc de convolution d'une couche convolutive de rang N+l dans la succession de couches convolutives prend en entrée une carte de concaténation résultant de la concaténation de la carte d'attributs sémantiques estimée par le premier bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives avec la carte d'attributs de profondeur estimée par le deuxième bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives ;
- la fusion de la carte sémantique, de la carte de profondeur et de la carte de confiance de la carte de profondeur comprend la détermination d'une carte de concaténation par concaténation de la carte sémantique, de la carte de profondeur et de la carte de confiance de la carte de profondeur et le traitement de la carte de concaténation par un deuxième réseau de neurones convolutif.
L'invention porte également sur un produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l'invention. L'invention s'étend aussi à un dispositif de cartographie de terrain destiné à être embarqué sur un système mobile, comprenant un processeur configuré pour mettre en œuvre les étapes du procédé selon l'invention.
BRÈVE DESCRIPTION DES DESSINS
D'autres aspects, buts, avantages et caractéristiques de l'invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
- la figure 1 est un schéma illustrant un mode de réalisation possible d'un procédé selon l'invention ;
- la figure 2 représente les opérations réalisées par une couche convolutive d'un premier réseau de neurones convolutif pouvant être utilisé par l'invention ;
- la figure 3 représente plus particulièrement les opérations réalisées par le deuxième et le troisième bloc de convolution d'une couche convolutive d'un premier réseau de neurones convolutif pouvant être utilisé par l'invention. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
L'invention porte notamment sur un dispositif de cartographie de terrain destiné à être embarqué sur un système mobile, par exemple un système mobile terrestre type tout- terrain tel qu'un robot, un drone ou un véhicule autonome.
Ce dispositif comprend une unité d'estimation de traversabilité configurée pour générer une trajectoire traversable par le système mobile à partir d'un flux d'images provenant d'une caméra ainsi que des mesures de profondeur issues d'un télémètre.
La génération d'une trajectoire fiable nécessitant une perception de la géométrie et de la sémantique du terrain, l'unité d'estimation de traversabilité vient avantageusement réaliser la fusion d'une solution géométrique d'estimation de la 3D du terrain (sa profondeur en l'occurrence) avec une solution de segmentation sémantique du terrain. L'unité d'estimation de traversabilité vient en outre exploiter une carte de confiance associée à la fiabilité de la prédiction de la solution géométrique, ce qui permet d'améliorer grandement les performances.
L'unité d'estimation de traversabilité délivre une carte de traversabilité, par exemple une carte binaire dans laquelle chaque point du terrain imagé par la caméra est identifié comme étant traversable ou non par le système mobile ou encore une carte dans laquelle une probabilité de traversabilité est associée à chaque point du terrain.
L'unité d'estimation de traversabilité est configurée pour mettre en œuvre le procédé qui sera décrit ci-après en référence à la figure 1.
Ce procédé comprend l'obtention RGB d'une image optique d'une scène (en l'occurrence un terrain sur lequel se déplace le système mobile), acquise par une caméra embarquée à bord du système mobile. La caméra est par exemple une caméra monoculaire. Les images successivement acquises par la caméra sont typiquement des images RGB du terrain, assurant une fonctionnalité en lumière visible. Dans une variante de réalisation, un fonctionnement nocturne est assuré en exploitant une autre plage de longueur d'onde (infrarouge par exemple).
Le procédé comprend par ailleurs une étape LiDAR d'obtention d'un nuage de points 3D de la scène acquis par un télémètre embarqué à bord du système mobile. Le télémètre est par exemple un télémètre laser, tel qu'un LiDAR. Le procédé comprend ensuite une étape de projection, en 2D dans le repère de la caméra, des points 3D du nuage et d'une incertitude portant sur la mesure de chacun des points 3D du nuage pour fournir respectivement une image de profondeur et un masque d'incertitude de l'image de profondeur (i.e., une carte dans laquelle une incertitude portant sur la détermination de la profondeur est associée à chaque point du terrain).
Le télémètre fournit des mesures de profondeur éparses qui sont généralement densifiés artificiellement en encodant les pixels non observés. Par ailleurs, en utilisant la puissance (amplitude) du signal reçu par le télémètre, qui correspond par exemple à la quantité de lumière qui revient au capteur après un tir, il est possible de déduire une incertitude sur les mesures de profondeur. En effet, la quantité de lumière reçue en retour par le capteur est directement corrélée au matériau sur lequel elle est projetée et donne une information sur la fiabilité de la distance calculée en ce point.
Le procédé comprend ensuite une étape consistant à déterminer une carte sémantique MS de la scène, une carte de profondeur MD de la scène et une carte de confiance MT de la carte de profondeur à partir de l'image optique, de l'image de profondeur et du masque d'incertitude de l'image de profondeur. Cette étape est par exemple mise en œuvre par un premier réseau de neurones convolutif CNN1 convenablement pré-entrainé à cette fin.
Cette étape vient réaliser l'inférence simultanée de la 3D (la carte de profondeur) et de la sémantique de l'image (la carte sémantique). Il en découle une meilleure prédiction de ces deux modalités, et ce avec un temps de calcul minimisé. Par ailleurs, cette étape exploite une incertitude déterminée a priori à partir des données de télémétrie pour estimer une fiabilité (la carte de confiance) sur les prédictions.
Le procédé se poursuit avec une étape consistant à déterminer une carte de traversabilité CT de la scène par le système mobile par fusion de la carte sémantique, de la carte de profondeur et de la carte de confiance de la carte de profondeur. Cette étape est par exemple mise en œuvre par un deuxième réseau de neurones convolutif CNN2 convenablement pré-entrainé à cette fin. Cette étape tire partie des deux modalités (3D et sémantique) et les fusionne en utilisant la confiance comme pondération. En référence à la figure 2, le premier réseau de neurones convolutif CNN1 comprend une succession de couches convolutives CN, CN+I et chaque couche convolutive peut comprendre un premier bloc de convolution B1N, B1N+I apte à estimer une carte d'attributs sémantiques FMSN, FMSN+I, un deuxième bloc de convolution B2N, B2N+I apte à estimer une carte d'attributs de profondeur FM DN, FMÛN+i et un troisième bloc de convolution B3N, B3N+I apte à estimer une carte d'attributs de confiance FMTN, FMTN+I.
Dans une réalisation possible, le premier bloc de convolution B1N+I de la couche convolutive de rang N+l dans la succession de couches convolutives prend en entrée la carte d'attributs sémantiques FMSN estimée par le premier bloc de convolution B1N de la couche convolutive de rang N dans la succession de couches convolutives. Ceci est vrai pour N entier supérieur ou égale à 1, tandis le premier bloc de convolution de la première couche convolutive dans la succession de couches convolutives prend en entrée l'image optique.
Dans une réalisation alternative représentée sur la figure 2, le premier bloc de convolution B1N+I de la couche convolutive de rang N+l dans la succession de couches convolutives prend en entrée une carte de concaténation résultant de la concaténation, identifiée par la référence et sur la fifure 2, de la carte d'attributs sémantiques FMSN estimée par le premier bloc de convolution B1N de la couche convolutive de rang N dans la succession de couches convolutives et de la carte d'attributs de profondeur FM DN estimée par le deuxième bloc de convolution B2N de la couche convolutive de rang N. Ceci est vrai pour N entier supérieur ou égale à 1, tandis le premier bloc de convolution de la première couche convolutive dans la succession de couches convolutives prend en entrée la concaténation de l'image optique et de l'image de profondeur.
Dans cette réalisation alternative, le premier réseau de neurones convolutif comprend ainsi une première branche (la succession des premiers blocs de convolution) qui travaille sur l'estimation de la sémantique de la scène en tirant parti des informations optiques issues de la caméra mais aussi des informations de profondeur issues du télémètre. La segmentation sémantique s'en trouve améliorée.
Dans une réalisation possible, le deuxième bloc de convolution B2N+I de la couche convolutive de rang N+l dans la succession de couches convolutives prend en entrée la carte d'attributs de profondeur FM DN estimée par le deuxième bloc de convolution B2N de la couche convolutive de rang N dans la succession de couches convolutives et la carte d'attributs de confiance FMSN estimée par le troisième bloc de convolution B3N de la couche convolutive de rang N dans la succession de couches convolutives. Ceci est vrai pour N entier supérieur ou égale à 1, tandis le deuxième bloc de convolution de la première couche convolutive dans la succession de couches convolutives prend en entrée l'image de profondeur et le masque d'incertitude de la carte de profondeur.
Dans une réalisation alternative représentée sur la figure 2, le deuxième bloc de convolution B2N+I de la couche convolutive de rang N+l dans la succession de couches convolutives prend en entrée, d'une part la carte de concaténation résultant de la concaténation, identifiée par la référence et, de la carte d'attributs sémantiques FMSN estimée par le premier bloc de convolution B1N de la couche convolutive de rang N dans la succession de couches convolutives et de la carte d'attributs de profondeur FM DN estimée par le deuxième bloc de convolution B2N de la couche convolutive de rang N et, d'autre part, la carte d'attributs de confiance FMSN estimée par le troisième bloc de convolution B3N de la couche convolutive de rang N dans la succession de couches convolutives. Ceci est vrai pour N entier supérieur ou égale à 1, tandis le deuxième bloc de convolution de la première couche convolutive dans la succession de couches convolutives prend en entrée, d'une part, la concaténation de l'image optique et de l'image de profondeur et, d'autre part, le masque d'incertitude de la carte de profondeur.
Dans cette réalisation alternative, le premier réseau de neurones convolutif comprend ainsi une deuxième branche (la succession des deuxièmes blocs de convolution) qui travaille sur l'estimation de la profondeur de la scène en tirant parti des informations de profondeur issues du télémètre mais aussi des informations optiques issues de la caméra. L'estimation de profondeur sémantique s'en trouve améliorée.
Par ailleurs dans les deux réalisations précédemment évoquées, une incertitude a priori sur les mesures du télémètre est propagée tout au long de la succession des couches convolutives, ce qui permet d'obtenir une confiance sur la qualité et la fiabilité des prédictions en sortie.
La figure 3 représente une réalisation possible d'opérations mises en œuvre par le deuxième et le troisième bloc de convolution d'une couche convolutive du premier réseau de neurones convolutif. Sur cette figure 3, • correspond à une multiplication point par point, * à une convolution, / à une division et + à une addition. T(W) représente le noyau de la convolution.
On considère X un tenseur représentant un signal d'entrée, C une fonction scalaire positive représentant la confiance (ou certitude) pour chaque valeur de X, B un tenseur représentant la base d'un opérateur de filtrage et B* son conjugué et A une fonction scalaire positive représentant l'applicabilité pour chaque valeur de B. La convolution normalisée peut être écrite comme suit :
Figure imgf000011_0001
où
Figure imgf000011_0002
Dans l'équation (1), N est le facteur de normalisation. Par exemple, en considérant le cas où la confiance C est constante et B=l, l'équation (1) devient :
Figure imgf000011_0003
où les paramètres de convolution A' sont la version normalisée de A.
Dans le cadre de l'invention, l'apprentissage du premier réseau de neurones est réalisé de manière à déterminer les paramètres correspondant au produit AB pour une tâche de génération de la carte de profondeur à partir de données d'entrée éparses associées à une confiance a priori. Plus particulièrement, la base B est fixée pour être égale à un tenseur de 1 et la fonction d'applicabilité A est apprise lors de la phase d'apprentissage du réseau.
En référence à la figure 3, la fonction d'applicabilité A correspond aux paramètres de convolution. Parce que l'applicabilité doit rester une fonction positive, la positivité des poids de la convolution doit être garantie. Ainsi, une fonction softplus T(. ) peut être appliquées sur les poids W de la convolution. Si l'on se base sur l'équation (1), la propagation de profondeur devient :
Figure imgf000012_0001
Ainsi, le deuxième bloc de convolution B2N+I d'une couche convolutive de rang N+l dans la succession de couches convolutives peut être configuré pour :
- calculer le produit (au moyen de la multiplication point par point •) de la carte d'attributs de confiance FMTN estimée par le troisième bloc de convolution de la couche convolution de rang N dans la succession de couches convolutives avec une carte de concaténation résultant de la concaténation de la carte d'attributs sémantiques FMSN estimée par le premier bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives et de la carte d'attributs de profondeur FM DN estimée par le deuxième bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives ;
- calculer un premier résultat de convolution par application du noyau de convolution r(fy) audit produit ;
- calculer un deuxième résultat de convolution par application du noyau de convolution r(V/) à la carte d'attributs de confiance estimée par le troisième bloc de convolution de la couche convolution de rang N dans la succession de couches convolutives ;
- calculer le ratio, au moyen de la division /, du premier et du deuxième résultat de corrélation.
Comme on l'a vu précédemment, dans une autre réalisation possible, les deuxièmes blocs de convolution prennent en entrée les seuls attributs de profondeur de profondeur FM DN et non le résultat de leur concaténation avec les attributs sémantiques FMSN. Cette autre réalisation possible est illustrée sur la figure 3 et selon celle-ci le deuxième bloc de convolution B2N+I d'une couche convolutive de rang N+l dans la succession de couches convolutives est configuré pour :
- calculer le produit (au moyen de la multiplication point par point •) de la carte d'attributs de confiance FMTN estimée par le troisième bloc de convolution de la couche convolution de rang N dans la succession de couches convolutives avec la carte d'attributs de profondeur FM DN estimée par le deuxième bloc de convolution de la couche convolutive de rang N dans la succession de couches convolutives ;
- calculer un premier résultat de convolution par application du noyau de convolution r(I/IZ) audit produit ;
- calculer un deuxième résultat de convolution par application du noyau de convolution r(V/) à la carte d'attributs de confiance estimée par le troisième bloc de convolution de la couche convolution de rang N dans la succession de couches convolutives ; calculer le ratio, au moyen de la division /, du premier et du deuxième résultat de corrélation.
Par ailleurs, dans l'un ou l'autre des réalisations mentionnées ci-dessus, et comme est également représenté sur la figure 3, chaque deuxième bloc de convolution peut en outre être configuré pour ajouter un terme de biais BS au résultat du ratio du premier et du deuxième résultat de corrélation. Ce terme de biais permet d'augmenter la capacité du premier réseau de neurones.
La figure 3 illustre par ailleurs un troisième bloc de convolution B3N+I. Ce bloc réalise une convolution conventionnelle pour la propagation de la confiance. Ce bloc peut inclure une fonction d'activation ReLU (Rectifier Linear Unit désignant une unité linéaire rectifiée) pour garantir la positivité et conserver la dimension entre les cartes d'attributs de confiance et les cartes d'attributs de profondeur.
De la même manière, les premiers blocs de convolution qui viennent déterminer les cartes d'attributs sémantiques peuvent prendre la forme de blocs de convolution conventionnels.
Une réalisation possible de l'apprentissage du premier réseau de neurones convolutif exploite la fonction de coût suivante pour apprendre à régresser la profondeur et à modéliser l'inverse de l'incertitude (i.e., la confiance). Soit S un jeu de coordonnées où la valeur de profondeur est renseignée dans la vérité terrain, log
Figure imgf000013_0001
la log-confiance prédite, la vérité terrain de profondeur et
Figure imgf000013_0002
la profondeur prédite. La fonction de coût peut être définie comme suit :
Figure imgf000014_0001
Dans l'équation (8), Â est un hyperparamètre, Lp est l'erreur de régression définie par l'équation (6) et Pen est un terme de pénalisation définie par l'équation (7) qui permet prévenir le cas où les confiances en sortie sont égales à 0. Dans cette équation (8), le terme de gauche est le produit de l'erreur de régression par la confiance. La p — norm est à remplacer par l'erreur de régression souhaitée.
A travers cette multiplication, la confiance agit comme une pondération sur l'erreur de régression et impacte donc la vitesse d'apprentissage, à la fois globalement et relativement. D'abord globalement, parce que lorsque A décroit, la valeur de la confiance moyenne décroit également donc la vitesse d'apprentissage diminue globalement. Et relativement parce que plus l'entropie de la distribution de la confiance est grande, plus l'impact sur la vitesse d'apprentissage va être varié en fonction des localisations spatiales. Le choix de A contrôle donc la confiance moyenne et l'entropie de la distribution, impactant ainsi l'apprentissage.
En pratique, une prédiction de la log confiance peut être réalisée pour améliorer la stabilité de l'apprentissage. Aussi, afin de maintenir les sorties de confiance dans l'intervalle [0, 1] pour faciliter l'interprétation des résultats, une activation (-1) x ReLU peut être réalisée sur la dernière couche pour obtenir une log confiance négative, ce qui permet de produire une sortie finale de confiance dans l'intervalle [0, 1].
Le premier réseau de neurones convolutif fournit en sortie une carte sémantique MS, une carte de profondeur MD et une carte de confiance MT de la carte de profondeur. La détermination de la carte de traversabilité CT de la scène par le système mobile peut comprendre la détermination d'une carte de concaténation par concaténation de la carte sémantique, de la carte de profondeur et de la carte de confiance de la carte de profondeur et le traitement de la carte de concaténation par le deuxième réseau de neurones convolutif CNN2. Ce deuxième réseau peut être un réseau convolutif d'architecture conventionnelle.

Claims

REVENDICATIONS
1. Procédé mis en œuvre par ordinateur d'aide à la navigation d'un système mobile, comprenant :
- l'obtention (RGB) d'une image optique d'une scène acquise par une caméra embarquée à bord du système mobile ;
- l'obtention (LiDAR) d'un nuage de points 3D de la scène acquis par un télémètre embarqué à bord du système mobile ;
- la projection, en 2D dans le repère de la caméra, des points 3D du nuage et d'une incertitude portant sur la mesure de chacun des points 3D du nuage pour fournir respectivement une image de profondeur et un masque d'incertitude de l'image de profondeur ;
- la détermination d'une carte sémantique de la scène (MS), d'une carte de profondeur de la scène (MD) et d'une carte de confiance (MT) de la carte de profondeur à partir de l'image optique, de l'image de profondeur et du masque d'incertitude de l'image de profondeur, cette détermination comprenant le traitement de l'image optique, de l'image de profondeur et du masque d'incertitude de l'image de profondeur par un premier réseau de neurones convolutif (CNN1) qui comprend une succession de couches convolutives, chaque couche convolutive comprenant un premier bloc de convolution (BIN, B1N+I) apte à estimer une carte d'attributs sémantiques (FMSN, FMSN+I), un deuxième bloc de convolution (B2N, B2N+I) apte à estimer une carte d'attributs de profondeur (FM DN, FM DN+I) et un troisième bloc de convolution (B3N, B3N+I) apte à estimer une carte d'attributs de confiance (FMTN, FMTN+I) ;
- la détermination d'une carte de traversabilité (CT) de la scène par le système mobile par fusion de la carte sémantique (MS), de la carte de profondeur (MD) et de la carte de confiance (MT) de la carte de profondeur.
2. Procédé selon la revendication 1, dans lequel le deuxième bloc de convolution (B2N+I) d'une couche convolutive de rang N+l (CN+I) dans la succession de couches convolutives est configuré pour : - calculer le produit de la carte d'attributs de confiance (FMTN) estimée par le troisième bloc de convolution (B3N) de la couche convolutive de rang N (CN) dans la succession de couches convolutives avec la carte d'attributs de profondeur (FM DN) estimée par le deuxième bloc de convolution (B2N) de la couche convolutive de rang N (CN) dans la succession de couches convolutives ;
- calculer un premier résultat de convolution par application d'un noyau de convolution audit produit ;
- calculer un deuxième résultat de convolution par application du noyau de convolution à la carte d'attributs de confiance estimée par le troisième bloc de convolution de la couche convolution de rang N dans la succession de couches convolutives ;
- calculer le ratio du premier et du deuxième résultat de corrélation.
3. Procédé selon la revendication 1, dans lequel le deuxième bloc de convolution (B2N+I) d'une couche convolutive de rang N+l (CN+I) dans la succession de couches convolutives est configuré pour :
- calculer le produit de la carte d'attributs de confiance (FMTN) estimée par le troisième bloc de convolution (B3N) de la couche convolutive de rang N (CN) dans la succession de couches convolutives avec une carte de concaténation résultant de la concaténation de la carte d'attributs sémantiques (FMSN) estimée par le premier bloc de convolution (B1N) de la couche convolutive de rang N (CN) dans la succession de couches convolutives et de la carte d'attributs de profondeur (FM DN) estimée par le deuxième bloc de convolution (B2N) de la couche convolutive de rang N (CN) dans la succession de couches convolutives ;
- calculer un premier résultat de convolution par application d'un noyau de convolution audit produit ;
- calculer un deuxième résultat de convolution par application du noyau de convolution à la carte d'attributs de confiance estimée par le troisième bloc de convolution de la couche convolution de rang N dans la succession de couches convolutives ;
- calculer le ratio du premier et du deuxième résultat de corrélation.
4. Procédé selon l'une des revendications 2 et 3, dans lequel le deuxième bloc de convolution (B2N+I) de la couche convolutive de rang N+l (CN+I) dans la succession de couches convolutives est en outre configuré pour ajouter un biais (BS) au ratio du premier et du deuxième résultat de corrélation.
5. Procédé selon la revendication 1, dans lequel le premier bloc de convolution (B1N+I) d'une couche convolutive de rang N+l (CN+I) dans la succession de couches convolutives prend en entrée une carte de concaténation résultant de la concaténation de la carte d'attributs sémantiques (FMSN) estimée par le premier bloc de convolution (B1N) de la couche convolutive de rang N dans la succession de couches convolutives avec la carte d'attributs de profondeur (FM DN) estimée par le deuxième bloc de convolution (B2N) de la couche convolutive de rang N dans la succession de couches convolutives.
6. Procédé selon l'une des revendications 1 à 5, dans lequel la fusion de la carte sémantique, de la carte de profondeur et de la carte de confiance de la carte de profondeur comprend la détermination d'une carte de concaténation par concaténation de la carte sémantique, de la carte de profondeur et de la carte de confiance de la carte de profondeur et le traitement de la carte de concaténation par un deuxième réseau de neurones convolutif (CNN2).
7. Produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l'une des revendications 1 à 6.
8. Dispositif de cartographie de terrain destiné à être embarqué sur un système mobile, comprenant un processeur configuré pour mettre en œuvre les étapes du procédé selon l'une des revendications 1 à 6.
PCT/FR2023/051741 2022-11-07 2023-11-07 Système et procédé d'aide à la navigation d'un système mobile Ceased WO2024100349A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202380077199.5A CN120167033A (zh) 2022-11-07 2023-11-07 用于对移动系统的导航进行辅助的系统和方法
EP23814238.4A EP4616148A1 (fr) 2022-11-07 2023-11-07 Système et procédé d'aide à la navigation d'un système mobile

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2211564 2022-11-07
FR2211564A FR3141763B1 (fr) 2022-11-07 2022-11-07 Système et procédé d’aide à la navigation d’un système mobile

Publications (1)

Publication Number Publication Date
WO2024100349A1 true WO2024100349A1 (fr) 2024-05-16

Family

ID=85222201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2023/051741 Ceased WO2024100349A1 (fr) 2022-11-07 2023-11-07 Système et procédé d'aide à la navigation d'un système mobile

Country Status (4)

Country Link
EP (1) EP4616148A1 (fr)
CN (1) CN120167033A (fr)
FR (1) FR3141763B1 (fr)
WO (1) WO2024100349A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241022A1 (fr) 2018-06-13 2019-12-19 Nvidia Corporation Détection de chemin pour machines autonomes utilisant des réseaux neuronaux profonds
EP3945349A1 (fr) * 2020-07-31 2022-02-02 Continental Automotive GmbH Procédé et système permettant de déterminer des informations d'image 3d

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241022A1 (fr) 2018-06-13 2019-12-19 Nvidia Corporation Détection de chemin pour machines autonomes utilisant des réseaux neuronaux profonds
EP3945349A1 (fr) * 2020-07-31 2022-02-02 Continental Automotive GmbH Procédé et système permettant de déterminer des informations d'image 3d

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN LIANG ET AL: "Lidar-histogram for fast road and obstacle detection", 2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 29 May 2017 (2017-05-29), pages 1343 - 1348, XP033126901, DOI: 10.1109/ICRA.2017.7989159 *
GU SHUO ET AL: "3-D LiDAR + Monocular Camera: An Inverse-Depth-Induced Fusion Framework for Urban Road Detection", IEEE TRANSACTIONS ON INTELLIGENT VEHICLES, IEEE, vol. 3, no. 3, 1 September 2018 (2018-09-01), pages 351 - 360, XP011689287, ISSN: 2379-8858, [retrieved on 20180824], DOI: 10.1109/TIV.2018.2843170 *

Also Published As

Publication number Publication date
FR3141763B1 (fr) 2024-12-13
FR3141763A1 (fr) 2024-05-10
CN120167033A (zh) 2025-06-17
EP4616148A1 (fr) 2025-09-17

Similar Documents

Publication Publication Date Title
Singh et al. Single image dehazing using gradient channel prior
WO2012175888A1 (fr) Génération de données de carte
FR3117223A1 (fr) Système et procédé de contrôle de véhicule à base d’apprentissage machine
EP4002274A1 (fr) Procédé itératif d'estimation du mouvement d'un corps matériel par génération d'une grille de mouvement filtrée
CN115497061B (zh) 一种基于双目视觉的道路可行驶区域识别方法及装置
FR3106918A1 (fr) Procédé et dispositif de reconstruction des voies
FR3075433B1 (fr) Procede de determination des bords saillants d'une cible sur une image
FR2991090A1 (fr) Systemes et procedes de topographie et de reconstruction tridimensionnelle a partir d'un nuage de points et supports de stockage informatique pour ces systemes et procedes
WO2020165544A1 (fr) Identification de zones roulables avec prise en compte de l'incertitude par une méthode d'apprentissage profond
US9767361B2 (en) Bathymetric techniques using satellite imagery
WO2022117765A1 (fr) Procédé et dispositif de génération de trajectoire d'un appareil mobile respectant une contrainte temporelle prédéterminée
WO2020151983A1 (fr) Procédé de détermination d'un score de confiance d'une cible d'un environnement d'un véhicule
FR3051423A1 (fr) Procede de proposition d'une vitesse de roulage
EP4616148A1 (fr) Système et procédé d'aide à la navigation d'un système mobile
Le et al. Simple linear iterative clustering based low-cost pseudo-LiDAR for 3D object detection in autonomous driving
WO2021165237A1 (fr) Procédé et dispositif de détermination d'obstacles d'altitude
FR3069688A1 (fr) Dispositif electronique et procede d'estimation d'un deplacement d'une scene observee par un drone, appareil electronique de calcul d'une vitesse sol du drone, drone et programme d'ordinateur associes
EP4439478A1 (fr) Procédé de suivi d'objets multiples
FR3138944A1 (fr) Dispositif et procédé d'estimation de la traversabilité d'un terrain par un système mobile
EP4386425B1 (fr) Procédé de caractérisation de l'environnement d'un dispositif mobile, produisant une grille d'espace statique et/ou une grille d'espace libre
FR3097974A1 (fr) Procede et dispositif de telemetrie passive par traitement d'image et utilisation de modeles en trois dimensions
FR3128015A1 (fr) Système d’aide à la navigation d’un véhicule.
FR3146534A1 (fr) Procede d’estimation d’une carte de profondeur d’une image monoculaire et dispositifs associes
Narayan et al. Analysis of different disparity estimation techniques on aerial stereo image datasets
FR3163760A1 (fr) Procédé et dispositif de génération d’images d’apprentissage d’un modèle de prédiction de profondeur pour un système de vision avec caméras hétérogènes.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23814238

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380077199.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023814238

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023814238

Country of ref document: EP

Effective date: 20250610

WWP Wipo information: published in national office

Ref document number: 202380077199.5

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023814238

Country of ref document: EP