FR3107763A1

FR3107763A1 - Procédé de cartographie tri-dimensionnelle et calculateur associé

Info

Publication number: FR3107763A1
Application number: FR2002028A
Authority: FR
Inventors: Marc BELLINGER; David Guerrero; Lucien Garcia
Original assignee: Continental Automotive France SAS
Current assignee: Aumovio Autonomous Mobility Germany GmbH
Priority date: 2020-02-28
Filing date: 2020-02-28
Publication date: 2021-09-03
Anticipated expiration: 2040-02-28
Also published as: FR3107763B1

Abstract

La présente divulgation concerne un procédé de cartographie tridimensionnelle de lignes de marquage au sol détectées dans le champ de vision d’au moins une caméra située dans au moins un véhicule et orientée vers la route mis en œuvre par au moins un calculateur, un véhicule comprenant au moins une caméra et au moins un calculateur configuré pour mettre en œuvre au moins certaines des étapes du procédé et un programme d’ordinateur associé. Le procédé comprend en outre la mise en œuvre d’un algorithme de détection de ligne par au moins un véhicule et la détermination d’un modèle permettant de d’estimer les coordonnées GNSS (longitude, latitude et altitude) de points appartenant à une même ligne. Le modèle d’estimation des coordonnées GNSS des points appartenant à une même ligne est obtenu par extrapolation d’une fonction à partir d’une pluralité de points dont la position GNSS est déterminée, chaque point étant obtenu suite à la mise en œuvre d’un algorithme de détection de ligne pour une position courante d’un véhicule, à la sélection d’un point sur chacune des lignes détectées par l’algorithme de détection de ligne, et à la détermination de la position GNSS de ce point. Figure de l’abrégé : Figure 5

Description

Procédé de cartographie tri-dimensionnelle et calculateur associé

La présente divulgation relève du domaine de la cartographie d’éléments d’infrastructure routière, tels des lignes de marquages au sol délimitant des voies de circulation.

Il est connu de détecter des marquages au sol délimitant des voies de circulation afin de permettre la détection de franchissements de lignes de marquage au sol ou le suivi de ces lignes pour l’assistance à la conduite par exemple.

De manière connue, les algorithmes de détection de lignes comprennent une étape de détection des marquages au sol, le plus souvent par détection de contour ou détection de contrastes entre les marquages au sol et la route. Puis, on identifie les différents marquages au sol détectés appartenant à une même ligne de marquage au sol. Ensuite, on établit un modèle permettant de déterminer les coordonnées de la ligne correspondante dans un référentiel du véhicule. Lorsque le véhicule se déplace, on estime une position possible de la ligne de marquage au sol à partir du déplacement du véhicule et l’on met à jour le modèle à partir de l’image acquise.

Le document «Lane Detection (Part I): Mono-Vision Based Method», Hao Li, Fawzi Nashashibi, Technical Report N°433, INRIA, January 2013 décrit différents exemples de méthodes pouvant être utilisées pour réaliser ces différentes étapes.

Les procédés de l’art antérieur, dont ceux décrits dans le document précédemment cité, permettent de déterminer la position des lignes sur la route par rapport au véhicule à un instant donné, la position des lignes étant déterminée à l’aide d’une image de la route prise par la caméra. Cependant, l’altitude de la route sur laquelle sont détectées ces lignes n’est ni prise en compte ni déterminée.

La connaissance de l’altitude des lignes détectées, et donc de l’altitude de la route correspondante, peut être utile dans diverses applications liées à la cartographie, notamment pour déterminer un itinéraire d’un véhicule en fonction du dénivelé de la route empruntée ou pour améliorer la détection de la route empruntée par le véhicule en fonction de l’altitude détectée par le système de navigation du véhicule, par exemple.

De plus, l’algorithme de détection de ligne n’est pas toujours fiable pour déterminer un modèle correspondant à la ligne réelle notamment lorsque l’on s’éloigne du véhicule. Ceci est particulièrement visible sur la figure 4. La ligne Ld (trait mixte) obtenue à l’aide de l’algorithme de détection de ligne s’éloigne de la ligne réelle Lr (ligne continue) matérialisant la ligne de marquage au sol constituée d’un ou plusieurs marquages au sol successifs.

Un but de la présente divulgation est donc d’obtenir des cartes comportant des informations tridimensionnelles concernant la position des lignes délimitant des voies de navigation. En d’autres termes, un but de la présente divulgation est d’obtenir des cartes répertoriant la position des lignes et donc leur latitude et leur longitude mais aussi leur altitude.

Un autre but de la présente divulgation est de fournir des modèles d’estimation des coordonnées de points appartenant à la ligne détectée plus fiables, c’est-à-dire permettant une représentation plus fidèle des lignes de marquage au sol.

Il est proposé un procédé de cartographie tridimensionnelle de lignes de marquage au sol détectées dans le champ de vision d’au moins une caméra située dans au moins un véhicule et orientée vers la route, le procédé étant mis en œuvre par au moins un calculateur, comprenant pour au moins un véhicule:
a) une étape d’initialisation, comprenant:
i. la détermination d’une position initiale tridimensionnelle du véhicule,
ii. la mise en œuvre d’un algorithme de détection de ligne,
iii. la sélection d’un point d’une ligne détectée et la détermination de ses coordonnées dans le référentiel lié au véhicule à partir d’un premier modèle de la ligne détectée,
b) la mise en œuvre, lors de la circulation du véhicule sur une trajectoire, des étapes de:
i. suivi d’un déplacement tridimensionnel du véhicule dans un repère local le long de sa trajectoire,
ii. détermination de la position du véhicule en plusieurs points de sa trajectoire, et
iii. itération, lorsque le véhicule a parcouru une distance prédéterminée sur sa trajectoire, des étapes de :
1. mise en œuvre de l’algorithme de détection de ligne pour actualiser le modèle précédent,
2. sélection d’un point de la ligne détectée et détermination de ses coordonnées dans un référentiel lié au véhicule à partir du modèle actualisé de la ligne.

Selon un autre aspect, il est proposé un produit programme d’ordinateur comprenant des instructions pour la mise en œuvre d’un procédé comprenant:
a) une étape d’initialisation, comprenant :
i. la détermination d’une position initiale tridimensionnelle du véhicule,
ii. la mise en œuvre d’un algorithme de détection de ligne,
iii. la sélection d’un point d’une ligne détectée et la détermination de ses coordonnées dans le référentiel lié au véhicule à partir d’un premier modèle de la ligne détectée,
b) la mise en œuvre, lors de la circulation du véhicule sur une trajectoire, des étapes de :
i. suivi d’un déplacement tridimensionnel du véhicule dans un repère local le long de sa trajectoire,
ii. détermination de la position du véhicule en plusieurs points de sa trajectoire, et
iii. itération, lorsque le véhicule a parcouru une distance prédéterminée sur sa trajectoire, des étapes de:
1. mise en œuvre de l’algorithme de détection de ligne pour actualiser le modèle précédent,
2. sélection d’un point d’une ligne détectée et détermination de ses coordonnées dans le référentiel lié au véhicule à partir du modèle actualisé de la ligne,
lorsqu’il est mis en œuvre par un calculateur.

Selon un autre aspect, il est proposé un véhicule, comprenant au moins une caméra orientée vers la route et apte à acquérir l’environnement du véhicule et au moins un calculateur, le calculateur étant configuré pour mettre en œuvre:
a) une étape d’initialisation, comprenant :
i. la détermination d’une position tridimensionnelle initiale du véhicule,
ii. la mise en œuvre d’un algorithme de détection de ligne,
iii.la sélection d’un point d’une ligne détectée et la détermination de ses coordonnées dans le référentiel lié au véhicule à partir d’un premier modèle de la ligne détectée,
b) la mise en œuvre, lors de la circulation du véhicule sur une trajectoire, des étapes de :
i. suivi d’un déplacement tridimensionnel du véhicule dans un repère local le long de sa trajectoire,
ii. détermination de la position du véhicule en plusieurs points de sa trajectoire, et
iii. itération, lorsque le véhicule a parcouru une distance prédéterminée sur une trajectoire, des étapes de:
1. mise en œuvre de l’algorithme de détection de ligne pour actualiser le modèle précédent,
2. sélection d’un point de la ligne détectée et détermination de ses coordonnées dans le référentiel lié au véhicule à partir du modèle actualisé de la ligne.

Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre. Elles peuvent être mises en œuvre indépendamment les unes des autres ou en combinaison les unes avec les autres:

Dans un mode de réalisation, la position tridimensionnelle initiale du véhicule est une position initiale GNSS comprenant une latitude, une longitude et une altitude initiale du véhicule,
- la position du véhicule en plusieurs points de sa trajectoire est une position GNSS, et
- le procédé comprend en outre:
c) l’établissement des coordonnées GNSS de chaque point sélectionné à partir de ses coordonnées dans le référentiel lié au véhicule, du déplacement du véhicule dans le repère local, et des positions GNSS du véhicule déterminées sur des points de sa trajectoire, et
d) la détermination, d’un second modèle permettant d’estimer les coordonnées GNSS de points appartenant à une même ligne à partir des coordonnées des points sélectionnés appartenant à ladite ligne.

Dans un mode de réalisation, chaque véhicule comprend un premier calculateur et les étapes d’initialisation, de suivi du déplacement du véhicule, de détermination de la position GNSS du véhicule et d’itération sont mises en oeuvre par le premier calculateur. Le procédé comprend en outre une étape de transmission, par chaque véhicule, à un deuxième calculateur, de données permettant d’établir la position en coordonnées GNSS de chaque point sélectionné, l’étape de transmission étant mise en œuvre par le premier calculateur. De plus, l’étape de détermination du second modèle est mise en œuvre par le deuxième calculateur.

Dans un mode de réalisation, la distance prédéterminée est déterminée à chaque itération en fonction de la courbure de la ligne détectée déterminée à l’aide du modèle précédent déterminé lors de la mise en œuvre précédente de l’algorithme de détection de ligne.

Dans un mode de réalisation, la distance prédéterminée est déterminée de sorte que l’erreur obtenue par échantillonnage de la ligne détectée en une pluralité de points sélectionnés lors des différentes itérations est inférieure à un seuil, de préférence inférieure à 10 cm.

Dans un mode de réalisation, le second modèle est une fonction polynomiale d’ordre supérieur ou égal à 3.

Dans un mode de réalisation, le premier modèle est une fonction polynomiale d’ordre supérieur ou égal à 3 et la courbure de la ligne détectée est déterminée à l’aide du coefficient d’ordre 2 de la fonction polynomiale.

Dans un mode de réalisation, le suivi du déplacement tri-dimensionnel du véhicule est obtenu par la mise en œuvre d’un algorithme d’odométrie visuelle à partir d’images successives acquises par une caméra et d’une estimation de la vitesse du véhicule entre deux images successives par odométrie.

Le procédé de cartographie proposé permet d’obtenir des cartes répertoriant la position des lignes de marquage au sol mais aussi leur altitude avec une plus grande fiabilité et un volume de données à traiter limité.

L’algorithme de détection de ligne en temps réel mis en œuvre par chaque véhicule permet de déterminer les coordonnées de points appartenant à la ligne détectée pour la position courante du véhicule. Ces coordonnées sont estimées à l’aide d’un modèle. Cependant, ce modèle n’est pas très fiable lorsque l’on s’éloigne de la position courante du véhicule en raison d’un manque de précision engendré par la perspective.

Ainsi, afin d’améliorer la fiabilité du modèle, le modèle d’estimation est déterminé à partir d’une pluralité de points, chaque point correspondant à un point sélectionné sur une ligne détectée par un véhicule lorsque celui-ci se déplace. De manière avantageuse, le point est sélectionné sur la ligne détectée à une position pour laquelle l’erreur entre la ligne détectée et la ligne réelle est acceptable, c’est-à-dire inférieure à un seuil prédéterminé.

Par ailleurs, le modèle d’estimation des coordonnées de la ligne détectée utilisé par l’algorithme de détection de ligne de marquage au sol ne permet que d’estimer la position des points de la ligne dans un référentiel lié au véhicule et dans un plan correspondant au plan de la route, avec l’hypothèse que la route est plane localement. La prise en compte du déplacement du véhicule permet de déterminer la position du véhicule lorsque celui-ci se déplace.

La détermination des coordonnées GNSS pour plusieurs points de la trajectoire du véhicule permet de déterminer les coordonnées GNSS des points sélectionnés appartenant à une ligne détectée. De plus, les données obtenues par un ou plusieurs véhicules configurés pour mettre en œuvre un algorithme de détection de ligne de marquage au sol en temps réel peuvent être utilisées pour déterminer un modèle d’estimation des coordonnées d’un point appartenant à une ligne détectée comprenant la latitude, la longitude et l’altitude d’un point appartenant à cette ligne.

Avantageusement, la détermination du déplacement du véhicule permet de déterminer la position GNSS du véhicule indépendante du temps nécessaire au rafraichissement de la position GNSS du véhicule.

D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels:

La figure 1 montre un système permettant de mettre en œuvre un procédé de cartographie tridimensionnelle de lignes de marquage au sol selon un mode de réalisation.

La figure 2 montre un procédé de cartographie tridimensionnelle de lignes de marquage au sol selon un premier mode de réalisation.

La figure 3 montre plus en détail l’étape S10 du procédé de la figure 2.

La figure 4 représente de manière schématique une ligne de marquage au sol détectée par un véhicule.

La figure 5 montre un procédé de cartographie tridimensionnelle de lignes de marquage au sol selon un second mode de réalisation.

Les dessins et la description ci-après contiennent, pour l’essentiel, des éléments de caractère certain. Ils pourront donc non seulement servir à mieux faire comprendre la présente divulgation, mais aussi contribuer à sa définition, le cas échéant.

Il est maintenant fait référence à la figure 1.

La figure 1 illustre un système permettant de mettre en œuvre l’un des procédés des figures 1 et 3, selon un mode de réalisation.

Le système comprend au moins un véhicule 1, de préférence une pluralité de véhicules 1, et un serveur distant 10 apte à communiquer avec chaque véhicule 1.

Chaque véhicule 1 comporte un calculateur 2, par exemple un processeur, un microprocesseur, ou un microcontrôleur, relié à au moins une caméra 3, une mémoire 4 et une interface de communication 6. La caméra 3 est orientée vers la route, de préférence à l’avant du véhicule, et les images de la caméra sont utilisées notamment pour détecter la présence d’une ligne de marquage au sol, la ligne de marquage au sol comportant un seul marquage au sol dans le cas d’une ligne continue ou plusieurs marquages au sol alignés selon une même direction longitudinale dans le cas d’une ligne discontinue. Le véhicule 1 peut comporter également un ou plusieurs capteurs de position et/ou de mouvement 5 reliés au calculateur 2 choisis parmi un récepteur GNSS permettant d’obtenir la position absolue du véhicule, c’est-à-dire sa longitude, sa latitude et son altitude, une centrale inertielle, des capteurs odométriques permettant de déterminer la vitesse de rotation des roues du véhicule et donc la vitesse de déplacement du véhicule.

Les images de la caméra 3 ainsi que les acquisitions des capteurs de position et/ou de mouvement 5 sont stockées dans la mémoire 4. En outre, la mémoire 4 comprend des instructions de code pour la mise en œuvre d’au moins une partie d’un procédé de cartographie tridimensionnel tel que décrit ultérieurement en référence aux figures 2 et 5, les étapes réalisées par le calculateur 2 étant illustrées sur la partie gauche de ces figures.

Ces instructions de code sont exécutées par le calculateur électronique 2 pour notamment détecter une ligne de marquage au sol, déterminer un modèle permettant d’estimer les coordonnées de points appartenant à cette ligne.

Le calculateur 2 est également configuré pour envoyer des données à un serveur distant 10 via son interface de communication 6.

Le serveur distant 10 comprend également un calculateur électronique 11, également appelé calculateur central, relié à au moins une mémoire 12 et une interface de communication 13 apte à communiquer avec le véhicule 1 via son interface de communication 6. La mémoire 12 comprend des instructions de code pour la mise en œuvre de certaines étapes d’un procédé de cartographie tridimensionnel tel que décrit ultérieurement en référence aux figures 2 et 5, les étapes réalisées par le calculateur 11 étant illustrées sur la partie droite de ces figures. Le serveur distant 10 participe à la création d’une carte tridimensionnelle représentant les lignes de marquage au sol détectées par les véhicules, la carte comprenant des informations relatives à l’altitude de ces lignes.

Dans le premier mode de réalisation décrit en référence à la figure 2, le calculateur 2 détermine lui-même un modèle permettant d’estimer les coordonnées GNSS comprenant la longitude, la latitude et l’altitude des points appartenant à une même ligne. Ce modèle est ensuite transmis au serveur distant 10 qui enregistre ce modèle et met en forme les données de la carte routière. Dans le second mode de réalisation décrit en référence à la figure 5, le calculateur 2 transmet les données permettant d’établir la position en coordonnées GNSS de chaque point sélectionné sur l’une des lignes détectées au serveur distant 10. Ces données sont ensuite utilisées pour déterminer les coordonnées GNSS de chacun des points sélectionnés et pour déterminer un modèle permettant d’estimer les coordonnées GNSS de points appartenant à une même ligne. Les données permettant d’établir la position en coordonnées GNSS de chaque point sélectionné peuvent être des coordonnées GNSS ou d’autres informations, telles que par exemple, une carte locale comportant les positions des points sélectionnés et les coordonnées GNSS du point d’origine de la carte locale comme décrit ultérieurement.

Les différentes étapes du procédé, notamment concernant l’estimation des coordonnées GNSS des points appartenant à une même ligne sont décrites plus en détail en référence aux figures 2 et 5.

Dans les modes de réalisation décrits ci-dessous, le procédé de cartographie tridimensionnel est décrit lorsqu’une seule ligne de marquage est détectée. Bien entendu, le procédé s’applique de la même manière lorsque plusieurs lignes de marquage au sol sont détectées.

La figure 2 illustre un premier mode de réalisation du procédé de cartographie tridimensionnelle de lignes de marquage au sol. Le procédé comprend des étapes S10, S20, S30, S40, S45, S50, S60 et S70 mises en œuvre par le calculateur 2 d’un véhicule 1 et l’étape S80 mise en œuvre par le calculateur 11 du serveur distant 10.

L’étape S10 est une étape d’initialisation illustrée plus en détail en référence à la figure 3. L’étape S10 comprend une étape S11 de détermination d’une position GNSS initiale du véhicule contenant une latitude, une longitude et une altitude, une étape S12 de mise en œuvre d’un algorithme de détection de ligne de marquage au sol et une étape S13 de sélection d’un point de la ligne détectée et de détermination de ses coordonnées dans le référentiel lié au véhicule.

Dans un mode de réalisation, la position GNSS initiale déterminée lors de l’étape S11 est fournie directement par le récepteur GNSS.

Dans un autre mode de réalisation, la position initiale du véhicule est déterminée, lors de l’étape S11, à partir d’informations concernant l’environnement du véhicule identifié par la caméra. Par exemple, lorsque l’on reconnait, à l’aide de la caméra, des éléments identifiables dont la position GNSS est connue, tels que des bâtiments reconnaissables par exemple, il est possible de déterminer la position du véhicule en fonction de la position GNSS du ou des éléments identifiables et d’informations concernant la position relative du véhicule par rapport à ce ou ces éléments identifiables.

L’étape S12 de mise en œuvre d’un algorithme de détection de ligne de marquage au sol, appelé par la suite «algorithme de détection de ligne», comprend la détection d’une ligne de marquage au sol se trouvant sur la route, à partir d’une image acquise par la caméra et la détermination d’un premier modèle permettant d’estimer les coordonnées de points appartenant à la ligne détectée dans un référentiel lié au véhicule.

En particulier et tel que décrit dans le document précédemment cité, l’algorithme de détection de ligne détecte notamment les différents marquages au sol présents sur une image de la route, détermine s’ils correspondent à une même ligne continue ou discontinue et détermine un premier modèle d’estimation des coordonnées des points appartenant à la ligne détectée. Le premier modèle d’estimation des coordonnées est un modèle permettant d’interpoler une courbe passant par certains segments ou points remarquables des marquages au sol considérés.

Dans un mode de réalisation particulier, le premier modèle est une fonction polynomiale d’ordre 3 de la forme: ,

dans laquelle
x et y sont les coordonnées d’un point appartenant à la ligne détectée dans le référentiel lié au véhicule,
a₀, a₁, a₂, a₃sont les coefficientsde la fonction polynomiale, a₀étant représentatif de la distance de la ligne détectée par rapport au véhicule selon l’axe y, a₁étant représentatif d’un angle d’inclinaison de la ligne détectéeet a₂et a₃étant représentatifs de la courbure de la ligne.

L’axe y correspond à un axe longitudinal du véhicule et l’axe x à un axe transversal du véhicule tel que représenté dans la figure 4. Le repère formé par les axes x et y correspond localement à un plan correspondant au plan de la route en considérant que la route est plane localement.

Bien entendu, d’autres fonctions telles que la fonction spline par exemple peuvent être utilisées pour définir le premier modèle d’estimation.

Ensuite, lors d’une étape S13, on sélectionne un point de la ligne détectée et on détermine ses coordonnées dans le référentiel lié au véhicule à partir du premier modèle déterminé précédemment. Cette étape est illustrée dans la figure 4.

La figure 4 représente de manière schématique une route sur laquelle se déplace un véhicule 1. Du côté droit de la route se trouve une ligne Lr représentant de manière schématique la ligne de marquage au sol réelle et une ligne Ld en trait mixte correspondant à la ligne de marquage détectée. On notera que la ligne de marquage au sol peut être continue ou discontinue. Dans le cas d’une ligne de marquage au sol Lr continue, celle-ci est constituée d’un unique marquage au sol de largeur définie. Dans le cas d’une ligne de marquage au sol discontinue, la ligne comprend une pluralité de marquages au sol successifs de longueur et de largeur définie. La ligne Ld est interpolée à partir de la position d’éléments détectés dans les marquages au sol. Ainsi, la ligne Ld peut être interpolée pour passer par le milieu des lignes de marquages au sol détectées ou par l’un des mêmes bords de chaque marquage au sol détecté.

Le point Ps illustre le point de la ligne Ld sélectionné lors de l’étape S13. De préférence, le point Ps est sélectionné à une distance prédéterminée du véhicule, par exemple à une distance d2 selon l’axe x. La distance prédéterminée est choisie de sorte qu’une ligne de marquage comportant un ou plusieurs marquages au sol successifs puisse être vue sur l’image et être détectée avec suffisamment de précision de sorte que la courbe Ld coïncide avec la ligne réelle Lr. Cela est le cas à une distance suffisante de la voiture comme illustré sur la figure 4. On choisira par exemple, pour une caméra ayant un angle de vue de 35°, une distance d2 de 7m selon l’axe x.

Ensuite, lors de la circulation du véhicule le long de la route, i.e. sur sa trajectoire, on réalise les étapes S20 de suivi du déplacement du véhicule, S30 de détermination de la position GNSS du véhicule en plusieurs points de la trajectoire, S40 de mise en œuvre de l’algorithme de détection de ligne et S45 de sélection d’un point de la ligne détectée et de détermination de ses coordonnées dans un référentiel lié au véhicule. Les étapes S40 et S45 sont réitérées à chaque fois que le véhicule a parcouru une distance prédéterminée D1.

Plus précisément, l’étape S20 est une étape de suivi d’un déplacement tridimensionnel du véhicule dans un repère local le long de sa trajectoire. Le déplacement du véhicule est donc mesuré en continu et est utilisé pour retrouver la position du véhicule sur sa trajectoire à un instant donné dans le repère local. L’origine du repère local peut être par exemple la première position du véhicule lors de l’étape d’initialisation.

On notera plus particulièrement que l’étape S20 permet de collecter des données représentatives du déplacement du véhicule selon trois axes permettant de déterminer la trajectoire du véhicule dans un repère local. La trajectoire dite locale du véhicule est utilisée pour déterminer la position GNSS du véhicule sur chaque point de sa trajectoire comme décrit ultérieurement en référence à l’étape S50.

Le suivi du déplacement tridimensionnel peut se faire par exemple en gardant en mémoire une pluralité de transformations représentatives d’un déplacement tridimensionnel entre deux positions successives du véhicule.

Le déplacement du véhicule peut également être utilisé pour vérifier si le véhicule s’est déplacé d’une distance prédéterminée par rapport à une position précédente du véhicule lors de la mise en œuvre des étapes S40 et S45.

Le déplacement du véhicule est déterminé à l’aide de capteurs embarqués tels que la caméra, la centrale inertielle et/ou les capteurs odométriques du véhicule.

Dans une variante de réalisation, le déplacement tridimensionnel du véhicule est obtenu par la mise en œuvre d’un algorithme d’odométrie visuelle tels que ceux décrits, par exemple, dans «Visual Odometry: Part I - The First 30 Years and Fundamentals”, D. Scaramuzza, F. Fraundorfer, IEEE Robotics and Automation Magazine, Volume 18, issue 4, 2011 et dans “Visual Odometry: Part II - Matching, Robustness, and Applications”, D. Scaramuzza, F. Fraundorfer, IEEE Robotics and Automation Magazine, Volume 19, issue 1, 2012.

L’algorithme d’odométrie visuelle permet, à partir de deux images prises par une même caméra se trouvant dans un véhicule, de déterminer le déplacement de ce véhicule entre les deux images acquises.

Plus particulièrement, l’algorithme permet, à partir du déplacement d’un même motif présent sur les deux images, de déterminer une transformation de repère entre un premier repère local associé à une première position du véhicule et un second repère local associé à une deuxième position du véhicule. En outre, la vitesse du véhicule déterminée par l’un des capteurs d’odométrie permet de déterminer le facteur d’échelle. Ainsi, en multipliant la première position du véhicule dans le repère local avec la transformation, on obtient la seconde position du véhicule dans le repère local. Il est ainsi possible d’établir une carte locale du déplacement du véhicule le long de sa trajectoire.

Dans une autre variante de réalisation, le déplacement tridimensionnel du véhicule est déterminé notamment à partir d’une vitesse de déplacement du véhicule, d’un angle de lacet et d’un angle de tangage. La vitesse de déplacement du véhicule est obtenue à l’aide des capteurs odométriques et l’angle de lacet et l’angle de tangage peuvent être déterminés à l’aide de la centrale inertielle ou à partir des images prises par la caméra selon un procédé connu de l’homme du métier non détaillé ici. A partir de la vitesse de déplacement du véhicule, de l’angle de lacet et d’un angle de tangage, il est possible de déterminer le déplacement tridimensionnel du véhicule de manière similaire à ce qui est décrit dans l’article «Vehicle dynamics estimation via augmented Extended Kalman Filtering», G.Reina, A.Messina, Measurement, Volume 133,February 2019, Pages 383-395.

L’étape S30 est une étape de détermination de la position GNSS du véhicule en plusieurs points de sa trajectoire. Dans un mode de réalisation, la position GNSS est fournie de manière périodique par le récepteur GNSS. Dans un autre mode de réalisation, la position GNSS est déterminée chaque fois que le véhicule détecte avec sa caméra un élément identifiable dont la position GNSS est connue tel que décrit précédemment en référence à l’étape S11.

L’étape S40 est une étape de mise en œuvre de l’algorithme de détection de ligne lors de laquelle on actualise le premier modèle d’estimation, afin de pouvoir déterminer les coordonnées des points appartenant à la nouvelle ligne détectée après que le véhicule se soit déplacé de la distance prédéterminée D1 par rapport à la dernière mise en œuvre de l’algorithme de détection de ligne. L’étape S40 met en œuvre les mêmes étapes que celles décrites en relation avec l’algorithme de détection de ligne décrit dans l’étape S12. L’étape S40 peut comprendre également une étape préalable de poursuite («tracking» en anglais) connue de l’homme du métier. L’étape de poursuite permet d’estimer une position de la ligne en prenant en compte le déplacement du véhicule de la distance prédéterminée D1 et le modèle d’estimation déterminé lors de la mise en œuvre précédente de l’algorithme de détection de ligne. Cette position estimée est utilisée pour faciliter la détection des marquages au sol pouvant constituer la ligne après déplacement du véhicule. On notera que le déplacement du véhicule dans le plan de la route peut être estimé à l’aide des capteurs odométriques et de la centrale inertielle par exemple.

L’étape S45 est une étape de sélection d’un point de la nouvelle ligne détectée et de détermination de ses coordonnées dans le référentiel lié au véhicule à partir du premier modèle actualisé lors de l’étape S40.

Ensuite, lors de l’étape S50, les coordonnées GNSS de chaque point sélectionné sont établies à partir des coordonnées du point sélectionné lors de chaque itération de l’étape S45 dans le référentiel lié au véhicule, du déplacement du véhicule dans le repère local déterminé lors de l’étape S20 et des positions GNSS du véhicule déterminées sur des points de sa trajectoire lors de l’étape S30.

On notera que l’étape S20 de suivi du déplacement tridimensionnel du véhicule sur sa trajectoire permet de connaître la position, dans le repère local, du véhicule chaque fois que l’algorithme de détection de ligne est mis en œuvre mais aussi chaque fois que la position GNSS du véhicule est déterminée.

Il est ainsi possible, connaissant les positions GNSS du véhicule sur certains points de sa trajectoire, de déterminer la position GNSS du véhicule lors de chaque mise en œuvre de l’algorithme de détection de ligne. Ensuite, connaissant les coordonnées de chaque point de la ligne détectée dans le référentiel lié au véhicule, les coordonnées GNSS de chaque point sélectionné peuvent être déterminées.

Dans un mode de réalisation, on sélectionne des portions de trajectoires comprises entre deux positions GNSS successives et l’on détermine une transformation affine permettant de faire correspondre une position initiale du véhicule sur la portion de trajectoire locale avec la position GNSS correspondante et une position finale du véhicule sur cette portion de trajectoire avec la position GNSS correspondante.

Dans une variante de réalisation, on détermine une transformation affine des points de la trajectoire de manière à faire correspondre au mieux les positions GNSS déterminées avec les points de la trajectoire correspondants.

On détermine ensuite la position GNSS du véhicule lors de chaque mise en œuvre de l’algorithme de détection de ligne en appliquant la ou les transformations affines sur les coordonnées du véhicule dans le repère local et on détermine ensuite les coordonnées GNSS de chaque point sélectionné à l’aide de ses coordonnées, dans le référentiel lié au véhicule et de la position GNSS du véhicule correspondante.

Lors de l’étape S60, un deuxième modèle permettant d’estimer les coordonnées GNSS de points appartenant à une même ligne est déterminé à partir des coordonnées GNSS des points sélectionnés obtenus par mise en œuvre de l’étape S50 appartenant à ladite ligne. Le second modèle est obtenu par interpolation et peut être une fonction polynomiale d’ordre supérieur ou égal à 3 ou une fonction spline par exemple permettant d’obtenir l’un des paramètres choisis parmi la latitude, la longitude et l’altitude à partir des deux autres paramètres. Ce modèle est ensuite transmis lors de l’étape S70 au serveur distant 10.

Dans un mode de réalisation, lors de l’étape S80, le serveur distant 10 enregistre ce modèle et le met en forme pour intégrer les données relatives à cette ligne dans une carte routière sous la forme d’une structure de données appropriée.

Dans un autre mode de réalisation, le serveur distant 10 reçoit une pluralité de modèles émanant d’une pluralité de véhicules et détermine, lors de l’étape S80, à partir de cette pluralité de modèles, un nouveau modèle permettant d’estimer de manière plus précise les coordonnées GNSS de la ligne considérée.

La Figure 5 illustre un second mode de réalisation du procédé de cartographie tridimensionnelle de lignes de marquage au sol. Le procédé comprend des étapes S110, S120, S130, S135, S140 S145 et S146 mises en œuvre par le calculateur 2 d’un véhicule 1 et les étapes S150, S160 et S165 mises en œuvre par le calculateur 11 du serveur distant 10.

Les étapes S110, S120, S130, S140, S145, S150 et S160 correspondent respectivement aux étapes S10 d’initialisation, S20 de suivi du déplacement du véhicule, S30 de détermination de la position GNSS du véhicule en plusieurs points de la trajectoire, S40 de mise en œuvre de l’algorithme de détection de ligne, S45 de sélection d’un point de la ligne détectée et de détermination de ses coordonnées dans un référentiel lié au véhicule, S50 d’établissement des coordonnées GNSS de chaque point sélectionné et S60 de détermination d’un second modèle décrites précédemment en référence aux figures 2 et 3 et ne sont pas redécrites ici.

Dans le mode de réalisation décrit ici, au lieu de calculer directement la position des différents points sélectionnés en coordonnées GNSS dans le véhicule, on calcule la position GNSS des différents points sélectionnés dans le serveur distant 10 lors de l’étape S150.

Ainsi, lors de l’étape S146, le calculateur 2 du véhicule transmet au calculateur 11 du serveur distant 10 des données permettant d’établir la position en coordonnées GNSS de chaque point sélectionné sur l’une des lignes détectées.

Dans un mode de réalisation, on transmet, lors de l’étape S146, une carte locale comprenant les positions du véhicule dans lesquelles l’algorithme de détection de ligne a été mis en œuvre et celles pour lesquelles on connaît la position GNSS. On notera que chaque position du véhicule est prise dans le repère local. On transmet aussi les positions GNSS associées aux positions correspondantes et les coordonnées dans le référentiel lié au véhicule des points sélectionnés associés à chaque position correspondante. Dans une variante de réalisation, la carte locale comprend également la position des points sélectionnés dans le repère local obtenue à l’aide des coordonnées des points sélectionnés dans le référentiel lié au véhicule et de la position correspondante du véhicule dans le repère local.

Comme décrit précédemment en référence à l’étape S20, la position du véhicule dans le repère local est obtenue par la multiplication d’une position initiale du véhicule par des transformations représentatives du déplacement tridimensionnel du véhicule entre la position initiale considérée et la position courante du véhicule. La transformation représentative du déplacement du véhicule entre deux positions successives est obtenue à partir de l’algorithme d’odométrie visuelle ou à partir des données fournies par les capteurs d’odométrie notamment.

Ces données sont ensuite utilisées pour déterminer les coordonnées GNSS de chacun des points de la carte locale lors de l’étape S150 tel que décrit précédemment en référence à l’étape S50. Ensuite, lors de l’étape S160, on détermine un second modèle permettant d’estimer les coordonnées GNSS de points appartenant à une même ligne à partir des coordonnées GNSS des points sélectionnés appartenant à une même ligne comme décrit précédemment en référence à l’étape S60.

Lors d’une étape S165, le serveur distant 10 enregistre ce modèle et le met en forme pour intégrer les données relatives à cette ligne dans une carte routière sous la forme d’une structure de données appropriée.

Dans un mode de réalisation, le serveur distant 10 reçoit d’une pluralité de véhicules une pluralité de données permettant d’établir la position en coordonnées GNSS de chaque point sélectionné. Ces données sont transmises par une pluralité de véhicules lors de l’étape S146.

Le modèle déterminé lors de l’étape S160 à partir des points sélectionnés provenant d’une pluralité de véhicules permet d’obtenir un modèle plus précis d’estimation des coordonnées GNSS de points appartenant à une même ligne. En effet, la multitude de points collectés appartenant à une même ligne permet de réduire l’erreur de positionnement GNSS que l’on estime gaussienne.

De manière optionnelle, le procédé comprend en outre une étape S135 d’actualisation de la distance prédéterminée D1 en fonction de la courbure de la dernière ligne détectée. Avantageusement, la courbure de la dernière ligne détectée est déterminée à l’aide du premier modèle d’estimation déterminé lors de l’étape d’initialisation S110 ou lors de l’étape S140, c’est-à-dire lors de la mise en œuvre de l’algorithme de détection de ligne précédente.

Avantageusement, la distance prédéterminée D1 est déterminée de sorte que l’erreur obtenue par échantillonnage de la ligne détectée en une pluralité de points sélectionnés lors des différentes itérations est inférieure à un seuil, de préférence inférieure à 10 cm.

Il est ainsi possible de réduire le nombre d’itérations des étapes S140 à S145 et donc de réduire le volume de données à transmettre lors de l’étape S146 au serveur distant 10 tout en conservant une précision suffisante pour l’application visée, notamment pour la conduite autonome de véhicules dont la précision des cartes est actuellement de 10 cm. D’une manière similaire, il est également possible d’augmenter le nombre d’itérations des étapes S140 à S145 lorsque la courbure de la route augmente de manière à obtenir un modèle ayant une bonne précision.

Lorsque le premier modèle d’estimation est une fonction polynomiale d’ordre 3 telle que décrite en référence à [Math. 1], la courbure de la ligne détectée est déterminée à l’aide du coefficient d’ordre 2 de la fonction polynomiale et correspond au coefficient a2. Bien entendu, d’autres modèles d’estimation peuvent être utilisées tels une fonction spline par exemple.

La présente divulgation ne se limite pas aux modes de réalisation mettant en œuvre les procédés décrits en référence aux figures 2 et 5 décrits ci-avant, seulement à titre d’exemple, mais elle englobe toutes les variantes que pourra envisager l’homme de l’art dans le cadre de la protection recherchée.

Ainsi, dans une variante de réalisation, le modèle permettant d’estimer les coordonnées GNSS de points appartenant à une même ligne obtenu lors de la mise en œuvre de l’étape S60 décrit en référence à la figure 2 est stocké dans une mémoire du véhicule et n’est pas transmis à un serveur distant. Il peut éventuellement mais non nécessairement être collecté ultérieurement par une liaison filaire lors d’une maintenance du véhicule par exemple.

Dans une autre variante de réalisation, faisant référence au procédé décrit en référence à la figure 5, on calcule directement la position des différents points sélectionnés en coordonnées GNSS dans le véhicule et l’on transmet la position des différents points sélectionnés en coordonnées GNSS au calculateur 11 du serveur distant 10 qui détermine alors le deuxième modèle sur la base des données reçues d’un ou plusieurs véhicules.

Le procédé décrit et objet de la présente divulgation permet l’établissement d’un modèle permettant d’estimer les coordonnées GNSS de lignes de marquage au sol.

Claims

Procédé de cartographie tridimensionnelle de lignes de marquage au sol détectées dans le champ de vision d’au moins une caméra située dans au moins un véhicule et orientée vers la route, le procédé étant mis en œuvre par au moins un calculateur, comprenant pour au moins un véhicule:
a) une étape d’initialisation (S10; S110), comprenant:
i. la détermination d’une position initiale tridimensionnelle du véhicule (S11),
ii. la mise en œuvre d’un algorithme de détection de ligne (S12),
iii. la sélection d’un point d’une ligne détectée et la détermination de ses coordonnées dans le référentiel lié au véhicule à partir d’un premier modèle de la ligne détectée (S13),
b) la mise en œuvre, lors de la circulation du véhicule sur une trajectoire, des étapes de:
i. suivi d’un déplacement tridimensionnel du véhicule dans un repère local le long de sa trajectoire (S20; S120),
ii. détermination de la position du véhicule en plusieurs points de sa trajectoire (S30; S130), et
iii. itération, lorsque le véhicule a parcouru une distance prédéterminée (D1) sur sa trajectoire, des étapes de :
1. mise en œuvre de l’algorithme de détection de ligne pour actualiser le modèle précédent (S40; S140),
2. sélection d’un point de la ligne détectée et détermination de ses coordonnées dans un référentiel lié au véhicule à partir du modèle actualisé de la ligne (S45; S145).
Procédé de cartographie selon la revendication 1, dans lequel:
- la position tridimensionnelle initiale du véhicule est une position initiale GNSS comprenant une latitude, une longitude et une altitude initiale du véhicule,
- la position du véhicule en plusieurs points de sa trajectoire est une position GNSS, et
- le procédé comprend en outre:
c) l’établissement des coordonnées GNSS de chaque point sélectionné (S50; S150) à partir de ses coordonnées dans le référentiel lié au véhicule, du déplacement du véhicule dans le repère local, et des positions GNSS du véhicule déterminées sur des points de sa trajectoire, et
d) la détermination, d’un second modèle permettant d’estimer les coordonnées GNSS de points appartenant à une même ligne à partir des coordonnées des points sélectionnés appartenant à ladite ligne (S60; S160).
Procédé de cartographie selon la revendication 2, dans lequel chaque véhicule comprend un premier calculateur et dans lequel:
-les étapes d’initialisation (S110), de suivi du déplacement du véhicule (S120), de détermination de la position GNSS du véhicule (S130) et d’itération sont mises en œuvre par le premier calculateur,
-le procédé comprenant en outre une étape de transmission (S146), par chaque véhicule, à un deuxième calculateur, de données permettant d’établir la position en coordonnées GNSS de chaque point sélectionné, l’étape de transmission étant mise en œuvre par le premier calculateur, et
-l’étape de détermination du second modèle (S160) est mise en œuvre par le deuxième calculateur.
Procédé de cartographie selon l’une des revendications précédentes, dans lequel la distance prédéterminée (D1) est déterminée à chaque itération (S135) en fonction de la courbure de la ligne détectée déterminée à l’aide du modèle précédent déterminé lors de la mise en œuvre précédente de l’algorithme de détection de ligne.
Procédé de cartographie selon l’une des revendications précédentes, dans lequel la distance prédéterminée (D1) est déterminée de sorte que l’erreur obtenue par échantillonnage de la ligne détectée en une pluralité de points sélectionnés lors des différentes itérations est inférieure à un seuil, de préférence inférieure à 10 cm.
Procédé de cartographie selon l’une des revendications 2 à 5, dans lequel le second modèle est une fonction polynomiale d’ordre supérieur ou égal à 3.
Procédé de cartographie selon la revendication 4, dans lequel le premier modèle est une fonction polynomiale d’ordre supérieur ou égal à 3 et dans lequel la courbure de la ligne détectée est déterminée à l’aide du coefficient d’ordre 2 de la fonction polynomiale.
Procédé de cartographie selon l’une des revendications précédentes, dans lequel le suivi du déplacement tri-dimensionnel du véhicule (S20; S120) est obtenu par la mise en œuvre d’un algorithme d’odométrie visuelle à partir d’images successives acquises par une caméra et d’une estimation de la vitesse du véhicule entre deux images successives par odométrie.
Produit programme d’ordinateur, comprenant des instructions pour la mise en œuvre d’un procédé comprenant:
a) une étape d’initialisation (S10; S110), comprenant :
i. la détermination d’une position initiale tridimensionnelle du véhicule (S11),
ii. la mise en œuvre d’un algorithme de détection de ligne (S12),
iii. la sélection d’un point d’une ligne détectée et la détermination de ses coordonnées dans le référentiel lié au véhicule à partir d’un premier modèle de la ligne détectée (S13),
b) la mise en œuvre, lors de la circulation du véhicule sur une trajectoire, des étapes de :
i. suivi d’un déplacement tridimensionnel du véhicule dans un repère local le long de sa trajectoire (S20, S120),
ii. détermination de la position du véhicule en plusieurs points de sa trajectoire (S30, S130), et
iii. itération, lorsque le véhicule a parcouru une distance prédéterminée sur sa trajectoire, des étapes de:
1. mise en œuvre de l’algorithme de détection de ligne pour actualiser le modèle précédent (S40; S140),
2. sélection d’un point d’une ligne détectée et détermination de ses coordonnées dans le référentiel lié au véhicule à partir du modèle actualisé de la ligne (S45; S145),
lorsqu’il est mis en œuvre par un calculateur.
Véhicule (1), comprenant au moins une caméra (3) orientée vers la route et apte à acquérir l’environnement du véhicule et au moins un calculateur (2), le calculateur (2) étant configuré pour mettre en œuvre:
a) une étape d’initialisation (S10; S110), comprenant :
i. la détermination d’une position tridimensionnelle initiale du véhicule (S11),
ii. la mise en œuvre d’un algorithme de détection de ligne (S12),
iii. la sélection d’un point d’une ligne détectée et la détermination de ses coordonnées dans le référentiel lié au véhicule à partir d’un premier modèle de la ligne détectée (S13),
b) la mise en œuvre, lors de la circulation du véhicule sur une trajectoire, des étapes de :
i. suivi d’un déplacement tridimensionnel du véhicule dans un repère local le long de sa trajectoire (S20; S120),
ii. détermination de la position du véhicule en plusieurs points de sa trajectoire (S30; S130), et
iii. itération, lorsque le véhicule a parcouru une distance prédéterminée sur une trajectoire, des étapes de:
1. mise en œuvre de l’algorithme de détection de ligne pour actualiser le modèle précédent (S40; S140),
2. sélection d’un point de la ligne détectée et détermination de ses coordonnées dans le référentiel lié au véhicule à partir du modèle actualisé de la ligne (S45; S145).