FR3144871A1

FR3144871A1 - Procédé d’affichage tête haute sur un pare-brise d’un véhicule automobile, programme d’ordinateur et véhicule automobile associés.

Info

Publication number: FR3144871A1
Application number: FR2300253A
Authority: FR
Inventors: Frederic Large
Original assignee: PSA Automobiles SA
Current assignee: PSA Automobiles SA
Priority date: 2023-01-11
Filing date: 2023-01-11
Publication date: 2024-07-12

Abstract

Procédé d’affichage tête haute sur un pare-brise (140) d’un véhicule automobile (100) pour un objet mobile (300), caractérisé en ce qu’il comprend les étapes suivantes : Obtention, à un deuxième instant :D’une première information de position et d’une information de mouvement (t1) de l’objet (300) au premier instant, ouD’une deuxième information de position de l’objet (300) au quatrième instant,Prédiction d’une première position (p1) de l’objet mobile (300) à un quatrième instant,Détermination d’un axe d’un regard (200) d’un conducteur (130),Détermination d’une deuxième position (p2) d’un marqueur (141) de l’objet (300) sur le pare-brise (140), alignant la deuxième position (p2) avec la première position (p1), dans l’axe (200),A un troisième instant, commande d’une projection de manière à ce que le marqueur (141) soit projeté sur le pare-brise (140) à la deuxième position (p2) au quatrième instant. Figure pour l’abrégé : figure 1

Description

Procédé d’affichage tête haute sur un pare-brise d’un véhicule automobile, programme d’ordinateur et véhicule automobile associés.

L’invention concerne l’affichage tête haute dans un véhicule automobile.

Il existe un besoin d’améliorer l’expérience du conducteur de l’affichage tête-haute, et la sécurité à laquelle contribue cet affichage.

Dans ce but, l’invention concerne un procédé d’affichage tête haute sur un pare-brise d’un véhicule automobile (comprenant un projecteur) et circulant dans un environnement (fixe) du véhicule (comprenant par exemple une chaussée), le procédé étant caractérisé en ce qu’il comprend les étapes suivantes :

Détermination d’un quatrième instant,
Obtention, à un deuxième instant :
- D’une première information de position d’un l’objet (par rapport au véhicule ou à l’environnement) mobile par rapport à l’environnement (notamment par rapport à la chaussée) à un premier instant et d’une information de mouvement de l’objet par rapport à l’environnement au premier instant, ou
- D’une deuxième information de position de l’objet anticipée au quatrième instant,
Prédiction d’une première position de l’objet mobile dans l’environnement (, la première position étant celle de l’objet mobile) au quatrième instant, à partir de la première information de position et de l’information de mouvement, ou de la deuxième information de position,
Détermination d’un axe d’un regard d’un conducteur du véhicule, (par exemple, par un module de surveillance du regard) vers l’objet,
Détermination d’une deuxième position d’un marqueur de l’objet sur le pare-brise, la deuxième position étant déterminée de manière à aligner la deuxième position et (autrement dit : avec) la première position, dans (autrement dit : selon) l’axe, (au quatrième instant), autrement dit, de manière à aligner, au quatrième instant, le marqueur projeté sur le pare-brise et l’objet dans l’axe (lorsque l’objet est regardé par le conducteur au travers du pare-brise).
A un troisième instant, commande (autrement dit : envoi d’une commande) d’une (autrement dit : de) projection (par le projecteur) du marqueur à la deuxième position sur le pare-brise, le quatrième instant étant déterminé de manière à ce que le marqueur soit projeté sur le pare-brise à la deuxième position au quatrième instant (suite à la commande de projection au troisième instant, autrement dit : en conséquence de la commande de projection au troisième instant).

Le marqueur peut attirer l’attention du conducteur ou donner au conducteur une information sur l’objet, par la forme du marqueur, sa couleur, ou/ou un texte du marqueur.

Ainsi grâce à l’invention, on élimine les désalignements entre le marqueur projeté sur le pare-brise et l’objet mobile dans l’axe du regard du fait des temps de calcul nécessaires au positionnement du marqueur et éventuellement à l’analyse de l’image pour définir le marqueur.

Au quatrième instant donc, le conducteur du véhicule voit sur le pare-brise, la marque et, au travers du pare-brise, l’objet (autrement dit : la première position) aligné avec la marque (autrement dit : la deuxième position) (dans l’axe).

Bien entendu (c’est implicite) :

Le premier instant précède le deuxième instant (par exemple, qui est séparé du premier instant par le temps nécessaire à la mise en œuvre de l’étape obtention).
Le deuxième instant précède le troisième instant (par exemple, qui est séparé du deuxième instant du temps nécessaire à la mise en œuvre aux étapes de prédiction, de détermination d’un axe d’un regard, et de détermination de la deuxième position).
Le troisième instant précède le quatrième instant (par exemple, qui est séparé du troisième instant du temps nécessaire à la projection du marqueur).

Un quelconque de des quatre instants peut être déterminé comme étant un instant périodique. Les autres instants peuvent être déterminés par rapport à lui (à partir des temps nécessaires mentionnés plus hauts).

Toutefois, les quatre instants peuvent être déterminés selon d’autres méthodes ou approches.

Le procédé selon l’invention peut être répété, par exemple 10 à 100 fois par secondes. Le marqueur suit ainsi fidèlement l’objet dans l’axe tout au long de son déplacement.

Le premier instant peut être ainsi répété selon une fréquence prédéterminée, par exemple 10 à 100 fois par secondes (de manière périodique). En variante, le premier instant est un instant où apparait un objet mobile dans l’environnement ou sur une trajectoire ou circule le véhicule.

Le deuxième instant est déterminé par exemple par le temps de latence (il est à la fin de ce temps, par exemple) pour obtenir la première information de position et l’information de mouvement ou la deuxième information de position.

Le troisième instant est par exemple immédiatement après (une fin de) l’étape de prédiction de la première position, l’étape de détermination de l’axe, et l’étape de détermination de la deuxième position. En variante, le troisième instant est un instant ultérieur quelconque.

Le quatrième instant est par exemple séparé du troisième instant par la latence entre la commande de projection du marqueur et la projection effective du marqueur.

Cette latence peut être fixée lors de la conception par les ingénieurs ou à partir d’une répétition précédente du procédé selon l’invention.

L’objet mobile est par exemple à l’avant du véhicule. L’avant étant une zone par laquelle le véhicule va passer lorsqu’il circule, par exemple en marche avant.

Selon un mode de réalisation, le quatrième instant est séparé du premier instant par une durée inférieure à 0,5 seconde.

Par exemple, le marqueur est une boite (autrement dit : un rectangle, un carré ou un cercle) qui, lorsqu’elle est projetée sur le pare-brise, englobe l’objet lorsqu’il est vu (par le conducteur) selon (autrement dit : dans) l’axe, au travers du pare-brise.

Par exemple, l’objet est l’un parmi :

Un véhicule automobile (par exemple : léger), ou
Un piéton, ou
Un véhicule à deux roues (vélo, vélomoteur, motocyclette), ou
Un véhicule routier poids lourd, ou
Tout objet sur une trajectoire de circulation du véhicule (lorsque l’objet se déplace).

Selon un mode de réalisation, le véhicule comprend un module de détection et :

La première information de position et l’information de mouvement sont reçues du module de détection, ou
La deuxième information de position est reçue du module de détection.

En variante, ces informations, peuvent être obtenues par le dispositif électronique qui met en œuvre le procédé selon l’invention.

Le module de détection peut être un ou/plusieurs composants ou parties d’un composant électronique et/ou logiciel.

Selon un mode de réalisation, le module de détection comprend une caméra ou un radar et :

La première information de position et l’information de mouvement sont obtenues, par le module de détection, à partir d’un résultat d’une étape d’analyse d’images vidéo reçues de la caméra ou d’image radar reçues du radar, ou
La deuxième information de position est obtenue, par le module de détection, à partir d’un résultat d’une étape d’analyse d’images vidéo reçues de la caméra ou d’image radar reçues du radar.

En variante, d’autres données peuvent analysées, telle que cela issues d’un télémètre laser du véhicule ou d’un autre capteur.

Les images videos ou les images radars peuvent comprendre également des images videos ou des images radars acquises avant le premier instant (notamment, pour déterminer, à partir de ces images, les données de mouvement ou la deuxième donnée de déplacement).

La première information de position et l’information de mouvement peuvent être déterminés par un filtre de Kalman, à partir des images vidéo et/ou radar, tel que par exemple décrit dans l’article :

Real-time vehicle detection and tracking using improved histogram of gradient features and Kalman filters, Xinyu Zhang , Hongbo Gao , Chong Xue , Jianhui Zhao3 and Yuchao Liu, International Journal of Advanced Robotic Systems January-February 2018: 1–9.

Par exemple, la première information de position peut comprendre une localisation de l’objet au premier instant et l’information de mouvement peut comprendre une vitesse et une trajectoire de l’objet au premier instant. La localisation, la vitesse et la trajectoire de l’objet au premier instant peuvent être déterminés par exemple à partir d’un filtrage de Kalman, par exemple comme dans l’article ci-dessus (avec, en entrée du filtrage de Kalman, par exemple, les images vidéo ou radar). La première localisation peut être déduite, dans ce cas, à partir (de l’hypothèse) d’une vitesse et d’une trajectoire inchangée entre le premier instant et le deuxième instant.

En variante, le module de détection peut déterminer la première information de position et l’information de mouvement ou bien la deuxième information de position, par un réseau de neurones tel que par exemple décrit dans l’article :

Trajectory Prediction Evolution, in Towards Data Science ( au lien : https://towardsdatascience.com/trajectory-prediction-self-driving-cars-ai-40a7c6eecb4c ).

La deuxième information de position peut comprendre une localisation de l’objet au quatrième instant déterminé par exemple à partir de la mise en œuvre d’un réseau de neurones (avec, en entrée du réseau de neurones, par exemple, les images vidéo ou radar), par exemple comme dans l’article ci-dessus. La première localisation peut être alors la localisation de l’objet au quatrième instant.

D’autres approches sont bien entendu envisageables pour obtenir ;

La première information de position et l’information de mouvement, ou
La deuxième information de position.

Selon un mode de réalisation, l’étape de détermination de l’axe du regard comprend les étapes suivantes, mises en œuvre par exemple par un module de suivi du regard :

Suivi du regard du conducteur à un cinquième instant, produisant des données de suivi du regard,
Prédiction d’un axe du regard du conducteur au quatrième instant à partir des données de suivi.

Les données de suivi du regard peuvent être obtenus comme décrit dans le brevet publié sous le numéro US6926429, mais d’autres approches sont bien entendu possibles.

La prédiction de l’axe du regard peut être mise en œuvre à partir d’une prédiction d’une position des yeux du conducteur au quatrième instant déterminée à partir des données de suivi. Cette prédiction peut être mise en œuvre par un filtrage de Kalman ou un réseau de neurones, tel que décrit plus haut, entrainé pour cette tâche.

Une approche telle que décrite dans la demande publiée sous le numéro EP3959647 peut être également être utilisée.

En variante, la prédiction de l’axe du regard peut être obtenu par rapport à une position et une orientation du regard fictive constante (indépendante du regard réel du conducteur).

Selon un mode de réalisation la deuxième position peut, en outre, être obtenue à partir (et ainsi tenir compte) d’une prédiction de mouvements d’interférence, par exemple engendrées par des imperfections prédites de la chaussée, par exemple des bosses sur la chaussée, lorsque le véhicule circule. Cette prise en compte peut être mise en œuvre comme décrits dans la demande publiée sous le numéro EP3959647.

L’invention concerne aussi un programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontrôleur ou un ordinateur, pour mettre en œuvre les étapes du procédé selon l’invention, lorsqu’il est exécuté par le microprocesseur ou le microcontrôleur ou l’ordinateur.

L’invention concerne également un dispositif électronique configuré pour mettre en œuvre les étapes du procédé selon l’invention, et un véhicule comprenant le dispositif.

L’invention concerne également véhicule configuré pour mettre en œuvre les étapes du procédé selon l’invention.

Les caractéristiques et avantages du dispositif électronique, du véhicule automobile, ou du programme d’ordinateur sont identiques à ceux du procédé, c’est pourquoi, ils ne sont pas repris ici.

On entend que le dispositif électronique, le véhicule automobile, ou un autre élément est « configuré pour » (ou « apte à ») réaliser ou mettre en œuvre une étape ou une opération, par le fait que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour ») réaliser l’étape ou l’opération. Il s’agit préférentiellement de moyens électroniques, par exemple d’un programme d’ordinateur, de données en mémoire, de circuits électroniques spécialisés, de connexions filaires ou sans fil, ou d’un microprocesseur d’un microcontrôleur.

Lorsqu’une étape ou une opération est réalisée (autrement dit : mise en œuvre) par un tel élément, cela implique généralement que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour » ou « est configuré pour ») réaliser l’étape ou l’opération. Il s’agit également par exemple de moyens électroniques, par exemple un programme d’ordinateur, des données en mémoire, de circuits électroniques spécialisés, de connexions filaires ou sans fil, d’un microprocesseur d’un ou un microcontrôleur.

D’autres caractéristiques et avantages de la présente invention apparaitront plus clairement à la lecture de la description détaillée qui suit comprenant des modes de réalisation de l’invention donnés à titre d’exemples nullement limitatifs et illustrés par les dessins annexés, dans lesquels.

représente un dispositif électronique et un véhicule selon un mode de réalisation de l’invention.

représente un objet mobile et ses différentes positions à divers instants, ainsi qu’un marqueur vu dans l’axe du regard.

représente la mise en œuvre du procédé selon l’invention, selon un exemple de réalisation, par le dispositif électronique et/ou le véhicule de la .

Description détaillée d’un exemple de réalisation de l’invention.

En référence aux figures 1 à 3, à l’étape S00, un véhicule 100 circulant dans un environnement comprenant une chaussée 400 en pente montante devant le véhicule 100, un feu de signalisation 500. Un ballon de football 300, mobile par rapport à l’environnement, se déplace à l’avant du véhicule 100.

A l’étape S10, à un premier instant, le module de détection 150 du véhicule 100, comprenant une caméra vidéo et un radar acquiert des images radars et des images vidéos de l’environnement du véhicule 100. Les images videos ou les images radars peuvent comprendre également des images videos ou des images radars d’instants précédents le premier instant acquises avant le premier instant.

A l’étape S20, le module de détection 150 analyse les images vidéo et radar et détermine la localisation p1’, une vitesse et une trajectoire t1 de l’objet 300 au premier instant, par exemple à partir d’un filtrage de Kalman des images vidéo et radar, tel que décrit dans l’article :

La localisation p1’, la vitesse et la trajectoire t1 sont transmises par la module de détection 150 et reçus par le dispositif électronique 110 par un bus de donnée.

A l’étape S30, le dispositif électronique 110 détermine la localisation p1 de l’objet 300 à un quatrième instant, à partir de la localisation p1’, la vitesse et la trajectoire t1, avec l’hypothèse d’une vitesse et d’une trajectoire inchangée entre le premier instant et le quatrième instant.

A l’étape S40, un module de suivi du regard 160 (connecté au dispositif électronique 110 par un bus de données) produit des données de suivi du regard du conducteur. Par exemple, ces données de suivi du regard peuvent être obtenus comme décrit dans le brevet publié sous le numéro US6926429.

A l’étape S50, le dispositif électronique 110 prédit un axe du regard 200 du conducteur 130 au quatrième instant à partir des données de suivi.

La prédiction du regard peut être mise en œuvre à partir d’une prédiction d’une position des yeux du conducteur au quatrième instant déterminée à partir des données de suivi. Cette prédiction peut être mise en œuvre par un filtrage de Kalman, tel que décrit plus haut, ou un réseau de neurones entrainé pour cette tâche.

A l’étape S60, le dispositif électronique 110 détermine la position p2 d’un marqueur 141 de l’objet 300 sur le pare-brise 140 du véhicule 100, la position p2 est déterminée de manière à aligner la position p2 avec la position p1, dans l’axe 200 au quatrième instant. La position p2 peut être réalisé par des calculs géométrique maîtrisés par l’homme de métier.

La deuxième position p2 peut, en outre, être obtenue à partir par des imperfections prédites de la chaussée 400 , par exemple des bosses sur la chaussée 400, lorsque le véhicule 100 circule. Cette prise en compte peut être mise en œuvre comme décrits dans la demande publiée sous le numéro EP3959647.

A l’étape S70, Le dispositif 110 commande une projection, par le projecteur 120 (connecté au dispositif électronique 110), de la boite 141, à la deuxième position p2, sur le pare-brise 140. Le quatrième instant est choisi de manière à ce que la boite 141 soit projeté sur le pare-brise 140 à la deuxième position p2 au quatrième instant.

A l’étape S80, donc, comme illustré , le conducteur 130 peut voir sur la pare-brise 140, la boite 141 et, au travers du pare-brise 140, l’objet 300, de manière à ce que la boite 141 englobe l’objet 300 dans l’axe du regard 200 du conducteur 130.

Les étapes S00 à S80 peuvent être répétées, par exemple 10 à 100 fois par secondes. Le marqueur suit ainsi fidèlement le déplacement de l’objet 300, du véhicule 100 et du regard du conducteur 130.

Claims

Procédé d’affichage tête haute sur un pare-brise (140) d’un véhicule automobile (100) et circulant dans un environnement, le procédé étant caractérisé en ce qu’il comprend les étapes suivantes :
Détermination d’un quatrième instant,

Obtention (S20), à un deuxième instant :

D’une première information de position (p1’) d’un l’objet (300) mobile par rapport à l’environnement à un premier instant et d’une information de mouvement (t1) de l’objet (300) par rapport à l’environnement au premier instant, ou

D’une deuxième information de position de l’objet (300) anticipée au quatrième instant,

Prédiction (S30) d’une première position (p1) de l’objet mobile (300) dans l’environnement au quatrième instant, à partir de la première information de position (p1’) et de l’information de mouvement (t1), ou de la deuxième information de position,

Détermination (S50) d’un axe d’un regard (200) d’un conducteur (130) du véhicule (100), vers l’objet (300),

Détermination (S60) d’une deuxième position (p2) d’un marqueur (141) de l’objet (300) sur le pare-brise (140), la deuxième position étant déterminée de manière à aligner la deuxième position (p2) et la première position (p1), dans l’axe (200),

A un troisième instant, commande (S70) d’une projection du marqueur (141) à la deuxième position (p2) sur le pare-brise (140), le quatrième instant étant déterminé de manière à ce que le marqueur (141) soit projeté sur le pare-brise (140) à la deuxième position (p2) au quatrième instant.
Procédé d’affichage tête haute selon la revendication 1 dans laquelle le quatrième instant est séparé du premier instant par durée inférieure à 0,5 seconde.
Procédé d’affichage tête haute selon l’une quelconque des revendications précédentes dans lequel le marqueur (141) est une boite qui, lorsqu’elle est projetée sur le pare-brise (140), englobe l’objet (300) lorsqu’il est vu selon l’axe (200) au travers du pare-brise (140).
Procédé d’affichage tête haute selon l’une quelconque des revendications précédentes dans lequel l’objet (300) est l’un parmi :
Un véhicule automobile, ou

Un piéton, ou

Un véhicule à deux roues, ou

Un véhicule routier poids lourd.
Procédé d’affichage tête haute selon l’une quelconque des revendications précédentes dans lequel le véhicule (100) comprend un module de détection (150) et dans lequel :
La première information de position (p1’) et l’information de mouvement (t1) sont reçues du module de détection (150), ou

La deuxième information de position est reçue du module de détection (150),
Procédé d’affichage tête haute selon la revendication précédente dans lequel le module de détection (150) comprend une caméra ou un radar et dans lequel :
La première information de position (p1’) et l’information de mouvement (t1) sont obtenues, par le module de détection, à partir d’un résultat d’une étape d’analyse d’images vidéo reçues de la caméra ou d’image radar reçues du radar, ou

La deuxième information de position est obtenue, par le module de détection (150), à partir d’un résultat d’une étape d’analyse d’images vidéo reçues de la caméra ou d’image radar reçues du radar.
Programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontrôleur, pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 4, lorsqu’il est exécuté par le microprocesseur ou le microcontrôleur.
Dispositif électronique (110) configuré pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 4.
Véhicule automobile (100) configuré pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 6.