CH720407B1 - Procédé mis en œuvre par ordinateur et système pour avertir un utilisateur malvoyant de la présence d'un objet et/ou d'un obstacle - Google Patents

Abstract

Procédé mis en œuvre par ordinateur pour notifier un utilisateur (U), de préférence choisi parmi un utilisateur aveugle, malvoyant, souffrant d'héminégligence ou d'hémianopsie, placé dans un environnement de la présence d'objets dans ledit environnement, le procédé comprend : la détection desdits objets dans le environnement en utilisant au moins un capteur configuré pour analyser l'environnement entourant l'utilisateur ; générer et transmettre un retour d'informations à l'utilisateur pour avertir ledit utilisateur (U) de la présence desdits objets détectés dans l'environnement, le procédé étant caractérisé en ce que la détection des objets comprend i) acquérir des données de l'environnement entourant l'utilisateur (U) en utilisant au moins un capteur, lesdites données comprenant au moins des images ; ii) traiter les données acquises en appliquant un modèle de détection d'objets entraîné pour identifier lesdits objets présents dans ledit environnement ; iii) suivre le déplacement des objets détectés pour attribuer un score à chaque objet détecté en fonction d'au moins un critère de suivi prédéterminé ; iv) sélectionner les objets dont le score est supérieur à un seuil prédéterminé ; et en ce que la génération et la transmission de commentaires comprennent v) générer un retour d'information adaptatif d'objet qui est transmis à l'utilisateur (U) pour chaque objet sélectionné, ledit retour d'information adaptatif d'objet comprenant des caractéristiques qui sont ajustées en fonction du score de chaque objet sélectionné pour notifier ledit l'utilisateur (U) sur la présence des objets dans ledit environnement.

Description

Domaine technique

[0001] La présente invention concerne un procédé mis en œuvre par ordinateur pour avertir un utilisateur, de préférence choisi parmi un utilisateur aveugle, malvoyant, souffrant d'héminégligence ou d'hémianopsie, placé dans un environnement en présence d'objets et/ou d'obstacles dans ledit environnement.

[0002] L'invention concerne en outre un procédé permettant de guider un utilisateur, de préférence choisi parmi un utilisateur aveugle, malvoyant, souffrant d'hé minégligence ou d'hémianopsie, dans un environnement.

[0003] L'invention concerne également un système pour avertir un utilisateur, de préférence choisi parmi un utilisateur aveugle, malvoyant, souffrant d'héminégligence ou d'hémianopsie, placé dans un environnement en présence d'objets dans ledit environnement.

Contexte de l'art antérieur

[0004] Environ 40 millions de personnes dans le monde sont légalement aveugles et ce nombre est encore plus élevé si l'on prend en compte les personnes qui ne sont pas complètement aveugles mais malvoyantes. La personne aveugle ou malvoyante doit comprendre l'environnement proche pour assurer une navigation quotidienne en toute sécurité. Les patients atteints d'hémianopsie souffrent généralement d'un déficit d'attention et de conscience dans la moitié de leur champ de vision. Cela affecte également fortement leur capacité à comprendre leur environnement et à naviguer en toute sécurité.

[0005] Une personne aveugle ou malvoyante s'appuie généralement sur des cannes pour se guider dans l'environnement proche lors de ses déplacements quotidiens, par exemple lorsqu'elle marche dans une rue ou un couloir, ou lorsqu'elle se déplace dans une pièce ou un magasin. Cependant, une canne de mobilité conventionnelle ne fournit qu'une quantité très limitée d'informations sur l'environnement d'une personne, généralement limitée aux objets qui peuvent être physiquement touchés par la canne. En d'autres termes, les cannes blanches sont utilisées pour éviter les obstacles proches, mais ne peuvent pas être utilisées pour des objets hors de portée de la canne ou des objets dont la vitesse est supérieure à quelques kilomètres par heure, car ils sont généralement détectés trop tard.

[0006] Les cannes conventionnelles, c'est-à-dire les cannes blanches, ont été améliorées pour fournir des informations sur les obstacles potentiels dans l'environnement proche qui sont placés hors de portée de la canne conventionnelle. Par exemple, on pourrait mentionner les cannes acoustiques qui envoient des signaux audios qui réfléchissent ou font écho à partir d'objets dans l'environnement de l'utilisateur dans un processus appelé écholocation qui est étroitement lié au radar basé sur l'effet Doppler utilisé par les sous-marins pour localiser le sous-marin ennemi à proximité. Alternativement, des cannes blanches électroniques ont également été développées pour générer une vibration et avertir l'utilisateur.

[0007] Plus récemment, le document US2019070064 a décrit un dispositif nommé dispositif d'assistance à la vision VAD comprenant une caméra pour scanner l'environnement afin de détecter et identifier des repères tels que des panneaux, des repères de navigation, des panneaux de sortie, des panneaux de toilettes, des panneaux de passage pour piétons ou d'autres panneaux couramment utilisés pour naviguer dans un environnement. Le but du VAD est d'aider une personne aveugle à détecter, identifier et/ou se déplacer vers un point de repère. L'appareil est en outre équipé d'un module d'électrostimulation pour fournir un retour d'information haptique à l'utilisateur par stimulation électrotactile de la langue en fonction du repère détecté. Tout d'abord, la caméra du VAD reçoit des informations d'image à partir de données d'image capturées par la caméra (ou de données d'image stockées sur une plateforme distante) et les données d'image sont comparées/vérifiées avec des données stockées dans une base de données connectée à distance. Ensuite, il est déterminé s'il existe une correspondance entre les données d'image d'entrée et le motif d'image stocké dans la base de données. Le but de cette étape est de détecter la présence d'un panneau tel qu'un panneau de passage pour piétons dans l'image capturée. Si la détermination est négative, aucune information de détection n'est renvoyée au VAD. Si la détermination est positive, les informations de détection sont renvoyées au VAD pour fournir une simulation électrotactile correspondant aux informations détectées. Les capacités de détection des VAD dépendent donc de la base de données et notamment de l'exactitude et de la pertinence des informations stockées dans la base de données. Le retour d'information haptique est très limité et peu convivial. De plus, cette solution ne détecte pas les obstacles et ne fait pas de navigation.

[0008] Le document US20150198454 divulgue un dispositif portable pour le cou destiné à la sensibilisation à l'environnement. Le dispositif cervical portable doit comprendre une caméra pour détecter des données d'image correspondant à un environnement immédiat du dispositif cervical portable et un capteur d'unité de mesure inertielle (IMU) pour détecter des données de mesure inertielle correspondant à un positionnement, une vitesse ou une accélération du dispositif cervical portable. Le dispositif cervical doit également contenir une unité de système de positionnement global (GPS) couplée au dispositif cervical portable et conçue pour détecter des données de localisation correspondant à un emplacement du dispositif cervical portable. Le dispositif cervical portable comprend en outre un processeur connecté à l'IMU, à l'unité GPS et à la caméra. Le processeur est conçu pour reconnaître un objet dans l'environnement environnant en analysant les données d'image sur la base des données d'objet stockées et des données de mesure inertielle ou des données de localisation. En d'autres termes, le dispositif cervical nécessite toujours un capteur de localisation pour localiser et identifier un objet dans l'environnement de l'utilisateur. Cependant, la solution du document US20150198454 se limite à la création de chemin de navigation et ne comprend pas de description de l'environnement.

[0009] Ainsi, lorsqu'il s'agit d'assister des personnes aveugles ou malvoyantes lors d'un déplacement dans un environnement, les dispositifs existants présentent de multiples inconvénients et n'apportent pas de solutions satisfaisantes. Il est nécessaire de trouver une solution pour faciliter le déplacement des personnes aveugles ou malvoyantes dans un environnement (par exemple un nouvel environnement) afin de surmonter les problèmes et les limites des approches existantes. Dans Il est notamment nécessaire d'améliorer le retour d'information et l'exhaustivité donnés à l'utilisateur.

Résumé de l'invention

[0010] Les problèmes ci-dessus sont résolus ou au moins minimisés par la présente invention.

[0011] Selon un premier aspect, l'invention concerne un procédé mis en œuvre par ordinateur pour avertir un utilisateur, de préférence choisi parmi un utilisateur aveugle, malvoyant, souffrant d'héminégligence ou d'hémianopsie, placé dans un environnement en présence d'objets dans ledit environnement, le procédé comprenant : – détecter lesdits objets dans l'environnement à l'aide d'au moins un capteur configuré pour analyser l'environnement entourant l'utilisateur ; – générer et transmettre un retour d'information, i.e., feedback en langue anglaise, à l'utilisateur pour notifier ledit utilisateur de la présence desdits objets détectés dans l'environnement, le procédé étant caractérisé en ce que la détection des objets comprend: – acquérir des données de l'environnement entourant l'utilisateur à l'aide d'au moins un capteur, lesdites données comprenant au moins des images ; – traiter les données acquises en appliquant un modèle de détection d'objets entraîné pour identifier lesdits objets présents dans ledit environnement ; – suivre le déplacement des objets détectés pour attribuer un score à chaque objet détecté en fonction d'au moins un critère de suivi prédéterminé ; – sélectionner les objets dont le score est supérieur à un seuil prédéterminé ; et en ce que la génération et la transmission du retour d'information comprend : – générer un retour d'information adaptatif de l'objet qui est transmis à l'utilisateur pour chaque objet sélectionné, ledit retour d'information adaptatif de l'objet comprenant des caractéristiques qui sont ajustées en fonction du score de chaque objet sélectionné pour informer ledit utilisateur de la présence des objets dans ledit environnement.

[0012] Dans un deuxième aspect, l'invention concerne un procédé de guidage d'un utilisateur, de préférence choisi parmi un utilisateur aveugle, malvoyant, souffrant d'héminégligence ou d'hémianopsie, dans un environnement, le procédé comprenant: a) détecter les objets et/ou les obstacles présents dans ledit environnement en appliquant un procédé selon la présente invention ; b) calculer dynamiquement un chemin depuis une position de départ jusqu'à une position finale à travers l'environnement pour éviter les objets sélectionnés et/ou les obstacles sélectionnés ; c) intégrer de préférence ledit parcours dans le système de navigation d'un dispositif informatique pour guider l'utilisateur sur ledit parcours, par exemple un smartphone.

[0013] Selon un troisième aspect, l'invention concerne un système pour avertir un utilisateur aveugle ou malvoyant placé dans un environnement de la présence d'objets dans ledit environnement, le système comprend : – un module d'acquisition de données pour acquérir des données de l'environnement entourant l'utilisateur, ledit module d'acquisition de données comprenant au moins une caméra pour acquérir des images ; – un module de calcul pour traiter les données acquises en appliquant un modèle de détection d'objets entraîné pour identifier les objets présents dans ledit environnement, et pour suivre le déplacement des objets détectés pour attribuer un score à chaque objet détecté en fonction d'au moins un critère de suivi prédéterminé, et pour sélectionner les objets dont le score est supérieur à un seuil prédéterminé ; – un module de retour d'information configuré pour générer un retour d'information adaptatif d'objet qui est transmis à l'utilisateur pour chaque objet sélectionné, ledit retour d'information d'objet adaptatif comprenant des caractéristiques qui sont ajustées par le module de retour d'information en fonction du score de chaque objet sélectionné pour informer ledit utilisateur de la présence des objets dans ledit environnement.

Description de l'invention

[0014] L'invention concerne un procédé mis en œuvre par ordinateur pour avertir un utilisateur, de préférence choisi parmi un utilisateur aveugle, malvoyant, souffrant d'héminégligence ou d'hémianopsie, placé dans un environnement en présence d'objets dans ledit environnement, le procédé comprend : – détecter lesdits objets dans l'environnement à l'aide d'au moins un capteur configuré pour analyser l'environnement entourant l'utilisateur ; – générer et transmettre un retour d'information à l'utilisateur pour notifier ledit utilisateur de la présence desdits objets détectés dans l'environnement, le procédé étant caractérisé en ce que la détection des objets comprend : – acquérir des données de l'environnement entourant l'utilisateur à l'aide d'au moins un capteur, lesdites données comprenant au moins des images ; – traiter les données acquises en appliquant un modèle de détection d'objets entraîné pour identifier lesdits objets présents dans ledit environnement ; – suivre le déplacement des objets détectés pour attribuer un score à chaque objet détecté en fonction d'au moins un critère de suivi prédéterminé ; – sélectionner les objets dont le score est supérieur à un seuil prédéterminé ; et en ce que la génération et la transmission de retour d'information comprennent – générer un retour d'information adaptatif d'objet qui est transmis à l'utilisateur pour chaque objet sélectionné, ledit retour d'information adaptatif d'objet comprenant des caractéristiques qui sont ajustées en fonction du score de chaque objet sélectionné pour informer ledit utilisateur de la présence des objets dans ledit environnement.

[0015] L'objectif global de la présente invention est de permettre à un utilisateur de déterminer l'état de l'environnement environnant et de recevoir des informations de navigation descriptives par l'intermédiaire de différents types de retour d'information, i.e., „feedback“ en langue anglaise, comprenant par exemple des sons, des vibrations et de la parole. À cette fin, la présente invention vise à créer une carte en temps réel de l'environnement de l'utilisateur en effectuant des analyses et fournit divers types de retours d'information à l'utilisateur en fonction d'obstacles et/ou d'objets détectés et de la navigation GPS.

[0016] Le retour d'information généré comprend des fonctionnalités qui peuvent être ajustées pour fournir des informations complètes à l'utilisateur sur l'objet (ou l'obstacle). En d'autres termes, l'utilisateur est par exemple capable d'évaluer la dangerosité de l'objet ou le type d'objet (ou d'obstacle) uniquement sur la base du retour d'information généré. Le retour d'information est ajusté pour fournir à l'utilisateur des informations claires et compréhensibles liées à l'objet (ou à l'obstacle). L'utilisateur peut s'appuyer sur le retour d'information pour déterminer la dangerosité de l'objet et de l'obstacle dans l'environnement.

[0017] L'utilisateur est de préférence une personne aveugle ou malvoyante (c'est-à-dire pas une personne légalement aveugle). L'utilisateur peut également être un utilisateur souffrant d'héminégligence ou d'hémianopsie, c'est-à-dire une personne souffrant d'une négligence spatiale unilatérale, ou héminégligence ou d'hémianopsie, à savoir de la diminution ou suppression de la vision dans une moitié du champ visuel des deux yeux. En d'autres termes, l'utilisateur n'est pas seulement une personne aveugle au sens juridique. L'utilisateur est placé dans un environnement, par exemple dans un environnement extérieur comme dans la rue, ou à l'intérieur d'un bâtiment comme dans un magasin ou dans un musée. L'utilisateur est soit en mouvement, soit immobile, ou bien l'utilisateur est alternativement en mouvement et immobile.

[0018] La présente invention vise à détecter des objets (NB : des obstacles peuvent également être détectés dans un aspect de l'invention, voir ci-dessous). Les objets sont des objets ou des articles qui peuvent être détectés par le détecteur d'objet entraîné. Un objet peut être n'importe quel type d'élément ou d'article, en mouvement ou immobile, qui peut être identifié par le détecteur d'objet entraîné. Par exemple, les objets peuvent être un banc, un panneau de signalisation, une personne, une voiture etc...

[0019] Dans un premier temps, un capteur, par exemple une ou plusieurs caméras, est utilisé pour acquérir des données de l'environnement entourant l'utilisateur, les données comprenant au moins des images.

[0020] Les données et notamment les images sont ensuite traitées en appliquant un modèle de détection d'objet entraîné pour traiter les données acquises. Le modèle de détection entraîné est par exemple choisi parmi les architectures de réseaux de neurones convolutifs (CNN) ou les transformateurs de vision. Par exemple : YOLO, Mobile-Nets, DETR (transformateur de détection), fast R-CNN, Mask R- CNN, Soft professeur. De préférence, le détecteur d'objet peut être initialement formé sur des données disponibles en ligne, des données annotées capturées à partir du dispositif ou des données générées synthétiquement.

[0021] De préférence, le détecteur de modèle d'objet entraîné susceptible d'être utilisé dans la présente invention comprend au moins les principales caractéristiques ou fonctionnalités suivantes : – au moins environ 200'000 images d'entraînement de différentes classes pour faciliter l'identification de différents objets ; – Une architecture de réseau de neurones profonds basée sur des CNN ou des transformateurs de vision ; – Fonctionnant sur une unité de traitement tensoriel (TPU) ou des architectures équivalentes telles que des unités de traitement neuronal (NPU) ; – les principales caractéristiques de YOLO, par exemple au moins un temps d'inférence rapide inférieur à 150 ms, de préférence inférieur à 80 ms (millisecondes).

[0022] L'utilisation d'un détecteur d'objets entraîné est avantageuse par rapport aux détecteurs d'objets existants qui nécessitent une connexion à une base de données d'objets car il permet de détecter davantage d'objets (notamment génériques) et de ne pas avoir à s'appuyer sur des objets correspondants d'une base de données ou sur des points de repère correspondants.

[0023] Lors de la détection, les objets détectés sont suivis pour attribuer un score à chaque objet détecté en fonction d'au moins un critère de suivi prédéterminé. De préférence, le score d'un objet reflète un facteur de risque. Dans un mode de réalisation préféré, le critère de suivi prédéterminé est un critère de risque. Par exemple, l'un des critères de suivi prédéterminés est la trajectoire de l'objet détecté pour sélectionner des objets dont les trajectoires sont dirigées vers l'utilisateur. L'objectif global de l'étape de suivi est de prédire les positions des objets. Par exemple, sur la base de la position suivie (position initiale), le processus de suivi, en particulier le processus de prédiction de trajectoire, comprend une répétition d'extrapolation linéaire des positions suivantes de l'objet dans un temps déterminé, de préférence de la position de l'objet en quelques secondes, les positions extrapolées linéaires calculées étant utilisées pour créer une trajectoire prédite pour un objet détecté. Alternativement, le processus de suivi, en particulier le processus de prédiction de trajectoire, comprend l'utilisation de filtres de Kalman, ou d'architectures d'apprentissage profond basées sur des réseaux de mémoire à long terme et à court terme (LSTM). De préférence, les prédictions de trajectoire sont utilisées comme entrée dans un modèle de risque, en fonction d'au moins un critère de suivi prédéterminé, de préférence d'au moins un critère de risque. Alternativement, il est également possible d'introduire les positions des objets détectés dans des modèles de risque tels que le temps de rencontre le plus proche, les probabilités d'occupation spatiale gaussiennes ou l'analyse de survie. Cela permet de sortir un modèle de risque pour chaque objet, sans estimer les positions de trajectoire via le modèle de prédiction de trajectoire.

[0024] Dans un mode de réalisation préféré, la présente invention comprend en outre: - suivre le déplacement des objets détectés pour attribuer un score à chaque objet détecté en fonction d'au moins un critère de suivi prédéterminé, de préférence en fonction d'au moins un critère de risque prédéterminé.

[0025] Dans un mode de réalisation préféré, la présente invention comprend en outre: – suivre le déplacement des obstacles détectés pour attribuer un score à chaque obstacle détecté en fonction d'au moins un critère de suivi prédéterminé, de préférence en fonction d'au moins un critère de risque prédéterminé.

[0026] Dans un mode préféré de réalisation, le critère de suivi prédéterminé est choisi dans la liste comprenant la distance entre l'utilisateur et l'objet sélectionné, la trajectoire de l'objet sélectionné, la vitesse de l'objet sélectionné, la dangerosité de l'objet sélectionné, la stationnarité de l'objet (c'est-à-dire si l'objet est statique (par exemple un banc) ou en mouvement), l'environnement des objets ou une combinaison de ces critères.

[0027] De préférence, le critère de suivi prédéterminé est un critère de risque, ledit critère de risque est choisi dans la liste comprenant la distance entre l'utilisateur et l'objet sélectionné, la trajectoire de l'objet sélectionné, la vitesse de l'objet sélectionné, la dangerosité de l'objet sélectionné. la stationnarité de l'objet (c'est-à-dire si l'objet est statique (par exemple un banc) ou en mouvement), l'environnement des objets ou une combinaison de ces critères.

[0028] Un score est attribué à l'objet détecté sur la base d'un parmi de multiples critères de suivi prédéterminés, de préférence des critères de risque, de préférence basés sur la trajectoire, de préférence principalement basés sur la trajectoire, ou de préférence en tant que sortie unique d'un modèle de risque.

[0029] De préférence, les objets notifiés sont limités aux objets présentant un risque de collision avec l'utilisateur dans l'environnement, de préférence à l'intérieur du couloir 3D devant l'utilisateur. Par exemple, le risque de collision est évalué par le score attribué aux objets, de préférence le score reflétant un facteur de risque.

[0030] Ensuite, avantageusement la présente invention comprend en outre une étape de sélection pour prioriser les objets détectés. L'étape de sélection agit comme un filtre (c'est-à-dire une étape de filtrage effectuée par exemple par un module de filtrage) pour sélectionner ou rejeter certains des objets détectés. Il s'agit de déterminer les objets détectés pour lesquels un retour d'information sera donné à l'utilisateur. En d'autres termes, l'étape de sélection permet de sélectionner l'objet détecté le plus pertinent et d'éliminer les objets détectés non pertinents. Il permet de limiter les retours d'information qui sont donnés à l'utilisateur pour faciliter la compréhension des retours d'information. De préférence, une application pour smartphone connecté permet à l'utilisateur final, à l'expert malvoyant ou à un membre de la famille de personnaliser l'expérience de l'utilisateur en activant et désactivant chaque type d'objet dans les paramètres, ou en obtenant un rendu de la perception de la caméra sur une carte dynamique.

[0031] De préférence, l'étape de sélection est basée sur un seuil pour sélectionner les objets dont le score est supérieur à un seuil prédéterminé. Par exemple, le score est fixé entre 0 (zéro) et 1 (un), et tout objet atteignant un score par exemple supérieur à 0,5 sera notifié à l'utilisateur. De préférence, l'étape de sélection s'appuie également sur un nombre maximum de signaux que l'utilisateur peut recevoir. Ce paramètre (c'est-à-dire le nombre maximum de signaux) peut être défini par l'utilisateur final, par exemple dans une application pour smartphone. Si le nombre maximum de signaux est fixé à 1, lorsque deux objets ont un score supérieur au seuil de notification, seul l'objet avec le score maximum sera notifié à l'utilisateur. De préférence, les obstacles ont généralement la priorité sur les objets. Dans une scène où un obstacle est détecté, ainsi qu'un objet avec un score supérieur au seuil de notification, l'utilisateur reçoit uniquement un avertissement concernant l'obstacle.

[0032] De préférence, l'étape de sélection est basée sur un système basé sur des règles dans lequel différentes règles de priorité sont appliquées les unes après les autres pour classer l'importance d'un objet détecté. Plus la règle de priorité se trouve tôt dans la liste qui détecte un objet, plus l'objet est important. Au sein des résultats d'une seule règle de priorité, les objets sont classés selon un score allant de 0 (pas important) à 1 (très important). L'étape de sélection repose également sur un nombre maximum de signaux que l'utilisateur peut recevoir. Ce paramètre (c'est-à-dire le nombre maximum de signaux) peut être défini par l'utilisateur final, par exemple dans l'application smartphone. Si davantage d'objets ou d'obstacles sont priorisés par l'application des règles de priorité, alors le nombre maximum de signaux est choisi parmi les détections hiérarchisées classées (combinaison de position de règle et de poids). De préférence, les obstacles ont généralement la priorité sur les objets grâce à la mise en œuvre des règles de priorité. Dans une scène où un obstacle est détecté, ainsi qu'un objet avec un score supérieur au seuil de notification, l'utilisateur reçoit uniquement un avertissement concernant l'obstacle. Cette étape de sélection peut être personnalisée en fonction des besoins de l'utilisateur depuis l'application smartphone, selon le scénario.

[0033] La présente invention comprend en outre la génération d'un retour d'information adaptatif d'objet qui est transmis à l'utilisateur pour chaque objet sélectionné. Le retour d'information est un retour d'information adaptatif puisqu'il comprend des fonctionnalités qui peuvent être ajustées en fonction du score de chaque objet sélectionné pour informer ledit utilisateur de la présence des objets dans ledit environnement. Par exemple, pour le retour d'information haptique, les caractéristiques qui peuvent être ajustées sont choisies parmi les fréquences de vibration, l'intensité de la vibration, la durée de chaque vibration, la direction de la vibration, le début et la fin de la vibration, la vibration équilibrée entre une première direction et une seconde direction.

[0034] Avantageusement, la présente invention permet d'améliorer le retour d'information donné à l'utilisateur en combinant les fonctionnalités suivantes : – Premièrement, la détection des objets est améliorée grâce à l'utilisation d'un détecteur d'objets entraîné ; – d'autre part en prédisant les trajectoires de l'objet détecté pour estimer un score de risque, ou en estimant directement un score de risque avec un modèle de risque ; – Troisièmement, en priorisant l'objet (ou l'obstacle) détecté pour sélectionner uniquement le plus pertinent (sur la base d'un score) et éliminer les objets non pertinents/moins pertinents afin de limiter le nombre de retours d'informations donnés à l'utilisateur aux plus importants ; – Quatrièmement, en créant un retour d'information adaptatif à l'utilisateur afin que celui-ci fournisse plus qu'un simple son ou vibration individuelle à l'utilisateur, afin que l'utilisateur puisse évaluer la dangerosité de l'objet (ou de l'obstacle) en fonction du retour d'information (distance, vitesse, élévation, type d'objet, etc.)

[0035] De préférence, les images sont acquises en utilisant au moins une caméra avec un champ de vision prédéterminé, ledit champ de vision prédéterminé est défini par au moins environ 160° vertical et au moins environ 80° horizontal, de préférence au moins environ 170° vertical et au moins environ 170° vertical et au moins environ 80° horizontal. environ 90° horizontal, de préférence ladite caméra peut être retournée (par exemple 170*90 ou 90* 170). Cela permet d'identifier des objets venant sur le côté (des voitures lorsqu'un usager se trouve à un passage pour piétons par exemple) ou au niveau de la tête (des panneaux de signalisation ou des branches basses d'un arbre par exemple). De préférence, les images comprennent des images de profondeur, des images en niveaux de gris ou en couleurs. De préférence, la caméra est configurée pour acquérir un grand champ de vision (de préférence au moins environ 120° pour voir aussi loin que possible à gauche et à droite de l'utilisateur).

[0036] De préférence, le champ de vision prédéterminé est défini pour détecter le sol (c'est-à-dire la surface ou le sol) sur lequel l'utilisateur est placé. Ceci permet de prendre en compte le sol et d'éviter la détection du sol comme objet ou obstacle. Il permet également de détecter des objets gisant sur le sol et pour détecter des obstacles ou des objets sur le sol, tels que des trous ou des marches. De préférence, cette étape est réalisée par un système dit de „détection de sol“ qui segmente la zone praticable dans le bâti. Cela permet d'améliorer la détection des obstacles et d'augmenter la distance de détection des obstacles.

[0037] Dans un mode de réalisation préféré, la présente invention est également configurée pour détecter des obstacles. Dans la présente invention, les obstacles sont définis comme des objets compris dans un champ de sécurité déterminé autour de l'utilisateur. Autrement dit, les obstacles sont plus proches de l'utilisateur que les objets et représentent donc un risque élevé de heurter ledit utilisateur. Un obstacle peut être „n'importe quel“ élément proche de l'utilisateur, il n'est pas nécessaire qu'il s'agisse d'un objet détecté.

[0038] De préférence, les obstacles ne se trouvent pas uniquement dans un rayon donné, par exemple à 170°, autour de l'utilisateur. Les obstacles peuvent également être des éléments qui peuvent être suivis, qui ont des trajectoires prédites et qui devraient se trouver dans un couloir spécifique devant l'utilisateur. De préférence, il est possible de projeter un couloir 3D devant l'utilisateur, avec une marge de sécurité spécifique, avec une hauteur maximale correspondant à la taille de la personne „+“ une marge. De cette façon, la plupart des obstacles sont filtrés s'ils ne sont pas vraiment pertinents.

[0039] Par exemple, le champ de sécurité est centré autour de l'utilisateur. De préférence, le champ de sécurité est compris entre environ 15 cm et 8 mètres, de préférence 6 mètres, plus préférablement 4 mètres autour de l'utilisateur, de préférence centré autour de l'utilisateur.

[0040] Dans un mode de réalisation préféré, le seuil de distance peut être dynamique, c'est à dire adapté à la situation. S'il y a beaucoup de monde autour de l'utilisateur, le seuil sera faible. Sinon, il augmentera automatiquement.

[0041] Dans un mode de réalisation préféré, le procédé comprend en outre la détection d'obstacles dans l'environnement, la détection d'obstacle comprenant : – traiter les données acquises en appliquant un outil de détection d'obstacles pour détecter les obstacles présents dans ledit environnement ; – déterminer un champ de sécurité autour dudit utilisateur en fonction d'un seuil de distance ; – filtrer les obstacles détectés pour sélectionner les obstacles qui se trouvent dans ledit champ de sécurité ; – générer un retour d'information adaptatif d'obstacle qui est transmis à l'utilisateur pour chaque obstacle sélectionné, ledit retour d'information adaptatif d'obstacle comprenant des fonctionnalités qui sont ajustées en fonction de chaque obstacle sélectionné pour informer ledit utilisateur de la présence des obstacles dans le champ de sécurité ; Les obstacles détectés sont filtrés pour limiter le retour d'information généré et transmis à l'utilisateur le retour d'information généré par l'obstacle le plus pertinent. Cela évite la surcharge d'informations.

[0042] Dans un mode de réalisation préféré, le champ de sécurité est un couloir de sécurité autour de l'utilisateur en fonction de la trajectoire et de la vitesse de l'utilisateur, la détection d'obstacle comprend en outre : – prédire les trajectoires des obstacles environnants sur la base des positions précédentes des obstacles, – filtrer les obstacles détectés présentant un risque de collision avec le couloir de sécurité de l'utilisateur, – générer un retour d'information adaptatif d'obstacle qui est transmis à l'utilisateur (U) pour chaque obstacle sélectionné, ledit retour d'information adaptatif d'obstacle comprenant des caractéristiques qui sont ajustées en fonction de chaque obstacle sélectionné pour informer ledit utilisateur (U) de la présence des obstacles dans le couloir de sécurité.

[0043] Dans un mode de réalisation préféré, le champ de sécurité est un couloir 3D projeté devant l'utilisateur, la détection d'obstacles comprend : – traiter les données acquises en appliquant un outil de détection d'obstacles pour détecter les obstacles présents dans ledit environnement ; – déterminer un couloir 3D par : – construire une représentation en nuage de points 3D de l'environnement (de préférence à partir des données des capteurs), – détecter de préférence la zone praticable via la détection au sol ; – évaluer la vitesse de marche de l'utilisateur pour définir une plage de détection d'obstacles, ou définir une plage de détection d'obstacles en fonction d'un seuil, – détecter les obstacles dans la plage de détection d'obstacles susmentionnée et classer les obstacles détectés sur le nuage de points 3D de préférence en utilisant une méthode de partitionnement des données, – de préférence suivre les obstacles et de préférence prédire les trajectoires des obstacles à classer, – projeter le couloir 3D devant l'utilisateur, de préférence soit en faisant l'hypothèse que l'utilisateur marchera droit, soit en prédisant la trajectoire de l'utilisateur et en autorisant des formes 3D complexes pour le couloir de sécurité, et – filtrer les obstacles détectés pour sélectionner les obstacles qui se trouvent à l'intérieur dudit couloir 3D, de préférence également les obstacles dont la trajectoire prédite tombe dans le couloir 3D ; classer de préférence l'élévation de l'obstacle sélectionné, par exemple au niveau de la tête, au niveau intermédiaire, au niveau du sol ou des trous ; – générer un retour d'information adaptatif d'obstacle qui est transmis à l'utilisateur pour chaque obstacle sélectionné, ledit retour d'information adaptatif d'obstacle comprenant des fonctionnalités qui sont ajustées en fonction de chaque obstacle sélectionné pour informer ledit utilisateur de la présence des obstacles dans le champ de sécurité ;

[0044] Dans un mode de réalisation préféré, la détection d'obstacle et la détection d'objet sont réalisées en parallèle. Ceci permet une amélioration globale des informations sur l'environnement fournies à l'utilisateur. Cela permet à la notification d'être plus rapide et plus efficace puisque la détection d'obstacles se fait en temps réel et n'attend pas ou ne dépend pas du processus de détection d'objet.

[0045] De préférence, la détection d'objets (et d'obstacles) est personnalisable par l'utilisateur. En d'autres termes, le paramétrage de la détection peut être adapté aux besoins de l'utilisateur, par exemple des modifications telles que : – modifier les distances de détection ; changer le type d'objets (ou d'obstacles) détectés (ou pouvant être détectés ou détectables) ; – changer rapidement de mode, entre environnements fréquentés et calmes par exemple, pour réduire les seuils de détection d'obstacles et modifier les seuils de risque pour la détection d'objets ; – adapter la détection au champ de vision restant de l'utilisateur, par exemple : i) la vision périphérique restant uniquement, on priorise donc dans ce cas l'information centrale (c'est-à-dire un objet et/ou un obstacle placé au centre), ou ii) avec des patients souffrant d'héminégligence, nous pouvons prioriser les informations à gauche (c'est-à-dire l'objet et/ou l'obstacle à gauche) car c'est la partie qui leur manque le plus souvent ;

[0046] Dans un mode de réalisation préféré, le procédé comprend en outre: – détecter dynamiquement les obstacles en executant une première fois l'etape I), puis en répétant les étapes II) à V) environ cinq fois par seconde, de préférence au moins huit fois par seconde, plus préférablement au moins environ dix fois par seconde, par exemple au moins une quinzaine de fois par seconde, de préférence au moins environ vingt fois par seconde, plus préférablement au moins environ vingt-cinq fois par seconde, de préférence environ trente fois par seconde ; Cela permet de mettre à jour régulièrement des informations sur les obstacles potentiels dans l'environnement entourant l'utilisateur, autrement dit un guidage en temps réel.

[0047] Dans un mode de réalisation préféré, le procédé comprend en outre: – détecter dynamiquement des objets en répétant les étapes i) à v) environ deux fois par seconde, de préférence au moins trois fois par seconde, plus préférablement au moins environ quatre fois par seconde, par exemple au moins environ cinq fois par seconde. Cela permet de mettre à jour régulièrement les informations concernant les objets potentiels dans l'environnement entourant l'utilisateur. Il permet également un suivi amélioré des objets.

[0048] De préférence, le retour d'information adaptatif d'obstacles est basé sur un score attribué à chaque obstacle sélectionné, les caractéristiques du retour d'information adaptatif d'obstacles étant ajustées en fonction dudit score, ledit score étant basé sur au moins un paramètre choisi parmi la distance entre l'utilisateur et l'obstacle sélectionné, la trajectoire de l'obstacle sélectionné, la vitesse de l'obstacle sélectionné, la dangerosité de l'obstacle sélectionné ou encore la sortie d'un modèle de risque. De préférence, le score d'un obstacle reflète un facteur de risque. Cela permet à l'utilisateur de réagir rapidement à des objets/obstacles plus importants ou pertinents. Cela augmente également la sécurité.

[0049] De préférence, les obstacles notifiés sont limités aux obstacles présentant un risque de collision avec l'utilisateur dans l'environnement, de préférence à l'intérieur du couloir 3D devant l'utilisateur. Par exemple, le risque de collision est évalué par le score attribué à l'obstacle, de préférence le score reflétant un facteur de risque.

[0050] De préférence, le retour d'information adaptatif d'objet est basé sur un score attribué à chaque objet sélectionné, les caractéristiques du retour d'information adaptatif d'objet étant ajustées en fonction dudit score, ledit score étant basé sur au moins un paramètre choisi parmi la distance entre l'utilisateur et l'objet sélectionné, la trajectoire de l'objet sélectionné, la vitesse de l'objet sélectionné, la dangerosité de l'objet sélectionné. Cela permet à l'utilisateur de réagir rapidement à des objets/obstacles plus importants ou pertinents. Cela augmente la sécurité.

[0051] Dans un mode de réalisation préféré, le retour d'information d'objet et/ou d'obstacle comprend un retour d'information haptique et/ou un retour d'information sonore, de préférence ledit retour d'information haptique comprenant la vibration d'une unité vibrante, de préférence ledit retour d'information sonore comprenant du son, des sons spatiaux et de la parole. De préférence, le retour d'information d'objet et/ou d'obstacle comprend un retour d'information haptique et un retour d'information sonore, ces retours d'information étant complémentaires, les sons sont plus rapides à traiter que la parole pour localiser la position d'un élément dans l'espace pour l'utilisateur.

[0052] De préférence, les caractéristiques du retour d'information haptique qui sont réglables sont choisies parmi les fréquences de vibration, l'intensité de la vibration, la durée de chaque vibration, la direction, de la vibration, début et fin de la vibration, vibration équilibrée entre un premier sens et un deuxième sens.

[0053] Globalement, jouer sur les fonctionnalités du retour d'information permet une compréhension fine des caractéristiques de l'objet/obstacle, par exemple la position, la vitesse, le type, l'élévation, la taille, l'angle, la distance etc...

[0054] De préférence, les caractéristiques du retour d'information sonore qui sont réglables comprennent la fréquence des ondes sonores, l'intensité de l'onde sonore, la durée des ondes sonores, la direction du son, le type de son, par exemple les sons parlés ou les signaux audio courts.

[0055] De préférence, le retour d'information sonore comprend une bibliothèque de sons spatiaux, ladite bibliothèque comprenant une pluralité de familles de sons spatiaux, chaque famille correspondant à un groupe d'objets ou à un groupe d'obstacles, tous les sons spatiaux d'une famille partageant une caractéristique principale. Cela permet de raccourcir le processus d'apprentissage. C'est également agréable à écouter par l'utilisateur.

[0056] De préférence, il existe trois catégories de sons à savoir les bruits d'obstacles, les bruits de mobilité des piétons et les bruits de véhicules. De préférence, les sons sont courts (par exemple inférieurs à 100 ms). De préférence, les sons sont faciles à spatialiser et à détecter (pas trop graves ni trop aigus). De préférence, les sons sont différents du reste de l'environnement. De préférence, les sons sont gamifiés (c'est-à-dire conçus par des experts en „game design“ en langue anglaise). De préférence, les sons ne contiennent pas de hautes fréquences pour permettre aux utilisateurs malentendants d'entendre correctement les sons.

[0057] De préférence, les sons peuvent être configurés pour être un seul son (générique) pour avertir l'utilisateur de la position de l'élément ou différents sons (personnalisables par l'utilisateur) pour les différents objets.

[0058] De préférence, les données acquises par ledit au moins un capteur, comprennent des images par exemple des images en deux dimensions et/ou en trois dimensions, des sons, la température d'une zone de l'environnement, la température de l'utilisateur par exemple le visage de l'utilisateur, une carte préenregistrée ou des coordonnées GPS. Il fournit des conseils ou des instructions supplémentaires à l'utilisateur.

[0059] L'invention concerne également un procédé de guidage d'un utilisateur aveugle ou malvoyant dans un environnement, le procédé comprenant : a) détecter les objets et/ou les obstacles présents dans ledit environnement par application d'un procédé selon la présente invention ; b) calculer dynamiquement un chemin depuis une position de départ jusqu'à une position finale à travers l'environnement pour éviter les objets sélectionnés et/ou les obstacles sélectionnés ; c) intégrer de préférence ledit parcours dans le système de navigation d'un dispositif informatique pour guider l'utilisateur sur ledit parcours, par exemple un smartphone.

[0060] De préférence, le système de navigation du dispositif informatique est un GPS, de sorte que l'étape d'intégration comprend : – l'utilisateur mentionne la direction cible pour calculer le chemin GPS afin de garantir que l'utilisateur reste sur la piste GPS ; – calculer le chemin à parcourir pour atteindre la position cible (par exemple de l'autre côté de la rue) à l'aide des entrées des caméras, – guider l'utilisateur sur cette voie, par exemple par un retour d'information ou un retour d'information adaptatif utilisant la parole,

[0061] De préférence, le système de navigation du dispositif informatique comprend une fonction „où suis-je“, dans laquelle les utilisateurs appuient sur un bouton et le dispositif prononce la position GPS de l'utilisateur.

[0062] De préférence, le système de navigation comprend une „fonction de description de scène“ (de préférence pas en temps réel), qui utilise un retour d'information adaptatif mais pour balayer de gauche à droite, et joue un „mot“ provenant de l'emplacement de l'objet.

[0063] De préférence, le système de navigation comprend des boutons affichés de préférence sur une application, de préférence un dispositif intelligent ou une application pour smartphone, qui permettent à l'utilisateur final, en appuyant sur le bouton, de rechercher des éléments utiles à la navigation, tels que des portes, des passages pour piétons, des informations de circulation. panneaux, numéros de bus, nom d'un magasin ou autres informations pertinentes, qui utilisent un retour d'information adaptatif pour informer l'utilisateur de l'emplacement de ces éléments.

[0064] De préférence, le système de navigation comprend également un classificateur d'intention, qui peut évaluer automatiquement l'intention de l'utilisateur lorsqu'il s'approche d'éléments utiles à la navigation, par exemple en notifiant automatiquement l'utilisateur de la position d'un passage pour piétons lorsque le système de navigation et le classificateur d'intention identifient que l'utilisateur doit traverser la rue.

[0065] L'invention concerne également un dispositif informatique comprenant des moyens pour mettre en œuvre le procédé selon l'invention.

[0066] Le dispositif informatique étant par exemple choisi parmi un ordinateur personnel, un dispositif intelligent et un smartphone. Par exemple, le périphérique informatique est un appareil équipé de composants électroniques tels que CPU, TPU, NPU, Ram, SSD, carte mère etc...

[0067] Les avantages particuliers du dispositif informatique sont similaires à ceux du procédé selon l'invention et ne seront donc pas répétés ici.

[0068] L'invention concerne en outre un programme informatique comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, amènent un ordinateur à exécuter le procédé de la présente invention.

[0069] Les avantages particuliers du programme informatique sont similaires à ceux du procédé selon l'invention et ne seront donc pas répétés ici.

[0070] L'invention concerne également un système pour avertir un utilisateur aveugle ou malvoyant placé dans un environnement de la présence d'objets dans ledit environnement, le système comprend : – un module d'acquisition de données pour acquérir des données de l'environnement entourant l'utilisateur, ledit module d'acquisition de données comprenant au moins une caméra pour acquérir des images ; – un module de calcul pour traiter les données acquises en appliquant un modèle de détection d'objets entraîné pour identifier les objets présents dans ledit environnement, et pour suivre le déplacement des objets détectés pour attribuer un score à chaque objet détecté en fonction d'au moins un critère de suivi prédéterminé, et pour sélectionner les objets dont le score est supérieur à un seuil prédéterminé ; – un module de retour d'information configuré pour générer un retour d'information adaptatif d'objet qui est transmis à l'utilisateur pour chaque objet sélectionné, ledit retour d'information adaptatif d'objet comprenant des caractéristiques qui sont ajustées par le module de retour d'information en fonction du score de chaque objet sélectionné pour informer ledit utilisateur de la présence des objets dans ledit environnement.

[0071] Les avantages particuliers du système sont similaires à ceux du procédé selon l'invention et ne seront donc pas répétés ici.

[0072] Dans un mode de réalisation préféré, le champ de sécurité est un couloir de sécurité autour de la trajectoire et de la vitesse de l'utilisateur en fonction de la trajectoire et de la vitesse de l'utilisateur, le module de calcul (3) étant en outre configuré pour traiter les données acquises en appliquant un outil de détection d'obstacles pour détecter les obstacles présents dans ledit environnement; et pour déterminer un couloir de sécurité autour dudit utilisateur (U) ; et pour filtrer les obstacles détectés pour sélectionner les obstacles qui se trouvent à l'intérieur dudit couloir de sécurité ; le module de rétroaction (4) est en outre configuré pour générer une rétroaction adaptative d'obstacle qui est transmise à l'utilisateur (U) pour chaque obstacle sélectionné, ladite rétroaction adaptative d'obstacle comprenant des caractéristiques qui sont ajustées en fonction du score de chaque obstacle sélectionné pour informer ledit utilisateur de la présence des obstacles dans le couloir de sécurité.

[0073] Dans un mode de réalisation préféré, le module de calcul comprend un processeur configuré pour exécuter le modèle de détection d'objets entraîné afin que la détection des objets soit effectuée localement dans le module de calcul du système, par exemple une unité de traitement tensoriel (TPU ou NPU par exemple). Il offre une efficacité énergétique et une inférence rapide sur les appareils de périphérie.

[0074] Dans un mode de réalisation préféré, le système est en outre configuré pour détecter la présence d'obstacles dans ledit environnement, et le module de calcul est en outre configuré pour traiter les données acquises en appliquant un outil de détection d'obstacles pour détecter les obstacles présents dans ledit environnement ; et pour déterminer un champ de sécurité autour dudit utilisateur ; et pour filtrer les obstacles détectés pour sélectionner les obstacles qui se trouvent dans ledit champ de sécurité ; le module de rétroaction est en outre configuré pour générer une rétroaction adaptative d'obstacle qui est transmise à l'utilisateur pour chaque obstacle sélectionné, ladite rétroaction adaptative d'obstacle comprenant des caractéristiques qui sont ajustées en fonction de chaque obstacle sélectionné pour informer ledit utilisateur de la présence des obstacles dans la zone de sécurité champ;

[0075] Dans un mode de réalisation préféré, les images sont acquises en utilisant au moins une caméra avec un champ de vision prédéterminé, ledit champ de vision prédéterminé est défini par au moins environ 120° vertical et au moins environ 60° horizontal, de préférence au moins environ 160°. vertical et au moins environ 80° horizontal, par exemple entre environ 170° vertical et environ 90° horizontal, de préférence ladite caméra peut être retournée (par exemple 170*90 ou 90*170). Cela permet l'identification d'objets arrivant sur le côté (des voitures par exemple) ou au niveau de la tête (des panneaux de signalisation par exemple). De préférence, les images comprennent des images de profondeur et des images en niveaux de gris ou en couleurs. De préférence, les caméras comprennent une caméra hypergone, „fisheye“ en langue anglaise. De préférence, le capteur comprend un capteur LIDAR. De préférence, les capteurs comprennent un capteur de profondeur.

[0076] Dans un mode de réalisation préféré, les images sont acquises en utilisant plusieurs caméras, par exemple entre deux et cinq caméras, de préférence trois caméras. Avantageusement, chaque caméra peut capturer une partie de l'environnement.

[0077] De préférence, le champ de vision prédéterminé est défini pour détecter le sol sur lequel l'utilisateur est placé.

[0078] De préférence, le module d'acquisition de données comprend des capteurs choisis parmi une caméra thermique, des capteurs lidars, des caméras de profondeur, des capteurs infrarouges, des capteurs à ultrasons, des caméras RVB, des caméras en niveaux de gris.

[0079] De préférence, le module de retour d'information comprend au moins une unité de vibration, par exemple un moteur ou un actionneur haptique, ou des écouteurs, des écouteurs à conduction osseuse ou des haut-parleurs pour transmettre un retour d'information sonore.

[0080] De préférence, le retour d'information sonore peut être fourni par des appareils auditifs. Il permet de couvrir les cas où les utilisateurs ont à la fois une déficience visuelle et auditive.

[0081] De préférence, le système est configuré pour être porté comme une ceinture ou comme un système de fixation sur la poitrine, ou sur les bretelles d'un sac, d'un sac à dos, ou de sacs à bandoulière, ou de bandoulières, ou comme collier.

[0082] Les avantages particuliers du système sont similaires à ceux du procédé selon l'invention et ne seront donc pas répétés ici.

[0083] Tel qu'utilisé ici, le mot „moyen“ (singulier ou pluriel) précédé ou suivi d'une fonction peut être remplacé par le mot „unité“ ou „module“. Par exemple „ moyen de calcul“ peut être remplacé par „unité de calcul“ ou „module de calcul“.

[0084] Les modes de réalisation décrits pour le procédé mis en œuvre par ordinateur s'appliquent également au programme informatique et au système selon la présente invention, mutatis mutandis.

Description brève des dessins

[0085] D'autres avantages et caractéristiques particuliers de l'invention apparaîtront mieux à partir de la description non limitative suivante d'au moins un mode de réalisation de l'invention qui fera référence aux figures annexées (tableaux et graphiques), dans lesquelles : Les figures 1 et 2 représentent un système selon un premier mode de réalisation de la présente invention. La figure 3 est une vue éclatée du boîtier principal du système 1 représenté sur les figures 1 et 2. La figure 4 est un schéma illustrant les principales étapes des procédés selon la présente invention. Les figures 5, 6 et 7 sont des exemples représentant la détection et la notification d'obstacles et/ou d'objets.

Description détaillée de l'invention

[0086] La présente description détaillée est destinée à illustrer l'invention de manière non limitative puisque n'importe quelle caractéristique d'un mode de réalisation peut être combinée avec toute autre caractéristique d'un mode de réalisation différent de manière avantageuse.

[0087] Un exemple d'un système 1 dans un premier mode de réalisation selon la présente invention est représenté sur les figures 1 et 2. L'invention n'est pas limitée au mode de réalisation représenté aux figures 1 et 2.

[0088] Le système 1 représenté aux figures 1 et 2 comprend un module d'acquisition de données 2, un module de calcul 3 et un module de retour d'information 4. La figure 1 représente en outre un module de batterie pour fournir de l'énergie au système 1. Dans le présent mode de réalisation, le retour d'information adaptatif est généré via des sons, qui sont envoyés du module de calcul 3 au casque 8 (en tant que module de retour d'information 4) via une connexion Bluetooth.

[0089] Dans le présent mode de réalisation, le module d'acquisition de données 2 (et éventuellement le module de calcul 3) est embarqué dans un boîtier principal 5. Le boîtier principal 5 est attaché à une ceinture ou un harnais 6 configuré pour être porté par l'utilisateur soit comme une ceinture (non représentée), soit comme un support de poitrine ou un harnais en le plaçant autour de l'épaule comme le montre la figure 2. Par exemple, le boîtier principal 5 est fixé de manière réversible au harnais 6 par maintien magnétique.

[0090] Le module de retour d'information 4 comprend une unité audio 7, par exemple un casque 8 pour fournir à l'utilisateur un retour d'information sonore.

[0091] Facultativement, le module de retour d'information 4 peut en outre comprendre une unité de retour haptique 9 pour fournir à l'utilisateur un retour haptique, par exemple, l'unité de retour haptique comprend des actionneurs haptiques (c'est-à-dire des buzzers) cachés dans la sangle du harnais 6 qui vibrent lors de l'actionnement, par exemple à gauche et à droite.

[0092] La figure 3 est une vue éclatée du boîtier principal 5 du système 1 représenté à la figure 1. Le boîtier principal 5 comprend un boîtier avant 10 emboîté dans un boîtier arrière 11 pour recevoir les différents composants du module d'acquisition de données 2 dans le boîtier principal 5.

[0093] Le module d'acquisition de données 2 comprend trois caméras de profondeur 12 intégrées dans le boîtier avant 10, chacune étant protégée par un cache de caméra 13, pour acquérir des images de l'environnement. Dans le présent mode de réalisation, les caméras de profondeur 13 sont couplées au boîtier avant 10 pour offrir un champ de vision de 170° vertical et 90° horizontal. Le module d'acquisition 2 comprend en outre une caméra thermique 14 pour identifier la position de la tête de l'utilisateur.

[0094] Les images acquises par les caméras de profondeur 12 sont traitées par une carte de traitement de vision 15.

[0095] Le module d'acquisition 2 comprend en outre des composants électroniques 16, par exemple un processeur de contrôle des caméras 3, 15 est séparé de la carte de traitement de la vision par un séparateur 17.

[0096] Le module d'acquisition de données 2 comprend en outre une unité GPS 18 pour acquérir des coordonnées GPS et une unité IMU 19 pour détecter des données de mesure inertielle correspondant à un positionnement de l'utilisateur.

[0097] Le système 1 comprend en outre une carte de commande de vibration pour commander la vibration de l'unité de retour haptique 9.

[0098] Des boutons poussoirs 21 (au nombre de trois) sont également reçus dans l'une des faces latérales du boîtier arrière 5.

[0099] Le module de calcul 3 du système 1, placé dans le harnais sur le dos de l'utilisateur, comprend un CPU/TPU pour exécuter le modèle de détection d'objets entraîné afin que la détection des objets soit effectuée localement dans le module de calcul 3.

[0100] La figure 4 illustre les principales étapes de certains modes de réalisation des procédés selon la présente invention.

[0101] Le procédé pour signaler à l'utilisateur la présence d'un obstacle et/ou d'un objet commence par l'acquisition de données (notamment en mode classique), par exemple des images, des données d'images de profondeur. Avantageusement, le champ de vision est défini pour détecter le sol sur lequel est placé l'utilisateur. Le procédé comprend en outre une étape de sélection ou de filtrage pour prioriser les objets détectés réalisée par un module de filtrage, autrement dit pour sélectionner ou rejeter certains des objets détectés.

[0102] La figure 4 illustre en outre un mode de réalisation d'un procédé pour guider un utilisateur aveugle ou malvoyant dans un environnement selon la présente invention. Dans ce mode de réalisation, l'intérêt du procédé est de calculer dynamiquement un chemin depuis une position de départ jusqu'à une position finale à travers l'environnement pour éviter les objets sélectionnés et/ou les obstacles sélectionnés. Avantageusement, la présente invention peut comprendre une étape de planification de trajet. L'étape de planification du trajet peut être adaptée au comportement ou aux préférences de l'utilisateur. Par exemple : – soit en supposant que l'utilisateur souhaite aller tout droit, et en essayant de lui faire suivre une ligne droite avec le moins d'écarts possible par rapport à cette ligne droite lorsqu'il y a un objet ; – soit en disposant d'informations GPS et en guidant l'utilisateur vers la destination souhaitée (c'est-à-dire que l'utilisateur ne va pas toujours tout droit, mais fait parfois des virages selon les instructions transmises).

[0103] La figure 5 représente une image traitée par le module de calcul 3. On peut voir les trois images distinctes (de haut en bas) acquises par les trois caméras du module d'acquisition effectuant l'acquisition d'images. Les voitures 25 sont détectées et suivies (d'où le „ID“ au-dessus des boîtes englobantes). La caméra du bas permet de détecter le sol. Enfin, nous voyons la détection d'obstacles, où l'arbre 26 et la voiture 25 deviennent des obstacles. Cela crée le retour d'information suivant en mode classique (pas en mode de planification de trajet) : un son est émis pour la première voiture 25 „ID 1“, car elle est sur le chemin de l'utilisateur et relativement proche. Aucun son n'est émis pour la deuxième voiture 25 „ID2“, puisque la voiture 25 „ID2“ est encore loin de l'utilisateur. La première voiture 25 „ID1“ et l'arbre 26 sont tous deux des obstacles, et l'utilisateur reçoit des sons correspondant aux obstacles pour ces deux éléments.

[0104] La figure 6 représente un premier mode de réalisation de la présente invention. Dans ce mode de réalisation, le procédé comprend la détection d'objets et d'obstacles dans l'environnement d'un utilisateur. L'utilisateur est par exemple équipé d'un système représenté à la figure 1. L'utilisateur est placé dans un environnement comprenant une pièce 22 comprenant un pilier 23 et reliée à un couloir 24 où sont positionnées deux personnes P1, P2, la personne P1 étant proche de l'utilisateur tandis que la personne P2 est placée au fond du couloir 24.

[0105] L'intérêt du procédé est de guider l'utilisateur depuis la pièce 22 vers l'extrémité du couloir 24.

[0106] Le procédé commence par (étape 1) l'acquisition d'images de l'environnement entourant l'utilisateur, par exemple des images 3D. Ensuite, le procédé comprend en outre la détection d'obstacles et d'objets en parallèle.

[0107] Les étapes 2 et 3 telles que représentées sur la figure 3 décrivent la détection d'obstacles : Étape 2 : un champ de sécurité est déterminé. par exemple 3 mètres dans le présent exemple; Les données acquises par les capteurs, par exemple les caméras de profondeur, sont traitées pour détecter les obstacles : dans le présent exemple, le pilier 23 et le mur du couloir 24 sont détectés ; Étapes 3 : la vibration de l'actionneur haptique de l'unité de retour haptique 9 est générée pour avertir l'utilisateur de la présence du pilier 23 et du mur du couloir : dans cet exemple, le motif de retour haptique reçu par l'utilisateur comprend deux signaux de vibrations en même temps, c'est-à-dire qu'un signal plus fort à droite l'avertira de l'obstacle à droite, et une vibration plus faible à gauche, puisque l'obstacle de gauche est plus éloigné.

[0108] Le procédé comprend également la détection d'objets aux étapes 4 à 6 : Étape 4 : les images acquises sont traitées en appliquant un détecteur d'objets entraîné pour détecter les objets dans l'environnement de l'utilisateur ; dans le présent mode de réalisation, le détecteur d'objet entraîné identifie la personne P1 et la personne P2 en tant qu'objet ; Étape 5 : les objets (c'est-à-dire P1 et P2) sont suivis pour attribuer un score ; dans le présent mode de réalisation, le score est attribué sur la base des trajectoires prédites des personnes P1 et P2 ; puisque la personne P2 se dirige vers le fond du couloir alors que la personne P1 se dirige vers l'utilisateur, le score de la personne P2 est inférieur à celui de la personne P1 de sorte que la personne P2 comme objet est écartée et la personne P1 se qualifie en tant qu'objet sélectionné ; Etape 6 : un retour d'information sonore est généré pour la personne P1 : dans cet exemple, le motif de retour d'information sonore reçu par l'utilisateur comprend une note de musique, attachée dans la bibliothèque sonore à une étiquette „personne“, qui sera jouée ; avant de diffuser l'audio, un traitement de signal est appliqué pour donner au son un angle (venant légèrement de la gauche), une distance et une élévation (ici, une élévation moyenne) ; la note de musique est ensuite jouée pour l'utilisateur.

[0109] La figure 7 représente un utilisateur s'occupant d'un système 1 selon la présente invention. Dans la scène illustrée à la figure 7 : – L'utilisateur U marche dans la rue ; – Une maison 26, obstacle potentiel, se trouve à sa gauche, mais non identifiée comme obstacle puisqu'elle n'est pas sur sa trajectoire. Ainsi, le module de filtrage n'identifie pas la maison 26 comme un obstacle potentiel, et aucun retour d'information n'est fourni à l'utilisateur U. – Un vélo 27 est identifié à sa droite, mais le vélo 27 n'avance pas dans la direction de l'utilisateur. Par conséquent, le module de filtrage n'identifie pas le vélo 27 comme un objet important, et aucun retour d'information n'est fourni à l'utilisateur U. – Un piéton 28 est identifié devant lui, le système 1 prédit sa trajectoire, identifie que le piéton 28 se dirige vers l'utilisateur U, le score de l'objet, c'est à dire du piéton 28, est supérieur au seuil prédéterminé (c'est-à-dire filtrage), afin que l'utilisateur U se fasse remarquer. Il s'agit typiquement d'un retour d'information sonore, associé à une personne, qui devient de plus en plus fort à mesure que le piéton 28 se rapproche de l'utilisateur U. Si le piéton 28 change de trajectoire lorsque le système 1 remarque l'utilisateur aveugle, le piéton 28 sera filtré, et la scène restera silencieuse. Si le système comprend un retour haptique 9, l'utilisateur U va commencer à ressentir des vibrations, légèrement sur sa droite, au fur et à mesure que le piéton 28 se rapproche et devient un obstacle, et que ces vibrations vont s'intensifier jusqu'à ce que le piéton 28 change de direction.

[0110] Bien que les modes de réalisation aient été décrits conjointement avec un certain nombre de modes de réalisation, il est évident que de nombreuses alternatives, modifications et variations seraient ou sont évidentes pour l'homme du métier ordinaire dans les domaines concernés. En conséquence, cette divulgation est destinée à englober toutes ces alternatives, modifications, équivalents et variations qui entrent dans la portée de cette divulgation. Ceci est par exemple particulièrement vrai en ce qui concerne les différents appareils pouvant être utilisés.

NUMÉROS DE RÉFÉRENCE

[0111] 1 Système selon un premier mode de réalisation 2 Module d'acquisition de données 3 Module de calcul 4 Module de commentaires B Module batterie 5 Boîtier principal 6 Ceinture ou harnais 7 Unité audio 8 casque de musique 9 Unité de retour haptique 10 Boîtier avant 11 Boîtier arrière 12 Caméras de profondeur 13 Lamelle de caméra 14 Caméra thermique 15 Carte de traitement de la vision 16 Composants électroniques 17 Séparateur 18 Unité GPS 19 Unité IMU 20 Carte de commande des vibrations 21 Boutons poussoir 22 Chambre 23 Pilier 24 Couloir 25 voitures Utilisateur U 26 Maison 27 Vélo 28 Piéton.

Claims (21)

1. Procédé mis en œuvre par ordinateur pour notifier un utilisateur (U), de préférence choisi parmi un utilisateur aveugle, malvoyant, souffrant d'héminégligence ou d'hémianopsie, placé dans un environnement en présence d'objets dans ledit environnement, le procédé comprend : – la détection desdits objets dans l'environnement en utilisant au moins un capteur configuré pour analyser l'environnement entourant l'utilisateur ; – générer et transmettre un retour d'informations à l'utilisateur pour avertir ledit utilisateur (U) de la présence desdits objets détectés dans l'environnement, le procédé étant caractérisé en ce que la détection des objets comprend i) acquérir des données de l'environnement entourant l'utilisateur (U) en utilisant au moins un capteur, lesdites données comprenant au moins des images ; ii) traiter les données acquises en appliquant un modèle de détection d'objets entraîné pour identifier lesdits objets présents dans ledit environnement ; iii) suivre le déplacement des objets détectés pour attribuer un score à chaque objet détecté en fonction d'au moins un critère de suivi prédéterminé ; iv) sélectionner les objets dont le score est supérieur à un seuil prédéterminé ; et en ce que la génération et la transmission de commentaires comprennent v) générer un retour d'information adaptatif d'objet qui est transmis à l'utilisateur (U) pour chaque objet sélectionné, ledit retour d'information adaptatif d'objet comprenant des caractéristiques qui sont ajustées en fonction du score de chaque objet sélectionné pour notifier ledit l'utilisateur (U) sur la présence des objets dans ledit environnement.

2. Procédé selon la revendication 1, dans lequel lesdits critères de suivi prédéterminés sont choisis dans une liste comprenant la distance entre l'utilisateur (U) et l'objet sélectionné, la trajectoire de l'objet sélectionné, la vitesse de l'objet sélectionné, la dangerosité de l'objet sélectionné. la stationnarité de l'objet, l'élévation de l'objet, l'environnement des objets ou une combinaison de ceux-ci.

3. Procédé selon la revendication 1 ou 2, dans lequel le procédé comprend en outre la détection dynamique d'objets en répétant les étapes i) à v) au moins deux fois par seconde, de préférence au moins trois fois par seconde, de préférence au moins quatre fois par seconde.

4. Procédé selon les revendications 1 à 3, dans lequel les objets notifiés sont limités aux objets présentant un risque de collision avec l'utilisateur dans l'environnement.

5. Procédé selon l'une quelconque des revendications 1 à 4, dans lequel le procédé comprend en outre la détection d'objet en tant qu'obstacles dans l'environnement, la détection comprenant: – traiter les données acquises en appliquant un outil de détection d'obstacles pour détecter les objets en tant qu'obstacles présents dans ledit environnement; – déterminer un champ de sécurité autour dudit utilisateur en fonction d'un seuil de distance; – filtrer les objets détectés pour sélectionner les obstacles qui se trouvent dans ledit champ de sécurité; – générer un retour d'information adaptatif d'obstacle qui est transmis à l'utilisateur (U) pour chaque objet sélectionné en tant qu'obstacle, ledit retour d'information adaptatif d'obstacle comprenant des caractéristiques qui sont ajustées en fonction de chaque obstacle sélectionné pour informer ledit utilisateur (U) de la présence des obstacles dans le champ de sécurité.

6. Procédé selon la revendication précédente, dans lequel le champ de sécurité est un couloir de sécurité autour de l'utilisateur en fonction de la trajectoire et de la vitesse de l'utilisateur, la détection d'obstacle comprend en outre : – prédire les trajectoires des obstacles environnants sur la base des positions précédentes de l'obstacle ; – filtrer les obstacles détectés présentant un risque de collision avec le couloir de sécurité des usagers ; – générer un retour d'information adaptatif d'obstacle qui est transmis à l'utilisateur (U) pour chaque obstacle sélectionné, ledit retour d'information adaptatif d'obstacle comprenant des caractéristiques qui sont ajustées en fonction de chaque obstacle sélectionné pour informer ledit utilisateur (U) de la présence des obstacles dans le couloir de sécurité.

7. Procédé selon la revendication 5 ou 6, dans lequel les objets notifiés sont limités aux objets présentant un risque de collision avec l'utilisateur dans l'environnement, de préférence dans le couloir de sécurité.

8. Procédé selon l'une quelconque des revendications 5 à 7, dans lequel la détection d'obstacles et la détection d'objets sont effectuées en parallèle.

9. Procédé selon l'une quelconque des revendications 5 à 8, dans lequel la détection d'obstacles et/ou la détection d'objets comprend une étape de sélection pour prioriser les objets détectés respectivement les obstacles détectés.

10. Procédé selon l'une quelconque des revendications 5 ou 9, dans lequel le procédé comprend en outre – détecter dynamiquement les obstacles en exécutant premiere fois l'ètape i), puis en répétant les étapes ii) v) au moins cinq fois par seconde, de préférence au moins huit fois par seconde, plus préférablement au moins dix fois par seconde, par exemple au moins une quinzaine de fois par seconde.

11. Procédé selon l'une quelconque des revendications 5 à 10, dans lequel le champ de sécurité est un couloir 3D simulé devant l'utilisateur, la détection d'obstacles comprend : – traiter les données acquises en appliquant un outil de détection d'obstacles pour détecter les obstacles présents dans ledit environnement ; – déterminer un couloir 3D par : – construire une représentation en nuage de points 3D de l'environnement (de préférence à partir des données des capteurs), – détecter de préférence la zone praticable via la détection au sol ; – évaluer la vitesse de marche de l'utilisateur pour définir une plage de détection d'obstacles, ou définir une plage de détection d'obstacles en fonction d'un seuil, – détecter les obstacles dans la plage de détection d'obstacles susmentionnée et classer les obstacles détectés sur le nuage de points 3D de préférence en utilisant une méthode de partitionnement des données, – de préférence suivre les obstacles et de préférence prédire les trajectoires des obstacles à classer ; – simuler le couloir 3D devant l'utilisateur, de préférence soit en faisant l'hypothèse que l'utilisateur marchera droit, soit en prédisant la trajectoire de l'utilisateur et en autorisant des formes 3D complexes pour le couloir, et – filtrer les obstacles détectés pour sélectionner les obstacles qui se trouvent à l'intérieur dudit couloir 3D, de préférence également les obstacles dont la trajectoire prédite tombe dans le couloir 3D ; classer de préférence l'élévation de l'obstacle sélectionné, par exemple au niveau de la tête, au niveau intermédiaire, au niveau du sol ou des trous ; – générer un retour d'information adaptatif d'obstacle qui est transmis à l'utilisateur pour chaque obstacle sélectionné, ledit retour d'information adaptatif d'obstacle comprenant des fonctionnalités qui sont ajustées en fonction de chaque obstacle sélectionné pour informer ledit utilisateur de la présence des obstacles dans le champ de sécurité ;

12. Procédé selon l'une quelconque des revendications 5 à 11, dans lequel ledit retour d'information adaptatif d'obstacle est basé sur un score attribué à chaque obstacle sélectionné, les caractéristiques du retour d'information adaptatif d'obstacle étant ajustées en fonction dudit score, ledit score étant basé sur au moins un paramètre choisi. parmi la distance entre l'utilisateur et l'obstacle sélectionné, la trajectoire de l'obstacle sélectionné, la vitesse de l'obstacle sélectionné, la dangerosité de l'obstacle sélectionné.

13. Procédé selon l'une quelconque des revendications 1 à 12, dans lequel le retour d'information adaptatif d'objet et/ou le retour d'information adaptatif d'obstacle comprend un retour haptique et/ou un retour d'information sonore.

14. Procédé selon la revendication précédente, dans lequel les caractéristiques du retour haptique étant choisies parmi les fréquences de la vibration, l'intensité de la vibration, la durée de chaque vibration, la direction de la vibration, le début et la fin de la vibration, la vibration équilibrée entre un la première direction et la seconde direction, et/ou les caractéristiques de retour d'information sonore qui comprennent la fréquence des ondes sonores, l'intensité de l'onde sonore, 1a durée des ondes sonores, 1a direction du son, le type de son, par exemple les sons parlés ou de courts signaux audio.

15. Procédé de guidage d'un utilisateur (U) aveugle ou malvoyant dans un environnement, le procédé comprenant : a) détecter les objets et/ou les obstacles présents dans ledit environnement par application d'un procédé selon l'une quelconque des revendications 1 à 14; b) calculer dynamiquement un chemin depuis une position de départ jusqu'à une position finale à travers l'environnement pour éviter les objets sélectionnés et/ou les obstacles sélectionnés ; c) intégrer de préférence ledit parcours dans le système de navigation d'un dispositif informatique pour guider l'utilisateur sur ledit parcours, par exemple un smartphone.

16. Système (1) pour avertir un utilisateur (U) aveugle ou malvoyant placé dans un environnement de la présence d'objets dans ledit environnement, le système (1) comprend : – un module d'acquisition de données (2) pour acquérir des données de l'environnement entourant l'utilisateur, ledit module d'acquisition de données (2) comprenant au moins une caméra (12) pour acquérir des images ; – un module de calcul (3) pour traiter les données acquises en appliquant un modèle de détection d'objet entraîné pour identifier les objets présents dans ledit environnement, et pour suivre le déplacement des objets détectés pour attribuer un score à chaque objet détecté en fonction d'au moins un des critères de suivi prédéterminés, et pour sélectionner les objets dont le score est supérieur à un seuil prédéterminé ; – un module de retour d'information (4) configuré pour générer un retour d'information adaptatif d'objet qui est transmis à l'utilisateur pour chaque objet sélectionné, ledit retour d'information adaptatif d'objet comprenant des fonctionnalités qui sont ajustées par le module de retour d'information en fonction du score de chaque objet sélectionné pour notifier ledit utilisateur (U) de la présence des objets dans ledit environnement.

17. Système (1) selon la revendication 16, dans lequel le module de calcul (3) comprend un processeur configuré pour exécuter le modèle de détection d'objets entraîné de sorte que la détection des objets soit effectuée localement dans le module de calcul (3) du système (1), par exemple une unité de traitement tensoriel (TPU).

18. Système (1) selon l'une quelconque des revendications 16 à 17, dans lequel le système (1) est en outre configuré pour détecter la présence d'obstacles dans ledit environnement, lesdits obstacles correspondant à des objets non identifiés par le détecteur d'objets entraînés, et dans lequel le module de calcul (3) est en outre configuré pour traiter les données acquises en appliquant un outil de détection d'obstacles pour détecter les obstacles présents dans ledit environnement ; et pour déterminer un champ de sécurité autour dudit utilisateur (U) ; et pour filtrer les obstacles détectés pour sélectionner les obstacles qui se trouvent dans ledit champ de sécurité ; le module de rétroaction (4) est en outre configuré pour générer une rétroaction adaptative d'obstacle qui est transmise à l'utilisateur (U) pour chaque obstacle sélectionné, ladite rétroaction adaptative d'obstacle comprenant des caractéristiques qui sont ajustées en fonction du score de chaque obstacle sélectionné pour avertir ledit utilisateur de la présence des obstacles dans le champ de sécurité.

19. Système (1) selon la revendication précédente, dans lequel le champ de sécurité est un couloir de sécurité autour de la trajectoire de l'utilisateur en fonction de la vitesse de l'utilisateur, le module de calcul (3) est en outre configuré pour traiter les données acquises en appliquant un outil de détection d'obstacle pour détecter le les obstacles présents dans ledit environnement ; et pour déterminer un couloir de sécurité autour dudit utilisateur (U) ; et pour filtrer les obstacles détectés pour sélectionner les obstacles qui se trouvent à l'intérieur dudit couloir de sécurité ; le module de rétroaction (4) est en outre configuré pour générer une rétroaction d'obstacle adaptative qui est transmise à l'utilisateur (U) pour chaque obstacle sélectionné, ladite rétroaction adaptative d'obstacle comprenant des caractéristiques qui sont ajustées en fonction du score de chaque obstacle sélectionné pour informer ledit utilisateur de la présence des obstacles dans le couloir de sécurité.

20. Système (1) selon l'une quelconque des revendications 16 à 19, dans lequel les images sont acquises en utilisant au moins une caméra (12) avec un champ de vision prédéterminé, ledit champ de vision prédéterminé est défini par au moins environ 120° vertical et au moins environ 60° horizontal, de préférence au moins environ 160° vertical et au moins environ 80° horizontal, par exemple entre environ 170° vertical et environ 90° horizontal.

21. Système (1) selon l'une quelconque des revendications 16 à 20, dans lequel les images sont acquises en utilisant plusieurs caméras (12), par exemple entre deux et cinq caméras, de préférence trois caméras.