FR3133688A1 - Dispositif et procede de generation d’un nuage de points d’un objet au-dessus d’une surface de detection - Google Patents

Abstract

DISPOSITIF ET PROCEDE DE GENERATION D’UN NUAGE DE POINTS D’UN OBJET AU-DESSUS D’UNE SURFACE DE DETECTION L’invention concerne un dispositif électronique (1) comprenant une surface de détection, notamment pour la détection d’un objet (10) en champ proche (2) comprenant : un substrat ; une pluralité de photoémetteurs séparée les uns des autres sur ledit substrat ; une pluralité de photodétecteurs, au moins une partie de ces photodétecteurs étant disposés entre lesdits photoémetteurs sur le substrat et des moyens de calculs pour la détermination d’un nuage de points représentant ledit objet. Figure pour l’abrégé : Fig.1

Description

DISPOSITIF ET PROCEDE DE GENERATION D’UN NUAGE DE POINTS D’UN OBJET AU-DESSUS D’UNE SURFACE DE DETECTION Domaine de l’invention

L’invention concerne un dispositif électronique pour la détection d’un objet en champ proche devant une surface de détection. L’invention concerne également une méthode pour la détection d’un tel objet.

État de la technique

Il existe aujourd’hui des dispositifs de détection d’un objet ou plusieurs objets basés sur l’utilisation d’optiques.

Par exemple, le document FR3103341 décrit l’utilisation d’un appareil tel qu’une caméra ou une caméra de profondeur pour détecter une main d’un utilisateur ou la reconnaissance d’un geste de la main.

Un inconvénient de ce genre de dispositif est que le cône de détection ou d’un champ de vue d’une telle caméra est étroit et défini par sa lentille optique. Par conséquent, ce type de dispositif n’est pas adapté pour la détection d’un objet en champ proche, c’est-à-dire à une hauteur presque nulle par rapport au dispositif de détection.

Pour résoudre cet inconvénient, le document EP2843509 décrit un dispositif comprenant une bordure périphérique d’un écran permettant d’estimer les coordonnées d’un objet au-dessus de l’écran.

Cependant, un inconvénient de ce dispositif est qu’il n’est pas assez précis pour déterminer avec précision la coordonnée de hauteur de l’objet à détecter (ou sa distance par rapport à l’écran).

Un autre inconvénient est que ce dispositif, par l’emplacement des photodétecteurs en périphérie et leur faible angle de détection, ne permet pas de détecter un objet proche du centre de l’écran.

L’objet de l’invention est donc de proposer un dispositif et une méthode permettant de détecter avec précision des objets en champ proches d’une surface de détection.

Selon un premier aspect, l’invention concerne un dispositif électronique comprenant :

• une surface de détection, notamment de détection de champ proche comprenant :
  • un substrat ;
  • une pluralité de photoémetteurs, les photoémetteurs étant séparée les uns des autres sur ledit substrat ;
  • une pluralité de photodétecteurs, au moins une partie de ces photodétecteurs étant disposés chacun entre deux photoémetteurs sur le substrat ;
• une première unité d’acquisition connectée à la pluralité de photodétecteurs et à la pluralité de photoémetteurs comprenant des moyens adaptés pour l’exécution des étapes suivantes :
  • la génération d’une émission par la commande de l’allumage des photoémetteurs ;
  • l’acquisition d’une cartographie d’intensité lumineuse en fonction de la position et de l’intensité lumineuse reçue par chaque photodétecteur ;
• une seconde unité de détection d’un objet placé devant la surface de détection comprenant des moyens adaptés pour la détermination d’une distance entre ledit objet et ladite surface de détection par l’exécution des étapes suivantes :
  • la sélection d’une pluralité de fonction d’étalement du point, chaque fonction d’étalement du point étant caractéristique d’une hauteur prédéterminée ;
  • la réalisation d’une déconvolution de la cartographie d’intensité lumineuse acquise par chaque fonction d’étalement du point sélectionnée ;
  • pour chaque déconvolution, le calcul d’un score de cohérence ;
  • la détermination de la distance dudit objet avec la surface de détection à partir de la hauteur prédéterminée de la fonction d’étalement du point ayant permis d’obtenir la déconvolution ayant obtenu le meilleur score de cohérence.

Un avantage d’un tel dispositif électronique est d’autoriser la détection d’un objet, sans être freiné par l’angle de détection. Il est par conséquent possible de détecter un objet en champ proche ou à courte distance d’une surface étendue, ce qui n’est pas possible avec une optique ou une caméra de profondeur traditionnelle.

Dans un mode de réalisation, le calcul d’un score de cohérence comprend l’application d’une transformée de la déconvolution de la cartographie d’intensité lumineuse acquise et/ou de la cartographie d’intensité lumineuse acquise. La seconde unité peut comprendre des moyens adaptés pour l’application d’une telle transformée. Dans un mode de réalisation, l’application d’une transformée comprend l’application d’une transformée de Fourier ou d’une transformée de Laplace.

Dans un mode de réalisation, la seconde unité comprend également des moyens pour exécuter une étape d’estimation de la forme de l’objet dans un plan parallèle au plan de la surface de détection à partir de la déconvolution ayant obtenu le meilleur score.

Dans un mode de réalisation, la seconde unité comprend également des moyens pour exécuter une étape de détermination des coordonnées spatiales de l’objet dans un plan parallèle au plan de la surface de détection à partir de la déconvolution ayant obtenu le meilleur score.

Dans un mode de réalisation, la surface de détection comprend un écran d’affichage. Préférentiellement, l’écran d’affichage est formé par la pluralité de pixels et les photoémetteurs et photodétecteurs sont distribués entre lesdits pixels. Dans un mode de réalisation, les pixels de la pluralité de pixels comprennent chacun au moins une source de lumière visible, préférentiellement des sources de lumière RGB, et dans lequel les photoémetteurs sont conçus pour émettre une lumière infrarouge et les photodétecteurs sont conçus pour détecter une intensité lumineuse dans le domaine de l’infrarouge.

Dans un mode de réalisation, la première unité comprend des moyens pour exécuter l’étape d’acquisition d’une cartographie d’intensité lumineuse de manière à ce que ladite étape d’acquisition comprend une étape de mesure, par chaque photodétecteur, de l’intensité lumineuse émise par les photoémetteurs et réfléchie par au moins un objet placé devant la surface de détection.

Dans un mode de réalisation, le dispositif électronique comprend une couche de recouvrement recouvrant la pluralité de photoémetteurs et la pluralité de photodétecteurs, ladite couche de recouvrement étant transparente aux rayons émis par les photoémetteurs.

Dans un mode de réalisation, le score de cohérence est calculé en fonction d’un critère de netteté de l’image obtenue par la déconvolution de la cartographie d’intensité lumineuse acquise.

L’invention concerne également une méthode d’utilisation d’un dispositif électronique comprenant les étapes suivantes :

• la génération d’une émission par la commande de l’allumage des photoémetteurs ;
• l’acquisition d’une cartographie d’intensité lumineuse en fonction de la position et de l’intensité lumineuse reçue par chaque photodétecteur ;
• la sélection d’une pluralité de fonction d’étalement du point, chaque fonction d’étalement du point étant caractéristique d’une hauteur prédéterminée ;
• la réalisation d’une déconvolution de la cartographie d’intensité lumineuse acquise par chaque fonction d’étalement du point sélectionnée ;
• pour chaque déconvolution, le calcul d’un score de cohérence ;
• la détermination de la distance dudit objet avec la surface de détection à partir de la hauteur prédéterminée de la fonction d’étalement du point ayant permis d’obtenir la déconvolution ayant obtenu le meilleur score de cohérence.

Selon un second aspect, l’invention concerne un dispositif électronique comprenant :

• une surface de détection, notamment pour la détection d’un objet en champ proche comprenant :
  • un substrat ;
  • une pluralité de photoémetteurs séparés les uns des autres sur ledit substrat ;
  • une pluralité de photodétecteurs, au moins une partie de ces photodétecteurs étant disposés entre lesdits photoémetteurs sur le substrat ;
• une première unité d’acquisition d’une cartographie d’intensité lumineuse connectée à la pluralité de photoémetteurs et à la pluralité de photodétecteurs comprenant des moyens adaptés pour exécuter les étapes suivantes :
  • la génération d’un premier motif d’émission par la commande de l’allumage d’un premier ensemble de photoémetteurs de la surface de détection ;
  • l’acquisition d’une première cartographie d’intensité lumineuse en fonction de la position et de l’intensité lumineuse reçue par chaque photodétecteur lors de la génération du premier motif d’émission ;
• une seconde unité de génération d’un nuage de point dudit objet placé devant la surface de détection comprenant des moyens pour l’exécution d’une fonction de construction permettant de générer un nuage de point final dudit objet à partir du premier motif d’émission et de la première cartographie d’intensité lumineuse acquise.

L’invention concerne aussi un procédé mis en œuvre par un ordinateur de génération d’un nuage de point d’un objet placé devant la surface de détection d’un dispositif électronique selon l’invention comprenant les étapes suivantes :

• la génération d’un premier motif d’émission par la commande de l’allumage d’un premier ensemble de photoémetteurs de la surface de détection ;
• l’acquisition d’une première cartographie d’intensité lumineuse en fonction de la position et de l’intensité lumineuse reçue par chaque photodétecteur lors de la génération du premier motif d’émission ;
• l’exécution d’une fonction de construction permettant de générer un nuage de point final dudit objet à partir du premier motif d’émission et de la première cartographie d’intensité lumineuse acquise.

Un avantage d’un tel dispositif électronique et d’un tel procédé est d’autoriser la détection et la reconstruction d’un nuage de points d’un objet, sans être freiné par l’angle de détection. Il est par conséquent possible de détecter un objet en champ proche ou à courte distance d’une surface étendue ce qui n’est pas possible avec une optique ou une caméra de profondeur traditionnelle.

Dans un mode de réalisation, l’exécution de la fonction de construction comprend l’exécution des étapes suivantes :

• la génération d’une première image en réalisant une simulation de rayons lumineux émis par les photoémetteurs du premier ensemble et réfléchis par un objet défini par un nuage de points candidat ;
• une première comparaison de la première cartographie d’intensité lumineuse acquise avec la première image générée ;
• une minimisation du résultat de la première comparaison en faisant varier le nuage de points candidat ;
• la détermination d’un nuage de points représentatif dudit objet en fonction de la minimisation.

Dans un mode de réalisation, la génération du nuage de point final comprend :

• la génération d’un second motif d’émission par la commande de l’allumage d’un second ensemble de photoémetteurs différent du premier ensemble ;
• l’acquisition d’une seconde cartographie d’intensité lumineuse en fonction de la position et de l’intensité lumineuse reçue par chaque photodétecteur lors de la génération du second motif d’émission.

Dans un mode de réalisation, la génération du nuage de point dudit objet est réalisée à partir du premier motif d’émission et de la première cartographie d’intensité lumineuse acquise ainsi que du second motif d’émission et de la seconde cartographie d’intensité lumineuse.

Dans un mode de réalisation, la mise en œuvre de la fonction de construction comprend :

• la génération d’une seconde image en réalisant une simulation de rayons lumineux émis par les photodétecteurs du second ensemble et réfléchis par un objet défini par le nuage de points candidat ;
• une seconde comparaison de la seconde cartographie d’intensité lumineuse acquise avec la seconde image générée.

Dans un mode de réalisation, l’étape de minimisation comprend une minimisation du résultat de la seconde comparaison et de la première comparaison en faisant varier le nuage de points candidat dudit objet.

Dans un mode de réalisation, l’étape de minimisation est mise en œuvre par une méthode de descente de gradient.

Dans un mode de réalisation, l’étape de génération d’une image comprend la génération d’un objet virtuel défini par un nuage de point candidat dans un environnement virtuel comprenant une simulation d’une surface similaire à la surface de détection.

Dans un mode de réalisation, la fonction de construction est une fonction apprenante, mise en œuvre par un réseau de neurones entraîné pour générer un nuage de point d’un objet à partir d’une ou plusieurs paires de motifs et de cartographies d’intensité lumineuse acquises.

Dans un mode de réalisation, le dispositif électronique comprend une mémoire comprenant une bibliothèque (ou une base de données) de cartographies d’intensité lumineuse acquises, chacune associée à un motif d’émission et à un nuage de point d’un objet, la fonction de construction étant capable de générer ledit nuage de point par comparaison avec les cartographies de ladite bibliothèque.

Dans un mode de réalisation, la seconde unité comprend des moyens pour recevoir au moins une information de distance entre ledit objet et la surface de détection et dans lequel le nuage de point est généré par la fonction de construction à partir de ladite information de distance.

Dans un mode de réalisation, le premier ensemble de photodétecteurs comprend au moins une première zone du substrat dans laquelle tous les photodétecteurs sont allumés.

Dans un mode de réalisation, le second ensemble du second motif est sélectionné en fonction du résultat de la première comparaison.

Dans un mode de réalisation, la surface de détection comprend un écran d’affichage formé par une pluralité de pixels et dans lequel la pluralité de photoémetteurs et de photodétecteurs sont dispersés entre et/ou dans lesdits pixels.

Dans un mode de réalisation, le dispositif comprend des moyens pour mettre en œuvre le procédé selon le premier aspect de l’invention.

Selon un troisième aspect, l’invention concerne un système de reconnaissance de mouvement comprenant un dispositif électronique selon l’invention comprenant une unité de reconnaissance de mouvement comprenant des moyens pour l’exécution de l’acquisition d’une pluralité de nuages de point de l’objet placé devant la surface de détection en fonction du temps et la détermination d’au moins un paramètre de mouvement à partir d’une rotation de l’objet et/ou d’une direction de translation de l’objet détecté à partir des nuages de points acquis en fonction du temps.

Selon un autre aspect, l’invention concerne un procédé d’affichage d’une interface utilisateur sur l’écran d’un dispositif électronique. Ledit procédé comprend la détermination d’une distance entre la surface de détection 2 du dispositif électronique et un objet ; la fourniture d’une base de données dans laquelle est enregistrée une pluralité d’interfaces utilisateur différentes, chaque interface utilisateur étant associée à une distance prédéterminée différente des autres. L’interface utilisateur à afficher est sélectionnée par comparaison entre la distance déterminée et les distances prédéterminées associées aux interfaces utilisateur préenregistrées. Le procédé comprend enfin l’affichage de l’interface utilisateur sélectionnée.

L’invention concerne également un produit programme d’ordinateur comprenant des instructions qui conduisent le dispositif électronique selon l’invention à exécuter les étapes d’une méthode ou des méthodes selon l’invention. L’invention concerne un support lisible par ordinateur, sur lequel est enregistré le programme d’ordinateur selon l’invention.

Brève description des figures

D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui suit, en référence aux figures annexées, qui illustrent :

: une vue schématique d’un dispositif électronique selon un mode de réalisation de l’invention comprenant une surface de détection dont les rayons lumineux émis par les photoémetteurs sont réfléchis par la main d’un utilisateur vers ladite surface de détection.

: une vue schématique en coupe de la surface de détection comprenant une pluralité de photoémetteurs émettant des rayons lumineux et des photodétecteurs pour détecter les rayons réfléchis par l’objet au-dessus de la surface de détection.

: un exemple d’un réseau de pixels de la surface de détection selon un mode de réalisation dans lequel chaque pixel comprend des sources de lumière rouge, bleu, verte ainsi qu’un photoémetteur et un photodétecteur capable de détecter les rayons émis par le photoémetteur.

: un exemple d’un réseau de pixels de la surface de détection selon un mode de réalisation dans lequel chaque pixel comprend des sources de lumière rouge, bleu, verte ainsi qu’un photoémetteur ou un photodétecteur.

: une représentation d’une cartographie d’intensité lumineuse acquise par le réseau de photodétecteur selon un mode de réalisation de l’invention.

: un exemple de déconvolution de la cartographie d’intensité lumineuse selon la à partir de différentes fonctions d’étalement du point. Chaque fonction d’étalement du point étant caractéristique d’une hauteur de l’objet prédéterminée et différente des autres fonctions d’étalement du point.

: un logigramme représentant une méthode détermination de la distance entre un objet situé en face de la surface de détection et ladite surface de détection selon un mode de réalisation de l’invention.

: un logigramme représentant une méthode génération d’un nuage de point représentant un objet détecté en face de la surface de détection selon un mode de réalisation de l’invention.

: un logigramme représentant une méthode génération d’un nuage de point représentant un objet détecté en face de la surface de détection selon un mode de réalisation de l’invention dans lequel plusieurs acquisitions de cartographies d’intensité lumineuse sont réalisées en modifiant le motif d’émission.

: un logigramme représentant un exemple de réalisation de l’étape de minimisation de la méthode selon la .

: un logigramme représentant une méthode génération d’un paramètre de mouvement d’un objet détecté par la surface de détection selon un mode de réalisation de l’invention.

: une représentation de plusieurs motifs d’émission par l’activation d’un ensemble de photoémetteurs.

: une représentation schématique d’un système de calcul du dispositif électronique selon un mode de réalisation de l’invention.

à : des exemples de gestes pouvant être détectés par le dispositif électronique selon un mode de réalisation de l’invention.

: une vue schématique d’un dispositif électronique selon un mode de réalisation de l’invention dans lequel une interface utilisateur est sélectionnée en fonction de la distance entre l’objet et la surface de détection pour être affichée sur l’écran du dispositif électronique.

: un représentation de la seconde fonction d’étalement du point ayant permis d’obtenir la déconvolution D2 de la .

Définitions

Par « photodétecteur », on entend tout type de moyen structurel permettant de détecter une intensité lumineuse et de générer un signal en fonction de ladite intensité détectée.

Par « photoémetteur », on entend tout type de moyen capable d’émettre un rayonnement lumineux lorsqu’il est activé, par exemple par application d’un courant ou d’une tension.

Par « unité », on entend tout type de moyen logiciel et/ou matériel permettant l’exécution d’une méthode ou d’un algorithme.

Par « sensiblement » suivi d’une valeur numérique désigne ladite valeur numérique +/- 5% ou 10%. Lorsque le terme « sensiblement » désigne un angle, ce terme doit être compris comme à plus ou moins 1°, 5° ou 10°. Les termes « normales », « parallèles » et « perpendiculaire » désignent implicitement des angles de respectivement 90°, 0° et 90°.

Par « plan de la surface de détection », on entend le plan formé par la surface de détection. Lorsque la surface de détection est courbée, le plan de la surface de détection doit être compris comme la tangente en un point de ladite surface de détection.

Par « un objet situé devant la surface de détection », on entend un objet situé dans la zone adjacente à la surface de détection illuminée par les photodétecteurs lorsque ces derniers sont allumés. On peut aussi simplement entendre un objet dans le faisceau lumineux généré par les photoémetteurs de la surface de détection quand ces derniers sont allumés ou activés.

Par « lumineux », on entend tout signal dans le domaine du visible, dans l’infrarouge (proche ou lointain) ou ultra-violet.

Description de l’invention Surface de détection

Selon un premier aspect, l’invention concerne un dispositif électronique comprenant une surface de détection de champ proche. Un mode de réalisation d’un tel dispositif est représenté sur la .

Un tel dispositif électronique 1 comprend une surface de détection 2. La surface de détection 2 peut s’étendre sur une face du dispositif électronique 1.

La surface de détection 2 désigne une surface plane ou courbe permettant de détecter un objet dans un volume s’étendant dans la direction normale à ladite surface de détection 2.

La surface de détection 2 comprend au moins un substrat 32 sur lequel une pluralité de photodétecteurs et de photoémetteurs sont agencés.

Les photodétecteurs 33 et les photoémetteurs 31 sont agencés du même côté du substrat 32.

Les photoémetteurs 31 sont conçus pour émettre des photons par effet d’électroluminescence. Les photoémetteurs 31 sont préférentiellement conçus pour émettre des rayons lumineux dans une gamme de longueurs d’onde prédéfinies.

Préférentiellement, les photoémetteurs 31 sont conçus pour émettre un rayonnement lumineux infrarouge.

Les photodétecteurs 33 sont conçus pour détecter un rayon lumineux émis par la pluralité de photoémetteurs 31. Les photodétecteurs 33 sont conçus pour transformer la lumière absorbée dans une gamme de longueurs d’onde en une grandeur mesurable telle qu’un courant électrique ou une tension électrique.

Les photodétecteurs comprennent par exemple des capteurs à fibre optique ou préférentiellement des photodiodes. Les photodétecteurs 33 peuvent comprendre des photodétecteurs à lumière infrarouge ou des phototransistors à lumière infrarouge.

Préférentiellement, les photoémetteurs sont conçus de manière à ce que leur cône de diffusion de lumière émise soit le plus faible possible. De même, chaque photoémetteur est agencé sur le substrat 32 de manière à émettre un cône de diffusion dont l’axe est perpendiculaire ou sensiblement perpendiculaire à la surface de détection 2. Un avantage est d’obtenir une pluralité de rayons lumineux parallèles et dont la surface de la zone d’étalement sur un objet 10 est la plus faible possible.

Dans un mode de réalisation, les photodétecteurs sont conçus de manière à avoir un cône de détection le plus faible possible.

L’angle formé par le cône de diffusion d’un ou des photoémetteurs peut être différent de l’angle du cône de détection d’un ou des photodétecteurs.

Dans un mode de réalisation, le dispositif comprend des moyens permettant l’activation et l’extinction de chaque photoémetteur 31 de manière individuelle. Chaque photoémetteur 31 peut donc être activé (pour émettre un rayonnement lumineux) ou éteint indépendamment de l’activation des autres photoémetteurs 31.

Le dispositif électronique 1 comprend en outre des moyens de mesure du signal émis par chaque photodétecteur.

Préférentiellement, les photodétecteurs et les photoémetteurs sont régulièrement répartis selon les deux directions de l’espace (x,y) de la surface de détection 2.

Chaque photodétecteur est préférentiellement agencé entre au moins deux photoémetteurs dans les deux directions de l’espace. Dans un exemple, les photodétecteurs et les photoémetteurs sont régulièrement répartis selon deux directions orthogonales du plan de la surface de détection 2.

La surface de détection 2 comprend préférentiellement une plaque ou une couche transparente agencée pour recouvrir la pluralité de photoémetteurs 31 et de photodétecteurs. Par « transparente », on entend transparente aux rayons lumineux émis par les photoémetteurs. Une telle plaque permet avantageusement de protéger l’intégrité physique des composants de la surface de détection 2 tout en laissant passer les rayons lumineux sortants et entrants. Dans un exemple, la couche de recouvrement est transparente aux rayons infrarouges. Dans un exemple, la couche de recouvrement est transparente aux rayons lumineux émis par les photoémetteurs et aux rayons dans le domaine du visible tel qu’une plaque en quartz.

Écran d’affichage

Dans un mode de réalisation, la surface de détection 2 comprend un écran d’affichage 3. L’écran d’affichage 3 comprend une pluralité de sources de lumière disposées sur le substrat.

Les sources de lumière forment préférentiellement des pixels pour former l’écran d’affichage. Chaque pixel comprend préférentiellement des sources de lumière RGB. Les sources de lumière sont préférentiellement des diodes électroluminescentes RGB.

Dans un mode de réalisation, les photoémetteurs et/ou les photodétecteurs sont agencés, préférentiellement régulièrement agencés, entre les pixels de la surface de détection. Dans un exemple illustré sur la , chaque pixel comprend un photodétecteur et un photoémetteur. Dans un autre exemple illustré sur la , chaque pixel comprend un photodétecteur ou un photoémetteur. Les photoémetteurs et les photodétecteurs sont agencés de manière à avoir un photoémetteur tous les deux pixels.

Un avantage de l’intégration des photoémetteurs 31 et des photodétecteurs au sein ou entre les pixels d’un écran d’affichage est de profiter des pistes de connexions des sources de lumière de l’écran pour connecter les photoémetteurs et photodétecteurs. Ainsi, les coûts de fabrication sont réduits et il n’est pas nécessaire d’augmenter la taille du dispositif pour ajouter des éléments périphériques de détection.

Dans un premier exemple, les photoémetteurs et les photodétecteurs sont distribués régulièrement sur le substrat, par exemple en formant une matrice.

Dans un second exemple, les photoémetteurs et les photodétecteurs sont distribués sur le substrat de manière aléatoire. Ceci peut être notamment le cas lorsque les photoémetteurs et/ou les photodétecteurs sont conçus par impression d’une encre formant des photodiodes organiques sur ledit substrat. Dans ce cas, il reste important de connaître les coordonnées spatiales de chaque photodétecteur 33 dans le plan de la surface de détection 2.

Il est évident que d’autres modes de distribution peuvent être imaginés par l’homme du métier et que la portée de protection ne se limite pas aux exemples cités dans la présente demande.

Dans un mode de réalisation préférentiel, les photoémetteurs émettent des rayons lumineux dans une gamme de longueurs d’onde distincte de la gamme de longueurs d’onde des rayons lumineux émis par les sources de lumière de l’écran. Un avantage est de pouvoir réaliser des cartographies d’intensité lumineuse comme il est décrit ci-après sans avoir de pollution de la part des sources de lumière RGB de l’écran 3. Dans un mode de réalisation alternatif, au moins une des sources de lumière RGB peut être le photoémetteur 31, dans ce cas, le photodétecteur 33 est conçu pour détecter une intensité lumineuse émise par ledit photoémetteur 31.

Moyens logiciels

Le dispositif selon l’invention comprend également des moyens logiciels et/ou matériels pour mettre en œuvre le ou les méthodes selon l’invention décrite ci-après. Ces moyens matériels peuvent comprendre des unités de calculs, des processeurs, des mémoires et sont décrits plus en détail dans la présente description.

Acquisition d’une cartographie d’intensité lumineuse

Selon un premier aspect, l’invention concerne une méthode 200 de détermination de la distance entre un objet 10 placé devant la surface de détection 2 et ladite surface de détection 2. Ladite méthode 200 peut être mise en œuvre par le dispositif électronique 1 selon l’invention.

Par « objet », on entend un ou plusieurs objets d’une scène définie dans un volume s’étendant depuis la surface de détection dans une direction normale à ladite surface de détection 2. Comme expliqué plus loin, un « objet » comprend préférentiellement une ou plusieurs mains d’un utilisateur. Dans un mode de réalisation, le terme « objet » désigne une scène comprenant une pluralité d’objet dans ledit volume s’étendant depuis la surface de détection selon une direction perpendiculaire à ladite surface de détection.

La méthode comprend une étape d’émission MOT1 d’une lumière 22 des photoémetteurs 31 de la surface de détection 2. Par « émission », on entend qu’au moins une partie des photoémetteurs 31 émette une lumière ou des rayons lumineux 22. Cette émission est produite par l’activation des photoémetteurs 31. Cette activation peut être provoquée par des moyens de contrôle des photoémetteurs 31. Ces moyens de contrôle permettent avantageusement d’activer à distance tout ou partie de la pluralité de photoémetteurs 31, par exemple en appliquant un signal aux bornes desdits photoémetteurs 31.

Préférentiellement, cette étape d’émission MOT1 comprend l’activation de tous les photoémetteurs de la pluralité de photoémetteurs de la surface de détection 2. La pluralité de photoémetteurs émet ainsi des rayons lumineux 22 pouvant être schématisés par un cône de diffusion dont l’axe présente une direction normale ou sensiblement normale (ou perpendiculaire) au plan de la surface de détection 2. Préférentiellement, tous les photoémetteurs sont allumés en même temps lors de cette étape, très préférentiellement à la même intensité.

Lorsqu’un objet 10 est présent dans un volume s’étendant depuis la surface de détection dans une direction normale à ladite surface de détection, cet objet 10 est illuminé par les rayons émis 22 par les photoémetteurs. L’objet 10 réfléchit alors une partie de ces rayons émis 22.

Les rayons réfléchis 21 sont renvoyés en direction de la surface de détection 2.

Les rayons réfléchis 21 vont venir illuminer la surface de détection 2 et les photodétecteurs.

L’étape d’acquisition de ACQU1 est réalisée par la mesure de chaque photodétecteur 33 de la surface de détection 2 de l’intensité lumineuse reçue. Avantageusement, ladite mesure est réalisée en même temps que l’étape d’émission MOT1 ou en même temps que l’émission des rayons 22 par les photoémetteurs 31. Ainsi, la mesure réalisée par l’étape d’acquisition comprend la détection de l’intensité lumineuse réfléchie 21 par un objet 10 placé devant la surface de détection 2.

La mesure par chaque photodétecteur 33 de l’intensité lumineuse reçue permet de construire une cartographie d’intensité lumineuse 4. Un exemple d’une telle cartographie 4 est illustré sur la . Dans un mode de réalisation, une cartographie d’intensité lumineuse comprend une représentation en deux dimensions représentant l’intensité de la lumière détectée par chaque photodétecteur 33 en fonction de sa position sur la surface de détection 2.

Préférentiellement, la couleur à une coordonnée donnée de ladite cartographie d’intensité lumineuse est fonction de l’intensité lumineuse mesurée par un photodétecteur agencé à une coordonnée sur la surface de détection 2 représentative de la coordonnée donnée.

Ladite image est construite en fonction de l’intensité lumineuse reçue par chaque photodétecteur et en fonction de sa position sur la surface de détection. Notamment, la couleur d’un pixel de ladite cartographie (par exemple une position sur une échelle de gris) est fonction de l’intensité reçue par le photodétecteur dont la position sur la surface de détection correspond à la position du pixel sur la cartographie.

Un exemple d’une telle cartographie d’intensité lumineuse acquise est représenté sur la .

Une telle acquisition comprend la génération d’un premier motif par la commande de l’allumage des photoémetteurs.

Fonction d’étalement du point

La fonction d’étalement du point (aussi appelée « point spread function » en anglais ou « PSF ») est une fonction mathématique décrivant la réponse d’un système d’imagerie à une source ponctuelle de lumière. Cette fonction est représentative de l’étalement d’un point lumineux. Pour simplifier, la projection sur une paroi d’une source de lumière apparaît floue et plus diffuse que la source elle-même. Cela est dû à cet étalement naturel de la lumière.

Dans notre exemple, l’objet 10, lorsqu’il est illuminé par les rayons lumineux 22 émis par les photoémetteurs, peut être considéré comme une source de lumière émettant les rayons lumineux réfléchis 21.

Comme illustré sur la , la cartographie d’intensité lumineuse acquise 4, due à la fonction d’étalement du point apparaît floue et diffuse. La déduction de la forme de l’objet est difficile voire impossible à réaliser à partir de cette cartographie d’intensité lumineuse acquise 4.

Or, la fonction d’étalement du point peut être connue. Elle est notamment fonction de propriétés de photoémetteurs et des photodétecteurs, par exemple respectivement de l’angle du cône de diffusion et de détection.

La fonction d’étalement du point est également fonction de la hauteur de la source de lumière. En d’autres termes, la fonction d’étalement du point est différente selon la hauteur de la position de l’objet. Par « hauteur de l’objet », on entendra dans la suite de la description la distance entre l’objet 10 et la surface de détection 2.

La fonction d’étalement du point à une hauteur donnée étant connue, une opération de déconvolution permet de renverser le processus pour retrouver, à partir de la cartographie d’intensité lumineuse 4, une image représentative de la source de lumière et donc de l’objet 10 à détecter.

Sélection de fonctions d’étalement du point

La méthode comprend donc une sélection SEL1 d’au moins deux, de préférence d’une pluralité de fonctions d’étalement du point PSF1, PSF2, PSF3. Chaque fonction d’étalement du point sélectionnée est caractéristique d’une hauteur prédéterminée de l’objet 10 avec la surface de détection 2.

Par exemple, une première fonction d’étalement du point PSF1 peut être caractéristique d’une hauteur (distance entre l’objet 10 et la surface de détection 2) de 5 cm.

Déconvolutions de la cartographie d’intensité lumineuse

Dans une étape, une déconvolution DEC1 de la cartographie d’intensité lumineuse 4 est effectuée par rapport à chaque fonction d’étalement du point sélectionné PSF1, PSF2, PSF3.

Il est donc généré une pluralité d’images déconvoluées D1, D2, D3. Chaque image déconvoluée (appelée aussi déconvolution) est donc une représentation de la source de lumière en admettant que sa distance avec la surface de détection 2 soit la hauteur caractérisant la fonction d’étalement du point utilisée pour l’obtention de ladite déconvolution.

Un exemple de déconvolutions D1, D2, D3 obtenues sont illustrés sur la .

Score de cohérence

Une étape de calcul CALC1 d'un score de cohérence C1, C2, C3 est ensuite effectuée.

Pour chaque image déconvoluée D1, D2, D3, un calcul d'un score de cohérence est effectué. Préférentiellement, ce score de cohérence est représentatif de la cohérence de l’image déconvoluée. En évaluant la cohérence de chaque image déconvoluée et en sélectionnant l’image la plus cohérente, on peut en déduire quelle fonction d’étalement du point est probablement la plus juste et par conséquent, à quelle distance de la surface de détection 2 se trouve le plus probablement l’objet 10.

Une fois les scores C1, C2, C3 calculés, la méthode comprend la détermination DET1 du meilleur des scores calculés.

Dans un mode d’exécution, la hauteur caractéristique de la fonction d’étalement du point utilisée pour générer l’image déconvoluée ayant obtenu le meilleur score est sélectionnée comme la distance Z1 entre l’objet 10 et la surface de détection 2.

Dans un mode d’exécution, la distance Z1 est déterminée à partir de la hauteur prédéterminée de la fonction d’étalement du point ayant permis d’obtenir la déconvolution ayant obtenu le meilleur score de cohérence. Par exemple, la distance Z1 peut être déterminée entre deux hauteurs caractéristiques des deux déconvolutions ayant atteint les deux meilleurs scores.

Dans un autre exemple, un profil continu de score de cohérence peut être généré à partir des scores de cohérence de chaque déconvolution et de la hauteur caractéristique des fonctions d’étalement du point utilisé pour cette déconvolution. La distance Z1 peut alors être déterminée à partir de l’extremum local dudit profil de score de cohérence.

Dans un exemple simplifié, l’image de la cartographie d’intensité lumineuse illustrée sur la est déconvoluée :

- par une première fonction PSF1, caractéristique d’une première hauteur pour obtenir la première image déconvoluée D1 illustrée sur la ;

- par une deuxième fonction PSF2, caractéristique d’une deuxième hauteur pour obtenir la deuxième image déconvoluée D2 illustrée sur la ;

- par une troisième fonction PSF3, caractéristique d’une troisième hauteur pour obtenir la troisième image déconvoluée D3 illustrée sur la .

Parmi ces trois images déconvoluées D1, D2, D3, la deuxième image D2 est la plus cohérente. En effet, les bords nets sont plus cohérents qu’un objet diffus. On peut donc en déduire que la forme de l’objet 10 est sensiblement similaire à celui de la tache lumineuse de la seconde image D2 et/ou que l’objet 10 se trouve à une distance de la surface de détection égale à la seconde hauteur (caractéristique de la seconde fonction d’étalement du point PSF2).

La seconde fonction d’étalement du point PSF2 est illustrée sur la .

Critères utilisés pour le calcul du score de cohérence

Différents critères peuvent être utilisés pour le calcul dudit score de cohérence.

Dans un mode de réalisation, le calcul du score de cohérence comprend un calcul dépendant de la netteté des bords de la tache lumineuse obtenue sur l’image déconvoluée D1, D2, D3. Dans un mode de réalisation, le score de cohérence comprend le calcul d’une variance ou toute autre méthode de calcul statistique.

Dans un mode de réalisation, toute autre méthode de calcul d’un score de cohérence peut être imaginée. Le score de variance peut être un indicateur de qualité de l’image. L’indicateur de qualité peut, par exemple, être généré par un classifieur. Le classifieur est configuré pour recevoir en entrée une image déconvoluée et pour générer en sortie un indicateur de qualité. Préférentiellement, ledit indicateur de qualité généré est associé à ladite image déconvoluée. Le classifieur peut être mis en œuvre par un réseau de neurones entrainé à partir de cartographies d’intensité lumineuse et/ou d’images déconvoluées, chacune associée à un indicateur de qualité. Des exemples de réalisations de réseaux de neurones sont indiqués plus loin dans la description.

Le score de cohérence et/ou l’indicateur de qualité est représentatif d’une probabilité que l’image déconvoluée puisse être similaire à une cartographie d’intensité lumineuse.

Utilisation de transformée de Fourier

Selon un mode de réalisation, l’étape de calcul CALC1 d’un score de cohérence pour chaque image déconvoluée comprend l’application TRF d’une transformée de Fourier.

Le score de cohérence C1, C2, C3, pour chaque déconvolution est alors calculé à partir de la transformée de Fourier T1, T2, T3 de chaque déconvolution. Une telle transformée de Fourier d’une fonction d’étalement du point est aussi appelée « fonction de transfert optique ». Elle permet de déterminer la distribution de l'énergie lumineuse dans l'espace image et/ou de déterminer la distribution de l’énergie lumineuse dans un espace des fréquences spatiales.

Dans un autre mode de réalisation alternatif ou cumulatif, l’étape de déconvolution DEC1 comprend l’application TRF d’une transformée de Fourier de la cartographie d’intensité lumineuse 4. Chaque déconvolution est alors réalisée à partir de la transformée de Fourier de la ladite cartographie d’intensité lumineuse.

L’application d’une transformée de Fourier permet avantageusement de simplifier les calculs du score de cohérence. En effet, le domaine spectral d’une image met en évidence les changements d’intensités lumineuses. Notamment, l’amplitude de la fonction de transfert optique (aussi appelée « fonction de transfert de modulation » permet avantageusement de caractériser la finesse des détails de la tache lumineuse de l’objet. La fonction de transfert optique permet avantageusement de mettre en évidence la distribution des fréquences spatiales dans l’image déconvoluée. Ainsi, plus la distribution spatiale des fréquences est large, plus l’image déconvoluée correspondante comprend des bords nets.

Une transformée de Fourier d’une image déconvoluée peut prendre l’apparence d’un carte 2D dont les intensités sont fonction de la distribution des fréquence ou peut prendre l’apparence d’un graphique comprenant 2 axes en abscisses représentant les deux axes x,y de l’espace de la cartographie d’intensité lumineuse et les fréquences en ordonnées.

Dans un exemple, le score de cohérence est calculé à partir d’une largeur de pic de la transformée de Fourier à une hauteur de pic prédéterminée (par exemple la largeur de pic à mi-hauteur ou la largeur du pic à la base) ou d’une combinaison de plusieurs largeurs du pic à différentes hauteurs prédéterminées. Dans un autre exemple, le score de cohérence peut être calculé à partir des amplitudes de la transformée de Fourier.

D’autres types de transformées peuvent être utilisées en remplacement de la transformée de Fourier pour le calcul du score de cohérence. Par exemple, la transformée de Laplace peut être utilisée pour le calcul du score de cohérence.

Détermination de la forme et des coordonnées de l’objet dans le plan de la surface de détection

Une fois que la déconvolution ayant obtenu le meilleur score a été identifiée, il est possible de déterminer à partir de ladite image, certaines informations supplémentaires sur l’objet 10 à détecter. Par exemple, la forme de l’objet et/ou ses coordonnées spatiales dans le plan de la surface de détection peuvent être estimées à partir de la déconvolution ayant obtenu le meilleur score (notamment à partir de respectivement la forme et/ou des coordonnées spatiales de la tache lumineuse).

La première méthode selon l’invention permet ainsi, à partir d’une surface de détection telle que décrite ci-avant, permet de déterminer la hauteur (et optionnellement la forme et/ou la positon spatiale) d’un objet 10 placé devant ladite surface de détection 2.

Le dispositif électronique 1 selon l’invention comprend des moyens logiciels et/ou matériels pour mettre en œuvre la méthode selon l’invention. Les moyens logiciels peuvent comprendre des processeurs, des unités de calculs, des mémoires (notamment des mémoires non transitoires).

Méthode de génération d’un nuage de points de l’objet

Selon un second aspect, l’invention concerne une seconde méthode 300 de génération d’un nuage de point NP1 représentant un objet 10 situé devant la surface de détection 2 du dispositif 1 selon l’invention.

Motifs d’émission et acquisition d’une cartographie d’intensité lumineuse

La seconde méthode 300 comprend la génération d’un premier motif d’émission P1, notamment par la commande de l’allumage d’un premier ensemble de photoémetteurs de la surface de détection.

Des exemples de plusieurs ensembles de photoémetteurs 31 sont illustrés sur la .

Le premier ensemble de photoémetteurs comprend une sélection de photoémetteurs. Le premier ensemble de photoémetteurs peut comprendre les photoémetteurs situés dans une portion de la surface de détection prédéfinie. Dans un premier exemple, le motif d’émission P1 comprend l’activation d’un ensemble 34 de photoémetteurs formant environ une moitié de la surface de détection 2. Dans un second exemple, le motif d’émission P1 comprend l’activation d’un ensemble de photodétecteurs 31 formant une pluralité de zones 35, 36 séparées les unes des autres. Lesdites zones peuvent être séparées les unes des autres par des zones dont les photoémetteurs ne sont pas activés. Lesdites zones sont préférentiellement séparées les unes des autres par une distance sensiblement égale à une des dimensions de ladite zone. Préférentiellement, lesdites zones forment des formes géométriques telles que des polygones ou des quadrilatères.

Un avantage de tels motifs est de permettre l’illumination de l’objet 10 selon différentes manières. Notamment, l’objet 10 sera plus ou moins illuminé sur ses différentes portions, augmentant ainsi les informations sur l’objet 10 dans les cartographies d’intensité lumineuse.

Préférentiellement, les photoémetteurs de la surface de détection 2 autres que ceux du premier ensemble défini par le motif d’émission ne sont pas activés ou restent éteints lors de la génération du premier motif d’émission P1 ou lors de l’allumage de l’ensemble de photoémetteurs selon le premier motif d’émission.

Dans un mode de réalisation, un motif d’émission peut comprendre l’extinction de tout les photoémetteurs. Un tel motif d’émission permet avantageusement de mesurer le bruit environnant détectable par les photodétecteurs. Dans un mode de réalisation, la cartographie d’intensité lumineuse obtenue est utilisée comme filtre pour le traitement des cartographies d’intensité lumineuse obtenues ultérieurement. Un tel filtrage permet avantageusement d’obtenir un meilleur rapport signal sur bruit.

Dans un mode de réalisation, le dispositif électronique 1 comprend une mémoire, préférentiellement une mémoire non-transitoire. Une bibliothèque ou une base de données comprenant une pluralité de motifs P1, P2 différents est enregistrée sur ladite mémoire.

Dans un mode de réalisation, la mémoire est connectée à un processeur et/ou aux moyens de contrôle de l’activation des photoémetteurs. Les moyens de contrôle de l’activation (ou l’allumage) des photoémetteurs est configuré pour activer les photoémetteurs en fonction du motif d’émission sélectionné.

La seconde méthode comprend une acquisition ACQU1 d’une cartographie d’intensité lumineuse similaire à celle de la première méthode 200. Préférentiellement, l’acquisition est réalisée simultanément à l’allumage des photoémetteurs 31 selon le premier motif d’émission P1.

Préférentiellement, la cartographie d’intensité lumineuse acquise 41 est associée à un label comprenant des indications permettant d’identifier le premier motif d’émission P1 généré pour acquérir ladite cartographie d’intensité lumineuse 41.

Fonction de construction

La seconde méthode 300 comprend en outre la génération d’un nuage de point NP1 de l’objet 10 situé devant la surface de détection 2. Ledit nuage de point est généré à partir de ladite cartographie d’intensité lumineuse acquise 41 et à partir du premier motif d’émission P1 mise en œuvre pour l’acquisition de ladite cartographie 41. Le nuage de point généré NP1 est une représentation dudit objet 10 placé devant la surface de détection.

Cette étape de génération d’un nuage de points NP1 est mise en œuvre par une fonction de construction FCT1. La fonction FCT1 est conçue pour recevoir en entrée au moins une cartographie d’intensité lumineuse 41 et un motif d’émission P1 associé à ladite cartographie 41. La fonction FCT1 est conçue pour, en sortie, générer un nuage de points NP1 représentant l’objet 10 placé devant la surface de détection 2 pendant l’étape d’acquisition ACQU1. Préférentiellement, la fonction de construction génère un nuage de points NP1 de l’objet 10 dans un référentiel comprenant la surface de détection 2. Un avantage est de reproduire un nuage de points représentatif de l’objet 10 et comprenant des informations de distance et d’orientation par rapport au plan de détection.

La fonction de construction FCT1 est préférentiellement mise en œuvre par un calculateur du dispositif électronique 1 selon l’invention. Une mémoire, connectée audit calculateur, peut comprendre des informations de code pour exécuter ladite fonction de construction FCT1 lorsqu’elle est mise en œuvre par le calculateur ou par le dispositif électronique 1.

Dans un mode de réalisation, la fonction de construction génère un nuage de points NP1 pour chaque jeu de cartographies d’intensité lumineuse acquises, préférentiellement en temps réel.

Pluralité de motifs d’émission

Selon un mode de réalisation, la seconde méthode 300 comprend l’acquisition ACQU2 d’une seconde cartographie d’intensité lumineuse 42.

La seconde méthode comprend alors une génération MOT2 d’un second motif d’émission P2 par la commande de l’allumage d’un second ensemble de photoémetteurs différent du premier ensemble du premier motif d’émission.

L’acquisition ACQU2 de la seconde cartographie d’intensité lumineuse 42 est réalisée simultanément à la génération du second motif MOT2 d’émission pour permettre d’acquérir l’intensité lumineuse émise par le second motif P2 et réfléchie par l’objet 10 pour lequel on souhaite générer un nuage de points NP1.

Ladite seconde cartographie d’intensité lumineuse 42 peut être associée au second motif d’émission P2 différent du premier motif P1. Alternativement, la seconde cartographie d’intensité lumineuse 42 est associée à un label comprenant des données d’identification du second motif d’émission P2.

Dans un mode de réalisation, la méthode comprend l’acquisition d’une pluralité de cartographies d’intensité lumineuse, chacune effectuée simultanément à la génération d’un motif d’émission par la commande de l’allumage d’un ensemble de photoémetteurs de la surface de détection différente des ensembles caractérisant les autres motifs d’émission.

Ladite seconde acquisition ACQU2 est réalisée dans un laps de temps très court de la première acquisition ACQU1.

Préférentiellement, la seconde acquisition ACQU2 et la première acquisition ACQU1 sont toutes deux réalisées dans une période de temps inférieure à 5 ms, très préférentiellement inférieure à 500 µs.

Préférentiellement, la pluralité de cartographies d’intensité lumineuse acquises formant un jeu de cartographies d’intensité lumineuse sont toutes acquises dans une période de temps inférieure à 10 ms, très préférentiellement inférieure à 4 ms.

L’avantage est d’obtenir deux cartographies d’intensité lumineuse ou un jeu de cartographies d’intensité lumineuse du même objet 10 n’ayant pas eu le temps de bouger. Ainsi, l’invention permet avantageusement de générer une pluralité de nuage de points NP1 de l’objet au cours du temps. La comparaison des nuages de points successifs permet de suivre le mouvement dudit objet comme expliqué plus loin.

Ces cartographies d’intensité lumineuse en temps réel acquises selon différents motifs d’émissions peuvent être regroupées dans un jeu de cartographies d’intensité lumineuse. Un jeu de cartographies d’intensité lumineuse comprend deux ou une pluralité de cartographies d’intensité lumineuse acquises dans un intervalle de temps très court (inférieur à 10 ms ou inférieur à 4 ms) et à partir de différents motifs d’émission P1, P2. Ce jeu de cartographies d’intensité lumineuse permet avantageusement à la fonction de construction FCT1 décrite ci-après de générer un nuage de points NP1 de l’objet 10 de manière plus fiable et plus précise.

En effet, la prise de plusieurs cartographies d’intensité lumineuse avec des motifs d’émission différents permet de fournir plus d’informations sur l’objet 10 à détecter. La résolution et la fiabilité du nuage de point NP1 généré s’en retrouvent par conséquent avantageusement amélioré.

Dans un mode de réalisation, la fonction de construction génère un nuage de points NP1 pour chaque jeu de cartographies d’intensité lumineuse acquises, préférentiellement en temps réel.

Simulation et génération d’une image

Maintenant sont décrits différents modes d’exécution de la fonction de construction FCT1. Dans un but de clarté, ces différents modes sont appelés première, deuxième et troisième fonction de construction FCT1.

La première fonction de construction FCT1 comprend la détermination d’un nuage de points NP1 par une fonction de minimisation d’images obtenues à partir de la simulation des rayons lumineux réfléchis par l’objet 10.

La première fonction de construction comprend alors la sélection d’un premier nuage de point candidat NP0. Ce premier nuage de point candidat peut représenter une première estimation de l’objet 10.

Ce premier nuage de points candidat NP0 est utilisé pour réaliser une simulation d’acquisition d’une cartographie d’intensité lumineuse.

Une simulation d’émission de rayons lumineux par le premier ensemble de photodétecteurs du premier motif d’émission P1 est réalisée.

Le nuage de point candidat NP0 est utilisé pour simuler un objet 10 virtuel candidat. La simulation SIM1 comprend ainsi la simulation de la lumière émise par une surface de détection selon le premier motif d’émission et réfléchie par une surface formée par ledit nuage de points candidats NP0. La simulation comprend enfin la détermination de l’intensité lumineuse détectée par chaque photodétecteur, notamment l’intensité lumineuse issue des rayons réfléchis par l’objet 10.

Une première image 411 est alors réalisée. La première image est préférentiellement réalisée en fonction de la position et de l’intensité lumineuse reçue par chaque photodétecteur lors de la simulation d’un premier motif d’émission.

Dans un mode de réalisation, la simulation comprend la simulation d’un environnement virtuel comprenant une surface de détection virtuelle similaire à la surface de détection du dispositif électronique. Notamment, la surface de détection virtuelle reproduit l’agencement des photoémetteurs et des photodétecteurs de la surface de détection du dispositif électronique 1. Chaque photoémetteur et chaque photodétecteur de la surface de détection du dispositif électronique 1 a un équivalent sur la surface de détection virtuelle.

Préférentiellement, les propriétés optiques et les propriétés de détection des photoémetteurs et des photodétecteurs de la surface de détection du dispositif électronique 1 sont reproduites par la surface de détection virtuelle.

La réalisation de la première image 411 est donc, en d’autres termes, une simulation d’une cartographie lumineuse qui aurait été générée si le premier nuage de points candidat NP0 est une reproduction fidèle de l’objet 10 à détecter.

La simulation SIM1 comprend donc préférentiellement une simulation d’émission de lumière par les photodétecteurs du premier ensemble, la réflexion de ces rayons lumineux sur le premier nuage de points candidat NP0, et la génération GEN1 de la première image 411 à partir des rayons lumineux réfléchis simulés et de la simulation de leur détection par les photodétecteurs.

Dans le mode de réalisation où une deuxième cartographie d’intensité lumineuse 42 est acquise à partir d’un deuxième motif d’émission P2, une seconde image 421 est générée de la même manière sur la base d’une simulation SIM2 à partir dudit second motif d’émission P2 et du même premier nuage de point candidat.

Dans le mode de réalisation où une pluralité de cartographies d’intensité lumineuses est générée sur la base d’une pluralité de motifs lumineux, une pluralité d’images est générée, chacune de ces images est générée de la même manière sur la base d’une simulation à partir d’un motif d’émission différent.

Comparaison de l’image générée et de la cartographie

La première fonction de construction FCT1 comprend optionnellement une étape de comparaison.

La comparaison COMP1 comprend la comparaison de l’image générée 411 avec la cartographie d’intensité lumineuse 41 acquise. Notamment, la comparaison COMP1 comprend la comparaison de l’image générée 411 à partir du premier motif d’émission P1 utilisé pour acquérir la première cartographie d’intensité lumineuse 421.

Dans un mode de réalisation, la comparaison COMP1 comprend la génération d’un indicateur de comparaison V1. L’indicateur de comparaison V1 est généré en fonction de ladite opération de comparaison. Dans un mode de réalisation, la comparaison comprend la comparaison des intensités de chaque pixel de l’image générée 421 avec celle des pixels correspondants de la cartographie d’intensité lumineuse acquise 41.

Dans le mode de réalisation où une seconde cartographie d’intensité lumineuse 42 est acquise, une seconde comparaison COMP2 est réalisée entre ladite seconde cartographie d’intensité lumineuse 42 et la seconde image générée à partir du second motif d’émission P2. Un second indicateur de comparaison V2 est ainsi généré. De manière alternative, un unique indicateur de comparaison V0 est généré en fonction de la première V1 et de la seconde comparaison V2.

Dans le cas où une pluralité de cartographies lumineuses est acquise dans la période de temps décrite ci-dessus, la première fonction de construction FCT1 peut comprendre une pluralité comparaisons. Chaque comparaison comprend la comparaison d’une cartographie d’intensité lumineuse acquise avec une image générée à partir du même motif d’émission que celui utilisé pour l’acquisition de ladite cartographie d’intensité lumineuse.

Minimisation du résultat de la comparaison en faisant varier le nuage de point

Le résultat V1, V2 de la ou des étapes de comparaison, est ensuite utilisé pour la réalisation d’une étape de minimisation dudit résultat. Ledit résultat peut comprendre le ou les indicateurs de comparaison.

Lorsque que le résultat V1 de la comparaison est inférieur ou supérieur à une valeur cible prédéterminée, la ou les images générées 422, 421 sont considérées comme suffisamment proches de la ou des cartographies d’intensité lumineuse acquises et le nuage de points candidat est considéré comme étant suffisamment proche de la réalité. Dans ce cas, la fonction de construction FCT1 génère un nuage de point NP1 dudit objet 10 égal au nuage de points candidat NP0. Dans un mode alternatif, le nuage de points NP1 généré est fonction du nuage de points candidat NP0 et du résultat de la comparaison V1.

Lorsque le résultat de la comparaison n’atteint pas une valeur cible prédéterminée, une étape de minimisation du résultat V1 de la comparaison est préférentiellement effectuée.

Un mode d’exécution de l’étape de minimisation MIN1 est maintenant décrit. Dans ce mode, la minimisation comprend la sélection d’un nouveau nuage de points candidat Δnp. Une nouvelle étape de simulation SIM11 et de génération GEN11 d’une image 412 sont effectuées de la même manière que décrit précédemment, cette fois sur la base du nouveau nuage de points candidat Δnp.

Une nouvelle étape de comparaison COMP11 est ensuite effectuée en comparant ladite nouvelle image 412 générée et la cartographie d’intensité lumineuse 41 acquise avec le même motif d’émission P1.

Un nouveau résultat de la comparaison V11 est généré à partir de la nouvelle étape de comparaison COMP11.

Si le nouveau résultat de la comparaison V11 n’atteint toujours pas la valeur cible prédéterminée, une nouvelle boucle (sélection d’un nouveau nuage de points candidat, simulation, génération d’une nouvelle image, comparaison entre la nouvelle image et la cartographie d’intensité lumineuse acquise) peut être générée.

Dans un mode d’exécution, la sélection d’un nouveau nuage de points candidat Δnp est fonction du résultat de la comparaison précédente.

L’étape de minimisation du résultat de la comparaison s’effectue en faisant varier le nuage de points candidat NP0, Δnp.

Préférentiellement, l’étape de minimisation comprend une étape de descente en gradient. La sélection d’un nouveau nuage de points candidat Δnp peut être réalisée de manière à ce que la variation entre le nouveau nuage de points candidat Δnp et le précédent nuage de points candidats NP0 soit fonction de l’écart entre le résultat de la comparaison et la valeur cible prédéterminée.

La méthode de descente de gradient effectue donc de manière itérative la génération de nouveaux nuages de points candidats Δnp pour minimiser le résultat de la fonction de comparaison entre l’image générée à partir d’un nuage de points candidat et la cartographie d’intensité lumineuse acquise.

Dans le mode où deux ou plusieurs cartographies d’intensité lumineuse sont acquises, la méthode de descente de gradient effectue donc de manière itérative la génération de nouveaux nuages de points candidats Δnp pour minimiser le résultat de la fonction de comparaison entre chaque image générée et la cartographie d’intensité lumineuse acquise à partir du même motif d’émission.

Une fois que le résultat de la fonction de comparaison atteint une valeur cible prédéterminée ou une fois que la fonction de comparaison atteint un extremum, le nuage de points NP1 de l’objet 10 est généré en fonction du nuage de points candidat pour lequel la fonction de comparaison a atteint respectivement la valeur cible ou ledit extremum.

Dans un mode d’exécution, le premier nuage de points candidat NP0 est sélectionné parmi un nuage de points préenregistré. Selon un autre mode, le premier nuage de points prédéterminé est généré à partir d’un (préférentiellement le dernier) nuage de point NP1 de l’objet généré par la seconde méthode ou par la fonction de construction FCT1 antérieurement, préférentiellement lors de la période de temps précédente. En effet, si l’objet 10 n’a que peu bougé entre les deux acquisitions successives ou entre deux périodes de temps successives, on peut considérer que le dernier nuage de points NP1 peut servir de base pour la génération du nouveau nuage de points NP2.

Dans un autre mode d’exécution, le premier nuage de points candidat NP0 est généré en fonction de la forme de l’objet 10 et/ou ses coordonnées spatiales déterminées par la première méthode selon l’invention.

Réseau de neurones

Il est maintenant décrit un mode d’exécution alternatif de la fonction de construction FCT1, appelé ici seconde fonction de construction dans lequel ladite seconde fonction de construction est une fonction apprenante ou est mise en œuvre au moyen d’une telle fonction apprenante.

La fonction apprenante est préférentiellement entraînée par une série de cartographies d’intensité lumineuse. Dans un exemple, la fonction apprenante a été configurée à partir d’un apprentissage comprenant la soumission de la seconde fonction de construction d’une pluralité de cartographies d’intensité lumineuse (optionnellement acquises par un dispositif similaire au dispositif électronique selon l’invention), chaque cartographie d’intensité lumineuse étant associée à un premier label représentant un nuage de points représentant l’objet 10 ayant permis d’obtenir ladite cartographie d’intensité lumineuse. Préférentiellement, le label peut comprendre également des informations caractéristiques de la prise méthode d’acquisition ayant permis d’obtenir la cartographie d’intensité lumineuse associée. Par exemple, le premier label peut comprendre une information représentant le motif d’émission utilisé pour l’acquisition de ladite cartographie d’intensité lumineuse. Cette information peut alternativement être comprise dans un second label associé à chaque cartographie d’intensité lumineuse.

Dans un mode de réalisation, l’étape de génération d’un nuage de point NP1 de l’objet 10 comprend la génération d’un score de correspondance pour une pluralité de nuages de points candidats. Le score de correspondance peut comprendre une probabilité que le nuage de points candidat soit compatible avec la cartographie d’intensité lumineuse acquise. L’exécution de la seconde fonction de construction comprend alors la sélection du nuage de points candidat pour lequel le score de correspondance est le meilleur.

Dans un mode de réalisation, la fonction apprenante génère un nuage de points NP1 pour chaque jeu de cartographies d’intensité lumineuse acquises, préférentiellement en temps réel.

Dans un mode de réalisation, la seconde fonction de construction est mise en œuvre au moyen d’un réseau de neurones entraîné par une série de jeux de cartographies d’intensité lumineuse labellisées. L’avantage d’une telle seconde fonction de construction est qu’elle permet la génération d’un nuage de points NP1 de l’objet à partir d’un entraînement à partir de cartographies d’intensité lumineuse labellisées.

Dans un exemple, le réseau de neurones est un réseau neuronal convolutif, dit CNN ou Convet.

Selon un mode de réalisation, la configuration du réseau de neurones CNN peut comprendre :

• Des convolutions ou des couches de réseau de neurones comportant une pluralité de multiplications de matrices comportant des coefficients de pondération obtenus à partir d’un procédé d’apprentissage ;
• des opérations non-linéaires.

Selon un mode de réalisation, la configuration du réseau de neurones CNN comprend en entrée(s) des cartographies d’intensité lumineuse acquises ou reçues ou stockées dans une mémoire. Préférentiellement, chaque cartographie d’intensité lumineuse acquise ou reçue est associée au motif d’émission utilisé pour son acquisition.

Le réseau de neurones CNN peut comprendre dans ses premières couches des convolutions puis des couches de neurones entièrement connectées, dites « fully connected layers » à la fin du modèle. Dans ce dernier cas, ce sont des neurones connectés à tous les neurones de la couche précédente et connectés à tous ceux de la couche suivante.

Les couches de convolutions peuvent comprendre un balayage d’une matrice d’entrée produisant une série de calculs matriciels. Les autres couches du réseau de neurones comprennent, elles, généralement, des calculs matriciels sur la taille de la matrice d’entrée.

Selon un exemple, chaque convolution comprend un produit de matrice entre une matrice d’entrées et une matrice de poids et la prise en compte d’un biais additionnel.

L’application d’un traitement par couches successives au sein du réseau de neurones CNN comprend l’application d’une série de multiplications matricielles qui sont suivies d’une fonction non linéaire pour produire une sortie de ladite couche. La succession de ces opérations définit la profondeur du réseau de neurones.

Selon un exemple de réalisation, le réseau de neurones est un perceptron multicouche, connu sous l’acronyme MLP et dans la terminologie anglo-saxonne par « multi-layers perceptron ». Selon un exemple, le réseau de neurones peut être un réseau équivalent au MLP.

Selon un autre exemple, le réseau de neurones est un réseau de neurones récurrent. Préférentiellement, l’architecture du réseau de neurones est une mémoire à long-court terme (connu sous l’acronyme « LSTM » pour « Long Short-Therm Memory » en anglais). Ce type d’architecture possède des connexions de rétroaction. Une unité LSTM peut comprendre une cellule, une porte entrée, une porte de sortie, et une porte d’oubli. Les trois portes régulent le flux d’informations entrant et sortant de ladite cellule. Selon un exemple, le réseau de neurones peut être un équivalent au LSTM.

Dans un mode de réalisation, une cellule du réseau de neurones reçoit des premières données d’entrées et génère des premières données de sorties. Les premières données d’entrées et de sorties sont alors enregistrées dans une mémoire (préférentiellement une mémoire non-transitoire). Lors de la réception de nouvelles données d’entrées, de nouvelles données de sorties sont générées. Ces nouvelles données de sorties peuvent être générées en fonction des nouvelles données d’entrées et des données enregistrées dans la mémoire (c’est-à-dire des premières données d’entrées et de sorties précédentes). Par « cellule », on entend également une couche ou un bloc d’un réseau de neurones.

Dans un mode de réalisation, à chaque génération de données de sorties, lesdites données de sorties et les données d’entrées utilisées pour les générer sont horodatées avant d’être enregistrées dans la mémoire.

Le réseau de neurones récurrent, lors de la réception de nouvelles données d’entrées, génère de nouvelles données de sorties en fonction des nouvelles données d’entrées et en fonction des données enregistrées et de leur horodatage.

Un avantage est d’améliorer la vitesse et la précision des données de sorties (par exemple, du nuage de points NP1 généré). En effet, lors de la génération en temps réel d’un nuage de points, on peut prendre l’hypothèse que la forme et la position de l’objet 10 sont très proches de ceux de l’itération précédente. Un tel réseau de neurones améliore avantageusement la vitesse de calcul et la précision du nuage de points généré NP1.

Dans un mode de réalisation, chaque cartographie d’intensité lumineuse acquise est horodatée. L’horodatage peut être utilisé par la fonction de construction pour générer un nuage de points NP1 avec un nuage de points généré dont l’horodatage est le plus proche de l’horodatage de la cartographie d’intensité lumineuse acquise.

Utilisation d’une bibliothèque

La troisième fonction de construction comprend l’utilisation d’une base de données de cartographies d’intensité lumineuse acquises. Préférentiellement, ladite base de données est enregistrée sur un support lisible pour ordinateur tel qu’une mémoire, préférentiellement une mémoire non-transitoire. Dans un mode de réalisation, chaque cartographie d’intensité lumineuse de la base de données est associée à un label comprenant un nuage de point candidat ayant été utilisé pour l’acquisition de ladite cartographie d’intensité lumineuse associée. Préférentiellement, chaque cartographie d’intensité lumineuse de la base de données est associée à un second label comportant des informations représentant le motif d’émission utilisé pour l’acquisition de ladite cartographie d’intensité lumineuse associée.

La mise en œuvre de la troisième fonction de construction comprend la réception de la cartographie d’intensité lumineuse acquise 41 et de son motif d’émission P1 associée et/ou la réception du jeu de cartographies d’intensité lumineuse acquises.

La mise en œuvre de la troisième fonction peut comprendre une comparaison de la cartographie d’intensité lumineuse acquise avec les cartographies d’intensité lumineuse de la base de données associées au même motif d’émission que la cartographie d’intensité lumineuse acquise. Un score de correspondance peut être calculé pour chaque comparaison effectuée et la cartographie d’intensité lumineuse de la base de données ayant obtenu le meilleur score de correspondance peut être sélectionnée. Le nuage de points NP1 peut alors être généré en fonction du nuage de points candidat associé à ladite cartographie d’intensité lumineuse de la base de données sélectionnée.

Dans un mode de réalisation, les cartographies d’intensité lumineuse acquises de la base de données sont regroupées par groupes de cartographies d’intensité lumineuse. Préférentiellement, chaque groupe comprend des cartographies d’intensité lumineuse partageant le même nuage de point candidat.

Lorsqu’un jeu de cartographie d’intensité lumineuse est acquis, ledit jeu peut être comparé avec des jeux de cartographies d’intensité lumineuse de la base de données. Préférentiellement, chaque cartographie d’intensité lumineuse acquise est comparée avec la cartographie d’intensité lumineuse du groupe de la base de données associée au même motif d’émission que la cartographie d’intensité lumineuse acquise.

Préférentiellement, un score de correspondance est calculé pour chaque groupe de cartographie d’intensité lumineuse de la base de données. Le score de correspondance peut être fonction de la comparaison de chaque cartographie d’intensité lumineuse acquise. Le groupe de cartographies d’intensité lumineuse de la base de données peut ensuite être sélectionné.

Le nuage de points NP1 peut alors être généré en fonction du nuage de points candidat associé au groupe de cartographies d’intensité lumineuse de la base de données sélectionnée.

Générations successives d’un nuage de point de l’objet

Selon un autre aspect, l’invention concerne une méthode de suivi du mouvement d’un objet 10 placé devant la surface de détection 2.

Ladite méthode de suivi comprend une première génération d’un nuage de points NP1 dudit objet 10 devant la surface de détection 2. Préférentiellement, au moins une des méthodes décrites ci-avant est utilisée pour l’acquisition d’un tel nuage de points NP1.

La méthode comprend une seconde génération d’un second nuage de points NP2 dudit objet 10. Préférentiellement, au moins une des méthodes décrites ci-avant est utilisée pour l’acquisition d’un tel nuage de points NP2.

Le premier nuage de points NP1 est préférentiellement généré à partir d’au moins une cartographie d’intensité lumineuse acquise à première date. Le second nuage de points NP2 est préférentiellement généré à partir d’au moins une cartographie d’intensité lumineuse acquise à seconde date différente de la première date, préférentiellement postérieure à la première date.

Préférentiellement, la méthode comprend l’acquisition de cartographies d’intensité lumineuse de manière continue et la génération de nuages de points NP1, NP2 en temps réel à partir desdites cartographies d’intensité lumineuse acquises.

Par « de manière continue », on entend que la fréquence d’acquisition et la fréquence de génération de nuage de points de l’objet 10 sont suffisamment élevées pour autoriser le suivi du mouvement dudit objet. Préférentiellement, la méthode comprend l’acquisition d’une cartographie d’intensité lumineuse ou d’un jeu de cartographies d’intensité lumineuse tel que décrit précédemment à une fréquence supérieure ou égale à 100 par seconde.

Traitement du nuage de points

À partir des au moins deux nuages de points générés de l’objet 10 ou à partir d’une pluralité de nuages de points successifs de l’objet, un paramètre de mouvement IC peut être généré.

Dans un mode de réalisation, un calculateur du dispositif électronique 1 comprend des moyens logiciels pour la mise en œuvre d’une étape de traitement nuages de points NP1, NP2 de l’objet 10.

Dans un mode de réalisation simplifié de l’invention, un calculateur du dispositif électronique permet de détecter des mouvements simples et/ou des positions simples et/ou des vitesses de déplacement de la main. C’est le cas pour des mouvements simples par exemple d’un bras allant de la gauche vers la droite ou de haut en bas par rapport à la surface de détection 2.

Dans un mode de réalisation enrichi de l’invention, le calculateur du dispositif électronique est configuré pour détecter des postures de la main, des mouvements des doigts ou des gestes complexes comportant une séquence de mouvements enchaînés. Le mode de réalisation enrichi peut comprendre également une détection selon le mode simplifié. Les deux modes de réalisation peuvent se combiner.

Selon un mode de réalisation, le traitement du nuage de points NP1, NP2 généré permet d’aboutir à la génération d’une image comprenant au moins des points d’intérêt de l’utilisateur.

Dans un mode de réalisation, le dispositif électronique comprend un module de traitement des nuages de points générés. Le module de traitement génère au moins une deuxième image ou un deuxième nuage de points comprenant des points d’intérêts ou de régions d’intérêts extraits du nuage de points généré. Il peut s’agir par exemple d’extrémité d’un membre telles les extrémités des droits, des points d’articulation, des contours de forme, etc.

Génération d’un paramètre de mouvement

À partir des au moins deux nuages de points générés de l’objet 10 ou à partir d’une pluralité de nuages de points successifs de l’objet, un paramètre de mouvement peut être généré 400.

Dans un mode de réalisation, la détermination d’un paramètre de mouvement IC comprend la détection d’au moins un type de mouvement d’un utilisateur à partir des nuages de points NP1, NP2 de l’objet 10 générés.

Préférentiellement, la détection d’un type de mouvement d’un utilisateur comprend une détection d’un mouvement de la main d’un utilisateur. La détection d’un mouvement est réalisée à partir des nuages de points NP1, NP2 de l’objet 10 générés par le dispositif électronique 1.

Par « à partir des nuages de points NP1, NP2 de l’objet 10 générés », on inclut ici les nuages de points NP1, NP2 brutes telles qu’ils ont été générés par le dispositif électronique 1 ainsi que des images 3D générées par le traitement de ces nuages de points, par exemple à partir de la génération de point d’intérêts. On inclut également toute image en deux dimensions ou toute carte de profondeur.

Préférentiellement, les différents types de mouvement sont listés dans une bibliothèque. Le calculateur peut alors opérer une opération de fitting ou une opération de régression analytique pour déterminer un type de mouvement particulier à partir des images capturées.

Les figures 13A à 13I illustrent des exemples de types de mouvement de la main. Ces types de mouvements sont reconnaissables par un calculateur. Le calculateur génère un paramètre de mouvement IC à partir du type de mouvement détecté.

Des exemples de types de mouvement de la main peuvent comprendre un mouvement de rotation du poignet poing fermé ( ), une rotation de la main selon un axe longitudinal de l’avant-bras ( ), selon un axe un perpendiculaire à l’axe longitudinal de l’avant-bras ( et ). Un autre exemple de type de mouvement peut comprendre un déplacement transversal de la main (figures 13I, 13H et 13G) par rapport à la surface de détection 2, c’est-à-dire un déplacement ayant une composante non nulle dans une direction parallèle au plan de la surface de détection 2.

Le type de mouvement peut aussi dépendre de la position et/ou du mouvement des articulations des doigts. Par exemple, le type de mouvement peut être différent si le geste de rotation du poignet est effectué main ouverte ou main fermée. Certains types de mouvements peuvent être associés à des gestes connus de personnalités dans le monde musical ou dans le monde audiovisuel. Un autre exemple de type de mouvement illustré sur la peut comprendre une fermeture des doigts de la main les doigts tendus. Un autre exemple de type de mouvement peut comprendre une oscillation de la main de manière à reproduire le mouvement d’une vague, tel que représenté à la .

Le type de mouvement peut aussi être fonction de la direction du geste. Par exemple, un geste de déplacement en translation de la main peut être discriminé en fonction du plan et/ou de la direction de translation. Par exemple sur la , la translation est effectuée selon l’axe perpendiculaire à la paume de la main. La et la illustrent un mouvement de translation de la main dans le même plan parallèle au plan de la surface de détection. Un dans la direction perpendiculaire à la direction longitudinale des doigts ( ) et l’autre dans une direction parallèle à la direction longitudinale des doigts ( ). Dans un autre exemple, une rotation du poignet peut être détectée dans le plan. Ces figures

Préférentiellement, le paramètre de mouvement IC comprend également la détermination de la vitesse et/ou de l’amplitude du mouvement.

Préférentiellement, le paramètre de mouvement IC est déterminé au moins à partir de l’écart entre deux nuages de points acquis successivement. Dans un autre mode de réalisation, le paramètre de mouvement IC est déterminé au moins à partir de l’écart entre des points d’intérêts et/ou des régions d’intérêts entre au moins deux nuages de points générés successivement.

Dans un mode de réalisation alternatif, le paramètre de mouvement IC est calculé à partir des coordonnées de l’objet 10 calculées par la méthode selon le premier aspect de l’invention, c’est-à-dire à partir de ses coordonnées spatiales X1, Y1, Z1 par rapport à la surface de détection 2. Préférentiellement, le paramètre de mouvement IC est calculé à partir de la variation des coordonnées spatiales X1, Y1, Z1 de l’objet 10 entre au moins deux acquisitions.

Utilisation du paramètre de mouvement sur un dispositif d’affichage

Comme vu précédemment, le dispositif électronique peut comprendre un écran d’affichage.

Dans un mode de réalisation, un paramètre de mouvement IC peut commander l’affichage dudit écran.

Dans premier un exemple, l’affichage de l’écran comprend l’affichage d’un pointeur et le déplacement dudit pointeur est commandé à partir des paramètres de mouvement détectés. Par exemple, le dispositif peut être configuré pour que la détection d’un type de mouvement prédéterminé de la main provoque un déplacement du pointeur ou la sélection d’un objet numérique sur lequel le pointeur est positionné.

Dans un second exemple, le dispositif électronique peut être configuré pour que la détection d’un paramètre de mouvement prédéterminé déclenche la commande d’une fonction d’agrandissement (« zoom ») ou de rétrécissement (« dézoom ») d’un objet numérique affiché sur l’écran.

Un avantage est de permettre le contrôle de l’interface d’affichage de l’écran par les mouvements de la main sans avoir besoin de toucher l’écran, fournissant ainsi une véritable alternative aux écrans tactiles traditionnels.

Dans un troisième exemple illustré sur la , le dispositif électronique peut être configuré pour afficher sur un écran 3 une interface utilisateur S3, S2, S1. Une interface utilisateur peut comprendre des zones de commandes 140 (telles que des boutons virtuels) qui, s’ils sont sélectionnés, activent le lancement d’un programme préenregistré (lancement d’une application, de l’extinction du dispositif, augmentation du volume, …).

Préférentiellement, une pluralité d’interfaces utilisateur S1, S2, S3 sont préenregistrés dans un mémoire du dispositif électronique 1. Dans un mode de réalisation, une interface utilisateur S2 est sélectionnée pour être affichée sur l’écran 3 du dispositif électronique.

La sélection d’une interface utilisateur S2 parmi la pluralité d’interfaces est réalisée en fonction du paramètre de mouvement IC et/ou en fonction de la distance déterminée Z1 entre la surface de détection 2 et l’objet 10. Dans l’exemple illustré sur la , chaque interface utilisateur S1, S2, S3 préenregistrée est associée à une distance prédéterminée M1, M2, M3. La distance déterminée Z1 entre la surface de détection 2 et l’objet 10 est comparée auxdites distances prédéterminées M1, M2, M3. Par exemple, une interface utilisateur dont la distance prédéterminée associée est la plus proche de la distance Z1 est sélectionnée. Une fois sélectionnée, l’interface utilisateur S2 est affichée sur l’écran 3 du dispositif électronique.

Dans un autre mode de réalisation, chaque interface utilisateur est associée à une distance prédéterminée et à un paramètre de mouvement prédéterminé. Dans ce cas, la sélection d’une interface est réalisée en fonction de la distance déterminée Z1 entre la surface de détection 2 et l’objet 10 et en fonction du paramètre de mouvement généré par la méthode selon l’invention décrite précédemment.

Un premier avantage est de permettre le contrôle de l’interface d’affichage de l’écran par les mouvements de la main sans avoir besoin de toucher l’écran, fournissant ainsi une véritable alternative aux écrans tactiles traditionnels. Un second avantage est de permettre à l’utilisateur de naviguer plus rapidement et facilement entre différentes interfaces utilisateur en faisant simplement varier la distance entre son doigt et la surface de détection.

Selon un autre aspect, l’invention concerne un procédé d’affichage d’une interface utilisateur sur l’écran d’un dispositif électronique selon l’invention. Ledit procédé comprend la détermination d’une distance Z1 entre la surface de détection 2 du dispositif électronique et un objet 10 ; la fourniture d’une base de données dans laquelle est enregistrée une pluralité d’interfaces utilisateur différentes, chaque interface utilisateur étant associée à une distance prédéterminée différente des autres. L’interface utilisateur à afficher est sélectionnée par comparaison entre la distance déterminée Z1 et les distances prédéterminées associées aux interfaces utilisateur préenregistrées. Le procédé comprend enfin l’affichage de l’interface utilisateur sélectionnée.

Dans un mode d’exécution, le procédé comprend en outre la détermination d’un paramètre de mouvement IC et chaque interface utilisateur préenregistrée est associée à une combinaison d’une distance prédéterminée et d’un paramètre de mouvement. Dans ce cas, l’interface utilisateur à afficher est sélectionnée par comparaison entre la distance déterminée Z1 et le paramètre de mouvement IC généré selon l’invention et la combinaison associée à chaque interface utilisateur préenregistrée.

Dans un mode de réalisation, le paramètre de mouvement peut être remplacé par un paramètre de pose. Le paramètre de pose peut être déterminé à partir d’un nuage de point NP1 généré. Le paramètre de pose peut être généré à partir de la forme du nuage de points NP1 et/ou de son orientation. Un avantage est de pouvoir fournir au dispositif électronique des éléments de commande par la forme de la main placée au-dessus de la surface de détection, par exemple en fermant ou ouvrant le poing ou en pointant un ou plusieurs doigts ou encore en faisant varier la direction d’un doigt par rapport au plan de la surface de détection 2.

Mise en œuvre des procédés selon l’invention par le dispositif électronique

Le dispositif selon l’invention comprend au moins une unité de calcul. La au moins une unité de calcul 11, 12, 13, 14 est en communication avec les photodétecteurs 31 et/ou avec les photoémetteurs. Cette communication permet avantageusement à l’unité de calcul de traiter les signaux générés par les photodétecteurs 33 pour traiter les mesures faites par ces photodétecteurs. Cette communication permet également avantageusement de contrôler l’activation des photoémetteurs 31. Par activation, on entend l’allumage ou l’extinction d'un photoémetteur, c’est-à-dire l’émission ou non de lumière par le photodétecteur. Dans un mode de réalisation la au moins une unité de calcul 11, 12, 13, 14 est connecté aux moyens de contrôle des photoémetteurs et/ou est connecté à des moyens d’enregistrement des signaux générés par les photodétecteurs. Dans un mode de réalisation, chaque unité de calcul comprend un calculateur. Dans un autre mode de réalisation, le dispositif électronique comprend un ou plusieurs calculateurs comprenant les unités de calculs 11, 12, 13, 14.

Le dispositif électronique 1 peut comprendre un système de calcul 100 dont un exemple est illustré sur la . Le système de calcul peut comprendre les différentes unités 11, 12, 13, 14 décrites. À cet effet, le système de calcul peut comprendre un ou plusieurs calculateurs 11, 12, 13, 14 interagissant avec un produit-programme d’ordinateur, notamment pour mettre en œuvre l’une quelconque des méthodes selon l’invention décrites précédemment.

Le système 100 est un ordinateur, par exemple, un micro-ordinateur, un réseau d’ordinateurs, un composant électronique, une tablette, un smartphone ou un assistant numérique personnel (PDA).

Le système 100 comprend un module de calcul 110. Ce module de calcul 110 comprend, par exemple, un ou plusieurs processeurs aptes à interpréter des instructions sous forme de programme informatique, un circuit logique programmable, comme un circuit intégré spécifique à une application (ASIC), un réseau de portes programmables in situ (FPGA), un dispositif logique programmable (PLD) et/ou des réseaux logiques programmables (PLA), un système sur puce (SOC), une carte électronique dans laquelle des étapes du procédé selon l’invention sont implémentées dans des éléments matériels. Le traitement peut être exécuté par un processeur, de façon simultanée ou séquentielle, ou selon un autre procédé, par un ou plusieurs processeurs.

Le module de calcul 110 comprend, un module de traitement de données 111 pour effectuer des calculs, une mémoire 112, couplée opérationnellement au circuit traitement de données 111, un support lisible par ordinateur 114 et éventuellement un lecteur 113 adapté à lire le support lisible par ordinateur 114.

Le système 100 comprend également un dispositif d’entrée, un dispositif de sortie et un dispositif de communication.

Chaque fonction du système 100 est exécutée en amenant le module de traitement de données 111 à lire un programme prédéterminé sur un matériel tel que la mémoire 112 de telle sorte que le module de traitement de données 111 exécute des calculs, commande des communications effectuées par le dispositif électronique 1 et à lire et/ou écrire des données dans la mémoire 112 et le support lisible par ordinateur 114.

La ou les méthodes selon l’invention sont exécutées sur un ordinateur unique ou sur un système distribué entre plusieurs ordinateurs (notamment via l’utilisation de l’informatique en nuage).

La mémoire 112 est un support d'enregistrement lisible par ordinateur, et peut être configurée avec, par exemple, au moins l'un des éléments suivants : une mémoire morte (ROM, de l'anglais Read-Only Memory), une mémoire morte effaçable et programmable (EPROM, de l'anglais Erasable Programmable Read-Only Memory), une mémoire morte programmable et effaçable électriquement (EEPROM, de l'anglais Electrically Erasable Programmable Read-Only Memory), une mémoire vive (RAM, de l'anglais Random Access Memory) et un autre support de stockage adéquat. La mémoire 112 peut comporter un système d’exploitation et charger les programmes selon l’invention. Elle comporte des registres adaptés à enregistrer des variables de paramètres créés et modifiés au cours de l’exécution des programmes précités.

Le produit programme peut comprendre le support d’enregistrement lisible par ordinateur 114 qui est un dispositif tangible, n’étant pas un signal transitoire en soi, peut être configuré avec, par exemple, au moins un des éléments suivants : un support amovible, comme par exemple, de façon non limitative, un disque magnéto-optique (par exemple, un disque compact à lecture seule (CD-ROM, de l'anglais Compact Disc Read-Only Memory), un disque numérique polyvalent ou DVD (de l'anglais Digital Versatile Disc), un disque amovible, une unité de disque dur, une carte à puce, un dispositif à mémoire flash (par exemple, une carte, une clé), une bande magnétique, une base de données, un serveur, et un autre support de stockage adéquat.

En variante, les instructions du programme sont issues d’une source externe et téléchargées via un réseau. C’est notamment le cas pour les applications. Dans ce cas, le produit programme d'ordinateur comprend un support de données lisible par ordinateur sur lequel sont stockées les instructions de programme ou un signal de support de données sur lequel sont codées les instructions de programme.

L’invention se rapporte à un produit programme d’ordinateur comprenant le support lisible par ordinateur 114 contenant des instructions qui, lorsqu'elles sont exécutées par le circuit 110, amènent le dispositif électronique 1 à mettre en œuvre les étapes d’une ou des méthodes selon l’invention.

La forme des instructions de programme est, par exemple, une forme de code source, une forme exécutable par ordinateur ou toute forme intermédiaire entre un code source et une forme exécutable par ordinateur, telle que la forme résultant de la conversion du code source via un interpréteur, un assembleur, un compilateur, un éditeur de liens ou un localisateur. En variante, les instructions de programme sont un microcode, des instructions firmware, des données de définition d’état, des données de configuration pour circuit intégré (par exemple du VHDL) ou un code objet. Les instructions de programme sont écrites dans n’importe quelle combinaison d’un ou de plusieurs langages de programmation, par exemple un langage de programmation orienté objet (C++, JAVA, Python), un langage de programmation procédural (langage C par exemple).

Le système 100 comprend en outre une interface utilisateur 120 comprenant un dispositif d’entrée 121 et un dispositif de sortie 122.

L'interface utilisateur 120 comprend un dispositif d'entrée 121 pour permettre à l’utilisateur de saisir des données ou des commandes de façon à pouvoir interagir avec les programmes selon l’invention. Le dispositif d’entrée 121 comprend, par exemple, un clavier ou un une interface de pointage, tel qu’une souris, un crayon optique, un pavé tactile, une télécommande, un dispositif de reconnaissance vocale, un dispositif haptique.

Le dispositif de sortie 122 est conçu pour restituer des informations à un utilisateur, de façon sensorielle ou électrique, comme, par exemple de façon visuelle ou sonore. Le dispositif de sortie 122 peut comprendre l’écran du dispositif électronique 1. L’interface de sortie 122 comprend, par exemple, une interface graphique. L’interface de sortie 122 peut être le dispositif d’entrée, par exemple, dans le cas d’une tablette tactile.

L’ensemble d’au moins un dispositif de communication permet une communication entre les éléments du système 100 et éventuellement entre au moins un élément du système et un dispositif extérieur au système 100. Ce dispositif de communication peut établir un lien physique entre des éléments du système 100 et/ou entre un élément du système 100 et un dispositif extérieur au système 100 et/ou un lien en communication à distance (sans fil) entre des éléments du système 100 et/ou entre un élément du système et un dispositif extérieur au système 100.

Claims (10)

1. Dispositif électronique (1) comprenant

   • une surface de détection, notamment pour la détection d’un objet en champ proche (2) comprenant :
     • un substrat (32) ;
     • une pluralité de photoémetteurs (31), les photoémetteurs étant séparés les uns des autres sur ledit substrat (32) ;
     • une pluralité de photodétecteurs (33), au moins une partie de ces photodétecteurs étant disposée entre lesdits photoémetteurs (31) sur le substrat (32) ;
   • une première unité d’acquisition (11) d’une cartographie d’intensité lumineuse (4) connectée à la pluralité de photoémetteurs (31) et à la pluralité de photodétecteurs (33) comprenant des moyens adaptés pour exécuter les étapes suivantes :
     • la génération (MOT1) d’un premier motif d’émission (P1) par la commande de l’allumage d’un premier ensemble (34) de photoémetteurs (31) de la surface de détection (2) ;
     • l’acquisition (ACQU1) d’une première cartographie d’intensité lumineuse (41) en fonction de la position et de l’intensité lumineuse reçue par chaque photodétecteur (33) lors de la génération du premier motif d’émission ;
   • une seconde unité (13) de génération d’un nuage de point dudit objet placé devant la surface de détection comprenant des moyens pour l’exécution d’une fonction de construction (FCT1) permettant de générer un nuage de point final (NP1) dudit objet (10) à partir du premier motif d’émission (P1) et de la première cartographie d’intensité lumineuse acquise (41).
2. Dispositif selon la revendication 1, caractérisé en ce que l’exécution de la fonction de construction (FCT1) comprend l’exécution des étapes suivantes :

   • la génération (GEN1) d’une première image (411) en réalisant une simulation (SIM1) de rayons lumineux émis par les photoémetteurs (31) du premier ensemble (34) et réfléchis par un objet défini par un nuage de points candidat (NP0) ;
   • une première comparaison (COMP1) de la première cartographie d’intensité lumineuse acquise (41) avec la première image générée (411) ;
   • une minimisation (MIN1) du résultat (V1) de la première comparaison en faisant varier le nuage de points candidat (NP0) ;
   • la détermination d’un nuage de points (NP1) représentatif dudit objet (10) en fonction de la minimisation (MIN1).
3. Dispositif selon la revendication 1 ou la revendication 2, dans lequel la première unité (11) et/ou la seconde unité (13) comprend des moyens pour l’exécution des étapes suivantes :

   • la génération (MOT2) d’un second motif d’émission par la commande de l’allumage d’un second ensemble de photoémetteurs (35, 36, 37) différent du premier ensemble (34);
   • l’acquisition (ACQU2) d’une seconde cartographie d’intensité lumineuse en fonction de la position et de l’intensité lumineuse reçue par chaque photodétecteur lors de la génération du second motif d’émission ;

   dans lequel la génération du nuage de point (NP1) dudit objet (10) est réalisée à partir du premier motif d’émission (P1) et de la première cartographie d’intensité lumineuse acquise (41) et du second motif d’émission (P2) et de la seconde cartographie d’intensité lumineuse (42).
4. Dispositif selon la revendication 2 et la revendication 3, caractérisé en ce que la seconde unité (13) comprend des moyens pour l’exécution des étapes suivantes :

   • la génération (GEN2) d’une seconde image (421) en réalisant une simulation de rayons lumineux émis par les photodétecteurs (31) du second ensemble et réfléchis par un objet défini par le nuage de points candidat (NP0) ;
   • une seconde comparaison (COMP2) de la seconde cartographie d’intensité lumineuse acquise (42) avec la seconde image générée (421) ;

   l’étape de minimisation (MIN1) comprenant une minimisation du résultat de la seconde comparaison (V2) et de la première comparaison (V1) en faisant varier le nuage de points candidat (NP0) dudit objet.
5. Dispositif électronique selon l’une des revendications 2 à 4, caractérisé en ce que l’étape de minimisation (MIN1) est mise en œuvre par une méthode de descente de gradient.
6. Dispositif électronique selon l’une des revendications 2 à 5, caractérisé en ce que l’étape de génération d’une image (421, 411) comprend la génération d’un objet virtuel défini par un nuage de point candidat (NP0) dans un environnement virtuel comprenant une simulation d’une surface similaire à la surface de détection (2).
7. Dispositif selon la revendication 1 ou la revendication 3, caractérisé en ce que la fonction de construction (FCT1) est une fonction apprenante, mise en œuvre par un réseau de neurones entraîné pour générer un nuage de point (NP1) d’un objet (10) à partir d’une ou plusieurs combinaisons comprenant chacune un motif (P1, P2) et une cartographie d’intensité lumineuse acquise (41, 42).
8. Dispositif selon la revendication 1 ou la revendication 3, caractérisé en ce qu’il comprend une mémoire comprenant une bibliothèque de cartographies d’intensité lumineuse acquises, chacune associée à un motif d’émission et à un nuage de point d’un objet, la fonction de construction (FCT1) étant capable de générer ledit nuage de point (NP1) par comparaison avec les cartographies de ladite bibliothèque.
9. Dispositif électronique selon l’une des revendications précédentes, caractérisé en ce que la seconde unité (13) comprend des moyens pour recevoir au moins une information de distance (Z1) entre ledit objet (10) et la surface de détection (2) et dans lequel le nuage de point (NP1) est généré par la fonction de construction (FCT1) à partir de ladite information de distance (Z1).
10. Système de reconnaissance de mouvement comprenant un dispositif électronique (1) selon l’une des revendications 1 à 9, caractérisé en ce qu’il comprend une unité de reconnaissance de mouvement (14) comprenant des moyens pour l’exécution des étapes suivantes :

    • l’acquisition d’une pluralité de nuages de point (NP1, NP2) de l’objet (10) placé devant la surface de détection (2) en fonction du temps ;
    • la détermination (PAR) d’au moins un paramètre de mouvement (IC) à partir d’une rotation de l’objet et/ou d’une direction de translation de l’objet détecter à partir des nuages de points (NP1, NP2) acquis en fonction du temps.