FR3048111A1 - Detection optique des gestes faits par les doigts d'un conducteur - Google Patents

Detection optique des gestes faits par les doigts d'un conducteur Download PDF

Info

Publication number
FR3048111A1
FR3048111A1 FR1651314A FR1651314A FR3048111A1 FR 3048111 A1 FR3048111 A1 FR 3048111A1 FR 1651314 A FR1651314 A FR 1651314A FR 1651314 A FR1651314 A FR 1651314A FR 3048111 A1 FR3048111 A1 FR 3048111A1
Authority
FR
France
Prior art keywords
optical
finger
rim
matrix
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1651314A
Other languages
English (en)
Other versions
FR3048111B1 (fr
Inventor
Pascal Clochard
Jerome Wroblewski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Germany GmbH
Original Assignee
Continental Automotive Technologies GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Technologies GmbH, Continental Automotive France SAS filed Critical Continental Automotive Technologies GmbH
Priority to FR1651314A priority Critical patent/FR3048111B1/fr
Publication of FR3048111A1 publication Critical patent/FR3048111A1/fr
Application granted granted Critical
Publication of FR3048111B1 publication Critical patent/FR3048111B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Système de détection de la position d'au moins un doigt (F) d'un conducteur d'un véhicule automobile, ledit doigt étant situé à proximité de la jante du volant de conduite (8), du côté opposé au conducteur, le système comprenant un dispositif de détection optique matriciel à détection tridimensionnelle (1), connu en langue anglaise sous le terme de « Time-of-Flight Camera », avec une source de lumière infrarouge et un capteur optique matriciel, le dispositif de détection optique matriciel étant agencé à proximité ou dans un combiné d'instrument du véhicule, et étant configuré pour détecter un ou plusieurs gestes prédéterminés du doigt.

Description

La présente invention est relative aux systèmes et procédés de détection optique de la position et des mouvements des doigts du conducteur d’un véhicule automobile.
Il est déjà bien connu de disposer des boutons de commande dans les branches du volant qui relient la portion centrale à la jante du volant, par exemple pour commander les fonctions audio et/ou communication ou encore la fonction régulation/limitation de vitesse.
Cependant, dans le contexte d'interfaces homme-machine de plus en plus élaborées, cette solution n'est pas souple car les boutons sont généralement dédiés. Il a aussi été proposé des zones tactiles sur une ou plusieurs branches du volant en alternative aux boutons de commande.
La sécurité de conduite impose de garder les mains sur le volant ou à proximité immédiate de ce dernier.
Certains ont également proposé de détecter, au moyen d'une caméra, certains gestes faits par les doigts du conducteur lorsque la main du conducteur se trouve sur une palette spécifique dans l'environnement du volant. Cependant, il est préférable de détecter les mouvements et gestes des doigts alors que la main reste en prise sur la jante du volant.
De plus, le réglage en profondeur et en hauteur du volant de conduite peut compliquer l’interprétation de certains gestes ; cela introduit une incertitude pour la détection des mouvements de doigts, et cela peut conduire à une interprétation ambiguë de la volonté exprimée par le conducteur au moyen de certains gestes.
Les inventeurs ont identifié un besoin d'améliorer la détection optique de certains gestes faits par le conducteur par rapport au volant, et particulièrement par rapport à la jante du volant. À cet effet, il est proposé un système de détection de la position d’au moins un doigt d’un conducteur d’un véhicule automobile, ledit doigt étant situé à proximité de la jante du volant de conduite, du côté opposé au conducteur, le système comprenant : • un dispositif de détection optique matriciel à détection tridimensionnelle, connu en langue anglaise sous le terme de « Time-of-Flight Caméra » (appelé « ToF »), avec une source de lumière infrarouge et un capteur optique matriciel, le dispositif de détection optique matriciel étant agencé dans un combiné d’instrument du véhicule, et étant configuré pour détecter un ou plusieurs gestes prédéterminés du doigt.
Grâce à un tel système, certains gestes et/ou mouvements de doigts particuliers comme un pseudo clic, un pseudo double clic, un pointage d'index, un mouvement latéral d'index, peuvent être détectés. Généralement, le terme « geste » employé ici désigne par exemple un mouvement avec en sus un point de départ et/ou d’arrivée et le cas échéant un timing, c’est-à-dire des fenêtres de temps mini/maxi pour les déplacements et les positions stables, ou encore par exemple le terme « geste » représente un enchaînement de positions et/ou états avec un timing, sans qu'il y ait nécessairement un point de départ ou d'arrivée.
Ici on s’intéresse en particulier aux gestes faits par rapport à la jante du volant de conduite.
Avantageusement, le conducteur garde les mains en prise ou à proximité immédiate du volant, et peut faire des gestes de commande en gardant un bon contrôle du volant de direction.
Dans divers modes de réalisation du système selon l’invention, on peut éventuellement avoir recours en outre à l’une et/ou à l’autre des dispositions suivantes : • le système comprend avantageusement en outre des éléments de repérage optique agencés sur la jante du volant, du côté opposé au conducteur, le dispositif de détection optique matriciel étant configuré pour détecter les éléments de repérage optique sur le volant, et la position relative du doigt F par rapport aux éléments de repérage optique ; moyennant quoi on peut lever certaines ambiguïtés sur des gestes détectés concernant les mouvements de doigts ; on améliore ainsi la précision et la qualité de la détermination ; on évite aussi les fausses détections ; la position de réglage du volant, notamment en profondeur, peut être déterminée, afin de pouvoir corriger en permanence la position de la zone d’intérêt dans laquelle sont observés les mouvements de doigts ; • la présence des doigts occulte une ou plusieurs marques optiques substantiellement continues et la présence des doigts peut ainsi être confirmée par cette occultation. On peut avantageusement corréler l'information obtenue par le calcul de distance de la caméra et le phénomène d'occultation de la marque optique continue par la présence du doigt sur l'arrière de la jante du volant ; • les éléments de repérage optique comprennent préférentiellement une ligne ou bande étroite continue de fort albédo dans la gamme infrarouge, s’étendant en arc suivant la jante, dont l’écho est interrompu par la présence du (des) doigt(s) ; on obtient ainsi un contraste net entre l’écho puissant renvoyé par le repérage optique partout où les doigts ne sont pas présents et l’écho faible renvoyé par les doigts ; • en alternative, les éléments de repérage optique peuvent comprendre une ligne ou bande étroite continue d’albédo faible ou nul formant piège optique dans la gamme infrarouge, s’étendant en arc suivant la jante, dont l’effet de piège optique est interrompu par la présence du (des) doigt(s) ; on obtient ainsi un contraste net entre l’écho nul ou très faible obtenu par l’effet de piège optique, par rapport à tous les autres éléments de l’environnement qui réfléchissent un minimum les rayons infrarouges ; • le dispositif de détection optique matriciel est préférentiellement configuré pour détecter un rapprochement et/ou un éloignement de un ou plusieurs doigts par rapport à la caméra ; on utilise ainsi astucieusement l’information de distance fournie par la détection de profondeur ; • le dispositif de détection optique matriciel est préférentiellement configuré pour détecter un déplacement latéral de un ou plusieurs doigts par rapport à la caméra ; on peut ainsi interpréter notamment un mouvement latéral de l’index ; • le dispositif de détection optique matriciel est tel que la fréquence de captation et traitement des images est au moins de 20 images par secondes ; on a ainsi un suivi temporel du geste des doigts très précis ; • le dispositif de détection optique matriciel à détection tridimensionnelle est configuré pour déterminer une ou plusieurs images-masques à partir de la détection des éléments de repérage optique à albédo extrême, à savoir à albédo à forte valeur ou à albédo faible ou nul ; ces images-masques peuvent être utilisées pour simplifier les traitements dans certaines zones de l’image, et peuvent en outre être transmises à d’autres calculateurs ; on remarque que les caméras « ToF » du marché ne fournissent pas ce genre de fonctionnalité.
Selon un autre aspect de la présente invention, il est proposé un procédé pour détecter un ou plusieurs gestes prédéterminés d’au moins un doigt d’un conducteur au voisinage de la jante d’un volant d’un véhicule automobile, dans un système de détection comprenant un dispositif de détection optique matriciel à détection tridimensionnelle, connu en langue anglaise sous le terme de « Time-of-Flight Caméra >>, avec une source de lumière infrarouge et un capteur optique matriciel, le procédé comprenant les étapes suivantes : • faire émettre par une source de la lumière infrarouge modulée, • détecter, par le capteur optique matriciel, les échos lumineux réfléchis par les doigts du conducteur, • procéder à des calculs permettant de déterminer la différence de phase sur chaque point de la matrice et en déduire la distance entre le capteur optique matriciel et le doigt du conducteur au voisinage de la jante du volant.
Selon une option du procédé, le procédé est préférentiellement configuré pour détecter un rapprochement et/ou un éloignement de un ou plusieurs doigts par rapport à la caméra.
Selon une option du procédé, le volant comprend des éléments de repérage optique agencés sensiblement continûment sur la jante du volant, lesdits éléments de repérage optique ayant un taux de réflexion élevé ou nul dans la bande infrarouge, lesdits éléments de repérage optique étant agencés du côté opposé au conducteur, le procédé comprenant une étape d’analyse d’une ou plusieurs images de la scène du volant par le dispositif de détection optique matriciel, et une étape de localisation de la ou des mains du conducteur, qui permet de définir une zone d’intérêt particulière pour la détection tridimensionnelle du mouvement des doigts. On obtient ainsi un contraste net entre l’écho puissant renvoyé par le repérage optique et l’écho faible renvoyé par les doigts, la limitation de l’analyse tridimensionnelle à la zone d’intérêt particulière permet d’utiliser des ressources limitées et d’avoir des temps de traitement très courts ; autrement dit, le traitement de l'image bidimensionnelle permet de définir un masque pour la limitation géographique du traitement tridimensionnel ;
Selon une option du procédé, les éléments de repérage optique comprennent une ligne ou bande étroite continue de fort albédo dans la gamme infrarouge, s’étendant en arc suivant la jante, dont l’écho est interrompu par la présence du (des) doigt(s).
Selon une option du procédé, le volant peut comprendre des éléments de repérage optique agencés sur la jante du volant, du côté opposé au conducteur, le procédé comprenant alors les étapes suivantes : • procéder à des calculs permettant de déterminer la différence de phase sur chaque point de la matrice et en déduire la distance entre le dispositif de détection optique matriciel et le doigt du conducteur au voisinage de la jante du volant, • en déduire la position en hauteur et la position en profondeur du volant, et donc la position relative du doigt par rapport aux éléments de repérage optique.
On peut ainsi restreindre la zone de prise en compte des mouvements de doigts à une région particulière postérieure de la jante du volant, et exclure le cas échéant la prise en compte de gestes faits hors de cette région.
Selon une option du procédé, on peut avantageusement recalculer en permanence la position de la zone d'observation pour les mouvements de doigts. D’autres aspects, buts et avantages de l’invention apparaîtront à la lecture de la description suivante d’un de ses modes de réalisation, donné à titre d’exemple non limitatif. L’invention sera également mieux comprise en regard des dessins joints sur lesquels : - la figure 1 représente un schéma général en vue de face d'un poste de conduite automobile, - la figure 2 représente une vue schématique en coupe du poste de conduite de la figure 1, - la figure 3 représente une vue de la face arrière du volant de conduite de la figure 1, avec des éléments de repérage, - la figure 4 montre un diagramme fonctionnel du système, - les figures 5, 6A, 6B et 6C montrent le principe de détection optique avec une mesure du retard et/ou déphasage liée au temps de propagation des ondes lumineuses, - la figure 7 illustre un exemple de geste fait avec les doigts par le conducteur par rapport à la jante du volant, - la figure 8 illustre un autre exemple de gestes faits avec les doigts par le conducteur par rapport à la jante du volant, - la figure 9 montre un exemple d'utilisation fonctionnelle.
La figure 1 représente la zone centrale du poste de conduite depuis le point de vue du conducteur (en situation de conduite en ligne droite). Dans le poste de conduite, en face du conducteur, on trouve un combiné d'instruments 9 qui, dans le cas présent comporte une (ou plusieurs) zone d'affichage digitale 19 (LCD ou pixelisée), un volant 8 de direction (« de conduite ») pour diriger le véhicule, le volant 8 étant monté à rotation autour de l'axe X (mouvement repéré par la variable Θ) et comprenant une jante 82. Le combiné d'instruments 9 forme un dispositif d'affichage qui peut en outre comprendre divers témoins, voyants, cadrans, connus en soi.
Par ailleurs, il y a d'autres dispositifs d'affichage et d'autres dispositifs de commande qui se trouvent dans le champ de vision générale du conducteur. Le conducteur peut être amené à interagir avec plusieurs systèmes embarqués à bord du véhicule, comme par exemple l'autoradio, la climatisation, le système de régulation de distance, etc.
Dans l'application illustrée ici, le volant 8 et le combiné d'instruments 9 servent de vecteur d'expression des ordres et commandes que le conducteur veut donner à divers systèmes électroniques embarqués.
Par ailleurs, un système de réglage classique de la position du volant comprend une poignée de déverrouillage 4, qui lorsqu'elle est activée, autorise un mouvement en profondeur selon les directions P+ et P- et un mouvement en hauteur selon les directions H+ et H- (cf. figure 2).
Le volant 8 comprend une portion centrale appelée moyeu et une jante 82 reliée au moyeu par trois branches 5 dans l'exemple illustré, mais toutefois le nombre de branches peut être quatre ou même deux ou une mono-branche. Il est prévu des boutons 85 de commande classique sur une ou plusieurs branches 5.
En plus des boutons conventionnels, il est prévu une interface gestuelle selon laquelle le conducteur peut manifester avec sa main (ou ses mains) des ordres et commandes tout en gardant les mains sur le volant 8. À cet effet, on prévoit, dans le combiné d'instruments 9 (ou à proximité), un dispositif de détection optique matriciel 1 détection, autrement appelé en français « caméra temps de vol » et connu en langue anglaise sous le terme de « Time-of-Flight Caméra >>.
Le dispositif de détection optique matriciel 1, à détection optique tridimensionnelle que l'on appellera simplement « caméra 3D >> dans la suite, comprend une source de lumière infrarouge 11 et un capteur optique matriciel 12 (cf. figure 5), agencé l'un à côté de l'autre dans un conditionnement intégré. Ce dispositif peut être caché à l'intérieur du combiné d'instruments 9.
La lumière émise par la source de lumière est de préférence non visible à l’œil humain, de façon à éviter tout éblouissement du conducteur. Typiquement, ladite source de lumière émet une lumière infrarouge de longueur pouvant être comprise entre environ 750 nm et environ 900 nm.
Par ailleurs, le volante comprend des éléments de repérage optique2 (cf. figure 3), agencés sur la jante 82 du volant 8, du côté opposé au conducteur. Ces éléments de repérage optique 2 permettent d'améliorer le traitement des images captées, et donc la précision et la fiabilité de la détection, comme il sera vu par la suite. Ces éléments de repérage optique 2 peuvent être formés par un matériau réfléchissant de type miroir, surface métallique ou métallisée, surface dépolie avec ou sans facettes, surface noire mate par exemple, ces éléments ayant l’avantage de fournir un écho net et précis par rapport à une illumination infrarouge. De préférence, ces éléments de repérage sont formés par une ligne ou bande étroite continue 29, en arc, sur la partie de la jante la plus éloignée du conducteur.
En variante d’un caractère purement continu, ces éléments de repérage peuvent présenter un caractère quasi continu, à savoir présenter des petites interruptions (par exemple formant des graduations négatives), dont la largeur est substantiellement inférieure à la largeur des doigts F.
Si un ou plusieurs doigts F vient/viennent interrompre l’aller et/ou le retour des rayons infrarouges, on obtient un effet de contraste inverse. C’est aux endroits sans écho lumineux net que l’on détermine la présence du (des) doigt(s) F et leur position.
On obtient ainsi par imagerie simple (sans 3D) un contraste net entre l’écho puissant renvoyé par la ligne ou bande étroite continue 29 partout où les doigts F ne sont pas présents et l’écho faible renvoyé par les doigts F.
En variante, ces éléments de repérage optiques 2 pourraient être formés par un piège optique infrarouge (c'est-à-dire ne fournissant aucun écho lumineux dans cette gamme de fréquences) en forme de ligne ou bande étroite continue en arc. Alors, les doigts F interposés entre la caméra et ces éléments fournissent un écho (au lieu de aucun écho pour le piège) ce qui permet de déterminer la présence du (des) doigt(s) F et leur position.
On choisit de préférence un taux de réflexion qui évite des phénomènes de saturation à la réception. C’est le taux de réflexion (« albedo ») dans le domaine infrarouge qui importe ici ; dans le domaine visible, les éléments de repérage peuvent être peu différenciés du reste du volant, en d’autres termes, les éléments de repérage peuvent avantageusement être discrets pour l’œil humain.
La zone où sont localisées les mains du conducteur sera appelée « zone d’intérêt particulière » ; c’est là que la fonction de détection tridimensionnelle est mise à profit pour constater les mouvements de doigts F.
La forme des éléments de repérage optique 2 sera vue plus loin.
Le capteur optique matriciel 12 est typiquement une caméra CCD placée derrière un filtre optique 16 optionnel. Outre la faculté de capter une image en deux dimensions, le dispositif de détection optique matriciel 1 appelé caméra 3D comprend en outre une fonction de démodulation optique permettant de déterminer une troisième dimension, à savoir la profondeur de l'objet vis-à-vis de la caméra.
Comme illustré à la figure 5, la source de lumière 11 émet une lumière notée TxIR. Selon une solution de référence, cette lumière TxIR est pulsée, c’est-à-dire qu’un puise est envoyé puis les échos sont analysés pour capter une image, en 2D et en 3D. On envoie un puise par image à capter.
Plus précisément, les rayons lumineux infrarouges transmis rebondissent sur un l’objet observé WC. Une partie des rayons réfléchis, notés RxIR, se dirigent en direction du capteur optique matriciel 12, où ils sont comparés temporellement (pour la partie 3D) à la lumière incidente notée TxIR. L’amplitude de l’écho RxIR dépend notamment du taux de réflexion, qui doit être suffisant de manière à ce que les échos reçus puissent être captés (mais sans générer toutefois de saturation).
Le retard constaté est directement proportionnel au temps de propagation du signal, aller et retour ; par conséquent, la distance entre la caméra et le lieu de la réflexion peut être déduite du retard constaté.
En variante, la lumière émise peut être modulée, et dans ce cas le retard constaté cpShift (cf figure 6B) peut être déterminé comme un déphasage. Bien entendu, on constate dans le signal réfléchi une amplitude AmR différente de celle émise AmT, souvent un offset général et le déphasage de phase noté cpShift qui nous intéresse en particulier.
Pour chaque point du capteur optique matriciel 12, on dispose quatre éléments de réception optique et on ouvre quatre fenêtres temporelles décalées les unes par rapport aux autres (cf figures 6A à 6C) pour chacun des quatre éléments de réception optique.
Pour chaque point du capteur optique matriciel, on calcule des coefficients de corrélation appelés AO A1 A2 A3, qui correspondent au signal d’écho reçu dans chacune des quatre fenêtres temporelles décalées correspondant à chacun des quatre éléments de réception optique.
Autrement dit, on peut aussi formuler cela dans le cas d’un signal modulé comme suit : • AO est le résultat d'une corrélation entre le signal reçu et un signal en phase avec le signal transmis. • A1 est le résultat d'une corrélation entre le signal reçu et un signal en retard de π/2 avec le signal transmis (retard par rapport à la pulsation modulante). • A2 est le résultat d'une corrélation entre le signal reçu et un signal en retard de π avec le signal transmis. • A3 est le résultat d'une corrélation entre le signal reçu et un signal en retard de 3π/2 avec le signal transmis.
Un exemple de calcul détaillé est fourni par le document US 2014 01 60 459 auquel le lecteur peut se référer. Ce qui nous intéresse en particulier ici est le décalage de phase qui est donné par : cpShift = Artan (A3 - A1 / AO - A2)
Dm = c x cpShift / 2
On peut exclure du traitement 3D des cas ou le quotient de l’arctangente donne 0/0 ou bien oo/œ ; ceci est fait en élaborant des masques de l’image 2D qui épargne les zones à forte réflexion et les zones à piège de lumière.
En effet, et contrairement aux caméras « ToF >> standard de l’art connu, on élabore des images-masques à partir de la détection des éléments de repérage optique à albédo extrême, à savoir à albédo à forte valeur ou à albédo faible ou nul.
Les calculs explicités ci-dessus sont réalisés par une unité de calcul 14, comme illustré à la figure 4, les résultats étant mis à disposition d'autres calculateurs embarqués 7.
Les doigts de la main du conducteur sont désignés par la référence F.
Comme illustré aux figures 3 et 7, lorsque le conducteur effectue un mouvement d'ouverture de la main par rapport à la jante 82, le dos des doigts F se rapproche du combiné d'instruments (repère FW) et par conséquent la distance mesurée par la caméra diminue ; inversement lorsque l'utilisateur resserre la jante 82 du volant 8, le dos des doigts F s’éloigne du combiné d'instruments 9 et par conséquent la distance mesurée par la caméra augmente. Bien entendu, compte tenu de la bonne résolution matricielle de la caméra, ce constat est fait doigt par doigt.
On peut ainsi distinguer un geste commun de tous les doigts ou bien un mouvement particulier de l'index F1 comme un pointage et un retour, ou encore un mouvement commun de l'index F1 et du majeur F2.
On peut considérer le mouvement commun des doigts comme un pseudo clic général, qui peut être défini en pratique par la succession d’un état « doigts ouverts » (donc proches de la caméra) pendant 100 ms à 200 ms puis un état « doigts fermés » sur la jante 82 (donc plus loin de la caméra) pendant 100 ms à 200 ms.
Un double clic général peut être défini en pratique par la succession d’un état doigts ouverts (donc proches de la caméra) pendant 100 ms à 200 ms puis un état doigts fermés sur la jante 82 (donc plus loin de la caméra) pendant 100 ms à 200 ms, puis à nouveau un état doigts ouverts pendant 100 ms à 200 ms puis à nouveau un état doigts fermés sur la jante 82 pendant 100 ms à 200 ms.
On pourrait aussi utiliser une combinaison à deux mains avec une séquence impliquant la main gauche MG et la main droite MD du conducteur.
Avantageusement, comme illustré à la figure 8, on peut aussi détecter des mouvements latéraux d'un ou plusieurs doigts ; en particulier, un tel mouvement peut être effectué avec l'index de la main sans que la main ne bouge substantiellement par rapport à la jante 82 du volant 8 (« pointé >> ou « glissé » d'index F1).
On peut aussi détecter un mouvement de glissé général vers la droite vers la gauche ou un mouvement d’onde avec les doigts (« vague » avec F1, F2, F3, F4).
En somme, le traitement tridimensionnel des images des doigts permet d'identifier des gestes particuliers effectués par un ou plusieurs doigts de l'utilisateur, ces gestes particuliers pourront être mis à profit pour exprimer une volonté du conducteur vis-à-vis d'une liste de choix proposés dans le combiné.
La fréquence de captation et traitement des images est au moins de 20 images par secondes, ce qui permet d’avoir un suivi temporel du geste des doigts très précis.
Comme application, on peut prévoir comme illustré à la figure 9 d'afficher sur le combiné d’instruments 9 des pictogrammes 88, 93, 94 illustratifs de l'interface homme-machine ; dans certaines conditions, un geste particulier fait par la main droite MD du conducteur sur la zone repérée 84 conduit à prendre un appel téléphonique, et un geste particulier fait par la main gauche du conducteur sur la zone repérée 83 conduit à raccrocher.
Par ailleurs, pour faciliter le traitement algorithmique, on prévoit sur le volant des éléments de repérage particuliers.
Par exemple, il peut être prévu, comme illustré à la figure 3, une ligne ou bande étroite 29, en arc coïncidant avec plus de la moitié supérieure du volant 8 lorsque celui-ci est en position de conduite en ligne droite. Plus généralement, on peut avoir une bande 29 ou une ligne sensiblement en arc coïncidant avec la partie de la jante 82 la plus éloignée du conducteur.
De plus, au sommet de cet arc, on prévoit un repère particulier 20, quasi ponctuel, par exemple sous la forme d'un losange, que l'on appellera le « zéro » ou la « référence zéro » « zero-ref » ou référence origine.
Cette position de référence sert d'origine pour les angles notés a dans le repère local du volant 8, indépendamment de la position en rotation suivant Θ.
En outre, on peut avoir deux autres repères spécifiques quasi ponctuels, un repère circulaire repéré 22 placé à a = -90°, et un repère carré repéré 21 àa = 90°. Avec 3 repères optiques spécifiques quasi ponctuels, on garantit que la caméra pourra toujours en voir au moins un et ainsi pourra mesurer en permanence la position et la distance de un ou plusieurs de ces repères.
On peut prévoir également un système de graduations 23.
Plus généralement, d'autres formes de repères ponctuels peuvent être envisagées.
Dans le contexte d'interprétation de certains gestes faits par le conducteur, on définit une zone d'observation ZC autour de la jante 82 du volant 8.
Préférentiellement, la zone d'observation englobe les régions où sont habituellement positionnées les mains du conducteur en situation de conduite (déjà mentionnée plus haut comme zone d’intérêt particulière notée Zcp), par exemple selon une position de prise en main dite « 9h15 » ou bien une position de prise en main dite « 10h10 », des positions à deux mains mais dissymétriques, et des positions à une seule main sont aussi couramment utilisées par les conducteurs.
Il faut remarquer que la zone d'observation ZC, non seulement tourne avec le mouvement de rotation du volant 8 repéré Θ, mais aussi évolue avec le réglage en profondeur et le réglage en hauteur.
La connaissance de la position du volant 8 en hauteur, en profondeur, et en rotation autour de son axe, permet de redéfinir à chaque instant la position de la zone d'observation ZC dans laquelle seront pris en compte les gestes effectués par les doigts et les mains du conducteur. À l'intérieur de cette zone, la connaissance de la position du volant 8 en hauteur, en profondeur, et en rotation autour de son axe X, permet de définir une zone restreinte sur l'arrière de la jante du volant 8. Ceci permet d'écarter efficacement des gestes qui seraient faits par les doigts du conducteur, mais en dehors de la zone d'intérêt à proximité de la jante 82 du volant 8, et qui pourrait être pris à tort pour une volonté conducteur (prévention des fausses détections).
Il est à noter par ailleurs que le fonctionnement du système selon l’invention est effectif de jour comme de nuit, la caméra étant choisie pour être sensible à la lumière infrarouge, sans lien direct avec le niveau de luminosité ambiant.
On remarque que, avantageusement, il n'y a aucun composant électronique actif dans le volant 8 pour la fonction de détection optique ; les éléments de repérage sont complètement passifs ; le système est par conséquent particulièrement simple et ne requiert pas de transmission de signaux électriques entre le volant 8 qui tourne et le reste du véhicule.

Claims (14)

  1. REVENDICATIONS
    1. Système de détection de la position d’au moins un doigt (F) d’un conducteur d’un véhicule automobile, ledit doigt (F) étant situé à proximité de la jante (82) du volant (8) de conduite, du côté opposé au conducteur, le système comprenant : • un dispositif de détection optique matriciel (1) à détection tridimensionnelle avec une source de lumière infrarouge (11 ) et un capteur optique matriciel (12), le dispositif de détection optique matriciel (1) étant agencé à proximité ou dans un combiné d’instrument (9) du véhicule, et étant caractérisé en ce qu’il est configuré pour détecter un ou plusieurs gestes prédéterminés du doigt (F).
  2. 2. Système selon la revendication 1, comprenant en outre des éléments de repérage optique (2) agencés sur la jante (82) du volant (8), du côté opposé au conducteur, le dispositif de détection optique matriciel (1) étant configuré pour détecter les éléments de repérage optique (2) sur le volant, et la position relative du doigt (F) par rapport aux éléments de repérage optique (2).
  3. 3. Système selon l'une des revendications 1 à 2, dans lequel la présence des doigts (F) occulte une ou plusieurs marques optiques substantiellement continues et la présence des doigts (F) peut ainsi être confirmée par cette occultation.
  4. 4. Système selon la revendication 2, dans lequel les éléments de repérage optique (2) comprennent une ligne ou bande étroite continue (29) de fort albédo dans la gamme infrarouge, s’étendant en arc suivant la jante (82), dont l’écho est interrompu par la présence du (des) doigt(s) (F).
  5. 5. Système selon la revendication 2, dans lequel les éléments de repérage optique (2) comprennent une ligne ou bande étroite continue (29) d’albédo faible ou nul formant piège optique dans la gamme infrarouge, s’étendant en arc suivant la jante (82), dont l’effet de piège optique est interrompu par la présence du (des) doigt(s) (F).
  6. 6. Système selon l'une quelconque des revendications 1 à 5, dans lequel le dispositif de détection optique matriciel (1) est configuré pour détecter un rapprochement et/ou un éloignement de un ou plusieurs doigts (F) par rapport à la caméra.
  7. 7. Système selon l'une quelconque des revendications 1 à 6, dans lequel le dispositif de détection optique matriciel (1) est tel que la fréquence de captation et de traitement des images est au moins de 20 images par seconde.
  8. 8. Système selon l'une quelconque des revendications 2, 4 ou 5, dans lequel le dispositif de détection optique matriciel (1) à détection tridimensionnelle est configuré pour déterminer une ou plusieurs images-masques à partir de la détection des éléments de repérage optique (2) à albédo extrême, à savoir à albédo à forte valeur ou à albédo faible ou nul.
  9. 9. Procédé pour détecter un ou plusieurs gestes prédéterminés d’au moins un doigt (F) d’un conducteur au voisinage de la jante (82) d’un volant (8) d’un véhicule automobile, dans un système de détection comprenant un dispositif de détection optique matriciel (1), à détection tridimensionnelle avec une source de lumière infrarouge (11) et un capteur optique matriciel (12), le dispositif de détection optique matriciel (1) étant agencé à proximité ou dans un combiné d’instrument (9) du véhicule, le procédé comprenant les étapes suivantes : • faire émettre par une source de la lumière infrarouge modulée (TxIR), • détecter, par le capteur optique matriciel (12), les échos lumineux (RxIR) réfléchis par les doigts (F) du conducteur, • procéder à des calculs permettant de déterminer la différence de phase sur chaque point de la matrice et en déduire la distance entre le capteur optique matriciel (12) et le doigt (F) du conducteur au voisinage de la jante (82) du volant (8), afin de déterminer un ou plusieurs gestes prédéterminés du doigt (F).
  10. 10. Procédé selon la revendication 9, le volant (8) comprenant des éléments de repérage optique (2) agencés sensiblement continûment sur la jante (82) du volant (8), lesdits éléments de repérage optique (2) ayant un taux de réflexion élevé ou très faible dans la bande infrarouge, lesdits éléments de repérage optique (2) étant agencés du côté opposé au conducteur, le procédé comprenant une étape d’analyse d’une ou plusieurs images de la scène du volant par le dispositif de détection optique matriciel (1), et une étape de localisation de la ou des mains du conducteur, qui permet de définir au moins une zone d’intérêt particulière (Zcp) pour la détection tridimensionnelle du mouvement des doigts (F).
  11. 11. Procédé selon la revendication 9, dans lequel les éléments de repérage optique (2) comprennent une ligne ou bande étroite continue (29) de fort albédo dans la gamme infrarouge, s’étendant en arc suivant la jante (82), dont l’écho est interrompu par la présence du (des) doigt(s) (F).
  12. 12. Procédé selon la revendication 9, dans lequel les éléments de repérage optique (2) comprennent une ligne ou bande étroite continue (29) d’albédo faible ou nul formant un piège optique dans la gamme infrarouge, s’étendant en arc suivant la jante (82), dont l’effet de piège optique est interrompu par la présence du (des) doigt(s) (F).
  13. 13. Procédé selon la revendication 9, dans lequel le volant comprend des éléments de repérage optique (2) agencés sur la jante (82) du volant (8), du côté opposé au conducteur, le procédé comprenant les étapes suivantes : • procéder à des calculs permettant de déterminer la différence de phase sur chaque point de la matrice et en déduire la distance entre le capteur optique matriciel (12) et le doigt (F) du conducteur au voisinage de la jante (82) du volant (8), • en déduire la position en hauteur et la position en profondeur du volant (8), et donc la position relative du doigt (F) par rapport aux éléments de repérage optique (2).
  14. 14. Procédé selon la revendication 9, dans lequel on recalcule en permanence la position d’une zone d'observation (ZC) pour les mouvements de doigts (F).
FR1651314A 2016-02-18 2016-02-18 Detection optique des gestes faits par les doigts d'un conducteur Active FR3048111B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1651314A FR3048111B1 (fr) 2016-02-18 2016-02-18 Detection optique des gestes faits par les doigts d'un conducteur

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1651314A FR3048111B1 (fr) 2016-02-18 2016-02-18 Detection optique des gestes faits par les doigts d'un conducteur
FR1651314 2016-02-18

Publications (2)

Publication Number Publication Date
FR3048111A1 true FR3048111A1 (fr) 2017-08-25
FR3048111B1 FR3048111B1 (fr) 2018-05-25

Family

ID=55650575

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1651314A Active FR3048111B1 (fr) 2016-02-18 2016-02-18 Detection optique des gestes faits par les doigts d'un conducteur

Country Status (1)

Country Link
FR (1) FR3048111B1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3599759A1 (fr) * 2018-07-23 2020-01-29 Aptiv Technologies Limited Caméra comportant un élément à 2 composants

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1538854A (en) * 1924-10-20 1925-05-19 Imp Brass Mfg Co Steering-wheel marker
US20130076615A1 (en) * 2010-11-18 2013-03-28 Mike Iao Interface method and apparatus for inputting information with air finger gesture
US20140313122A1 (en) * 2013-04-18 2014-10-23 Fuji Xerox Co., Ltd. Systems and methods for enabling gesture control based on detection of occlusion patterns
WO2015133057A1 (fr) * 2014-03-05 2015-09-11 株式会社デンソー Dispositif de détection et dispositif d'entrée de geste
WO2015146037A1 (fr) * 2014-03-27 2015-10-01 株式会社デンソー Dispositif d'entrée d'affichage de véhicule

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1538854A (en) * 1924-10-20 1925-05-19 Imp Brass Mfg Co Steering-wheel marker
US20130076615A1 (en) * 2010-11-18 2013-03-28 Mike Iao Interface method and apparatus for inputting information with air finger gesture
US20140313122A1 (en) * 2013-04-18 2014-10-23 Fuji Xerox Co., Ltd. Systems and methods for enabling gesture control based on detection of occlusion patterns
WO2015133057A1 (fr) * 2014-03-05 2015-09-11 株式会社デンソー Dispositif de détection et dispositif d'entrée de geste
WO2015146037A1 (fr) * 2014-03-27 2015-10-01 株式会社デンソー Dispositif d'entrée d'affichage de véhicule

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3599759A1 (fr) * 2018-07-23 2020-01-29 Aptiv Technologies Limited Caméra comportant un élément à 2 composants
US11115575B2 (en) 2018-07-23 2021-09-07 Aptiv Technologies Limited Camera with 2-component element

Also Published As

Publication number Publication date
FR3048111B1 (fr) 2018-05-25

Similar Documents

Publication Publication Date Title
US10884109B2 (en) Analytical-adaptive multifrequency error minimization unwrapping
WO2017140988A1 (fr) Detection optique de la position du volant de conduite
FR2961928A1 (fr) Procede et dispositif de reconnaissance d'un objet parasite dans une image de camera
CN103852754A (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
FR2861488A1 (fr) Dispositif de determination de possibilite de collision
FR2940442A1 (fr) Capteur et systeme d'imagerie pour la detection a distance d'un objet
FR3029484A1 (fr) Procede d'interaction depuis le volant entre un utilisateur et un systeme embarque dans un vehicule
EP2544020B1 (fr) Procédé et dispositif de détection d'une cible masquée par des réflecteurs de forte énergie
WO2020151983A1 (fr) Procédé de détermination d'un score de confiance d'une cible d'un environnement d'un véhicule
FR3048111A1 (fr) Detection optique des gestes faits par les doigts d'un conducteur
EP3028255B1 (fr) Dispositif d'aide a la detection d'objets poses sur le sol a partir d'images du sol issues d'un dispositif d'imagerie par reflexion d'ondes
FR3029655A1 (fr) Dispositif d'entree notamment d'un vehicule automobile pour la saisie sans contact de la position et/ou d'un changement de position d'au moins un doigt d'une main de l'utilisateur
EP3485292B1 (fr) Procédé et dispositif de détermination d'une zone géographique opérationnelle observée par un capteur
FR2953939A1 (fr) Systeme radar uhf pour mettre en oeuvre un procede d'elimination d'un fouillis de vegetation
EP3417310B1 (fr) Procédé de localisation de sources d'émission d'impulsions électromagnétiques dans un environnement comprenant des réflecteurs
EP2791687B1 (fr) Procede et systeme d'auto-calibration d'un dispositif de mesure de vitesse d'un vehicule circulant dans un espace tridimensionnel
WO2005071436A1 (fr) Procede de visualisation des echos recus par un sonar actif utilisant une emission a spectre de raies
EP3895127B1 (fr) Dispositif et procédé d'hybridation inertielle/vidéo
FR3064073A1 (fr) Procede et dispositif de determination d'une position
WO2005124386A1 (fr) Procede de detection et visualisation de sources acoustiques de faible puissance en mouvement
FR3131777A1 (fr) procédé d’alignement d’une caméra sur une route
EP2210127B1 (fr) Barrière acoustique sous-marine
FR3058530A1 (fr) Procede de controle de la compatibilite electromagnetique d'un detecteur de radars avec au moins un emetteur de bord de signaux impulsionnels
FR3103301A1 (fr) Procédé de détection de pics d’intensité de faisceau lumineux réfléchi de manière spéculaire
EP3698321A1 (fr) Procede de traitement de donnees et systeme embarque associe

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20170825

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

TP Transmission of property

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE

Effective date: 20250228

PLFP Fee payment

Year of fee payment: 11