FR2960076A1 - Procede et systeme d'acquisition sans contact des mouvements d'un objet. - Google Patents

Procede et systeme d'acquisition sans contact des mouvements d'un objet. Download PDF

Info

Publication number
FR2960076A1
FR2960076A1 FR1002030A FR1002030A FR2960076A1 FR 2960076 A1 FR2960076 A1 FR 2960076A1 FR 1002030 A FR1002030 A FR 1002030A FR 1002030 A FR1002030 A FR 1002030A FR 2960076 A1 FR2960076 A1 FR 2960076A1
Authority
FR
France
Prior art keywords
screen
series
image
hand
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1002030A
Other languages
English (en)
Other versions
FR2960076B1 (fr
Inventor
Richard Paraiso
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PI CORPORATE
Original Assignee
PI CORPORATE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PI CORPORATE filed Critical PI CORPORATE
Priority to FR1002030A priority Critical patent/FR2960076B1/fr
Publication of FR2960076A1 publication Critical patent/FR2960076A1/fr
Application granted granted Critical
Publication of FR2960076B1 publication Critical patent/FR2960076B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141Activation of instrument input devices by approaching fingers or pens

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

L'invention concerne un procédé et un système d'acquisition sans contact des mouvements d'un objet de forme variable (M). Il comprend un écran (20) devant lequel l'objet (M) se déplace, un dispositif de traitement de données numériques (3) comprenant des moyens de calcul et des moyens de mémorisation de données (4) stockant, pendant une phase initiale, une série de tables représentant des formes distinctes de l'objet (M), une caméra CMOS (CAM) captant l'image de l'objet (M) générant en sortie une table représentant l'image captée. Le contenu de cette table est comparé au contenu des tables de la base de données (4) pour déterminer la forme de l'objet (M). Il comprend des photodiodes (Cy à Cx ) répartis sur la périphérie de l'écran (20) détectant le sens et la direction des déplacements de l'objet (M) devant l'écran (20).

Description

L'invention concerne un procédé d'acquisition sans contact des mouvements d'un objet de forme variable. L'invention concerne également un système pour la mise en oeuvre d'un tel procédé.
L'invention trouve une application particulièrement avantageuse, bien que non exhaustive, dans le domaine à l'acquisition sans contact des mouvements d'un objet à proximité d'un organe de visualisation d'un appareil informatique, la forme de l'objet étant susceptible de varier dans le temps. Elle s'applique plus particulièrement encore à l'acquisition sans contact des mouvements de la main d'un opérateur et des positions prises par les doigts de cette main. Sans que cela soit limitatif en quoi que ce soit à sa 15 portée, on se placera dans ce qui suit dans ce cadre d'application préféré de l'invention. A titre d'exemples non limitatifs, les organes de visualisation précités comprennent notamment les écrans des ordinateurs portables, des livres dits "électroniques" ou "e- 20 books", selon la terminologie anglo-saxonne couramment utilisée, des téléphones cellulaires, des consoles de jeux électroniques, etc.,. De façon avantageuse, les écrans peuvent être du type à dalle tactile. Cette technologie permet une interaction élevée avec l'appareil informatique 25 par simple touché du doigt ou à l'aide d'un stylet, cette action provoquant divers processus tels que la modification des éléments textuels ou graphiques affichés, le lancement de programmes, etc... Dans l'état de la technique, on connaît notamment des 30 systèmes d'acquisition sans contact des mouvements d'un objet faisant appel à des capteurs du type caméras pour détecter divers paramètres associés à ces mouvements. On recourt notamment à des caméras numériques en circuit intégré faisant appel à la technologie dite "CMOS" (pour "Complementary Metal 35 Oxide Semicondutor" ou Semi-conducteur en oxyde de métal de type complémentaire) disposée près de la périphérie de l'écran.
Un tel composant comprend une pluralité de transistors CMOS sensibles à un rayonnement du domaine optique pour le convertir en un signal électrique transmis à un circuit de traitement approprié. De façon plus précise, les transistors CMOS sont agencés selon une configuration matricielle à deux dimensions. Chaque transistor CMOS capte une fraction élémentaire de l'image d'un objet ou pixel. Le nombre de pixels constitue un paramètre essentiel pour définir la résolution plus ou moins élevée de l'image captée par la caméra. Chaque transistor CMOS est associé à un processeur de signal propre. Dans le cadre de l'application préféré de l'invention les signaux de sortie de ces processeurs sont transmis à des circuits de traitement de signaux à programme enregistrés, par exemple à l'unité centrale d'un ordinateur portable comprenant, notamment, un microprocesseur et des organes de mémoire pour l'enregistrement de données et desdits programmes. Pour acquérir complètement les mouvements d'un objet, il est nécessaire d'obtenir au moins quatre catégories de 20 paramètres importants, à savoir : - la détection du mouvement proprement dit objet immobile ou en mouvement ; - type de mouvement : linéaire, rotation, etc. ; - le type de stimuli détecté, c'est-à-dire la forme de 25 l'objet qui déclenche la reconnaissance d'un mouvement ; et - le sens du mouvement de l'objet. La mise en oeuvre d'une caméra, par exemple du type "CMOS" précité, permet l'acquisition d'informations pour la détermination de la forme de l'objet, dans de bonnes 30 conditions et avec une bonne précision si la résolution de la caméra est élevée (nombre important de pixels). Il suffit de traiter les informations acquises, par exemple, par l'unité centrale d'un système informatique à l'aide de programmes appropriés, comme il est bien connu de l'homme de métier. 35 Par contre, la détection des autres paramètres, et surtout du sens du mouvement de l'objet ne peut être obtenue directement, pour le moins simplement et avec précision, par le seul traitement des signaux de sortie de la caméra CMOS.
L'invention vise à pallier les inconvénients des dispositifs de l'art connu, et dont certains viennent d'être rappelés. L'invention se fixe pour but un procédé d'acquisition sans contact des mouvements d'un objet de forme variable, et plus particulièrement de la main d'un opérateur : poignet et positions des doigts (serrés, écartés, repliés, etc.) de cette main à proximité d'un organe de visualisation d'un appareil informatique, permettant une acquisition complète 10 des tous les paramètres associés à ce mouvement. L'invention se fixe pour but également un système pour la mise en oeuvre d'un tel procédé. Pour ce faire, selon une première caractéristique importante de l'invention, on associe au capteur de type 15 caméra une pluralité de capteurs de mouvement sans contact à effet photoélectrique. Ces capteurs sont implémentés en périphérie de l'organe de visualisation. Ces capteurs sont des composants semi-conducteurs sensibles à un rayonnement du domaine optique, par exemple à 20 une gamme d'ondes lumineuses comprise dans l'infrarouge, et transforment le rayonnement incident capté en signal électrique de sortie. Dans un mode de réalisation préféré, les capteurs précités sont constitués par des photodiodes. 25 L'invention a donc pour objet un procédé d'acquisition sans contact des mouvements d'un objet de forme variable dans le temps se déplaçant devant un organe de visualisation d'un appareil informatique comprenant un écran, caractérisé en ce qu'il comprend : 30 - une phase préliminaire comprenant la construction d'une base de données constituée d'une série finie d'enregistrements numériques ayant la structure de tables (RM1, RM5) à deux dimensions constituées d'éléments binaires, chaque table représentant une forme distincte (M1i M5) 35 prédéfinie d'image dudit objet projeté sur l'écran de l'organe de visualisation, ledit objet (M1, M5) étant disposé dans l'espace à une distance déterminée de l'écran, et - au moins une phase ultérieure d'acquisition sans contact des mouvements dudit objet (M) se déplaçant dans l'espace devant l'écran comprenant au moins les étapes suivantes : une étape d'acquisition d'une première série d'informations obtenues par la captation de l'image dudit objet projeté sur le plan image d'une caméra numérique (CAM) fixé à l'écran, la caméra (CAM) scindant l'image captée en un nuage de points convertis en une pluralité de signaux électriques numériques élémentaires rassemblés dans une table à deux dimensions constituée d'éléments binaires (ICI, IC6), une étape itérative de comparaison du contenu de ladite table (ICI, IC6) générée par la caméra numérique (CAM) avec les contenus des tables (RM1, RM5) enregistrées dans la base de données jusqu'à l'obtention d'un résultat de comparaison positif, de manière à déterminer la forme de l'objet (M), cette forme étant celle représentée par l'enregistrement numérique ayant provoqué ledit résultat positif, et une étape d'acquisition d'une seconde série d'informations à l'aide d'une pluralité de capteurs unitaires photosensibles (Cy1 à Cx6), disposés sur la périphérie de l'écran, détectant le passage dudit objet (M) dans des régions délimitées de l'espace situées au-dessus desdits capteurs (Cyl à Cx6) et générant une combinaison séquentielle ou simultanée de signaux de sortie (BSC) en réponse à la détection de ces passages et de l'ordre de ces passages d'un capteur au suivant, lesdites premières et secondes séries d'informations étant corrélées, de façon à déterminer au moins le sens, la direction et la nature du mouvement de l'objet (M) se déplaçant devant l'écran. Avantageusement, les étapes itératives de comparaison étant réalisées par un processus de corrélation entre les deux tables (RM1, RM5, ICI, IC6) d'éléments binaires à deux dimensions, le procédé comprend une étape supplémentaire, exécutée à la suite de l'obtention d'un résultat de comparaison positif, consistant à vérifier si un seuil dit de concordance de contenu minimal desdites deux tables est atteint.
Avantageusement encore, ledit objet est la main (M) d'un opérateur, le poignet (PG) et les doigts (P, I) de ladite main (M) se déplaçant dans l'espace devant l'écran, les variations des orientations de ce poignet dans l'espace et les positions relatives des doigts (P, I) entre eux et par rapport au poignet (PG) occasionnant des variations de la forme des images de cette main (M) projetées sur l'écran et captées par ladite caméra numérique (CAM). L'invention concerne également un système d'acquisition sans contact des mouvements d'un objet de forme variable dans un appareil informatique pour la mise en oeuvre du procédé selon l'une quelconque des revendications précédentes, le système comprenant au moins un organe de visualisation muni d'un écran devant lequel ledit objet se déplace, un dispositif de traitement de données numériques comprenant des moyens de calcul et des moyens de mémorisation de données, caractérisé en ce que lesdits moyens de mémorisation de données stockent, pendant ladite phase initiale, ladite série finie de tables à deux dimensions (RM1r RM5) constituées d'éléments binaires représentant des formes distinctes dudit objet (M1, M5), en ce qu'il comprend une caméra numérique (CAM) captant l'image dudit objet (M) sur un plan image et générant en sortie (Bscam) ladite table à deux dimensions (ICI, IC6) constituées d'éléments binaires représentant ladite image, des moyens de comparaisons du contenu de cette table (ICI, IC6) avec les contenus des tables (RMI, RM5) de la base de données sous la commande desdits moyens de calcul, en ce qu'il comprend une série de capteurs unitaires photosensibles (Cy10 à Cx13) répartis sur la périphérie de l'écran détectant le passage dudit objet (M) dans des régions délimitées de l'espace, de manière à générer ladite seconde série d'informations, et en ce qu'il comprend des moyens de corrélation desdites premières et secondes séries d'informations sous la commande desdits moyens de calcul (3), de façon à déterminer au moins le sens, la direction et la nature du mouvement de l'objet (M)se déplaçant devant l'écran (20).
Ladite caméra numérique (CAM) peut être une caméra en technologie CMOS. Lesdits capteurs unitaires photosensibles peuvent être des photodiodes (Cyl à Cx6) sensibles une gamme d'ondes 5 lumineuses comprise dans l'infrarouge. Lesdites photodiodes (C) peuvent être agencées de façon à permettre une captation des mouvements dudit objet sous trois segments angulaires différents (0°-01°, 02°-03°, 04°-180°), de manière à générer trois informations successives lors d'un 90 déplacement de l'objet (M) au-dessus de cette structure suivant une direction quelconque d'un plan au-dessus de la photodiode (C), l'ordre de détection permettant de déterminer le sens du mouvement. Ledit appareil électronique peut être un livre 15 électronique (Le) comprenant deux écrans (P1, P2) simulant les pages d'un livre standard, en ce qu'il comprend une caméra en technologie CMOS fixée dans une région basse de l'un desdits écrans (P2) et des première (Cy10 à Cx13) et seconde (Cy20 à Cx23) séries de photodiodes disposées en 20 périphérie des premier (P1) et second (P2) écrans. Ledit appareil électronique peut être un micro-ordinateur comprenant un organe de visualisation muni d'un écran plat définissant un premier plan (ZY) et un clavier définissant un second plan (XY), lesdits premier et second 25 plans étant orthogonaux entre eux, en ce que il comprend une caméra (CAM) en technologie CMOS fixée dans une région basse de l'écran, en ce qu'il comprend une première série de photodiodes (Cz) disposées sur la périphérie de l'écran et une seconde série de photodiodes (Cy) disposées suivant deux 30 directions orthogonales (X, Y) sur le second plan (XY), de manière à capter les coordonnées dudit objet suivant sept axes (OG, OX, OZ, XE, EG, ZF et FG). Lorsque la photodiode capte un faisceau lumineux, elle génère donc en sortie un signal électrique transmis à des 35 circuits électroniques de traitement de signal appropriés. On suppose que ces circuits sont agencés de telle sorte qu'ils réagissent à la disparition de la lumière incidente, par exemple lorsque le faisceau est occulté par la main d'un opérateur. Cependant, la structure d'une photodiode classique présente un inconvénient important. En effet, la photodiode ne capte que les stimuli situés à l'intérieur d'un cône d'axe de symétrie vertical, si on suppose que le détecteur est disposé dans un plan horizontal, dont l'angle au sommet ou angle d'acceptante est réduit, typiquement de l'ordre de 400. Un mouvement de la main ne sera donc capté avec exactitude qu'une seule fois (s'il s'effectue au-dessus du capteur de la photodiode), et aléatoirement si ce mouvement s'effectue exclusivement en dehors du cône précité Aussi, dans une variante préférée de réalisation de l'invention, on met en oeuvre un capteur de mouvement sans contact à effet photo-électrique dont la structure dotée d'une structure particulière permettant de capter trois fois plus de mouvement suivant toutes les directions d'un plan. Cette structure sera détaillée avec plus de précision ci-après dans le corps de la description.
De façon plus précise, le procédé selon l'invention comprend une phase préliminaire pendant laquelle on enregistre dans une base de informatique des séries représentant chacun une forme données associée à l'appareil d'enregistrements numériques distincte de l'objet, c'est-à- dire une image susceptible d'être acquise par la caméra CMOS lorsque celui-ci se déplacera devant l'écran de visualisation. Dans l'exemple de réalisation préféré de l'invention, il s'agit des formes prises par la main et des positions 30 relatives des doigts. Dans la pratique, et bien que théoriquement le nombre de ces séries est infini, on enregistre un nombre fini de représentations distinctes, leur nombre dépendant du degré de précision désiré, et, de façon pratique, ce nombre de 35 représentations étant limité aussi par la résolution du capteur CMOS de la caméra. Chaque enregistrement en mémoire est constitué d'une table à deux dimensions constituée d'éléments binaires, chaque table représentant une forme distincte prédéfinie d'image, c'est-à-dire un nuage de points ou pixels dont le nombre total est limité par la définition de l'écran graphique utilisé. Pour fixer les idées, si l'écran graphique possède une définition de 800X600 pixels, un enregistrement en mémoire représente une image de 480000 pixels. Dans les phases ultérieures du procédé selon l'invention, que l'on peut qualifier d'opérationnelles ou "utiles", la caméra CMOS acquière des premières séries d'informations représentatives des images de l'objet, par exemple une main et ses doigts, en déplacement ou immobile. Chaque pixel des images captées définit une information élémentaire du type "tout ou rien" : "0" ou "1" logique, les "1" représentant, par exemple, les parties appartenant à l'image d'un objet. L'ensemble des signaux transmis aux moyens de calcul se présente également sous la forme d'une table à deux dimensions constituée d'éléments binaires représentant l'image instantanée de l'objet projeté sur le plan image de la caméra.
On effectue ensuite une recherche dans la base de données, de façon à procéder à une comparaison entre le contenu de la table d'éléments binaires représentant l'image captée et les tables représentant les formes d'image distinctes préenregistrées dans la base de données pendant la phase préliminaire. En ayant recourt à des algorithmes de corrélation, bien connus de l'Homme du Métier, on détermine si l'image captée correspond à une des formes d'objet contenues dans la base de données. De façon pratique, la résolution du capteur et la précision du processus d'acquisition n'étant pas infinies, il est nécessaire de vérifier si un seuil minimum préétabli, que l'on appellera de concordance de contenu des tables, est atteint. Typiquement, pour fixer les idées, un seuil de 85% pourra être retenu. Si le résultat de la comparaison est positif, on en déduit que l'image captée par la caméra CMOS correspond effectivement à une forme d'objet préenregistrée et donc connue. Les capteurs à photodiodes individuels disposés en périphérie de l'écran de visualisation sont tous identiques, qu'ils soient placés selon des directions que l'on appellera arbitrairement horizontale ou verticale. Ces capteurs acquièrent des deuxièmes séries d'informations renseignant notamment sur le sens du mouvement en fonction de l'ordre des capteurs "survolés" par l'objet en mouvement, mais aussi sur sa direction. A chaque survol, une photodiode particulière capte une ou plusieurs occultations d'un rayonnement lumineux selon la structure de capteur mise en oeuvre. Pour effectuer un traitement approprié des signaux électriques générés en sortie des photodiodes qui vont permettre de reproduire par leur action simultanée le procédé du multipointage, on fait appel avantageusement à une propriété mathématique bien connue, à savoir celle associée aux "séquents".
Un séquent représente un couple de listes finies de formules usuellement notées : A1, . . , An H B 1 , . . , Bp Les valeurs AX (avec x prenant les valeurs 1 à n) représentent des hypothèses et BX (avec x prenant les valeurs 1 à p) des conclusions du séquent. Al peut représenter la même formule que An. On dit alors que cette formule possède plusieurs occurrences dans le séquent. Les valeurs du séquent sont reliées par des connecteurs logiques, par exemple "ET logique", représenté par le symbole "n", "OU logique", représenté par le symbole "y", "NON logique", représenté par le symbole "-7", constante "FAUX", représentée par le symbole ".-" etc. De façon pratique, dans l'exemple d'application préféré de l'invention, la conjonction logique d'événements représente le fait que ces événements sont présents simultanément. La conjonction de deux propositions A et B est donc vraie si les deux propositions sont simultanément vraies; sinon elle est fausse. A titre d'exemple, si on utilise des capteurs à triple 35 captation, dans l'exemple de réalisation préféré du système de l'invention, en appliquant les propriétés des séquents précités, on obtient pour un capteur unique : -(A1= lère captation ; A2 = 2ème captation ; A3 = 3ème captation) = hypothèses -(B1 = lère information ; B2 = 2ème information ; B3 3ème information) = conclusions L'opérateur logique qui décrit chaque capteur est donc de type ternaire. Il s'ensuit que, pour un mouvement de la main allant de : Al vers A2, on obtient la condition logique suivante : (A1 (1 A2 fl A3) --> (B1 fl B2 fl B3) correspondant à l'information générée par une seule photodiode. Cela signifie que s'il existe une première captation, puis une deuxième et une troisième, cela implique l'envoi de trois informations successives. De même pour "n" capteurs photodiodes placés à la suite les uns des autres, on obtiendra "3n" informations. L'ordre d'arrivée de ces informations renseignement sur le sens du mouvement de l'objet. Enfin, les capteurs étant disposés sur le pourtour de l'écran de visualisation, de préférence suivant deux axes orthonormés, on peut également déterminer l'axe du mouvement, c'est-à-dire la direction du déplacement projetée sur un plan. Simultanément, une information de distance de la main ou de l'objet qui passe devant l'écran par rapport à cet écran peut être obtenue toujours par l'intermédiaire des informations acquises par les capteurs photodiodes en les corrélant à celles obtenues par la caméra CMOS. En effet, l'évaluation de la distance séparant l'objet de l'écran peut être obtenue en opérant une comparaison entre l'identification d'une taille réelle de main et/ou de doigts, qui peut être préenregistrée dans l'appareil informatique ou saisie par l'opérateur part l'intermédiaire, par exemple, d'un clavier d'entrée de données, et sa correspondance d'affichage après captation par la caméra CMOS. Les traitements des informations générées par les capteurs et les opérations de calculs nécessaires à ces traitements peuvent être effectuées, de façon bien connue en soi, par des organes de calcul associés à l'appareil informatique, sous la conduite de programme enregistré, par exemple par l'unité centrale à microprocesseur d'un micro-ordinateur.
Dans une variante supplémentaire du système mettant en oeuvre le procédé de l'invention, on dispose des capteurs photodiodes ou équivalents dans deux plans formant entre eux un angle non nul, de préférence dans deux plans orthogonaux entre eux.
Dans un mode de réalisation préféré de cette variante supplémentaire, des premiers capteurs sont disposés suivant deux axes orthonormés sur le pourtour de l'écran de visualisation d'un appareil informatique, formant un premier plan de captation, et des deuxièmes capteurs sont disposés sur un clavier d'entrée de donnée, suivant deux axes orthonormés, formant un deuxième plan de captation. Ces capteurs sont complétés, comme précédemment, par une caméra CMOS solidaire dudit écran de visualisation. Cette disposition à l'avantage de permettre une acquisition de mouvement en trois dimensions, en multipliant les axes de captation des capteurs à photodiodes. Grâce aux dispositions spécifiques de l'invention qui viennent d'être rappelées, celle-ci atteint bien les buts qu'elle s'est fixés L'invention a donc pour objet principal un procédé d'acquisition sans contact des mouvements d'un objet de forme variable dans le temps se déplaçant devant un organe de visualisation d'un appareil informatique comprenant un écran, caractérisé en ce qu'il comprend : - une phase préliminaire comprenant la construction d'une base de données constituée d'une série finie d'enregistrements numériques ayant la structure de tables à deux dimensions constituées d'éléments binaires, chaque table représentant une forme distincte prédéfinie d'image dudit objet projeté sur l'écran de l'organe de visualisation, ledit objet étant disposé dans l'espace à une distance déterminée de l'écran ; et - au moins une phase ultérieure d'acquisition sans contact des mouvements dudit objet se déplaçant dans l'espace devant l'écran comprenant au moins les étapes suivantes : une étape d'acquisition d'une première série d'informations obtenues par la captation de l'image dudit objet projeté sur le plan image d'une caméra numérique fixé à l'écran, la caméra scindant l'image captée en un nuage de points convertis en une pluralité de signaux électriques numériques élémentaires rassemblés dans une table à deux dimensions constituée d'éléments binaires ; une étape itérative de comparaisons du contenu de ladite table générée par la caméra numérique avec les contenus des tables enregistrées dans la base de données jusqu'à l'obtention d'un résultat de comparaison positif, de manière à déterminer la forme de l'objet, cette forme étant celle représentée par l'enregistrement numérique ayant provoqué ledit résultat positif ; et une étape d'acquisition d'une seconde série d'informations à l'aide d'une pluralité de capteurs unitaires photosensibles, disposés sur la périphérie de l'écran, détectant le passage dudit objet dans des régions délimitées de l'espace situées au-dessus desdits capteurs et générant une combinaison séquentielle ou simultanée de signaux de sortie en réponse à la détection de ces passages et de l'ordre de ces passages d'un capteur au suivant, lesdites premières et secondes séries d'informations étant corrélées, de façon à déterminer au moins le sens, la direction et la nature du mouvement de l'objet se déplaçant devant l'écran. L'invention a encore pour objet un système pour la mise en oeuvre d'un tel procédé assurant les fonctions de pointage multiple sur écran. L'invention va maintenant être décrite de manière plus détaillée en se référant aux dessins annexés, parmi lesquels: - la figure 1 illustre schématiquement un exemple de réalisation d'un système d'acquisition sans contact des mouvements d'un objet de forme variable dans le temps selon l'invention, - les figures 2A à 2E illustrent schématiquement cinq exemples de formes/positions de main enregistrées dans une base de données pendant une phase initiale du procédé selon l'invention, - les figures 3 à 5 illustrent schématiquement l'acquisition de la forme d'une main se déplaçant selon un mouvement circulaire devant un écran, - les figures 6 à 8 illustrent un mode de réalisation préféré des photodiodes utilisées pour détecter le sens du 10 mouvement de l'objet, - la figure 9 illustre un livre dit électronique implémentant le procédé de l'invention, et - la figure 10 illustre un mode de réalisation supplémentaire d'un système d'acquisition sans contact des 15 mouvements d'un objet de forme variable permettant de capter les coordonnées de l'objet suivant sept axes. Dans ce qui suit, sans en limiter en quoi que ce soit la portée, on se placera ci-après dans le cadre de l'application préférée de l'invention, sauf mention contraire, c'est-à-dire 20 dans le cas d'un procédé d'acquisition sans contact des mouvements d'un objet de forme variable devant un écran de visualisation d'un appareil informatique, de façon plus précise de la main d'un opérateur, poignet et doigts. Dans ce qui suit toujours, les éléments communs à 25 plusieurs figures portent les mêmes références et ne seront re-décrits qu'en tant que de besoin. De même, dans un but de simplification, les composants semi-conducteurs à effet photo-électrique seront supposés être des photodiodes et la caméra numérique de captation d'image du type CMOS, sans que 30 cela ne limite en quoi que ce soit la portée de l'invention. Le procédé selon l'invention va maintenant être décrit par référence aux figures 1 à 10. La figure 1 illustre schématiquement un micro-ordinateur 1 comprenant un organe de visualisation 2 dont l'écran est du 35 type à dalle tactile 20. Ce type de technologie est bien connu de l'Homme du Métier et il est inutile de le décrire plus avant.
Le micro-ordinateur 1 comprend également une unité centrale 3 dotée d'au moins de moyens de calcul (non expressément représentés) et d'une unité de mémoire de masse, par exemple à disque dur 4, que l'on a représenté, pour faciliter la description qui va suivre, externe à l'unité centrale. On prévoit généralement des moyens d'entrée de données : clavier 5, souris informatique 6 et stylet 7 de pointage sur l'écran 20, étant entendu que le pointage peut aussi s'effectuer, en fonction de la technologie d'écran tactile 20 mise en oeuvre, par simple toucher de doigt de l'opérateur (non représenté) sur l'écran 20. L'unité centrale 3 commande l'affichage de l'écran, par exemple l'affichage d'un élément graphique quelconque EG, par l'intermédiaire d'un bus de sortie 30 et de circuits d'entrée-sortie et d'interface (non représentés). Le clavier 5 communique avec l'unité centrale 3 par l'intermédiaire d'un bus de sortie 50 et la souris par l'intermédiaire d'une liaison filaire 60. On peut naturellement faire appel à des liaisons sans fils pour tout ou partie des périphériques rappelés ci-dessus. Enfin, le disque dur 4 communique avec l'unité centrale 3 par l'intermédiaire d'un bus bidirectionnel de transmission de données 31. A ce stade de la description, l'architecture du micro-ordinateur 1 de la figure 1 ne diffère en rien de l'architecture d'un micro-ordinateur de l'art connu. De façon spécifique, selon une première caractéristique importante de l'invention, on prévoit un premier type de capteur, à savoir une caméra numérique CAM, de préférence réalisée en technologie CMOS. Les transistors CMOS constituent des sites photosensibles selon une configuration matricielle à deux dimensions, aux intersections de lignes et de colonnes. L'image d'un objet, par exemple de la main M d'un opérateur, est projetée sur le plan image de la caméra (matrice de sites photosensibles), scindée en un nuage de points ou pixels convertis, chacun, en un signal électrique de sortie élémentaire par les transistors CMOS. La camera CMOS communique avec l'unité centrale 3 par l'intermédiaire d'un bus de sortie Bscam de façon à transmettre les informations lumineuses captées et converties en signaux électriques. Chaque signal électrique élémentaire est converti en un signal binaire, de valeur "1" ou "0" logique. L'une de ces valeurs, par exemple le "1" logique, est attribuée aux zones comprises dans l'image, l'autre valeur, "0" logique", aux zones extérieures à l'image. Les informations délivrées par la caméra CAM représentent donc l'image, sous forme d'un nuage de points ou pixels, de la main M d'un opérateur et des positions 10 relatives des doigts de la main M. Dans l'exemple illustré sur la figure 1, le pouce P et l'index I sont complètement écartés. Bien que représentée à l'extérieur de l'écran pour des raisons de clarté du dessin, on doit bien comprendre que la main M se déplace devant 15 l'écran 20 et à proximité de celui-ci, par exemple, pour fixer les idées à une distance de 10 à 15 cm, compte tenu des dimensions habituelles d'un écran de micro-ordinateur. La main M est supposée ici sensiblement parallèle au plan de l'écran 20. 20 La main M est susceptible de se déplacer de façon quelconque devant l'écran 20. Notamment, la main peut effectuer des déplacements circulaires Mvtr et les doigts, par exemple l'index I et le pouce P, des déplacements en translation MVtr lorsqu'ils s'écartent (position écartée 25 représentée sur la figure 1) ou se rapprochent. Selon une autre caractéristique importante de l'invention, des capteurs individuels de type photodiode sont disposés en périphérie de l'écran de visualisation 20 : pour fixer les idées, dans l'exemple décrit, deux sur le côté 30 gauche, Cyl et Cy2, deux sur le côté droit, Cy3 et Cy4, trois sur le côté supérieur, Cxl à Cx3, et trois sur le côté inférieur, Cy4 à Cx6. Naturellement, le nombre de photodiodes dépend de la précision souhaitée pour une application particulière. Les photodiodes sont sensibles dans le domaine 35 de l'infrarouge. Les photodiodes, Cyl à Cx6, sont disposées, de préférence, selon deux axes orthonormés YX, et les signaux électriques générés en sortie des photodiodes, Cyl à Cx6, sont transmis à l'unité centrale 3 via des liaisons filaires, représentées sur la figure 1 par un bus unique BSC. Comme il a été rappelé dans le préambule de la présente description, les signaux de sortie de la caméra CAM sont représentatifs des caractéristiques de l'image de la main M projetée sur le plan image de cette caméra. De façon plus précise, ils représentent un nuage de points, chacun étant associé à élément binaire, "1" ou à un "0" logique, selon qu'un point est situé ou non à l'intérieur de la main M et de 90 ces doigts, I et P. L'ensemble de ces éléments binaires est rassemblé dans une table à deux dimensions. Pour déterminer quelle est la forme instantanée de la main M, il est nécessaire, selon l'invention de comparer le contenu de cette table, c'est-à-dire une distribution particulière de "1" et 15 de "0", aux contenus des tables préenregistrées dans une base de données pendant une phase initiale. La comparaison s'effectue en mettant en oeuvre un algorithme de corrélation entre des tableaux matriciels de valeurs binaires ("1" ou Le mode d'obtention de cette série de tables 20 préenregistrées sera explicité ci-après par référence aux figures 2A à 2E. la base de données peut être constituée par un ensemble de positions de mémoire du disque dur 4 réservées à cet effet. Le processus de comparaison est effectué sous la 25 commande de l'unité centrale 3, à l'aide de programmes appropriés. L'élaboration de programme de comparaison de données est tout à fait classique et à la portée de l'Homme de Métier. De façon pratique, l'unité centrale 3 adresse des positions successives de la mémoire 4 jusqu'à l'obtention 30 d'un résultat de comparaison positif. Le contenu de la table particulière permettant d'obtenir ce résultat positif représente la forme de l'objet capté, la main M : poignet PG, pouce P et index I. Comme il a été rappelé également, il convient de vérifier si un seuil dit de concordance de 35 contenu est atteint pour s'assurer que l'acquisition est correcte. Dans certains cas, ce critère ne pourra être vérifié et aucune comparaison positive ne pourra donc être obtenue, par exemple si la main M est trop éloignée de l'écran 20 ou pour toutes autres raisons. Dans ces circonstances, l'unité centrale 3 peut commander l'affichage sur l'écran 20 d'un message destiné à l'opérateur pour qu'il réessaie un autre mouvement de la main M jusqu'à obtention d'un résultat positif. Cette première série d'informations générées par le capteur CAM n'est pas suffisante, comme il a également été précisé, pour, notamment, déterminer le sens du mouvement de la main M devant de l'écran 20.
Pour ce faire, les signaux de sortie des capteurs, Cyl à Cx6, véhiculés sur le bus multifilaire Bsc sont également collectés par l'unité centrale 3 et traitées par une série de calculs en faisant appel aux propriétés des séquents rappelés dans le préambule de la présente description.
Puisque les capteurs, Cyl à Cx6, sont répartis sur deux axes orthonormés, arbitrairement dits vertical Y (gauche . Cyl - Cy2 et Cy3 et droite : Cy4), et horizontal X (inférieur : Cxl - Cx3 et supérieur : Cx4 - Cx6) , les coordonnées de la main M sont captées et transmises à l'unité centrale 3 sur un total de quatre axes. On obtient donc grâce aux capteurs, Cyl à Cx6, des informations de sens de mouvement, de vitesse et de longueur et, selon leurs positions sur la périphérie de l'écran 20, des informations d'axe du mouvement (orientation). La gestion d'un mouvement opéré sur l'axe horizontal est définie par une moyenne des résultats obtenus sur les deux axes de façon simultanée. Du fait du double processus qui vient d'être décrit, l'unité centrale 3 connaît la forme de la main M, et dans le cas général d'un objet quelconque, sa taille, à quelle distance elle se trouve de l'écran 20, son sens de déplacement et l'axe de ce déplacement par rapport au plan XY de l'écran 20. Lorsque le mouvement s'arrête ou s'inverse, les capteurs photodiodes, Cyl et Cx6, permettent l'acquisition d'un nouvel emplacement de pointage sur l'écran qui correspond soit au point d'arrêt du mouvement, soit au point d'une autre direction de déplacement. L'initialisation du processus d'acquisition peut être commandée par l'opérateur, par exemple par un pointage double ou simple sur une zone spécifique de l'écran tactile 20 à l'aide du stylet 7. Une réinitialisation et/ou l'arrêt de ce processus peut être obtenue également par l'opérateur, par exemple par un nouveau pointage. Ces actions pourraient également résulter d'un mouvement spécifique de la main M devant l'écran 20, par exemple en pointant l'index I vers l'écran 20 d'une manière préétablie, ce mouvement ou cette combinaison de mouvements étant détectée et interpréter par l'unité centrale 3 comme une commande également spécifique.
De manière plus générale, l'acquisition de mouvements particuliers de la main Met des formes prises par celle-ci : poing fermé, doigts écartés, etc., peut conduire à la génération de commandes à distance, c'est-à-dire sans contact, d'affichages d'éléments graphiques divers, par exemple EV, et/ou textuels, de modifications de ces affichages et/ou occasionner leurs déplacements sur l'écran 20. On peut également générer de cette façon des commandes de lancement de logiciels particuliers : lancement d'un logiciel de traitement de texte, de messagerie, etc...
On va maintenant décrire la façon de pré-enregistrer dans la base de données 4, lors d'une phase préliminaire, différentes formes d'objet dont les images seront susceptibles d'être captées par la caméra CAM pendant des phases opérationnelles ultérieures. Comme il a été rappelé, les images captées sont représentées par une pluralité d'éléments binaires, "0" ou "1" logique. Ces différentes tables, en nombre fini, sont enregistrées dans la base de données 4 sous la forme de tables ou tableaux matriciels à deux dimensions. Ces tables sont accessibles en leur attribuant une adresse de mémoire distincte. Chaque cellule de la table enregistre une valeur binaire, "1" ou "0", dont les coordonnées sont représentatives de l'appartenance ou non à l'image de l'objet. Il suffira alors, pendant la phase opérationnelle, d'adresser séquentiellement les diverses positions de mémoire de la base de données 4 et de lire la pluralité de données binaire (table matricielle) qui y sont enregistrées en vue d'effectuer des comparaisons avec le contenu de la table représentant l'image instantanée de la main M projetée sur le plan image de la caméra CAM. Les tables enregistrées dans la base de données 4 peuvent être obtenues par diverses méthodes : par exemple de façon théorique, par le calcul et pré-chargées, ou de façon expérimentale en utilisant la caméra CAM et en plaçant un objet similaire, sinon identique, à celui utilisé ultérieurement, par exemple la main M d'un opérateur, dans des positions prédéfinies de l'espace par rapport au plan de l'écran 20, en imprimant également au poignet et aux doigts des positions prédéfinies : doigts écartés, serrés, etc. On peut aussi recourir à des algorithmes d'apprentissage. Bien que la phase d'enregistrement préliminaire soit a priori unique, contrairement aux phases opérationnelles ultérieures que l'on peut qualifier d'utiles, l'invention n'interdit pas la mise à jour, de façon régulière ou non, de la base de données 4, par adjonction de tables représentant de nouvelles formes d'objet, correction de certaines tables qui conduise à l'acquisition de formes d'objet défectueuses par exemple et/ou suppression pure et simple de tables devenues inutiles. Il suffit de prévoir une commande du processus de mise à jour de la base de donnée qui peut être saisie, par exemple par l'intermédiaire du clavier 5 ou d'un organe de pointage, souris 6, stylet 7, etc.
Pour fixer les idées, on va maintenant décrire par références aux figures 2A à 2E cinq exemples de formes/positions de main : poignet et doigts, notamment de la paire de doigts index-pouce. En regard de chaque image, on a représenté un tableau composé de quatre colonnes et de quatre lignes, soit un quadrillage de seize cases ou cellules. Ce tableau représente schématiquement l'image de la main qui sera perçue par la caméra CAM, c'est-à-dire le nuage de points précité, à une distance prédéfinie du plan de l'écran 20, typiquement comprise entre 3 et 10 centimètres environ. Plus précisément, les cellules du tableau représentant des points appartenant à l'image de l'objet sont arbitrairement noircies, les autres cellules ont été laissées vides.
Les quadrillages précités constituent une reproduction imparfaite de la main vue par la caméra CAM dans une série finie de positions prédéfinies. Dans la pratique, les tableaux ont la taille de l'écran 20 et le nombre de cellules est beaucoup plus grand que seize. Comme il a été rappelé, le nombre de cellules est toutefois limité par la définition de l'écran 20. Il est au plus égal au nombre de pixels de l'écran 20, par exemple au plus égal à 480000 pour un écran 20 de 800x600 pixels. Cependant, la reconnaissance de forme ne s'effectuera que sur un nuage de points répartis sur le périmètre de l'ensemble des cellules noircies d'un tableau et non pas sur la totalité des cellules de celui-ci, ce qui limite le temps nécessaire aux comparaisons successives entre tables préenregistrées et table représentant le nuage de points captés par la caméra CAM à un instant donné. Ces opérations de comparaisons nécessitent notamment des adressages successifs de la base de données 4, pour chaque table lue dans la base de données, une opération de comparaisons entre le contenu de cette table (représentant une forme particulière d'objet) et la table captée, une opération de vérification permettant de déterminer si un seuil déterminé, dit de concordance de contenu, est respecté (seuil supérieur typiquement de 85 %), jusqu'à l'obtention d'un résultat positif sur ces deux dernières opérations.
La figure 2A illustre schématiquement une forme de main M1 et des positions relatives du pouce et de l'index correspondant, sur cette figure, à celles illustrées sur la figure 1 : poignet PG parallèle à la surface de l'écran 20 et pouce P et index I complètement écartés, les autres doigts étant repliés. Le tableau RM1 correspondant représente schématiquement l'image qui d'une telle main M1. Il comporte six cellules noircies, celles du milieu et de gauche représentant le poignet et la case noircie supérieure l'index et la cellule noircie inférieure, décalée vers la droite, le pouce. Comme il a été rappelé, il s'agit d'une représentation très grossière de l'image de la main M1 donnée dans un seul but d'illustration du procédé permettant l'enregistrement de représentations numériques de nuages de points dans la base de données. La figure 2B illustre schématiquement une forme de main M2 de forme et de position semblable à celles de la main M1 mais pour laquelle le pouce et l'index sont jointifs. Le tableau RM2 comprend un carré de seulement quatre cellules noircies sur la gauche et dans une zone centrale du tableau. La figure 2C illustre schématiquement une forme de main M3, avec tous les doigts repliés sauf l'index. Ce dernier est pointé vers l'écran 20. Le tableau RM3 comprend un rectangle de six cellules noircies sur la gauche et dans une zone centrale du tableau (s'étendant sur deux lignes et trois colonnes). La figure 2D illustre schématiquement une forme de main M4, avec tous les doigts sont dépliés et serrés. Le tableau RM4 comprend un rectangle de six cellules noircies sur la droite, dans des positions miroirs de celles du tableau RM3. La figure 2E illustre une forme de main M5 semblable à celle de la main M4r mais située dans un plan sensiblement perpendiculaire au plan de l'écran 20. Le tableau RM5 comprend un rectangle de six cellules noircies sur la gauche et dans une zone inférieure du tableau (s'étendant sur trois lignes et deux colonnes). Ces tableaux sont convertis en une pluralité d'éléments binaires ("1" et "0" logiques) rassemblés dans des tables à deux dimensions enregistrées dans la base de données 4 pendant la phase initiale. On va maintenant décrire un exemple de mouvement de main devant l'écran 20 par référence aux figures 3 à 5. Sur ces figures on a représenté une main M' se déplaçant selon un arc de cercle de 180° entre une position initiale M' 1 (figure 1) et une position finale M'6 (figure 5) devant l'écran 20. Sur la figure 3, la main M' a la forme prise par la main M de la figure 1 : doigts repliés sauf le pouce Pl_P6 et l'index Il-I6 écartés. On suppose que cette forme reste invariable pendant le déplacement circulaire (sens horaire dans l'exemple décrit). On a également représenté sur les figures 3 et 5 les projections des extrémités des pouce et index sur le plan de l'écran 20, par rapport à un quadrillage XY orthonormé de l'écran : images II1 et IP1 (positions de départ) et 116 et IP6 (positions finales). On a également représenté les projections de la main M' sur le plan image de la caméra CAM schématisé par un carré symbolisant l'arrangement matriciel : plan image constitué par une pluralité de transistors CMOS. Ces projections sont les images successives de la main, M'1 à M'6, lors de son déplacement circulaire. Les six images successives captées par la caméra CAM sont représentées schématiquement par les tableaux ICI à IC6. Le tableau ICI correspond à la forme préenregistrée de la figure 2A (main M : figure 1). Une recherche dans la base de données 4 va conduire à un résultat positif après une étape de comparaisons successives, et la forme correspondant à la figure 2A va être acquise par le système symbolisée par le tableau RM1. On doit bien comprendre que les zones noircies du tableau RMI sont une vue "miroir" des zones noircies du tableau ICI. A l'examen des tableaux ICI et IC6i on constate que, lors du déplacement circulaire de la main, M' l à Ar,, la forme de l'image captée par la caméra CAM reste bien invariable : les positions relatives des cellules noircies restent en effet inchangées. Il en est de même pour le contour de l'image projetée qui en définit les frontières. Les coordonnées des cellules noircies sur la matrice de transistors CMOS vont par contre varier au gré du déplacement circulaire de la main et de sa projection sur le plan de la caméra CAM. Les tableaux matriciels d'éléments binaires reçus par les organes de calcul de l'unité centrale 3 (figure 1) reflètent ces caractéristiques : invariance de la forme et variations des coordonnées des images élémentaires dans la matrice. Sur les figures 4B à 4D, on a seulement représenté les orientations successives des tableaux, 1c2 à IC5, représentant les projections de la main, 14'2 à M"5, sur le plan image de la caméra CAM, c'est-à-dire les orientations intermédiaires entre la position de départ, ICI, et la position finale IC6.
Simultanément, les photodiodes, Cyl à Cx6, génèrent des informations de sens de mouvement, de vitesse, de longueur et, selon leurs positions sur le périphérie de l'écran 20, des informations d'axe (orientation) du mouvement de la main, M'1 à M'6. Ces informations permettent, quelle que soit l'orientation instantanée de la main, M'1 à M'6, par rapport au plan de l'écran 20 (quadrillage orthonormé XY), d'effectuer une comparaison avec le contenu de la base de 10 données 4 (figure 1) qui conduit toujours à sélectionner, en temps réel, la forme représentée par la figure 2A. Les organes de calcul procédent à une ré-orintation des tableaux, ICI à IC6, pour retrouver le tableau IC1, en fonction des informations délivrées par les photodiodes, Cyl à Cx6, le 15 corréler avec le tableau RM1 et acquérir la forme correspondante à ce tableau. Comme il a été indiqué précédemment, les photodiodes de conception classique présentent un inconvénient important car elles ne captent que les stimuli situés à l'intérieur d'un 20 cône restreint d'axe de symétrie vertical. Aussi, dans un mode de réalisation préféré, on met en oeuvre des capteurs à photodiode dotée d'une structure permettant une captation triple du mouvement d'un objet suivant une direction quelconque d'un plan. Une telle 25 structure de diode va maintenant être décrite par référence aux figures 6 à 8. La figure 6 illustre schématiquement, en vue transversale dans l'espace, une des caractéristiques importantes du capteur C selon ce mode de réalisation à 30 savoir une structure tridimensionnelle, formant un trapèze isocèle plat, constituée de cinq parois translucides : les parois latérales 82 à 85 et la paroi supérieure 81. Dans le cadre de l'invention, on entend par "translucide" un matériau laissant passer sans affaiblissement notable tout ou partie 35 des longueurs d'onde du rayonnement lumineux illuminant le capteur et pour celles pour lesquelles celui-ci est sensible. La paroi inférieure 80 peut être quelconque quant à ses propriétés optiques : elle ne sert que de support à une photodiode D de structure plane. Selon une autre caractéristique importante, on adjoint aux parois latérales, 82 à 85, des lentilles convexes convergentes, dont deux, L2 et L3, sont visibles sur la figure 6. Les faces planes de ces lentilles, L2 et L3, sont apposées sur les faces internes de ces parois. L'intérêt consistant à adjoindre des lentilles convergentes (par exemple L2 et L3) sur toutes les parois latérales, 82 à 85, de la structure trapézoïdale du capteur C est essentiellement de permettre une amplification de l'énergie du spectre lumineux atteignant la photodiode D, afin d'accroître mécaniquement la sensibilité de ce capteur. Selon une autre caractéristique importante de l'invention, on munit les parois latérales, 82 à 85, et la paroi supérieure 81, de bandes, opaques au rayonnement lumineux. Ces bandes forment des zones sombres de forme rectangulaire. Des premières bandes, 90, 93-94 et 97, sont parallèles à l'arête supérieure de ces parois et couvrent des zones supérieures de ces parois à partir des arêtes précitées. La paroi supérieure 81 est également pourvue, sur sa périphérie, de bandes opaques rectangulaires, 91-92, 95-96, parallèles aux arêtes supérieures des parois latérales et formant continuité avec les bandes latérales. Si on considère la structure illustrée par la figure 6, il s'ensuit que, quel que soit le mouvement effectué au-dessus du capteur C, de gauche vers la droite, de droite vers la gauche, de l'avant vers l'arrière et de l'arrière vers l'avant, le capteur C capte systématiquement trois informations à chaque fois. La figure 6 illustre schématiquement, pour un mouvement de droite à gauche, la succession des trois informations de mouvements captés, sont référencées Info1 à Info3.
Pour fixer les idées, dans un exemple de réalisation pratique, la hauteur h de la structure trapézoïdale du capteur C (distance entre le support 80 entre la paroi supérieure 81) est typiquement de l'ordre de 7 mm. Comme illustré en regard de la figure 8, la longueur Lo est typiquement de l'ordre de 30 mm et la largeur La de l'ordre de 15 mm, valeurs prises à la base de la structure trapézoïdale.
Comme illustré par la figure 7, le capteur est agencé de façon à ce qu'il permette la captation d'un mouvement horizontal proche détecté au-dessus de la structure trapézoïdale sous trois segments angulaires successifs . entre 0° et 01°, puis entre 02° et 03° , et enfin entre 04o et 180°. Typiquement, et quelles que soient les dimensions relatives des parois, 10 à 15, de la structure trapézoïdale 1, d'une part, et des bandes opaques, 30 à 37, d'autre part, celle-ci est agencée pour que les valeurs de 01° à 04°, soient respectivement les suivantes : 40°, 60°, 120° et 140°, ce quel que soit le sens du mouvement, de la droite vers la gauche et inversement (dans l'exemple de la figure 7), ou de l'avant vers l'arrière et inversement. La figure 8 illustre, en vue de dessus, un exemple de capteur C selon un mode de réalisation préféré de l'invention. On retrouve les éléments décrits sur les figures 6 et 7, qu'il est inutile de détailler de nouveau. La seule différence est que l'on prévoit, aux quatre coins supérieurs de la structure trapézoïdale, entre les bandes opaques, 90 à 97, des zones dites "blanches" donnant sur des espaces vides 900 à 903. Pour fixer les idées, le matériau constituant les parois 81 à 85 peut être du verre, du plastique ou tout autre matériau approprié laissant passer tout ou partie des longueurs d'onde de la lumière reçue par le capteur C. Cet aspect ne constitue qu'un choix technologique à la portée de l'Homme de Métier. La figure 9, illustre un appareil de type dit "livre électronique" pour la mise en oeuvre du procédé selon l'invention et incorporant des capteurs à photodiodes du type de celui décrit en regard des figures 6 à 8.
Le livre électronique Le comporte deux écrans repliables, P1 et P2, simulant les pages en regard d'un livre standard dit "papier". Toujours dans l'exemple de réalisation illustré par la figure 9, on a disposé des séries de capteurs autour des zones utiles d'affichage, P1 et P2, du livre électronique Le. Ces capteurs sont dénommés, Cx10 à Cx13, suivant un axe horizontal et, Cy11 à Cy14i suivant un axe vertical, pour P1, et Cx20 à Cx23r suivant un axe horizontal et Cy21 à CY2 4 r suivant un axe vertical, pour P2. Naturellement, on prévoit également un capteur du type caméra CAM, ayant la même fonction que celle implémentée dans le micro-ordinateur de la figure 1. La caméra CAM peut être disposée dans la partie inférieure gauche de la l'écran P2.
Comme précédemment également, on prévoit notamment des moyens de traitement de signaux à programme enregistré et de mémorisation pour l'enregistrement de la base de données créée dans la phase initiale. Dans le cas d'appareils informatiques spécifiques tels que des ordinateurs portables, il est possible de disposer d'un repère orthonormé en trois dimensions comme le montre la figure 10 qui illustre un mode de réalisation supplémentaire de l'invention. L'écran plat 20 définit un premier plan d'axes orthonormés ZY, supposé vertical sur la figure 10, et le clavier 5 un second plan, d'axes orthonormés XY, orthogonal au premier et supposé horizontal. Dans cette structure particulière, on place des capteurs photodiodes tel que précédemment (figures Czy, et sur deux axes sous la référence également un capteur inférieure de l'écran spécifié dans les dispositifs décrits 1 et 9), autour de l'écran : capteurs orthogonaux sur le clavier 5 : capteurs unique C, . Naturellement, on place CAM, de type caméra CMOS sur la partie 20, comme précédemment.
Cette disposition avantageuse permet de gérer plus facilement la profondeur de champ de capteurs ainsi formée, le tout avec la caméra CMOS pour confirmer les mouvements via le processus d'identification avec les enregistrements de la base de données (non représentée sur la figure 10). Ainsi, un objet en position E dans l'espace se trouve dans un champ dont les coordonnées en temps réel sont captées et transmises sur un total de sept axes : 0G, OX, OZ, XE, EG, ZF et FG au lieu de seulement quatre axes pour les systèmes en deux dimensions décrits en regard des figures 1 et 9. A la lecture de ce qui précède, on constate aisément que 10 l'invention atteint bien les buts qu'elle s'est fixée, et qu'il est inutile de rappeler entièrement. Toutefois, l'invention n'est pas limitée aux seuls dispositifs conformes aux modes de réalisation explicitement décrits en regard des figures 1 à 10.
15 Notamment, l'organe de visualisation ne nécessite pas la mise en oeuvre d'un écran à dalle tactile.

Claims (9)

  1. REVENDICATIONS1. Procédé d'acquisition sans contact des mouvements d'un objet de forme variable dans le temps se déplaçant devant un organe de visualisation d'un appareil informatique comprenant un écran, caractérisé en ce qu'il comprend : - une phase préliminaire comprenant la construction d'une base de données (4) constituée d'une série finie d'enregistrements numériques ayant la structure de tables (RM1, RM5) à deux dimensions constituées d'éléments binaires, chaque table représentant une forme distincte (M1, M5) prédéfinie d'image dudit objet projeté sur l'écran de l'organe de visualisation (20), ledit objet (M1, M5) étant disposé dans l'espace à une distance déterminée de l'écran (20), et - au moins une phase ultérieure d'acquisition sans contact des mouvements dudit objet (M) se déplaçant dans l'espace devant l'écran (20) comprenant au moins les étapes suivantes : une étape d'acquisition d'une première série d'informations obtenues par la captation de l'image dudit objet projeté sur le plan image d'une caméra numérique (CAM) fixé à l'écran (20), la caméra (CAM) scindant l'image captée en un nuage de points convertis en une pluralité de signaux électriques numériques élémentaires rassemblés dans une table à deux dimensions constituée d'éléments binaires (IC1, IC6), une étape itérative de comparaisons du contenu de ladite table (ICI, IC6) générée par la caméra numérique (CAM) avec les contenus des tables (RM1i RM5) enregistrées dans la base de données (4) jusqu'à l'obtention d'un résultat de comparaison positif, de manière à déterminer la forme de l'objet (M), cette forme étant celle représentée par l'enregistrement numérique ayant provoqué ledit résultat positif, et une étape d'acquisition d'une seconde série d'informations à l'aide d'une pluralité de capteurs unitaires photosensibles (Cyl à Cx6), disposés sur la périphérie de l'écran (20), détectant le passage dudit objet (M) dans des régions délimitées de l'espace situées au-dessus desditscapteurs (Cyl à Cx6) et générant une combinaison séquentielle ou simultanée de signaux de sortie (BSC) en réponse à la détection de ces passages et de l'ordre de ces passages d'un capteur au suivant, lesdites premières et secondes séries d'informations étant corrélées, de façon à déterminer au moins le sens, la direction et la nature du mouvement de l'objet (M) se déplaçant devant l'écran (20).
  2. 2. Procédé selon la revendication 1, caractérisé en ce que, les étapes itératives de comparaison étant réalisées par un processus de corrélation entre les deux tables (RM1, RM5, ICI, IC6) d'éléments binaires à deux dimensions, il comprend une étape supplémentaire, exécutée à la suite de l'obtention d'un résultat de comparaison positif, consistant à vérifier si un seuil dit de concordance de contenu minimal desdites deux tables est atteint.
  3. 3. Procédé selon les revendications 1 ou 2, caractérisé en ce que ledit objet est la main (M) d'un opérateur, le poignet (PG) et les doigts (P, I) de ladite main (M) se déplaçant dans l'espace devant l'écran (20), les variations des orientations de ce poignet dans l'espace et les positions relatives des doigts (P, I) entre eux et par rapport au poignet (PG) occasionnant des variations de la forme des images de cette main (M) projetées sur l'écran (20) et captées par ladite caméra numérique (CAM).
  4. 4. Système d'acquisition sans contact des mouvements d'un objet de forme variable dans un appareil informatique pour la mise en oeuvre du procédé selon l'une quelconque des revendications précédentes, le système comprenant au moins un organe de visualisation muni d'un écran devant lequel ledit objet se déplace, un dispositif de traitement de données numériques comprenant des moyens de calcul et des moyens de mémorisation de données, caractérisé en ce que lesdits moyens de mémorisation de données (4) stockent, pendant ladite phase initiale, ladite série finie de tables à deux dimensions (RM1r RM5) constituées d'éléments binaires représentant des formes distinctes dudit objet (M1i M5), en ce qu'il comprend une caméra numérique (CAM) captant l'image dudit objet (M) sur un plan image et générant en sortie (Bscam) ladite tableà deux dimensions (ICI, IC6) constituées d'éléments binaires représentant ladite image, des moyens de comparaisons du contenu de cette table (ICI, IC6) avec les contenus des tables (RM1, RM5) de la base de données (4) sous la commande desdits moyens de calcul (3), en ce qu'il comprend une série de capteurs unitaires photosensibles (Cy10 à Cx13) répartis sur la périphérie de l'écran (20) détectant le passage dudit objet (M) dans des régions délimitées de l'espace, de manière à générer ladite seconde série d'informations, et en ce qu'il comprend des moyens de corrélation desdites premières et secondes séries d'informations sous la commande desdits moyens de calcul (3), de façon à déterminer au moins le sens, la direction et la nature du mouvement de l'objet (M)se déplaçant devant l'écran (20).
  5. 5. Système selon la revendication 4, caractérisé en ce que ladite caméra numérique (CAM) est une caméra en technologie CMOS.
  6. 6. Système selon la revendication 4, caractérisé en ce que lesdits capteurs unitaires photosensibles sont des 20 photodiodes (Cyl à Cx6) sensibles une gamme d'ondes lumineuses comprise dans l'infrarouge.
  7. 7. Système selon la revendication 6, caractérisé en ce que lesdites photodiodes (C) sont agencées de façon à permettre une captation des mouvements dudit objet sous trois 25 segments angulaires différents (0°-01°, 02°-03°, 04°-180°), de manière à générer trois informations successives lors d'un déplacement de l'objet (M) au-dessus de cette structure suivant une direction quelconque d'un plan au-dessus de la photodiode (C), l'ordre de détection permettant de déterminer 30 le sens du mouvement.
  8. 8. Système selon l'une quelconque des revendications 4 à 7, caractérisé en ce que ledit appareil électronique est un livre électronique (Le) comprenant deux écrans (P1r P2) simulant les pages d'un livre standard, en ce qu'il comprend 35 une caméra en technologie CMOS fixée dans une région basse de l'un desdits écrans (P2) et des première (Cy10 à Cx13) et seconde (Cy20 à Cx23) séries de photodiodes disposées en périphérie des premier (P1) et second (P2) écrans.
  9. 9. Système selon l'une quelconque des revendications 4 à 7, caractérisé en ce que ledit appareil électronique est un micro-ordinateur comprenant un organe de visualisation muni d'un écran plat (20) définissant un premier plan (ZY) et un clavier (5) définissant un second plan (XY), lesdits premier et second plans étant orthogonaux entre eux, en ce que il comprend une caméra (CAM) en technologie CMOS fixée dans une région basse de l'écran (20), en ce qu'il comprend une première série de photodiodes (CZy) disposées sur la périphérie de l'écran et une seconde série de photodiodes (Cy) disposées suivant deux directions orthogonales (X, Y) sur le second plan (XY), de manière à capter les coordonnées dudit objet suivant sept axes (OG, OX, OZ, XE, EG, ZF et FG).
FR1002030A 2010-05-12 2010-05-12 Procede et systeme d'acquisition sans contact des mouvements d'un objet. Expired - Fee Related FR2960076B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1002030A FR2960076B1 (fr) 2010-05-12 2010-05-12 Procede et systeme d'acquisition sans contact des mouvements d'un objet.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1002030A FR2960076B1 (fr) 2010-05-12 2010-05-12 Procede et systeme d'acquisition sans contact des mouvements d'un objet.

Publications (2)

Publication Number Publication Date
FR2960076A1 true FR2960076A1 (fr) 2011-11-18
FR2960076B1 FR2960076B1 (fr) 2012-06-15

Family

ID=43259814

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1002030A Expired - Fee Related FR2960076B1 (fr) 2010-05-12 2010-05-12 Procede et systeme d'acquisition sans contact des mouvements d'un objet.

Country Status (1)

Country Link
FR (1) FR2960076B1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540448A (zh) * 2020-04-20 2020-08-14 深圳市华智信息科技有限公司 用户行为的智能检测方法、电子装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004081777A1 (fr) * 2003-03-10 2004-09-23 Koninklijke Philips Electronics N.V. Affichage multi-vues
US20040189720A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
WO2004102301A2 (fr) * 2003-05-15 2004-11-25 Qinetiq Limited Interface homme-machine sans contact

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004081777A1 (fr) * 2003-03-10 2004-09-23 Koninklijke Philips Electronics N.V. Affichage multi-vues
US20040189720A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
WO2004102301A2 (fr) * 2003-05-15 2004-11-25 Qinetiq Limited Interface homme-machine sans contact

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAVLOVIC V I ET AL: "VISUAL INTERPRETATION OF HAND GESTURES FOR HUMAN-COMPUTER INTERACTION: A REVIEW", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 19, no. 7, 1 July 1997 (1997-07-01), pages 677 - 695, XP000698168, ISSN: 0162-8828, DOI: DOI:10.1109/34.598226 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540448A (zh) * 2020-04-20 2020-08-14 深圳市华智信息科技有限公司 用户行为的智能检测方法、电子装置及计算机可读存储介质

Also Published As

Publication number Publication date
FR2960076B1 (fr) 2012-06-15

Similar Documents

Publication Publication Date Title
Hasinoff Photon, poisson noise
Sturm Pinhole camera model
CN105814524B (zh) 光学传感器系统中的对象检测
FR2939919A1 (fr) Capteur matriciel
FR3033914A1 (fr) Procede de traitement d'un signal asynchrone
EP2671140B1 (fr) Procede et dispositif d'acquisition de donnees d'un capteur tactile matriciel multicontacts
WO2012114008A1 (fr) Interface capacitive gestuelle a commutation de mode de mesure
Tan Phong reflectance model
FR2960076A1 (fr) Procede et systeme d'acquisition sans contact des mouvements d'un objet.
EP3073441B1 (fr) Procédé de correction d'une image d'au moins un objet présenté à distance devant un imageur et éclairé par un système d'éclairage et système de prise de vues pour la mise en oeuvre dudit procédé
Basri Photometric Stereo
EP4493989A1 (fr) Dispositif et procede de detection d'un objet au-dessus d'une surface de detection
EP3170205B1 (fr) Dispositif de détection de mouvement
Schindler et al. Photogrammetry
FR3028128A1 (fr) Procede de calibration d'un systeme de visee
EP0219435B1 (fr) Procédé de détection de contours en imagerie, et d'estimation locale de leurs paramétres, dans un espace à au moins trois dimensions, et dispositif pour la mise en oeuvre de ce procédé
Furukawa Photo-Consistency
Zhang Perspective Transformation
FR2960058A1 (fr) Capteur de mouvement sans contact a effet photoelectrique et dispositif mettant en oeuvre un tel capteur
FR3133687A1 (fr) Dispositif et procede de detection d’un objet au-dessus d’une surface de detection
FR3133688A1 (fr) Dispositif et procede de generation d’un nuage de points d’un objet au-dessus d’une surface de detection
Zickler Photometric Invariants
WO2006136696A1 (fr) Procede et dispositif pour rendre un volume ou une surface interactifs
Miyazaki Polarizer
Atkinson Polarization

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20140131