WO2024251498A1 - Touch sensor in the form of a ring and associated human-machine interface - Google Patents
Touch sensor in the form of a ring and associated human-machine interface Download PDFInfo
- Publication number
- WO2024251498A1 WO2024251498A1 PCT/EP2024/063675 EP2024063675W WO2024251498A1 WO 2024251498 A1 WO2024251498 A1 WO 2024251498A1 EP 2024063675 W EP2024063675 W EP 2024063675W WO 2024251498 A1 WO2024251498 A1 WO 2024251498A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sens
- ring
- annular element
- sensors
- ann
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/16—Measuring force or stress, in general using properties of piezoelectric devices
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Definitions
- the invention relates to a ring-shaped sensor, and extends to human-machine interfaces, systems allowing a user to control interactive systems, and is therefore in the field of human-machine interactions sometimes designated by the acronym HMI.
- Human-machine interfaces come in many forms that allow a user to interact with an electronic system, whether it is in the form of a computer, a robot, a television, a sound reproduction system, or a game console. These interfaces are designed to i) generate control signals from a user action, and then ii) transmit these signals to the electronic system.
- a user for the purpose of controlling the electronic system has been used to design various types of interfaces: it can be a keyboard, a mouse, a touch screen, an optical detection system, a microphone or even a controller, all equipped with sensors (contact, infrared, magnetometer, optical, camera, accelerometer, gyroscope, etc.) whose function is to detect a specific action by the user (movement, gesture, speech, actuation, etc.).
- patent application US 2020/0150715 A1 describes ring-shaped systems intended to be worn on a finger. Each of these systems is equipped with one or more sensors that may be intended to detect an action of the wearer of the ring performed by the hand wearing it or to detect an action that would be applied to it by the wearer's other hand.
- a ring intended to be grasped with two hands by the user at two diametrically opposed areas is described in patent application US 2022/0212112 A1. It comprises a flexible ring mounted on a base provided with a deformation sensor, the assembly being configured to generate a signal representative of the amplitude of deformation of the flexible ring when the user deforms the ring by bringing his hands closer together.
- the applicant's objective is to propose, on the one hand, a ring-shaped deformation sensor and, on the other hand, an application of this deformation sensor to a human-machine interaction device taking the form of a ring sensitive to the deformation of an annular element of the ring caused by a user.
- a first aspect of the invention is a sensor assembly in the form of a ring, comprising an annular element of substantially cylindrical shape, at least two deformation sensors mounted on the annular element at levels of at least two radii thereof, respectively, the two radii being angularly distinct from each other, such that the at least two sensors are sensitive to an overall deformation of the annular element, and an electronic module configured so as to generate a detection signal representative of the overall deformation of the annular element, in response to processing of at least two signals respectively emitted by the at least two deformation sensors.
- this sensor assembly allows the detection and characterization of a large number of actions, in a manner not limited to a binary detection logic of an action or to a measurement of a one-dimensional deformation amplitude.
- This sensor indeed makes possible the spatio-temporal monitoring of a deformation imposed on the annular element, as will be developed in more detail in the rest of the description.
- the actions do not have to be applied directly to the sensors, but can be applied at any point of the annular element, possibly at a plurality of points of this element, regardless of the presence or absence of sensors at this or these points.
- the point or points of application of the action on the annular element do not have to be fixed, but can be movable on the surface of this annular element.
- the structure of the sensor assembly itself, with essentially sensors permanently fixed on an annular element, remains simple and does not include any moving parts, guaranteeing the reliability and robustness of the assembly.
- the annular element can have a monolithic structure
- the annular element may be formed of metal
- the at least two distinct rays may be angularly spaced apart from each other by an angle of between 20° and 160°;
- the at least two deformation sensors may be piezoelectric type sensors
- the at least two strain sensors may comprise at least one thin monocrystalline piezoelectric element in the form of a plate extending in an extension plane defined by a first direction and a second direction normal to the first direction, with dimensions in the first direction and the second direction each greater than 100 ⁇ m and with a thickness of less than 50 ⁇ m, a ratio of the thickness to the dimension in the first direction or the dimension in the second direction being less than 0.1.
- a second object of the invention is a human-machine interface comprising the sensor assembly according to the invention, the electronic module being further configured so as to generate a control signal from a device external to the human-machine interface in response to the detection signal.
- Such an interface makes it possible to characterize in a simple, precise and time-monitored manner, a global or localized deformation of the annular element on the basis of local deformations measured by the sensors.
- Various control signals from an external device can be associated with the occurrences and variations in time of the deformation, which allows great flexibility of use compared to the simplicity of the device.
- the deformations of the annular element are not evaluated using a single sensor, or using a single sensor independently of any other sensors, but using at least two sensors, a minimum number sufficient to detect and characterize a wide variety of deformations of the annular element.
- the deformations can in particular be deformations considered as global, that is to say that they can be detected by all the sensors.
- the deformation amplitudes detected by each of the sensors, of relative values and respective temporal evolutions specific to each of the sensors, depend on the deformation actually applied to the annular element and allow a very fine characterization of the deformation and to associate it with an action applied on the annular element by the user.
- very diverse mechanical actions of the user on the annular element can be associated with as many control signals from the external device. This gives a very versatile control interface, capable of generating a very large number of control signals despite a very simple hardware architecture: a ring, two sensors and measurement and control electronics.
- This interface is also an interface that does not infringe on the user's privacy since it does not rely on the acquisition and processing of video or sound signals, which may contain personal information.
- This interface is very suitable for integration into classic-looking jewelry, including small ones.
- the interface can be configured to keep awake only a first part of the acquisition module associated with the detection and to activate second parts of the acquisition module only when it is determined that respective activations of these second parts are necessary for an analysis of the signals emitted by the at least two deformation sensors;
- the calculator can be configured to (i) classify events represented by the signals emitted by the at least two deformation sensors and (ii) generate the control signal of a device external to the human-machine interface in response to this classification;
- control signal may be representative of at least one action chosen from a tightening, a short tightening or a long tightening of the annular element between two fingers or between three fingers, repeated or not, in a centripetal direction to the annular element; a tightening of the annular element, repeated or not, parallel to an axis of revolution of the annular element; a closing of a hand with one finger carrying the annular element or the closing of a finger carrying the annular element; and a rotation of the annular element between two fingers of a first amplitude belonging to an angular interval or of a second amplitude greater than an upper limit of the angular interval;
- the acquisition module can be configured to detect a rotation of the annular element on the basis of the signals emitted by the at least two deformation sensors; and in response to the detection step, generate a signal representative of the occurrence of a rotation of the annular element;
- the signal is representative of a rotation having exceeded an incremental angular value
- the interface may further comprise a wireless transmission module configured to transmit signals generated by the acquisition module to the external device and a source of electrical energy supply to the wireless transmission module and the acquisition module;
- the interface may further comprise a feedback device configured to signal to a user a generation of a detection signal by the acquisition module;
- the interface may be configured to be threaded onto a part of a user or a rod of a control device of the external appliance.
- the interface according to the invention can be compact, passive when piezoelectric type deformation sensors are used, and the processing of the signals generated by these sensors can be simple and light from the point of view of computational intensity, resulting in a high autonomy of the device.
- the detection of deformation of the ring, or, more specifically, of the annular element can be of high sensitivity and can therefore operate without difficulty even with very rigid rings such as thick metal rings, such as commonly worn jewelry.
- Figures 1 to 19 An embodiment of the present invention is described by means of Figures 1 to 19 and the associated passages below.
- Figures 1 to 4 and 19 provide information on the structure, usage and operating principle of the human-machine interaction ring.
- Figures 5 to 18 detail a first option for exploiting the signals generated by the deformation sensors following manipulation of the ring by a user.
- Figures 20 to 27 detail a second option for exploiting the signals generated by the deformation sensors following manipulation of the ring by the user.
- Figures 28 and 29 illustrate a piezoelectric element that can be used to form a deformation sensor integrated into the human-machine interface according to the invention.
- the intensity of the squeeze or taps, or the speed of rotation can also be associated with particular commands to control the external device.
- Other actions can be considered, such as those listed in the table Tab. 1 below.
- a direction of rotation may be that of the trigonometric direction around this axis of revolution, or a direction opposite to the trigonometric direction.
- An axis of revolution is here considered as an axis of revolution making it possible to describe the general shape of the annular element, which extends parallel to the axis of revolution and has an overall shape having a symmetry of revolution around this axis, which includes the examples of figures 1, 3 and 19.
- the ring taken as an example in this embodiment is equipped with three sensors, but a ring equipped with two sensors, the minimum number to spatially characterize the deformation of the ring, would also work.
- Using three sensors brings redundancy and an additional measurement allowing discrimination in the event of an ambiguous situation. It is also possible to use a greater number of sensors, with the disadvantages of an increase in the integration and cost of the ring, as well as a complexity of the electronic processing system to be integrated on the annular element, with an increase in the electrical contact tracks and signal processing paths, and as an advantage a better robustness of the event detections.
- An event is understood here as a deliberate action of the user on the ring in order to produce a control signal of an external device, the sensors generating signals in response to this action.
- the respective positions of the sensors on the ring are identified by means of rays, the center of one of the sensors defining a reference radius, the positions of the other sensors being identified by the angles made by the rays passing through their respective centers (in a sectional view along the axis of revolution Ax of the ring) with the initial radius.
- the three sensors are arranged substantially homogeneously around the ring, at angular intervals of approximately 120°.
- the radius r1 associated with the SENS 1 sensor can be considered as the reference ray
- the radii r2 and r3 associated respectively with the SENS 2 and SENS 3 sensors being located respectively at approximately 120° and 240° from the radius r1.
- the rays defining the positions of the sensors are angularly spaced at angles between 20° and 160°, more preferably between 40° and 140°.
- the angles chosen may depend on the number of sensors integrated on the ring.
- the ring may also be provided with a feedback device FB, or feedback in English terminology, informing the user that his manipulation of the ring by tightening, tapping or rotating has been taken into account.
- the FB device may be of any type conventionally used for this purpose, such as a light, sound or haptic device.
- the ring can be manipulated while it is threaded onto a part of a user, and in particular onto a finger F6 of a hand H as illustrated in (A) of the , or threaded onto a rod or RD wand of an external device control system as in (B) of the . It is of course possible to construct the ring so that it can be worn, for example, on the user's wrist, arm or leg. Alternatively, the ring can be used "free" without being threaded onto any element, as illustrated by the .
- the ring preferably has dimensions making it suitable for being put on a finger as would be a piece of jewelry such as a ring, with for example for the annular element ANN an internal diameter f in , illustrated in (A) of the , between 1 and 3 cm and a length L, illustrated in (B) of the , along its axis of revolution Ax between 2 mm and 2 cm.
- the radial thickness Thck of the annular element defined for example by (f in - f ext )/2 for a perfectly cylindrical annular element of external diameter f ext , as illustrated in (A) and (B) of the , may be greater than 0.1 mm, preferably 0.4 mm, and less than 3 mm, preferably 1 mm.
- the ring is not necessarily a closed ring, but can also be an open ring with a cut C, as shown in (C) of the .
- the ring has an axis Ax oriented by revolution, illustrated in (B) of the and perpendicular to the plane of the page in (B) and (C) of the , located at the center of the ring and along which the ring extends.
- the orientation of the axis Ax is indicated by the arrowhead in the figure.
- the ring element is considered to be substantially cylindrical in shape in the sense that it is capable of being slipped onto a finger.
- the substantially cylindrical shape of the ring element may encompass a variety of shapes, the important thing being that it can be comfortably worn on a finger by a user and that sensors can be integrated therein.
- the electronic module EL comprises an acquisition module ACQ in which an analog-to-digital converter CONV receives the analog signals from the sensors SENS 1 and SENS 2 and converts them into digital signals processed by a digital computer CALC.
- the digital computer processes the digital signals, generates detection signals in response to the digital signals, generates control signals S Con of an external device APP on the basis of the detection signals, and sends these control signals to a communication module COM.
- the communication module COM has the function of transmitting according to conventional methods, preferably wirelessly, the generated control signals to the external device APP, remote from the ring R.
- the CALC calculator is also configured to, if necessary, control the FB feedback device and trigger an action indicating to the user of the ring that his action on the ring has been taken into account to send a control signal to the external device APP.
- the invention is not limited to the examples mentioned above and the annular element and the sensors can be implemented in different ways, illustrated by FIGS. 1, 3 and 19 as described below.
- the sensors may also be mounted on other parts of the annular element than its outer or inner surfaces. thus illustrates in E) a configuration where the sensors are mounted on a surface S t of the edge of the ring, so as to be positioned according to a plane intersecting the longitudinal axis of the ring.
- each type of action being associated with a given command of the external device allowing it to be controlled.
- Each action results in a deformation event of the ring, which results in the generation of signals by the sensors.
- Each episode of signal generation corresponds to an event that we seek to characterize and which makes it possible to go back to the type of action exerted on the ring: tightening, rotation, tapping, or other.
- references S1, S2 and S3 are associated respectively with the signals generated by the three sensors Sens 1 , Sens 2 and Sens 3 in response to an action S00 applied to the annular element by a user.
- the reference “S” represents the signals S2 and S3, the reference T represents the time.
- the references S, S1 and T are expressed respectively mV, mV and s.
- a clamping action can be detected by exceeding a detection threshold THR 0 by the amplitudes of the signals generated by the sensors.
- tightening location we mean the determination of an angle between 0° and 180° defining the position of one of the two fingers applying the tightening pressures relative to a reference angle, for example defined by the radius r1 of the SENS 1 sensor. It is assumed that the second applies a pressure at a location diametrically opposite that of the first finger.
- Figures 5, 6 and 7 illustrate the results of three experimental situations in which the ring is tightened so that one of the two fingers exerting the tightening is located at, respectively, the sensors SENS 1 , SENS 2 and SENS 3 , the other finger being located diametrically opposite the first finger.
- (A) are represented graphs of the amplitudes of the signals S2 and S3 generated respectively by the sensors SENS 2 and SENS 3 as a function of the amplitude of the signal S1 generated by the sensor SENS 1 .
- In (B) are represented graphs of the amplitudes of the signals generated by the sensors SENS 1 , SENS 2 and SENS 3 from the same data as the corresponding graphs in (A), but this time expressed as a function of time T.
- the curve corresponding to the SENS 2 sensor When, as in , one of the fingers exerting the tightening is located on the SENS 2 sensor, the curve corresponding to the SENS 2 sensor approximately forms a straight line with a negative slope while the curve corresponding to the SENS 3 sensor approximately forms a straight line with a positive slope.
- the curve corresponding to the SENS 2 sensor When, as in , one of the fingers exerting the tightening is located on the SENS 3 sensor, the curve corresponding to the SENS 2 sensor approximately forms a straight line with a positive slope while the curve corresponding to the SENS 3 sensor approximately forms a straight line with a negative slope.
- the fact that the amplitudes of the signals generated by the SENS 2 and SENS 3 sensors expressed as a function of the amplitude of the signal generated by the SENS 1 sensor substantially form straight lines is representative of the fact that the ratios of the amplitudes of the signals generated by the SENS 2 and SENS 3 sensors to the amplitude of the signal generated by the SENS 1 sensor are substantially constant. This characteristic is due to the fact that the pressure application zones on the ring remain stationary during the application of the pressure.
- the maximum amplitude among the signals generated by the three sensors is found in the signal generated by the sensor at which one of the user's fingers is located when tightening, indicating that this location of the ring has a greater deformation than the locations of the other two sensors.
- a tightening action produces two peaks in absolute value in the signals generated by the sensors: a first peak caused by the application of tightening pressure to the ring, and a second peak due to the release of this pressure, identified respectively by Max1 and Max2 in (B) of the for signal S1.
- the first peak and the second peak have opposite signs.
- a tightening action without significant displacement of the pressure application zones can be considered to have been applied to the ring if a criterion is met, according to which a ratio between the amplitudes of two of the signals is constant to within 20% of the average value of the ratio during the duration of the action.
- the percentage can be adjusted by the user.
- the detection of an action of this type makes it possible to rule out the possibility that an action involving a significant displacement of the pressure zones on the ring, such as rotation or sliding, has been applied.
- compliance with this criterion implies that a pressure action of substantially constant localization has been applied to the ring by a user.
- it can be applied only to signal amplitude values exceeding a certain level, in order to avoid the effect of relative noise which becomes very significant for small amplitude values and/or adjust the percentage.
- Double-clamping is a variation of the clamping action described above, in which the clamping action is repeated within a predefined time interval, like double-clicking a computer mouse.
- a long tightening is distinguished from a tightening that can be described as short, such as those illustrated in Figures 5 to 7, in that the tightening is maintained for a certain duration exceeding a predetermined duration threshold value THR 4 .
- the signals generated by the sensors each comprise a first maximum Max1 in the form of a peak at the start of tightening and a second maximum Max2 of opposite sign to Max1 in the form of a peak of opposite orientation when tightening is released.
- An event corresponds to a long tightening action when two maximums are detected, each exceeding a predetermined threshold level, which are spaced apart by a duration exceeding the predetermined threshold value THR 4 , as illustrated in B) of the .
- the profile of the curves in B) is explained by the fact that the voltage generated by a piezoelectric sensor will gradually return to zero after application of the deformation, even without the sensor returning to its initial physical state, according to a characteristic time depending on the sensor itself and the acquisition system, i.e. approximately 0.2 s for the system having generated the signals represented here.
- the sensor signals oscillate in an approximately sinusoidal pattern.
- the oscillation maxima which correspond to deformation maxima at the three sensors, appear in an order imposed by the direction of rotation.
- the latter can therefore be deduced from the analysis of the signals generated by the sensors, by finding the maxima and determining their order of appearance.
- it is possible to characterize the rotation in direction, angular amplitude and speed.
- the first method of characterizing a ring rotation is based on the order of appearance of the maxima in the deformation amplitude.
- a second method based on the same signals generated by the sensors, can be considered.
- the distance of each curve from the origin of the graph is defined by the root of the quadratic sum of the amplitudes of the signals concerned: either a first pair of signals consisting of the signals from the SENS 1 and SENS 2 sensors, or a second pair of signals consisting of signals from the SENS 1 and SENS 3 sensors.
- the distance of each point of these curves from the origin point (0,0) of the graph represents the root of the quadratic sum of the coordinates of the curve at this point.
- a second step the ring is rolled between the two fingers, the amplitudes of the signal pairs remaining such that the roots of their quadratic sums remain greater than the threshold value, if not constant.
- This behavior is representative of a tightening exerted on the ring by a human being: it is difficult to maintain a constant tightening on the ring while rolling it between two fingers, but it is possible to maintain a certain level of tightening.
- the rolling results in displacements over time in opposite directions of rotation along the two curves, clockwise for the SENS sensor 2 , counterclockwise for the SENS sensor 3 , these two directions depending on the direction of rotation imposed on the ring.
- the ratios between the amplitudes of the signals generated by the SENS sensors 2 and MEANING 3 and the amplitude of the signal generated by the SENS sensor 1 change continuously due to the continuous displacement of the pressure zones applied to the ring.
- the detection of these changes is indicative of the occurrence of a rotation action.
- the amplitude of these changes is representative of the angle of rotation.
- the curve can be followed and an angular amplitude of rotation W between two given instants can be matched to it, by calibration or ab initio calculations.
- the finger grip is released, the signal amplitudes return to zero, which results in the curves simultaneously returning to the perimeter defined by the threshold level Thr then falling back to the point of origin of the graph, at the levels of the ZSq-End 2 and Zsq-End 3 zones of release of the grip, for the curves resulting from the signals generated by the Sens 2 and Sens 3 sensors, respectively.
- the rotation is stopped, the pressure application points are fixed, the curves form straight lines, as for the case of a grip described above using figures 5 to 7.
- Thr threshold level it may be advantageous to initiate an analysis of the curve as soon as the Thr threshold level is reached, analyze the curve continuously, generate a rotation detection signal each time the rotation angle exceeds one of a series of thresholds (e.g. spaced at intervals of 10° or any other predetermined value), and stop the analysis when the curves fall back below the Thr threshold.
- a series of thresholds e.g. spaced at intervals of 10° or any other predetermined value
- Tapping the finger wearing the ring preferably on a hard surface such as a table, generates a signal of higher frequency content than the actions of squeezing or rotating the ring.
- the frequency components of the signals generated during a tap of the finger therefore make it possible to distinguish this action from a tightening or rotation action.
- a method for detecting a tap of the finger wearing the ring may comprise as a first step a sum of the signals generated by the sensors during an event to obtain a sum signal.
- a high-pass filter is applied to the sum signal, then a first RMS effective value H of this filtered sum signal is calculated.
- a low-pass filter is applied to the same sum signal, then a second RMS effective value L of this filtered sum signal is calculated.
- the ratio of these two effective values is then compared to a predetermined threshold value THR 1 .
- the cut-off frequencies of the filters applied may be for example 10 Hz. If the RMS H /RMS L ratio is greater than or equal to the threshold value THR 1 , then the ring deformation event is considered to have been generated by a tap of the finger.
- the sum of the signals may be a weighted sum, each signal being associated with a given weighting coefficient. It is thus possible to choose the coefficients in order to choose the sensor(s) used for detection.
- An effective value can be defined as the square root of the mean of the square of the signal value over a period of time.
- the approach taken for the finger tap can be applied to the ring when it is tapped directly on a surface, preferably hard, such as a table.
- the signals generated by the sensors have a higher frequency component content than when only the finger wearing the ring is tapped on the hard surface.
- this time we can compare the RMS H /RMS L ratio to a threshold value THR 2 preferably greater than THR 1 . If the RMS H /RMS L ratio is greater than or equal to the threshold value THR 2 , then the event is considered to have been generated by a tap of the ring.
- Tapping a sensor is an action that involves directly tapping the ring at the location of one of the sensors with a finger. The difference with tightening is that the force is applied to only one side of the ring, not both sides.
- the sensors are tapped directly and the measured amplitudes of the S signals (in mV) generated in response by the sensors are illustrated by means of the graphs of the , with in (A), (B) and (C) the measurement results for taps on the SENS1, SENS2 and SENS3 sensors, respectively.
- the maximum amplitude among all the signals generated by the sensors is that corresponding to the sensor at which the tap is made, and that it corresponds to the maximum amplitude of a peak.
- a tap event on a given sensor can be identified by identifying the sensor whose generated signal has a peak with the highest amplitude, calculating the ratio of this amplitude to the maximum amplitudes of each of the other sensors, and, if these ratios are all greater than a threshold value THR 3 , considering the event as having been generated by a tap at the sensor having generated the signal having the peak with the highest amplitude, therefore the maximum amplitude.
- Figures 15 to 18 illustrate a method of using a ring R equipped with at least two sensors SENS 1 and SENS 2 , according to an algorithm allowing the detection of several types of events each characterized by the signals generated by the sensors following an action by the user on the ring.
- two digital signals S1 and S2 are generated by the two sensors SENS 1 and SENS 2 , respectively, and the analog-to-digital converter CONV, according to the algorithm illustrated by the .
- a first calculation block Bl 1 has the function of discriminating background noise or accidental or purposeless manipulations from a voluntary action by the user.
- the CALC calculator performs the quadratic sum of the amplitudes of the signals S1 and S2 during a summation operation Bl 1-10 .
- the calculator determines whether the quadratic sum Q of the amplitudes of the signals exceeds a predetermined threshold value Thr, indicating that an action has been deliberately performed on the ring.
- This test operation has a function of detecting an event measured by the sensors of the ring.
- an action detection signal S Act is generated and, in response to this signal, a second calculation block Bl 2 is implemented and the signals S1 and S2 are recorded in a computer memory MEM in functional communication with the computer CALC during an operation Bl 1-20 .
- the recorded signals will be used in the following operations. The recording is stopped when the quadratic sum falls below the threshold value THR again.
- the amplitude of a signal representative of a sum of unaveraged signals generated by the sensors or the amplitude of a single signal, averaged or not, representative of a signal generated by a single sensor could be used as the amplitude of the signal Q and compared to the threshold value to determine the occurrence of a voluntary action.
- Averaging over a combination (a sum in particular) of several signals representative of signals generated by the sensors allows for better reliability in this determination.
- the test operation Bl 1-10 could relate to a variance of the amplitudes of the signals emitted by the sensors.
- This variance can for example be calculated over a sliding period of a signal or of the sum, weighted or not, of several signals generated by the sensors, and can be considered as an event detection signal when it exceeds a predetermined threshold, set for example by a user: the variance of the signals indeed becomes greater when the user initiates an action on the ring.
- the test step Bl 1-15 thus has the function of detecting an exceedance of a threshold by a quantity representative of an amplitude of a signal or of a combination of signals each representative of a deformation of the annular element and generated by one or more of the deformation sensors mounted on the annular element in response to an action of the user, whether the quantity in question is derived directly from the amplitudes of the signal(s) considered, from a variance of this or these signals, or is representative of any other information derived from the signal(s) considered.
- Block Bl 1 is advantageous from the point of view of the autonomy of the human-machine interface: except for the detection of an event exceeding a certain threshold level, only part of the ACQ acquisition module associated with block Bl 1 needs to be supplied with voltage, which greatly limits the electrical consumption of the entire device. Indeed, a comparator, an electronic device consuming very little energy, may be sufficient to implement block Bl 1 , in particular when piezoelectric sensors are used, the voltages they generate being sufficient to operate the comparator without requiring amplification.
- the second calculation block Bl 2 has the function of performing a first analysis of the signals S1 and S2, intended to detect whether or not a rotation is exerted by the user on the ring and to characterize this rotation, if applicable.
- the CALC calculator performs the operations described below.
- a test operation Bl 2-20 ensures that as long as the quadratic sum of the signals remains greater than the threshold Thr, as indicated by the filled test condition indicator Y, the following calculation loop is continuously implemented by the calculator.
- a current rotation angle W is calculated on the basis of the signals S1 and S2 according to method 2 during an operation Bl 2-25 .
- a difference WW 0 is calculated at an operation Bl 2-30 , and the result of this difference is compared during two test operations Bl 2-35 and Bl 2-45 to a positive angular threshold value Thr Ang and its opposite -Thr Ang , respectively.
- an event determination signal ROT- is generated, representative of the fact that i) there has been rotation of the ring by an angle defined by the value of Thr Ang , and ii) this rotation is in a direction defined as negative.
- an event determination signal ROT+ is generated, representative of the fact that i) there has been rotation of the ring by an angle defined by the value of Thr Ang , and ii) this rotation is in a direction defined as positive.
- the signals ROT- and ROT+ can be generated in succession when the user continues a rotation. Each of these signals is generated in response to an incremental increase in this rotation imposed on the ring by the user, each of which can be associated with a control signal from the external device APP.
- the rotation increment count variable n is incremented by 1 during a Bl 2-55 operation and the current rotation angle W is assigned to the rotation angle variable W 0 .
- the count value n therefore indicates the number of times the ring has been rotated by a value Thr Ang during the rotation being analyzed and is therefore representative of a total rotation amplitude, corresponding to the sum of the n rotation increments.
- test operation Bl 2-70 could be implemented independently of the counting value n, by implementing the test principle described in the "Clamping" section.
- the test operation Bl 2-70 could consist in testing whether a ratio between the signals S1 and S2 is substantially constant over the duration of the analyzed event, i.e. within an interval defined by XX% around the mean value of the ratio over the duration of the recorded event, XX% representing a percentage of the mean value defined by the user, 20% for example, which constitutes a value allowing a relevant discrimination of the constancy of the ratio.
- the third calculation block Bl 3 illustrated by the , has the function of analyzing the signals generated by the sensors when it has been determined that this event is not generated by a rotation. More specifically, the Bl 3 block has the function of discriminating the type of action among the ring tightening, finger tapping and ring tapping actions, and of characterizing the tightening actions. For these purposes, the computer implements the operations of the Bl 3 block, the principles of which are explained in the Tightening, Finger Tapping and Ring Tapping sections described above.
- the digitized signal S1 is filtered in parallel according to two filtering operations Bl 3-10 and Bl 3 -15 employing a high-pass filter and a low-pass filter, respectively, so as to obtain two filtered signals.
- Each of the two signals filtered by the filtering operations Bl 3-10 and Bl 2-15 are averaged during averaging operations Bl 3-15 and Bl 3-25 to obtain the RMS H and RMS H averages of the two averaged filtered signals, respectively.
- the averaging period can be selected by the user according to his preference.
- a first test operation Bl 3-35 checks whether the value of the RMS H /RMS L ratio is greater than a high threshold value ThrH. If a positive response, indicated by Y in the figure, is returned, then a detection signal Hit(R) is generated, representative of the fact that the event was caused by a tapping action of the ring on a rigid surface.
- test operation Bl 3-40 is implemented, checking whether the value of the RMS H /RMS L ratio is greater than a low threshold value ThrL, with ThrL ⁇ ThrH.
- a Hit(F) detection signal is generated, representative of the fact that the event was caused by a tapping action of the finger (F6) bringing the ring to a rigid surface.
- test operation Bl 3-40 If a negative response to test operation Bl 3-40 , indicated by N in the figure, is returned, then it is determined that the event was caused by a clamping action, and a fourth calculation block Bl 4 is implemented during operation Bl 3-45 .
- this involves carrying out an analysis of the energy distribution of the detected signals according to the frequencies. For example, it would be possible to carry out a Fourier transformation of the signals and analyse the energy distribution in the frequency domain, for example by comparing the energy contained in the signals for frequencies above 10Hz and the energy contained in these same signals for frequencies below 10Hz.
- the fourth calculation block Bl 4 has the function of analyzing the signals generated by the sensors when it has been determined that the event detected by block Bl 1 is not caused by a rotation, nor by either a tap of the ring or a tap of the finger, as determined at the levels of blocks Bl 2 and Bl 3 . More specifically, block Bl 4 has the function of characterizing the type of tightening applied to the ring by the user: short tightening, long tightening, double tightening, and the location of the tightening. For these purposes, the calculator performs the operations of block Bl 4 described in the sections Tightening, Finger Tap and Ring Tap described above.
- Bl 4-10 , Bl 4-15 and Bl 4-20 operations of block Bl 4 are used to spatially characterize the event being analyzed.
- Operation Bl 4-10 consists of calculating the ratio of signals S1 and S2, then averaging this ratio during an averaging operation Bl 4-20 over the entire duration of the detected event. This average is compared to a calibration table prepared in advance and establishing a correspondence between averaged ratio values and a location of a tightening applied to the ring.
- the calibration table can be stored in the MEM memory. On the basis of this comparison, a signal Loc representative of the location of the event being analyzed is generated.
- a table prepared in advance by calibrating the ring can indicate a correspondence between the ratio of the amplitudes of the signals generated respectively by the sensors SENS 1 and SENS 2 and a Local localization identified by a radius r Loc angularly offset from a reference radius r ref .
- the same table, or a similar table taking into account the two diametrically opposed support zones existing during a tightening between two fingers, can be used to locate the start and end of the tightening illustrated by the and therefore evaluate the angular amplitude of the rotation applied to the ring during a rotation action of the latter.
- any action can be associated with a localization signal Loc representative of a Local localization of the action considered, on the basis of a ratio of the amplitudes of two signals generated simultaneously by two sensors located on two distinct radii of the ring.
- Operations Bl 4-30 to Bl 4-50 of block Bl 4 are used to determine the type of tightening applied to the ring and having caused the generation of signals S1 and S2.
- Operation Bl 4-30 consists of detecting the number of peaks, i.e. the number of amplitude maxima, in absolute value, for each of the signals S1 and S2 and averaging the number of peaks detected. Alternatively, one can simply count the number of peaks detected for a signal. However, averaging over multiple signals makes the detection more robust.
- the Bl 4-35 test operation returns a positive response when the number of detected peaks is close to 4, for example in an interval from 3.5 to 4.5 encompassing four to account for the averaging effect, as indicated by Y in the figure.
- a detection signal D.Sq is generated, representative of a double clamping action (2 peaks per clamping action, therefore 4 peaks for a double clamping action, as explained in the “Double Clamping” section above).
- the Bl 4-40 test operation returns a positive response when the number of detected peaks is 2, as indicated by Y in the figure.
- the time interval ⁇ T separating the two detected peaks is determined during the Bl 4-45 operation.
- the time interval ⁇ T is compared to the predetermined duration threshold value THR 4 as explained in the “Long Clamp” section above.
- ⁇ T is not greater than THR 4 , as indicated by N in the figure. If it is determined that ⁇ T is not greater than THR 4 , as indicated by N in the figure, then a signal S.Sq representative of a short clamping action, or clamp, is generated.
- An advantage of this algorithm is that it consumes only minimal energy, with the parts of the ACQ acquisition module associated with blocks Bl 2 and Bl 3 of the algorithm only being activated when it has been determined that it is necessary to use their respective functionalities.
- this is averaging over time, over a duration that can be chosen by the user or the manufacturer of the human-machine interface according to the behavior desired for this interface. However, these may be durations of the order of a few tenths of a second.
- the calculator can be configured to transmit these signals to the external device via the communication module COM in the form of a control signal S Con .
- the control signal S Con can be a signal of a command associated with the type of action applied to the ring.
- each action applied to the ring causes a deformation of the latter, deformation resulting in the generation of signals by the sensors, which can be analyzed in order to determine the action exerted and therefore the control signal to be generated.
- a second option for determining the type of action exerted on the ring is based on the classification of the event generated by this action by a computer system that has benefited from automatic learning, often referred to as “machine learning”, or “deep learning” in the case of a neural network, in English terminology.
- Figures 20, 21 and 22 illustrate the implementation of such an approach based on the use of a neural network, for the particular case where three sensors SENS1, SENS2 and SENS3 are used and deliver signals S1, S2 and S3, respectively.
- the approach consists in (i) detecting the occurrence of an event and (ii) classifying this event among a list of event classes prepared in advance.
- the classification is supported by the CALC calculator of the , which includes a neural network that has been previously trained to classify events based on the profile of the signals delivered by the sensors.
- the abscissa axis represents time and the ordinate axis the amplitude of the sum of the variances.
- the signals and the sum of their variances are representative of a deformation of the ring in response to a double tightening action, i.e. two brief tightening actions of the ring close together in time, carried out for example by the right hand of a user wearing the ring on his left hand.
- Each peak P1 and P2 of the curve is representative of an individual tightening action.
- V S is greater than V E , but V S could be less than V E .
- the first variance threshold V S is used to determine the start of the event: when the Var curve reaches and then exceeds the threshold value V S , an event is considered to have already started.
- Time T 0 indicates the moment when the curve reaches the threshold V S .
- the second variance threshold V E is used to determine the end of the event: when the Var curve falls below the threshold value V E , the event is considered to end.
- Time T 2 indicates the moment when the curve reaches the threshold V E .
- V S > V E An advantage of choosing V S > V E is to combine a good level of selectivity regarding the detection of an event, selectivity conditioned by a relatively high V S value, with consideration of the entire event, consideration favored by a relatively low V E value.
- this principle applies to any event including brief phases of ring release, during which no mechanical force is applied to the ring, or a mechanical force too weak for the curve of the sum of the variances of the signals to exceed the threshold V E .
- the sensor signals can be kept in a buffer memory, possibly a part of the MEM memory, for a duration at least equal to dT S , then, in case of detection of the occurrence of an event, the signals generated by the sensors from the beginning to the end of the event can be stored in the MEM memory for processing.
- the width of the variance calculation window, dT S and dT E can take identical or distinct values adjustable by the practitioner, 50 ms for example.
- the start and end times of an event are determined from the signals generated by the sensors.
- the diagram represents a step S00 of applying an action by the user to a ring R, causing an event at the level of the detection signals S1, S2 and S3 generated by the sensors integrated into the ring.
- the step S00 of generating the signals is followed by a step S10 of determining the start times Start and end times End of the event, this step comprising steps S12, S14, 16 and S18.
- the variances Var1, Var2 and Var3 of the three signals S1, S2 and S3 generated respectively by the three sensors Sens1, Sens2 and Sens3 are calculated on a sliding window.
- step S14 the variances are summed to give the summed variance Var illustrated by the .
- the computer determines that the summed variance Var exceeds a given threshold and generates a Trig command to trigger the recording in memory MEM of the sensor signals.
- the recording of data predating the generation of the Trig command can be obtained by using a buffer memory recording the data according to a sliding window.
- Step 16 can also be used to exit a standby phase of the parts of the acquisition module, in a manner similar to the test step Bl 1-15 written above in relation to the algorithm of the .
- the calculator determines that the event has ended, and returns the start times Start and the end times End of this event.
- Preparing a training program for a neural network involves first listing the classes into which this network will be tasked with classifying the data submitted to it.
- Table Tab. 1 lists action types that may be interesting to identify from the recorded data of ring deformation events.
- Action Description Direction Variants Squeeze Squeeze the ring between two fingers Single, Double, Triple Short, Long 3 Fingers squeeze Squeeze the ring between three fingers Single, Double, Triple Short, Long Lat Squeeze Squeeze the ring taken between two fingers along its axis of revolution Single, Double, Triple Short, Long Rot Spin the ring Positive, Negative Short, Long, Small, Large Fast, Slow Touch Touching the ring worn with a finger Single, Double, Triple Short, Long Knock Tap a surface with a finger wearing the ring Single, Double, Triple Ring Toc Tap a surface directly with the ring Single, Double, Triple Slide Apply pressure to a point moving on the ring around the finger Positive, Negative Fast, Slow Surf Slide Slide Slide the ring placed on a surface Right, Left Fast, Slow Up, Down Short, Long Swipe Slide a finger across the ring in a direction parallel to the finger wearing the ring Right, left Hand Closure Close the hand
- the SQ “Squeeze” action corresponds to a radial tightening of the ring between two fingers, as illustrated in (B) of the .
- the 3FS “3 Fingers Squeeze” action corresponds to a radial tightening of the ring between three fingers, as illustrated in (B) of the .
- the “Lat Squeeze” action LS corresponds to a tightening of the ring R between two fingers F1 and F2 which apply forces F in a direction parallel to its axis of revolution, as illustrated in (C) of the .
- the “Rot” action ROT corresponds to a rotation of the ring around the finger wearing it, as illustrated in (C) of the .
- the trigonometric direction that is to say the counterclockwise direction of rotation, is the positive direction of rotation.
- the “Touch” action TCH corresponds to the support of a finger F1 of one hand of the user exerting a force F on the ring R worn around a finger of the other hand of the user, as illustrated in (A) of the .
- the “Knock” action corresponds to striking a rigid surface with a finger wearing the ring.
- the “Ring Toc” action corresponds to tapping a rigid surface directly with the ring worn around a finger.
- the “Slide” action SL corresponds to a radial centripetal force F applied at least partially towards the inside of the ring R at a point P moving on the periphery of the ring along a trajectory Traj so as to rotate around the finger F6 carrying the ring, as illustrated in (D) of the .
- the action "Surf Slide” SS corresponds to the sliding of the ring R placed on a rigid surface Surf, such as the top of a table, for example in four directions Left, Right, Up and Down parallel to the rigid surface, opposed two by two, the directions Left and Right being normal to the directions Up and Down, as illustrated in (E) of the .
- the action "Swipe" SW corresponds to a friction of the ring in a direction parallel to the finger wearing the ring.
- This situation can be described as the displacement of a point of application of a centripetal force F to the ring and/or to the finger wearing it along a trajectory Traj substantially parallel to the axis Ax of revolution of the ring, as illustrated in (F) of the .
- the action "Hand closure” corresponds to the formation of a fist with a hand with one finger wearing the ring.
- only the finger wearing the ring can be bent.
- the ring is deformed by the expansion of the finger wearing it due to the muscular contraction of the latter, which results in a centrifugal force applied from the inside of the ring to the outside.
- the “finger snap” action corresponds to a snap of the finger wearing the ring.
- the “Trash” action corresponds to user actions not related to the intention of the external device to execute a command: for example, it could be a gesture such as grabbing a pen or a cup. These actions can be considered as parasitic actions that should not be taken into account for the control of the external device, and the events that they generate involuntarily can be classified as such so as not to cause the generation of control signals by the CALC calculator.
- the Rot action can have two variants: Small and Large, which are characterized by the angular amplitude ⁇ of the rotation imposed on the ring, illustrated by the .
- Small and Large which are characterized by the angular amplitude ⁇ of the rotation imposed on the ring, illustrated by the .
- a rotation of an angle ⁇ included in an angular interval between 20° and 40° is a rotation of small amplitude, therefore corresponding to the Small variant.
- a rotation of an angle ⁇ greater than the upper limit (40°) of the angular interval for example greater than 90°, is a rotation of large amplitude, therefore corresponding to the Large variant.
- the Swipe and Surf Slide actions can be performed by moving (either a finger applying pressure for slide or the ring itself for Surf Slide) from left to right (right direction) or from right to left (left direction), from the user's point of view.
- the Surf Slide action can be performed in any direction, but the right and left directions described above and the forward (Up) and backward (Down) directions can be considered first.
- the Slide, Surf Slide and Rot actions can respectively have more or less high speeds of movement of a finger on the ring, of the ring on a surface, or of rotation, corresponding to relatively slow or relatively fast movements corresponding respectively to Slow and Fast variants.
- each of the actions in the table can have a relatively short duration or a relatively long duration. These durations can be illustrated for example by means of the variances of the corresponding events, as illustrated by the graphs in (A) and (C) of the (we can refer to the explanations concerning the graph of the ).
- a short action corresponds to an applied force amplitude exhibiting a peak and will therefore generate only a peak in the variance Var as in (A) whereas a long action will generate a variance remaining of relatively large amplitude over a certain duration before falling back close to zero at the end of the event, illustrated in (C) by a plateau.
- the actions Touch, Toc, Ring Toc, Squeeze, 3 Fingers Squeeze, Lat Squeeze, Click and Hand Closure can be repeated during the same event (see the example of the which represents a double action), thus creating variations of the basic event, as illustrated in (A), (B) and (D) of the (we can refer to the explanations concerning the graph of the ).
- One, two and three occurrences of a basic action correspond respectively to the Single, Double and Triple variants of this action, for example repeating three times in rapid succession the action Toc corresponds to the Triple variant of this action Toc.
- each action, direction of action and variant of action can be associated with a respective control signal to an external device to be controlled by means of the human-machine interface constituted by the ring R.
- a high speed or a high amplitude of an action can be used to perform to generate a command of a control signal of the same type as the same action having a lower amplitude or speed, or a command of another type.
- a first application example is the navigation within a drop-down menu of a computer interface by means of rotation actions.
- a low amplitude Rot rotation can allow you to move to an element of the menu immediately adjacent before or after the current element, depending on the direction of rotation, while a high amplitude rotation will move to a more distant element of the menu.
- a second application example, still concerning rotations, is that of listening to a piece of music in a list.
- a low amplitude rotation can be associated with volume control while a high amplitude rotation can be associated with the choice of the piece of the list to play: piece of the list following or preceding the piece currently playing, depending on the direction of the rotation.
- Training the neural network involves providing it, during a learning phase, with a set of training data corresponding to events of identified classes, the classes being transmitted to the neural network associated with the corresponding data. Based on the data and associations provided, the neural network then “learns” to recognize the events and to associate each of them with a given class, which correspond to an action of the user on the ring. Ideally, each action of the user on the ring corresponds uniquely to a particular class of events which can be determined from the signals generated by the sensors and recorded in the memory.
- the actions generating the events that the neural network must be able to process and classify have been defined, it is necessary to produce the corresponding training data.
- the actions can be chosen from the table Tab. 1 presented above.
- One solution to produce the training data for the chosen actions is to use the ring by applying these actions to it and recording the events generated in response.
- Training data can thus be obtained by recording the signals generated by the sensors for, for example, 100 repetitions of a ring deformation event caused by a given user action, and performing this operation for each type of action to be identified.
- Steps S00, S10, S20 and S30 of the diagram of the can be used to illustrate this process of producing training data.
- step S10 the calculator CALC determines the start and end of an event defined by the signals S1, S2 and S3 generated in response to an action by the user of the ring in step S00.
- a step S20 the signals generated during the duration of the event are sampled and recorded in the memory MEM during a recording operation Rec. It is preferable that the same number of measurements be associated with each detected event. If, for example, the sampling of the measurement signals is done at a frequency of 100 Hz and the number of samples of each of the signals S1, S2 and S3 is set to 100 for a given event, the signals are recorded for a duration of one second. If the event lasts less than one second, the data is completed with zeros to maintain the number of 100 samples.
- the recorded data are preferably normalized by a conditioning Cond implemented by the calculation unit: the amplitude of this signal averaged over the duration of the event can be subtracted from each sample of a signal, then the result can be divided by the variance of the signal during the event.
- This data conditioning allows to have data sets in the same format, facilitating their processing and classification by means of the neural network.
- each event is associated with a matrix of 3x100 samples.
- Data conditioning can be adapted to the number of sensors, to the use of the ring which can influence the length of the events to be recorded, to the desired sampling rate, or even to the processing capacity by the computer integrated into the ring.
- Steps S00 to S30 are repeated until event recordings are obtained in a number and diversity considered sufficient by the practitioner.
- the recorded data here is the training data of the neural network: each data recording is associated with the corresponding action.
- Training a neural network conventionally involves providing the training data and expected results, the class of each event in the training data, as input to the neural network. At the end of the training phase, the processing of data by the neural network is assumed to be sufficiently reliable for it to be used in real conditions. The level of reliability is estimated using validation data, which allows testing the network's performance.
- the tables in Figures 23 and 24 illustrate the results of training a neural network.
- a neural network was trained to classify events into a number of classes corresponding to given user actions.
- a test was performed, the table allowing a comparison between the classifications made by the neural network and the known classes of the validation data.
- the training and validation data consisted of a few dozen recordings of each action that were collected from about ten different users.
- the table of the shows the classification test results for the following actions: Touch, Toc, Squeeze, Slide_pos and Slide_neg (Slide actions in a positive and opposite negative direction, respectively), Rot_pos and Rot_neg (Rot actions in the counterclockwise and opposite direction, respectively), Surf_slide_rl and Surf_slide_lr (Surf Slide actions to the left and to the right, respectively), and Swipe_rl and Swipe_lr (Swipe action to the left and to the right, respectively).
- the table of the shows the classification test results for the following actions: Single_squeeze and Double_squeeze (occurrence and two occurrences of the Squeeze action during one event, respectively), Rot_neg_small and Rot_neg_large (rot actions in the opposite direction to the counterclockwise direction for small and large amplitude rotations, respectively), Rot_pos_small and Rot_pos_large (rot actions in the counterclockwise direction for small and large amplitude rotations, respectively), and Trash.
- the rows of the tables correspond to the true (known) classes of the validation data and the columns to the classifications of these data by the neural network.
- the main diagonal of the tables would only include “1”s and the other boxes would only include “0”.
- Preliminary results show a classification reliability of 86% and 91% respectively for the tables in Figures 23 and 24. These scores largely validate the relevance of this approach to determine user actions on the ring from sensor measurement signals.
- the neural network can be used for practical use of the human-machine interface in the form of a ring illustrated for example by the .
- Steps S00 to S30 are performed in the same way as for the production of training data in the previous section.
- the conditioned data associated with an event are provided as input to the neural network of the CALC calculator, which performs a Class classification of the event in a step S40, which makes it possible to determine the type of action that generated this event and generate a signal S Class representative of the class of the event and the type of action that generated it.
- Each signal S Class can be considered as a signal for detecting an action applied to the annular element, more specifically a mechanical action leading to an overall deformation of the annular element.
- the neural network determines during this step to which class the event belongs.
- Step S40 can be considered as a step for detecting a particular event, and the signal S Class is also a signal for detecting a given event and therefore the action that generated it.
- the CALC calculator of the ACQ acquisition module generates a control signal S Con in response to the signal S Class and therefore to the classification of the data by the neural network. This operation can be carried out for example by searching in a table for a command associated with the class of the event, contained in the control signal.
- the signal S Class can be used as the signal S Con .
- the signal S Con can be sent to the external device APP via the communication module Com.
- An advantage of using a neural network is that the user, provided that the network is trained, will be able to adapt the response of the interface to his own gestures, and will even be able to add new detection classes to the “vocabulary” understood by the interface.
- any type of action applied to the ring and leading to reproducible events in the deformation measurement signals of the annular element can be used to control the external device. A user could thus “educate” the ring R to recognize a given manipulation of the ring, regardless of whether or not this manipulation was envisaged by its designer.
- Strain sensors are used to estimate the surface deformation undergone by an element of any mechanical system when it is subjected to external forces (force and moments of force applied to it by external elements).
- a sensor particularly suited to the ring-shaped human-machine interface described above is a thin monocrystalline piezoelectric element in the form of a plate extending in an extension plane defined by a first direction and a second direction normal to the first direction, with dimensions in the first direction and the second direction each greater than 100 ⁇ m and a thickness of less than 50 ⁇ m, a ratio of the thickness to the dimension in the first direction or the dimension in the second direction being less than 0.1.
- the piezoelectric element may have a first sensitivity S x to deformation in the first direction and a second sensitivity S y to deformation in the second direction, a crystalline orientation of the element may be such that abs(S y /S x ) ⁇ 0.1, corresponding to a so-called “unidirectional” sensitivity, abs((S y +S x )/S x ) ⁇ 0.1, corresponding to a so-called “bidirectional” sensitivity, or for at least two first directions of the extension plane making an angle between them of between 30° and 60°, abs((S x -S y )/S x ) ⁇ 0.1, corresponding to a so-called “omnidirectional” sensitivity.
- Such a thin piezoelectric element is suitable for forming the basis of a passive strain sensor, which can combine precision, sensitivity, conformability, flexibility, lightness, stability, linearity, directivity and applicability to wide strain ranges, as described in detail in French patent application FR2303635.
- this piezoelectric element can measure deformations greater than 5000 micrometers per meter with a resolution of the order of 1 nanometer of deformation per meter.
- These figures compare with those of conventional resistive gauges which can measure deformations of up to 12000 micrometers per meter but with a much lower resolution, of the order of 1 micrometer of deformation per meter, or with those of piezoelectric gauges in a box which are only capable of measuring deformations limited to approximately 300 micrometers per meter with a resolution of 1 nanometer per meter.
- This thin piezoelectric element may be provided with a pair of electrically conductive layers located respectively on two opposite faces of the thin piezoelectric element.
- a strain sensor may include at least one thin piezoelectric element as described above, located on a flexible sheet.
- the at least one thin piezoelectric element may be encapsulated between the flexible sheet and another flexible sheet;
- the sensor may comprise at least one charge amplifier connected to the at least one thin piezoelectric element;
- the sensor may comprise a plurality of thin piezoelectric elements as described above, oriented in different directions having at least a 30° separation between them;
- the sensor may comprise a first, a second and a third piezoelectric thin elements, each having the characteristic abs(S y /S x ) ⁇ 0.1, the first direction of the second piezoelectric thin element being able to make an angle of 90° with the first direction of the first piezoelectric thin element, the first direction of the third piezoelectric thin element being able to make an angle of 45° with the first direction of the first piezoelectric thin element;
- the sensor may comprise a first, a second and a third piezoelectric thin elements, each of which may have the characteristic abs(S y /S x ) ⁇ 0.1, the first direction of the second piezoelectric thin element being able to make an angle of 120° with the first direction of the first piezoelectric thin element, the first direction of the third piezoelectric thin element being able to make an angle of 240° with the first direction of the first piezoelectric thin element;
- the sensor may comprise a plurality of charge amplifiers each connected to a respective one of the thin piezoelectric elements;
- - a sensor can combine at least two sensors according to the invention electrically connected in parallel.
- Each of the sensors integrated into the R ring can consist of a sensor combining one or more of the characteristics listed above.
- the human-machine interface in the form of a ring equipped with sensors sensitive to the deformation of the annular element as a whole, can advantageously use deformation sensors having as a sensitive element the thin monocrystalline piezoelectric element described above. Its advantages are multiple, we can in particular cite the sensitivity and, possibly if it is sought, the directivity of a sensor based on such an element, but also the precision, conformability, flexibility, lightness, integrability and reduced dimensions, stability, linearity, directivity and applicability to wide ranges of deformations.
- the R ring will benefit in particular from the integrability and sensitivity of the thin piezoelectric element.
- the sensitivity allows for example to form the ANN annular element in conventional materials and dimensions for manufacturing rings: lower sensitivities would require the use of more deformable and/or thinner materials, reducing their robustness and wearing comfort.
- a classic ring made of metal, is rigid and deforms little under the action of forces applied by fingers, (usually of amplitudes less than 10 N. Such forces generate deformations of the order of 5 ⁇ def, which are difficult to measure using conventional strain gauges.
- Resistive gauges for example, have insufficient sensitivity for the application targeted here. Even if they were mounted on a sufficiently flexible annular element so that they could measure the deformations caused by the user, their power consumption would disqualify them for the intended application. In addition, reducing the noise of the gauges by filtering to keep only the low frequencies of the measurement signals would induce a prohibitive delay for a control interface.
- Piezoelectric sensors meet this criterion.
- a first type of piezoelectric deformation sensors is based on the use of a crystal of piezoelectric material with relatively good sensitivity to deformation and stable over time, but thick and rigid, often housed in a metal case to which it is mechanically attached, these latter characteristics making it difficult to integrate into a structure having the dimensions of the ring R and poorly suited to installation on a curved surface such as that of the annular element ANN.
- a second type of piezoelectric strain sensors is based on the use of composite structures comprising PZT (or lead zirconate titanate) bars located between sheets of polymer materials, or on polymer piezoelectric films called "PVDF" for poly(vinylidene fluoride) in English terminology.
- PZT lead zirconate titanate
- the thin monocrystalline piezoelectric element described above meets all the criteria necessary for good integration into the ring and good functionalities for it: dimensions, flexibility and sensitivity.
- the integrability of the piezoelectric element (ease of placing it in intimate contact with a rounded structure such as the annular element) is essential here, and its sensitivity makes it possible to detect deformations even simply applied to the finger to an annular element of comparable rigidity to a traditional metal ring.
- the piezoelectric element can be formed from lithium tantalate LiTaO3 in monocrystalline form, which belongs to the 3m space group, but also from lithium niobate LiNbO3 (group 3m), lead magnesium niobate MgNb2(PbO3)3 (group P1), aluminum nitride AlN (group P6 3mc ), barium titanate BaTiO3, potassium niobate KNbO3 or lead titanate TiPbO3 (all three from the P4mm group).
- lithium niobate LiNbO3 group 3m
- lead magnesium niobate MgNb2(PbO3)3 group P1
- aluminum nitride AlN group P6 3mc
- barium titanate BaTiO3, potassium niobate KNbO3 or lead titanate TiPbO3 all three from the P4mm group.
- FIG. 1 a cross-sectional view of a SENS piezoelectric sensor based on a thin piezoelectric element PIEZO of extension plane chosen to exhibit a particular behavior, unidirectional, omnidirectional or bidirectional to a unidirectional deformation applied to it in its extension plane.
- the sensitivity behavior of the thin piezoelectric element is transferred to the sensor integrating this thin piezoelectric element.
- Such sensors can be particularly adapted to specific situations as illustrated by figures 10 to 12 commented below, but they can also be used in the context of more general applications, as will become apparent later.
- the SENS sensor comprises a flexible SH1 sheet on which the thin PIEZO element is fixed.
- the sheets are preferably made of flexible materials chosen according to the intended application, and may be, for example, made of metal, polyvinyl chloride (PVC), polyimide (PI), polyethylene terephthalate (PET), biaxially oriented polyethylene terephthalate (Mylar®) or a composite material of epoxy resin and glass fibers.
- the thin PIEZO element may be fixed to the SH1 sheet by means of a flexible adhesive such as an anisotropic conductive film (ACF) which also allows electrical contact as described in patent document FR 3 122 985.
- ACF anisotropic conductive film
- the SENS sensor may be fixed to a surface to be characterized by means of an adhesive, for example a cyanoacrylate glue or an epoxy resin.
- a charge amplifier C.AMP is also fixed on the sheet SH1 and functionally connected to two conductive layers EL1 and EL2 acting as electrodes, respectively formed on two opposite faces of the thin PIEZO element.
- the function of the charge amplifier is to produce a voltage corresponding to the charge applied at the input and which corresponds to the charge generated by the PIEZO element during its deformation, for the purposes of electronic processing of the generated electrical potential and to carry out an effective measurement of the deformation of the PIEZO element.
- a wire connection element such as a ribbon cord, is connected to the charge amplifier to connect the sensor to an external measuring device.
- the thin piezoelectric element PIEZO preferably has a thickness of less than 50 ⁇ m, more preferably less than 25 ⁇ m, even more preferably less than 10 ⁇ m.
- a ratio of the thickness of the PIEZO element to its dimension L X in a first direction of its extension plane, and/or of a dimension Ly in a second dimension of its extension plane normal to the Lx direction is less than 0.1, preferably less than 0.05, more preferably less than 0.01.
- the SH1 sheet and, where applicable, the SH2 sheet may have a thickness between 5 and 300 ⁇ m.
- the SENS piezoelectric sensor considered as a whole is sufficiently flexible to fit the surface of the annular element to which it is to be fixed and capable of following its deformations.
- the practitioner will be able to decide for each application the characteristics of the thin piezoelectric element PIEZO, its support, and other elements such as the electrode layers or the means of making electrical contacts.
- the SH1 sheet may be made of or replaced by a flexible support such as a flexible printed circuit called "flex PCB", composed of layers of electrically insulating polymer and layers of copper, making it possible to route signals between the different components of an electronic circuit.
- a flexible support such as a flexible printed circuit called "flex PCB"
- Each sensor assembly may comprise a plurality of piezoelectric PIEZO elements, each having its own support, as may the electronic module controlling them.
- a single flex PCB support may accommodate all of the PIEZO elements and the electronic module controlling these elements.
- a first flex PCB support may be common to all of the PIEZO elements and a second flex PCB support may be dedicated to the electronic control module.
- the exact type of sensor(s) to be integrated into the ANN annular element will depend on the type of action to be detected and the constraints imposed (autonomy, sensitivity, etc.), according to the designers' intentions.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Position Input By Displaying (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
L'invention concerne un capteur en forme d’anneau, et s’étend aux interfaces homme-machine, systèmes permettant à un utilisateur de contrôler des systèmes interactifs, et se situe donc dans le domaine des interactions homme-machine parfois désignées par l’acronyme IHM.The invention relates to a ring-shaped sensor, and extends to human-machine interfaces, systems allowing a user to control interactive systems, and is therefore in the field of human-machine interactions sometimes designated by the acronym HMI.
Les interfaces homme-machine se trouvent sous de multiples formes permettant à un utilisateur d’interagir avec un système électronique, qu’il se trouve par exemple sous la forme d’un ordinateur, un robot, une télévision, un système de reproduction sonore, ou encore une console de jeu. Ces interfaces sont conçues pour i) générer des signaux de contrôle à partir d’une action de l’utilisateur, puis ii) transmettre ces signaux au système électronique.Human-machine interfaces come in many forms that allow a user to interact with an electronic system, whether it is in the form of a computer, a robot, a television, a sound reproduction system, or a game console. These interfaces are designed to i) generate control signals from a user action, and then ii) transmit these signals to the electronic system.
La grande variété d’actions possibles pour un utilisateur à des fins de contrôle du système électronique a été mise à profit pour concevoir divers types d’interfaces : il peut s’agir d’un clavier, une souris, un écran tactile, un système de détection optique, un microphone ou encore une manette, tous munis de capteurs (contact, infra-rouge, magnétomètre, optique, caméra, accéléromètre, gyroscope…) ayant pour fonction de détecter une action spécifique de l’utilisateur (déplacement, geste, parole, actionnement…).The wide variety of possible actions for a user for the purpose of controlling the electronic system has been used to design various types of interfaces: it can be a keyboard, a mouse, a touch screen, an optical detection system, a microphone or even a controller, all equipped with sensors (contact, infrared, magnetometer, optical, camera, accelerometer, gyroscope, etc.) whose function is to detect a specific action by the user (movement, gesture, speech, actuation, etc.).
Parmi ces divers types d’interfaces, des efforts de développement ont porté sur des dispositifs prenant la forme d’un anneau, généralement destiné à être porté autour d’un doigt de l’utilisateur, comme décrit dans le brevet US 9,582,076 B2 et dans la demande de brevet US 2017/0242496 A1. De tels dispositifs ont pour avantages un encombrement minimal, pouvant être portés sans gêner l’utilisateur, mais requièrent des capteurs complexes tels que des caméras destinées à l’analyse de l’environnement immédiat de l’anneau et générant des signaux dont les traitements entraînent des calculs lourds, nécessitant une électronique de haute performance, chère et obérant l’autonomie de ces interfaces. En outre, cette complexité impacte négativement la fiabilité du contrôle.Among these various types of interfaces, development efforts have focused on devices in the form of a ring, generally intended to be worn around a user's finger, as described in US patent 9,582,076 B2 and in patent application US 2017/0242496 A1. Such devices have the advantage of minimal bulk, being able to be worn without bothering the user, but require complex sensors such as cameras intended to analyze the immediate environment of the ring and generating signals whose processing involves heavy calculations, requiring high-performance electronics, expensive and compromising the autonomy of these interfaces. In addition, this complexity negatively impacts the reliability of the control.
Toujours concernant les dispositifs prenant une forme d’anneau, il existe des systèmes de conception plus simples, tels qu’un anneau à huit faces extérieures décrit dans l’article de Hyunchul Lim et al., « OctaRing: Examining pressure-sensitive multi-touch input on a finger ring device », UIST 2016 Adjunct - Proceedings of the 29th Annual Symposium on User Interface Software and Technology, Association for Computing Machinery, Inc, pages 223 à 224. Chacune des huit faces est équipée d’un capteur de pression destiné à être directement pressé par l’utilisateur. Divers signaux de contrôle peuvent être générés selon les capteurs de pressions pressés simultanément.Still regarding ring-shaped devices, there are simpler design schemes, such as an eight-sided ring described in the paper by Hyunchul Lim et al., “OctaRing: Examining pressure-sensitive multi-touch input on a finger ring device,” UIST 2016 Adjunct - Proceedings of the 29th Annual Symposium on User Interface Software and Technology, Association for Computing Machinery, Inc, pages 223-224. Each of the eight faces is equipped with a pressure sensor to be directly pressed by the user. Various control signals can be generated depending on which pressure sensors are pressed simultaneously.
Dans la même idée, le demande de brevet US 2020/0150715 A1 décrit des systèmes en forme d’anneaux destinés à être portés à un doigt. Chacun de ces systèmes est muni d’un ou plusieurs capteurs pouvant être destinés à détecter une action du porteur de l’anneau effectuée par la main le portant ou à détecter une action qui lui serait appliquée par la seconde main du porteur. Along the same lines, patent application US 2020/0150715 A1 describes ring-shaped systems intended to be worn on a finger. Each of these systems is equipped with one or more sensors that may be intended to detect an action of the wearer of the ring performed by the hand wearing it or to detect an action that would be applied to it by the wearer's other hand.
Un autre dispositif, un anneau destiné à être saisi à deux mains par l’utilisateur à deux zones diamétralement opposées, est décrit dans la demande de brevet US 2022/0212112 A1. Il comprend un anneau flexible monté sur une base munie d’un capteur de déformation, l’ensemble étant configuré pour générer un signal représentatif de l’amplitude de déformation de l’anneau flexible lorsque l’utilisateur déforme l’anneau en rapprochant ses mains l’une de l’autre.Another device, a ring intended to be grasped with two hands by the user at two diametrically opposed areas, is described in patent application US 2022/0212112 A1. It comprises a flexible ring mounted on a base provided with a deformation sensor, the assembly being configured to generate a signal representative of the amplitude of deformation of the flexible ring when the user deforms the ring by bringing his hands closer together.
Cependant, une interface homme-machine ayant une forme générale d’anneau, de conception simple tout en permettant de générer des signaux de contrôle variés à partir d’actions de l’utilisateur également variées reste à définir.However, a human-machine interface having a general ring shape, of simple design while allowing the generation of varied control signals from equally varied user actions remains to be defined.
L’objectif du déposant est de proposer d’une part un capteur de déformation en forme d’anneau, et, d’autre part, une application de ce capteur de déformation à un dispositif d’interaction homme-machine prenant la forme d’un anneau sensible à la déformation d’un élément annulaire de l’anneau provoquée par un utilisateur.The applicant's objective is to propose, on the one hand, a ring-shaped deformation sensor and, on the other hand, an application of this deformation sensor to a human-machine interaction device taking the form of a ring sensitive to the deformation of an annular element of the ring caused by a user.
En vue de la réalisation de ce but, un premier aspect de l’invention est un ensemble de capteur se présentant sous forme d’un anneau, comprenant un élément annulaire de forme sensiblement cylindrique, au moins deux capteurs de déformation montés sur l’élément annulaire à des niveaux d’au moins deux rayons de celui-ci, respectivement, les deux rayons étant distincts angulairement l’un de l’autre, de manière à ce que les au moins deux capteurs soient sensibles à une déformation globale de l’élément annulaire, et un module électronique configuré de manière à générer un signal de détection représentatif de la déformation globale de l’élément annulaire, en réponse à un traitement d’au moins deux signaux respectivement émis par les au moins deux capteurs de déformation.In order to achieve this aim, a first aspect of the invention is a sensor assembly in the form of a ring, comprising an annular element of substantially cylindrical shape, at least two deformation sensors mounted on the annular element at levels of at least two radii thereof, respectively, the two radii being angularly distinct from each other, such that the at least two sensors are sensitive to an overall deformation of the annular element, and an electronic module configured so as to generate a detection signal representative of the overall deformation of the annular element, in response to processing of at least two signals respectively emitted by the at least two deformation sensors.
Un tel ensemble de capteur permet la détection d’une grande variété d’actions sur l’élément annulaire formant sa structure mécanique. Plus spécifiquement, les actions mécaniques telles que pressions, tapes ou frottements appliquées à l’élément annulaire lui-même entraînent sa déformation et, grâce à la présence d’au moins deux capteurs, cette déformation peut être caractérisée spatialement et suivie dans le temps. L’élément annulaire n’est pas un simple support passif pour les capteurs, mais participe, par sa déformation, à la détection d’une action de l’utilisateur, plus spécifiquement une action mécanique entraînant une déformation de l’élément annulaire.Such a sensor assembly allows the detection of a wide variety of actions on the annular element forming its mechanical structure. More specifically, mechanical actions such as pressures, taps or frictions applied to the annular element itself cause its deformation and, thanks to the presence of at least two sensors, this deformation can be characterized spatially and followed over time. The annular element is not a simple passive support for the sensors, but participates, through its deformation, in the detection of a user action, more specifically a mechanical action causing a deformation of the annular element.
Ainsi, cet ensemble de capteur permet la détection et la caractérisation d’un grand nombre d’actions, d’une manière non limitée à une logique de détection binaire d’une action ou à une mesure d’une amplitude de déformation monodimensionnelle. Ce capteur rend en effet possible le suivi spatio-temporel d’une déformation imposée à l’élément annulaire, comme il sera développé plus en détails dans la suite de la description.Thus, this sensor assembly allows the detection and characterization of a large number of actions, in a manner not limited to a binary detection logic of an action or to a measurement of a one-dimensional deformation amplitude. This sensor indeed makes possible the spatio-temporal monitoring of a deformation imposed on the annular element, as will be developed in more detail in the rest of the description.
Il est notable que les actions n’ont pas à être appliquées directement aux capteurs, mais peuvent être appliquées en tout point de l’élément annulaire, éventuellement en une pluralité de points de cet élément, indépendamment de la présence ou non de capteurs en ce ou ces points. En outre, le ou les points d’applications de l’action sur l’élément annulaire n’ont pas à être fixes, mais peuvent être mobiles à la surface de cet élément annulaire.It is notable that the actions do not have to be applied directly to the sensors, but can be applied at any point of the annular element, possibly at a plurality of points of this element, regardless of the presence or absence of sensors at this or these points. Furthermore, the point or points of application of the action on the annular element do not have to be fixed, but can be movable on the surface of this annular element.
La structure même de l’ensemble de capteur, avec essentiellement des capteurs fixés à demeure sur un élément annulaire, reste simple et ne comporte pas de pièces mobiles, gages de fiabilité et de robustesse de l’ensemble.The structure of the sensor assembly itself, with essentially sensors permanently fixed on an annular element, remains simple and does not include any moving parts, guaranteeing the reliability and robustness of the assembly.
Selon des caractéristiques additionnelles non-limitatives du capteur selon l’invention, considérées individuellement ou selon toute combinaison techniquement réalisable :According to additional non-limiting characteristics of the sensor according to the invention, considered individually or in any technically feasible combination:
- l’élément annulaire peut avoir une structure monolithique ;- the annular element can have a monolithic structure;
- l’élément annulaire peut être formé de métal ;- the annular element may be formed of metal;
- les au moins deux rayons distincts peuvent être espacés angulairement entre eux d’un angle compris entre 20° et 160° ;- the at least two distinct rays may be angularly spaced apart from each other by an angle of between 20° and 160°;
- les au moins deux capteurs de déformation peuvent être des capteurs de type piézoélectrique ;- the at least two deformation sensors may be piezoelectric type sensors;
- les au moins deux capteurs de déformation peuvent comprendre au moins un élément mince piézoélectrique monocristallin se présentant sous forme d’une plaque s’étendant dans un plan d’extension défini par une première direction et une seconde direction normale à la première direction, de dimensions dans la première direction et la seconde direction chacune supérieures à 100 µm et d’épaisseur inférieure à 50 µm, un rapport de l’épaisseur sur la dimension dans la première direction ou la dimension dans la seconde direction étant inférieur à 0,1.- the at least two strain sensors may comprise at least one thin monocrystalline piezoelectric element in the form of a plate extending in an extension plane defined by a first direction and a second direction normal to the first direction, with dimensions in the first direction and the second direction each greater than 100 µm and with a thickness of less than 50 µm, a ratio of the thickness to the dimension in the first direction or the dimension in the second direction being less than 0.1.
Un deuxième objet de l’invention est une interface homme-machine comprenant l’ensemble de capteur selon l’invention, le module électronique étant en outre configuré de manière à générer un signal de contrôle d’un appareil extérieur à l’interface homme-machine en réponse au signal de détection.A second object of the invention is a human-machine interface comprising the sensor assembly according to the invention, the electronic module being further configured so as to generate a control signal from a device external to the human-machine interface in response to the detection signal.
Une telle interface permet de caractériser de manière simple, précise et suivie dans le temps, une déformation, globale ou localisée, de l’élément annulaire sur la base de déformations locales mesurées par les capteurs. On peut associer divers signaux de contrôle d’un appareil externe aux occurrences et aux variations dans le temps de la déformation, ce qui permet une grande flexibilité d’utilisation en comparaison de la simplicité du dispositif.Such an interface makes it possible to characterize in a simple, precise and time-monitored manner, a global or localized deformation of the annular element on the basis of local deformations measured by the sensors. Various control signals from an external device can be associated with the occurrences and variations in time of the deformation, which allows great flexibility of use compared to the simplicity of the device.
En effet, les déformations de l’élément annulaire ne sont pas évaluées à l’aide d’un seul capteur, ou à l’aide d’un seul capteur indépendamment d’éventuels autres capteurs, mais à l’aide d’au moins deux capteurs, nombre minimal et suffisant pour détecter et caractériser une grande variété de déformations de l’élément annulaire.In fact, the deformations of the annular element are not evaluated using a single sensor, or using a single sensor independently of any other sensors, but using at least two sensors, a minimum number sufficient to detect and characterize a wide variety of deformations of the annular element.
Les déformation peuvent en particulier être des déformations considérées comme globales, c’est-à-dire qu’elles peuvent être détectées par l’ensemble des capteurs. Les amplitudes de déformation détectées par chacun des capteurs, de valeurs relatives et d’évolutions temporelles respectives propres à chacun des capteurs, dépendent de la déformation effectivement appliquée à l’élément annulaire et permettent une caractérisation très fine de la déformation et de l’associer à une action appliquée sur l’élément annulaire par l’utilisateur. Ainsi, des actions mécaniques très diverses de l’utilisateur sur l’élément annulaire peuvent être associées à autant de signaux de contrôle de l’appareil externe. On obtient ainsi une interface de contrôle très polyvalente, susceptible de générer un très grand nombre de signaux de contrôle en dépit d’une architecture matérielle très simple : un anneau, deux capteurs et une électronique de mesure et de commande.The deformations can in particular be deformations considered as global, that is to say that they can be detected by all the sensors. The deformation amplitudes detected by each of the sensors, of relative values and respective temporal evolutions specific to each of the sensors, depend on the deformation actually applied to the annular element and allow a very fine characterization of the deformation and to associate it with an action applied on the annular element by the user. Thus, very diverse mechanical actions of the user on the annular element can be associated with as many control signals from the external device. This gives a very versatile control interface, capable of generating a very large number of control signals despite a very simple hardware architecture: a ring, two sensors and measurement and control electronics.
Il s’agit en outre d’une interface ne portant pas atteinte à la vie privée de l’utilisateur puisque que ne reposant pas sur l’acquisition et le traitement de signaux vidéo ou sonores, susceptibles de contenir des informations d’ordre personnel. Cette interface se prête très bien à une intégration dans des bijoux d’aspect classique, y comprise de faibles dimensions.It is also an interface that does not infringe on the user's privacy since it does not rely on the acquisition and processing of video or sound signals, which may contain personal information. This interface is very suitable for integration into classic-looking jewelry, including small ones.
Selon des caractéristiques additionnelles non-limitatives du capteur selon l’invention, considérées individuellement ou selon toute combinaison techniquement réalisable :According to additional non-limiting characteristics of the sensor according to the invention, considered individually or in any technically feasible combination:
- l’interface peut être configurée pour ne maintenir éveillée qu’une première partie du module d’acquisition associée à la détection et ne mettre en fonction des secondes parties du module d’acquisition que lorsqu’il est déterminé que des mises en fonction respectives de ces secondes parties sont nécessaires à une analyse des signaux émis par les au moins deux capteurs de déformation ;- the interface can be configured to keep awake only a first part of the acquisition module associated with the detection and to activate second parts of the acquisition module only when it is determined that respective activations of these second parts are necessary for an analysis of the signals emitted by the at least two deformation sensors;
- le calculateur peut être configuré pour (i) classifier des événements représentés par les signaux émis par les au moins deux capteurs de déformation et (ii) générer le signal de contrôle d’un appareil extérieur à l’interface homme-machine en réponse à cette classification ;- the calculator can be configured to (i) classify events represented by the signals emitted by the at least two deformation sensors and (ii) generate the control signal of a device external to the human-machine interface in response to this classification;
- le signal de contrôle peut être représentatif d’au moins une action choisie parmi un serrage, un serrage court ou un serrage long de l’élément annulaire entre deux doigts ou entre trois doigts, répété ou non, selon une direction centripète à l’élément annulaire ; un serrage de l’élément annulaire, répété ou non, parallèlement à un axe de révolution de l’élément annulaire ; une fermeture d’une main dont un doigt porte l’élément annulaire ou la fermeture d’un doigt portant l’élément annulaire ; et une rotation de l’élément annulaire entre deux doigts d’une première amplitude appartenant à un intervalle angulaire ou d’une seconde amplitude supérieure à une borne supérieure de l’intervalle angulaire ;- the control signal may be representative of at least one action chosen from a tightening, a short tightening or a long tightening of the annular element between two fingers or between three fingers, repeated or not, in a centripetal direction to the annular element; a tightening of the annular element, repeated or not, parallel to an axis of revolution of the annular element; a closing of a hand with one finger carrying the annular element or the closing of a finger carrying the annular element; and a rotation of the annular element between two fingers of a first amplitude belonging to an angular interval or of a second amplitude greater than an upper limit of the angular interval;
- le signal de contrôle peut être représentatif d’au moins une action choisie parmi un toucher de l’élément annulaire par un doigt ; une tape d’une surface par un doigt portant l’élément annulaire ; une tape d’une surface directement avec l’élément annulaire ; l’application d’une pression sur l’élément annulaire en un point se déplaçant sur l’élément annulaire autour d’un doigt portant l’élément annulaire ; un glissement de l’élément annulaire sur une surface, un glissement d’un doigt d’une première main sur l’élément annulaire selon une direction parallèle à un doigt d’une seconde main portant l’élément annulaire ; une localisation de l’une quelconque des actions précédentes ; et un claquement d’une doigt portant l’élément annulaire ;- the control signal may be representative of at least one action selected from a touch of the annular element by a finger; a tap of a surface by a finger carrying the annular element; a tap of a surface directly with the annular element; the application of pressure to the annular element at a point moving on the annular element around a finger carrying the annular element; a sliding of the annular element on a surface, a sliding of a finger of a first hand on the annular element in a direction parallel to a finger of a second hand carrying the annular element; a localization of any one of the preceding actions; and a snap of a finger carrying the annular element;
- le module d’acquisition peut être configuré pour détecter une rotation de l’élément annulaire sur la base des signaux émis par les au moins deux capteurs de déformation ; et en réponse à l’étape de détection, générer un signal représentatif de l’occurrence d’une rotation de l’élément annulaire ;- the acquisition module can be configured to detect a rotation of the annular element on the basis of the signals emitted by the at least two deformation sensors; and in response to the detection step, generate a signal representative of the occurrence of a rotation of the annular element;
- le signal est représentatif d’une rotation ayant dépassé une valeur angulaire incrémentale ;- the signal is representative of a rotation having exceeded an incremental angular value;
- l’interface peut en outre comprendre un module de transmission sans fil configuré pour transmettre des signaux générés par le module d’acquisition à l’appareil extérieur et une source d’alimentation en énergie électrique du module de transmission sans fil et du module d’acquisition ;- the interface may further comprise a wireless transmission module configured to transmit signals generated by the acquisition module to the external device and a source of electrical energy supply to the wireless transmission module and the acquisition module;
- l’interface peut en outre comprendre un dispositif de retour d’information configuré pour signaler à un utilisateur une génération d’un signal de détection par le module d’acquisition ; et- the interface may further comprise a feedback device configured to signal to a user a generation of a detection signal by the acquisition module; and
- l’interface peut être configurée pour être enfilée sur une partie d’un utilisateur ou une tige d’un dispositif de contrôle de l’appareil extérieur.- the interface may be configured to be threaded onto a part of a user or a rod of a control device of the external appliance.
L’interface selon l’invention peut être compacte, passive lorsque des capteurs de déformation de type piézoélectrique sont employés, et le traitement des signaux générés par ces capteurs peut être simple et léger du point de vue intensité des calculs, résultant en une forte autonomie du dispositif. En outre, la détection de déformation de l’anneau, ou, plus spécifiquement, de l’élément annulaire, peut être d’une grande sensibilité et peut donc fonctionner sans difficulté même avec des anneaux très rigides tels que des anneaux métalliques épais, tels que les bijoux portés couramment.The interface according to the invention can be compact, passive when piezoelectric type deformation sensors are used, and the processing of the signals generated by these sensors can be simple and light from the point of view of computational intensity, resulting in a high autonomy of the device. In addition, the detection of deformation of the ring, or, more specifically, of the annular element, can be of high sensitivity and can therefore operate without difficulty even with very rigid rings such as thick metal rings, such as commonly worn jewelry.
L’invention s’étend à un kit comprenant une interface homme-machine selon l’invention ainsi qu’un appareil extérieur configuré pour être contrôlé au moyen de l’interface homme-machine.The invention extends to a kit comprising a human-machine interface according to the invention as well as an external device configured to be controlled by means of the human-machine interface.
D’autres caractéristiques et avantages de l’invention ressortiront de la description détaillée de l’invention qui va suivre en référence aux figures annexées sur lesquels :Other characteristics and advantages of the invention will emerge from the detailed description of the invention which follows with reference to the appended figures in which:
Un mode de réalisation de la présente invention est décrit au moyen des figures 1 à 19 et des passages associés ci-dessous. Les figures 1 à 4 et 19 donnent des informations sur la structure, l’usage et le principe de fonctionnement de l’anneau d’interaction homme-machine.An embodiment of the present invention is described by means of Figures 1 to 19 and the associated passages below. Figures 1 to 4 and 19 provide information on the structure, usage and operating principle of the human-machine interaction ring.
Les figures 5 à 18 détaillent une première option pour l’exploitation des signaux générés par les capteurs de déformation à la suite d’une manipulation de l’anneau par un utilisateur.Figures 5 to 18 detail a first option for exploiting the signals generated by the deformation sensors following manipulation of the ring by a user.
Les figures 20 à 27 détaillent une seconde option pour l’exploitation des signaux générés par les capteurs de déformation à la suite d’une manipulation de l’anneau par l’utilisateur.Figures 20 to 27 detail a second option for exploiting the signals generated by the deformation sensors following manipulation of the ring by the user.
Les figures 28 et 29 illustre un élément piézoélectrique pouvant servir à la formation d’un capteur de déformation intégré dans l’interface homme-machine selon l’invention.Figures 28 and 29 illustrate a piezoelectric element that can be used to form a deformation sensor integrated into the human-machine interface according to the invention.
La
Cette instrumentation de l’élément annulaire, et donc de l’anneau, permet de le coupler avec un module électronique EL pour former une interface homme/machine afin de contrôler, par exemple, un appareil électronique tel qu’un ordinateur, un smartphone, une télévision ou encore un lecteur multimédia. Dans cet exemple, trois capteurs de déformation piézoélectriques SENS1 à SENS3 sont collés sur l’élément annulaire, sur lequel est monté le module électronique EL, configuré pour mesurer les charges électriques ou la tension électrique générées par les capteurs, les analyser, et renvoyer, selon une technique sans fil, l’information à un appareil externe tel que ceux cités ci-dessus.This instrumentation of the annular element, and therefore of the ring, makes it possible to couple it with an electronic module EL to form a human/machine interface in order to control, for example, an electronic device such as a computer, a smartphone, a television or a multimedia player. In this example, three piezoelectric deformation sensors SENS 1 to SENS 3 are glued to the annular element, on which the electronic module EL is mounted, configured to measure the electrical charges or the electrical voltage generated by the sensors, analyze them, and return, using a wireless technique, the information to an external device such as those mentioned above.
Comme illustré en (B) de la
Comme illustré en (C) de la
On peut ainsi détecter diverses actions de l’utilisateur sur l’anneau, et les associer à des actions prédéterminées, comme par exemple (i) un appui simple par serrage entre les doigts associé à une action de validation, (ii) un appui double associé à une action de retour en arrière dans un menu d’une application contrôlée par l’anneau, (iii) une rotation dans un sens ou dans l’autre associée au contrôle du défilement vers le haut ou vers le bas dans une liste ou au contrôle du volume d’un lecteur de musique, et (iv) une tape du doigt portant l’anneau sur une surface dure telle qu’une table ou (v) une tape directe de l’anneau sur une surface dure telle que la table associées à des actions de validation équivalentes à un simple clic ou un double clic de souris d’ordinateur. On peut également associer l’intensité du serrage ou des tapes, ou bien la vitesse de rotation à des commandes particulières pour contrôler l’appareil externe. D’autres actions peuvent être considérées, comme par exemple celles listées dans le tableau Tab. 1 plus bas. Dans le présent document, lorsque des rotations sont mentionnées, et sauf indication contraire, il s’agit d’une rotation de l’anneau autour de son axe de révolution Ax, illustré par la
Il est à noter que l’anneau pris en exemple dans ce mode de réalisation est équipé de trois capteurs, mais un anneau doté de deux capteurs, nombre minimal pour caractériser spatialement la déformation de l’anneau, fonctionnerait également. Utiliser trois capteurs amenant de la redondance et à une mesure additionnelle permettant une discrimination en cas de situation ambigüe. Il est également possible d’utiliser un plus grand nombre de capteurs, avec pour inconvénients une augmentation de l’intégration et du coût de l’anneau, ainsi qu’une complexification du système de traitement électronique à intégrer sur l’élément annulaire, avec une augmentation des pistes de contact électrique et des voies de traitement de signaux, et comme avantage une meilleure robustesse des détections d’évènements. Un évènement est ici entendu comme une action délibérée de l’utilisateur sur l’anneau en vue de produire un signal de contrôle d’un appareil extérieur, les capteurs générant des signaux en réponse à cette action.It should be noted that the ring taken as an example in this embodiment is equipped with three sensors, but a ring equipped with two sensors, the minimum number to spatially characterize the deformation of the ring, would also work. Using three sensors brings redundancy and an additional measurement allowing discrimination in the event of an ambiguous situation. It is also possible to use a greater number of sensors, with the disadvantages of an increase in the integration and cost of the ring, as well as a complexity of the electronic processing system to be integrated on the annular element, with an increase in the electrical contact tracks and signal processing paths, and as an advantage a better robustness of the event detections. An event is understood here as a deliberate action of the user on the ring in order to produce a control signal of an external device, the sensors generating signals in response to this action.
Aussi, les capteurs SENS1, SENS2 et SENS3 sont illustrés situés sur la surface extérieure de l’anneau, mais ils pourraient également être situés sur sa surface intérieure, ou bien encore intégrés dans le volume de l’élément annulaire, par exemple en étant pris en sandwich entre deux anneaux concentriques.Also, the sensors SENS 1 , SENS 2 and SENS 3 are illustrated located on the outer surface of the ring, but they could also be located on its inner surface, or even integrated into the volume of the annular element, for example by being sandwiched between two concentric rings.
En (C), la
Les positions respectives des capteurs sur l’anneau sont repérées au moyen de rayons, le centre d’un des capteurs définissant un rayon de référence, les positions des autres capteurs étant repérées par les angles que font les rayons passant par leurs centres respectifs (dans une vue en coupe selon l’axe de révolution Ax de l’anneau) avec le rayon initial. Dans l’exemple de la
Il n’y a pas d’obligation stricte à respecter dans le positionnement relatif des capteurs, à l’exception du fait qu’il convient d’éviter de placer deux capteurs à des positions diamétralement opposées si l’on souhaite caractériser spatialement la déformation liée à une pression exercée en deux points diamétralement opposés, par exemple entre deux doigts de l’utilisateur : un tel un positionnement symétrique des deux capteurs limite les capacités de caractérisation spatiale de la déformation. Il est aussi préférable d’espacer suffisamment deux capteurs l’un de l’autre pour favoriser cette caractérisation spatiale, d’autant plus aisée que les déformations mesurées par les capteurs auront des amplitudes différentes.There is no strict requirement to respect in the relative positioning of the sensors, except that it is advisable to avoid placing two sensors at diametrically opposed positions if one wishes to spatially characterize the deformation linked to a pressure exerted at two diametrically opposed points, for example between two fingers of the user: such a symmetrical positioning of the two sensors limits the spatial characterization capabilities of the deformation. It is also preferable to space two sensors sufficiently apart from each other to facilitate this spatial characterization, which is all the easier since the deformations measured by the sensors will have different amplitudes.
Ainsi, il est préférable que les rayons définissant les positions des capteurs soient espacés angulairement d’angles compris entre 20° et 160°, plus préférablement entre 40° et 140°. Bien entendu, les angles retenus pourront dépendre du nombre de capteurs intégrés sur l’anneau.Thus, it is preferable that the rays defining the positions of the sensors are angularly spaced at angles between 20° and 160°, more preferably between 40° and 140°. Of course, the angles chosen may depend on the number of sensors integrated on the ring.
L’anneau peut également être muni d’un dispositif de retour d’information FB, ou feedback en terminologie anglaise, informant l’utilisateur que sa manipulation de l’anneau par serrage, tape ou rotation a bien été prise en compte. Le dispositif FB peut être de tout type conventionnellement utilisé à cette fin, tel qu’un dispositif lumineux, sonore, ou haptique.The ring may also be provided with a feedback device FB, or feedback in English terminology, informing the user that his manipulation of the ring by tightening, tapping or rotating has been taken into account. The FB device may be of any type conventionally used for this purpose, such as a light, sound or haptic device.
L’anneau peut être manipulé alors qu’il est enfilé sur une partie d’un utilisateur, et en particulier sur un doigt F6 d’une main H comme illustré en (A) de la
L’anneau a préférablement des dimensions le rendant apte à être enfilé sur un doigt comme le serait un bijou tel qu’une bague, avec par exemple pour l’élément annulaire ANN un diamètre intérieur fin, illustré en (A) de la
En outre, l’anneau n’est pas nécessairement un anneau fermé, mais peut également être un anneau ouvert comportant une coupure C, comme illustré en (C) de la
On considère que l’élément annulaire est de forme sensiblement cylindrique dans le sens où il est apte à être enfilé sur un doigt. Cependant la forme sensiblement cylindrique de l’élément annulaire peut englober des formes variées, l’important étant qu’il puisse être confortablement porté au doigt par un utilisateur et que des capteurs puissent y être intégrés.The ring element is considered to be substantially cylindrical in shape in the sense that it is capable of being slipped onto a finger. However, the substantially cylindrical shape of the ring element may encompass a variety of shapes, the important thing being that it can be comfortably worn on a finger by a user and that sensors can be integrated therein.
La
Le module électronique EL comprend un module d’acquisition ACQ dans lequel un convertisseur analogique-numérique CONV reçoit les signaux analogiques en provenance des capteurs SENS1 et SENS2 et les convertit en signaux numériques traités par un calculateur numérique CALC. Le calculateur numérique traite les signaux numériques, génère des signaux de détection en réponse aux signaux numériques, génère des signaux de contrôle SCon d’un appareil extérieur APP sur la base des signaux de détection, et envoie ces signaux de contrôle à un module de communication COM. Le module de communication COM a pour fonction de transmettre selon des méthodes conventionnelles, de préférence sans fil, les signaux de contrôle générés à l’appareil extérieur APP, distant de l’anneau R.The electronic module EL comprises an acquisition module ACQ in which an analog-to-digital converter CONV receives the analog signals from the sensors SENS 1 and SENS 2 and converts them into digital signals processed by a digital computer CALC. The digital computer processes the digital signals, generates detection signals in response to the digital signals, generates control signals S Con of an external device APP on the basis of the detection signals, and sends these control signals to a communication module COM. The communication module COM has the function of transmitting according to conventional methods, preferably wirelessly, the generated control signals to the external device APP, remote from the ring R.
Le calculateur CALC est également configuré pour, le cas échéant, commander le dispositif de retour d’information FB et déclencher une action indiquant à l’utilisateur de l’anneau que son action sur l’anneau a été prise en compte pour envoyer un signal de contrôle à l’appareil extérieur APP.The CALC calculator is also configured to, if necessary, control the FB feedback device and trigger an action indicating to the user of the ring that his action on the ring has been taken into account to send a control signal to the external device APP.
Une batterie BAT fournit l’énergie nécessaire au fonctionnement du convertisseur analogique-numérique CONV, du calculateur numérique CALC, du module de communication COM et du dispositif de retour d’information FB. Si les capteurs sont des jauges résistives, la batterie peut également être utilisée pour les alimenter en courant électrique. A BAT battery provides the energy needed to operate the analog-to-digital converter CONV, the digital calculator CALC, the communication module COM and the feedback device FB. If the sensors are resistive gauges, the battery can also be used to supply them with electrical current.
Optionnellement, la batterie peut être chargée au moyen d’un dispositif de récupération d’énergie EH, ou « Energy Harvesting » en terminologie anglaise, tel qu’un dispositif électromécanique miniature configuré pour récupérer de manière conventionnelle l’énergie de vibrations ambiantes ou de mouvements de l’utilisateur de l’anneau R.Optionally, the battery may be charged by means of an energy harvesting device EH, or “Energy Harvesting” in English terminology, such as a miniature electromechanical device configured to conventionally harvest energy from ambient vibrations or movements of the user of the ring R.
En ce qui concerne la structure de l’ensemble de capteur, l’invention n’est pas limitée aux exemples mentionnés plus haut et l’élément annulaire et les capteurs peuvent être mis en œuvre de différentes manières, illustrées par les figures 1, 3 et 19 comme décrit ci-dessous.As for the structure of the sensor assembly, the invention is not limited to the examples mentioned above and the annular element and the sensors can be implemented in different ways, illustrated by FIGS. 1, 3 and 19 as described below.
Ainsi, l’ensemble de capteur ou anneau R peut comprendre un élément annulaire ANN ouvert ou fermé formé d’un bloc comme illustré en A) de la
Les capteurs peuvent être montés sur une même surface, intérieure ou extérieure de l’anneau comme illustré par les figures 1 et 3, ou bien être montés sur des surfaces différentes de l’anneau. La
Les capteurs peuvent également être montés sur d’autres parties de l’élément annulaire que ses surfaces extérieures ou intérieures. La
Les capteurs sont montés sur l’élément annulaire de manière à être solidaires de ses déformations et ainsi générer des signaux représentatifs de ces déformations. Ils peuvent être collés à une surface de l’élément annulaire, sertis entre deux éléments de l’élément annulaire, ou intégrés de toute autre manière considérée adéquate pour l’homme du métier.The sensors are mounted on the annular element so as to be integral with its deformations and thus generate signals representative of these deformations. They can be glued to a surface of the annular element, crimped between two elements of the annular element, or integrated in any other manner considered adequate for a person skilled in the art.
Toute combinaison des mises en œuvre de capteurs illustrées par les figures 1, 3 et 19 est acceptable et tombe dans la portée de l’invention décrite dans le présent document.Any combination of the sensor implementations illustrated in Figures 1, 3 and 19 is acceptable and falls within the scope of the invention described herein.
I. Option analytique pour la détection d’événementsI. Analytical option for event detection
Plusieurs types d’actions de l’utilisateur peuvent être appliqués à l’anneau, chaque type d’action pouvant être associé à une commande donnée de l’appareil extérieur permettant de le contrôler. Chaque action entraîne un événement de déformation de l’anneau, qui se traduit par la génération de signaux par les capteurs. Chaque épisode de génération de signaux correspond à un événement que l’on cherche à caractériser et qui permet de remonter au type de l’action exercée sur l’anneau : serrage, rotation, tape, ou autre.Several types of user actions can be applied to the ring, each type of action being associated with a given command of the external device allowing it to be controlled. Each action results in a deformation event of the ring, which results in the generation of signals by the sensors. Each episode of signal generation corresponds to an event that we seek to characterize and which makes it possible to go back to the type of action exerted on the ring: tightening, rotation, tapping, or other.
Des méthodes analytiques de détection de ces types d’action en passant par les signaux générés par les capteurs sont expliquées ci-dessous, au moyen de l’anneau illustré par la
Dans les figures mentionnées ci-dessous, les références S1, S2 et S3 sont associées respectivement aux signaux générés par les trois capteurs Sens1, Sens2 et Sens3 en réponse à une action S00 appliquée à l’élément annulaire par un utilisateur. La référence « S » représente les signaux S2 et S3, la référence T représente le temps. Les références S, S1 et T sont exprimées respectivement mV, mV et s.In the figures mentioned below, the references S1, S2 and S3 are associated respectively with the signals generated by the three sensors Sens 1 , Sens 2 and Sens 3 in response to an action S00 applied to the annular element by a user. The reference "S" represents the signals S2 and S3, the reference T represents the time. The references S, S1 and T are expressed respectively mV, mV and s.
I.1 SerrageI.1 Tightening
On nomme ici « serrage » l’action qui consiste à serrer l’anneau entre deux doigts, comme illustré par la
Une action de serrage peut être détectée par le biais du dépassement d’un seuil THR0 de détection par les amplitudes des signaux générés par les capteurs.A clamping action can be detected by exceeding a detection threshold THR 0 by the amplitudes of the signals generated by the sensors.
Il est également possible de détecter non seulement l’occurrence de l’application d’un serrage, mais également sa localisation angulaire sur l’anneau. En effet, selon la localisation du serrage appliqué, les trois capteurs vont fournir des signaux différents. Une analyse des relations entre les signaux permet de remonter à la localisation du serrage appliqué, soit par simulation ab initio de l’anneau, soit par une calibration de ce dernier. On entend par localisation du serrage la détermination d’un angle compris entre 0° et 180° définissant la position de l’un des deux doigts appliquant les pressions de serrage par rapport à un angle de référence, par exemple défini par le rayon r1 du capteur SENS1. Il est présumé que le deuxième applique une pression à un emplacement diamétralement opposé à celui du premier doigt.It is also possible to detect not only the occurrence of the application of a tightening, but also its angular location on the ring. Indeed, depending on the location of the tightening applied, the three sensors will provide different signals. An analysis of the relationships between the signals makes it possible to go back to the location of the tightening applied, either by ab initio simulation of the ring or by a calibration of the latter. By tightening location, we mean the determination of an angle between 0° and 180° defining the position of one of the two fingers applying the tightening pressures relative to a reference angle, for example defined by the radius r1 of the SENS 1 sensor. It is assumed that the second applies a pressure at a location diametrically opposite that of the first finger.
Les figures 5, 6 et 7 illustrent les résultats de trois situations expérimentales dans lesquelles l’anneau est serré de sorte que l’un des deux doigts exerçant le serrage est situé au niveau, respectivement, des capteurs SENS1, SENS2 et SENS3, l’autre doigt étant situé de manière diamétralement opposée au premier doigt. En (A) sont représentés des graphes des amplitudes des signaux S2 et S3 générés respectivement par les capteurs SENS2 et SENS3 en fonction de l’amplitude du signal S1 généré par le capteur SENS1. En (B) sont représentés des graphes des amplitudes des signaux générés par les capteurs SEN1, SENS2 et SENS3 à partir des mêmes données que les graphes correspondants en (A), mais exprimés cette fois en fonction du temps T.Figures 5, 6 and 7 illustrate the results of three experimental situations in which the ring is tightened so that one of the two fingers exerting the tightening is located at, respectively, the sensors SENS 1 , SENS 2 and SENS 3 , the other finger being located diametrically opposite the first finger. In (A) are represented graphs of the amplitudes of the signals S2 and S3 generated respectively by the sensors SENS 2 and SENS 3 as a function of the amplitude of the signal S1 generated by the sensor SENS 1 . In (B) are represented graphs of the amplitudes of the signals generated by the sensors SENS 1 , SENS 2 and SENS 3 from the same data as the corresponding graphs in (A), but this time expressed as a function of time T.
Lorsque, comme en
Lorsque, comme en
Lorsque, comme en
Le fait que les amplitudes des signaux générés par les capteurs SENS2 et SENS3 exprimées en fonction de l’amplitude du signal généré par le capteur SENS1 forment sensiblement des droites est représentatif du fait que les rapports des amplitudes des signaux générés par les capteurs SENS2 et SENS3 sur l’amplitude du signal généré par le capteur SENS1 sont sensiblement constants. Cette caractéristique est due au fait que les zones d’application de pressions sur l’anneau restent immobiles durant l’application de la pression.The fact that the amplitudes of the signals generated by the SENS 2 and SENS 3 sensors expressed as a function of the amplitude of the signal generated by the SENS 1 sensor substantially form straight lines is representative of the fact that the ratios of the amplitudes of the signals generated by the SENS 2 and SENS 3 sensors to the amplitude of the signal generated by the SENS 1 sensor are substantially constant. This characteristic is due to the fact that the pressure application zones on the ring remain stationary during the application of the pressure.
Aussi, comme illustré en (B) des figures 5, 7 et 6, l’amplitude maximale parmi les signaux générés par les trois capteurs se trouve dans le signal généré par le capteur au niveau duquel se situe l’un des doigts de l’utilisateur exerçant le serrage, indiquant que cette localisation de l’anneau présente une déformation supérieure à celles des localisations des deux autres capteurs.Also, as illustrated in (B) of Figures 5, 7 and 6, the maximum amplitude among the signals generated by the three sensors is found in the signal generated by the sensor at which one of the user's fingers is located when tightening, indicating that this location of the ring has a greater deformation than the locations of the other two sensors.
Une action de serrage produit deux pics en valeur absolue dans les signaux générés par les capteurs : un premier pic provoqué par l’application d’une pression serrage à l’anneau, et un second pic dû au relâchement de cette pression, identifiés respectivement par Max1 et Max2 en (B) de la
L’analyse des courbes telles que celles des figures 5, 6 et 7 permet de remonter à l’occurrence d’une action de serrage ainsi qu’à une caractérisation de cette action de serrage, caractérisation qui est fonction des zones d’application des forces de serrage. The analysis of curves such as those in figures 5, 6 and 7 makes it possible to trace back to the occurrence of a tightening action as well as a characterization of this tightening action, a characterization which is a function of the areas of application of the tightening forces.
Par exemple, on peut considérer qu’une action de serrage sans déplacement significatif des zones d’application de la pression a été appliquée à l’anneau si un critère, selon lequel un rapport entre les amplitudes de deux des signaux est constant à plus ou moins 20% près de la valeur moyenne du rapport durant la durée de l’action, est respecté. Le pourcentage peut être ajusté par l’utilisateur. La détection d’une action de ce type permet d’écarter la possibilité qu’ait été appliquée une action mettant en jeu un déplacement significatif des zones de pression sur l’anneau, telle qu’une rotation ou un glissement. Autrement dit, le respect de ce critère implique qu’une action de pression de localisation sensiblement constante a été appliquée sur l’anneau par un utilisateur. Afin d’améliorer la fiabilité de l’application du critère, on peut ne l’appliquer qu’à des valeurs d’amplitude des signaux dépassant un certain niveau, afin d’éviter l’effet d’un bruit relatif qui devient très important pour des petites valeurs des amplitudes et/ou ajuster le pourcentage.For example, a tightening action without significant displacement of the pressure application zones can be considered to have been applied to the ring if a criterion is met, according to which a ratio between the amplitudes of two of the signals is constant to within 20% of the average value of the ratio during the duration of the action. The percentage can be adjusted by the user. The detection of an action of this type makes it possible to rule out the possibility that an action involving a significant displacement of the pressure zones on the ring, such as rotation or sliding, has been applied. In other words, compliance with this criterion implies that a pressure action of substantially constant localization has been applied to the ring by a user. In order to improve the reliability of the application of the criterion, it can be applied only to signal amplitude values exceeding a certain level, in order to avoid the effect of relative noise which becomes very significant for small amplitude values and/or adjust the percentage.
Ainsi, il est important de noter qu’une analyse des rapports entre les signaux générés par les différents capteurs permet de caractériser l’action de serrage selon un critère lié à une localisation des doigts appliquant le serrage, non seulement au niveau d’un capteur particulier, mais également à une position arbitraire variant continûment entre deux capteurs. Les lignes droites obtenues par des actions de serrages se décalant progressivement de la situation de la
I.2 Serrage doubleI.2 Double tightening
Le serrage double est une variante de l’action de serrage décrite ci-dessus, dans laquelle l’action de serrage est répétée dans un intervalle de temps prédéfini, comme le double-clic d’une souris d’ordinateur.Double-clamping is a variation of the clamping action described above, in which the clamping action is repeated within a predefined time interval, like double-clicking a computer mouse.
Cette action est détectée en comptant pour chaque capteur le nombre de maximums prenant place durant l’intervalle de temps prédéfini. La
I.3 Serrage longI.3 Long tightening
Un serrage long se distingue d’un serrage pouvant être qualifié de court, tel que ceux illustrés par les figures 5 à 7, en ce que le serrage est maintenu sur une certaine durée dépassant une valeur seuil de durée prédéterminée THR4.A long tightening is distinguished from a tightening that can be described as short, such as those illustrated in Figures 5 to 7, in that the tightening is maintained for a certain duration exceeding a predetermined duration threshold value THR 4 .
Lors d’une action de serrage, les signaux générés par les capteurs comprennent chacun un premier maximum Max1 sous forme d’un pic au début du serrage et un second maximum Max2 de signe opposé à Max1 sous forme d’un pic d’orientation opposée lorsque le serrage est relâché. Un événement correspond à une action de de serrage long lorsque sont détectés deux maximums dépassant chacun un niveau de seuil prédéterminé qui sont espacés d’une durée dépassant la valeur seuil prédéterminée THR4, comme illustré en B) de la
Le profil des courbes en B) s’explique par le fait que la tension générée par un capteur piézoélectrique va progressivement revenir à zéro après application de la déformation, même sans que le capteur revienne à son état physique de départ, selon un temps caractéristique dépendant du capteur lui-même et du système d’acquisition, soit environ 0,2 s pour le système ayant généré les signaux représentés ici.The profile of the curves in B) is explained by the fact that the voltage generated by a piezoelectric sensor will gradually return to zero after application of the deformation, even without the sensor returning to its initial physical state, according to a characteristic time depending on the sensor itself and the acquisition system, i.e. approximately 0.2 s for the system having generated the signals represented here.
I.4 Rotation – Méthode 1I.4 Rotation – Method 1
On nomme ici « rotation » l’action qui consiste à faire tourner l’anneau entre deux doigts tout en lui en appliquant un serrage par l’intermédiaire des deux doigts. Cette action de l’utilisateur résulte en une déformation de l’anneau se déplaçant avec la rotation. C’est une rotation de l’anneau selon ce principe qui permet de passer de la configuration (B) à la configuration (C) de la
La
Il est constaté que les signaux des capteurs oscillent selon un motif approximativement sinusoïdal. Les maximums des oscillations, qui correspondent à des maximums des déformations aux niveaux des trois capteurs, apparaissent dans un ordre imposé par le sens de rotation. Ce dernier peut donc être déduit de l’analyse des signaux générés par les capteurs, en trouvant les maximums et en déterminant leur ordre d’apparition. Ainsi, il est possible de caractériser la rotation en sens, amplitude angulaire et en vitesse.It is found that the sensor signals oscillate in an approximately sinusoidal pattern. The oscillation maxima, which correspond to deformation maxima at the three sensors, appear in an order imposed by the direction of rotation. The latter can therefore be deduced from the analysis of the signals generated by the sensors, by finding the maxima and determining their order of appearance. Thus, it is possible to characterize the rotation in direction, angular amplitude and speed.
I.5 Rotation – Méthode 2I.5 Rotation – Method 2
La première méthode de caractérisation d’une rotation de l’anneau repose sur l’ordre d’apparition des maximums dans l’amplitude de déformation. Une seconde méthode, basée sur les mêmes signaux générés par les capteurs peut être envisagée.The first method of characterizing a ring rotation is based on the order of appearance of the maxima in the deformation amplitude. A second method, based on the same signals generated by the sensors, can be considered.
La
En ce qui concerne le graphique en A), dans une zone ZSq-Start du graphique correspondant au début de l’application du serrage au moyen des deux doigts de la
Dans un second temps, l’anneau est roulé entre les deux doigts, les amplitudes des paires de signaux restant telles que les racines de leurs sommes quadratiques restent supérieures à la valeur seuil, à défaut d’être constante. Ce comportement est représentatif d’un serrage exercé sur l’anneau par un être humain : il est difficile de maintenir un serrage constant sur l’anneau tout en le faisant rouler entre deux doigts, mais il est possible de maintenir un certain niveau de serrage. Le roulement se traduit par des déplacements au cours du temps en sens de rotation contraires le long des deux courbes, dans le sens des aiguilles d’une montre pour le capteur SENS2, le sens inverse des aiguilles d’une montre pour le capteur SENS3, ces deux sens dépendant du sens de la rotation imposée à l’anneau. Les rapports entre les amplitudes des signaux générés par les capteurs SENS2 et SENS3 et l’amplitude du signal généré par le capteur SENS1 changent continûment en raison du déplacement continu des zones de pressions appliqués sur l’anneau. La détection de ces changements est indicative de l’occurrence d’une action de rotation. L’amplitude de ces changements est représentative de l’angle de la rotation. On peut suivre la courbe et y faire correspondre une amplitude angulaire de rotation W entre deux instants donnés, par calibration ou calculs ab initio.In a second step, the ring is rolled between the two fingers, the amplitudes of the signal pairs remaining such that the roots of their quadratic sums remain greater than the threshold value, if not constant. This behavior is representative of a tightening exerted on the ring by a human being: it is difficult to maintain a constant tightening on the ring while rolling it between two fingers, but it is possible to maintain a certain level of tightening. The rolling results in displacements over time in opposite directions of rotation along the two curves, clockwise for the SENS sensor2, counterclockwise for the SENS sensor3, these two directions depending on the direction of rotation imposed on the ring. The ratios between the amplitudes of the signals generated by the SENS sensors2and MEANING3and the amplitude of the signal generated by the SENS sensor1change continuously due to the continuous displacement of the pressure zones applied to the ring. The detection of these changes is indicative of the occurrence of a rotation action. The amplitude of these changes is representative of the angle of rotation. The curve can be followed and an angular amplitude of rotation W between two given instants can be matched to it, by calibration or ab initio calculations.
En fin de rotation, le serrage des doigts est relâché, les amplitudes des signaux retournent à zéro, ce qui se traduit par le fait que les courbes repassent simultanément dans le périmètre défini par le niveau de seuil Thr puis retombent au point d’origine du graphique, aux niveaux des zone ZSq-End2 et Zsq-End3 de relâchement du serrage, pour les courbes issues des signaux générés par les capteurs Sens2 et Sens3, respectivement. Au moment du relâchement du serrage, la rotation est stoppée, les point d’application des pressions sont fixes, les courbes forment des droites, comme pour le cas d’un serrage décrit plus haut à l’aide des figures 5 à 7.At the end of rotation, the finger grip is released, the signal amplitudes return to zero, which results in the curves simultaneously returning to the perimeter defined by the threshold level Thr then falling back to the point of origin of the graph, at the levels of the ZSq-End 2 and Zsq-End 3 zones of release of the grip, for the curves resulting from the signals generated by the Sens 2 and Sens 3 sensors, respectively. At the time of release of the grip, the rotation is stopped, the pressure application points are fixed, the curves form straight lines, as for the case of a grip described above using figures 5 to 7.
L’analyse du graphique en A) de la
En pratique, il peut être avantageux d’engager une analyse la courbe dès que le niveau de seuil Thr est atteint, analyser la courbe en continu, générer un signal de détection de rotation à chaque fois que l’angle de rotation dépasse l’un d’une série de seuils (par exemple espacés d’intervalles de 10° ou tout autre valeur prédéterminée), et stopper l’analyse lorsque les courbes repassent sous le seuil Thr.In practice, it may be advantageous to initiate an analysis of the curve as soon as the Thr threshold level is reached, analyze the curve continuously, generate a rotation detection signal each time the rotation angle exceeds one of a series of thresholds (e.g. spaced at intervals of 10° or any other predetermined value), and stop the analysis when the curves fall back below the Thr threshold.
C’est ce qu’illustre la
I.6 Tape du doigtI.6 Finger tap
La tape du doigt portant l’anneau, de préférence sur une surface dure telle qu’une table, génère un signal de contenu fréquentiel plus haut que les actions de serrage ou de rotation de l’anneau. La
Une méthode de détection d’une tape du doigt portant l’anneau peut comprendre comme première étape une somme des signaux générés par les capteurs lors d’un événement pour obtenir un signal somme. Un filtre passe-haut est appliqué au signal somme, puis une première valeur efficace RMSH de ce signal somme filtré est calculé. Un filtre passe-bas est appliqué au même signal somme, puis une seconde valeur efficace RMSL de ce signal somme filtré est calculée. Le rapport de ces deux valeurs efficaces est alors comparé à une valeur seuil THR1 prédéterminée. Les fréquences de coupure des filtres appliqués peuvent être par exemple de 10 Hz. Si le rapport RMSH/RMSL est supérieur ou égal à la valeur seuil THR1, alors l’événement de déformation de l’anneau est considéré comme ayant été généré par une tape du doigt. Si le rapport RMSH/RMSL est inférieur à la valeur seuil THR1, alors l’événement est classé comme un serrage. La somme des signaux peut être une somme pondérée, chaque signal étant associé à un coefficient de pondération donné. Il est ainsi possible de choisir les coefficients de manière à choisir le ou les de capteurs employés pour la détection. Une valeur efficace peut être définie comme la racine carrée de la moyenne du carré de la valeur du signal sur une période de temps.A method for detecting a tap of the finger wearing the ring may comprise as a first step a sum of the signals generated by the sensors during an event to obtain a sum signal. A high-pass filter is applied to the sum signal, then a first RMS effective value H of this filtered sum signal is calculated. A low-pass filter is applied to the same sum signal, then a second RMS effective value L of this filtered sum signal is calculated. The ratio of these two effective values is then compared to a predetermined threshold value THR 1 . The cut-off frequencies of the filters applied may be for example 10 Hz. If the RMS H /RMS L ratio is greater than or equal to the threshold value THR 1 , then the ring deformation event is considered to have been generated by a tap of the finger. If the RMS H /RMS L ratio is less than the threshold value THR 1 , then the event is classified as a clamping. The sum of the signals may be a weighted sum, each signal being associated with a given weighting coefficient. It is thus possible to choose the coefficients in order to choose the sensor(s) used for detection. An effective value can be defined as the square root of the mean of the square of the signal value over a period of time.
I.7 Tape de l’anneauI.7 Ring Tape
La démarche effectuée pour la tape du doigt peut s’appliquer à l’anneau lorsqu’il est tapé directement sur une surface, préférablement dure, telle qu’une table. La différence est que les signaux générés par les capteurs ont un contenu en composantes fréquentielles hautes plus important que lorsque seul le doigt portant l’anneau est tapé sur la surface dure. On peut par exemple comparer les courbes des signaux S1, S2 et S3 de la
I.8 Tape sur un capteurI.8 Tap on a sensor
La tape sur un capteur est une action qui consiste à taper directement l’anneau au niveau de la localisation d’un des capteurs avec un doigt. La différence avec le serrage est que la force est appliquée sur un seul côté de l’anneau, et non sur les deux côtés. Dans le cas de la configuration illustrée par la
Pour chacune des situations (A), (B) et (C), on constate que le maximum d’amplitude parmi l’ensemble des signaux générés par les capteurs est celui correspondant au capteur au niveau duquel la tape est effectuée, et qu’il correspond à l’amplitude maximale d’un pic.For each of the situations (A), (B) and (C), we note that the maximum amplitude among all the signals generated by the sensors is that corresponding to the sensor at which the tap is made, and that it corresponds to the maximum amplitude of a peak.
Ainsi, on peut identifier un événement de tape sur un capteur donné en identifiant le capteur dont le signal généré présente un pic avec la plus forte amplitude, calculer le rapport de cette amplitude sur les amplitudes maximales de chacun des autres capteurs, et, si ces rapports sont tous supérieurs à une valeur seuil THR3, considérer l’événement comme ayant été généré par une tape au niveau du capteur ayant généré le signal présentant le pic avec la plus forte amplitude, donc le maximum d’amplitude.Thus, a tap event on a given sensor can be identified by identifying the sensor whose generated signal has a peak with the highest amplitude, calculating the ratio of this amplitude to the maximum amplitudes of each of the other sensors, and, if these ratios are all greater than a threshold value THR 3 , considering the event as having been generated by a tap at the sensor having generated the signal having the peak with the highest amplitude, therefore the maximum amplitude.
I.9 Exemple d’algorithmeI.9 Example of algorithm
Comme illustrés ci-dessus, plusieurs types d’événements de déformation de l’anneau peuvent être détectés par l’analyse des signaux des capteurs qui y sont montés.As illustrated above, several types of ring deformation events can be detected by analyzing the signals from the sensors mounted on it.
Les figures 15 à 18 illustrent un procédé d’utilisation d’un anneau R équipé d’au moins deux capteurs SENS1 et SENS2, selon un algorithme permettant la détection de plusieurs types d’événements chacun caractérisés par les signaux générés par les capteurs à la suite d’une action de l’utilisateur sur l’anneau.Figures 15 to 18 illustrate a method of using a ring R equipped with at least two sensors SENS 1 and SENS 2 , according to an algorithm allowing the detection of several types of events each characterized by the signals generated by the sensors following an action by the user on the ring.
Lors d’une action de l’utilisateur sur l’anneau, deux signaux S1 et S2 numériques sont générés par les deux capteurs SENS1 et SENS2, respectivement, et le convertisseur analogique-numérique CONV, selon l’algorithme illustré par la
Un premier bloc de calcul Bl1 a pour fonction de discriminer le bruit de fond ou des manipulations accidentelles ou sans but précis d’une action volontaire de l’utilisateur. Dans le premier bloc de calcul Bl1, le calculateur CALC effectue la somme quadratique des amplitudes des signaux S1 et S2 au cours d’une opération de sommation Bl1-10. Au cours d’une opération de test Bl1-15, le calculateur détermine si la somme quadratique Q des amplitudes des signaux dépasse une valeur seuil prédéterminée Thr, indicatrice du fait qu’une action a été volontairement effectuée sur l’anneau. Cette opération de test a une fonction de détection d’un événement mesuré par les capteurs de l’anneau. En réponse à cette détermination, dans le cas où la somme dépasse la valeur seuil, un signal SAct de détection d’action est généré et, en réponse à ce signal, un second bloc de calcul Bl2 est mis en œuvre et les signaux S1 et S2 sont enregistrés dans une mémoire informatique MEM en communication fonctionnelle avec le calculateur CALC au cours d’une opération Bl1-20. Les signaux enregistrés seront utilisés dans les opérations suivantes. L’enregistrement est arrêté quand la somme quadratique repasse sous la valeur seuil THR.A first calculation block Bl 1 has the function of discriminating background noise or accidental or purposeless manipulations from a voluntary action by the user. In the first calculation block Bl 1 , the CALC calculator performs the quadratic sum of the amplitudes of the signals S1 and S2 during a summation operation Bl 1-10 . During a test operation Bl 1-15 , the calculator determines whether the quadratic sum Q of the amplitudes of the signals exceeds a predetermined threshold value Thr, indicating that an action has been deliberately performed on the ring. This test operation has a function of detecting an event measured by the sensors of the ring. In response to this determination, in the event that the sum exceeds the threshold value, an action detection signal S Act is generated and, in response to this signal, a second calculation block Bl 2 is implemented and the signals S1 and S2 are recorded in a computer memory MEM in functional communication with the computer CALC during an operation Bl 1-20 . The recorded signals will be used in the following operations. The recording is stopped when the quadratic sum falls below the threshold value THR again.
Plus généralement, l’amplitude d’un signal représentatif d’une somme de signaux non moyennés générés par les capteurs ou bien l’amplitude d’un seul signal, moyenné ou non, représentatif d’un signal généré par un capteur unique, pourraient être employée en tant qu’amplitude du signal Q et comparée à la valeur seuil pour déterminer l’occurrence d’une action volontaire. Dans tous les cas, il s’agit de comparer l’amplitude d’un signal ou d’une combinaison de signaux, retraités ou non, représentatifs d’une déformation de l’anneau, à un seuil prédéfini et de déterminer qu’une action volontaire a été exercée sur l’anneau lorsque cette amplitude dépasse ce seuil prédéfini, tel que le niveau de seuil Thr représenté sur la
Alternativement, afin de discriminer le bruit de fond ou des manipulations accidentelles ou sans but précis d’une action volontaire de l’utilisateur, l’opération de test Bl1-10 pourrait porter sur une variance des amplitudes des signaux émis par les capteurs. Cette variance peut par exemple être calculée sur une période glissante d’un signal ou de la somme, pondérée ou non, de plusieurs signaux générés par les capteurs, et peut être considérée comme signal de détection d’évènement lorsqu’elle dépasse un seuil prédéterminé, fixé par exemple par un utilisateur : la variance des signaux devient en effet plus importante lorsque l’utilisateur engage une action sur l’anneau.Alternatively, in order to discriminate background noise or accidental or purposeless manipulations from a voluntary action by the user, the test operation Bl 1-10 could relate to a variance of the amplitudes of the signals emitted by the sensors. This variance can for example be calculated over a sliding period of a signal or of the sum, weighted or not, of several signals generated by the sensors, and can be considered as an event detection signal when it exceeds a predetermined threshold, set for example by a user: the variance of the signals indeed becomes greater when the user initiates an action on the ring.
L’étape de test Bl1-15 a ainsi pour fonction de détecter un dépassement d’un seuil par une quantité représentative d’une amplitude d’un signal ou d’une combinaison de signaux chacun représentatifs d’une déformation de l’élément annulaire et générés par un ou plusieurs des capteurs de déformation montés sur l’élément annulaire en réponse à une action de l’utilisateur, que la quantité en question soit dérivée directement des amplitudes du ou des signaux considérés, d’une variance de ce ou de ces signaux, ou soit représentative de toute autre information dérivée du ou des signaux considérés.The test step Bl 1-15 thus has the function of detecting an exceedance of a threshold by a quantity representative of an amplitude of a signal or of a combination of signals each representative of a deformation of the annular element and generated by one or more of the deformation sensors mounted on the annular element in response to an action of the user, whether the quantity in question is derived directly from the amplitudes of the signal(s) considered, from a variance of this or these signals, or is representative of any other information derived from the signal(s) considered.
Le bloc Bl1 est avantageux du point de vue de l’autonomie de l’interface homme-machine : hors détection d’un évènement dépassant un certain niveau de seuil, seule une partie du module d’acquisition ACQ associé au bloc Bl1 nécessite d’être alimentée en tension, ce qui limite fortement la consommation électrique de l’ensemble du dispositif. En effet, un comparateur, dispositif électronique ne consommant que très peu d’énergie, peut être suffisant pout implémenter le bloc Bl1, en particulier lorsque des capteurs piézoélectriques sont employés, les tensions qu’ils génèrent étant suffisantes pour faire fonctionner le comparateur sans nécessiter d’amplification.Block Bl 1 is advantageous from the point of view of the autonomy of the human-machine interface: except for the detection of an event exceeding a certain threshold level, only part of the ACQ acquisition module associated with block Bl 1 needs to be supplied with voltage, which greatly limits the electrical consumption of the entire device. Indeed, a comparator, an electronic device consuming very little energy, may be sufficient to implement block Bl 1 , in particular when piezoelectric sensors are used, the voltages they generate being sufficient to operate the comparator without requiring amplification.
Le second bloc de calcul Bl2 a pour fonction d’effectuer une première analyse des signaux S1 et S2, destinée à détecter si, oui ou non, une rotation est exercée par l’utilisateur sur l’anneau et à caractériser cette rotation, le cas échéant. Lorsque le bloc Bl2 est mis en œuvre, le calculateur CALC effectue les opérations décrites ci-dessous. En étapes préliminaires, (i) un compteur du calculateur CALC initialise à 0 une variable de comptage n d’incrémentation de rotation, à une étape Bl2-1 0, et le calculateur CALC détermine et assigne, à une variable W0d’angle de rotation, l’angle de sortie du cercle de rayon Thr dans le plan (S1, S2) par le signal S2 tel que déterminé selon la méthode 2 de caractérisation d’une rotation sur la base des signaux S1 et S2, à une étape Bl2- 15. Pour illustration, on peut se reporter à la zone ZSq-Start en A) de la
Une opération de test Bl2-20 assure que tant que la somme quadratique des signaux reste supérieure au seuil Thr, comme indiqué par l’indicateur Y de condition de test rempli, la boucle de calcul suivante est continuellement mise en œuvre par le calculateur. Un angle de rotation courant W est calculé sur la base des signaux S1 et S2 selon la méthode 2 au cours d’une opération Bl2-25. Une différence W-W0 est calculée à une opération Bl2-30, et le résultat de cette différence est comparé au cours de deux opérations de test Bl2-35 et Bl2-45 à une valeur de seuil angulaire positive ThrAng et à son opposée -ThrAng, respectivement. Si l’opération de test Bl2-35 renvoie un résultat positif, indiqué par Y sur la figure, alors un signal de détermination d’événement ROT- est généré, représentatif du fait que i) il y a eu rotation de l’anneau d’un angle défini par la valeur de ThrAng, et ii) cette rotation se fait dans un sens défini comme négatif. A l’inverse, si l’opération de test Bl2-45 renvoie un résultat positif, indiqué par Y sur la figure, alors un signal de détermination d’événement ROT+ est généré, représentatif du fait que i) il y a eu rotation de l’anneau d’un angle défini par la valeur de ThrAng, et ii) cette rotation se fait dans un sens défini comme positif. Les signaux ROT- et ROT+ peuvent être générés en succession lorsque l’utilisateur poursuit une rotation. Chacun de ces signaux est généré en réponse à une augmentation incrémentale de cette rotation imposée à l’anneau par l’utilisateur, chacun pouvant être associé à un signal de commande de l’appareil extérieur APP.A test operation Bl 2-20 ensures that as long as the quadratic sum of the signals remains greater than the threshold Thr, as indicated by the filled test condition indicator Y, the following calculation loop is continuously implemented by the calculator. A current rotation angle W is calculated on the basis of the signals S1 and S2 according to method 2 during an operation Bl 2-25 . A difference WW 0 is calculated at an operation Bl 2-30 , and the result of this difference is compared during two test operations Bl 2-35 and Bl 2-45 to a positive angular threshold value Thr Ang and its opposite -Thr Ang , respectively. If the test operation Bl 2-35 returns a positive result, indicated by Y in the figure, then an event determination signal ROT- is generated, representative of the fact that i) there has been rotation of the ring by an angle defined by the value of Thr Ang , and ii) this rotation is in a direction defined as negative. Conversely, if the test operation Bl 2-45 returns a positive result, indicated by Y in the figure, then an event determination signal ROT+ is generated, representative of the fact that i) there has been rotation of the ring by an angle defined by the value of Thr Ang , and ii) this rotation is in a direction defined as positive. The signals ROT- and ROT+ can be generated in succession when the user continues a rotation. Each of these signals is generated in response to an incremental increase in this rotation imposed on the ring by the user, each of which can be associated with a control signal from the external device APP.
En réponse à des résultats positifs des opérations de test Bl2-35 et Bl2-45, la variable n de comptage d’incrémentation de rotation est incrémentée de 1 au cours d’une opération Bl2-55 et l’angle de rotation courant W est assigné à la variable W0d’angle de rotation. La valeur de comptage n indique donc le nombre de fois que l’anneau a été tourné d’une valeur ThrAng au cours de la rotation en cours d’analyse et est donc représentatif d’une amplitude de rotation totale, correspondant à la somme des n incréments de rotation. En répétant ces opérations, des rotations peuvent être suivies dans les deux sens, selon des incréments d’amplitudes définis par la valeur de ThrAng.In response to positive results of the test operations Bl 2-35 and Bl 2-45 , the rotation increment count variable n is incremented by 1 during a Bl 2-55 operation and the current rotation angle W is assigned to the rotation angle variable W 0 . The count value n therefore indicates the number of times the ring has been rotated by a value Thr Ang during the rotation being analyzed and is therefore representative of a total rotation amplitude, corresponding to the sum of the n rotation increments. By repeating these operations, rotations can be tracked in both directions, according to amplitude increments defined by the value of Thr Ang .
Cet algorithme met en œuvre la méthode 2 de caractérisation d’une rotation de l’anneau, mais la méthode 1 pourrait être appliqué, ou bien toute autre méthode adéquate.This algorithm implements method 2 of characterizing a ring rotation, but method 1 could be applied, or any other suitable method.
Si l’opération de test Bl2- 2 0 renvoie un résultat N, indicatif du fait que la somme quadratique des signaux S1 et S2 est repassé sous la valeur Thr, alors une autre opération de test Bl2-70 est effectuée afin de vérifier si la valeur de comptage n est à 0, indicatif du fait que l’événement analysé n’est pas représentatif d’une rotation. Si c’est le cas, alors un signal SNo.Rot de détection d’absence de rotation est généré et, en réponse, un troisième bloc de calcul Bl3 est mis en œuvre au cours d’une étape Bl2-75.If the test operation Bl 2- 2 0 returns a result N, indicative of the fact that the quadratic sum of the signals S1 and S2 has fallen below the value Thr, then another test operation Bl 2-70 is performed in order to check whether the count value n is at 0, indicative of the fact that the analyzed event is not representative of a rotation. If this is the case, then a signal S No.Rot for detecting the absence of rotation is generated and, in response, a third calculation block Bl 3 is implemented during a step Bl 2-75 .
Alternativement, l’opération de test Bl2-70 pourrait être mise en œuvre indépendamment de la valeur de comptage n, en mettant en œuvre le principe de test décrit dans la section « Serrage ». Ainsi, l’opération de test Bl2-70 pourrait consister à tester si un rapport entre les signaux S1 et S2 est sensiblement constant sur la durée de l’événement analysé, c’est-à-dire compris dans un intervalle défini par XX% autour de la valeur moyenne du rapport sur la durée de l’événement enregistré, XX% représentant un pourcentage de la valeur moyenne défini par l’utilisateur, 20% par exemple, qui constitue une valeur permettant une discrimination pertinente de la constance du rapport.Alternatively, the test operation Bl 2-70 could be implemented independently of the counting value n, by implementing the test principle described in the "Clamping" section. Thus, the test operation Bl 2-70 could consist in testing whether a ratio between the signals S1 and S2 is substantially constant over the duration of the analyzed event, i.e. within an interval defined by XX% around the mean value of the ratio over the duration of the recorded event, XX% representing a percentage of the mean value defined by the user, 20% for example, which constitutes a value allowing a relevant discrimination of the constancy of the ratio.
Le troisième bloc de calcul Bl3, illustré par la
Tout d’abord, le signal numérisé S1 est filtré en parallèle selon deux opérations de filtrage Bl3-10 et Bl3 -15 employant un filtre passe-haut et un filtre passe-bas, respectivement, de manière à obtenir deux signaux filtrés. Chacun des deux signaux filtrés par les opérations de filtrage Bl3-10 et Bl2-15 sont moyennés aux cours d’opérations de moyennage Bl3-15 et Bl3-25 pour obtenir les moyennes RMSH et RMSH des deux signaux filtrés moyennés, respectivement. La période de moyennage peut être choisie par l’utilisateur selon ses préférences. First, the digitized signal S1 is filtered in parallel according to two filtering operations Bl 3-10 and Bl 3 -15 employing a high-pass filter and a low-pass filter, respectively, so as to obtain two filtered signals. Each of the two signals filtered by the filtering operations Bl 3-10 and Bl 2-15 are averaged during averaging operations Bl 3-15 and Bl 3-25 to obtain the RMS H and RMS H averages of the two averaged filtered signals, respectively. The averaging period can be selected by the user according to his preference.
Selon le principe expliqué plus haut dans les sections « Tape du doigt » et « Tape de l’anneau », une première opération de test Bl3-35 vérifie si la valeur du rapport RMSH/RMSL est supérieure à une valeur de seuil haute ThrH. Si une réponse positive, indiquée par Y sur la figure, est renvoyée, alors un signal de détection Hit(R) est généré, représentatif du fait que l’événement a été provoqué par une action de tape de l’anneau sur une surface rigide.According to the principle explained above in the sections "Finger tap" and "Ring tap", a first test operation Bl 3-35 checks whether the value of the RMS H /RMS L ratio is greater than a high threshold value ThrH. If a positive response, indicated by Y in the figure, is returned, then a detection signal Hit(R) is generated, representative of the fact that the event was caused by a tapping action of the ring on a rigid surface.
Si une réponse négative à l’opération de test Bl3-35, indiquée par N sur la figure, est renvoyée, alors une opération de test Bl3-40 est mise en œuvre, vérifiant si la valeur du rapport RMSH/RMSL est supérieure à une valeur de seuil basse ThrL, avec ThrL < ThrH.If a negative response to test operation Bl 3-35 , indicated by N in the figure, is returned, then a test operation Bl 3-40 is implemented, checking whether the value of the RMS H /RMS L ratio is greater than a low threshold value ThrL, with ThrL < ThrH.
Si une réponse positive, indiquée par Y sur la figure, est renvoyée, alors un signal de détection Hit(F) est généré, représentatif du fait que l’événement a été provoqué par une action de tape du doigt (F6) portant l’anneau sur une surface rigide.If a positive response, indicated by Y in the figure, is returned, then a Hit(F) detection signal is generated, representative of the fact that the event was caused by a tapping action of the finger (F6) bringing the ring to a rigid surface.
Si une réponse négative à l’opération de test Bl3-40, indiquée par N sur la figure, est renvoyée, alors il est déterminé que l’événement a été provoqué par une action de serrage, et un quatrième bloc de calcul Bl4 est mis en œuvre au cours d’une opération Bl3-45.If a negative response to test operation Bl 3-40 , indicated by N in the figure, is returned, then it is determined that the event was caused by a clamping action, and a fourth calculation block Bl 4 is implemented during operation Bl 3-45 .
Les opérations Bl3-10 à Bl3-40 constituent dans leur ensemble une opération Bl3-FA d’analyse du contenu fréquentiel des signaux émis par les capteurs, analyse sur la base de laquelle est effectuée une détection des actions de tape d’un doigt Hit(F) et de tape de l’anneau Hit(R), et une détection du fait que l’action de l’utilisateur est une action de serrage, cette dernière étant caractérisée plus finement par le bloc Bl4 décrit ci-dessous. Le principe employé est que l’énergie d’un signal ou d’une somme de signaux est répartie de manière plus prépondérante dans les fréquences hautes pour l’action Hit(R) que pour l’action Hit(F), et plus prépondérante dans les fréquences basses pour des actions de serrage de l’anneau que pour l’action Hit(F). Le bloc Bl3 de la
Sur le fond, il s’agit de procéder à une analyse de la répartition de l’énergie des signaux détectés selon les fréquences. Il serait par exemple possible de procéder à une transformation de Fourier des signaux et d’analyser la répartition énergétique dans le domaine fréquentiel, par exemple en comparant l’énergie contenue dans les signaux pour des fréquences supérieures à 10Hz et l’énergie contenu dans ces mêmes signaux pour des fréquences inférieures à 10Hz.Basically, this involves carrying out an analysis of the energy distribution of the detected signals according to the frequencies. For example, it would be possible to carry out a Fourier transformation of the signals and analyse the energy distribution in the frequency domain, for example by comparing the energy contained in the signals for frequencies above 10Hz and the energy contained in these same signals for frequencies below 10Hz.
Le quatrième bloc de calcul Bl4, illustré par la
Des opérations Bl4-10, Bl4-15 et Bl4-20 du bloc Bl4 permettent de caractériser spatialement l’événement en cours d’analyse. L’opération Bl4-10 consiste à calculer le rapport des signaux S1 et S2, puis moyenner ce rapport au cours d’une opération Bl4-20 de moyennage sur toute la durée de l’événement détecté. Cette moyenne est comparée à une table de calibration préparée à l’avance et établissant une correspondance entre des valeurs de rapports moyennés et une localisation d’un serrage appliqué à l’anneau. La table de calibration peut être stockée dans la mémoire MEM. Sur la base de cette comparaison, un signal Loc représentatif de la localisation de l’événement en cours d’analyse est généré.Bl 4-10 , Bl 4-15 and Bl 4-20 operations of block Bl 4 are used to spatially characterize the event being analyzed. Operation Bl 4-10 consists of calculating the ratio of signals S1 and S2, then averaging this ratio during an averaging operation Bl 4-20 over the entire duration of the detected event. This average is compared to a calibration table prepared in advance and establishing a correspondence between averaged ratio values and a location of a tightening applied to the ring. The calibration table can be stored in the MEM memory. On the basis of this comparison, a signal Loc representative of the location of the event being analyzed is generated.
La
Des opérations Bl4- 30 à Bl4- 50 du bloc Bl4 permettent de déterminer le type de serrage appliqué à l’anneau et ayant provoqué la génération des signaux S1 et S2.Operations Bl 4-30 to Bl 4-50 of block Bl 4 are used to determine the type of tightening applied to the ring and having caused the generation of signals S1 and S2.
L’opération Bl4-30 consiste à détecter le nombre de pics, c’est-à-dire le nombre de maximums d’amplitude, en valeur absolue, pour chacun des signaux S1 et S2 et moyenner le nombre de pics détectés. Alternativement, on peut simplement compter le nombre de pics détectés pour un signal. Cependant, le moyennage sur plusieurs signaux rend la détection plus robuste.Operation Bl 4-30 consists of detecting the number of peaks, i.e. the number of amplitude maxima, in absolute value, for each of the signals S1 and S2 and averaging the number of peaks detected. Alternatively, one can simply count the number of peaks detected for a signal. However, averaging over multiple signals makes the detection more robust.
Sur la base de l’opération Bl4-30, l’opération de test Bl4-35 renvoie une réponse positive lorsque le nombre de pics détectés est proche de 4, par exemple dans un intervalle allant de 3,5 à 4,5 englobant quatre pour tenir compte de l’effet de moyenne, comme indiqué par Y sur la figure. En réponse à une réponse positive à l’opération de test Bl4-35, un signal de détection D.Sq est généré, représentatif d’une action de serrage double (2 pics par action de serrage, donc 4 pics pour une double action de serrage, comme expliqué dans la section « Serrage Double ci-dessus »).Based on the Bl 4-30 operation, the Bl 4-35 test operation returns a positive response when the number of detected peaks is close to 4, for example in an interval from 3.5 to 4.5 encompassing four to account for the averaging effect, as indicated by Y in the figure. In response to a positive response to the Bl 4-35 test operation, a detection signal D.Sq is generated, representative of a double clamping action (2 peaks per clamping action, therefore 4 peaks for a double clamping action, as explained in the “Double Clamping” section above).
Sur la base de l’opération Bl4-30, l’opération de test Bl4-40 renvoie une réponse positive lorsque le nombre de pics détectés est 2, comme indiqué par Y sur la figure. En réponse à cette détection, l’intervalle de temps ΔT séparant les deux pics détectés est déterminé au cours de l’opération Bl4-45. Au cours d’une opération de test Bl4-50, l’intervalle de temps ΔT est comparé à la valeur seuil de durée prédéterminée THR4 comme expliqué à la section « Serrage long » ci-dessus.Based on the Bl 4-30 operation, the Bl 4-40 test operation returns a positive response when the number of detected peaks is 2, as indicated by Y in the figure. In response to this detection, the time interval ΔT separating the two detected peaks is determined during the Bl 4-45 operation. During a Bl 4-50 test operation, the time interval ΔT is compared to the predetermined duration threshold value THR 4 as explained in the “Long Clamp” section above.
S’il est déterminé que ΔT est supérieure à THR4, comme indiqué par Y sur la figure, alors un signal L.Sq représentatif d’une action de serrage long est généré.If it is determined that ΔT is greater than THR 4 , as indicated by Y in the figure, then a signal L.Sq representative of a long clamping action is generated.
S’il est déterminé que ΔT n’est pas supérieure à THR4, comme indiqué par N sur la figure, alors un signal S.Sq représentatif d’une action de serrage court, ou serrage, est généré.If it is determined that ΔT is not greater than THR 4 , as indicated by N in the figure, then a signal S.Sq representative of a short clamping action, or clamp, is generated.
Les blocs Bl1 et Bl2 traitent directement les signaux S1 et S2 générés par les capteurs. Les blocs Bl3 et Bl4 traitent la version de ces signaux enregistrés dans la mémoire MEM au cours de l’étape Bl1-20.Blocks Bl1 and Bl2 directly process the signals S1 and S2 generated by the sensors. Blocks Bl3 and Bl4 process the version of these signals recorded in the MEM memory during step Bl 1-20 .
Un avantage de cet algorithme est qu’il ne consomme qu’un minimum d’énergie, les parties du module d’acquisition ACQ associées aux blocs Bl2 et Bl3 de l’algorithme n’étant activées que lorsqu’il a été déterminé qu’il est nécessaire de recourir à leurs fonctionnalités respectives.An advantage of this algorithm is that it consumes only minimal energy, with the parts of the ACQ acquisition module associated with blocks Bl 2 and Bl 3 of the algorithm only being activated when it has been determined that it is necessary to use their respective functionalities.
Lorsque l’on mentionne des opérations de moyennage dans cette description, on comprendra que, sauf indication contraire, il s’agit de moyennage dans le temps, sur une durée qui peut être choisie par l’utilisateur ou le fabriquant de l’interface homme-machine selon le comportement qu’il souhaite pour cette interface. Cependant, il pourra s’agir de durées de l’ordre de quelques dixièmes de secondes.When averaging operations are mentioned in this description, it will be understood that, unless otherwise indicated, this is averaging over time, over a duration that can be chosen by the user or the manufacturer of the human-machine interface according to the behavior desired for this interface. However, these may be durations of the order of a few tenths of a second.
Aussi, lorsque l’on parle d’un signal généré par les capteurs, il pourra s’agir d’un signal converti ou traité et non seulement directement issu du capteur, tant qu’il peut être considéré comme représentatif d’une déformation appliquée à l’anneau, c’est-à-dire comme pouvant être utilisé pour caractériser cette déformation.Also, when we talk about a signal generated by the sensors, it could be a converted or processed signal and not only directly from the sensor, as long as it can be considered representative of a deformation applied to the ring, that is to say as being able to be used to characterize this deformation.
Bien entendu, l’homme du métier sera à même de mettre au point des algorithmes similaires afin de permettre à l’utilisateur de bénéficier de l’ensemble des types d’action décrits dans la présente description.Of course, those skilled in the art will be able to develop similar algorithms to enable the user to benefit from all of the types of action described in this description.
En outre, il est tout-à-fait envisageable de détecter d’autres actions que celles décrites plus haut, telles qu’un appui à trois doigts, un glissement d’un doigt sur l’anneau sans le faire tourner (« swipe » en terminologie anglaise), une flexion du doigt, extension de la main, serrage du poing, rotation autour du doigt sans déplacer les zones de pression appliquée sur l’anneau etc…In addition, it is quite possible to detect actions other than those described above, such as a three-finger press, sliding a finger on the ring without rotating it (“swipe” in English terminology), flexing the finger, extending the hand, clenching the fist, rotating around the finger without moving the pressure zones applied to the ring, etc.
En outre, l’homme du métier comprendre qu’il est possible de mettre en œuvre d’autres algorithmes que ceux décrits ici pour exploiter les signaux générés par les capteurs, y compris une approche dite d’intelligence artificielle, permettant de classifier les signaux détectés en différentes catégories préalablement définies en réalisant un apprentissage automatique basé sur une base de données de signaux mesurés lors d'actions réalistes par un utilisateur portant l'anneau.Furthermore, those skilled in the art will understand that it is possible to implement algorithms other than those described here to exploit the signals generated by the sensors, including a so-called artificial intelligence approach, making it possible to classify the detected signals into different categories previously defined by carrying out automatic learning based on a database of signals measured during realistic actions by a user wearing the ring.
En réponse à la détection d’événements et donc à la génération de signaux représentatifs d’actions particulières appliquées à l’anneau, le calculateur peut être configuré pour transmettre ces signaux à l’appareil extérieur par l’intermédiaire du module de communication COM sous la forme d’un signal de contrôle SCon. Alternativement le signal de contrôle SCon peut être un signal d’une commande associée au type de l’action appliquée à l’anneau.In response to the detection of events and therefore to the generation of signals representative of particular actions applied to the ring, the calculator can be configured to transmit these signals to the external device via the communication module COM in the form of a control signal S Con . Alternatively, the control signal S Con can be a signal of a command associated with the type of action applied to the ring.
II. Option d’apprentissage pour la détection d’événementsII. Learning option for event detection
La section précédente présente une première option pour la détection d’actions appliqués à l’anneau, de type analytique : chaque action appliquée à l’anneau entraîne une déformation de celui-ci, déformation se traduisant par la génération de signaux par les capteurs, que l’on peut analyser afin de déterminer à l’action exercée et donc le signal de contrôle à générer.The previous section presents a first option for the detection of actions applied to the ring, of an analytical type: each action applied to the ring causes a deformation of the latter, deformation resulting in the generation of signals by the sensors, which can be analyzed in order to determine the action exerted and therefore the control signal to be generated.
Une seconde option pour la détermination du type de l’action exercée sur l’anneau est basée sur la classification de l’événement généré par cette action par un système informatique ayant bénéficié d’un apprentissage automatique, souvent désigné sous les dénominations « machine learning », ou « deep learning » dans le cas d’un réseau de neurones, en terminologie anglaise.A second option for determining the type of action exerted on the ring is based on the classification of the event generated by this action by a computer system that has benefited from automatic learning, often referred to as "machine learning", or "deep learning" in the case of a neural network, in English terminology.
Cette approche peut par exemple reposer sur l’emploi d’un réseau de neurones entraîné à classifier des événements détectés par les capteurs dans différentes catégories définies par un utilisateur ou un agent chargé de la préparation et de la configuration de l’anneau. Alternativement, d’autres méthodes que celles des réseaux de neurones pourraient être employées, telles que celles de l’algorithme des K plus proches voisin (parfois abrégée en k-NN) ou des forêts d’arbres décisionnels, respectivement « k-nearest neighbors » et « random decision forest » en terminologie anglaise.This approach can for example be based on the use of a neural network trained to classify events detected by sensors into different categories defined by a user or an agent responsible for the preparation and configuration of the ring. Alternatively, methods other than those of neural networks could be used, such as those of the K-nearest neighbor algorithm (sometimes abbreviated to k-NN) or decision tree forests, respectively "k-nearest neighbors" and "random decision forest" in English terminology.
A des fins d’illustration, cette description se basera sur l’emploi d’un réseau de neurones pour le traitement des données issues des capteurs. Dans le cadre de l’utilisation de réseaux de neurones pour la détection de gestes, on peut se reporter aux références suivantes : (1) Nguyen-Trong, K., Vu, H. N., Trung, N. N., & Pham, C. (2021), Gesture Recognition Using Wearable Sensors With Bi-Long Short-Term Memory Convolutional Neural Networks. IEEE Sensors Journal, 21(13), 15065-15079 ; (2) Kim, M., Cho, J., Lee, S., & Jung, Y. (2019), IMU Sensor-Based Hand Gesture Recognition for Human-Machine Interfaces. Sensors (Basel, Switzerland), 19(18), 3827 ; (3) Chuang, W.-C., Hwang, W.-J., Tai, T.-M., Huang, D.-R., & Jhang, Y.-J. (2019), Continuous Finger Gesture Recognition Based on Flex Sensors. Sensors (Basel, Switzerland), 19(18), 3986.For illustration purposes, this description will be based on the use of a neural network for processing sensor data. In the context of using neural networks for gesture detection, the following references can be referred to: (1) Nguyen-Trong, K., Vu, H. N., Trung, N. N., & Pham, C. (2021), Gesture Recognition Using Wearable Sensors With Bi-Long Short-Term Memory Convolutional Neural Networks. IEEE Sensors Journal, 21(13), 15065-15079; (2) Kim, M., Cho, J., Lee, S., & Jung, Y. (2019), IMU Sensor-Based Hand Gesture Recognition for Human-Machine Interfaces. Sensors (Basel, Switzerland), 19(18), 3827; (3) Chuang, W.-C., Hwang, W.-J., Tai, T.-M., Huang, D.-R., & Jhang, Y.-J. (2019), Continuous Finger Gesture Recognition Based on Flex Sensors. Sensors (Basel, Switzerland), 19(18), 3986.
Les figures 20, 21 et 22 illustrent la mise en œuvre d’une telle approche basée sur l’emploi d’un réseau de neurones, pour le cas particulier où trois capteur SENS1, SENS2 et SENS3 sont employés et délivrent des signaux S1, S2 et S3, respectivement. L’approche consiste à (i) détecter l’occurrence d’un événement et (ii) classifier cet événement parmi une liste de classes d’événements préparée à l’avance. La classification est prise en charge par le calculateur CALC de la
II.1 Détection et isolation d’un évènementII.1 Detection and isolation of an event
Avant même d’envisager la classification d’un évènement, considéré ici comme résultant d’une action délibérée de l’utilisateur sur l’anneau en vue de générer un signal de contrôle d’un appareil extérieur, il convient de détecter et d’isoler cet évènement dans un flux continu de signaux générés par les capteurs en réponse, ou non, à une action délibérée de l’utilisateur.Before even considering the classification of an event, considered here as resulting from a deliberate action by the user on the ring with a view to generating a control signal from an external device, it is appropriate to detect and isolate this event in a continuous flow of signals generated by the sensors in response, or not, to a deliberate action by the user.
La
Le graphique indique deux valeurs seuil de variance : VS et VE, qui peuvent être identiques ou différentes. Ici, VS est supérieure à VE, mais VS pourrait être inférieure à VE.The graph shows two variance threshold values: V S and V E , which can be the same or different. Here, V S is greater than V E , but V S could be less than V E .
Le premier seuil de variance VS est utilisé pour déterminer le début de l’évènement : lorsque la courbe Var atteint puis dépasse la valeur seuil VS, on considère qu’un évènement a déjà démarré. Le temps T0 indique le moment d’atteinte du seuil VS par la courbe. On considère que l’évènement a démarré à un temps TS = T0-dTS, dTS représentant une durée de sécurité déterminée par le praticien afin d’inclure une partie de la courbe d’amplitude inférieure à la valeur de seuil VS, mais qui peut être significative pour la classification de l’événement.The first variance threshold V S is used to determine the start of the event: when the Var curve reaches and then exceeds the threshold value V S , an event is considered to have already started. Time T 0 indicates the moment when the curve reaches the threshold V S . The event is considered to have started at a time T S = T 0 -dT S , dT S representing a safety duration determined by the practitioner in order to include a part of the curve with an amplitude lower than the threshold value V S , but which may be significant for the classification of the event.
Symétriquement, le deuxième seuil de variance VE est utilisé pour déterminer la fin de l’évènement : lorsque la courbe Var repasse sous la valeur seuil VE, on considère que l’évènement se termine. Le temps T2 indique le moment d’atteinte du seuil VE par la courbe. On considère que l’évènement se termine à un temps TE = T0+dTE à la condition que la courbe reste sous la valeur de seuil pour une durée dTE, dTE représentant une durée de sécurité déterminée par la praticien afin d’inclure une partie de la courbe d’amplitude inférieure à la valeur de seuil VE, mais qui peut être significative pour la classification de l’événement, et qui permet également d’inclure dans un même événement deux parties d’une courbe Var séparées par une portion de courbe d’amplitude inférieure au seuil VE.Symmetrically, the second variance threshold V E is used to determine the end of the event: when the Var curve falls below the threshold value V E , the event is considered to end. Time T 2 indicates the moment when the curve reaches the threshold V E . The event is considered to end at a time T E = T 0 + dT E on the condition that the curve remains below the threshold value for a duration dT E , dT E representing a safety duration determined by the practitioner in order to include a part of the curve with an amplitude lower than the threshold value V E , but which may be significant for the classification of the event, and which also makes it possible to include in the same event two parts of a Var curve separated by a portion of the curve with an amplitude lower than the threshold V E .
Ainsi, dans le cas où la courbe passe sous la valeur seuil VE, au temps T1 sur la
Un avantage de choisir VS > VE est de combiner un bon niveau de sélectivité quant à la détection d’une événement, sélectivité conditionnée par une valeur VS relativement haute, avec une prise en compte de l’ensemble de l’événement, prise en compte favorisée par une valeur VE relativement basse.An advantage of choosing V S > V E is to combine a good level of selectivity regarding the detection of an event, selectivity conditioned by a relatively high V S value, with consideration of the entire event, consideration favored by a relatively low V E value.
Bien entendu, ce principe s’applique à tout événement comprenant des phases brèves de lâcher de l’anneau, au cours desquelles aucune force mécanique ne s’applique à l’anneau, ou bien une force mécanique trop faible pour que la courbe de la somme des variances des signaux dépasse le seuil VE.Of course, this principle applies to any event including brief phases of ring release, during which no mechanical force is applied to the ring, or a mechanical force too weak for the curve of the sum of the variances of the signals to exceed the threshold V E .
D’un point de vue pratique, les signaux des capteurs peuvent être gardés dans une mémoire tampon, éventuellement une partie de la mémoire MEM, pour une durée au moins égale à dTS, puis, en cas de détection de l’occurrence d’un événement, les signaux générés par les capteurs du début à la fin de l’événement peuvent être stockés dans la mémoire MEM en vue de leur traitement. La largeur de la fenêtre de calcul de la variance, dTS et dTE peuvent prendre des valeurs identiques ou distinctes ajustables par le praticien, 50 ms par exemple.From a practical point of view, the sensor signals can be kept in a buffer memory, possibly a part of the MEM memory, for a duration at least equal to dT S , then, in case of detection of the occurrence of an event, the signals generated by the sensors from the beginning to the end of the event can be stored in the MEM memory for processing. The width of the variance calculation window, dT S and dT E can take identical or distinct values adjustable by the practitioner, 50 ms for example.
En procédant comme expliquée ci-dessus, les temps de début et de fin d’un événement sont déterminés à partir des signaux générés par les capteurs.By proceeding as explained above, the start and end times of an event are determined from the signals generated by the sensors.
La
A une étape S12, les variances Var1, Var2 et Var3 des trois signaux S1, S2 et S3 générés respectivement par les trois capteurs Sens1, Sens2 et Sens3 sont calculées sur une fenêtre glissante. At a step S12, the variances Var1, Var2 and Var3 of the three signals S1, S2 and S3 generated respectively by the three sensors Sens1, Sens2 and Sens3 are calculated on a sliding window.
A une étape S14, les variances sont sommées pour donner la variance sommée Var illustrée par la
A une étape S16, Le calculateur détermine que la variance sommée Var dépasse un seuil donné et génère une commande Trig de déclenchement de l’enregistrement en mémoire MEM des signaux des capteurs. L’enregistrement de données prédatant la génération de la commande Trig peut être obtenu par l’emploi d’une mémoire tampon enregistrant les données selon une fenêtre glissante. L’étape 16 également servir à sortir d’une phase de veille des parties du module d’acquisition, de manière similaire à l’étape de test Bl1-15 écrite plus haut en relation avec l’algorithme de la
A une étape S18, le calculateur détermine que l’événement a pris fin, et renvoie les temps du début Start et de la fin End de cet événement.At step S18, the calculator determines that the event has ended, and returns the start times Start and the end times End of this event.
II.2 Actions à détecterII.2 Actions to detect
Préparer un programme d’entraînement d’un réseau de neurones implique de lister au préalable les classes dans lesquelles ce réseau aura pour tâche de classifier des données qui lui seront soumises.Preparing a training program for a neural network involves first listing the classes into which this network will be tasked with classifying the data submitted to it.
Le tableau Tab. 1 ci-dessous liste des types d’action qu’il peut être intéressant d’identifier à partir des données enregistrées des événements de déformation de l’anneau.
squeeze
squeeze
Tab. 1Tab. 1
L’action « Squeeze » SQ correspond à un serrage radial de l’anneau entre deux doigts, comme illustré en (B) de la
L’action « 3 Fingers Squeeze » 3FS correspond à un serrage radial de l’anneau entre trois doigts, comme illustré en (B) de la
L’action « Lat Squeeze » LS correspond à un serrage de l’anneau R entre deux doigts F1 et F2 qui appliquent des forces F selon une direction parallèle à son axe de révolution, comme illustré en (C) de la
L’action « Rot » ROT correspond à une rotation de l’anneau autour du doigt le portant, comme illustré en (C) de la
L’action « Touch » TCH correspond à l’appui d’un doigt F1 d’une main de l’utilisateur exerçant une force F sur l’anneau R porté autour d’un doigt de l’autre main de l’utilisateur, comme illustré en (A) de la
L’action « Toc » correspond à la frappe d’une surface rigide avec un doigt portant l’anneau.The “Knock” action corresponds to striking a rigid surface with a finger wearing the ring.
L’action « Ring Toc » correspond à la tape d’une surface rigide directement par l’anneau porté autour d’un doigt.The “Ring Toc” action corresponds to tapping a rigid surface directly with the ring worn around a finger.
L’action « Slide » SL correspond à une force F centripète radiale appliquée au moins partiellement vers l’intérieur de l’anneau R au niveau d’un point P se déplaçant sur la périphérie de l’anneau selon une trajectoire Traj de manière à tourner autour du doigt F6 portant l’anneau, comme illustré en (D) de la
L’action « Surf Slide » SS correspond au glissement de l’anneau R posé sur une surface rigide Surf, telle que le plateau d’une table, par exemple selon quatre directions Left, Right, Up and Down parallèles à la surface rigide, opposées deux à deux, les direction Left et Right étant normales aux directions Up et Down, comme illustré en (E) de la
L’action « Swipe » SW correspond à un frottement de l’anneau selon une direction parallèle au doigt portant l’anneau. Cette situation peut se décrire comme le déplacement d’un point d’application d’une force F centripète à l’anneau et/ou au doigt le portant selon une trajectoire Traj sensiblement parallèle à l’axe Ax de révolution de l’anneau, comme illustré en (F) de la
L’action « Hand closure » correspond à la formation d’un poing avec une main dont un doigt porte l’anneau. Alternativement, seul le doigt portant l’anneau peut être plié. L’anneau est déformé par l’expansion du doigt le portant en raison de la contraction musculaire de ce dernier, qui se traduit par une force centrifuge s’appliquant de l’intérieur de l’anneau vers l’extérieur.The action "Hand closure" corresponds to the formation of a fist with a hand with one finger wearing the ring. Alternatively, only the finger wearing the ring can be bent. The ring is deformed by the expansion of the finger wearing it due to the muscular contraction of the latter, which results in a centrifugal force applied from the inside of the ring to the outside.
L’action « finger snap » correspond à un claquement du doigt portant l’anneau.The “finger snap” action corresponds to a snap of the finger wearing the ring.
L’action « Trash » correspond à des actions de l’utilisateur non liées à la volonté d’exécution d’une commande par l’appareil externe : il peut par exemple s’agir d’un geste tel que la saisie d’un stylo ou d’une tasse. Ces actions peuvent être considérées comme des actions parasites dont il ne faut pas tenir compte pour le contrôle de l’appareil extérieur, et les événements qu’elles génèrent involontairement peuvent être classifiés comme tels de manière à ne pas entraîner la génération de signaux de contrôle par le calculateur CALC.The “Trash” action corresponds to user actions not related to the intention of the external device to execute a command: for example, it could be a gesture such as grabbing a pen or a cup. These actions can be considered as parasitic actions that should not be taken into account for the control of the external device, and the events that they generate involuntarily can be classified as such so as not to cause the generation of control signals by the CALC calculator.
Certaines des actions listées ci-dessus peuvent présenter des directions ou sens caractéristiques et/ou des variations.Some of the actions listed above may have characteristic directions or meanings and/or variations.
Les actions Slide et Rot, impliquant un déplacement angulaire autour de l’axe de révolution de l’anneau, peuvent s’appliquer dans le sens trigonométrique (direction positive) ou dans le sens opposé (direction négative).The Slide and Rot actions, involving an angular displacement around the axis of revolution of the ring, can be applied in the trigonometric direction (positive direction) or in the opposite direction (negative direction).
L’action Rot peut avoir deux variantes : Petite et Grande, qui se caractérisent par l’amplitude angulaire α de la rotation imposée à l’anneau, illustrée par la
Les actions Swipe et Surf Slide peuvent s’effectuer par un déplacement (d’un doigt appliquant une pression pour slide ou de l’anneau lui-même pour Surf Slide) allant de la gauche vers la droite (direction droite) ou de la droite vers la gauche (direction gauche), du point de vue de l’utilisateur.The Swipe and Surf Slide actions can be performed by moving (either a finger applying pressure for slide or the ring itself for Surf Slide) from left to right (right direction) or from right to left (left direction), from the user's point of view.
L’action Surf Slide peut s’effectuer dans une direction arbitraire, mais les directions droite et gauche décrites ci-dessus et les directions vers l’avent (Up) et vers l’arrière (Down) peuvent être considérées en premier lieu.The Surf Slide action can be performed in any direction, but the right and left directions described above and the forward (Up) and backward (Down) directions can be considered first.
Les actions Slide, Surf Slide et Rot peuvent présenter respectivement des vitesses de déplacement d’un doigt sur l’anneau, de l’anneau sur une surface, ou de rotation plus ou moins élevées, correspondant à des déplacements relativement lents ou relativement rapide correspondant respectivement à des variantes Lent et Rapide.The Slide, Surf Slide and Rot actions can respectively have more or less high speeds of movement of a finger on the ring, of the ring on a surface, or of rotation, corresponding to relatively slow or relatively fast movements corresponding respectively to Slow and Fast variants.
En outre, à l’exception des action intrinsèquement brèves (Toc, Ring Toc, Swipe, Finger Snap), chacune des actions du tableau peut avoir une durée relativement courte ou une durée relativement longue. Ces durées peuvent être illustrées par exemple au moyen des variances des événements correspondants, comme illustré par les graphiques en (A) et en (C) de la
Aussi, les actions Touch, Toc, Ring Toc, Squeeze, 3 Fingers Squeeze, Lat Squeeze, Click et Hand Closure peuvent être répétées au cours d’un même événement (voir l’exemple de la
Les courbes des figures 20 et 26 sont bien entendues des courbes simplifiées en vue d’expliquer le principe. Des courbes obtenues au cours de mesures réelles auront en général des profils bien moins réguliers, ou mêmes très irréguliers.The curves in Figures 20 and 26 are of course simplified curves in order to explain the principle. Curves obtained during real measurements will generally have much less regular profiles, or even very irregular ones.
Bien entendu, chaque action, direction d’action et variante d’action peut être associée à un signal de contrôle respectif à destination d’un appareil extérieur à contrôler au moyen de l’interface homme-machine constituée par l’anneau R. Une grande vitesse ou une grande amplitude d’une action peuvent être utilisées pour effectuer pour générer une commande d’un signal de contrôle de même type que la même action présentant une amplitude ou une vitesse plus faible, ou bien une commande d’un autre type.Of course, each action, direction of action and variant of action can be associated with a respective control signal to an external device to be controlled by means of the human-machine interface constituted by the ring R. A high speed or a high amplitude of an action can be used to perform to generate a command of a control signal of the same type as the same action having a lower amplitude or speed, or a command of another type.
Un premier exemple applicatif est la navigation au sein d’un menu déroulant d’une interface informatique au moyen d’action de rotations. Une rotation Rot de faible amplitude peut permettre de passer à un élément du menu immédiatement adjacent avant ou après l’élément courant, selon le sens de rotation, alors qu’une rotation de forte amplitude fera passer à un élément du menu plus éloigné.A first application example is the navigation within a drop-down menu of a computer interface by means of rotation actions. A low amplitude Rot rotation can allow you to move to an element of the menu immediately adjacent before or after the current element, depending on the direction of rotation, while a high amplitude rotation will move to a more distant element of the menu.
Un second exemple applicatif, toujours concernant les rotations, est celui de l’écoute d’un morceau de musique dans une liste. Une rotation de faible amplitude pourra être associée au contrôle du volume tandis qu’une rotation de forte amplitude pourra être associée au choix du morceau de la liste à lire : morceau de la liste suivant ou précédant le morceau en cours de lecture, selon les sens de la rotation.A second application example, still concerning rotations, is that of listening to a piece of music in a list. A low amplitude rotation can be associated with volume control while a high amplitude rotation can be associated with the choice of the piece of the list to play: piece of the list following or preceding the piece currently playing, depending on the direction of the rotation.
Parmi les actions détaillés ci-dessus, certaines vont avoir tendance à déformer globalement l’élément annulaire, c’est particulièrement le cas des actions dites « globales » de serrage, de rotation et de fermeture d’une main ou d’un doigt portant l’anneau. La détection de ces actions par les capteurs répartis sur l’élément annulaire sera particulièrement efficace.Among the actions detailed above, some will tend to globally deform the annular element, this is particularly the case for the so-called "global" actions of tightening, rotation and closing of a hand or finger wearing the ring. The detection of these actions by the sensors distributed on the annular element will be particularly effective.
D’autres action vont avoir tendance à déformer l’élément annulaire plus localement, moins globalement que les actions listées au paragraphe précédent, comme par exemple les actions dites « locales » de toucher, de pression, de tape, et de glissement. Cependant, la détection de ces actions locales reste possible, et ce avec le même système de capteur que pour les actions globales, ce qui permet une intégration et une simplification accrues du capteur et de l’interface homme-machine décrits dans le présent document.Other actions will tend to deform the annular element more locally, less globally than the actions listed in the previous paragraph, such as the so-called "local" actions of touching, pressing, tapping, and sliding. However, the detection of these local actions remains possible, and this with the same sensor system as for global actions, which allows increased integration and simplification of the sensor and the human-machine interface described in this document.
Bien entendu, il reste possible de combiner (i) l’ensemble de capteur décrit ici afin de détecter des actions globales et (ii) des capteurs de contacts (piézoélectriques, capacitifs ou autres) ou des boutions d’actionnement afin de générer des signaux de contrôle sensibles à des déformations globales de l’anneau, des actions locales sur celui-ci, et/ou à des combinaisons de celles-ci.Of course, it remains possible to combine (i) the sensor assembly described here in order to detect global actions and (ii) contact sensors (piezoelectric, capacitive or other) or actuation buttons in order to generate control signals sensitive to global deformations of the ring, local actions on it, and/or combinations thereof.
II.3 Entraînement du réseau de neuronesII.3 Training the neural network
L’entraînement du réseau de neurones consiste à lui fournir, au cours d’une phase d’apprentissage, un ensemble de données d’entraînement correspondant à des événements de classes identifiées, les classes étant transmises au réseau de neurones associées aux données correspondantes. Sur la base des données et des associations fournies, le réseau de neurones « apprend » alors à reconnaître les événements et à les associer chacun à une classe donnée, qui correspondent à une action de l’utilisateur sur l’anneau. Idéalement, chaque action de l’utilisateur sur l’anneau correspond de manière univoque à une classe d’événements particulière qui peut être déterminée à partir des signaux générés par les capteurs et enregistré dans la mémoire.Training the neural network involves providing it, during a learning phase, with a set of training data corresponding to events of identified classes, the classes being transmitted to the neural network associated with the corresponding data. Based on the data and associations provided, the neural network then “learns” to recognize the events and to associate each of them with a given class, which correspond to an action of the user on the ring. Ideally, each action of the user on the ring corresponds uniquely to a particular class of events which can be determined from the signals generated by the sensors and recorded in the memory.
Une fois définies les actions générant les événements que le réseau de neurone doit être capable de traiter et classifier, il est nécessaire de produire les données d’entraînement correspondantes. Les actions peuvent être choisies dans le tableau Tab. 1 présenté plus haut. Une solution pour produire les données d’entraînement des actions choisies est d’utiliser l’anneau en lui appliquant ces actions et d’enregistrer les événements générés en réponse.Once the actions generating the events that the neural network must be able to process and classify have been defined, it is necessary to produce the corresponding training data. The actions can be chosen from the table Tab. 1 presented above. One solution to produce the training data for the chosen actions is to use the ring by applying these actions to it and recording the events generated in response.
Les données d’entraînement peuvent ainsi être obtenues en enregistrant les signaux générés par les capteurs pour, par exemple, 100 répétitions d’un événement de déformation de l’anneau provoqué par une action donnée de l’utilisateur, et effectuer cette opération pour chaque type d’action à identifier. Training data can thus be obtained by recording the signals generated by the sensors for, for example, 100 repetitions of a ring deformation event caused by a given user action, and performing this operation for each type of action to be identified.
Les étapes S00, S10, S20 et S30 du diagramme de la
A l’étape S10, détaillée plus haut, le calculateur CALC détermine le début et la fin d’un événement défini par les signaux S1, S2 et S3 générés en réponse à une action de l’utilisateur de l’anneau à l’étape S00.In step S10, detailed above, the calculator CALC determines the start and end of an event defined by the signals S1, S2 and S3 generated in response to an action by the user of the ring in step S00.
A une étape S20, les signaux générés pendant la durée de l’événement sont échantillonnés et enregistrés dans la mémoire MEM au cours d’une opération d’enregistrement Rec. Il est préférable qu’un même nombre de mesures soit associé à chaque événement détecté. Si, par exemple, l’échantillonnage des signaux de mesures se fait à la fréquence de 100 Hz et qu’on fixe le nombre d’échantillons de chacun des signaux S1, S2 et S3 à 100 pour un événement donné, on enregistre les signaux pour une durée d’une seconde. Si l’événement dure moins d’une seconde, on complète les données avec des zéros pour maintenir le nombre de 100 échantillons.In a step S20, the signals generated during the duration of the event are sampled and recorded in the memory MEM during a recording operation Rec. It is preferable that the same number of measurements be associated with each detected event. If, for example, the sampling of the measurement signals is done at a frequency of 100 Hz and the number of samples of each of the signals S1, S2 and S3 is set to 100 for a given event, the signals are recorded for a duration of one second. If the event lasts less than one second, the data is completed with zeros to maintain the number of 100 samples.
A une étape S30, les données enregistrées sont de préférence normalisées par un conditionnement Cond mis en œuvre par l’unité de calcul : on peut retrancher à chaque échantillon d’un signal l’amplitude de ce signal moyennée sur la durée de l’événement, puis on peut diviser le résultat par la variance du signal pendant l’événement.At a step S30, the recorded data are preferably normalized by a conditioning Cond implemented by the calculation unit: the amplitude of this signal averaged over the duration of the event can be subtracted from each sample of a signal, then the result can be divided by the variance of the signal during the event.
Ce conditionnement des données permet d’avoir des jeux de données selon un même format, facilitant leurs traitements et leurs classifications au moyen du réseau de neurones. Dans cet exemple, chaque événement est associé à une matrice de 3x100 échantillons.This data conditioning allows to have data sets in the same format, facilitating their processing and classification by means of the neural network. In this example, each event is associated with a matrix of 3x100 samples.
Le conditionnement des données peut être adapté au nombre de capteurs, à l’utilisation de l’anneau qui peut influer sur la longueur des événements à enregistrer, au taux d’échantillonnage souhaité, ou encore à la capacité de traitement par le calculateur intégré à l’anneau.Data conditioning can be adapted to the number of sensors, to the use of the ring which can influence the length of the events to be recorded, to the desired sampling rate, or even to the processing capacity by the computer integrated into the ring.
Les étapes S00 à S30 sont répétés jusqu’à obtention d’enregistrements d’événements en nombre et en diversité considérés suffisants par le praticien.Steps S00 to S30 are repeated until event recordings are obtained in a number and diversity considered sufficient by the practitioner.
Les données enregistrées sont ici les données d’entraînement du réseau de neurones : à chaque enregistrement de données est associée l’action correspondante. On peut utiliser une partie des données pour l’entraînement proprement dit, et une autre partie à la validation de l’entrainement, on parlera pour ces dernières de données de validation.The recorded data here is the training data of the neural network: each data recording is associated with the corresponding action. We can use part of the data for the training itself, and another part for the validation of the training, we will speak for the latter of validation data.
L’entraînement du réseau de neurones consiste, de manière conventionnelle, à fournir en entrée du réseau de neurone les données d’entraînement et les résultats attendus, la classe de chaque événement des données d’entraînement. A la fin de la phase d’entraînement, le traitement des données par le réseau de neurone est censé être suffisamment fiable pour qu’il soit utilisé en conditions réelles. Le niveau de fiabilité est estimé grâce aux données de validation, qui permettent de tester les performances du réseau.Training a neural network conventionally involves providing the training data and expected results, the class of each event in the training data, as input to the neural network. At the end of the training phase, the processing of data by the neural network is assumed to be sufficiently reliable for it to be used in real conditions. The level of reliability is estimated using validation data, which allows testing the network's performance.
Les tableaux des figures 23 et 24 illustrent les résultats de l’entraînement d’un réseau de neurones. Pour chacun de ces exemples, un réseau de neurone a été entraîné à classifier des événements dans un certain nombre de classes correspondant à des actions données de l’utilisateur. A la suite de l’entraînement, un test a été effectué, le tableau permettant une comparaison entre les classifications opérées par le réseau de neurone et les classes, connues, des données de validations. Les données d’entraînement et de validation consistaient en quelques dizaines d’enregistrements de chaque action qui ont été collectés auprès d’une dizaine d’utilisateurs différents.The tables in Figures 23 and 24 illustrate the results of training a neural network. For each of these examples, a neural network was trained to classify events into a number of classes corresponding to given user actions. Following training, a test was performed, the table allowing a comparison between the classifications made by the neural network and the known classes of the validation data. The training and validation data consisted of a few dozen recordings of each action that were collected from about ten different users.
Le tableau de la
Le tableau de la
Les lignes des tableaux correspondent aux véritables classes (connues) des données de validation et les colonnes aux classifications de ces données par le réseau de neurones. Dans un cas idéal, la diagonale principale des tableaux comprendrait uniquement des « 1 » et les autres cases ne comprendraient que des « 0 ». Les résultats préliminaires montrent une fiabilité de la classification de 86% et 91% respectivement pour les tableaux des figures 23 et 24. Ces scores valident largement la pertinence de cette approche pour déterminer les actions de l’utilisateur sur l’anneau à partir des signaux de mesure des capteurs. The rows of the tables correspond to the true (known) classes of the validation data and the columns to the classifications of these data by the neural network. In an ideal case, the main diagonal of the tables would only include “1”s and the other boxes would only include “0”. Preliminary results show a classification reliability of 86% and 91% respectively for the tables in Figures 23 and 24. These scores largely validate the relevance of this approach to determine user actions on the ring from sensor measurement signals.
II.4 Classification d’événements par le réseau de neuronesII.4 Event classification by the neural network
Une fois le réseau de neurone entraîné, il peut être utilisé pour une utilisation pratique de l’interface homme-machine sous forme d’anneau illustré par exemple par la
La
Les étapes S00 à S30 se déroulent de la même manière que pour la production des données d’entraînements de la section précédente.Steps S00 to S30 are performed in the same way as for the production of training data in the previous section.
A la suite du conditionnement des données à l’étape S30, les données conditionnées associé à un événement sont fournies en entrée du réseau de neurones du calculateur CALC, qui opère une classification Class de l’événement à une étape S40, ce qui permet de déterminer le type d’action ayant engendré cet événement et générer un signal SClass représentatif de la classe de l’événement et du type d’action l’ayant engendré. Chaque signal SClass peut être considéré comme un signal de détection d’une action appliquée à l’élément annulaire, plus spécifiquement d’une action mécanique entraînant une déformation globale de l’élément annulaire. Le réseau de neurone détermine au cours de cette étape à quelle classe appartient l’événement. L’étape S40 peut être considérée comme une étape de détection d’un événement particulier, et le signal SClass est également un signal de détection d’un événement donné et donc de l’action l’ayant engendré.Following the conditioning of the data in step S30, the conditioned data associated with an event are provided as input to the neural network of the CALC calculator, which performs a Class classification of the event in a step S40, which makes it possible to determine the type of action that generated this event and generate a signal S Class representative of the class of the event and the type of action that generated it. Each signal S Class can be considered as a signal for detecting an action applied to the annular element, more specifically a mechanical action leading to an overall deformation of the annular element. The neural network determines during this step to which class the event belongs. Step S40 can be considered as a step for detecting a particular event, and the signal S Class is also a signal for detecting a given event and therefore the action that generated it.
A une étape S50, le calculateur CALC du module d’acquisition ACQ génère un signal SCon de contrôle Con en réponse au signal SClass et donc à la classification des données par le réseau de neurone. Cette opération peut être effectuée par exemple en recherchant dans une table une commande associée à la classe de l’événement, contenue dans le signal de contrôle. Alternativement, le signal SClass, peut être utilisé en tant que signal SCon. Le signal SCon peut être envoyé à l’appareil extérieur APP par l’intermédiaire du module de communication Com.At a step S50, the CALC calculator of the ACQ acquisition module generates a control signal S Con in response to the signal S Class and therefore to the classification of the data by the neural network. This operation can be carried out for example by searching in a table for a command associated with the class of the event, contained in the control signal. Alternatively, the signal S Class , can be used as the signal S Con . The signal S Con can be sent to the external device APP via the communication module Com.
Un avantage de l’emploi d’un réseau de neurones est que l’utilisateur, à condition de procéder à un apprentissage de ce réseau, pourra adapter la réponse de l’interface à sa gestuelle propre, et pourra même ajouter de nouvelles classes de détection au « vocabulaire » compris par l’interface. Ainsi, à la différence de l’option I analytique, tout type d’action appliquée à l’anneau et menant à des événements reproductibles dans les signaux de mesure de déformation de l’élément annulaire peut être employé pour contrôler l’appareil extérieur. Un utilisateur pourrait ainsi « éduquer » l’anneau R à reconnaître une manipulation donnée de l’anneau, indépendamment du fait que cette manipulation ait été ou non envisagée par son concepteur.An advantage of using a neural network is that the user, provided that the network is trained, will be able to adapt the response of the interface to his own gestures, and will even be able to add new detection classes to the “vocabulary” understood by the interface. Thus, unlike the analytical option I, any type of action applied to the ring and leading to reproducible events in the deformation measurement signals of the annular element can be used to control the external device. A user could thus “educate” the ring R to recognize a given manipulation of the ring, regardless of whether or not this manipulation was envisaged by its designer.
III. Capteurs de déformation de type piézoélectriqueIII. Piezoelectric type strain sensors
Les capteurs de déformation permettent d’estimer la déformation de surface que subit un élément d’un système mécanique quelconque lorsqu’il est soumis à des efforts extérieurs (force et moments de force qui lui sont appliqué par des éléments extérieurs).Strain sensors are used to estimate the surface deformation undergone by an element of any mechanical system when it is subjected to external forces (force and moments of force applied to it by external elements).
Un capteur particulièrement adapté à l’interface homme-machine sous forme d’anneau décrite plus haut est un élément mince piézoélectrique monocristallin se présentant sous forme d’une plaque s’étendant dans un plan d’extension défini par une première direction et une seconde direction normale à la première direction, de dimensions dans la première direction et la seconde direction chacune supérieures à 100 µm et d’épaisseur inférieure à 50 µm, un rapport de l’épaisseur sur la dimension dans la première direction ou la dimension dans la seconde direction étant inférieur à 0,1. L’élément piézoélectrique peut présenter une première sensibilité Sx à la déformation selon la première direction et une seconde sensibilité Sy à la déformation selon la seconde direction, une orientation cristalline de l’élément pouvant être telle que abs(Sy/Sx) < 0,1, correspondant à une sensibilité dite « unidirectionnelle », abs((Sy+Sx)/Sx) < 0,1, correspondant à une sensibilité dite « bidirectionnelle », ou pour au moins deux premières directions du plan d’extension faisant entre elles un angle comprise entre 30° et 60°, abs((Sx-Sy)/Sx) < 0,1, correspondant à une sensibilité dite « omnidirectionnelle ».A sensor particularly suited to the ring-shaped human-machine interface described above is a thin monocrystalline piezoelectric element in the form of a plate extending in an extension plane defined by a first direction and a second direction normal to the first direction, with dimensions in the first direction and the second direction each greater than 100 µm and a thickness of less than 50 µm, a ratio of the thickness to the dimension in the first direction or the dimension in the second direction being less than 0.1. The piezoelectric element may have a first sensitivity S x to deformation in the first direction and a second sensitivity S y to deformation in the second direction, a crystalline orientation of the element may be such that abs(S y /S x ) < 0.1, corresponding to a so-called “unidirectional” sensitivity, abs((S y +S x )/S x ) < 0.1, corresponding to a so-called “bidirectional” sensitivity, or for at least two first directions of the extension plane making an angle between them of between 30° and 60°, abs((S x -S y )/S x ) < 0.1, corresponding to a so-called “omnidirectional” sensitivity.
Un tel élément mince piézoélectrique est apte à former la base d’un capteur de déformation passif, qui peut combiner précision, sensibilité, conformabilité, souplesse, légèreté, stabilité, linéarité, directivité et applicabilité à de larges gammes de déformations, comme décrit en détail dans la demande de brevet français FR2303635.Such a thin piezoelectric element is suitable for forming the basis of a passive strain sensor, which can combine precision, sensitivity, conformability, flexibility, lightness, stability, linearity, directivity and applicability to wide strain ranges, as described in detail in French patent application FR2303635.
Ainsi, cet élément piézoélectrique permet de mesurer des déformations supérieures à 5000 micromètres par mètre avec une résolution de l’ordre de 1 nanomètre de déformation par mètre. Ces chiffrent se comparent avec ceux des jauges résistives conventionnelles qui permettent de mesurer des déformations allant jusqu’à 12000 micromètres par mètre mais avec une résolution bien plus faible, de l’ordre de 1 micromètre de déformation par mètre, ou avec ceux des jauges piézoélectriques en boîtier qui ne sont capables de mesurer que des déformations limitées à environ 300 micromètres par mètre avec une résolution de 1 nanomètre par mètre.Thus, this piezoelectric element can measure deformations greater than 5000 micrometers per meter with a resolution of the order of 1 nanometer of deformation per meter. These figures compare with those of conventional resistive gauges which can measure deformations of up to 12000 micrometers per meter but with a much lower resolution, of the order of 1 micrometer of deformation per meter, or with those of piezoelectric gauges in a box which are only capable of measuring deformations limited to approximately 300 micrometers per meter with a resolution of 1 nanometer per meter.
Cet élément mince piézoélectrique peut être muni d’une paire de couches électriquement conductrices situées respectivement sur deux faces opposées de l’élément mince piézoélectrique.This thin piezoelectric element may be provided with a pair of electrically conductive layers located respectively on two opposite faces of the thin piezoelectric element.
Un capteur de déformation peut comprendre au moins un élément mince piézoélectrique tel que décrit ci-dessus, situé sur une feuille souple.A strain sensor may include at least one thin piezoelectric element as described above, located on a flexible sheet.
Selon des caractéristiques additionnelles, considérées individuellement ou selon toute combinaison techniquement réalisable :According to additional characteristics, considered individually or in any technically feasible combination:
- le au moins un élément mince piézoélectrique peut être encapsulé entre la feuille souple et une autre feuille souple ;- the at least one thin piezoelectric element may be encapsulated between the flexible sheet and another flexible sheet;
- le capteur peut comprendre au moins un amplificateur de charge connecté à l’au moins un élément mince piézoélectrique ;- the sensor may comprise at least one charge amplifier connected to the at least one thin piezoelectric element;
- l’au moins un amplificateur de charge peut être intégré sur la feuille souple ;- at least one charge amplifier can be integrated on the flexible sheet;
- le capteur peut comprendre une pluralité d’éléments minces piézoélectriques comme décrits ci-dessus, orientés selon des directions différentes présentant au moins 30° d’écart entre elles ;- the sensor may comprise a plurality of thin piezoelectric elements as described above, oriented in different directions having at least a 30° separation between them;
- le capteur peut comprendre un premier, un second et un troisième éléments minces piézoélectriques, chacun présentant la caractéristique abs(Sy/Sx) < 0,1, la première direction du second élément mince piézoélectrique pouvant faire un angle de 90° avec la première direction du premier élément mince piézoélectrique, la première direction du troisième élément mince piézoélectrique pouvant faire un angle de 45° avec la première direction du premier élément mince piézoélectrique ;- the sensor may comprise a first, a second and a third piezoelectric thin elements, each having the characteristic abs(S y /S x ) < 0.1, the first direction of the second piezoelectric thin element being able to make an angle of 90° with the first direction of the first piezoelectric thin element, the first direction of the third piezoelectric thin element being able to make an angle of 45° with the first direction of the first piezoelectric thin element;
- le capteur peut comprendre un premier, un second et un troisième éléments minces piézoélectriques, chacun pouvant présenter la caractéristique abs(Sy/Sx) < 0,1, la première direction du second élément mince piézoélectrique pouvant faire un angle de 120° avec la première direction du premier élément mince piézoélectrique, la première direction du troisième élément mince piézoélectrique pouvant faire un angle de 240° avec la première direction du premier élément mince piézoélectrique ;- the sensor may comprise a first, a second and a third piezoelectric thin elements, each of which may have the characteristic abs(S y /S x ) < 0.1, the first direction of the second piezoelectric thin element being able to make an angle of 120° with the first direction of the first piezoelectric thin element, the first direction of the third piezoelectric thin element being able to make an angle of 240° with the first direction of the first piezoelectric thin element;
- le capteur peut comprendre une pluralité d’amplificateurs de charge chacun reliés à l’un respectif des éléments piézoélectriques minces ; et- the sensor may comprise a plurality of charge amplifiers each connected to a respective one of the thin piezoelectric elements; and
- un capteur peut combiner au moins deux capteurs selon l’invention connectés électriquement en parallèle.- a sensor can combine at least two sensors according to the invention electrically connected in parallel.
Chacun des capteurs intégrés à l’anneau R, comme les capteurs Sens1, Sens2 et Sens3, peut être constitué d’un capteur combinant une ou plusieurs des caractéristiques listées ci-dessus.Each of the sensors integrated into the R ring, such as the Sens1, Sens2 and Sens3 sensors, can consist of a sensor combining one or more of the characteristics listed above.
En effet, l’interface homme-machine sous forme d’anneau, équipée de capteurs sensible à la déformation de l’élément annulaire dans son ensemble, peut avantageusement employer des capteurs de déformation ayant comme élément sensible l’élément mince piézoélectrique monocristallin décrit ci-dessus. Ses avantages sont multiples, on peut en particulier citer la sensibilité et, éventuellement si elle est recherchée, la directivité d’un capteur basé sur un tel élément, mais aussi la précision, la conformabilité, la souplesse, la légèreté, l’intégrabilité et des dimensions réduites, la stabilité, la linéarité, la directivité et l’applicabilité à de larges gammes de déformations. Indeed, the human-machine interface in the form of a ring, equipped with sensors sensitive to the deformation of the annular element as a whole, can advantageously use deformation sensors having as a sensitive element the thin monocrystalline piezoelectric element described above. Its advantages are multiple, we can in particular cite the sensitivity and, possibly if it is sought, the directivity of a sensor based on such an element, but also the precision, conformability, flexibility, lightness, integrability and reduced dimensions, stability, linearity, directivity and applicability to wide ranges of deformations.
L’anneau R bénéficiera en particulier de l’intégrabilité et de la sensibilité de l’élément piézoélectrique mince. La sensibilité permet par exemple de former l’élément annulaire ANN dans des matériaux et des dimensions conventionnelles pour fabriquer des bagues : des sensibilités plus basses imposeraient l’emploi de matériaux plus déformables et/ou plus mince, réduisant leur robustesse et leur confort de portage.The R ring will benefit in particular from the integrability and sensitivity of the thin piezoelectric element. The sensitivity allows for example to form the ANN annular element in conventional materials and dimensions for manufacturing rings: lower sensitivities would require the use of more deformable and/or thinner materials, reducing their robustness and wearing comfort.
En effet, une bague classique, formée de métal, est rigide et se déforme peu sous l’action de forces appliquées par des doigts, (d’ordinaire d’amplitudes inférieures à 10 N. De telles forces génèrent des déformations de l’ordre de 5 µdef, qui sont difficilement mesurables à l’aide de jauges de déformation conventionnelles.Indeed, a classic ring, made of metal, is rigid and deforms little under the action of forces applied by fingers, (usually of amplitudes less than 10 N. Such forces generate deformations of the order of 5 µdef, which are difficult to measure using conventional strain gauges.
Les jauges résistives, par exemple, ont une sensibilité insuffisante pour l’application visée ici. Même si elles étaient montées sur un élément annulaire suffisamment souple pour qu’elles puissent mesurer les déformations provoquées par l’utilisateur, leur consommation électrique les disqualifieraient pour l’application visée. En outre, réduire le bruit des jauges par filtrage pour de garder que les basses fréquences des signaux de mesure induirait un délai rédhibitoire pour une interface de contrôle.Resistive gauges, for example, have insufficient sensitivity for the application targeted here. Even if they were mounted on a sufficiently flexible annular element so that they could measure the deformations caused by the user, their power consumption would disqualify them for the intended application. In addition, reducing the noise of the gauges by filtering to keep only the low frequencies of the measurement signals would induce a prohibitive delay for a control interface.
Il est préférable d’envisager des capteurs n’ayant qu’une faible consommation d’énergies, voire des capteurs passifs. Les capteurs piézoélectriques répondent à ce critère.It is better to consider sensors with low energy consumption, or even passive sensors. Piezoelectric sensors meet this criterion.
Un premier type de capteurs de déformation piézoélectriques est basé sur l’emploi d’un cristal de matériau piézoélectrique de relativement bonne sensibilité à la déformation et stable dans le temps, mais épais et rigide, souvent abrité dans un boîtier métallique dont il est mécaniquement solidaire, ces dernières caractéristiques le rendant difficilement intégrable dans une structure ayant les dimensions de l’anneau R et peu adapté à l’installation sur une surface courbe comme celle de l’élément annulaire ANN.A first type of piezoelectric deformation sensors is based on the use of a crystal of piezoelectric material with relatively good sensitivity to deformation and stable over time, but thick and rigid, often housed in a metal case to which it is mechanically attached, these latter characteristics making it difficult to integrate into a structure having the dimensions of the ring R and poorly suited to installation on a curved surface such as that of the annular element ANN.
Un second type de capteurs de déformation piézoélectriques est basé sur l’emploi de de structures composites comprenant des barres de PZT (ou titano-zirconates de plomb) situées entre des feuilles de matériaux polymères, ou sur des films piézoélectriques polymères dits « PVDF » pour poly(vinylidene fluoride) en terminologie anglaise.A second type of piezoelectric strain sensors is based on the use of composite structures comprising PZT (or lead zirconate titanate) bars located between sheets of polymer materials, or on polymer piezoelectric films called "PVDF" for poly(vinylidene fluoride) in English terminology.
Ces structures sont relativement souples, mais trop instables dans le temps et sensible à la température pour une application telle celles visées pour que l’anneau R, destiné entre autres à être portée autour d’un doigt d’un utilisateur .These structures are relatively flexible, but too unstable over time and sensitive to temperature for an application such as those targeted for the R ring, intended among other things to be worn around a user's finger.
En revanche, l’élément mince piézoélectrique monocristallin décrit plus haut répond à l’ensemble des critères nécessaire à une bonne intégration à l’anneau et de bonnes fonctionnalités pour celui-ci : dimensions, souplesse et sensibilité. L’intégrabilité de l’élément piézoélectrique (facilité à le placer en contact intime avec une structure de forme arrondie comme l’élément annulaire) est primordiale ici, et sa sensibilité permet de détecter des déformations mêmes simplement appliquées au doigt à un élément annulaire de rigidité comparable à une bague traditionnelle en métal.On the other hand, the thin monocrystalline piezoelectric element described above meets all the criteria necessary for good integration into the ring and good functionalities for it: dimensions, flexibility and sensitivity. The integrability of the piezoelectric element (ease of placing it in intimate contact with a rounded structure such as the annular element) is essential here, and its sensitivity makes it possible to detect deformations even simply applied to the finger to an annular element of comparable rigidity to a traditional metal ring.
L’élément piézoélectrique peut être formé de tantalate de lithium LiTaO3 sous forme monocristalline, qui appartient au groupe d’espace 3m, mais aussi de niobate de lithium LiNbO3 (groupe 3m), de niobate de plomb et de magnésium MgNb2(PbO3)3 (groupe P1), de nitrure d’aluminium AlN (groupe P63mc), de titanate de baryum BaTiO3, de niobate de potassium KNbO3 ou de titanate de plomb TiPbO3 (tous trois du groupe P4mm).The piezoelectric element can be formed from lithium tantalate LiTaO3 in monocrystalline form, which belongs to the 3m space group, but also from lithium niobate LiNbO3 (group 3m), lead magnesium niobate MgNb2(PbO3)3 (group P1), aluminum nitride AlN (group P6 3mc ), barium titanate BaTiO3, potassium niobate KNbO3 or lead titanate TiPbO3 (all three from the P4mm group).
La
Afin de bénéficier de la finesse et donc de la souplesse et de la conformabilité de l’élément mince PIEZO, le capteur SENS comprend une feuille SH1 souple sur laquelle est fixé l’élément mince PIEZO. Les feuilles sont préférablement faites de matériaux flexibles choisis en fonction de l’application visée, et peuvent être par exemple constituées de métal, chlorure de polyvinyle (PVC), polyimide (PI), polyéthylène téréphtalate (PET), polyéthylène téréphtalate à orientation biaxiale (Mylar®) ou encore d’un matériau composite de résine époxy et de fibres de verre. L’élément mince PIEZO peut être fixé à la feuille SH1 au moyen d’un adhésif souple tel qu’un film conductif anisotrope (ACF) qui permet en outre une prise de contact électrique comme décrit dans le document de brevet FR 3 122 985. En utilisation, le capteur SENS peut être fixé à une surface à caractériser au moyen d’un adhésif, par exemple une colle cyanoacrylate ou une résine époxy.In order to benefit from the thinness and therefore the flexibility and conformability of the thin PIEZO element, the SENS sensor comprises a flexible SH1 sheet on which the thin PIEZO element is fixed. The sheets are preferably made of flexible materials chosen according to the intended application, and may be, for example, made of metal, polyvinyl chloride (PVC), polyimide (PI), polyethylene terephthalate (PET), biaxially oriented polyethylene terephthalate (Mylar®) or a composite material of epoxy resin and glass fibers. The thin PIEZO element may be fixed to the SH1 sheet by means of a flexible adhesive such as an anisotropic conductive film (ACF) which also allows electrical contact as described in patent document FR 3 122 985. In use, the SENS sensor may be fixed to a surface to be characterized by means of an adhesive, for example a cyanoacrylate glue or an epoxy resin.
Outre l’élément mince PIEZO, dans l’exemple de la
La
L’élément mince piézoélectrique PIEZO a préférablement une épaisseur inférieure à 50 µm, plus préférablement inférieure à 25 µm, encore plus préférablement inférieure à 10 µm. Si l’on considère un élément piézoélectrique défini comme illustré dans la
La feuille SH1 et, le cas échéant, la feuille SH2, peuvent avoir une épaisseur comprise entre 5 et 300 µm.The SH1 sheet and, where applicable, the SH2 sheet, may have a thickness between 5 and 300 µm.
Il est cependant préférable que le capteur piézoélectrique SENS considéré dans son ensemble soit suffisamment souple pour épouser la surface de l’élément annulaire auquel il doit être fixé et capable d’en suivre les déformations. Le praticien pourra décider pour chaque application des caractéristiques de l’élément mince piézoélectrique PIEZO, de son support, et des autres éléments tels que les couches d’électrodes ou les moyens de prise de contacts électriques.However, it is preferable that the SENS piezoelectric sensor considered as a whole is sufficiently flexible to fit the surface of the annular element to which it is to be fixed and capable of following its deformations. The practitioner will be able to decide for each application the characteristics of the thin piezoelectric element PIEZO, its support, and other elements such as the electrode layers or the means of making electrical contacts.
La flexibilité de l’élément piézoélectrique mince est avantageusement exploitée pour fixer la totalité de l’une de ses faces en contact intime avec la surface courbe de l’élément annulaire ANN (à travers une électrode et un éventuel film adhésif). De cette manière, cet élément piézoélectrique est solidaire de l’élément annulaire, subit les mêmes déformations que celles que subit l’élément annulaire là où l’élément piézoélectrique est fixé, et sa déformation est donc représentative de celle de l’élément annulaire.The flexibility of the thin piezoelectric element is advantageously exploited to fix the entirety of one of its faces in intimate contact with the curved surface of the annular element ANN (through an electrode and a possible adhesive film). In this way, this piezoelectric element is integral with the annular element, undergoes the same deformations as those undergone by the annular element where the piezoelectric element is fixed, and its deformation is therefore representative of that of the annular element.
La feuille SH1 peut être constituée de ou remplacée par un support flexible tel qu’un circuit imprimé flexible dit « flex PCB », composé de couches de polymère électriquement isolant et de couches de cuivre, permettant de router les signaux entre les différents composants d'un circuit électronique. Chaque ensemble de capteur peut comporter une pluralité d’éléments piézoélectriques PIEZO chacun ayant son propre support, de même que le module d’électronique les contrôlant peut avoir le sien.. Alternativement, un même support flex PCB peut accueillir l’ensemble des éléments PIEZO et du module électronique de contrôle de ces éléments. Encore alternativement, un premier support flex PCB peut être commun à l’ensemble des éléments PIEZO et un second support flex PCB peut être dédié au module électronique de contrôle.The SH1 sheet may be made of or replaced by a flexible support such as a flexible printed circuit called "flex PCB", composed of layers of electrically insulating polymer and layers of copper, making it possible to route signals between the different components of an electronic circuit. Each sensor assembly may comprise a plurality of piezoelectric PIEZO elements, each having its own support, as may the electronic module controlling them. Alternatively, a single flex PCB support may accommodate all of the PIEZO elements and the electronic module controlling these elements. Alternatively, a first flex PCB support may be common to all of the PIEZO elements and a second flex PCB support may be dedicated to the electronic control module.
Le type exact du ou des capteurs à intégrer à l’élément annulaire ANN dépendront du type d’action à détecter et des contraintes imposées (autonomie, sensibilité…), selon les intentions des concepteurs.The exact type of sensor(s) to be integrated into the ANN annular element will depend on the type of action to be detected and the constraints imposed (autonomy, sensitivity, etc.), according to the designers' intentions.
L'invention n'est pas limitée au mode de mise en œuvre décrit ci-dessus et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications.The invention is not limited to the method of implementation described above and variant embodiments may be made without departing from the scope of the invention as defined by the claims.
Claims (17)
- un élément annulaire (ANN) de forme sensiblement cylindrique ;
- au moins deux capteurs (SENS1, SENS2, SENS3) de déformation montés sur l’élément annulaire à des niveaux d’au moins deux rayons (r1, r2, r3) de celui-ci, respectivement, les deux rayons étant distincts angulairement l’un de l’autre, de manière à ce que les au moins deux capteurs soient sensibles à une déformation globale de l’élément annulaire ; et
un module électronique (EL) configuré de manière à générer un signal de détection (ROT-, ROT+, Loc, S.Sq, L.Sq, D.Sq, Hit(F), Hit(R), SClass) représentatif de la déformation globale de l’élément annulaire, en réponse à un traitement d’au moins deux signaux (S1, S2, S3) respectivement émis par les au moins deux capteurs (SENS1, SENS2, SENS3) de déformation. Sensor assembly (R) in the form of a ring, comprising:
- an annular element (ANN) of substantially cylindrical shape;
- at least two deformation sensors (SENS 1 , SENS 2 , SENS 3 ) mounted on the annular element at levels of at least two radii (r1, r2, r3) thereof, respectively, the two radii being angularly distinct from each other, such that the at least two sensors are sensitive to an overall deformation of the annular element; and
an electronic module (EL) configured to generate a detection signal (ROT-, ROT+, Loc, S.Sq, L.Sq, D.Sq, Hit(F), Hit(R), S Class ) representative of the overall deformation of the annular element, in response to processing of at least two signals (S1, S2, S3) respectively emitted by the at least two deformation sensors (SENS 1 , SENS 2 , SENS 3 ).
- détecter (Bl2-35, Bl2-45, S40) une rotation (Rot, Rot_pos, Rot_neg, Rot_pos_small, Rot_pos_large, Rot_neg_small, Rot_neg_large) de l’élément annulaire sur la base des signaux (S1, S2) émis par les au moins deux capteurs (SENS1, SENS2, SENS3) de déformation ; et
- en réponse à l’étape de détection, générer un signal (ROT-, ROT+, SClass) représentatif de l’occurrence d’une rotation de l’élément annulaire (ANN). Human-machine interface (R) according to any one of claims 7 to 11, in which the acquisition module is configured to:
- detecting (Bl 2-35 , Bl 2-45 , S40) a rotation (Rot, Rot_pos, Rot_neg, Rot_pos_small, Rot_pos_large, Rot_neg_small, Rot_neg_large) of the annular element on the basis of the signals (S1, S2) emitted by the at least two deformation sensors (SENS 1 , SENS 2 , SENS 3 ); and
- in response to the detection step, generate a signal (ROT-, ROT+, S Class ) representative of the occurrence of a rotation of the annular element (ANN).
Kit comprising a human-machine interface (R) according to any one of claims 7 to 16 as well as an external device (APP) configured to be controlled by means of the human-machine interface (R).
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020257043720A KR20260017438A (en) | 2023-06-06 | 2024-05-17 | Ring-shaped touch sensor and associated human-machine interface |
| EP24726276.9A EP4724879A1 (en) | 2023-06-06 | 2024-05-17 | Touch sensor in the form of a ring and associated human-machine interface |
| CN202480049350.9A CN121569267A (en) | 2023-06-06 | 2024-05-17 | Touch sensor in the form of a ring and associated human-machine interface |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2305671A FR3149703A1 (en) | 2023-06-06 | 2023-06-06 | RING-SHAPED TOUCH SENSOR AND ASSOCIATED HUMAN-MACHINE INTERFACE |
| FRFR2305671 | 2023-06-06 | ||
| FR2315303A FR3149704B1 (en) | 2023-06-06 | 2023-12-26 | RING-SHAPED TOUCH SENSOR and ASSOCIATED HUMAN-MACHINE INTERFACE |
| FRFR2315303 | 2023-12-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024251498A1 true WO2024251498A1 (en) | 2024-12-12 |
Family
ID=91128278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2024/063675 Ceased WO2024251498A1 (en) | 2023-06-06 | 2024-05-17 | Touch sensor in the form of a ring and associated human-machine interface |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4724879A1 (en) |
| KR (1) | KR20260017438A (en) |
| CN (1) | CN121569267A (en) |
| WO (1) | WO2024251498A1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2303635A1 (en) | 1975-03-14 | 1976-10-08 | Oceanic Contractors | METHOD AND APPARATUS FOR CUTTING AND PREPARING TUBES FOR THEIR ASSEMBLY |
| US20150046886A1 (en) * | 2013-08-07 | 2015-02-12 | Nike, Inc. | Gesture recognition |
| US9582076B2 (en) | 2014-09-17 | 2017-02-28 | Microsoft Technology Licensing, Llc | Smart ring |
| US20170242496A1 (en) | 2014-08-20 | 2017-08-24 | Jun Ho Park | Wearble device |
| US20200150715A1 (en) | 2018-04-30 | 2020-05-14 | Apple Inc. | Expandable Ring Device |
| US20220212112A1 (en) | 2019-07-05 | 2022-07-07 | Nintendo Co., Ltd. | Storage medium having information processing program stored therein, information processing system, information processing apparatus, and information processing method |
| FR3122985A1 (en) | 2021-05-18 | 2022-11-25 | Wormsensing | VIBRATION SENSOR AND DEVICE FOR MEASURING PERIODIC VITAL SIGNS EMITTED BY THE HUMAN OR ANIMAL BODY |
-
2024
- 2024-05-17 WO PCT/EP2024/063675 patent/WO2024251498A1/en not_active Ceased
- 2024-05-17 KR KR1020257043720A patent/KR20260017438A/en active Pending
- 2024-05-17 CN CN202480049350.9A patent/CN121569267A/en active Pending
- 2024-05-17 EP EP24726276.9A patent/EP4724879A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2303635A1 (en) | 1975-03-14 | 1976-10-08 | Oceanic Contractors | METHOD AND APPARATUS FOR CUTTING AND PREPARING TUBES FOR THEIR ASSEMBLY |
| US20150046886A1 (en) * | 2013-08-07 | 2015-02-12 | Nike, Inc. | Gesture recognition |
| US20170242496A1 (en) | 2014-08-20 | 2017-08-24 | Jun Ho Park | Wearble device |
| US9582076B2 (en) | 2014-09-17 | 2017-02-28 | Microsoft Technology Licensing, Llc | Smart ring |
| US20200150715A1 (en) | 2018-04-30 | 2020-05-14 | Apple Inc. | Expandable Ring Device |
| US20220212112A1 (en) | 2019-07-05 | 2022-07-07 | Nintendo Co., Ltd. | Storage medium having information processing program stored therein, information processing system, information processing apparatus, and information processing method |
| FR3122985A1 (en) | 2021-05-18 | 2022-11-25 | Wormsensing | VIBRATION SENSOR AND DEVICE FOR MEASURING PERIODIC VITAL SIGNS EMITTED BY THE HUMAN OR ANIMAL BODY |
Non-Patent Citations (3)
| Title |
|---|
| CHUANG, W.-C., HWANG, W.-J., TAI, T.-M., HUANG, D.-R., & JHANG, Y.-J.: "Continuous Finger Gesture Recognition Based on Flex Sensors.", SENSORS (BASEL, SWITZERLAND, vol. 19, no. 18, 2019, pages 3986 |
| KIM, M.CHO, J.LEE, S.JUNG, Y.: "IMU Sensor-Based Hand Gesture Recognition for Human-Machine Interfaces.", SENSORS (BASEL, SWITZERLAND, vol. 19, no. 18, 2019, pages 3827 |
| NGUYEN-TRONG, K., VU, H. N., TRUNG, N. N., & PHAM, C.: "Gesture Recognition Using Wearable Sensors With Bi-Long Short-Term Memory Convolutional Neural Networks", IEEE SENSORS JOURNAL, vol. 21, no. 13, 2021, pages 15065 - 15079, XP011863135, DOI: 10.1109/JSEN.2021.3074642 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN121569267A (en) | 2026-02-24 |
| KR20260017438A (en) | 2026-02-05 |
| EP4724879A1 (en) | 2026-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Eardrum‐inspired active sensors for self‐powered cardiovascular system characterization and throat‐attached anti‐interference voice recognition | |
| EP2235614B1 (en) | Electronic analysis circuit with alternation of capacitive/resistive measurement for passive-matrix multicontact tactile sensor | |
| FR2950713A1 (en) | SYSTEM AND METHOD FOR RECOGNIZING GESTURES | |
| EP2150882B1 (en) | Method for locating a touch on a surface and device for implementing this method | |
| BE1020021A3 (en) | MULTIMODE TOUCH SCREEN DEVICE. | |
| FR2942658A1 (en) | PROTECTIVE SKIN FOR ROBOTS | |
| FR3026868B1 (en) | DEVICE AND CONTROL METHOD FOR MOTOR VEHICLE | |
| Feng et al. | Tiles audio recorder: an unobtrusive wearable solution to track audio activity | |
| EP2933224B1 (en) | Measurement circuit | |
| EP3109797A1 (en) | Method for recognising handwriting on a physical surface | |
| WO2013102563A1 (en) | Device for gestural control of a system, and associated method | |
| EP2460063A2 (en) | Device and method for locating a locally deforming contact on a deformable touch-sensitive surface of an object | |
| WO2021099512A1 (en) | System for generating a signal based on a touch command and on an optical command | |
| Pätzold et al. | Audio-based roughness sensing and tactile feedback for haptic perception in telepresence | |
| FR2925715A1 (en) | ELECTRONIC ANALYSIS CIRCUIT WITH ALTERNATING POWER AXIS / DETECTION AXIS FOR MULTICONTACT TOUCH SENSOR WITH PASSIVE MATRIX | |
| FR3051931A1 (en) | DETERMINING A MOBILITY CONTEXT OF A CARRIER OF EQUIPMENT PROVIDED WITH INERTIAL SENSORS | |
| WO2024251498A1 (en) | Touch sensor in the form of a ring and associated human-machine interface | |
| FR3149704A1 (en) | RING-SHAPED TOUCH SENSOR and ASSOCIATED HUMAN-MACHINE INTERFACE | |
| EP2836890A2 (en) | Interaction peripheral device capable of controlling an element for touching and grasping multidimensional virtual objects | |
| EP3723003B1 (en) | A smartcard including a fingerprint sensor | |
| Hur et al. | Real-world parkinson’s hand tremor detection using ensemble learning techniques | |
| US12033422B1 (en) | Ultrasonic fingerprint anti-spoofing based on A-line data | |
| EP2737389A1 (en) | System and method of detecting and locating a disturbance in a medium | |
| CH712940B1 (en) | Methods and system for determining certain parameters related to the regulating organ of a watch. | |
| EP4214598B1 (en) | Method and device for tracking an end of a utensil comprising a recalibration of a distance between the end and a magnetic object securely fastened to the utensil |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24726276 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2025571490 Country of ref document: JP Kind code of ref document: A |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2025571490 Country of ref document: JP |
|
| ENP | Entry into the national phase |
Ref document number: 1020257043720 Country of ref document: KR Free format text: ST27 STATUS EVENT CODE: A-0-1-A10-A15-NAP-PA0105 (AS PROVIDED BY THE NATIONAL OFFICE) |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2024726276 Country of ref document: EP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2024726276 Country of ref document: EP Effective date: 20260107 |
|
| ENP | Entry into the national phase |
Ref document number: 2024726276 Country of ref document: EP Effective date: 20260107 |
|
| ENP | Entry into the national phase |
Ref document number: 2024726276 Country of ref document: EP Effective date: 20260107 |
|
| ENP | Entry into the national phase |
Ref document number: 2024726276 Country of ref document: EP Effective date: 20260107 |
|
| ENP | Entry into the national phase |
Ref document number: 2024726276 Country of ref document: EP Effective date: 20260107 |
|
| WWP | Wipo information: published in national office |
Ref document number: 2024726276 Country of ref document: EP |