EP2534610A1 - Système et procédé de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive - Google Patents

Système et procédé de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive

Info

Publication number
EP2534610A1
EP2534610A1 EP11702651A EP11702651A EP2534610A1 EP 2534610 A1 EP2534610 A1 EP 2534610A1 EP 11702651 A EP11702651 A EP 11702651A EP 11702651 A EP11702651 A EP 11702651A EP 2534610 A1 EP2534610 A1 EP 2534610A1
Authority
EP
European Patent Office
Prior art keywords
movement
period
repetitive
motion
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP11702651A
Other languages
German (de)
English (en)
Inventor
Anthony Larue
Frédéric SUARD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Movea SA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Publication of EP2534610A1 publication Critical patent/EP2534610A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Definitions

  • a system and method for real-time determination of a parameter of a repetitively shaped motion is provided.
  • real time means that the response time is adapted to the context of the application.
  • the present invention applies to any field in which a movement of repetitive form takes place, such as the medical field, rehabilitation, sports field, but applies particularly well to the field of video games, in which many games require repetitive movements of the player.
  • the invention can also be applied to repetitive movements of an automaton or robot.
  • the analysis of human movements is implemented in various fields such as cinema, video games, and sports. This analysis makes it possible, for example, to be able to reproduce the movements made by a user, in order to animate a virtual character displayed on a screen, without having to recreate a complex physical model, while maintaining a more natural and spontaneous gesture.
  • Motion capture is mainly used for cinema and video games in order to animate avatars or virtual characters on a display screen, by reproducing the real movements, as for example described in the document WO 200801 1352.
  • This technique involves a complex implementation because the constraints on the precision of the movements made and the location of the markers are important.
  • data acquisition and processing is not necessarily done in real time because mainly to reproduce the movements and not to interact in real time with a system.
  • sensors such as a satellite location system sensor, to give its location or position, or sensors to determine its location.
  • movements such as an accelerometer, a magnetometer, or a gyrometer.
  • the sensors must be the least intrusive and easily positionable without outside intervention.
  • Such sensors even of low cost, make it possible to obtain a better precision in the measurement of the movements than a video sensor where the precision is proportional to the size and to the definition of the sensor and thus requires more complex treatments and a machine treatment more efficient and more expensive.
  • On-board sensors can be used for geolocation and guidance.
  • Certain vehicles or devices equipped with satellite positioning system receivers, such as GPS receivers also contain an inertial unit to compensate for cuts. temporary reception of system signals.
  • Such a system has thus been adapted for pedestrian guidance, as described in the document US 2009192708.
  • These approaches require a global position reference, the motion sensors can be used only temporarily in order to overcome a consequent defect or good for gaining precision.
  • the systems used involve very few sensors, a simple accelerometer gives the main direction and speed of movement, and no additional detail is needed to characterize the movement. In addition, it is not necessary to respond as quickly as possible when changing gears or steering. Such systems are not suitable for relatively precise movements, nor for the use of an interface.
  • the user interacts with a machine only through motion sensors. This approach therefore requires great precision, but above all an early response and a simple and natural handling.
  • Sony has proposed a controller dualshock (registered trademark) compatible with its game console with a motion sensor, in order to transcribe on the screen the movements applied to it.
  • the movements are limited and the main functionality remains the ability to amplify the steering movements according to the inclination of the joystick.
  • Nintendo has introduced its consumer console Wii (registered trademark) which includes interactive joysticks. These controllers are equipped with an accelerometer which is used to know the movement of the player, but without determining more precisely the direction or the amplitude some movement.
  • Wii registered trademark
  • a platform is developed to also consider the movements of the legs, as described in EP 0908701.
  • this platform only allows to know the frequency of leg movements in the same place and therefore does not tolerate movement of the player.
  • it does not allow to know the orientation of the player to be able, for example, to perform a rotation command.
  • the document WO 2006086487 relates to the adaptation of a module to a sports shoe in order to measure and transmit the quantity information of movements performed.
  • the particularity of this invention lies in the ability to measure the amount of physical activity performed by the player in order to activate certain features of the game, or certain characteristics of the avatar or virtual character.
  • this device does not allow to fully interface a player with his virtual character. Indeed, only a sensor is used, for example an accelerometer, to measure the physical activity, but no information is retrieved to characterize more precisely the movements made.
  • An object of the invention is to overcome the problems mentioned above.
  • a system for real-time determination of a parameter of a repetitively shaped motion comprising:
  • the real-time determination is thus improved because the first means for estimating an approximation of the period of the repetitive shape movement, before the end of the current movement allows the determination means to quickly estimate, adaptively, a sliding window size particularly suitable for accurate calculation of the motion parameter quickly.
  • the size of the sliding window is thus automatically adapted to the variation of the period of the repetitive shape movement.
  • Repetitive motion is understood to mean a movement of relatively similar shape, but whose parameters may vary, such as the period (or frequency or speed), the amplitude, or the impact (power of a contact shock).
  • said motion parameter is the period of said repetitive motion.
  • the system is particularly adapted to accurately estimate, in real time, the period of the repetitive shape movement, from a first rough estimate to quickly determine a sliding window size particularly suitable for a precise calculation of the period, which so is done much faster. Also, the determination of the period of the repetitive shape movement is thus performed precisely with an improved response time at the earliest, ie an improved real-time aspect.
  • said second estimation means comprise correlation calculation means of the period of the repetitive form movement.
  • said first means for estimating another motion parameter of said repetitive motion, different from said period comprise said second means for accurately estimating said period.
  • the period of the repetitive form motion in real time, precisely, it can be used to calculate another motion parameter, different from the period, according to another aspect of the invention, by serving to determine a sliding window size, then allowing an accurate and rapid estimation of this other motion parameter.
  • said determining means comprise a multiplicative security gain.
  • a margin of safety is thus taken to determine the size of the sliding window, which prevents the size of the sliding window is a little too small.
  • the system comprises a communication interface for communicating in real time the evolution of said movement, for example an audiovisual interface.
  • Such an audiovisual communication interface is particularly well suited for video game systems.
  • the system further includes a sensor assembly adapted to be attached to the repetitive motion member for providing said signals.
  • the sensor assembly may comprise at least one magnetometer, and / or at least one accelerometer, and / or a gyrometer, and / or a pressure sensor, and / or an electrocardiograph, and / or a breath measurement flowmeter, and / or a sensor for measuring the breathing frequency.
  • the precise period of said repetitive motion is determined in real time.
  • the estimation of another motion parameter of said repetitive motion uses in the step of approximate estimation of said period, the precise estimation step of the period of said movement of repetitive form.
  • said signals are transmitted by a sensor assembly fixed on the element making the movement of repetitive shape, comprising, for example, at least one magnetometer, and / or at least one accelerometer, and / or one gyrometer, and / or a pressure sensor, and / or an electrocardiograph, and / or a breath measurement flowmeter, and / or a sensor for measuring the breathing frequency.
  • a reference change of said signals transmitted by the sensor assembly provided with a first orthonormal coordinate system [X, Y, Z] is performed using a decreasing eigenvalue decomposition A u , ⁇ ⁇ and A w to express said first orthonormal coordinate system [X, Y, Z] in a second orthonormal coordinate system [U, V, W], whose U axis or the U and V axes respectively correspond to a main axis or a main plane of said motion.
  • said real-time determination of the precise period of said repetitive motion detects local maxima and global maximum, on said sliding window, said local and global maxima being multiple of an elementary duration, and selects the maximum, corresponding to said specific period, occurring the earliest and whose deviation with said overall maximum is less than a threshold.
  • the low risk of error on the detection of said precise period is thus even more limited on the size of the sliding window already optimized thanks to the rapid estimation of the period.
  • FIG. 1 diagrammatically illustrates a system for real-time determination of a parameter of a repetitively shaped motion, according to one aspect of the invention
  • FIG. 2 diagrammatically illustrates an exemplary embodiment of a system of FIG. 1, in which the parameter is the period according to one aspect of the invention;
  • - Figure 3 schematically illustrates a system of Figure 2 further estimating another motion parameter of said repetitive motion, different from said period, according to one aspect of the invention;
  • FIGS. 4 and 5 schematically illustrate a sensor assembly in the case of a video game application
  • FIGS. 6 and 7 schematically illustrate a problem of determining the period
  • FIG. 8 schematically represents an example of comparison of the calculation of the period according to one aspect of the invention with an estimate with an optimized size window.
  • FIG. 1 illustrates an example of a system for real-time determination of a parameter of a repetitively shaped motion, comprising a first estimation module EST1 of an approximation Tr of the period of the repetitively-shaped motion. , before the end of the current movement, from signals S1, S2 representative of the movement.
  • a determination module DET determines a sliding window size F from said period Tr estimated by the first estimation module EST1, for example by multiplying the fast approximation Tr by a factor or gain equal to 1 + ⁇ , so that to take a safety margin. ⁇ can for example be between 0 and 0.5.
  • FIG. 2 illustrates a case in which the motion parameter determined in real time in a repetitive motion is the period of the movement, which is outputted Tp by the second estimation module EST2.
  • the invention makes it possible, by the rapid estimation, generally before the end of the current movement, of the period of the movement Tr, to provide the second estimation module with an optimized sliding window size F, by intermediate module DET determination, which allows the second estimation module EST2 to perform, at the earliest, an accurate estimate Tp of said period. This precise estimate is much faster.
  • the second estimation module EST2 performs a sliding window correlation from a single signal or several signals, which may or may not include the input signals of the first estimation module EST1 .
  • FIG. 3 illustrates a "cascade" embodiment, according to one aspect of the invention, of which the system of FIG. 2 is taken up, and serves as the first rapid estimation module EST'1, to estimate a sliding window size for to estimate precisely another parameter of movement which, suddenly, makes it possible to take as a rapid estimate Tr 'of the period, directly the precise period Tp already calculated in a precise way.
  • the rapid estimation module EST1 of the period can, for example, implement rapid estimates described in the document "frequency tracking in nonstationary using Joint Order Statistics", Proceedings of the International Symposium on Time-Frequency and Time-Scale Analysis 96, p 441-444, by A. Marakov, in "A new time-frequency analysis tool based on a phase-shift averaging” Gretsi 2009, by M. Jabloun, or in "Adaptive spectrogram vs. Adaptive pseudo Wigner”. -Ville distribution for instantaneous frequency estimation ", Signal Processing 2003, by S. Chandra Sekhar.
  • the signals S1, S2, or S3 may be the same, different, or one may include another. They come from sensors transmitting signals representative of a movement of repetitive form.
  • a sensor assembly may comprise at least one magnetometer, and / or at least one accelerometer, and / or a gyrometer, and / or a pressure sensor, and / or an electrocardiograph, and / or a breath measurement flow meter. , and / or a sensor for measuring the breathing frequency.
  • FIG. 4 illustrates an example in which the invention is applied to the field of video games for repetitively shaped walking movements.
  • the sensor assembly comprises, for each leg, a triaxial accelerometer and a triaxial magnetometer (X, Y and Z).
  • Each modality is a three-dimensional signal, in this case twelve signals in total. These signals are sampled at regular intervals, and each received signal is dated in order to synchronize the data.
  • This configuration responds to a specific positioning of the sensor, for example on the side of the foot in order to orient one of the main axes of a sensor according to the movement, but it is conceivable to apply a treatment to make a change of reference (U , V, W), in order to position the sensors in the same frame.
  • This change of reference also makes it possible to know the main direction or the principal plane of the movement, as illustrated in FIG.
  • a change of reference of the signals in a first orthonormal coordinate system (X, Y, Z) is performed by using a decreasing eigenvalue decomposition A u , ⁇ ⁇ and A w to express the first orthonormal coordinate system (X , Y, Z) in a second orthonormal coordinate system (U, V, W) whose U axis or the U and V axes respectively correspond to a main axis or a main plane of said movement.
  • the axis of the sensor from which the signal is extracted is oriented optimally with respect to the movement.
  • Either the sensor is optimally positioned, for example so that the X-axis of the sensor measures the component of the signal comprising the most information, with the best signal-to-noise ratio, or a reference change can be made.
  • a decomposition into eigenvalues is used.
  • the principle consists in determining coefficients A u , ⁇ ⁇ and A w , such that A u > ⁇ ⁇ > A w .
  • the base of the sensor can thus be described as a combination of the various axes (U, V, W) which form an orthonormal coordinate system.
  • One of the properties of the decomposition makes it possible to define this new reference mark such that the axis U is the main axis of the movement.
  • the new reference that is to say the matrix which makes it possible to modify the signals in order to adapt them in the new reference.
  • the decomposition in eigenvalues makes it possible to determine the matrix of passage P, as well as the matrix L.
  • the system considers that the player performs walking / running movements, either when the feet leave the ground, or with the feet of the feet on the ground. In the following description, not limiting, it is on this example that the invention is applied.
  • the period is used to define the frequency or speed of the player's steps, that is to say to determine if the player is walking slowly, quickly or if he runs.
  • the duration of the steps can be estimated with a correlation function between two signals S1 and S2. The idea is to estimate the time difference between the two signals that maximizes their correlations, this shift t opt is then linked to the period T of the player's steps.
  • Different configurations of increasing complexity can be envisaged:
  • ⁇ T
  • the calculation of the correlation is based on a window of the signal that considers causally, or in other words that takes into account a time window using only previous samples the moment of interest, the signal and the last samples acquired. In order to determine the period of the signal, it is necessary to encompass at least one period of the signal.
  • T the offset considered
  • T f represents the size of the temporal window of interest and thus defines the range of variation of the delay ⁇ as [0; Tf [.
  • a represents a time index of the weighting window.
  • Figure 6 shows the correlation function as a function of t and of T for a signal whose period varies.
  • This step thus makes it easier to find the maximum correlation value by removing the secondary values, which are multiples of the period, thanks to the adapted size of the sliding window.
  • This method therefore requires a single parameter: 7 ⁇ (7 ⁇ ) corresponding to the maximum offset to be considered for the computation of the correlation.
  • This offset is interpreted as the maximum possible delay, since it is necessary to consider a time window of this size.
  • the delay will be constant, but if the pace accelerates, it is not possible to answer as soon as possible. It would thus be necessary to adjust the maximum size of the window according to the slowest step, ie several seconds.
  • the idea is to have an adaptive adjustment of the size of the analysis window to optimize the speed of the system during a change of pace.
  • the result of the correlation ⁇ has several lobes whose maximum is located in T, 21, 3 ⁇ , ..., kT in the case of the autocorrelation (respectively 112, 3T / 2, 5T / 2, (2k + 1) T / 2 in the case of the correlation between the two feet).
  • the lobe whose maximum is the global maximum is located at T (respectively 112).
  • the global maximum is not located at T (respectively 112), but at 21 or 3T (respectively 3T / 2, 5T / 2).
  • the instant T is corrected in 1/2 or T / 3 or 1 / 4, that is to say the largest denominator possible (respectively 2T / 5, 2T / 3, ).
  • a second check is possible, in order to validate the temporal continuity.
  • the principle consists in validating the value of T, by comparing it with values determined on the last windows. If the value varies too much, then we are waiting for the acquisition of a new sample. Depending on the value of T on the next window, which is either close to the values on the previous windows, or close to T on the current window. In the latter case, there has been a change of rhythm and the value of T found is good, otherwise, the motion has not changed and the estimate of T on the current window is false, and can be replaced by the average of T on the previous window and the next window.
  • a step of predetermining the size of the sliding window is added, which is based on a simple and approximate estimation of the period of the signal.
  • Makarov's estimation allows us to define in a causal way, ie using only samples of the past, a value scale for the signal period.
  • An estimate of Marakov makes it possible to determine the frequency of a non-stationary signal, at each instant, by considering the last samples acquired.
  • the principle is based on trend statistics. For each point of the signal, it is necessary to estimate if the trend is modified, that is to say if the maximum and minimum values observed at the previous moment are preserved. If this trend is changed, then the point is not an extremum, otherwise it is an extremum. Thus, it is possible to know at each moment the time corresponding to the previous extremum, which can be converted, knowing the sampling frequency, period or estimated frequency.
  • the algorithm is of reduced complexity and is therefore perfectly suited to a preliminary determination of the period of the signal. From this estimate, it is indeed possible to optimally determine the size of the sliding window on which are subsequently performed the treatments for estimating the parameters. It is indeed more relevant to consider only the last periods of the signal that correspond to the current movement, rather than considering signals describing past and completed movement that would disturb the calculations.
  • the signals from the magnetometers are used at the input of the first estimation module EST1 because they have fewer lobes.
  • This estimate of Marakov simply considers signal trend changes by evaluating the presence of extremums. For each point, it is possible to determine the distance to the nearest extreme extremum. Thus at the appearance of a new extremum it is possible to estimate the period thanks to the distance to the previous extremum.
  • a second parameter that can be estimated is the amplitude, that is the length of a step. Similarly, it is necessary to extract the size of the sliding window containing the signal of the step carried out, either by using the result of the precise correlation of the second estimation module EST2, or from the result of Makarov of the first estimate fast of the first estimation module EST1.
  • the amplitude is determined using the signals from the magnetometers and corresponds to the absolute value of the difference between the maximum and the minimum of the sum of the signals:
  • a third parameter may be the impact, that is to say the power of the impact between the heel and the ground. This value is directly related to the acceleration of the sensor and therefore proportional to these values.
  • the result corresponds to the maximum value of the acceleration during the step performed.
  • the amplitude it is necessary to extract the window of the signal corresponding to the step carried out, either using the result of the precise correlation of the second estimation module EST2, or from Makarov's result of the first rapid estimation. of the first estimation module EST1.
  • Another characteristic of movement can be orientation.
  • the correlation calculation involves a weighting window.
  • the shape of the weighting can be chosen. However, the shape has little effect on the performance of the moment the window gives more importance to the most recent samples.
  • FIG. 8 represents the results for determining the period or duration of the steps using an adaptive or non-adaptive window.
  • the signals illustrated in FIG. 8 are, represent, from top to bottom:
  • the correlation function as a function of time t and of the offset ⁇ for a variable window size.
  • the black area at the top of the image is related to the size of the adaptively adjusted window. It varies, in this example, between 0.5 seconds and 1 .7 seconds;
  • the correlation function as a function of time t and of the offset ⁇ for a fixed window size
  • the adaptive approach represented on the second graph responds more rapidly than in the case of a window of fixed size, represented on the third graph.
  • the instant D corresponds to a transition from a slow march to a fast walk for which the difference is more nuanced because of the signal itself but the responsiveness is still improved.
  • the moment E is interesting because it shows that during a smooth transition between two gears is more gradual with an adaptive approach.
  • the present invention is particularly interesting for improving the real-time aspect, as well as, in the case of video games, to improve the robustness of the system vis-à-vis the different ways of playing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

L'invention porte sur un système de détermination en temps réel d'un paramètre d'un mouvement (PM, Tp) de forme répétitive comprenant : - des premiers moyens d'estimation (EST1) d'une approximation (Tr) de la période dudit mouvement de forme répétitive, avant la fin du mouvement courant, à partir de signaux (S1, S2) représentatifs dudit mouvement; - des moyens de détermination (DET) d'une taille (F) de fenêtre glissante à partir de ladite période estimée (Tr) par lesdits premiers moyens d'estimation (EST1); - des deuxièmes moyens d'estimation (EST2) précise, par fenêtre glissante, dudit paramètre de mouvement, à partir de signaux représentatifs (S1, S2) dudit mouvement et de ladite taille (F) de fenêtre glissante délivrée par lesdits premiers moyens d'estimation (EST1).

Description

SYSTEME ET PROCEDE DE DETERMINATION EN TEMPS REEL D'UN PARAMETRE D'UN MOUVEMENT DE FORME REPETITIVE
L'invention porte sur un système et un procédé de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive.
Le terme temps réel, signifie que le temps de réponse est adapté au contexte de l'application.
La présente invention s'applique à tout domaine dans lequel un mouvement de forme répétitive se déroule, tel le domaine médical, la rééducation, le domaine sportif, mais s'applique particulièrement bien au domaine du jeu vidéo, dans lequel de nombreux jeux nécessitent des mouvements de forme répétitive de la part du joueur. L'invention peut également s'appliquer à des mouvements de forme répétitive d'un automate ou robot.
L'analyse de mouvements humains est mise en œuvre dans différents domaines tels le cinéma, les jeux vidéos, et le sport. Cette analyse permet, par exemple, de pouvoir reproduire les mouvements effectués par un utilisateur, afin d'animer un personnage virtuel affiché sur un écran, sans devoir recréer un modèle physique complexe, tout en conservant une gestuelle plus naturelle et spontanée.
La capture de mouvement est principalement utilisée pour le cinéma et les jeux vidéo afin d'animer des avatars ou personnages virtuels sur un écran d'affichage, en reproduisant les mouvements réels, tel que par exemple décrit dans le document WO 200801 1352.
Cependant, de tels systèmes nécessitent l'utilisation de marqueurs spécifiques disposés sur chaque membre de l'utilisateur, combinés à une acquisition vidéo centrée sur la personne. La vidéo est ensuite analysée afin de définir un modèle en déterminant, en trois dimensions, la localisation de chaque marqueur.
Cette technique implique une mise en œuvre complexe car les contraintes sur la précision des mouvements effectués et la localisation des marqueurs sont importantes. De plus l'acquisition des données et leur traitement ne sont pas nécessairement effectués en temps réel car il s'agit principalement de reproduire les mouvements et non pas d'interagir en temps réel avec un système.
D'autres méthodes, comme celle divulguée dans le document WO 2006103662 permettent le suivi d'événements sportifs. Cette application permet de commander un ensemble de caméras de manière à améliorer leur orientation selon les phases d'actions sportives se déroulant, ou de pouvoir effectuer un résumé des phases d'actions sportives ayant eu lieu. Cependant, les caméras étant souvent loin des sportifs, elles ne peuvent pas être utilisées dans des applications nécessitant une grande précision.
Dans le cas d'interactions entre un utilisateur et une machine, par exemple une console de jeux vidéo, il existe d'autres méthodes en cours de développement qui permettent une interaction entre le joueur et la console de jeux. Récemment, le projet Natal de Microsoft (marque déposée) a été présenté. Il vise à proposer une nouvelle interface utilisant une caméra vidéo qui interprète les mouvements effectués par l'utilisateur afin de piloter un jeu vidéo ou une interface multimédia.
Cependant, cette technique contraint l'utilisateur à agir dans un espace déterminé nécessitant notamment l'absence d'obstacle entre l'utilisateur et le système.
D'autres systèmes utilisent des capteurs embarqués, ou, en d'autres termes, l'utilisateur est équipé de capteurs, tel un capteur de système de localisation par satellites, permettant de donner sa localisation ou position, ou de capteurs permettant de déterminer ses mouvements, tel un accéléromètre, un magnétomètre, ou un gyromètre. Les capteurs doivent être le moins intrusifs et facilement positionnables sans intervention extérieure.
De tels capteurs, même de bas coût, permettent d'obtenir une meilleure précision dans la mesure des mouvements qu'un capteur vidéo où la précision est proportionnelle à la taille et à la définition du capteur et donc nécessite des traitements plus complexes et une machine de traitement plus performante et plus coûteuse.
Les capteurs embarqués peuvent être utilisés pour la géolocalisation et le guidage. Certains véhicules ou appareils équipés de récepteur de système de localisation par satellites, tel des récepteurs GPS, contiennent également une centrale inertielle afin de pallier les coupures temporaires de la réception des signaux du système. Un tel système a été ainsi adapté pour le guidage de piétons, comme décrit dans le document US 2009192708. Ces approches nécessitent cependant une référence de position globale, les capteurs de mouvement ne peuvent être utilisés que de manière temporaire afin de pallier un défaut conséquent ou bien pour gagner en précision. Les systèmes utilisés impliquent très peu de capteurs, un simple accéléromètre permet de donner la direction principale et la vitesse du déplacement, et aucun détail supplémentaire n'est nécessaire pour caractériser le mouvement. De plus, il n'est pas nécessaire de répondre au plus vite lors d'un changement de vitesse ou de direction. De tels systèmes ne sont pas adaptés pour des mouvements relativement précis, ni pour l'utilisation d'une interface.
Dans la présente invention, l'utilisateur interagit avec une machine uniquement grâce aux capteurs de mouvements. Cette approche nécessite donc une grande précision, mais surtout une réponse au plus tôt et une prise en main simple et naturelle.
Depuis quelques années, l'utilisation de capteurs fixés sur une personne afin de commander une interface de communication se développe.
En particulier dans le contexte du jeu vidéo où certains systèmes permettent d'interagir d'une manière plus précise qu'avec une manette ou un clavier, mais également d'apporter de la convivialité en permettant aux personnes non-initiées de pouvoir jouer rapidement sans apprendre à maîtriser des commandes, celles liées aux mouvements étant plus naturelles. Enfin, cette approche apporte un réalisme amélioré en adaptant le jeu vidéo aux mouvements propres du joueur.
Ainsi, Sony a proposé une manette dualshock (marque déposée) compatible avec sa console de jeu comportant un capteur de mouvement, afin de pouvoir transcrire à l'écran les mouvements appliquées à celle-ci. Cependant, les mouvements sont limités et la fonctionnalité principale reste donc la possibilité d'amplifier les mouvements de direction en fonction de l'inclinaison de la manette.
Plus récemment, Nintendo a introduit sa console grand public Wii (marque déposée) qui comprend des manettes interactives. Ces manettes sont munies d'un accéléromètre qui est utilisé pour connaître le mouvement du joueur, mais sans déterminer plus précisément la direction ou l'amplitude du mouvement. Pour compléter cette manette, une plateforme est développée afin de considérer également les mouvements des jambes, telle que décrite dans le document EP 0908701 . Cependant, cette plateforme ne permet que de connaître la fréquence des mouvements de jambes au même endroit et ne tolère donc pas de déplacement du joueur. De plus, elle ne permet pas de connaître l'orientation du joueur pour pouvoir, par exemple, effectuer une commande de rotation.
Le document WO 2006086487 concerne l'adaptation d'un module sur une chaussure de sport afin de mesurer et transmettre l'information de quantité de mouvements effectués. La particularité de cette invention réside dans la capacité à mesurer la quantité d'activité physique effectuée par le joueur afin de pouvoir activer certaines fonctionnalités du jeu, ou certaines caractéristiques de l'avatar ou personnage virtuel. Cependant, ce dispositif ne permet pas d'interfacer totalement un joueur avec son personnage virtuel. En effet, seul un capteur est utilisé, par exemple un accéléromètre, pour mesurer l'activité physique, mais aucune information n'est récupérée pour caractériser plus précisément les mouvements effectués.
Ces systèmes manquent de précision et de rapidité pour des applications en temps réel, notamment dans le domaine du jeu vidéo.
Un but de l'invention est de pallier les problèmes précédemment cités.
Selon un aspect de l'invention, il est proposé un système de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive comprenant :
- des premiers moyens d'estimation d'une approximation de la période dudit mouvement de forme répétitive, avant la fin du mouvement courant, à partir de signaux représentatifs dudit mouvement ;
- des moyens de détermination d'une taille de fenêtre glissante à partir de ladite période estimée par lesdits premiers moyens d'estimation ; et
- des deuxièmes moyens d'estimation précise, par fenêtre glissante, dudit paramètre de mouvement, à partir de signaux représentatifs dudit mouvement et de ladite taille de fenêtre glissante délivrée par lesdits premiers moyens d'estimation.
La détermination en temps réel est ainsi améliorée, car les premiers moyens d'estimation d'une approximation de la période du mouvement de forme répétitive, avant la fin du mouvement en cours permet aux moyens de détermination d'estimer rapidement, de manière adaptative, une taille de fenêtre glissante particulièrement adaptée au calcul précis du paramètre de mouvement de manière rapide. La taille de la fenêtre glissante est ainsi automatiquement adaptée à la variation de la période du mouvement de forme répétitive. On entend par mouvement de forme répétitive, un mouvement de forme relativement semblable, mais dont des paramètres peuvent varier, tels la période (ou fréquence ou vitesse), l'amplitude, ou l'impact (puissance d'un choc de contact).
Dans un mode de réalisation, ledit paramètre de mouvement est la période dudit mouvement de forme répétitive.
Le système est particulièrement adapté pour estimer précisément, en temps réel, la période du mouvement de forme répétitive, à partir d'une première estimation rapide approximative permettant de déterminer rapidement une taille de fenêtre glissante particulièrement adaptée à un calcul précis de la période, qui ainsi est effectué bien plus rapidement. Aussi, la détermination de la période du mouvement de forme répétitive est ainsi effectuée précisément avec un temps de réponse au plus tôt amélioré, i.e. un aspect temps réel amélioré.
Par exemple, lesdits deuxièmes moyens d'estimation comprennent des moyens de calcul par corrélation de la période du mouvement de forme répétitive.
Ainsi, à partir de statistiques peu complexes, il est possible de déterminer le paramètre sans connaissance a priori de la signature temporelle du mouvement.
Selon un mode de réalisation, lesdits premiers moyens d'estimation d'un autre paramètre de mouvement dudit mouvement de forme répétitive, différent de ladite période, comprennent lesdits deuxièmes moyens d'estimation précise de ladite période.
Si on détermine avec un système selon l'invention, la période du mouvement de forme répétitive, en temps réel, de manière précise, celle-ci peut être utilisée, pour calculer un autre paramètre de mouvement, différent de la période, selon un autre aspect de l'invention, en servant à déterminer une taille de fenêtre glissante, permettant ensuite une estimation précise et rapide de cet autre paramètre de mouvement. Dans un mode de réalisation, lesdits moyens de détermination comprennent un gain multiplicatif de sécurité.
Une marge de sécurité est ainsi prise pour la détermination de la taille de la fenêtre glissante, ce qui permet d'éviter que la taille de la fenêtre glissante soit un peu trop petite.
Selon un mode de réalisation, le système comprend une interface de communication pour communiquer en temps réel l'évolution dudit mouvement, par exemple, une interface audiovisuelle.
Une telle interface de communication audiovisuelle est particulièrement bien adaptée pour des systèmes de jeux vidéo.
Dans un mode de réalisation, le système comprend, en outre, un ensemble capteur adapté pour être fixé sur l'élément effectuant le mouvement de forme répétitive, pour délivrer lesdits signaux.
L'ensemble capteur peut comprendre au moins un magnétomètre, et/ou au moins un accéléromètre, et/ou un gyromètre, et/ou un capteur de pression, et/ou un électrocardiographe, et/ou un débitmètre de mesure du souffle, et/ou un capteur de mesure de la fréquence de respiration.
Selon un autre aspect il est également proposé un procédé de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive comprenant les étapes consistant à :
- estimer une approximation de la période dudit mouvement de forme répétitive, avant la fin du mouvement courant, à partir de signaux représentatifs dudit mouvement ;
- déterminer une taille de fenêtre glissante à partir de ladite période estimée approximativement ; et
- estimer précisément, par fenêtre glissante, ledit paramètre de mouvement, à partir de signaux représentatifs dudit mouvement et de ladite taille de fenêtre glissante déterminée.
Selon un mode de mise en œuvre, on détermine en temps réel la période précise dudit mouvement de forme répétitive.
Dans un mode de mise en œuvre, l'estimation d'un autre paramètre de mouvement dudit mouvement de forme répétitive, différent de ladite période, utilise dans l'étape d'estimation approximative de ladite période, l'étape d'estimation précise de la période dudit mouvement de forme répétitive. Selon un mode de mise en œuvre, lesdits signaux sont transmis par un ensemble capteur fixé sur l'élément effectuant le mouvement de forme répétitive, comprenant, par exemple, au moins un magnétomètre, et/ou au moins un accéléromètre, et/ou un gyromètre, et/ou un capteur de pression, et/ou un électrocardiographe, et/ou un débitmètre de mesure du souffle, et/ou un capteur de mesure de la fréquence de respiration.
Dans un mode de réalisation, un changement de repère desdits signaux transmis par l'ensemble capteur muni d'un premier repère orthonormé [X, Y, Z] est effectué en utilisant une décomposition en valeurs propres décroissantes Au, λν et Aw pour exprimer ledit premier repère orthonormé [X, Y, Z] dans un deuxième repère orthonormé [U, V, W], dont l'axe U ou les axes U et V correspondent respectivement à un axe principal ou un plan principal dudit mouvement.
On améliore ainsi la précision et la robustesse. En outre, une calibration automatique de l'ensemble capteur est alors possible.
Selon un mode de réalisation, ladite détermination en temps réel de la période précise dudit mouvement de forme répétitive détecte des maxima locaux et un maximum global, sur ladite fenêtre glissante, lesdits maxima locaux et global étant multiples d'une durée élémentaire, et sélectionne le maximum, correspondant à ladite période précise, se produisant le plus tôt et dont l'écart avec ledit maximum global est inférieur à un seuil.
Le faible risque d'erreur sur la détection de ladite période précise est ainsi encore plus limité sur la taille de la fenêtre glissante déjà optimisé grâce à l'estimation approximative rapide de la période.
L'invention sera mieux comprise à l'étude de quelques modes de réalisation, décrits à titre d'exemples nullement limitatifs, et illustrés par les dessins annexés sur lesquels :
- la figure 1 illustre schématiquement un système de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive, selon un aspect de l'invention ;
- la figure 2 illustre schématiquement un exemple de réalisation d'un système de la figure 1 , dans lequel le paramètre est la période selon un aspect de l'invention ; - la figure 3 illustre schématiquement un système de la figure 2 estimant en outre un autre paramètre de mouvement dudit mouvement de forme répétitive, différent de ladite période, selon un aspect de l'invention ;
- les figures 4 et 5 illustrent schématiquement un ensemble capteurs dans le cas d'une application de jeu vidéo ;
- les figures 6 et 7 illustrent schématiquement un problème de détermination de la période ; et
- la figure 8 représente schématiquement un exemple de comparaison du calcul de la période selon un aspect de l'invention avec une estimation avec une fenêtre de taille optimisée.
Sur les différentes figures, les éléments ayant des références identiques sont identiques.
Sur la figure 1 est illustré un exemple d'un système de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive, comprenant un premier module d'estimation EST1 d'une approximation Tr de la période du mouvement de forme répétitive, avant la fin du mouvement courant, à partir de signaux S1 , S2 représentatifs du mouvement. Un module de détermination DET détermine une taille F de fenêtre glissante à partir de ladite période Tr estimée par le premier module d'estimation EST1 , par exemple en multipliant l'approximation rapide Tr par un facteur ou gain égal à 1 +Δ, de manière à prendre une marge de sécurité. Δ peut par exemple être compris entre 0 et 0.5. Un deuxième module d'estimation précise, par fenêtre glissante, du paramètre de mouvement, à partir des signaux S1 , S2 représentatifs du mouvement et de la taille F de fenêtre glissante délivrée par le premier module d'estimation EST1 .
La figure 2 illustre un cas dans lequel le paramètre de mouvement déterminé en temps réel dans un mouvement de forme répétitive est la période du mouvement, qui est délivrée en sortie Tp par le deuxième module d'estimation EST2.
En ce cas, l'invention permet, par l'estimation rapide, généralement avant la fin du mouvement en cours, de la période du mouvement Tr, de fournir au deuxième module d'estimation précise une taille F de fenêtre glissante optimisée, par l'intermédiaire du module de détermination DET, ce qui permet au deuxième module d'estimation EST2 d'effectuer, au plus tôt, une estimation précise Tp de ladite période. Cette estimation précise est bien plus rapide.
Dans le cas du calcul de la période, le deuxième module d'estimation EST2 effectue une corrélation par fenêtre glissante à partir d'un seul signal ou de plusieurs signaux, pouvant ou non comprendre les signaux d'entrée du premier module d'estimation EST1 .
La figure 3 illustre une réalisation "en cascade", selon un aspect de l'invention, dont le système de la figure 2 est repris, et sert de premier module d'estimation rapide EST'1 , pour estimer une taille de fenêtre glissante pour estimer précisément un autre paramètre de mouvement qui, du coup permet de prendre comme estimation rapide Tr' de la période, directement la période précise Tp déjà calculée de manière précise.
Le module d'estimation rapide EST1 de la période peut, par exemple mettre en œuvre des estimations rapides décrites dans le document " frequency tracking in nonstationary signais using Joint Order Statistics", Proceedings of the International Symposium on Time-Frequency and Time- Scale Analysis 96, p 441 -444, de A. Marakov, dans "Un nouvel outil d'analyse temps-fréquence basé sur un moyennage à recalage de phase" Gretsi 2009, de M. Jabloun, ou dans "Adaptive spectrogram vs. Adaptive pseudo Wigner-Ville distribution for instantaneous frequency estimation", Signal Processing 2003, de S. Chandra Sekhar.
Les signaux S1 , S2, ou S3 peuvent être identiques, différents, ou l'un peut inclure un autre. Ils proviennent de capteurs transmettant des signaux représentatifs d'un mouvement de forme répétitive. Par exemple, un ensemble capteur peut comprendre au moins un magnétomètre, et/ou au moins un accéléromètre, et/ou un gyromètre, et/ou un capteur de pression, et/ou un électrocardiographe, et/ou un débitmètre de mesure du souffle, et/ou un capteur de mesure de la fréquence de respiration.
La figure 4 illustre un exemple dans lequel l'invention est appliquée au domaine du jeu vidéo pour des mouvements de marche de forme répétitive. L'ensemble capteur comprend, pour chaque jambe, un accéléromètre triaxial et un magnétomètre triaxial (X, Y et Z). Chaque modalité est un signal tridimensionnel, en l'espèce douze signaux au total. Ces signaux sont échantillonnés à intervalles réguliers, et chaque signal reçu est daté afin de pouvoir synchroniser les données.
Cette configuration répond à un positionnement spécifique du capteur, par exemple sur le côté du pied afin d'orienter un des axes principaux d'un capteur selon le mouvement, mais il est envisageable d'appliquer un traitement pour effectuer un changement de repère (U, V, W), afin de positionner les capteurs dans un même repère. Ce changement de repère permet également de connaître la direction principale ou le plan principal du mouvement, comme illustré sur la figure 5.
En d'autres termes, un changement de repère des signaux dans un premier repère orthonormé (X, Y, Z) est effectué en utilisant une décomposition en valeurs propres décroissantes Au, λν et Aw pour exprimer le premier repère orthonormé (X, Y, Z) dans un deuxième repère orthonormé (U, V, W), dont l'axe U ou les axes U et V correspondent respectivement à un axe principal ou un plan principal dudit mouvement.
Le signal devant contenir un maximum d'information à propos du mouvement effectué, il est nécessaire que l'axe du capteur duquel est extrait le signal soit orienté de manière optimale par rapport au mouvement.
Soit le capteur est positionné de manière optimale, par exemple de sorte que l'axe X du capteur mesure la composante du signal comprenant le plus d'informations, avec le meilleur rapport signal/bruit, soit un changement de repère peut être effectué.
Pour effectuer ce changement de repère de la base (X, Y, Z) à (U, V, W), une décomposition en valeurs propres est utilisée. Le principe consiste à déterminer des coefficients Au, λν et Aw, tels que Au > λν > Aw. La base du capteur peut ainsi être décrite comme une combinaison des différents axes (U,V,W) qui forment un repère orthonormé. Une des propriétés de la décomposition permet de définir ce nouveau repère tel que l'axe U soit l'axe principal du mouvement.
Par exemple, pour un pied donné, il faut considérer les 3 signaux de capteur sur une fenêtre, par exemple issus de l'accéléromètre A : [Ax, Ay, Az].
Il faut ensuite calculer la matrice de corrélation C : c(Ax, Ax) c(Ax, Ay) c(Ax, Az)
C = \ c(Ay, Ax) c(Ay, Ay) c(Ay, Az) , avec c(A,B) la fonction de c(Az, Ax) c(Az, Ay) c(Az, Az)
corrélation entre A et B.
Selon le principe de l'Analyse en Composante Principale ou ACP, les coefficients Au, λν et Aw sont définis par les relations suivantes :
K o o
0 A, 0 et D = P lCP ; avec P la matrice de passage qui définit 0 0 A,„
ainsi le nouveau repère, c'est-à-dire la matrice qui permet de modifier les signaux afin de les adapter dans le nouveau repère. La décomposition en valeurs propres permet de déterminer la matrice de passage P, ainsi que la matrice L.
Ainsi, pour appliquer les traitements, il est possible de considérer le signal de l'accéléromètre Au, plutôt que Ax.
Pour un tel exemple, pour simuler la marche/course, le système considère que le joueur effectue des mouvements de marche/course, soit lorsque les pieds quittent le sol, soit avec les pointes de pieds au sol. Dans la suite de la description, non limitative, c'est sur cet exemple qu'est appliquée l'invention.
La période, permet de définir la fréquence ou vitesse des pas du joueur, c'est-à-dire de déterminer si le joueur marche lentement, rapidement ou s'il court. La durée des pas peut être estimée avec une fonction de corrélation entre deux signaux S1 et S2. L'idée est d'estimer le décalage temporel entre les deux signaux qui maximise leurs corrélations, ce décalage topt est lié ensuite à la période T des pas du joueur. Différentes configurations de complexité croissante peuvent être envisagées :
S1 =S2= Agx ou Adx ou Agu ou Adu soit une autocorrélation sur une composante d'un pied choisi de façon arbitraire si possible orientée suivant l'axe de mouvement principal. Dans ce cas, ορί =T,
S1 = Agx et S2=Adx, ou Agu ou Adu soit une corrélation entre deux mêmes composantes des deux pieds. Il faut veiller dans ce cas à ce que les deux axes aient la même direction et le même sens. Dans ce cas, opt =112, Dans le cas précédent, il est possible de s'assurer de la colinéarité des axes en réalisant une estimation de l'axe principal du mouvement sur chaque pied par une technique de décomposition en valeurs propres du signal.
Pour permettre le suivi des variations de période des pas du joueur, le calcul de la corrélation s'appuie sur une fenêtre du signal qui considère de manière causale, ou en d'autres termes qui prend en compte une fenêtre temporelle utilisant uniquement des échantillons précédents l'instant d'intérêt, le signal ainsi que les derniers échantillons acquis. Afin de déterminer la période du signal, il est nécessaire d'englober au moins une période du signal.
On a l'équation suivante pour la corrélation rsls2(ï, T) entre deux signaux S1 et S2:
dans laquelle :
t représente l'instant courant,
T représente le décalage considéré,
It représente l'intervalle dépendant de t.
Cette fonction peut être estimée par : rsis 2(t, T) = ∑Sl(t - 0).S2(t - 0 - T)
0=0
Tf représentant la taille de la fenêtre temporelle d'intérêt et définit donc la plage de variation du retard τ comme [0; Tf[.
Afin de favoriser les derniers échantillons acquis et d'améliorer la qualité de l'estimation, il est possible d'ajouter dans ce calcul une fenêtre de pondération wTf_T de durée Tf- T qui permet ainsi d'appliquer sur chaque fenêtre du signal un certain poids proportionnel à l'instant de la fenêtre et l'instant de l'échantillon. La fonction de corrélation peut alors être calculée par la relation suivante : ^5152 (^ ' ^") Tf -T-l X
∑wTf _T (a)2
a=0
∑Sl(t - 0).S 2(t - 0 - T)wT 2 f _T (0)
(9=0
dans laquelle a représente un indice temporel de la fenêtre de pondération.
La corrélation permet de déterminer, lorsque celle-ci est maximale, le décalage optimal correspondant à la période du signal. La figure 6 représente la fonction de corrélation en fonction de t et de T pour un signal dont la période varie.
La figure 7 est une coupe de la figure 6 à un instant t=35s donné. Sur ces deux figures, il s'agit du cas S1 =S2= Agx ou Adx avec une autocorrélation sur une composante d'un pied. Ensuite, il est nécessaire d'effectuer un suivi du maximum afin de corriger d'éventuelles erreurs à un instant donné.
Cette étape permet ainsi de faciliter la recherche de la valeur maximale de corrélation en supprimant les valeurs secondaires, multiples de la période, grâce à la taille adaptée de la fenêtre glissante.
Le résultat de période correspondant à la durée d'un pas est donc la valeur T déterminée par le maximum de la corrélation :
Cette méthode nécessite donc un seul paramètre : 7^ (7} ) correspondant au décalage maximal à considérer pour le calcul de la corrélation. Ce décalage est interprété comme le retard maximal possible, puisqu'il faut considérer une fenêtre temporelle de cette taille.
Lors d'une utilisation d'un paramètre fixe, le retard sera constant, mais si le rythme s'accélère, il n'est pas possible de répondre au plus tôt. Il faudrait ainsi régler la taille maximale de la fenêtre en fonction du pas le plus lent, soit plusieurs secondes. Ainsi l'idée est d'avoir un réglage adaptatif de la taille de la fenêtre d'analyse pour optimiser la rapidité du système lors d'un changement de rythme de marche.
En d'autres termes, Comme le montre la figure 7, le résultat de la corrélation Γ présente plusieurs lobes dont chaque maximum est localisé en T, 21, 3Τ, ... , kT dans le cas de l'autocorrélation (respectivement 112, 3T/2, 5T/2, (2k+1 )T/2 dans le cas de la corrélation entre les deux pieds). Dans le cas idéal d'un signal parfaitement stationnaire, le lobe dont le maximum est le maximum global est situé à T (respectivement 112). Cependant, dans le cas d'un signal dont la période est non stationnaire, il se peut que le maximum global ne soit pas situé à T (respectivement 112), mais à 21 ou 3T (respectivement 3T/2, 5T/2).
Dans ce cas, le résultat donné pour l'estimation de la période serait donc faussé, et la période estimée serait deux ou trois fois supérieure à la valeur réelle. Aussi, une correction est apporté comme suit :
Soit T l'instant du maximum global,
S'il existe un lobe dont le maximum est proche de la valeur du maximum à l'instant 112 ou T/3, ou 1/4 ... alors l'instant T est corrigé en 1/2 ou T/3 ou 1/4, c'est-à-dire le plus grand dénominateur possible (respectivement 2T/5, 2T/3, ...).
Une deuxième vérification est possible, afin de valider la continuité temporelle. Le principe consiste à valider la valeur de T, en la comparant avec des valeurs déterminées sur les dernières fenêtres. Si la valeur varie trop, alors nous attendons l'acquisition d'un nouvel échantillon. Selon la valeur de T sur la fenêtre suivante, qui est soit proche des valeurs sur les fenêtres précédentes, soit proche de T sur la fenêtre actuelle. Dans ce dernier cas, il y a eu un changement de rythme et la valeur de T trouvée est bonne, sinon, le mouvement n'a pas varié et l'estimation de T sur la fenêtre actuelle est fausse, et peut être remplacée par la moyenne de T sur la fenêtre précédente et la fenêtre suivante.
Selon un aspect de l'invention, une étape de prédétermination de la taille de la fenêtre glissante est ajoutée, qui se base sur une estimation simple et approximative de la période du signal.
Pour cette estimation simple et rapide, il est par exemple possible de mettre en œuvre l'estimation de Makarov, précédemment citée, qui permet de définir de manière causale, i.e. en n'utilisant que des échantillons du passé, une échelle de valeur pour la période du signal.
Une estimation de Marakov permet de déterminer la fréquence d'un signal non stationnaire, à chaque instant, en considérant les derniers échantillons acquis. Le principe s'appuie sur la statistique des tendances. Pour chaque point du signal, il faut estimer si la tendance est modifiée, c'est- à-dire si les valeurs maximales et minimales observées à l'instant précédent sont conservées. Si cette tendance est modifiée, alors le point n'est pas un extremum, sinon il s'agit d'un extremum. Ainsi, il est possible de connaître à chaque instant l'instant correspondant au précédent extremum, ce qui peut être converti, en connaissant la fréquence d'échantillonnage, en période ou fréquence estimée.
L'algorithme est de complexité réduite et est donc parfaitement adapté à une détermination préalable de la période du signal. A partir de cette estimation, il est en effet possible de déterminer de manière optimale la taille de la fenêtre glissante sur laquelle sont effectués par la suite les traitements pour l'estimation des paramètres. Il est en effet plus pertinent de ne considérer que les dernières périodes du signal qui correspondent au mouvement en cours, plutôt que de considérer des signaux décrivant un mouvement passé et achevé qui perturberait les calculs.
Par exemple, les signaux issus des magnétomètres sont utilisés en entrée du premier module d'estimation EST1 car ils comportent moins de lobes. Cette estimation de Marakov considère simplement les changements de tendance du signal en évaluant la présence d'extremums. Pour chaque point, il est possible de déterminer la distance au plus proche extremum passé. Ainsi à l'apparition d'un nouvel extremum il est possible d'estimer la période grâce à la distance au précédent extremum.
Un second paramètre pouvant être estimé est l'amplitude, c'est-à- dire la longueur d'un pas. De même, il est nécessaire d'extraire la taille de la fenêtre glissante contenant le signal du pas effectué, soit en utilisant le résultat de la corrélation précise du deuxième module d'estimation EST2, soit à partir du résultat de Makarov de la première estimation rapide du premier module d'estimation EST1 .
L'amplitude est déterminée à l'aide des signaux issus des magnétomètres et correspond à valeur absolue de la différence du maximum et du minimum de la somme des signaux :
S étant la somme des signaux des magnétomètres du pied droit ou du pied gauche : S(t) = Mï (t) + My (t) + Mz (t) ou S(t) = Mu (t) + Mv (t) + Mw (t) en cas de changement de repère.
Un troisième paramètre peut être l'impact, c'est-à-dire la puissance du choc entre le talon et le sol. Cette valeur est reliée directement à l'accélération du capteur et donc proportionnelle à ces valeurs.
On considère que le résultat correspond à la valeur maximale de l'accélération pendant le pas effectué. Comme pour l'amplitude, il faut donc extraire la fenêtre du signal correspondant au pas effectué, soit à l'aide du résultat de la corrélation précise du deuxième module d'estimation EST2, soit à partir du résultat de Makarov de la première estimation rapide du premier module d'estimation EST1 .
Le calcul est effectué simplement comme étant la norme des signaux d'accélération :
7(0 = max ||A( || = max AX (t)2 + A (t)2 + A (t)2
ie[t-T,t " ie[t-T,t] * ' L
Une autre caractéristique du mouvement peut être l'orientation.
Pour cela, les signaux des magnétomètres sont utilisés, en considérant tout naturellement l'orientation du joueur par rapport au nord magnétique.
Le calcul de corrélation implique une fenêtre de pondération. La forme de la pondération peut être choisie. Cependant, la forme influe peu sur les performances du moment où la fenêtre accorde davantage d'importance aux échantillons les plus récents.
Enfin, selon la position du capteur, il peut être intéressant d'indiquer l'axe principal d'orientation des capteurs afin d'utiliser seulement deux signaux (par exemple pied gauche et pied droit selon l'axe X) pour le calcul de la corrélation.
Il est également possible d'appliquer un changement de repère afin de déterminer l'axe principal du mouvement et par conséquent de déterminer automatiquement l'axe principal à considérer, mais ce calcul peut amener une complexité supplémentaire. Ici encore, les expériences ont mis en évidence que l'utilisation du même axe X, lorsque le capteur est positionné sur le côté du pied permet de fournir de bons résultats, tout en conservant une bonne robustesse.
Afin d'illustrer l'intérêt de prédéterminer la fréquence de la marche, la figure 8 représente les résultats pour la détermination de la période ou durée des pas en utilisant une fenêtre adaptative ou non. Les signaux illustrés sur la figure 8 sont, représentent, du haut vers le bas :
- le signal d'accélération selon l'axe X transmis par l'accéléromètre lié à un pied ;
- la fonction de corrélation en fonction du temps t et du décalage τ pour une taille de fenêtre variable. La zone en noir en haut de l'image est liée à la taille de la fenêtre réglée de façon adaptative. Elle varie, sur cet exemple, entre 0.5 seconde et 1 .7 secondes ;
- la période estimée de manière adaptative selon l'invention, comparativement à la valeur réelle ;
- la fonction de corrélation en fonction du temps t et du décalage τ pour une taille de fenêtre fixe ; et
- la période estimée avec une fenêtre de taille fixe de 2 secondes, comparativement à la valeur réelle.
Ainsi aux instants A, B et C, auxquels ont lieu une transition d'une marche rapide à une marche lente, l'approche adaptative représentée sur le deuxième graphe, répond plus rapidement que dans le cas d'une fenêtre de taille fixe, représenté sur le troisième graphe. L'instant D correspond à une transition d'une marche lente à une marche rapide pour laquelle la différence est plus nuancée du fait du signal lui-même mais la réactivité est quand même améliorée. L'instant E est intéressant car il montre que lors d'une transition plus douce entre deux vitesses de marche est plus graduelle avec une approche adaptative.
La présente invention est particulièrement intéressante pour améliorer l'aspect temps réel, ainsi que, dans le cas du jeu vidéo, pour améliorer la robustesse du système vis-à-vis des différentes manières de jouer.

Claims

REVENDICATIONS
1 . Système de détermination en temps réel d'un paramètre d'un mouvement (PM, Tp) de forme répétitive caractérisé en ce qu'il comprend :
- des premiers moyens d'estimation (EST1 ) d'une approximation (Tr) de la période dudit mouvement de forme répétitive, avant la fin du mouvement courant, à partir de signaux (S1 , S2) représentatifs dudit mouvement ;
- des moyens de détermination (DET) d'une taille (F) de fenêtre glissante à partir de ladite période estimée (Tr) par lesdits premiers moyens d'estimation (EST1 ) ;
- des deuxièmes moyens d'estimation (EST2) précise, par fenêtre glissante, dudit paramètre de mouvement, à partir de signaux représentatifs (S1 , S2) dudit mouvement et de ladite taille (F) de fenêtre glissante délivrée par lesdits premiers moyens d'estimation (EST1 ).
2. Système selon la revendication 1 , dans lequel ledit paramètre de mouvement (PM) est la période (Tp) dudit mouvement de forme répétitive.
3. Système selon la revendication 2, dans lequel lesdits deuxièmes moyens d'estimation (EST2) comprennent des moyens de calcul par corrélation.
4. Système selon la revendication 2 ou 3, dans lequel lesdits premiers moyens d'estimation (EST ) d'un autre paramètre de mouvement (PM) dudit mouvement de forme répétitive, différent de ladite période (Tp), comprennent lesdits deuxièmes moyens d'estimation (EST2) précise de ladite période.
5. Système selon l'une des revendications précédentes, dans lequel lesdits moyens de détermination (DET, DET') comprennent un gain multiplicatif de sécurité.
6. Système selon l'une des revendications précédentes, comprenant une interface de communication pour communiquer en temps réel l'évolution dudit mouvement
7. Système selon la revendication 6, dans lequel ladite interface de communication comprend une interface audiovisuelle.
8. Système selon l'une des revendications précédentes, comprenant, en outre, un ensemble capteur adapté pour être fixé sur l'élément effectuant le mouvement de forme répétitive, pour délivrer lesdits signaux (S1 , S2, S3, S).
9. Système selon la revendication 8, dans lequel ledit ensemble capteur comprend au moins un magnétomètre, et/ou au moins un accéléromètre, et/ou un gyromètre, et/ou un capteur de pression, et/ou un électrocardiographe, et/ou un débitmètre de mesure du souffle, et/ou un capteur de mesure de la fréquence de respiration.
10. Procédé de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive caractérisé en ce qu'il comprend les étapes consistant à :
- estimer une approximation (Tr) de la période dudit mouvement de forme répétitive, avant la fin du mouvement courant, à partir de signaux représentatifs (S, S1 , S2, S3) dudit mouvement ;
- déterminer une taille (F) de fenêtre glissante à partir de ladite période (Tr) estimée approximativement ;
- estimer précisément, par fenêtre glissante, ledit paramètre de mouvement (PM), à partir de signaux représentatifs (S1 ) dudit mouvement et de ladite taille (F) de fenêtre glissante déterminée.
1 1 . Procédé selon la revendication 10, dans lequel on détermine en temps réel la période précise (Tp) dudit mouvement de forme répétitive.
12. Procédé selon la revendication 1 1 , dans lequel l'estimation d'un autre paramètre de mouvement dudit mouvement de forme répétitive, différent de ladite période (Tp), utilise dans l'étape d'estimation approximative de ladite période, l'étape d'estimation précise (Tp) de la période dudit mouvement de forme répétitive.
13. Procédé selon la revendication 1 1 ou 12, dans lequel lesdits signaux (S1 , S2, S3, S) sont transmis par un ensemble capteur fixé sur l'élément effectuant le mouvement de forme répétitive.
14. Procédé selon la revendication 13, dans lequel lesdits signaux transmis par l'ensemble capteur proviennent d'au moins un magnétomètre, et/ou au moins un accéléromètre, et/ou un gyromètre, et/ou un capteur de pression, et/ou un électrocardiographe, et/ou un débitmètre de mesure du souffle, et/ou un capteur de mesure de la fréquence de respiration.
15. Procédé selon la revendication 13 ou14, dans lequel un changement de repère desdits signaux transmis par l'ensemble capteur muni d'un premier repère orthonormé [X, Y, Z] est effectué en utilisant une décomposition en valeurs propres décroissantes Au, λν et Aw pour exprimer ledit premier repère orthonormé [X, Y, Z] dans un deuxième repère orthonormé [U, V, W], dont l'axe U ou les axes U et V correspondent respectivement à un axe principal ou un plan principal dudit mouvement.
16. Procédé selon l'une des revendications 1 1 à 15, dans lequel ladite détermination en temps réel de la période précise (Tp) dudit mouvement de forme répétitive détecte des maxima locaux et un maximum global, sur ladite fenêtre glissante, lesdits maxima locaux et global étant multiples d'une durée élémentaire, et sélectionne le maximum, correspondant à ladite période précise (Tp), se produisant le plus tôt et dont l'écart avec ledit maximum global est inférieur à un seuil.
EP11702651A 2010-02-10 2011-02-10 Système et procédé de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive Ceased EP2534610A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1050913A FR2956229B1 (fr) 2010-02-10 2010-02-10 Systeme et procede de determination en temps reel d'un parametre d'un mouvement de forme repetitive
PCT/EP2011/051961 WO2011098521A1 (fr) 2010-02-10 2011-02-10 Systeme et procede de determination en temps reel d'un parametre d'un mouvement de forme repetitive

Publications (1)

Publication Number Publication Date
EP2534610A1 true EP2534610A1 (fr) 2012-12-19

Family

ID=42610922

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11702651A Ceased EP2534610A1 (fr) 2010-02-10 2011-02-10 Système et procédé de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive

Country Status (7)

Country Link
US (1) US9341645B2 (fr)
EP (1) EP2534610A1 (fr)
JP (1) JP5934865B2 (fr)
KR (1) KR101700004B1 (fr)
CN (1) CN102792315B (fr)
FR (1) FR2956229B1 (fr)
WO (1) WO2011098521A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method
DE102019216189A1 (de) * 2019-10-21 2021-04-22 Robert Bosch Gmbh Verfahren zum Verkehrsbetrieb einer mobilen Arbeitsmaschine in einem Verkehrsbereich aufweisend mindestens eine Zone mit Kollisionsgefahr mit weiteren mobilen Arbeitsmaschinen
CN114366061A (zh) * 2021-12-31 2022-04-19 北京旷视科技有限公司 心率测量方法、计算机程序产品、存储介质及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592051B2 (ja) 1997-10-03 2004-11-24 任天堂株式会社 歩数計
GB9817834D0 (en) * 1998-08-14 1998-10-14 British Telecomm Predicting avatar movement in a distributed virtual environment
US8956228B2 (en) 1999-12-03 2015-02-17 Nike, Inc. Game pod
US6686716B1 (en) * 2001-07-18 2004-02-03 Itt Manufacturing Enterprises, Inc. Tuned open-loop switched to closed-loop method for rapid point-to-point movement of a periodic motion control system
WO2005050565A1 (fr) * 2003-11-20 2005-06-02 Matsushita Electric Industrial Co., Ltd. Dispositif de detection d'objet mobile et procede de detection d'objet mobile
ES2790885T3 (es) 2005-03-29 2020-10-29 Sportvu Ltd Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
US8433592B2 (en) * 2005-04-14 2013-04-30 Avraham Y. Goldratt Institute, Lp Method and system for determining buffer inventory size
WO2008011352A2 (fr) 2006-07-16 2008-01-24 The Jim Henson Company Système et procédé pour animer un personnage via les performances d'une seule personne
KR20090082711A (ko) 2008-01-28 2009-07-31 삼성전자주식회사 보행자 항법 시스템에서의 보폭 추정 방법 및 시스템
US8892345B2 (en) * 2011-04-08 2014-11-18 Here Global B.V. Trend based predictive traffic

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2011098521A1 *

Also Published As

Publication number Publication date
CN102792315B (zh) 2018-03-06
FR2956229A1 (fr) 2011-08-12
KR101700004B1 (ko) 2017-01-26
WO2011098521A1 (fr) 2011-08-18
US9341645B2 (en) 2016-05-17
JP2013527774A (ja) 2013-07-04
JP5934865B2 (ja) 2016-06-15
KR20120128620A (ko) 2012-11-27
FR2956229B1 (fr) 2016-02-19
CN102792315A (zh) 2012-11-21
US20130073249A1 (en) 2013-03-21

Similar Documents

Publication Publication Date Title
EP2381845B1 (fr) Dispositif, methode et systeme de caracterisation de mouvements d'un pied
EP1492998B1 (fr) Dispositif de capture des mouvements de rotation d un solide
EP1985233B1 (fr) Procédé et dispositif de détection d'un axe de rotation sensiblement invariant
EP2350565B1 (fr) Dispositif et procede de determination d'une caracteristique d'une trajectoire formee de positions successives d'un accelerometre triaxial lie de maniere solidaire a un element mobile
EP1673590A2 (fr) Dispositif de controle de foulee
EP2414053A1 (fr) Systeme et procede d' observation d'une activite de marche d'une personne
FR2987913A1 (fr) Systeme ameliore de capture de mouvements d'une structure articulee
EP2534610A1 (fr) Système et procédé de détermination en temps réel d'un paramètre d'un mouvement de forme répétitive
FR3047070A1 (fr) Procede d'estimation de l'activite physique d'un membre superieur
WO2017203129A1 (fr) Méthode de calcul de la hauteur d'un saut
WO2019016474A1 (fr) Procédé d'estimation du mouvement d'un objet évoluant dans un champ magnétique
EP2268999A1 (fr) Systeme et procede de determination de parametres representatifs de l'orientation d'un solide en mouvement soumis a deux champs vectoriels
FR3096499A1 (fr) Dispositif de traitement de prise de vue
EP1721573A2 (fr) Procédé d'estimation de la phase d'un mouvement d'un objet
WO2017168085A1 (fr) Procédé de mesure de vitesses angulaires, dispositif et capteur associés
EP3655725B1 (fr) Procédé d'estimation du mouvement d'un objet évoluant dans un environnement et un champ magnétique
EP3479291A1 (fr) Capteur, systeme d'analyse statistique et procede de determination et d'affichage de la hauteur d'un saut effectue par un sportif
WO2007017471A1 (fr) Procede et dispositif de determination de la vitesse d'un coureur
EP1714112A1 (fr) Procede de capture du mouvement d'un solide, utilisant une mesure absolue associee a une mesure par double integration

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120710

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20170927

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20190401