ES2553216T3

ES2553216T3 - Procedimiento de segmentación temporal de un gesto trazado, dispositivo, terminal y programa asociados

Info

Publication number: ES2553216T3
Application number: ES14154996.4T
Authority: ES
Inventors: Grégoire LEFEBVRE; Sébastien Roux; Eric Petit
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2013-02-15
Filing date: 2014-02-13
Publication date: 2015-12-07
Anticipated expiration: 2034-02-13
Also published as: EP2767882A1; US20140232642A1; PL2767882T3; FR3002338A1; EP2767882B1; US10078373B2

Abstract

Procedimiento de segmentación temporal de un gesto trazado en el transcurso de la ejecución por un usuario con la ayuda de un terminal (ET) equipado con un módulo (M1) de navegación inercial, adecuado para medir, durante la ejecución del gesto, un vector de características inerciales representativo de un movimiento de dicho terminal, caracterizado por que dicho procedimiento comprende las siguientes etapas, implementadas en cada instante actual: - cálculo (R2) de un valor de potencia instantánea de dicho vector en el instante actual; - estimación (R3) de un indicador de gesto a partir de una variación entre dicho valor de potencia instantánea y un valor de potencia media estimado sobre una ventana temporal anterior al instante actual; - determinación (R4) de un primer instante, denominado de inicio del gesto, que corresponde al instante actual, cuando el indicador de gesto estimado toma un valor superior o igual a un primer umbral predeterminado durante un intervalo de tiempo superior o igual a un primer intervalo predeterminado; - a continuación de la detección del inicio del gesto en el primer instante actual, la determinación (R5) de un segundo instante, denominado de final del gesto cuando, en el instante actual, el indicador del gesto estimado toma un valor inferior o igual a un segundo umbral predeterminado durante un intervalo de tiempo superior o igual a un segundo intervalo de tiempo predeterminado.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCION

Procedimiento de segmentación temporal de un gesto trazado, dispositivo, terminal y programa asociados

1. Campo de la invención

El campo de la invención es el de las interacciones gestuales, y más particularmente de la segmentación temporal que un gesto trazado formado por la trayectoria de la mano de un usuario que lleva un terminal.

2. Presentación de la técnica anterior

El documento US2007/113207 (17 de mayo de 2007) describe el procedimiento de segmentación temporal de un gesto trazado en el curso de su ejecución por un usuario con la ayuda de un terminal equipado con un módulo de navegación inercial, adecuado para medir, durante la ejecución del gesto, un vector de características inerciales V representativo de un movimiento de dicho terminal.

Asistimos en los últimos años al estallido de las utilizaciones alrededor de interacciones denominadas “naturales”. El usuario puede así controlar su terminal o un puesto distante con unos gestos de la vida diaria para acceder simple y rápidamente a una información o servicio. Estos gestos pueden ejecutarse en 2D como unos dibujos sobre una pantalla táctil, interpretados como una orden por el sistema, o bien ejecutados en 3D, realizados en el aire tal como un recorrido gestual para activar una funcionalidad. Los gestos en 3D pueden ser interpretados mediante la captura del movimiento de su terminal móvil mantenido en la mano gracias a unos captadores inerciales (acelerómetro, girómetro, magnetómetro). Conviene diferenciar entonces lo que es un gesto, en la captura del movimiento del terminal móvil, de lo que no es un gesto en sí mismo. En efecto, cuando el usuario tiene el terminal en la mano, efectúa unos movimientos continuamente con este último, frecuentemente unos movimientos de reducidas amplitudes que no son unos gestos trazados en tanto que tales, pero que sin embargo son capturados por el acelerómetro, girómetro y el magnetómetro integrados.

Se conoce por ejemplo una aplicación de creación de gestos trazados basados en “acelerómetro”, desarrollado por la sociedad Probayes. El usuario debe introducir 3 casos de gestos 3D, atribuir un nombre a este conjunto de referencia, y posteriormente definir la acción a ejecutar durante la segmentación de este gesto. La determinación de la parte útil del gesto a reconocer se realiza mediante el apoyo sobre un botón de la interfaz táctil, que significa el comienzo del gesto, y el final del gesto se ejecuta a partir de la liberación del botón.

3. Inconvenientes de la técnica anterior

Un inconveniente de esta técnica es que necesita el apoyo sobre un botón durante la ejecución del gesto. Esta limitación es particularmente molesta, puesto que el usuario desea acceder rápidamente al servicio de su terminal mediante un gesto en el aire, no desea tener una carga visual elevada, necesaria para la localización del botón y posteriormente para el apoyo sobre esta zona de interacción. Además, este apoyo continuo sobre el botón durante toda la duración del gesto limita al usuario en su gesto, debido a que debe mantener un dedo pegado sobre la interfaz. Repetido muy frecuentemente, esta situación tiene el riesgo de provocar en el usuario trastornos músculo- esqueléticos. Adicionalmente, este apoyo es fuente de errores porque el usuario puede retirar su dedo demasiado pronto y solo será analizada para su reconocimiento la parte de la señal segmentada por el período de apoyo sobre el botón, lo que desembocará en confusiones en los gestos o rechazos como gestos no válidos.

4. Exposición de la invención

La invención viene a mejorar la situación con la ayuda de un procedimiento de segmentación temporal de un gesto trazado en el transcurso de la ejecución por un usuario con la ayuda de un terminal equipado con un módulo de navegación inercial, adecuado para medir, durante la ejecución del gesto, un vector de características inerciales representativo del movimiento de dicho terminal.

Un procedimiento de ese tipo es particular porque comprende las etapas siguientes, implementadas en cada instante actual:

- cálculo de un valor de la potencia instantánea de dicho vector en el instante actual;

- estimación de un indicador de gesto a partir de una variación entre dicho valor de potencia instantánea y un valor de potencia media estimado sobre una ventana temporal anterior al instante actual;

- determinación de un primer instante, denominado de inicio del gesto, que corresponde al instante actual, cuando el indicador de gesto estimado toma un valor superior o igual a un primer umbral predeterminado durante un intervalo de tiempo superior o igual a un primer intervalo de tiempo predeterminado;

- a continuación de la detección del inicio del gesto en el primer instante actual, la determinación de un segundo instante, denominado de final del gesto cuando, en el instante actual, el indicador del gesto estimado toma un valor inferior o igual a un segundo umbral predeterminado durante un intervalo de tiempo superior o igual a un segundo intervalo de tiempo predeterminado.

5

10

15

20

25

30

35

40

45

50

55

60

65

Con la invención, el usuario no tiene que especificar los instantes de inicio y final del gesto trazado en su terminal, por ejemplo manteniendo presionada una tecla de la interfaz durante la ejecución del gesto.

Por el contrario, la invención propone una segmentación temporal automática basada en una estimación sobre la marcha de un indicador de gesto a partir de los valores de las potencias instantáneas de estas características inerciales calculadas sobre una ventana temporal de observación y sobre una comparación de este indicador estimado con un primer umbral representativo de un inicio del gesto, y posteriormente, a continuación de la detección de un inicio del gesto, de un segundo umbral representativo de un final del gesto.

De ese modo, la invención se basa en un enfoque totalmente novedoso e inventivo de la segmentación temporal de un gesto trazado, que aprovecha la estimación de una variación de la energía producida por la ejecución del gesto en el transcurso del tiempo para determinar con precisión los instantes de inicio y de final.

La invención permite de ese modo liberar al usuario de la limitación de mantener presionada una tecla de la interfaz de usuario de su terminal durante la ejecución de un gesto trazado con la ayuda de su terminal.

Según un primer aspecto de la invención, el procedimiento de segmentación temporal comprende una etapa de decisión positiva de segmentación temporal de un gesto, cuando el primer y el segundo instantes actuales distan en un intervalo de tiempo superior a un tercer umbral predeterminado.

Se considera por tanto que un gesto trazado está segmentado si es de duración suficiente. Esto permite rechazar falsas alarmas.

Según un segundo aspecto, la etapa de estimación de un indicador de gesto comprende la estimación de un primer estimador de potencia media de las potencias instantáneas en dicha ventana, siendo ponderadas dichas potencias instantáneas según una primera ponderación, la estimación de un segundo estimador de potencia media de las potencias instantáneas en dicha ventana, siendo ponderadas dichas potencias instantáneas según una segunda ponderación y el cálculo del indicador de gesto en función del valor absoluto de la diferencia entre los valores estimados del primer y del segundo estimadores.

Una ventaja de haber recurrido a dos estimadores es que esto permite estimar de dos maneras diferentes la energía media recibida por el módulo de navegación del terminal, dando más o menos peso al valor actual y al histórico.

Ventajosamente, la segunda ponderación aplica un peso más elevado al valor de la potencia instantánea calculado en el instante actual que la primera ponderación.

De ese modo, el primer estimador tiene una memoria alargada y da más peso a los valores de potencia pasados, mientras que el segundo estimador favorece el nuevo valor de la potencia instantánea. El valor absoluto de la diferencia entre los dos estimadores pone en evidencia las variaciones importantes de energía recibidas en el tiempo, representativas del gesto en curso de ejecución.

Según otro aspecto de la invención, el primer y segundo estimadores se calculan de manera recursiva a partir del valor estimado en el instante anterior y del valor de potencia instantánea calculado en el instante actual.

Una ventaja es que cualquiera que sea el tamaño de la ventana temporal considerada, no es necesario almacenar en la memoria más que los valores del primer y segundo estimadores de potencia en el instante tn-1 anterior y en el instante actual. El procedimiento de segmentación temporal según este aspecto de la invención es por tanto muy económico en memoria de almacenamiento.

Según otro aspecto de la invención, el procedimiento de segmentación temporal comprende una etapa de inicialización de la etapa de estimación del indicador del gesto, en un instante inicial cuyo valor pertenece al grupo que comprende:

- Un instante de puesta bajo tensión del equipo terminal;

- Un instante de lanzamiento de una aplicación predeterminada;

- El instante actual disminuido en un tamaño de ventana temporal predeterminado.

El indicador de gesto proporciona un valor medio alisado en el tiempo de la variación de la energía liberada por la ejecución de un gesto trazado. El tamaño de la ventana temporal F[to, t„] utilizada para la estimación de la potencia media debe ser suficiente para evitar las falsas segmentaciones debidas a unos movimientos parásitos del terminal. Cuanto mayor sea la ventana considerada, más robusto será el procedimiento respecto a pequeños movimientos involuntarios debidos a una manipulación clásica del terminal.

Según otro aspecto más, a continuación de la determinación de un segundo instante de final del gesto, se desencadena una etapa de validación que comprende las subetapas siguientes de:

5

10

15

20

25

30

35

40

45

50

55

60

65

- cálculo de una medición de la variación inercial entre los valores Instantáneos del vector de características ¡nerclales en el Instante actual y unos valores medios estimados de dichas características en una ventana temporal anterior al Instante actual;

- comparación del valor de variación calculado con un umbral predeterminado durante un Intervalo de tiempo predeterminado;

- validación del Instante de final del gesto determinado cuando la medida M calculada es inferior a dicho umbral al menos durante el Intervalo de tiempo predeterminado DM.

Esta etapa adicional valida o rechaza el instante de final del gesto determinado, teniendo en cuenta una medida de la variación del valor real de las características ¡nerciales realizada componente a componente. Completa el análisis energético realizado a partir de la estimación de la potencia media del vector de características ¡nerclales. Una ventaja es que permite evitar unas sobre-segmentaciones debidas a caídas temporales de la energía recibida por el módulo de navegación Inercial, durante la ejecución del gesto, debida a una ralentización del movimiento producido por el usuario.

El procedimiento de segmentación temporal que acaba de ser descrito en sus diferentes modos de realización puede ser ¡mplementado por un dispositivo de segmentación temporal de un gesto trazado en el curso de su ejecución por un usuario con la ayuda de un terminal equipado con un módulo de navegación Inercial, adecuado para medir, durante la ejecución del gesto, un vector de características ¡nerclales representativas del movimiento de dicho terminal.

Un dispositivo de ese tipo es particular porque es adecuado para realizar los módulos siguientes:

- cálculo (Pl) de un valor de potencia instantánea de dicho vector (V(tn)) en el instante actual;

- estimación (CALC I) de un indicador del gesto (l(tn)) a partir de una variación entre dicho valor de potencia Instantánea y un valor de potencia media estimada sobre una ventana temporal (F(to, tn)) anterior al Instante actual;

- determinación (DET tni) de un primer instante (tni), denominado de inicio del gesto, correspondiente al Instante actual, cuando el indicador de gesto estimado toma un valor superior o igual a un primer umbral (SD) predeterminado durante un intervalo de tiempo superior o igual a un primer Intervalo (DD) predeterminado;

- a continuación de la detección de un inicio del gesto en el primer instante actual (tni), determinación (DET t„2) de un segundo instante (t„2), denominado de final del gesto cuando, en el instante actual, el indicador de gesto estimado toma un valor inferior o igual a un segundo umbral (SF) predeterminado durante un intervalo de tiempo superior o igual a un segundo intervalo de tiempo (DF) predeterminado.

La invención se refiere también a un equipamiento de terminal, equipado con un módulo de navegación inercial adecuado para medir, durante la ejecución de un gesto, un vector de características ¡nerciales representativo del movimiento de dicho terminal, y que comprende el dispositivo de segmentación temporal que acaba de ser descrito.

La invención se refiere incluso a un programa informático que incluye unas instrucciones para la implementación de las etapas de un procedimiento de segmentación temporal tal como se ha descrito anteriormente, cuando este programa es ejecutado por un procesador. Un programa de ese tipo puede utilizar no importa qué lenguaje de programación. Puede ser descargado desde una red de comunicación y/o estar registrado sobre un soporte legible por ordenador.

La invención se refiere finalmente a un soporte de almacenamiento, legible por un procesador, integrado o no en el dispositivo de segmentación temporal según la invención, eventualmente extraíble, que memoriza un programa informático que implementa un procedimiento de segmentación temporal tal como el descrito anteriormente.

Los soportes de registro mencionados en el presente documento anteriormente pueden ser no importa qué entidad o dispositivo para almacenar el programa y legible por un equipo terminal. Por ejemplo, los soportes pueden incluir un medio de almacenamiento, tal como una ROM, por ejemplo un CD ROM o una ROM de circuito microelectrónico, o incluso un medio de registro magnético, por ejemplo un disquete (floppy dics) o un disco duro.

Por otro lado, los soportes de registro pueden corresponder a un soporte transmisible tal como una señal eléctrica u óptica, que puede ser encaminada a través de un cable eléctrico u óptico, por radio o por otros medios. Los programas según la invención pueden en particular ser descargados desde una red de tipo Internet.

5. Lista de las figuras

Surgirán más claramente otras ventajas y características de la invención con la lectura de la descripción a continuación de un modo de realización particular de la invención, dado a título de simple ejemplo ilustrativo y no limitativo, y de los dibujos adjuntos, entre los que:

- las figuras 1 A, 1B, 1C y 1D representan unos ejemplos de gestos simbólicos trazados;

5

10

15

20

25

30

35

40

45

50

55

60

- la figura 2 presenta de manera esquemática los elementos funcionales del sistema de procesamiento de un gesto trazado que realiza la invención;

- la figura 3 representa de manera esquemática las etapas de un procedimiento de segmentación temporal de un gesto trazado según un primer modo de realización de la invención;

- la figura 4 presenta un primer ejemplo de curva de evolución en el tiempo del indicador de gesto estimado según un primer modo de realización de la invención;

- la figura 5 representa de manera esquemática las etapas de un procedimiento de segmentación temporal de un gesto trazado según un segundo modo de realización de la invención;

- la figura 6 presenta un segundo ejemplo de curva de evolución en el tiempo del indicador de gesto estimado según un segundo modo de realización de la invención para un segundo ejemplo de gesto trazado; y

- la figura 7 describe un ejemplo de estructura material de un dispositivo de segmentación temporal de gesto trazado según la invención.

6. Descripción de un modo de realización particular de la invención

El principio general de la invención reposa sobre la segmentación temporal automática de un gesto trazado ejecutado por un usuario con la ayuda de su terminal. Esta segmentación temporal se apoya en el análisis de modo continuo de una variación de la energía contenida en las señales de características inerciales captadas por el módulo de navegación inercial terminal.

En relación con la Figura 1, se presentan algunos ejemplos de gestos trazados ejecutados por un usuario de un equipo terminal ET. En lo que sigue de la descripción, se considerará que este equipamiento es un terminal móvil del tipo “terminal inteligente” (“smartphone”, en inglés). Sin embargo, la invención no se limita a este tipo de terminal, sino que se refiere a cualquier equipo terminal equipado con un módulo de navegación inercial, como por ejemplo un telemando, una consola de juegos o incluso una tableta.

Los gestos ilustrados por los ejemplos de la Figura 1 son unos gestos simbólicos, es decir que representan un símbolo. Dichos gestos se realizan bajo la forma de movimientos descritos en el espacio 3D por la trayectoria de la mano del usuario que lleva el terminal. Estos símbolos pueden ser unas cifras, unas letras del alfabeto, unas formas semánticas por ejemplo del tipo corazón, cuadrado, triángulo, un signo de infinito, en relación con la Figura 1A, unas sacudidas (“shake”, en inglés) en relación con la Figura 1B, unas rotaciones continuas en el sentido de las agujas del reloj, en relación con la Figura 1C, o en el sentido inverso, unos vuelcos del terminal (“flip”, en inglés) en relación con la Figura 1D o incluso unos gestos rectilíneos en una dirección particular (por ejemplo, “right flick”, en inglés).

Por supuesto pueden ejecutarse otros gestos simbólicos.

Se observará que la invención que se va describir en el presente documento a continuación de manera más detallada, puede ser implementada por medio de componentes de software y/o materiales. Desde esta óptica, los términos “módulo” y “entidad”, utilizados en este documento, pueden corresponder o bien a un componente de software, o bien a un componente material, o incluso a un conjunto de componentes materiales y/o de software, adecuados para implementar la o las funciones descritas para el módulo o la entidad afectado(a).

En relación con la Figura 2, se presentan los elementos funcionales del sistema S de procesamiento de un gesto trazado que implementa los principios de la invención. Un sistema de ese tipo comprende un módulo de navegación inercial M1 adecuado para producir en una sucesión de instantes temporales un vector de características inerciales

V(tn), un módulo de segmentación temporal de un gesto trazado M2 según la invención, adecuado para

proporcionar una segmentación temporal del gesto que comprende un primer instante tni de inicio del gesto y un segundo instante t„2 de final del gesto, un módulo de clasificación/modelizado M3, adecuado para asignar al gesto segmentado una clase entre un conjunto de clases de gestos de referencia predeterminados o bien, en el caso de una creación del gesto, para modelizar la clase del gesto creado, siendo almacenadas dichas clases en una primera base de datos BD1 y un módulo M4 de asociación de una acción de comando predeterminada a la clase de gesto asignado con la ayuda de una segunda base de datos BD2 que comprende una pluralidad de asociaciones de clase de gesto/acción y de desencadenamiento de la acción asociada. Por ejemplo, la acción asociada puede ser el lanzamiento de una aplicación o la puesta en espera del terminal o incluso la petición de sincronización con un servicio distante.

En relación con la Figura 3, se presentan ahora las etapas del procedimiento de segmentación temporal de un gesto trazado según un primer modo de realización de la invención. Un procedimiento de ese tipo permite particularmente realizar la función del módulo de segmentación temporal M2 que acaba de ser presentado.

En el curso de una primera etapa R1, se obtiene un vector de características inerciales V(tn) = (ci, ..., cp), con p un

entero superior o igual a 2, en el instante tn, con n entero no nulo, del módulo de navegación inercial NAV del terminal ET. Un vector de ese tipo es representativo de la señal del movimiento inercial captada por el conjunto de los captadores del módulo de navegación inercial.

5

10

15

20

25

30

35

40

45

50

55

60

Se considera por ejemplo que este módulo comprende un submódulo acelerómetro adecuado para medir una aceleración en el instante tn sobre los tres ejes de una referencia Ref (O, x, y, z) del terminal ET, tal como el representado en relación con la Figura 1B, un girómetro adecuado para medir una velocidad angular en el Instante tn en los tres ejes de la referencia Ref y un magnetómetro adecuado para medir el campo magnético terrestre sobre los tres ejes de la referencia Ref. En este ejemplo, el vector de características inerciales comprende por lo tanto 9 componentes.

Se adquiere un nuevo vector de características V(tn) a intervalos regulares, por ejemplo cada 20 ms por el módulo de navegación inercial y se transmite al módulo de segmentación temporal M2.

En el curso de una etapa R2, se calcula una potencia instantánea P(tn) del vector de características V en el instante tn, de la manera siguiente:

P(f„)= 0,5-^c,2

Una potencia instantánea de ese tipo representa una energía recibida por los diferentes captadores del módulo de navegación, en el instante tn, debido al hecho del movimiento del terminal ET.

La etapa R3 tiene por función estimar el valor de un indicador I de gesto trazado en el Instante tn. En este primer modo de realización de la invención, comprende tres sub-etapas:

En R3i, se calcula un primer estimador de la potencia £o definida por la fórmula recursiva siguiente:

E0(tn) = A)£o(fn-1) + (1 -fio) P(tn) (2),

con (3o factor de ponderación real no nulo, de valor absoluto inferior a 1.

En R32, se calcula un segundo estimador de potencia £1 definido por la función recursiva siguiente:

£i(fn) = ySi£i(f«-1) + (1 -fi) P(tn) (3),

con (3i factor de ponderación real no nulo de valor absoluto inferior a 1.

En R33, se calcula un indicador de gesto útil I al que se define mediante:

l=\Eo(tn)-Ei(tn)\ (4)

El indicador de gesto calculado según la Invención resulta de una diferencia entre los valores de estos dos estimadores de potencia E0 y E1 en el instante tn.

Traduce una evolución alisada de la cantidad de energía captada por el módulo de navegación inercial en cada instante t„ con relación a una cantidad de energía media medida en el pasado.

Se comprende que, según los valores elegidos para los factores de ponderación, el primer y el segundo estimadores calcularán cada uno una potencia media que dará más o menos peso al nuevo valor de potencia instantánea calculado en el instante tn.

El un ejemplo de ¡mplementación, los valores de ponderación se eligen como sigue:

fiO — 0,98 y fi\ =0,67.

El primer estimador E0 da por tanto muy poco peso al nuevo valor de potencia instantánea, pero mucho a los valores pasados. Se trata de un estimador de memoria larga. Da como resultado que la potencia media estimada para el gesto en curso de ejecución por este primer estimador está muy poco impactado por el nuevo valor.

Por el contrario, el segundo estimador E1 ha recurrido a unos valores de ponderación más equilibrados, aunque da más peso al nuevo valor de potencia instantánea recibido para el instante tn.

De ese modo, cuando comienza a ejecutarse un gesto trazado, el valor de potencia instantánea en el instante actual se conviene en grande, lo que se traducirá en un incremento del valor del segundo estimador E1. Por el contrario, si el valor de potencia no continúa incrementándose en el curso de los instantes siguientes, este pico de potencia instantánea se incorporará al primer estimador E0 y conducirá o bien a un estancamiento del valor del indicador I (si el movimiento captado mantiene una energía más o menos constante), o bien a una caída de su valor (si el movimiento captado pierde energía).

5

10

15

20

25

30

35

40

45

50

55

60

65

El instante inicial to a partir del que los estimadores de potencia comienzan a calcularse puede elegirse de diferentes maneras, siendo lo importante que la ventana temporal anterior al instante actual tn sea suficientemente grande para constituir un histórico representativo:

- el instante fe puede ser aquel en el que el terminal se pone en estado de marcha;

- el instante fe puede elegirse igual al instante de lanzamiento de una aplicación particular que implementa el módulo M2 de segmentación temporal de un gesto;

- el instante fe se puede determinar de manera deslizante, de tal manera que la ventana temporal considerada sea igual a una duración predeterminada, por ejemplo de 1 segundo o 500 ms.

En R4, se determina un instante fei de inicio del gesto a partir del indicador I según los criterios siguientes:

- la estimación del inicio del gesto se activa cuando este indicador / sobrepasa un umbral dado SD;

- para considerarse como gesto válido, la señal debe permanecer por encima de este umbral durante la duración mínima DD;

Si se ha determinado un instante fei de inicio del gesto, se determina en R5 un instante t„2 de final del gesto en función de los criterios siguientes:

- hay un final del gesto cuando la señal sobrepasa bajo el umbral SF, durante un intervalo de tiempo predeterminado DF. Se trata también de evitar cortar un gesto que incluya unos puntos de aceleración nula, mientras que no está acabado.

Si se ha decidido un instante fe de final del gesto, se toma una decisión relativa a la segmentación de un gesto trazado en R6, al menos en función del criterio siguiente:

- la señal útil debe tener una duración mínima D min.

De manera ventajosa, se aplica una corrección en R7 al instante de inicio y de final del gesto, de la manera

- el período del gesto corresponde entonces a la señal entre los instantes de inicio y de final detectadas, añadiendo una parte de señal anterior DDC y retirando por detrás DFC (al ser alisado del indicador, está ligeramente decalado en el tiempo);

En un ejemplo de implementación para el captador acelerométrico, se han elegido los valores siguientes de umbrales y de duración mínimas: SD=280 g2, SF=230 g2, DD= 8 ms, DF = 10 ms, D_min = 400 ms, DDC=5 ms, DFC= 5ms.

En relación con la Figura 4, se presenta ahora una curva de evolución del indicador de gesto I cuyo cálculo acaba de ser detallado, en función del tiempo, durante la ejecución de un gesto.

Esta curva muestra que el indicador I tiene, en ausencia de producción de gesto trazado, un valor reducido, aproximadamente constante. Su valor se incrementa a continuación con una pendiente fuerte y sobrepasa el umbral de inicio del gesto SD, en el instante fe. El valor del indicador I continúa incrementándose rápidamente durante el período de duración DD, como resultado de lo que se confirma una decisión de inicio del gesto en el punto 11 (fe). Posteriormente el valor del indicador I alcanza un máximo. La curva inicia el decrecimiento con una fuerte pendiente para franquear el umbral SF en el instante fe. Se observará que este umbral de fin tiene un valor inferior al umbral de inicio SD. La curva continúa descendiendo fuertemente hasta el final del período DF, como resultado de lo que se determina el punto I2(fe) como el punto de final del gesto.

Esta figura muestra también que, para esta curva, la duración tn2-tni es muy superior al intervalo de tiempo mínimo D_min predeterminado para que un gesto trazado sea considerado como reconocido.

Finalmente, según un aspecto de la invención, se aporta una etapa R7 de corrección del instante de inicio del gesto tni y del instante t„2 de final del gesto, para compensar el hecho de que el indicador de gesto I se obtiene a partir de informaciones de potencias alisadas para la ventana temporal F[fe, tn] y da así una información decalada en el tiempo. Se le añade así una secuencia de tiempo suplementaria DDC al inicio, lo que se convierte en colocar el inicio del gesto en el instante t’n1 = tn1-DDC y se le añade una secuencia de tiempo suplementaria al final, lo que se convierte en colocar el instante de final del gesto en t’n2 = tn2 + DFC. El gesto segmentado temporalmente Gl(t’n1, t’n2) corresponde a la zona de la curva rayada de la curva.

En relación con la Figura 5, se presentan ahora las etapas del procedimiento de segmentación temporal de un gesto trazado según un segundo modo de realización de la invención.

5

10

15

20

25

30

35

40

45

50

55

60

Según este segundo modo de realización, las etapas R1 a R7 son idénticas a las descritas en relación con la Figura 3.

El procedimiento comprende además, a continuación de la determinación de un instante de final del gesto por la etapa R5, una etapa R8 de validación del instante tn2 de final del gesto así determinado. Una etapa de ese tipo se basa en el cálculo de una medida M de la variación entre los valores de las características inerciales instantáneas y

estimadas para cada componente i, siendo i un entero comprendido entre 1 y p, del vector de características V(tn) de la manera siguiente:

M(tn)=Y,lMEV¿tn)-C«n)\ (5)

con tn = (c-i, ..., Cp) los p valores de un captador en el instante tn y EV{tn) = P/£,(fn.i) + (1 - P/)c,(fn) un estimador del valor inercial c¡ en el instante tn a partir de los valores inerciales obtenidos en los instantes anteriores sobre la ventana temporal F[to, tn].

Este estimador realiza por tanto una suma de los valores absolutos de las diferencias entre los valores medios estimados y los valores reales en cada componente inercial de la referencia Ref.

El valor de la medida M obtenida se compara durante una duración mínima DM con un umbral TM, fijo a partir de una base de gestos anotados. Si el valor de la medida M es superior o igual al umbral TM durante una duración DM, entonces se rechaza llegado el caso la decisión de final del gesto.

Si el valor de la medida M es inferior al umbral TM durante la duración DM, entonces se validan la decisión de final del gesto.

En un ejemplo de implementación para captador acelerométrico, se ha elegido: DM=10 ms, TM=20 g, p¡ = 0,96.

Al ser fijados los coeficientes de ponderación p, a un valor muy elevado, se da un peso muy alto al histórico, lo que permite relativizar el impacto de los valores puntuales de características inerciales c¡(tn) un poco afectados por el ruido. En tanto que estos valores puntuales continúan incrementándose suficientemente en valor absoluto, la medida M tiene una tendencia incremental y se considera que el gesto está siempre en curso de producción, lo que va en la dirección de la decisión de final del gesto tomada en R5. A la inversa, una disminución de la medida M con paso por debajo del umbral TM durante la duración DM valida el instante t„2 anteriormente determinado, como marcador de final del gesto.

Esta medida permite por tanto, al afinar la decisión obtenida a partir de las estimaciones de potencia, evitar la sobresegmentación, es decir el hecho de definir para un mismo gesto trazado varias secuencias de inicio y de final del gesto. En efecto, esta medida, al basarse en los valores reales de características inerciales y no sobre el cuadrado de estos valores, no evoluciona de la misma manera que el estimador de gesto en función de la energía inercial recibida por el módulo de navegación inercial del terminal. Es particularmente pertinente, cuando la energía inercial recibida disminuye de manera momentánea durante la producción de un gesto sin que por ello corresponda al fin de un gesto. El usuario tiene en efecto tendencia a ralentizar la velocidad de ejecución de su gesto en ciertos puntos de su trayectoria. Por ejemplo, ralentiza su gesto durante la producción de un corazón, a la altura de las curvas centrales, particularmente porque estas formas son más delicadas de ejecutar. En este caso, la información dada por la medida M revela un nivel de actividad suficiente para eliminar la hipótesis de un final del gesto.

Se observará que esta etapa de validación tiene igualmente como ventaja reducir el tiempo de latencia de respuesta del procedimiento de segmentación temporal según la invención, es decir la duración DF asociada a la determinación de un instante de final del gesto.

En efecto, al ser el intervalo de tiempo DM inferior al intervalo DF, cuando se valida el final del gesto según la medida M, el procedimiento de segmentación temporal se termina más pronto que cuando el final del gesto se valida por el indicador I.

En relación con la Figura 6, se presenta una curva de evolución del indicador de gesto I en función del tiempo, para un segundo ejemplo de gesto y según el segundo modo de realización de la invención que acaba de ser presentado. Esta segunda curva pone en evidencia dos períodos de final del gesto DF_A y DF_B. El primero DF_A no es validado por la etapa de validación R7, por lo que la segmentación continúa hasta DF_B que es validada, y marca el final del gesto.

En relación con la Figura 7, se considera ahora la estructura simplificada de un dispositivo 100 de segmentación temporal de un gesto trazado según un ejemplo de realización de la invención. El dispositivo de segmentación temporal 100 implementa el procedimiento de segmentación temporal según la invención tal como se ha descrito en el presente documento anteriormente.

5

10

15

20

25

30

35

En este ejemplo, el dispositivo 100 está integrado con un equipo terminal ET de un usuario. Según una variante, el dispositivo 100 podría ser independiente y conectado al terminar ET.

Por ejemplo, el dispositivo 100 comprende una unidad de procesamiento 110, equipada por ejemplo con un procesador P1, y controlada por un programa informático Pg1 120, almacenado en una memoria 130 y que implementa el procedimiento de segmentación según la invención.

En el inicio, las instrucciones del código del programa informático Pg1 120 se cargan por ejemplo en una memoria RAM antes de ser ejecutadas por el procesador de la unidad de procesamiento 110. El procesador de la unidad de procesamiento 110 implementa las etapas del procedimiento de segmentación descrito anteriormente, según las instrucciones del programa informático 120. En el ejemplo de realización de la invención considerado, el dispositivo 100 comprende al menos una unidad OBTENER de obtención de un vector de características inerciales en un instante t„, una unidad Pl de cálculo de una potencia instantánea de dicho vector en el instante tn, una unidad CALO I de cálculo de un indicador de gesto I a partir de la primera y segunda potencias medias estimadas en el instante tn, una unidad DET t„i de determinación de un instante tni de inicio del gesto y una unidad DET t„2 de determinación de un instante t„2 de final del gesto y una unidad DEC Gl de decisión de segmentación de un gesto trazado Gl. Estas unidades están controladas por el procesador P1 de la unidad de procesamiento 110.

El dispositivo 100 de segmentación temporal se dispone por tanto para cooperar con el terminal ET y, en particular

los módulos siguientes de este terminal: un módulo NAV de navegación inercial adecuado para medir un vector V de características inerciales en un instante tn, un módulo CLAS/MOD de clasificación de un gesto G reconocido por el dispositivo 100 según la invención o de modelizado de un gesto creado por el usuario del terminal ET, un módulo ACTIVAR ACCIÓN de desencadenamiento de una acción asociada al gesto clasificado o modelizado.

La invención que acaba de ser presentada puede encontrar numerosas aplicaciones. Principalmente, puede utilizarse para segmentar temporalmente un gesto trazado con el fin de preparar su clasificación automática por un módulo de clasificación del terminal.

Ventajosamente, puede también ¡mplementarse en una aplicación de creación de gestos, que propone al usuario asociar un gesto de su elección con una acción de control, como el lanzamiento de una aplicación. Por ejemplo, el usuario dibuja un sobre cada vez que desea lanzar la aplicación de mensajería. El usuario dispone generalmente de varios ensayos para producir el gesto trazado que ha elegido. Un módulo de análisis/clasificación lo caracteriza según una técnica conocida por el experto en la técnica, por ejemplo mediante aprendizaje de modelos de Markov escondidos continuos y almacenado en la memoria de las características obtenidas y la acción de control a la que el usuario desea asociarla. Con la Invención, el gesto producido por el usuario se beneficiará de una segmentación temporal precisa antes de su análisis por el módulo de análisis/clasificación.

Por supuesto, pueden concebirse otras aplicaciones de la Invención.

Claims

5

10

15

20

25

30

35

40

45

50

55

60

65

REIVINDICACIONES

1. Procedimiento de segmentación temporal de un gesto trazado en el transcurso de la ejecución por un usuario con la ayuda de un terminal (ET) equipado con un módulo (M1) de navegación ¡nerclal, adecuado para medir, durante la ejecución del gesto, un vector de características inerciales representativo de un movimiento de dicho terminal, caracterizado por que dicho procedimiento comprende las siguientes etapas, implementadas en cada instante actual:

- cálculo (R2) de un valor de potencia Instantánea de dicho vector en el Instante actual;

- estimación (R3) de un Indicador de gesto a partir de una variación entre dicho valor de potencia instantánea y un valor de potencia media estimado sobre una ventana temporal anterior al Instante actual;

- determinación (R4) de un primer Instante, denominado de inicio del gesto, que corresponde al instante actual, cuando el indicador de gesto estimado toma un valor superior o igual a un primer umbral predeterminado durante un Intervalo de tiempo superior o Igual a un primer intervalo predeterminado;

- a continuación de la detección del ¡nielo del gesto en el primer instante actual, la determinación (R5) de un segundo instante, denominado de final del gesto cuando, en el instante actual, el indicador del gesto estimado toma un valor inferior o igual a un segundo umbral predeterminado durante un intervalo de tiempo superior o igual a un segundo intervalo de tiempo predeterminado.
2. Procedimiento de segmentación temporal de un gesto trazado según la reivindicación 1, caracterizado por que comprende una etapa (R6) de decisión positiva de segmentación temporal de un gesto cuando el primer y el segundo instantes actuales distan en un intervalo de tiempo superior a un tercer umbral predeterminado.
3. Procedimiento de segmentación temporal de un gesto trazado según una de las reivindicaciones 1 y 2, caracterizado por que además la etapa (R3) de estimación de un indicador de gesto comprende la estimación (R3i) de un primer estimador de potencia media de las potencias instantáneas en dicha ventana, siendo ponderadas dichas potencias instantáneas según una primera ponderación, la estimación (R32) de un segundo estimador de potencia media de las potencias instantáneas en dicha ventana, siendo ponderadas dichas potencias instantáneas según una segunda ponderación, y el cálculo (R33) del indicador de gesto en función del valor absoluto de la diferencia entre los valores estimados del primer y del segundo estimador.
4. Procedimiento de segmentación temporal de un gesto trazado según la reivindicación 3, caracterizado por que la segunda ponderación aplica un peso más elevado al valor de la potencia instantánea calculado en el instante actual que la primera ponderación.
5. Procedimiento de segmentación temporal de un gesto trazado según una de las reivindicaciones 3 o 4, caracterizado por que además el primer y segundo estimador se calculan de manera recursiva a partir del valor estimado en el instante anterior y del valor de potencia instantánea calculado en el instante actual.
6. Procedimiento de segmentación temporal de un gesto trazado según una de las reivindicaciones 1 a 5, caracterizado por que además comprende una etapa de inicialización de la etapa (R3) de estimación del indicador de gesto, en un instante inicial, cuyo valor pertenece al grupo que comprende:

Un instante de puesta bajo tensión del equipo terminal;

Un instante de lanzamiento de una aplicación predeterminada;

El instante actual disminuido en un tamaño de ventana temporal predeterminado.
7. Procedimiento de segmentación temporal de un gesto trazado según una de las reivindicaciones anteriores, caracterizado por que además, a continuación de la determinación de un segundo instante de final del gesto, se desencadena una etapa (R7) de validación que comprende las subetapas siguientes de:

- cálculo de una medición de la variación inercial entre los valores instantáneos del vector de características inerciales en el instante actual y unos valores medios estimados de dichas características en una ventana temporal anterior al instante actual;

- comparación del valor de variación calculado con un umbral predeterminado durante un intervalo de tiempo predeterminado;

-validación del instante de final del gesto determinado cuando la medida calculada es inferior a dicho umbral al menos durante el intervalo de tiempo predeterminado.
8. Dispositivo (100) de segmentación temporal de un gesto trazado en el curso de su ejecución por un usuario con la ayuda de un terminal equipado con un módulo de navegación inercial, adecuado para medir, durante la ejecución del gesto, un vector de características inerciales representativas de un movimiento de dicho terminal, caracterizado por que comprende los siguientes módulos, implementado en cada instante actual:

- cálculo (R2) de un valor de potencia instantánea de dicho vector en el instante actual;

- estimación (R3) de un indicador del gesto a partir de una variación entre dicho valor de potencia instantánea y un valor de potencia media estimada sobre una ventana temporal anterior al instante actual;

- determinación (R4) de un primer instante, denominado de inicio del gesto, correspondiente al instante actual, cuando el indicador de gesto estimado toma un valor superior o igual a un primer umbral predeterminado durante

5 un intervalo de tiempo superior o igual a un primer intervalo predeterminado;

- a continuación de la detección de un inicio del gesto en el primer instante actual, determinación (R5) de un segundo instante, denominado de final del gesto cuando, en el instante actual, el indicador de gesto estimado toma un valor inferior o igual a un segundo umbral predeterminado durante un Intervalo de tiempo superior o igual a un segundo intervalo de tiempo predeterminado.

10
9. Terminal de usuario (ET), equipado con un módulo (M1) de navegación ¡nerclal adecuado para medir, durante la ejecución de un gesto, un vector de características inerclales representativo del movimiento de dicho terminal, caracterizado por que comprende un dispositivo (100) de segmentación temporal de un gesto trazado según la reivindicación 8.

15
10. Programa Informático (120 que comprende unas instrucciones para la ¡mplementaclón de las etapas del procedimiento de segmentación temporal según una de las reivindicaciones 1 a 7, cuando es ejecutado por un procesador.

20 11. Soporte de registro legible por un procesador, en el que se registra un programa Informático según la

reivindicación 10.