ES2709051T3 - Control de una interfaz de usuario gráfica - Google Patents

Abstract

Un aparato para permitir a un usuario interaccionar con elementos de control gráfico móviles de una interfaz de usuario gráfica (GUI) utilizando el movimiento de una mano (12) y uno o más dedos (16, 18) de dicha mano (12), en relación con un dedo pulgar (14) en dicha mano, comprendiendo el aparato: una cámara (4) adaptada para montarse de manera extraíble en dicha mano o dedo pulgar (14) del usuario, y un procesador (76) adaptado para recibir señales representativas de imágenes sucesivas captadas por la cámara (4) durante el movimiento de dicha mano (12), y durante el desplazamiento de un dedo de dicha mano en relación con dicho dedo pulgar (14), para analizar dicha sucesión de imágenes con el fin de determinar dicho movimiento, y para comunicarse con la interfaz GUI con el fin de controlar elementos de control gráfico de esta última en función del movimiento determinado, en donde el procesador (76) está adaptado para dividir el campo de visión (I) de la cámara (4) en una pluralidad de sectores, al menos dos de los cuales contienen al menos una zona de alto contraste (42), para determinar al menos un vector (46) relacionado con el movimiento de cada zona de alto contraste (42) entre imágenes sucesivas para determinar vectores de movimientos sectoriales para al menos dos sectores, y para combinar los vectores de movimientos sectoriales con el fin de determinar el movimiento de la mano (12) en tres direcciones de traslación y una dimensión de rotación, y en donde el procesador (76) está adaptado para interpretar el oscurecimiento de una parte (60, 62) en un lado del campo de visión (Ia, Ib, Ic, Id) de la cámara (4) mediante una extremidad de dedo que entra en contacto con dicho dedo pulgar (14) como una instrucción predeterminada para la interfaz GUI.

Description

DESCRIPCION

Control de una interfaz de usuario grafica

CAMPO DE LA INVENCION

Esta invencion se refiere a aparatos y metodos para que un usuario ejerza el control sobre los elementos de una interfaz de usuario grafica (GUI), en particular, pero no exclusivamente, para ordenadores que tienen elementos de control para permitir al usuario controlar el funcionamiento del ordenador y la visualizacion de informacion en el monitor del ordenador.

ANTECEDENTES DE LA TECNICA

Desde el primer uso comercialmente satisfactorio de una interfaz GUI en la decada de los anos 1980, la interfaz GUI ha sido adoptada por la mayona de los desarrolladores de sistemas operativos de ordenador y software de aplicacion, y ahora se utiliza, o esta disponible, para practicamente todos los tipos de ordenadores; las GUI se emplean, ademas, en diferentes formas, en una amplia gama de otros productos, tal como controles industriales, televisores y otros monitores, juegos electronicos y juguetes. En condiciones normales, un usuario interactua con una interfaz GUI utilizando un raton con bola de seguimiento, panel tactil o similar, a menudo actuando de acuerdo con un teclado; la interaccion es posible, ademas, con un solo teclado, sin embargo, a los usuarios les resulta mas rapido, mas facil y, a menudo, mas intuitivo utilizar un raton, etc. en lugar de solamente un teclado. El uso de dicho dispositivo se combina con las caractensticas ventajosamente intuitivas de la interfaz GUI para proporcionar a los usuarios una forma sencilla de interactuar con ordenadores y similares, de modo que el uso de dispositivos como ratones, paneles tactiles, bolas de seguimiento, joysticks, etc., para proporcionar un medio primario de interaccion con una interfaz GUI que actualmente esta presente en todas partes (con un teclado, una consola u otro dispositivo control que proporciona un importante medio secundario de interaccion).

El rapido y continuo desarrollo de dispositivos electronicos y software, y los aumentos masivos en la capacidad de procesamiento y la memoria ahora disponibles para la poblacion general, han comenzado a resaltar las limitaciones y desventajas de la interfaz GUI tfpica o dispositivos de interaccion tales como ratones, paneles tactiles, bolas de seguimiento y similares. Los ratones deben sujetarse adecuadamente por un usuario, y necesitan una superficie preferentemente plana sobre la cual puedan desplazarse con el fin de realizar muchas de sus funciones. Puesto que estan disenados para desplazarse sobre una superficie plana, los ratones solamente pueden proporcionar un control efectivo sobre una interfaz GUI bidimensional (lo que limita su uso en aplicaciones tales como diseno asistido por ordenador o juegos, que a menudo son tridimensionales, o con pantallas y televisores tridimensionales emergentes); ademas, el rango de movimiento de control ofrecido por un raton esta restringido por el tamano de la superficie sobre la que se encuentra el raton (que es una de las razones por las que los ratones a menudo incorporan una "rueda de desplazamiento"). Dichas limitaciones y desventajas se aplican, en mayor o menor medida, a dispositivos de interfaz GUI similares, tales como paneles tactiles, bolas de seguimiento y similares.

En juegos de ordenador, los fabricantes han intentado abordar la interaccion con la interfaz GUI (o juego) de diferentes maneras: inicialmente, el control/interaccion se llevo a cabo a traves de consolas especializadas, que incorporaban muchas de las funciones de los ratones, etc., pero en un formato diferente. Estas consolas comenzaron a equiparse con acelerometros u otros medios que eran capaces de reconocer el movimiento de la consola (tal como por el hecho de que la consola tenga un transmisor de infrarrojos, supervisando el movimiento de la consola mediante sensores de infrarrojos) y traduce este movimiento reconocido en instrucciones para la interaccion jugador-juego. Las consolas disenadas para sostenerse con las dos manos fueron sustituidas por consolas mas pequenas que un usuario podfa sostener en una sola mano, con lo que se permite al usuario jugar juegos electronicos tales como tenis o golf. El documento US 2012/0268622 da a conocer un sensor de inclinacion basado en flujo optico para determinar el movimiento de una camara movil en movimiento con el fin de determinar la entrada de un usuario a una aplicacion, lo que implica la captura de una serie de imagenes procedentes de la camara en movimiento y la comparacion de caractensticas estacionarias presentes en la serie de imagenes. Un avance posterior y continuo en el campo de los juegos es proporcionar una forma de registrar movimientos o gestos realizados por el usuario (en lugar de algo que el usuario sostiene o lleva) y traducirlos en instrucciones para el juego; dicho enfoque esta siendo ahora adoptado por los fabricantes de otros equipos, tales como los asf denominados televisores "inteligentes", en donde cada vez es mas comun permitir que un usuario interactue con la interfaz GUI solamente a traves de gestos. Tal enfoque es atractivo, puesto que facilita una interaccion muy intuitiva, sin embargo, tiene una serie de desventajas. Requiere sensores sofisticados y sensibles para capturar primero el movimiento de un usuario, a continuacion, requiere cantidades significativas de capacidad de procesamiento para analizar el movimiento y traducirlo en las instrucciones o controles que estan destinados al usuario y, ademas, causan una latencia importante; como resultado, dichos sistemas hoy en dfa son razonablemente fiables en la interpretacion de movimientos bruscos y en convertirlos en controles para la interfaz GUI, pero no son tan fiables cuando se trata de movimientos o gestos mas pequenos o mas precisos y/o rapidos. A menudo tienen un campo de vision limitado, lo que limita el rango de movimiento del usuario, o requieren alguna forma de rastreo del usuario, arriesgandose a ser confundidos por movimientos distintos a los del usuario, y puesto que son mas fiables con movimientos bruscos son intnnsecamente lentos para dar respuesta, y estan limitados en el rango de las diferentes funcionalidades que pueden proporcionar en la actualidad, debido a que el rango de movimientos bruscos disponibles para un usuario es limitado.

El documento US 2009/0322673 A1 describe un dispositivo para "mecanografiado libre", es decir, un dispositivo que permite al usuario de un ordenador teclear diferentes combinaciones digitales en una superficie plana sin necesidad de ningun tipo de teclado convencional. El dispositivo utiliza el cambio maximo en el contraste detectado desde una camara montada en la muneca para detectar los bordes de un dedo y de la superficie plana, con el fin de determinar que dedo toca la superficie y, de este modo, determinar que letra, u otra orden, ha “escrito” el usuario.

SUMARIO DE LA INVENCION

En un primer aspecto de la idea inventiva, de conformidad con la reivindicacion 1, la presente invencion da a conocer un aparato para permitir que un usuario interactue con elementos de control grafico moviles de una interfaz de usuario grafica (GUI) mediante el uso del movimiento de una mano y uno o mas dedos de dicha mano, en relacion con un dedo pulgar en dicha mano, comprendiendo el aparato: una camara adaptada para su montaje, de manera extrafble, en dicha mano o dedo pulgar del usuario, y un procesador adaptado para recibir senales representativas de imagenes sucesivas captadas por la camara durante el movimiento de dicha mano, y del movimiento de los dedos de dicha mano, en relacion con dicho dedo pulgar, con el fin de analizar dichas imagenes sucesivas para determinar dicho movimiento, y para comunicarse con la interfaz GUI para supervisar sus elementos de control grafico de conformidad con el movimiento determinado, en donde el procesador esta adaptado para dividir el campo de vision de la camara en una pluralidad de sectores, al menos dos de los cuales contienen al menos una zona de alto contraste, para determinar al menos un vector relacionado con el movimiento de cada zona de alto contraste entre imagenes sucesivas de modo que se determinen vectores de movimientos sectoriales para al menos dos sectores, y para combinar los vectores de movimientos sectoriales con el fin de determinar el movimiento de la mano en tres dimensiones de traslacion y una de rotacion, y en donde el procesador esta adaptado para interpretar el oscurecimiento de una parte en un lado del campo de vision de la camara con una punta de los dedos que entra en contacto con dicho dedo pulgar, como una instruccion predeterminada para la interfaz GUI.

Con dicha disposicion, un usuario puede adquirir la funcionalidad de movimiento ofrecida por dispositivos de interfaz GUI convencionales, tal como un raton, sin tener que sostener nada, simplemente moviendo la mano a la que esta conectada la camara. Este movimiento es absoluto, ya que no es necesario que la camara o la mano apunten directamente a la interfaz GUI, o incluso al elemento de la interfaz GUI que se esta controlando; aunque, en la practica, probablemente sena mas intuitivo para el usuario senalar el elemento. La camara, que puede estar montada en el dedo pulgar del usuario, no esta necesariamente orientada hacia el elemento de la interfaz GUI que se esta controlando; puesto que el procesador reacciona a los movimientos que se determinan a partir de las diferencias entre imagenes sucesivas captadas por la camara, la camara puede apuntar en cualquier direccion, aunque en la practica esta previsto que la forma mas intuitiva de funcionamiento sea que un usuario apunte al elemento de GUI con un dedo mdice y a continuacion, desplace la mano en la direccion en que el usuario desea que el elemento se desplace, mientras mantiene una relacion entre sf practicamente constante de las posiciones del dedo pulgar y de los demas dedos de la mano. Ademas, al utilizar etapas de procesamiento bastante simples (segun se describiran mas adelante) para analizar las imagenes captadas por la camara simple, es posible que una unica camara proporcione informacion sobre cuatro grados de movimiento de la mano (tres de traslacion y uno de rotacion); lo que antecede permite que esta invencion se utilice para proporcionar el control de una interfaz GUI en tres dimensiones, una funcion que esta denegada a los dispositivos de interfaz GUI convencionales, tales como ratones. Tal disposicion no esta restringida por el tamano de cualquier superficie, puesto que un usuario puede orientar, o mover, su mano en cualquier direccion, en un angulo de mas de 360 grados si fuera necesario (efectuando un movimiento circular del brazo completo) y de ese modo, mover el campo de vision de la camara en una extension efectivamente ilimitada, controlando asf el movimiento de un puntero o cursor, a modo de ejemplo, dentro de una interfaz GUI en la misma extension, lo que elimina el requisito de una rueda de desplazamiento. Mediante dicha disposicion, un usuario puede cambiar, rapidamente, entre utilizar la camara para controlar elementos en la interfaz GUI, y usar el teclado sin tener que levantar y realinear el raton u otro dispositivo con la interfaz GUI, el hecho de apuntar a la interfaz GUI con el aparato de la presente invencion se hace intrmsecamente mas rapido, e incluso mas intuitivo, que utilizando un raton u otros dispositivos conocidos.

El aparato puede comprender una camara, un acelerometro de 3D, de forma opcional, un procesador para procesar la alimentacion de video directamente en senales de GUI, y una unidad de suministro de energfa, que se puede poner en practica en un modulo muy pequeno y autonomo que se puede conectar al dedo pulgar de un usuario mediante un anillo o correa elastica o, de forma similar, a la mano o la muneca. Se puede proporcionar un transmisor en el modulo, para transmitir las senales procesadas, o las senales no procesadas a un procesador distante para la realizacion del analisis, etc. Este procesador distante se puede incorporar, con un receptor adaptado para comunicarse con el transmisor, en el dispositivo en que opera la interfaz GUI, o puede ser un software basado en el controlador del dispositivo de modo que el procesamiento de la imagen se pueda realizar internamente en el dispositivo en que opera la interfaz GUI, tal como el ordenador, tableta electronica, TV o consola de juegos. La disposicion del transmisor/receptor puede ser una WLAN, WiFi, Bluetooth o un sistema similar. Dicha disposicion es una mejora en los dispositivos de interfaz GUI existentes puesto que, segun se menciono con anterioridad, un usuario no tiene que sostener nada, una vez que el modulo ha sido montado o atado a la mano, el dedo pulgar o la muneca del usuario, para controlar la interfaz GUI.

Con el fin de permitir que el modulo sea lo mas pequeno posible, pero que pueda utilizarse durante penodos de tiempo razonables, es importante que la disposicion sea eficiente energeticamente; en consecuencia, el modulo puede adaptarse para desactivarse o entrar en modo de latencia, o puede existir un interruptor en el anillo o la correa para desactivar el modulo, o lo que antecede se puede poner en practica, tambien, por el usuario tocando una superficie solida, tal como una mesa, cuando el usuario no desea pasar ninguna instruccion a la interfaz GUI, o donde no haya habido movimientos de mano instructivos durante un penodo de tiempo predeterminado. Se podna utilizar el mismo interruptor para encender o activar el modulo, o esto podna realizarse tambien por el usuario agitando la mano (esta circunstancia se puede detectar mediante un acelerometro proporcionado en el modulo y con el movimiento de teclado descrito anteriormente, y tambien para mejorar la calidad del movimiento manual percibido, siendo una forma redundante de detectar su movimiento).

La camara se puede adaptar para ser sensible a zonas de alto contraste en su campo de vision, y el procesador puede adaptarse en su analisis para efectuar un seguimiento de dichas zonas de alto contraste y para comparar la posicion de dichas zonas de alto contraste en imagenes sucesivas para determinar el movimiento de dichas zonas de alto contraste entre imagenes de modo que se determine el movimiento de la mano correspondiente. La camara puede ser una camara de video normal, o puede estar habilitada con infrarrojos (o puede existir una camara o sensor de infrarrojos por separado), el procesador esta adecuadamente programado para buscar zonas de alto contraste, tales como una ventana, un marco de puerta o cualquier cosa en las imagenes de la camara que tenga un pixel oscuro junto a uno claro, con el fin de determinar el movimiento absoluto (es decir, relativo al entorno circundante) de la mano del usuario (o, con mayor exactitud, el movimiento absoluto de la camara) mediante el analisis del movimiento en el campo de vision de la camara a partir de las diferencias entre imagenes de la camara sucesivas.

El procesador esta adaptado para dividir el campo de vision de la camara en una pluralidad de sectores, y para buscar en cada sector al menos una zona de alto contraste, para determinar, al menos, un vector bidimensional relacionado con el movimiento de cada zona de alto contraste entre imagenes sucesivas. Los vectores de cada zona de alto contraste, en cada sector, se analizan y combinan con el fin de obtener un Vector Bidimensional General para cada sector, y cada vector de movimiento del sector general individual se procesara para determinar el movimiento bidimensional o tridimensional (cuando este habilitado) de la mano (o camara). El hecho de tener varios sectores y vectores de movimientos sectoriales general mejora la precision de la deteccion de movimiento y, ademas, permite al procesador determinar el movimiento en diferentes posiciones de la vision de la camara, pudiendo asf interpretar si un objeto se esta acercando o alejando y detecta un movimiento tridimensional de la camara. En el caso de que existan muy pocas zonas de alto contraste en el campo de vision de la camara (tal como en el caso en que la camara esta dirigida hacia una superficie monocromatica), el procesador podna activar la capacidad de infrarrojos, utilizar el acelerometro incorporado o podna esperar hasta que suficientes zonas de alto contraste entren al campo de vision de la camara y/o elegir ignorar algunas de las imagenes captadas por la camara, o podna hacer que la interfaz GUI muestre un mensaje para avisar al usuario. Con el fin de compensar los entornos en donde existen pocas caractensticas de alto contraste para ser recogidas por la camara, la disposicion puede comprender otra camara, alineada en una direccion diferente con respecto a la primera camara de modo que capture un campo de vision distinto. El procesador puede analizar diferencias entre cualesquiera imagenes proporcionadas siempre que esten en orden temporal (es decir, la comparacion se realiza entre una primera imagen y cualquier imagen capturada posteriormente), y el termino "sucesivo", aqrn utilizado, ha de interpretarse en consecuencia. Los vectores relacionados con el movimiento de cada sector de alto contraste pueden ser, de forma adecuada, vectores de direccion y/o velocidad.

Hasta ahora, la invencion se ha descrito con respecto a su capacidad para emular la funcionalidad de movimiento de dispositivos de interfaz de GUI convencionales. El procesador esta adaptado, ademas, para interpretar el oscurecimiento de una parte importante del campo de vision de la camara causado por una yema del dedo que entra en contacto con dicho dedo pulgar como una instruccion predeterminada para la interfaz GUI.

Dicha disposicion puede contemplarse facilmente cuando la camara esta montada de manera que mire a lo largo del dedo pulgar del usuario. Cuando el usuario coloca la punta de su dedo mdice contra la punta del dedo pulgar de su mano derecha, se oscurece la parte de la mano izquierda del campo de vision de la camara. El procesador puede configurarse, o programarse, para interpretar dicho gesto operativo exactamente igual que un raton interpreta una pulsacion en el boton izquierdo de un raton configurado para la mano derecha, con un breve toque del dedo mdice sobre el dedo pulgar siendo equivalente a un "clic izquierdo" del raton, un doble toque como un "doble clic izquierdo" y un unico toque, prolongado o sostenido siendo equivalente a un "clic y arrastre" (con el movimiento de "arrastre" proporcionado por la mitad no oscurecida del campo de vision de la camara); cuando un usuario toca su dedo medio contra la punta del dedo pulgar, la parte derecha del campo de vision de la camara queda oscurecida, y esto puede interpretarse, de forma analoga por el procesador, de modo que proporciona la misma funcionalidad que el boton derecho del raton, un doble toque como un "doble clic derecho" y un toque unico, prolongado o sostenido es equivalente a un "clic derecho y seleccion de menu" (con el movimiento de la "seleccion de menu" siendo proporcionado por la mitad no oscurecida del campo de vision de la camara). Tal como se apreciara por los expertos en la materia, dicha disposicion es facilmente reconfigurable para su uso con la mano derecha y la mano izquierda, del mismo modo que un raton convencional. Se puede proporcionar una funcion adicional cuando los dedos mdice y medio entran en contacto con la punta del dedo pulgar simultaneamente; en este caso, podna oscurecerse el campo de vision completo de la camara, por lo que este gesto no se podna utilizar para proporcionar una funcionalidad de "arrastre", pero podna proporcionar otras funciones de control, tal como un doble clic, que activa un programa de interfaz de orden verbal, conmutacion entre aplicaciones, o alguna otra funcion deseada predeterminada para una aplicacion de juego, a modo de ejemplo. Tal como ya se menciono, las disposiciones de conformidad con la presente invencion obvian el requisito de una rueda de desplazamiento, sin embargo, esta y otras funciones podnan ser proporcionadas por un usuario que emplee dos disposiciones similares, una en cada mano (a modo de ejemplo, para permitir el acercamiento o alejamiento visual de un documento, o 'apuntando y disparando' dos armas al mismo tiempo en un juego en primera persona), algo que no es facilitado por ratones convencionales, etc., ni tan intuitivo como en la presente invencion.

La invencion da a conocer, ademas, un metodo segun se define en la reivindicacion 9.

Tambien se describe: El uso del gesto de cerrar la punta de un dedo mdice sobre la punta de un dedo pulgar de una mano de un usuario como una instruccion predeterminada para una interfaz GUI; el uso del gesto de cerrar la punta de un dedo medio sobre la punta de un dedo pulgar de una mano del usuario como una instruccion predeterminada para una interfaz GUI; el uso del gesto de cerrar, de forma simultanea, la punta de un dedo mdice y la punta del dedo medio sobre la punta del dedo pulgar, todos de una misma mano del usuario, como una instruccion predeterminada para una interfaz GUI, y el uso de golpeteo o sacudida de una mano de un usuario como una instruccion predeterminada para una interfaz GUI. Las instrucciones predeterminadas pueden emular las funciones que un raton informatico puede proporcionar a una interfaz GUI. Segun se entiende de lo que antecede, estos gestos pueden aplicarse o detectarse facilmente de diferentes maneras o secuencias para proporcionar una variedad de diferentes instrucciones o funciones a partir de una pluralidad de gestos similares, con el fin de proporcionar al usuario una forma sencilla e intuitiva de interactuar con y/o controlar un ordenador, tableta electronica, consola de juegos, TV, o similar, a traves de su GUI.

BREVE DESCRIPCION DE LOS DIBUJOS

Una forma de realizacion de la presente invencion se describira ahora, a modo de ejemplo, con referencia a las Figuras adjuntas en las que:

La Figura 1a es una vista de un dispositivo, para su ajuste a un dedo pulgar del usuario, que forma parte de un aparato de conformidad con la invencion;

La Figura 1b ilustra el dispositivo de la Figura 1a ajustado al dedo pulgar de un usuario;

La Figura 1c ilustra la vista capturada por la camara del dispositivo de la Figura 1a;

La Figura 2 ilustra el proceso de seguimiento de movimiento de conformidad con la invencion;

Las Figuras 3a a 3d ilustran como el aparato, de conformidad con la presente invencion, emula la funcion de "clic" de un raton convencional, y

La Figura 4 es una vista esquematica de un aparato de conformidad con la invencion.

DESCRIPCION DETALLADA DE LAS FORMAS DE REALIZACION

La Figura 1a ilustra un dispositivo 2 que se ajusta al dedo pulgar de un usuario que comprende un modulo de camara 4 y una correa elastica 6; el modulo de camara 4 tiene una lente 8, y se proporciona un interruptor 10 en la correa 6 para que un usuario pueda desactivar el dispositivo 2 y activarlo desde un estado inactivo. El dispositivo 2 se ajusta al dedo pulgar del usuario 14 (vease Figura 1b) con la lente de la camara 8 apuntando a lo largo del dedo pulgar del usuario (los expertos en la tecnica apreciaran que el dispositivo 2 podna ajustarse, de forma alternativa, en la mano o muneca del usuario, aunque actualmente se considera el montaje en el dedo pulgar 14 como el mejor modo). Tal como se ilustra en la Figura 1b, el dedo mdice 16 y el dedo medio 18 del usuario estan extendidos, y el tercer dedo 20 y el menique del usuario (no ilustrados) estan curvados hacia arriba en la palma de la mano. Cuando el usuario mueve su mano hacia arriba, en la direccion indicada por la flecha A, los elementos en el campo de vision I de la camara (vease Figura 1c), se mueven en la direccion de las flechas B. La Figura 1c es una vista ilustrativa del tipo de imagen que se podna capturar por la camara: en el campo de vision I son una ventana 30, un jarron de flores 32, la parte superior de una mesa 34 y un cuadro de imagen 36.

Haciendo referencia ahora a la Figura 2, el aparato de conformidad con la invencion procesa la imagen I' dividiendo el campo de vision en sectores, que se ilustran aqrn como un patron de cuadncula rectilmea 40, e identifican tantos elementos de sectores individuales de la imagen I' que tienen un alto contraste 42, tal como una esquina, una lmea horizontal o vertical o union correspondiente; por "alto contraste" se entiende cualquier punto en donde un pixel oscuro esta inmediatamente adyacente a un pixel claro. Ejemplos de dichas zonas de alto contraste se indican por las casillas en la vista del lado de la mano derecha de la Figura 2 (para fines de claridad, solamente unas pocas de estas zonas estan indicadas por el numero de referencia 42). La parte inmediatamente debajo de la imagen, I' es una vista ampliada del sector inferior de la mano izquierda 44 de la cuadncula 40; lo anterior ilustra las zonas de alto contraste 42. De conformidad con la invencion, un procesador de ordenador (no ilustrado) compara la posicion de estas zonas de alto contraste 42 en una primera imagen con su posicion en una segunda imagen posterior, con el fin de determinar un vector de movimiento 46 para cada zona de alto contraste dentro de ese sector 44. Estos vectores de movimiento 46 se combinan mediante un proceso algontmico adecuado (dichos algoritmos son bien conocidos en la tecnica) con el fin de proporcionar un vector de movimientos sectoriales unico 48, que representa el movimiento del Sector 44 en las direcciones XY y, como opcion, rotacionalmente en el plano XY. Un proceso algontmico adicional (que se ilustra en la imagen inferior de la Figura 2) combina los vectores de movimientos sectoriales 48 para poder determinar el movimiento del modulo de la camara; tal como sera evidente para los expertos en la tecnica, lo anterior permite que el movimiento del modulo de la camara, y por lo tanto el movimiento del dedo pulgar del usuario (y, en consecuencia, la mano) se determine en las direcciones X, Y Z (es decir, en tres dimensiones) , y tambien rotacionalmente sobre el eje de la lente de la camara. Debido al hecho de que las zonas particulares de alto contraste 42 elegidas pueden introducir limitaciones a este proceso (a modo de ejemplo, si una caractenstica elegida como una zona de alto contraste es lineal, el software solamente podra ser capaz de rastrear el movimiento perpendicular a la caractenstica lineal), es preferible que esten disponibles varias zonas de alto contraste, y que se puedan determinar varios vectores de movimientos sectoriales, con el fin de determinar el movimiento de la mano del usuario con suficiente precision. Posteriormente, el movimiento determinado se traduce en instrucciones para mover, o hacer funcionar, un elemento de una interfaz GUI (no ilustrada) de una forma analoga a la forma en que se traduce el movimiento de un raton convencional para interactuar con una interfaz GUI, como es bien conocido en la tecnica. Sin embargo, debido a la capacidad de la presente invencion para rastrear el movimiento en tres dimensiones, y de forma rotacional, el aparato de conformidad con la presente invencion se puede utilizar para proporcionar interacciones tridimensionales con una interfaz GUI (con una modificacion adecuada, en gran parte rutinaria, del software implicado).

Las Figuras 3a a 3d ilustran como un usuario puede emular la capacidad de "clic" de un raton convencional utilizando un aparato de conformidad con la invencion. Al lado de la mano izquierda, en las Figuras, se ilustra la mano derecha 12 de un usuario (con el dispositivo 2 colocado en el dedo pulgar 14 del usuario), realizando diferentes gestos, y a la derecha se ilustra el efecto de cada gesto realizado en el campo de vision de la lente de la camara. En consecuencia, la Figura 3a ilustra la mano de un usuario en la disposicion ilustrada en la Figura 1b (dedo pulgar 14 y dedos mdice y medio 16, 18 extendidos, tercer dedo 20 y menique curvados en la palma); en este caso, la imagen Ia, capturada en el campo de vision de la camara es, a modo de ejemplo, la misma que en la Figura 1c.

Cuando el usuario pone la punta de su dedo mdice 16 en contacto con la punta de su dedo pulgar 14, tal como se ilustra en la Figura 3b, el efecto en la imagen Ib capturada por la camara es ocultar la mitad izquierda de la mano izquierda 60 de la imagen. Cuando el usuario pone la punta de su dedo medio 18 en contacto con la punta de su dedo pulgar 14, como se muestra en la Figura 3c, el efecto en la imagen Ic, capturada por la camara, es oscurecer la mitad de la mano derecha 62 de la imagen. Cuando el usuario coloca la punta de sus dedos mdice y medio 16, 18 en contacto con la punta de su dedo pulgar 14, de forma simultanea, tal como se ilustra en la Figura 3d, el efecto en la imagen Ib, capturada por la camara, es oscurecer ambas mitades 60, 62 de la imagen.

Tal como se describio anteriormente, el reconocimiento de que el gesto ilustrado en la Figura 3b es el equivalente funcional de un "clic izquierdo" en un raton convencional, y que el gesto de la Figura 3c es equivalente a un "clic derecho", es una caractenstica significativa y ventajosa de la presente invencion. Ademas, el gesto de la Figura 3d puede proporcionar una funcion adicional que, en condiciones normales, no se ofrece en un raton convencional debido a la dificultad practica de manipular los botones del raton mientras se sostiene y/o mueve el raton sobre una superficie; esta funcion se puede adaptar a cualquier GUI particular con la que se este interactuando, tal como una orden para iniciar un programa/aplicacion de orden verbal cuando interactua con un ordenador, o una orden particular cuando interactua con un juego.

La Figura 4 ilustra, esquematicamente, una puesta en practica del aparato de conformidad con la invencion. El modulo 4 del dispositivo 2 se ilustra mediante el bloque 70; estando integrado con el modulo 4/dispositivo 2: una camara 72 que tiene una lente 8, una fuente de alimentacion de energfa 74 (tal como una batena), un procesador 76, un transmisor 78, un interruptor de apagado/encendido 80 y un acelerometro 82, todos ellos conectados de forma funcional y electricamente, segun se conoce en esta tecnica. Se ilustra en lmeas de puntos, de forma opcional, una camara adicional 84 con lente 8'.

En un modulo separado 86, dispuesto para comunicarse con una interfaz GUI estan: un receptor 90 adaptado para la comunicacion con el transmisor 90, y un segundo procesador 88. El aparato en la Figura 4 funciona como sigue: el modulo 4 esta unido al dedo pulgar o la mano de un usuario; la camara 72 captura imagenes a medida que la mano del usuario se mueve; el procesador 76 recibe las imagenes captadas y las reduce a una senal, que pasa al transmisor 78 y se transmite al receptor 90; por ultimo, el procesador 88 decodifica las senales recibidas por el receptor 90, realiza los procesos algontmicos descritos con anterioridad para determinar el movimiento absoluto de la mano del usuario (si aun no lo ha hecho el procesador 76) y lo comunica como una instruccion, o una serie de instrucciones, a la interfaz GUI. El modulo separado puede co-situarse, de forma conveniente con, incorporarse en, o ser un recurso operado por el operador del dispositivo que proporciona la interfaz GUI.

Si el sistema no se utiliza durante un penodo, el procesador 76 puede desactivar, automaticamente. El modulo 4; como alternativa, el usuario puede hacer funcionar el interruptor 80, o tocar una superficie solida similar a una mesa para desconectarse y ahorrar energfa de la batena. La activacion puede realizarse mediante el uso del interruptor por el usuario 80, o simplemente agitando la mano, que se detecta mediante el acelerometro 82.

Por supuesto, ha de entenderse que se pueden realizar numerosas variaciones a la forma de realizacion descrita anteriormente sin desviarse del alcance de la presente invencion.

A modo de ejemplo, segun se describio con anterioridad, la camara 72 podna estar habilitada por infrarrojos. De forma adicional, o como alternativa, la camara podna ser una camara de video estandar y una camara adicional 84 instalada; esta camara adicional podna ser una camara de infrarrojos, o podna ser otra camara de video. Aunque se ilustran con las dos lentes de la camara 8, 8' practicamente alineadas, podnan apuntar en direcciones diferentes, lo que sena ventajoso cuando el aparato este siendo utilizado en un entorno en donde existen pocas caractensticas de fondo de alto contraste para que la camara 8 las capte, o en condiciones en donde haya un bajo nivel de luz ambiental. Aunque se describio anteriormente como teniendo procesadores 76, 88, tanto en el modulo manual 4 como en el control a distancia separado, estos podnan combinarse, ya sea en el modulo 4 o en el modulo distante, y la funcion de procesamiento algontmico se puede dividir entre los dos procesadores, o combinarse en uno (o incluso podna ponerse en practica en el dispositivo que proporciona la interfaz GUI) con la adaptacion adecuada del software necesario.

Claims (11)

REIVINDICACIONES

1. Un aparato para permitir a un usuario interaccionar con elementos de control grafico moviles de una interfaz de usuario grafica (GUI) utilizando el movimiento de una mano (12) y uno o mas dedos (16, 18) de dicha mano (12), en relacion con un dedo pulgar (14) en dicha mano, comprendiendo el aparato:

una camara (4) adaptada para montarse de manera extrafble en dicha mano o dedo pulgar (14) del usuario, y un procesador (76) adaptado para recibir senales representativas de imagenes sucesivas captadas por la camara (4) durante el movimiento de dicha mano (12), y durante el desplazamiento de un dedo de dicha mano en relacion con dicho dedo pulgar (14), para analizar dicha sucesion de imagenes con el fin de determinar dicho movimiento, y para comunicarse con la interfaz GUI con el fin de controlar elementos de control grafico de esta ultima en funcion del movimiento determinado,

en donde el procesador (76) esta adaptado para dividir el campo de vision (I) de la camara (4) en una pluralidad de sectores, al menos dos de los cuales contienen al menos una zona de alto contraste (42), para determinar al menos un vector (46) relacionado con el movimiento de cada zona de alto contraste (42) entre imagenes sucesivas para determinar vectores de movimientos sectoriales para al menos dos sectores, y para combinar los vectores de movimientos sectoriales con el fin de determinar el movimiento de la mano (12) en tres direcciones de traslacion y una dimension de rotacion, y en donde el procesador (76) esta adaptado para interpretar el oscurecimiento de una parte (60, 62) en un lado del campo de vision (la, Ib, Ic, Id) de la camara (4) mediante una extremidad de dedo que entra en contacto con dicho dedo pulgar (14) como una instruccion predeterminada para la interfaz GUI.

2. El aparato segun la reivindicacion 1, en donde la camara (4) esta adaptada para montarse en el dedo pulgar (14) de dicha mano (12).

3. El aparato segun la reivindicacion 1 o 2, en donde el procesador (88) esta situado a distancia de la camara (4), estando provisto un transmisor (78) para transmitir senales desde la camara (4) a un receptor (90) situado con el procesador (88).

4. El aparato segun la reivindicacion 1,2 o 3, en donde la camara (4) esta adaptada para ser sensible a zonas de alto contraste (42) en su campo de vision (I), y el procesador (76, 88) esta adaptado en su analisis para efectuar un seguimiento de dichas zonas de alto contraste (42) y para comparar la posicion de dichas zonas de alto contraste en imagenes sucesivas para determinar el movimiento de dichas zonas de alto contraste (42) entre imagenes con el fin de determinar el movimiento de dicha mano (12).

5. El aparato segun cualquiera de las reivindicaciones precedentes, en donde los vectores relacionados con el movimiento de cada sector de alto contraste son velocidades.

6. El aparato segun cualquiera de las reivindicaciones precedentes, que comprende un interruptor (10) adyacente a la camara (4) que se utiliza para desactivar la camara (4) y/o para activar la camara (4).

7. El aparato segun cualquier reivindicacion precedente, que comprende un acelerometro (82).

8. El aparato segun cualquiera reivindicacion precedente, en donde la camara (72) esta habilitada por infrarrojos.

9. Un metodo para interactuar con elementos de control grafico moviles de una interfaz de usuario grafica (GUI), usando una camara (4) instalada, de forma extrafble, en una mano (12) o dedo pulgar (14) de un usuario, usando el movimiento de la mano (12), y de uno o mas dedos (16, 18) de dicha mano (12) en relacion con un dedo pulgar (14) en dicha mano, comprendiendo dicho metodo la recepcion de senales representativas de imagenes sucesivas captadas por la camara (4) durante el movimiento de dicha mano (12), y del movimiento de un dedo de dicha mano en relacion con dicho dedo pulgar (14), analizando dichas imagenes sucesivas para determinar dicho movimiento, controlando un elemento de control grafico de la interfaz GUI de conformidad con el movimiento determinado, dividiendo el campo de vision (I) de la camara (4) en una pluralidad de sectores, al menos dos de los cuales contienen al menos una zona de alto contraste (42), determinando al menos un vector (46) relacionado con el movimiento de cada zona de alto contraste (42) entre imagenes sucesivas para determinar vectores de movimientos sectoriales para al menos dos sectores, combinando los vectores de movimientos sectoriales con el fin de determinar el movimiento de la mano (12) en tres dimensiones de traslacion y una de rotacion, comprendiendo el metodo, ademas, la interpretacion del oscurecimiento de una parte (60, 62) en un lado del campo de vision (Ia, Ib, Ic, Id) de la camara (4) mediante una extremidad dedo que entra en contacto con dicho dedo pulgar (14) como una instruccion predeterminada para la interfaz GUI.

10. Un metodo segun la reivindicacion 9, en donde la camara (4) esta orientada en una direccion distinta de directamente al elemento grafico de la interfaz GUI.

11. Un metodo de conformidad con la reivindicacion 9, que comprende la interpretacion del oscurecimiento del campo de vision completo (la) de la camara (4) causado por mas de un dedo de dicha mano (12) que entra en contacto con dicho dedo pulgar como una instruccion predeterminada para la interfaz GUI.