ES2535364T3 - Control ocular de aparato informático - Google Patents

Control ocular de aparato informático Download PDF

Info

Publication number
ES2535364T3
ES2535364T3 ES04445071.6T ES04445071T ES2535364T3 ES 2535364 T3 ES2535364 T3 ES 2535364T3 ES 04445071 T ES04445071 T ES 04445071T ES 2535364 T3 ES2535364 T3 ES 2535364T3
Authority
ES
Spain
Prior art keywords
signal
user
component
gui
hii
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES04445071.6T
Other languages
English (en)
Inventor
Christoffer Björklund
Henrik Eskilsson
Magnus Jacobson
Mårten SKOGÖ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2535364T3 publication Critical patent/ES2535364T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)

Abstract

Una disposición para controlar un aparato informático (130) asociado a un visor gráfico (120), presentando el visor (12) una representación de al menos un componente de GUI (220) que está adaptado para ser manipulado en base a comandos generados por un usuario, y al menos uno de dichos, al menos uno, componentes de GUI (220a, ..., 220n) está adaptado para generar al menos una respectiva señal de control de salida (Cs, ..., Ca) tras una manipulación por el usuario del componente (220a, ..., 220n), comprendiendo la disposición un motor de sucesos (210) adaptado para recibir una señal de datos de rastreo ocular (DOJO) que describe un punto de atención (x, y) de un usuario (110) en el visor (120) y, basado al menos en la señal de datos de rastreo ocular (DOJO), producir un conjunto de señales de salida de sucesos no controladores de cursor (D-HIi) que influyen sobre dicho al menos un componente de GUI (220), describiendo cada señal de salida de sucesos no controladores de cursor (D-HIi) un aspecto particular de la actividad ocular del usuario (110) con respecto al visor (120), caracterizada porque el motor de sucesos (210) está adaptado para: recibir una solicitud de señal de control (Ra, ..., Rn) desde cada uno de dichos, al menos uno, componentes de GUI (220a, ..., 220n), definiendo la solicitud de señal de control (Ra, ..., Rn) un subconjunto del conjunto de señales de salida de sucesos no controladores de cursor (D-HIi), que es requerido por el componente de GUI (220a, ..., 220n) para funcionar según se pretende, producir las señales de salida de sucesos (D-HIi) que son solicitadas por dichos, al menos uno, componentes de GUI (220a, ..., 220n) en la solicitud de señal de control (Ra, ..., Rn), y suministrar las señales de salida de sucesos no controladores de cursor (D-HIi) a dicho al menos un componente de GUI (220a, ..., 220n) de acuerdo a cada respectiva solicitud de señal de control (Ra, ..., Rn).

Description

E04445071
22-04-2015
DESCRIPCIÓN
Control ocular de aparato informático
5 Los antecedentes de la invención y la técnica anterior
La presente invención se refiere, en general, a sistemas de rastreo ocular basados en ordenador. Más específicamente, la invención se refiere a una disposición para controlar un aparato informático de acuerdo al preámbulo de la reivindicación 1 y a un correspondiente método de acuerdo al preámbulo de la reivindicación 11. La invención también se refiere a un programa de ordenador de acuerdo a la reivindicación 21 y a un medio legible por ordenador de acuerdo a la reivindicación 22.
La interacción entre humanos y ordenadores fue revolucionada por la introducción de la interfaz gráfica de usuario (GUI). En concreto, mediante ello, se proporcionó un medio eficaz para presentar información a un usuario con un
15 ancho de banda que superaba extensamente cualquier canal anterior. A través de los años, la velocidad a la cual puede ser presentada la información ha aumentado además mediante pantallas en color, visores ampliados, objetos gráficos inteligentes (por ejemplo, ventanas emergentes), marcadores de ventana, menús, barras de herramientas y sonidos. Durante este tiempo, sin embargo, los dispositivos de entrada han permanecido esencialmente inalterados, es decir, el teclado y el dispositivo puntero (por ejemplo, ratón, bola de rastreo o panel táctil). En años recientes, han sido introducidos los dispositivos de escritura manual (por ejemplo, en forma de un lápiz o bolígrafo gráfico). No obstante, si bien el ancho de banda de salida se ha multiplicado varias veces, el equivalente de entrada ha estado esencialmente inalterado. En consecuencia, ha ocurrido una grave asimetría en el ancho de banda de comunicación en la interacción entre humanos y ordenadores.
25 A fin de reducir esta brecha del ancho de banda, se han hecho varios intentos para usar dispositivos de rastreo ocular. Sin embargo, en muchos casos estos dispositivos erran el objetivo en uno o varios aspectos. Un problema es que las soluciones de la técnica anterior no logran adoptar una visión integral de las interfaces de entrada al ordenador. Por ello, pueden ser impuestas tareas motrices comparativamente pesadas sobre los ojos, que, de hecho, son órganos estrictamente perceptivos. Habitualmente, esto lleva a síntomas de fatiga y un cierto grado de incomodidad experimentado por el usuario. Esto es específicamente cierto si se usa un rastreador ocular para controlar un cursos en un visor gráfico y, por diversos motivos, el rastreador ocular no logra rastrear suficientemente bien el punto de observación del usuario, por lo que hay un desajuste entre el punto efectivo de observación del usuario y la posición con respecto a la cual es controlado el cursor.
35 En lugar de controlar directamente el cursor, puede usarse una señal de observación ocular para seleccionar una posición inicial adecuada del cursor. El documento US 6.204.828 revela un sistema integrado de colocación de cursor por mirada, o manualmente, que ayuda a un operador a colocar un cursor integrando una señal de observación ocular y una entrada manual. Cuando se detecta una activación mecánica de un dispositivo del operador, el cursor se coloca en una posición inicial que está predeterminada con respecto al área de observación actual del operador. De ese modo, se logra una función de cursos amigable para el usuario.
El documento US 6.401.050 describe un sistema de interacción visual para una estación de vigilancia a bordo de un barco. Aquí, una cámara de rastreo ocular monitoriza el recorrido visual de un operador, la ubicación de la mirada, el tiempo de permanencia, la velocidad del parpadeo y el tamaño de la pupila, para determinar si debería efectuarse
45 una indicación adicional al operador para dirigir la atención del operador a un objeto importante en la pantalla.
El documento US 5.649.061 revela un dispositivo para estimar una decisión mental para seleccionar una indicación visual a partir de la fijación ocular de un espectador y el correspondiente potencial cerebral evocado por el suceso. Un rastreador ocular registra una dirección de visión y, en base a ello, pueden ser determinadas propiedades de fijación, en términos de duración, tamaños de pupila iniciales y finales, saltos y parpadeos. Se extrae un correspondiente potencial cerebral evocado por un único suceso, y una red neural artificial estima un interés de selección en el punto de atención de la mirada. Después de entrenar la red neural artificial, el dispositivo puede luego ser usado para controlar un ordenador solamente por medio de la observación ocular.
55 También se han hecho unos pocos intentos para abstraer datos de entrada generados por el usuario en información de alto nivel, para controlar un ordenador. Por ejemplo, el documento US 2004/0001100 describe una interfaz multimodal de usuario, donde se posibilita un procesamiento flexible de una entrada de usuario sin tener que conmutar manualmente entre distintas modalidades de entrada. En cambio, dentro de los flujos de datos se distinguen distintas categorías de información, según un contexto en el cual se generan los flujos de datos.
Aunque esta estrategia puede mejorar efectivamente la eficacia de la interacción entre hombre y máquina, no ha sido presentada aún ninguna solución multimodal, según la cual los datos de rastreo ocular sean procesados efectivamente. Por el contrario, con solamente muy pocas excepciones, cada una de las interfaces de rastreo ocular de hoy está adaptada para una tarea específica solamente. De tal modo, cualquier procesamiento de datos de 65 rastreo ocular con respecto a una primera aplicación no puede ser reutilizado por una segunda aplicación, y viceversa. Por tanto, si se usan múltiples aplicaciones ocularmente controladas en un único ordenador, se requiere
E04445071
22-04-2015
habitualmente un canal de control específico para cada aplicación.
Sumario de la invención
5 El objeto de la presente invención, por lo tanto, es proporcionar un medio integral de control de un aparato informático en base a la actividad ocular de un usuario, lo que alivia los problemas anteriores y por ello ofrece una eficaz interacción entre hombre y máquina con una cantidad mínima de doble procesamiento.
De acuerdo a un aspecto de la invención, el objeto es logrado por la disposición según lo inicialmente descrito, en el que el motor de sucesos está adaptado para recibir una solicitud de señal de control desde cada uno entre dichos, al menos uno, componentes de GUI. La solicitud de señal de control define un subconjunto del conjunto de señales de salida de sucesos no controladores del cursor, que es requerido por el componente de GUI en cuestión. El motor de sucesos también está adaptado para suministrar señales de salida de sucesos no controladores del cursor a dichos, al menos uno, componentes de GUI, de acuerdo a cada respectiva solicitud de señal de control.
15 Esta disposición es ventajosa porque por ella se logra una interfaz muy flexible hacia aplicaciones cualesquiera que sean controlables por medio de señales de rastreo ocular. Se cree que esto, a su vez, estimula el desarrollo de nuevas aplicaciones de ese tipo y, en consecuencia, hace posible mejoras adicionales de la interacción entre humanos y ordenadores. Además, los recursos de procesamiento del ordenador son liberados para fines alternativos, ya que una señal de datos de rastreo ocular de alto nivel, obtenida con respecto a una aplicación, puede ser reutilizada por una o más aplicaciones adicionales.
De acuerdo a una realización preferida de este aspecto de la invención, el aparato informático también está adaptado para recibir una señal de control de cursor y, en respuesta a la señal de control de cursor, controlar un
25 puntero gráfico en el visor. Así, por ejemplo, el motor de sucesos y la señal de control del cursor pueden interactuar conjuntamente con componentes de GUI representados en el visor, de modo que se logre una interacción muy intuitiva entre el hombre y la máquina.
De acuerdo a otra realización preferida de este aspecto de la invención, al menos un componente de GUI está adaptado para generar al menos una respectiva señal de control de salida, tras una manipulación por el usuario del componente. Esto significa que, manipulando un componente de GUI, el usuario puede hacer que el aparato informático genere señales salientes para una o más unidades externas, tales como una impresora, una cámara, etc. Naturalmente, esta es una característica sumamente deseable. Además, el hecho de que uno o más componentes de GUI puedan generar una señal de control de salida no excluye que, con respecto a uno o más
35 componentes de GUI, las señales de salida de sucesos no controladores del cursor puedan afectar exclusivamente al componente internamente.
De acuerdo a una realización preferida de este aspecto de la invención, el motor de sucesos está adaptado para producir al menos una primera señal de las señales de salida de sucesos no controladores del cursor, en base a un desarrollo dinámico de la señal de datos de rastreo ocular. Por ello, puede usarse un parámetro de tiempo de la actividad ocular del usuario para controlar funciones y procesos del aparato informático. Por ejemplo, el parámetro de tiempo puede reflejar un tiempo de permanencia de la mirada del usuario dentro de una región específica en el visor, identificar un cierto patrón de mirada, etc. Muchos tipos de funciones avanzadas ocularmente controlables pueden por tanto ser realizadas.
45 De acuerdo a otra realización preferida más de este aspecto de la invención, al menos un componente de GUI está adaptado para interpretar una señal de salida de suceso no controlador de cursor como una representación de la intención del usuario. En respuesta a esta intención estimada, se activa una manipulación por el usuario del componente. Por ejemplo, esto puede implicar activar una o más funciones de ordenador en base a una historia de comandos. Esto es ventajoso porque puede simplificarse por ello el procedimiento de entrada de comandos.
De acuerdo a otra realización preferida más de este aspecto de la invención, al menos un componente de GUI está adaptado para interpretar una señal de salida de suceso no controlador de cursor como un nivel estimado de atención del usuario. En respuesta a este nivel estimado de atención, se activa una manipulación por el usuario del
55 componente. Una ventaja alcanzable por ello es que el comportamiento del ordenador puede ser adaptado para coincidir con un nivel actual de atención del usuario.
De acuerdo a otra realización preferida más de este aspecto de la invención, al menos un componente de GUI está adaptado para interpretar una señal de suceso no controlador de cursor como un parámetro del estado mental del usuario y, en respuesta a ello, activar una manipulación por el usuario del componente. Esta característica es deseable porque permite al ordenador comportarse de forma distinta según que el usuario parezca estar centrado / concentrado, distraído, cansado / descentrado o confundido, etc.
De acuerdo a otra realización preferida más de este aspecto de la invención, el motor de sucesos está adaptado
65 para recibir al menos una señal de entrada auxiliar, tal como una señal desde un botón o un conmutador, una señal del habla, un patrón de movimiento de un miembro de entrada, un patrón de gestos, o expresión facial, registrada
E04445071
22-04-2015
por cámara, o una señal de EEG (electroencefalograma). Sobre la base adicional de esta señal auxiliar, el motor de sucesos produce el conjunto de señales de salida de sucesos no controladores de cursor. Por ello, puede usarse una combinación sumamente eficaz de señales de entrada del usuario para controlar el ordenador. En general, estas combinaciones pueden hacerse muy intuitivas y fáciles de aprender.
5 De acuerdo a otro aspecto de la invención, el objeto es logrado por el método según lo inicialmente descrito, en el que una solicitud de señal de control es recibida desde cada uno entre dichos, al menos uno, componentes de GUI. La solicitud de señal de control define un subconjunto del conjunto de señales de salida de sucesos no controladores del cursor, que es requerido por el componente de GUI específico. Las señales de salida de sucesos no controladores del cursor son luego suministradas a dichos, al menos uno, componentes de GUI, de acuerdo a cada respectiva solicitud de señal de control.
Las ventajas de este método, así como las realizaciones preferidas del mismo, son evidentes a partir de la exposición anterior en la presente memoria, con referencia a la disposición propuesta.
15 De acuerdo a un aspecto adicional de la invención, el objeto es logrado por un programa de ordenador, que es directamente cargable en la memoria interna de un ordenador, e incluye software para controlar el método anteriormente propuesto cuando dicho programa es ejecutado en un ordenador.
De acuerdo a otro aspecto de la invención, el objeto es logrado por un medio legible por ordenador, que tiene un programa grabado en el mismo, donde el programa es para controlar un ordenador, para realizar el método anteriormente propuesto.
La invención aumenta drásticamente el ancho de banda disponible para transferir información desde un usuario a un
25 aparato informático, es decir, esencialmente, generando comandos, no necesariamente percibidos como tales, sin embargo, por el usuario. Por lo tanto, este aumento del ancho de banda no deposita ninguna carga de trabajo cognitiva adicional sobre el usuario. Por el contrario, por medio de la invención, la carga de trabajo cognitiva, de hecho, puede ser reducida. Al mismo tiempo, el ancho de banda aumentado refrenda una eficacia mejorada de la interacción entre hombre y máquina.
Además, por medio de la invención, los comandos que han requerido tradicionalmente manipulaciones manuales y /
o dactilares, pueden ser efectuados eficazmente y sin esfuerzo en base a la actividad ocular del usuario. Naturalmente, esto es deseable en una amplia gama de aplicaciones, desde usuarios inválidos de ordenadores, operadores de soporte en un entorno de centro de llamadas (por ejemplo, al ingresar / editar datos en una aplicación
35 de gestión de relaciones con clientes), usuarios de herramientas avanzadas de diseño asistido por ordenador (CAD) y cirujanos, hasta conductores y pilotos que, por diversos motivos, no pueden producir efectivamente comandos basados en la mano o en los dedos. Incluso en situaciones donde los usuarios tienen sus manos y dedos inmediatamente accesibles, la invención puede ser útil para mejorar la ergonomía y reducir el riesgo, por ejemplo, de daños por tensión repetitiva. Alternativamente, el entorno en el cual está colocado el aparato informático puede ser tan limpio o sucio que, o bien el entorno ha de ser protegido de posibles emisiones desde el aparato informático o, por el contrario, este aparato debe ser protegido ante sustancias peligrosas en el entorno y, por lo tanto, ha de ser encapsulado a tal grado que se hace imposible, o al menos no práctico, un ingreso tradicional de entrada de comandos.
45 La invención ofrece una base excelente para desarrollar nuevo software y aplicaciones de ordenador, que sean controlables por los ojos de un usuario. Por ello, a largo plazo, la invención refrenda una integración profunda y espontánea de aplicaciones de interacción ocular en el entorno informático estándar.
Ventajas adicionales, características y aplicaciones ventajosas de la presente invención serán evidentes a partir de la siguiente descripción y las reivindicaciones dependientes.
Breve descripción de los dibujos
La presente invención ha de ser explicada ahora más detenidamente por medio de realizaciones preferidas, que son 55 reveladas como ejemplos, y con referencia a los dibujos adjuntos.
La figura 1 muestra una imagen panorámica de un usuario que controla un aparato informático de acuerdo a la invención;
la figura 2 muestra una disposición para controlar un aparato informático de acuerdo a una realización de la invención;
las figuras 3a a 3b muestran símbolos propuestos que representan un componente de GUI ocularmente controlable en un visor, respectivamente, en una modalidad no observada y una modalidad observada;
65 la figura 4 ilustra una primera realización de acuerdo a la invención, donde se usa una barra propuesta de
E04445071
22-04-2015
herramientas de multivisión;
la figura 5 ilustra una segunda realización de acuerdo a la invención, en base a la barra propuesta de herramientas de multivisión;
5 las figuras 6a a 6b ilustran una tercera realización de acuerdo a la invención, donde los controles de pantalla están adaptados para expandirse tras una manipulación, que se basa en la actividad ocular de un usuario;
la figura 7 ilustra una cuarta realización de acuerdo a la invención, que realiza una función de desplazamiento línea a línea, en base a la actividad ocular de un usuario; y
la figura 8 ilustra, por medio de un diagrama de flujo, un método general de control de un aparato informático de acuerdo a la invención.
15 Descripción de realizaciones preferidas de la invención
La figura 1 muestra una imagen panorámica de un típico caso de uso de acuerdo a la invención. Aquí, un usuario 110 controla un aparato informático 130, en base, al menos parcialmente, a una señal de datos de rastreo ocular DOJO, que describe el punto de atención x, y del usuario 110 en un visor 120. Así, observando una representación de un componente de GUI 220 en el visor 120, el usuario 110 puede generar comandos para el aparato informático
130. Esta manipulación está habilitada, dado que el componente de GUI 220 está adaptado para ser, al menos indirectamente, influido por la señal de datos de rastreo ocular DOJO. La invención supone que la señal de datos de rastreo ocular DOJO puede dar como resultado sucesos relacionados con cualquier tarea realizable por el aparato informático, además de afectar a un cursor / puntero en el visor 120. Debería observarse que, de acuerdo a la
25 invención, cualquier tipo de pantalla o monitor de ordenador, así como combinaciones de dos o más visores individuales, puede representar el visor 120. Por ejemplo, el visor 120 puede estar constituido por un par de pantallas estereoscópicas, un visor de alerta (HUD), un visor montado en la cabeza (HMD) y un medio de presentación para un entorno virtual, tal como los oculares de un par de gafas tridimensionales, o una habitación donde las paredes incluyen pantallas de proyección para presentar un entorno virtual.
Naturalmente, a fin de producir la señal de datos de rastreo ocular DOJO, el visor 120 está asociado a, o incluye, un rastreador ocular. Esta unidad no es un asunto de la presente solicitud de patente y, por lo tanto, no será descrita en detalle aquí. Sin embargo, el rastreador ocular es preferiblemente realizado por la solución descrita en la solicitud de patente sueca 0203457-7, presentada el 21 de noviembre de 2002 en nombre del solicitante.
35 Preferiblemente, una señal de control gráfico C-GR es generada por el aparato informático 130 para lograr información visual de retro-alimentación en el visor 120. La información visual de retro-alimentación es generada en respuesta a comandos cualesquiera del usuario, recibidos por el aparato informático 130, a fin de confirmar al usuario 110 comandos cualesquiera que estén basados en la señal de datos de rastreo ocular DOJO. Una tal confirmación es especialmente deseable cuando los comandos son producidos por medios de órganos perceptores, por ejemplo, los ojos humanos.
De acuerdo a una realización preferida de la invención, además de la señal de datos de rastreo ocular DOJO, el aparato informático 130 está adaptado para recibir una señal de control de cursor K, que controla la posición de un
45 puntero gráfico en el visor 120. Por supuesto, la señal de control gráfico C-GR puede estar basada también en la señal de control de cursor K.
La figura 2 muestra una disposición de acuerdo a una realización de la invención, que puede ser realizada por medio del aparato informático 130 descrito anteriormente con referencia a la figura 1.
La disposición incluye un motor de sucesos 210 y al menos un componente de GUI 220, que está adaptado para ser manipulado en base a comandos generados por el usuario, al menos parcialmente expresados por la señal de datos de rastreo ocular DOJO. El motor de sucesos 210 está adaptado para recibir la señal de datos de rastreo ocular DOJO y, sobre la base de la misma, producir un conjunto de señales de salida de sucesos no controladores de cursor D
55 HIi, que influyen sobre dichos, al menos uno, componentes de GUI 220. Cada señal de salida de sucesos no controladores de cursor D-HIi, a su vez, describe un aspecto particular de la actividad ocular del usuario 110 con respecto al visor 120.
Por ejemplo, una primera señal puede indicar si la mirada del usuario 110 está dirigida hacia el visor en absoluto (es decir, una señal de “mirada en visor”), una segunda señal de salida de suceso no controlador de cursor puede reflejar un tiempo de permanencia de la mirada del usuario 110 dentro de una cierta área en el visor 120, una tercera señal puede designar una fijación de la mirada (en un punto especifico), una cuarta señal puede indicar si la mirada salta o no, una quinta señal puede indicar si la mirada sigue un trayecto llano o no, una sexta señal puede reflejar que el usuario 110 lee un texto y una séptima señal puede ser activada si el usuario 110 parece estar distraído, en
65 base a la señal específica de datos de rastreo ocular DOJO que produce.
E04445071
22-04-2015
De acuerdo a la invención, el motor de sucesos 210 recibe una respectiva solicitud de señal de control Ra, ..., Rn desde cada uno de dichos, al menos uno, componentes de GUI 220a, ..., 220n. La solicitud de señal de control, digamos Ra, define un subconjunto del conjunto de señales de salida de sucesos no controladores de cursor D-HIi que son requeridas por el componente de GUI especifico, digamos 220a, para funcionar según se pretende. El motor
5 de sucesos 210 luego suministra las señales de salida de sucesos no controladores de cursor D-HIi a cada uno de dichos, al menos uno, componentes de GUI 220a, ... , 220n, de acuerdo a la respectiva solicitud de señal de control Ra, ..., Rn.
Se logra un procesamiento eficacísimo si el motor de sucesos 210 produce exclusivamente esas señales de salida de sucesos D-HIi que son efectivamente solicitadas por al menos un componente de GUI. Sin embargo, de acuerdo a la invención, también es concebible que todas las señales de salida de sucesos no controladores de cursor D-HIi que sea posible producir sean siempre generadas por el motor de sucesos 210, independientemente de si una correspondiente solicitud de señal de control haya sido recibida o no. En concreto, esto simplifica el procedimiento y, dependiendo de la aplicación, esta estrategia puede no requerir un procesamiento demasiado extenso.
15 De acuerdo a una realización preferida de la invención, cada componente de GUI 220a, ..., 220n está adaptado para generar al menos una respectiva señal de control de salida Ca, ..., Ca tras una manipulación por el usuario del componente 220a, ..., 220n. Así, además de generar la precitada información visual de retro-alimentación, uno o más dispositivos internos o periféricos pueden ser influidos por medio de las señales de control de salida Ca, ..., Ca. Por ejemplo, puede iniciarse una tarea de impresión, puede ejecutarse una tarea de cálculo, puede despacharse un mensaje de correo electrónico, puede ser activada una cámara para capturar una imagen, etc.
Como se ha mencionado anteriormente, las señales de salida de sucesos no controladores de cursor D-HIi pueden describir muchos aspectos distintos de la señal de datos de rastreo ocular DOJO. De acuerdo a una realización de la
25 invención, al menos una señal de salida D-HIi está basada en un desarrollo dinámico de la señal de datos de rastreo ocular DOJO. Por ello, la señal puede representar un patrón específico de mirada sobre el visor 120. Puede determinarse que el patrón de mirada, a su vez, está constituido, por ejemplo, por saltos, una búsqueda llana, periodos de fijación o lectura.
Una señal de salida de sucesos no controladores de cursor D-HIi también puede indicar datos de ingreso de mirada,
o abandono de mirada. Estos datos son un parámetro que refleja los ejemplos temporales cuando la señal de datos de rastreo ocular DOJO indica que el punto de atención del usuario cae dentro de la representación de un componente de GUI en el visor. Por tanto, los datos de ingreso de mirada son generados cuando la mirada del usuario cae sobre una representación de un componente de GUI en el visor, y los datos de abandono de mirada son
35 generados cuando la mirada es dirigida fuera de esta representación.
El precitado tiempo de permanencia para un componente de GUI es habitualmente definido como el periodo entre los datos de ingreso de mirada y los datos de abandono de mirada, con respecto a un componente de GUI específico. Normalmente, es preferible vincular una señal de activación con el tiempo de permanencia, tal como, por ejemplo, un “botón ocular” que se activa cuando se alcanza un cierto tiempo de permanencia. Alternativamente, un botón, un conmutador, una señal del habla, un patrón de movimiento de un miembro de entrada, un patrón de gestos o expresión facial, registrados por cámara, pueden constituir la señal de activación. Además, un parpadeo ocular o una señal predefinida de EEG pueden provocar la señal de activación. Sin embargo, los últimos tipos de señales, usualmente, son relativamente difíciles de controlar por el usuario con una precisión suficiente.
45 De acuerdo a una realización de la invención, el motor de sucesos 210 está adaptado para recibir al menos una señal de entrada auxiliar DJ, y producir el conjunto de señales de salida de sucesos no controladores de cursor D-HIi sobre la base adicional de esta señal. La señal de entrada auxiliar DJ puede originarse a partir de un botón, un conmutador, una señal del habla, un patrón de movimiento de un miembro de entrada, un patrón de gestos o una expresión facial registrados por cámara, o una señal de EEG.
Por ello, en base a las combinaciones de la señal de datos de rastreo ocular DOJO y a una o más señales de entrada auxiliares DJ, pueden ser creados comandos compuestos de usuario, que son muy intuitivos y fáciles de aprender. Por tanto, puede lograrse una interacción entre hombre y máquina sumamente eficaz con el aparato informático 130.
55 Por ejemplo, observando un botón ocular para el documento y pronunciando la palabra de control “abrir” se puede abrir un documento de texto. Si está disponible un reconocimiento del habla más complejo, puede efectuarse una búsqueda en Internet enfocando la mirada hacia un cuadro relevante de ingreso de texto, pronunciando a la vez los términos de búsqueda deseados, y así sucesivamente.
De acuerdo a una realización de la invención, al menos un componente de GUI 220a, ..., 220n está adaptado para interpretar una señal de salida de sucesos no controladores de cursor D-HIi proveniente del motor de sucesos 210, como una intención estimada del usuario 110. Luego, en respuesta a la intención estimada, se activa una manipulación por el usuario del componente 220a, ..., 220n. Preferiblemente, el motor de sucesos 210 estima una intención del usuario en base a múltiples orígenes de entrada recibidos como señales de entrada auxiliar DJ, que
65 pueden incluir una señal de teclado, una señal de ratón, datos de voz e imágenes de cámara. Sin embargo, naturalmente, la señal de datos de rastreo ocular DOJO también puede constituir una base para la intención estimada
E04445071
22-04-2015
del usuario. Por ejemplo, puede extraerse información importante de distintos patrones de mirada y tiempos de fijación.
De acuerdo a otra realización de la invención, al menos un componente de GUI 220a, ..., 220n está adaptado para
5 interpretar una señal de salida de sucesos no controladores de cursor D-HIi procedente del motor de sucesos 210, como un nivel de atención estimado del usuario 110. De forma correspondiente, se activa una manipulación por el usuario del componente 220a, ..., 220n, en respuesta al nivel de atención estimado. También el nivel de atención puede ser estimado en base a las señales de entrada auxiliar DJ, por ejemplo, que se originan desde el teclado, el ratón, los datos de voz y las imágenes de cámara, y la señal de datos de rastreo ocular DOJO. En particular, los patrones de mirada, los puntos de fijación y los tiempos de fijación constituyen una base importante para determinar el nivel de atención del usuario 110. Preferiblemente, los componentes de GUI 220a, ..., 220n varían su comportamiento según el nivel de atención estimado, de modo que las características de los componentes coincidan con el desempeño actual del usuario 110.
15 Además, de acuerdo a una realización de la invención, al menos un componente de GUI 220a, ..., 220n está adaptado para interpretar una señal de salida de sucesos no controladores de cursor D-HIi, procedente del motor de sucesos 210, como un parámetro del estado mental del usuario 110. El parámetro de estado mental refleja un estado general del usuario 110, por ejemplo, si parece estar centrado / concentrado, distraído, cansado / descentrado o confundido. Por ejemplo, el parámetro de estado mental puede indicar un grado aproximado del 20% de cansancio y un grado aproximado del 50% de la atención. Luego, en base al estado mental estimado, se activa una manipulación por el usuario del componente 220a, ..., 220n. Habitualmente, el número y el contenido de menús de ayuda y ventanas emergentes cualesquiera pueden ser adaptados en respuesta al estado mental estimado. Sin embargo, en entornos de operador, tales como estaciones de vigilancia por radar, donde el nivel de atención, así como el estado mental, pueden ser verdaderamente críticos, la seguridad puede ser mejorada señalando objetivos,
25 etc., que el operador no ha observado todavía.
De acuerdo a una realización de la invención, el motor de sucesos 210 está asociado a una biblioteca de plantillas 230, que contiene componentes genéricos de GUI, tales como botones oculares, barras de desplazamiento, barras de herramientas de multivisión (véase más adelante con referencia a la figura 4), campos de ingreso de texto (véase más adelante con referencia a la figura 5), campos expandibles de entrada de texto (véase más adelante con referencia a la figura 6) y ventanas de desplazamiento (véase más adelante con referencia a la figura 7). Por ello, por medio de la biblioteca de plantillas 230, un diseñador de software puede crear convenientemente funciones y controles que pueden ser manipulados en base a la actividad ocular de un usuario, con respecto a un visor. Por supuesto, después de completar el diseño de una aplicación específica ocularmente controlable, sin embargo, la
35 biblioteca de plantillas 230 no tiene ninguna función efectiva con respecto a los componentes de GUI que puedan originarse a partir de sus componentes genéricos. No obstante, la biblioteca de plantillas 230 puede hacerse útil nuevamente en caso de una actualización futura o un rediseño de la aplicación.
De acuerdo a la invención, no es técnicamente necesario que ninguna manipulación de componentes de GUI sea gráficamente confirmada en el visor. Sin embargo, esto es generalmente preferible desde un punto de vista de la amigabilidad con el usuario. La figura 3a muestra un símbolo esquemático 310, que representa un componente de GUI ocularmente controlable en un visor que está fijado en una modalidad no observada (es decir, la señal de datos de rastreo ocular DOJO indica que el punto de atención del usuario está fuera del símbolo 310). La figura 3b muestra el símbolo 310 en una modalidad observada, que se fija cuando la señal de datos de rastreo ocular DOJO indica que
45 el punto de atención del usuario cae dentro del área de visualización representada por el símbolo 310. En la modalidad observada, el símbolo 310 contiene un objeto situado centralmente 311. Este objeto 311 confirma al usuario que el aparato informático ha registrado que su mirada está actualmente dirigida hacia el símbolo 310. Así, pueden ser realizadas manipulaciones cualesquiera con respecto al componente de GUI asociado al símbolo 310. Una ventaja importante lograda por medio del objeto centralmente situado 311 es que este objeto ayuda al usuario a enfocar su mirada hacia el centro del símbolo 310. Por ello, se logra una función de rastreo ocular más fiable y, para un rastreador ocular dado, los símbolos 310 pueden hacerse más pequeños que en caso contrario. Por supuesto, el símbolo 310 y el objeto centralmente situado 311 pueden tener cualquier otro contorno que no sea la representación cuadrada de las figuras 3a y 3b. Además, para mejorar adicionalmente la indicación visual, el objeto 311 puede ser animado o tener un color o forma específicamente interesantes.
55 La figura 4 ilustra una primera realización de acuerdo a la invención, donde se usa una barra propuesta de herramientas de multivisión 401 para controlar las aplicaciones en un marco 400. La barra de herramientas de multivisión 401 aquí incluye cuatro botones oculares distintos, cada uno de los cuales puede contener una imagen en miniatura (no mostrada) de una respectiva aplicación a la cual está asociado el botón. Un primer botón 410 está asociado a una primera aplicación, por ejemplo, un explorador de Internet, que accede, preferiblemente, a un URL o página de la Red predefinidos. La primera aplicación tiene una interfaz de usuario que aquí está representada por un sub-marco 420 dentro del marco 400. Por tanto, mirando el primer botón 410, el usuario puede abrir el sub-marco
420. Bien esta activación se logra después de un tiempo específico de permanencia de la mirada con respecto al botón 410, o bien en respuesta a una señal de activación, por ejemplo, una pulsación de tecla o una palabra de
65 control. Luego, puede ser ejecutada una búsqueda mirando un cuadro de entrada de texto 411, ingresando términos de búsqueda relevantes y manipulando a continuación un botón de búsqueda 412 (preferiblemente, también basado
E04445071
22-04-2015
en la señal de datos de rastreo ocular).
La figura 5 ilustra una segunda realización de acuerdo a la invención, en base a la barra propuesta de herramientas de multivisión 401. Aquí, un segundo botón 510 está asociado a una segunda aplicación, por ejemplo, un sistema de
5 gestión de productos, que tiene una interfaz de usuario en forma de un sub-marco 520 dentro del marco 400. Esto significa que un usuario puede activar la segunda aplicación mirando el segundo botón 520 durante un tiempo específico de permanencia de la mirada, o generando una señal de activación por separado (según lo mencionado anteriormente). Preferiblemente, se activa inicialmente un conjunto por omisión de cuadros de entrada de texto y botones 515. Luego, mirando otras áreas dentro del sub-marco 520, pueden ser activados y manipulados campos y funciones alternativos.
En particular, un control de pantalla puede ser adaptado para expandirse tras una manipulación basada en la actividad ocular de un usuario. Las figuras 6a y 6b ilustran esto como una tercera realización de acuerdo a la invención.
15 Aquí, un campo de texto 620 en el sub-marco 520 ocupa un área relativamente pequeña en el visor, mientras la señal de datos de rastreo ocular indique que el punto de atención del usuario está fuera de este campo 620. Sin embargo, si, de acuerdo a la señal de datos de rastreo ocular, el punto de atención alcanza un tiempo específico de permanencia dentro del área de visualización representado por el campo de texto 620, este campo se expande, por ejemplo, según se muestra en la figura 6b. Por tanto, puede mostrarse más información de lo que era inicialmente visible en el campo 620. El campo de texto 620 expandido de ese modo puede incluso abarcar objetos gráficos que en otro caso se muestran en el marco 400. Esto es ventajoso, porque por ello la información puede ser presentada a petición, de modo que el marco 400 y el sub-marco 520 contengan más datos de lo que efectivamente puede caber en los mismos. Por ejemplo, puede evitarse un desplazamiento de texto, que en otro caso habría sido necesario.
25 La figura 7 ilustra una cuarta realización de acuerdo a la invención, que realiza una función de desplazamiento línea a línea, en base a la actividad ocular de un usuario. Aquí, una tercera aplicación, por ejemplo, un visor de mapas, está asociada a un tercer botón 710. De tal modo, observando el tercer botón 710, y activando el componente de GUI asociado, ya sea en base a un tiempo de permanencia de la mirada o por medio de una señal de activación por separado, el aparato informático abre un sub-marco de mapa 720 dentro del marco 400. Este sub-marco, a su vez, presenta un mapa digitalizado. Se supone aquí que el mapa es más grande que el área de presentación disponible en el sub-marco de mapa 720, por lo que solamente una parte del mapa puede ser presentada al mismo tiempo.
Se logra un desplazamiento con respecto al mapa en base al punto de atención del usuario. Preferiblemente, no
35 ocurre ningún desplazamiento mientras la señal de datos de rastreo ocular indique que el punto de atención está dentro de un área central delimitada por una primera línea discontinua a, una segunda línea discontinua b, una tercera línea discontinua c y una cuarta línea discontinua d, ninguna de las cuales, preferiblemente, es visible en el visor. Sin embargo, si el punto de atención del usuario se coloca fuera de cualquiera de las líneas a, b, c o d, el mapa se desplaza en una dirección específica, dada por el punto de atención. Específicamente, esto significa que un punto de atención por debajo de la línea c da como resultado un desplazamiento hacia abajo a lo largo de la flecha S, un punto de atención por encima de la línea d da como resultado un desplazamiento hacia arriba a lo largo de la flecha N, un punto de atención a la derecha de la línea b da como resultado un desplazamiento hacia la derecha a lo largo de la flecha E; y un punto de atención a la izquierda de la línea a da como resultado un desplazamiento hacia la izquierda a lo largo de la flecha W. Además, un punto de atención, que esté por debajo de la línea c y a la derecha
45 de la línea b da como resultado un desplazamiento en diagonal a lo largo de la flecha SE; un punto de atención, que esté por encima de la línea d y a la derecha de la línea b, da como resultado un desplazamiento en diagonal a lo largo de la flecha NE; un punto de atención, que esté por encima de la línea d y a la izquierda de la línea a, da como resultado un desplazamiento en diagonal a lo largo de la flecha NW; y un punto de atención que esté por debajo de la línea c y a la izquierda de la línea a da como resultado un desplazamiento en diagonal a lo largo de la flecha SW. Esta función de desplazamiento puede ser activada, ya sea en base a un tiempo de permanencia, o bien puede requerirse una señal de activación por separado, tal como un pinchazo de una tecla / botón, o mantener pulsados una tecla o un botón.
Además, la velocidad de desplazamiento puede depender de la distancia entre el punto de atención y las respectivas
55 líneas a, b, c y d, de modo que una distancia relativamente larga corresponda a una velocidad comparativamente alta, y viceversa. La velocidad de desplazamiento también puede depender del tiempo de desplazamiento y / o de una extensión de los últimos saltos oculares registrados en la señal de datos de rastreo ocular. Preferiblemente, se fija una velocidad máxima de desplazamiento en un valor tal que la información desplazada sea visible para el usuario a todas las velocidades posibles.
De acuerdo a una realización de la invención, la función de desplazamiento se detiene al pulsar una tecla o un botón, al soltar una tecla o un botón, al superar la duración de los últimos saltos oculares un valor específico, al desplazarse el punto de atención fuera del sub-marco de mapa 720, o al desplazarse el punto de atención hacia el centro del sub-marco de mapa 720, o hacia una línea opuesta de activación de desplazamiento a, b, c, o d.
65 Debería observarse que soluciones de desplazamiento controlado por rastreo ocular, como tales, están descritas en
E04445071
22-04-2015
la técnica anterior, por ejemplo, en el documento US 5.850.221. Aquí, una función de desplazamiento de información, orientada a página o continua, se inicia o se controla en base a donde están mirando los ojos de un espectador.
5 Para resumir, el método general de controlar un aparato informático de acuerdo a la invención será ahora descrito con referencia al diagrama de flujo en la figura 8.
Una etapa inicial 810 recibe una solicitud de señal de control desde cada uno de dichos, al menos uno, componentes de GUI, que está adaptado para ser manipulado en base a comandos oculares generados por el
10 usuario. La solicitud de señal de control define un sub-conjunto del conjunto de señales de salida de sucesos no controladores de cursor, que es requerido por el componente de GUI específico a fin de funcionar según se pretende.
Una etapa 820 recibe luego una señal de datos de rastreo ocular, que describe el punto de atención de un usuario
15 en un visor asociado a un ordenador que realiza dicho al menos un componente de GUI. Posteriormente, una etapa 830 produce un conjunto de señales de salida de sucesos no controladores de cursor, en base a la señal de datos de rastreo ocular, más cualquier señal de entrada auxiliar.
Posteriormente, una etapa 840 suministra las señales de salida de sucesos no controladores de cursor a dicho al
20 menos un componente de GUI, de modo que pueda ocurrir una influencia relevante de las mismas (es decir, de acuerdo a cada respectiva solicitud de señal de control). Se supone que cada señal de salida de sucesos no controladores de cursor describe un aspecto particular de la actividad ocular del usuario con respecto al visor. Así, las señales de salida de sucesos no controladores de cursor expresan comandos oculares generados por el usuario. Después de la etapa 840, el procedimiento recicla nuevamente a la etapa 820 para recibir una señal actualizada de
25 datos de rastreo ocular.
Todas las etapas de proceso, así como cualquier sub-secuencia de etapas, descritas con referencia a la figura 8 en lo que antecede, pueden ser controladas por medio de un aparato informático programado. Además, aunque las realizaciones de la invención descritas anteriormente con referencia a los dibujos comprenden aparatos informáticos 30 y procesos realizados en un aparato informático, la invención, por tanto, también se extiende a programas de ordenador, en particular, programas de ordenador, por o en un portador, adaptado para poner en práctica la invención. El programa puede estar en forma de código fuente, código objeto, una fuente intermedia de código y código objeto, tal como en forma parcialmente compilada, o en cualquier otra forma adecuada para su uso en la implementación del proceso de acuerdo a la invención. El programa puede ser parte de un sistema operativo, o bien 35 ser una aplicación por separado. El portador puede ser cualquier entidad o dispositivo capaz de llevar el programa. Por ejemplo, el portador puede comprender un medio de almacenamiento, tal como una memoria Flash, una ROM (Memoria de Solo Lectura), por ejemplo un CD (Disco Compacto) o una ROM semiconductora, una EPROM (Memoria de Solo Lectura Programable y Borrable), una EEPROM (Memoria de Solo Lectura Programable y Eléctricamente Borrable), o un medio de registro magnético, por ejemplo, un disco flexible o un disco rígido. 40 Además, el portador puede ser un portador transmisible tal como una señal eléctrica u óptica que puede ser transportada directamente por un cable y otro dispositivo o medio. Cuando el programa es realizado en una señal que puede ser transportada directamente por un cable u otro dispositivo o medio, el portador puede estar constituido por tal cable o dispositivo o medio. Alternativamente, el portador puede ser un circuito integrado, en el cual está empotrado el programa, estando el circuito integrado adaptado para realizar, o para el uso en la realización de, los
45 procesos relevantes.
El término “comprende / comprendiendo”, cuando se usa en esta especificación, se emplea para especificar la presencia de características, enteros, etapas o componentes indicados. Sin embargo, el término no excluye la presencia o agregado de uno o más características, enteros, etapas o componentes adicionales, o grupos de los
50 mismos.
La invención no está restringida a las realizaciones descritas en las figuras, sino que puede ser variada libremente dentro del ámbito de las reivindicaciones.

Claims (18)

  1. REIVINDICACIONES
    1. Una disposición para controlar un aparato informático (130) asociado a un visor gráfico (120), presentando el visor
    (12) una representación de al menos un componente de GUI (220) que está adaptado para ser manipulado en base
    5 a comandos generados por un usuario, y al menos uno de dichos, al menos uno, componentes de GUI (220a, ..., 220n) está adaptado para generar al menos una respectiva señal de control de salida (Cs, ..., Ca) tras una manipulación por el usuario del componente (220a, ..., 220n), comprendiendo la disposición un motor de sucesos
    (210) adaptado para recibir una señal de datos de rastreo ocular (DOJO) que describe un punto de atención (x, y) de un usuario (110) en el visor (120) y, basado al menos en la señal de datos de rastreo ocular (DOJO), producir un conjunto de señales de salida de sucesos no controladores de cursor (D-HIi) que influyen sobre dicho al menos un componente de GUI (220), describiendo cada señal de salida de sucesos no controladores de cursor (D-HIi) un aspecto particular de la actividad ocular del usuario (110) con respecto al visor (120), caracterizada porque el motor de sucesos (210) está adaptado para:
    15 recibir una solicitud de señal de control (Ra, ..., Rn) desde cada uno de dichos, al menos uno, componentes de GUI (220a, ..., 220n), definiendo la solicitud de señal de control (Ra, ..., Rn) un subconjunto del conjunto de señales de salida de sucesos no controladores de cursor (D-HIi), que es requerido por el componente de GUI (220a, ..., 220n) para funcionar según se pretende,
    producir las señales de salida de sucesos (D-HIi) que son solicitadas por dichos, al menos uno, componentes de GUI (220a, ..., 220n) en la solicitud de señal de control (Ra, ..., Rn), y
    suministrar las señales de salida de sucesos no controladores de cursor (D-HIi) a dicho al menos un componente de GUI (220a, ..., 220n) de acuerdo a cada respectiva solicitud de señal de control (Ra, ..., Rn).
    25
  2. 2. Una disposición de acuerdo a la reivindicación 1, caracterizada porque el aparato informático (130) está adaptado para:
    recibir una señal de control de cursor (K), y
    controlar un puntero gráfico en el visor (120) en respuesta a la señal de control de cursor (K).
  3. 3. Una disposición de acuerdo a una cualquiera de las reivindicaciones precedentes, caracterizada porque el motor
    de sucesos (210) está adaptado para producir al menos una primera señal de las señales de salida de sucesos no 35 controladores de cursor (D-HIi), en base a un desarrollo dinámico de la señal de datos de rastreo ocular (DOJO).
  4. 4.
    Una disposición de acuerdo a la reivindicación 3, caracterizada porque la primera señal representa un patrón de mirada específico sobre el visor (120).
  5. 5.
    Una disposición de acuerdo a la reivindicación 4, caracterizada porque al menos un componente de GUI (220a, ..., 220n) está adaptado para interpretar la primera señal como una intención estimada del usuario (110), y activar una manipulación por el usuario del componente (220a, ..., 220n) en respuesta a la intención estimada.
  6. 6.
    Una disposición de acuerdo a una cualquiera de las reivindicaciones 4 o 5, caracterizada porque al menos un
    45 componente de GUI (220a, ..., 220n) está adaptado para interpretar la primera señal como un nivel de atención estimado del usuario (110), y activar una manipulación por el usuario del componente (220a, ..., 220n) en respuesta al nivel de atención estimado.
  7. 7.
    Una disposición de acuerdo a una cualquiera de las reivindicaciones 4 a 6, caracterizada porque al menos un componente de GUI (220a, ..., 220n) está adaptado para interpretar la primera señal como un parámetro de estado mental del usuario (110), y activar una manipulación por el usuario del componente (220a, ..., 220n) en respuesta al parámetro de estado mental.
  8. 8.
    Una disposición de acuerdo a una cualquiera de las reivindicaciones precedentes, caracterizada porque el motor
    55 de sucesos (210) está adaptado para recibir al menos una señal de entrada auxiliar (DJ) y producir el conjunto de señales de salida de sucesos no controladores de cursor (D-HIi) sobre la base adicional de dicha al menos una señal de entrada auxiliar (DJ).
  9. 9.
    Una disposición de acuerdo a una cualquiera de las reivindicaciones precedentes, caracterizada porque dicha al menos una señal auxiliar (DJ) se origina en al menos uno entre un botón, un conmutador, una señal del habla, un patrón de movimiento de un miembro de entrada, un patrón de gestos, una expresión facial y una señal de EEG.
  10. 10.
    Un método de control de un aparato informático (130) asociado al visor gráfico (120), representando el visor
    (120) al menos un componente de GUI (220) que está adaptado para ser manipulado en base a comandos
    65 generados por el usuario, estando cada componente de GUI (220a, ..., 220n) adaptado para generar al menos una respectiva señal de control de salida (Ca, ..., Ca) tras una manipulación por el usuario del componente (220a, ...,
    10
    220n), comprendiendo el método:
    recibir una señal de datos de rastreo ocular (DOJO) que describe un punto de atención (x, y) de un usuario (110) en el visor (120), y
    5 producir un conjunto de señales de salida de sucesos no controladores de cursor (D-HIi), en base, al menos, a la señal de datos de rastreo ocular (DOJO), influyendo el conjunto de señales de salida de sucesos no controladores de cursor (D-HIi) sobre dicho al menos un componente de GUI (220), y describiendo cada señal de salida de sucesos no controladores de cursor (D-HIi) un aspecto específico de la actividad ocular del usuario (110) con respecto al visor (120);
    el método caracterizado por:
    recibir una solicitud de señal de control (Ra, ..., Rn) desde cada uno de dichos, al menos uno, componentes de GUI
    15 (220a, ..., 220n), definiendo la solicitud de señal de control (Ra, ..., Rn) un subconjunto del conjunto de señales de salida de sucesos no controladores de cursor (D-HIi), que es requerido por el componente de GUI (220a, ..., 220n) para funcionar como se pretende;
    producir las señales de salida de sucesos (D-HIi) que son solicitadas por dicho al menos un componente de GUI (220a, ..., 220n) en la solicitud de señal de control (Ra, ..., Rn), y
    suministrar señales de salida de sucesos no controladores de cursor (D-HIi) a dicho al menos un componente de GUI (220a, ..., 220n) de acuerdo a cada respectiva solicitud de señal de control (Ra, ..., Rn).
    25 11. Un método de acuerdo a la reivindicación 10, caracterizado por recibir una señal de control de cursor (K) y controlar un puntero gráfico en el visor (120) en respuesta a la señal de control de cursor (K).
  11. 12.
    Un método de acuerdo a una cualquiera de las reivindicaciones 10 u 11, caracterizado por producir al menos una primera señal de las señales de salida de sucesos no controladores de cursor (D-HIi) en base a un desarrollo dinámico de la señal de datos de rastreo ocular (DOJO).
  12. 13.
    Un método de acuerdo a la reivindicación 12, caracterizado por representar la primera señal un patrón de mirada específico sobre el visor (120).
    35 14. Un método de acuerdo a la reivindicación 13, caracterizado por estar al menos un componente de GUI (220a, ..., 220n) adaptado para interpretar la primera señal como una intención estimada del usuario (110), y activar una manipulación por el usuario del componente (220a, ..., 220n) en respuesta a la intención estimada.
  13. 15.
    Un método de acuerdo a una cualquiera de las reivindicaciones 13 o 14, caracterizado por estar al menos un componente de GUI (220a, ..., 220n) adaptado para interpretar la primera señal como un nivel de atención estimado del usuario (110), y activar una manipulación por el usuario del componente (220a, ..., 220n) en respuesta al nivel de atención estimado.
  14. 16.
    Un método de acuerdo a una cualquiera de las reivindicaciones 13 a 15, caracterizado por estar al menos un
    45 componente de GUI (220a, ..., 220n) adaptado para interpretar la primera señal como un parámetro de estado mental del usuario (110), y activar una manipulación por el usuario del componente (220a, ..., 220n) en respuesta al parámetro de estado mental.
  15. 17. Un método de acuerdo a una cualquiera de las reivindicaciones 10 a 16, caracterizado por:
    recibir al menos una señal de entrada auxiliar (DJ), y
    producir el conjunto de señales de salida de sucesos no controladores de cursor (D-HIi) sobre la base adicional de dicha al menos una señal de entrada auxiliar (DJ).
    55
  16. 18.
    Un método de acuerdo a una cualquiera de las reivindicaciones 10 a 17, caracterizado por estar dicha al menos una señal de entrada auxiliar (DJ) originada en al menos uno entre un botón, un conmutador, una señal del habla, un patrón de movimiento de un miembro de entrada, un patrón de gestos, una expresión facial y una señal de EEG.
  17. 19.
    Un programa de ordenador directamente cargable en la memoria interna de un ordenador, que comprende software para controlar las etapas de cualquiera de las reivindicaciones 10 a 18 cuando dicho programa es ejecutado en el ordenador.
  18. 20. Un medio legible por ordenador, que tiene un programa grabado en el mismo, donde el programa es para hacer 65 que un ordenador controle las etapas de cualquiera de las reivindicaciones 10 a 18.
    11
ES04445071.6T 2004-06-18 2004-06-18 Control ocular de aparato informático Expired - Lifetime ES2535364T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP04445071.6A EP1607840B1 (en) 2004-06-18 2004-06-18 Eye control of computer apparatus

Publications (1)

Publication Number Publication Date
ES2535364T3 true ES2535364T3 (es) 2015-05-08

Family

ID=34932990

Family Applications (2)

Application Number Title Priority Date Filing Date
ES10158334.2T Expired - Lifetime ES2568506T3 (es) 2004-06-18 2004-06-18 Control ocular de aparato computador
ES04445071.6T Expired - Lifetime ES2535364T3 (es) 2004-06-18 2004-06-18 Control ocular de aparato informático

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES10158334.2T Expired - Lifetime ES2568506T3 (es) 2004-06-18 2004-06-18 Control ocular de aparato computador

Country Status (8)

Country Link
US (8) US8185845B2 (es)
EP (2) EP2202609B8 (es)
JP (1) JP4944773B2 (es)
CN (1) CN100458665C (es)
DK (2) DK1607840T3 (es)
ES (2) ES2568506T3 (es)
PT (1) PT1607840E (es)
WO (1) WO2005124521A1 (es)

Families Citing this family (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
DK1607840T3 (da) 2004-06-18 2015-02-16 Tobii Technology Ab Øjenstyring af et computerapparat
US8437729B2 (en) * 2005-05-10 2013-05-07 Mobile Communication Technologies, Llc Apparatus for and system for enabling a mobile communicator
US8385880B2 (en) * 2005-05-10 2013-02-26 Mobile Communication Technologies, Llc Apparatus for and system for enabling a mobile communicator
US20070270122A1 (en) 2005-05-10 2007-11-22 Ewell Robert C Jr Apparatus, system, and method for disabling a mobile communicator
US8825482B2 (en) * 2005-09-15 2014-09-02 Sony Computer Entertainment Inc. Audio, video, simulation, and user interface paradigms
US10437459B2 (en) * 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US8455513B2 (en) 2007-01-10 2013-06-04 Aerie Pharmaceuticals, Inc. 6-aminoisoquinoline compounds
JP2008271413A (ja) * 2007-04-24 2008-11-06 Olympus Corp 画像表示装置、撮像装置、処理プログラム、画像表示装置の制御方法
WO2009093435A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
ITFI20080049A1 (it) * 2008-03-12 2009-09-13 Sr Labs Srl Apparato per la creazione, il salvataggio e la formattazione di documenti testuali tramite controllo oculare e metodo associato basato sul posizionamento ottimizzato del cursore.
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法
CN101291364B (zh) * 2008-05-30 2011-04-27 华为终端有限公司 一种移动通信终端的交互方法、装置及移动通信终端
US8450344B2 (en) 2008-07-25 2013-05-28 Aerie Pharmaceuticals, Inc. Beta- and gamma-amino-isoquinoline amide compounds and substituted benzamide compounds
EP2324409A2 (en) * 2008-09-03 2011-05-25 Koninklijke Philips Electronics N.V. Method of performing a gaze-based interaction between a user and an interactive display system
US8659590B1 (en) * 2008-12-17 2014-02-25 Nvidia Corporation System, method, and computer program product for modifying signals of a three-dimensional graphics application program based on a tracking algorithm
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
JP2010176510A (ja) * 2009-01-30 2010-08-12 Sanyo Electric Co Ltd 情報表示装置
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
EP3053913B1 (en) 2009-05-01 2018-03-07 Aerie Pharmaceuticals, Inc. Dual mechanism inhibitors for the treatment of disease
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US20120191542A1 (en) * 2009-06-24 2012-07-26 Nokia Corporation Method, Apparatuses and Service for Searching
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
WO2011074198A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 ユーザインタフェース装置および入力方法
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8531394B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
US9760123B2 (en) 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
US8599027B2 (en) 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
US8633979B2 (en) * 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US9160906B2 (en) 2011-02-03 2015-10-13 Jason R. Bond Head-mounted face image capturing devices and systems
US8573866B2 (en) 2011-02-03 2013-11-05 Jason R. Bond Head-mounted face image capturing devices and systems
JP5606953B2 (ja) * 2011-02-18 2014-10-15 京セラ株式会社 情報表示装置
US9812091B2 (en) 2011-02-18 2017-11-07 Kyocera Corporation Automatic scrolling speed control by tracking user's eye
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
CN103339628A (zh) 2011-03-30 2013-10-02 日本电气株式会社 数据相关度评估设备、数据相关度评估方法和记录介质
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US9026780B2 (en) 2011-04-12 2015-05-05 Mobile Communication Technologies, Llc Mobile communicator device including user attentiveness detector
US10139900B2 (en) 2011-04-12 2018-11-27 Mobile Communication Technologies, Llc Mobile communicator device including user attentiveness detector
US9026779B2 (en) 2011-04-12 2015-05-05 Mobile Communication Technologies, Llc Mobile communicator device including user attentiveness detector
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US10976810B2 (en) * 2011-07-11 2021-04-13 Texas Instruments Incorporated Sharing input and output devices in networked systems
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US8995945B2 (en) 2011-08-30 2015-03-31 Mobile Communication Technologies, Llc Mobile communicator and system
US9354445B1 (en) 2011-09-16 2016-05-31 Google Inc. Information processing on a head-mountable device
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9292184B2 (en) * 2011-11-18 2016-03-22 Zspace, Inc. Indirect 3D scene positioning control
US8860660B2 (en) 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
CN103197755A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种翻页方法、装置及终端
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
JP5994328B2 (ja) * 2012-03-29 2016-09-21 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
KR101634154B1 (ko) 2012-04-12 2016-06-28 인텔 코포레이션 눈 추적에 기초한 디스플레이의 선택적 백라이팅
US9046917B2 (en) 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
KR20130143160A (ko) * 2012-06-20 2013-12-31 삼성전자주식회사 휴대단말기의 스크롤 제어장치 및 방법
US20140009395A1 (en) * 2012-07-05 2014-01-09 Asustek Computer Inc. Method and system for controlling eye tracking
US9093072B2 (en) * 2012-07-20 2015-07-28 Microsoft Technology Licensing, Llc Speech and gesture recognition enhancement
CN104428732A (zh) * 2012-07-27 2015-03-18 诺基亚公司 与近眼显示器的多模交互
US20140055337A1 (en) * 2012-08-22 2014-02-27 Mobitv, Inc. Device eye tracking calibration
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
US9292086B2 (en) 2012-09-26 2016-03-22 Grinbath, Llc Correlating pupil position to gaze location within a scene
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
US8990843B2 (en) 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
CN102981620A (zh) * 2012-11-27 2013-03-20 中兴通讯股份有限公司 一种终端操作方法及终端
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
CN103869943A (zh) * 2012-12-14 2014-06-18 鸿富锦精密工业(武汉)有限公司 显示内容修改系统及方法
US9681982B2 (en) 2012-12-17 2017-06-20 Alcon Research, Ltd. Wearable user interface for use with ocular surgical console
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
CN103118159B (zh) * 2013-01-17 2016-03-02 广东欧珀移动通信有限公司 一种移动终端操作方法及装置
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
EP2962175B1 (en) 2013-03-01 2019-05-01 Tobii AB Delay warp gaze interaction
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
DK3811943T3 (da) 2013-03-15 2023-04-03 Aerie Pharmaceuticals Inc Forbindelse til anvendelse til behandling af øjenlidelser
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US20140298246A1 (en) * 2013-03-29 2014-10-02 Lenovo (Singapore) Pte, Ltd. Automatic display partitioning based on user number and orientation
CN103257707B (zh) * 2013-04-12 2016-01-20 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
FR3005173B1 (fr) * 2013-04-26 2015-04-10 Airbus Procede d'interaction dans un cockpit d'aeronef entre un pilote et son environnement
US20160089980A1 (en) 2013-05-23 2016-03-31 Pioneer Corproation Display control apparatus
GB2514603B (en) 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US20150009118A1 (en) * 2013-07-03 2015-01-08 Nvidia Corporation Intelligent page turner and scroller
US9094677B1 (en) 2013-07-25 2015-07-28 Google Inc. Head mounted display device with automated positioning
US10152495B2 (en) * 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
EP2843507A1 (en) 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
KR20160046885A (ko) 2013-08-27 2016-04-29 오클랜드 유니서비시즈 리미티드 응시 제어 인터페이스 방법 및 시스템
JP2015090569A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
FR3014219B1 (fr) * 2013-11-29 2016-01-15 Thales Sa Poste de controle de drones
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
CN103729059A (zh) * 2013-12-27 2014-04-16 北京智谷睿拓技术服务有限公司 交互方法及装置
KR102122339B1 (ko) * 2013-12-30 2020-06-12 주식회사 케이티 Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체
US9390726B1 (en) 2013-12-30 2016-07-12 Google Inc. Supplementing speech commands with gestures
US9213413B2 (en) 2013-12-31 2015-12-15 Google Inc. Device interaction with spatially aware gestures
US10017114B2 (en) 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
EP3140780B1 (en) 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10416759B2 (en) * 2014-05-13 2019-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking laser pointer
US20150362990A1 (en) * 2014-06-11 2015-12-17 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US9678567B2 (en) 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
WO2016021034A1 (ja) * 2014-08-07 2016-02-11 株式会社Ｆｏｖｅ ３次元上の注視点の位置特定アルゴリズム
JP6252409B2 (ja) 2014-09-02 2017-12-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9405120B2 (en) 2014-11-19 2016-08-02 Magna Electronics Solutions Gmbh Head-up display and vehicle using the same
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US10884488B2 (en) 2014-11-24 2021-01-05 Samsung Electronics Co., Ltd Electronic device and method for controlling display
JP6549693B2 (ja) * 2015-02-25 2019-07-24 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
CN104834446B (zh) * 2015-05-04 2018-10-26 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
DE102015115526A1 (de) 2015-09-15 2017-03-16 Visteon Global Technologies, Inc. Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
US10825058B1 (en) * 2015-10-02 2020-11-03 Massachusetts Mutual Life Insurance Company Systems and methods for presenting and modifying interactive content
US10871821B1 (en) 2015-10-02 2020-12-22 Massachusetts Mutual Life Insurance Company Systems and methods for presenting and modifying interactive content
EP3156879A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Historical representation in gaze tracking interface
TWI670625B (zh) 2015-10-19 2019-09-01 日商鷗利硏究所股份有限公司 視線輸入裝置、視線輸入方法、及程式
DE102015220398B4 (de) * 2015-10-20 2025-06-05 Robert Bosch Gmbh Verfahren zur Übermittlung von Informationen an einen Fahrer eines Kraftfahrzeuges und adaptives Fahrerassistenzsystem
US9457665B1 (en) 2015-11-17 2016-10-04 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
US9469195B1 (en) 2015-11-17 2016-10-18 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
US9452678B1 (en) * 2015-11-17 2016-09-27 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
US10324297B2 (en) 2015-11-30 2019-06-18 Magna Electronics Inc. Heads up display system for vehicle
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
US10489043B2 (en) * 2015-12-15 2019-11-26 International Business Machines Corporation Cognitive graphical control element
US10198233B2 (en) * 2016-03-01 2019-02-05 Microsoft Technology Licensing, Llc Updating displays based on attention tracking data
US10401621B2 (en) 2016-04-19 2019-09-03 Magna Electronics Inc. Display unit for vehicle head-up display system
US10552183B2 (en) 2016-05-27 2020-02-04 Microsoft Technology Licensing, Llc Tailoring user interface presentations based on user state
KR102491130B1 (ko) 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
JP6233471B2 (ja) * 2016-08-22 2017-11-22 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
KR102568079B1 (ko) 2016-08-31 2023-08-17 에어리 파마슈티컬즈, 인코포레이티드 안과용 조성물
US10372591B2 (en) 2016-09-07 2019-08-06 International Business Machines Corporation Applying eye trackers monitoring for effective exploratory user interface testing
US10345898B2 (en) 2016-09-22 2019-07-09 International Business Machines Corporation Context selection based on user eye focus
US10942701B2 (en) 2016-10-31 2021-03-09 Bragi GmbH Input and edit functions utilizing accelerometer based earpiece movement system and method
EP3545388B1 (en) * 2017-03-21 2025-11-05 Hewlett-Packard Development Company, L.P. Estimations within displays
KR20190135027A (ko) 2017-03-31 2019-12-05 에어리 파마슈티컬즈, 인코포레이티드 아릴 시클로프로필-아미노-이소퀴놀리닐 아미드 화합물
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
AU2018337653A1 (en) * 2017-09-20 2020-01-16 Magic Leap, Inc. Personalized neural network for eye tracking
CN108334871A (zh) * 2018-03-26 2018-07-27 深圳市布谷鸟科技有限公司 基于智能座舱平台的平视显示设备的交互方法及系统
US10871874B2 (en) 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
US11457860B2 (en) 2018-07-09 2022-10-04 Cheng Qian Human-computer interactive device and method
AU2019337703B2 (en) 2018-09-14 2023-02-02 Aerie Pharmaceuticals, Inc. Aryl cyclopropyl-amino-isoquinolinyl amide compounds
TWI683132B (zh) * 2019-01-31 2020-01-21 創新服務股份有限公司 人臉眼睛定位系統在顯微鏡的應用
CN110162185A (zh) * 2019-06-10 2019-08-23 京东方科技集团股份有限公司 一种智能显示方法及装置
US10842430B1 (en) 2019-09-12 2020-11-24 Logitech Europe S.A. Eye fatigue detection using visual imaging
US11322113B2 (en) 2019-09-12 2022-05-03 Logitech Europe S.A. Techniques for eye fatigue mitigation
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
US11163995B2 (en) 2019-12-31 2021-11-02 Logitech Europe S.A. User recognition and gaze tracking in a video system
US10928904B1 (en) * 2019-12-31 2021-02-23 Logitech Europe S.A. User recognition and gaze tracking in a video system
CN111883124B (zh) * 2020-07-24 2022-11-11 贵州电网有限责任公司 一种继电保护设备的语音识别系统
WO2022051780A1 (en) * 2020-09-04 2022-03-10 Cheng Qian Methods and systems for computer-human interactions
US12430021B1 (en) * 2020-09-24 2025-09-30 Apple Inc. Rotation-based user interface
US12472032B2 (en) 2020-10-02 2025-11-18 Cilag Gmbh International Monitoring of user visual gaze to control which display system displays the primary information
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US12360591B2 (en) * 2021-07-09 2025-07-15 Bank Of America Corporation Intelligent robotic process automation bot development using convolutional neural networks
CN114020158B (zh) * 2021-11-26 2023-07-25 清华大学 网页搜索方法及装置、电子设备和存储介质
JP7844171B2 (ja) * 2022-01-25 2026-04-13 キヤノン株式会社 視線検出装置、表示装置、制御方法、およびプログラム
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及系统
US20250017465A1 (en) * 2023-07-10 2025-01-16 Alcon Inc. Assessing eye floaters
ES1307022Y (es) * 2024-03-15 2024-07-19 Univ La Laguna Sistema de neurorrehabilitacion

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4348186A (en) 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JP2541688B2 (ja) 1990-05-21 1996-10-09 日産自動車株式会社 眼位置検出装置
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
EP0496430A1 (en) 1991-01-25 1992-07-29 Central Glass Company, Limited Continuous process for preparing sodium percarbonate
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JPH0653106B2 (ja) * 1992-06-22 1994-07-20 株式会社エイ・ティ・アール通信システム研究所 視線情報解析装置
JP2607215B2 (ja) * 1993-06-25 1997-05-07 株式会社エイ・ティ・アール通信システム研究所 視線解析装置
JPH0749744A (ja) * 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
JPH0764709A (ja) * 1993-08-26 1995-03-10 Olympus Optical Co Ltd 指示処理装置
JP2602001B2 (ja) 1993-11-01 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション 縮小可能キーボード付パーソナル通信機
EP1429292B1 (en) 1994-11-11 2011-03-30 Xanavi Informatics Corporation Map display apparatus for motor vehicle
US5583795A (en) 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
JPH08272517A (ja) * 1995-03-28 1996-10-18 Sanyo Electric Co Ltd 視線対応選択装置及び方法並びに情報処理装置
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
JP4272711B2 (ja) * 1995-05-15 2009-06-03 キヤノン株式会社 画像生成方法及び装置
US7453451B1 (en) 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
JP3542410B2 (ja) * 1995-06-27 2004-07-14 キヤノン株式会社 視線検出手段を有する機器
US6001065A (en) 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
US5850221A (en) 1995-10-20 1998-12-15 Araxsys, Inc. Apparatus and method for a graphic user interface in a medical protocol system
US5638176A (en) 1996-06-25 1997-06-10 International Business Machines Corporation Inexpensive interferometric eye tracking system
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US5850211A (en) 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
AUPO099696A0 (en) 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6028608A (en) 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
DE19731301C2 (de) 1997-07-13 2001-05-10 Smi Senso Motoric Instr Gmbh Vorrichtung zum Steuern eines Mikroskopes mittels Blickrichtungsanalyse
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
US6182114B1 (en) 1998-01-09 2001-01-30 New York University Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6526159B1 (en) * 1998-12-31 2003-02-25 Intel Corporation Eye tracking for resource and power management
US6567830B1 (en) 1999-02-12 2003-05-20 International Business Machines Corporation Method, system, and program for displaying added text to an electronic media file
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6401050B1 (en) 1999-05-21 2002-06-04 The United States Of America As Represented By The Secretary Of The Navy Non-command, visual interaction system for watchstations
US6909439B1 (en) 1999-08-26 2005-06-21 International Business Machines Corporation Method and apparatus for maximizing efficiency of small display in a data processing system
DE19951001C2 (de) 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
JP2001154794A (ja) * 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
CN100355284C (zh) * 1999-11-30 2007-12-12 伊强德斯股份有限公司 视觉装置
US20010034256A1 (en) * 2000-03-07 2001-10-25 Green Donald L. Game timer
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP4672856B2 (ja) 2000-12-01 2011-04-20 キヤノン株式会社 マルチ画面表示装置及びマルチ画面表示方法
US6601021B2 (en) * 2000-12-08 2003-07-29 Xerox Corporation System and method for analyzing eyetracker data
US7134085B2 (en) * 2000-12-13 2006-11-07 National Instruments Corporation System and method for automatically configuring program data exchange
US7287230B2 (en) * 2000-12-13 2007-10-23 National Instruments Corporation Configuring a GUI element to subscribe to data
US6971065B2 (en) * 2000-12-13 2005-11-29 National Instruments Corporation Automatically configuring a graphical program to publish or subscribe to data
US6478425B2 (en) * 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
US8205149B2 (en) 2001-01-05 2012-06-19 Microsoft Corporation Enhanced find and replace for electronic documents
US7027655B2 (en) 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
US6886137B2 (en) * 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US7668317B2 (en) 2001-05-30 2010-02-23 Sony Corporation Audio post processing in DVD, DTV and other audio visual products
US20030046259A1 (en) 2001-08-29 2003-03-06 International Business Machines Corporation Method and system for performing in-line text expansion
US7284201B2 (en) 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
US7068288B1 (en) 2002-02-21 2006-06-27 Xerox Corporation System and method for moving graphical objects on a computer controlled system
JP3800524B2 (ja) 2002-03-15 2006-07-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 表示制御方法、これを用いたプログラム及び情報処理装置
US6927674B2 (en) * 2002-03-21 2005-08-09 Delphi Technologies, Inc. Vehicle instrument cluster having integrated imaging system
US7028288B2 (en) 2002-06-03 2006-04-11 Sun Microsystems, Inc. Input field constraint mechanism
EP1376322A1 (de) 2002-06-27 2004-01-02 Alcatel Verfahren und multimodale Benutzer-Schnittstelle zum Verarbeiten von Benutzereingaben
GB2390948A (en) * 2002-07-17 2004-01-21 Sharp Kk Autostereoscopic display
CN101317763B (zh) * 2002-10-15 2013-04-03 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
US7065387B2 (en) * 2002-10-15 2006-06-20 Wildseed Limited Mobile digital communication/computing device having variable and soft landing scrolling
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US7949957B2 (en) 2002-12-31 2011-05-24 International Business Machines Corporation Edit selection control
JP4151952B2 (ja) 2003-01-06 2008-09-17 アルパイン株式会社 ナビゲーション装置
US7078911B2 (en) 2003-02-06 2006-07-18 Cehelnik Thomas G Patent application for a computer motional command interface
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
WO2004108466A1 (en) * 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US7533351B2 (en) 2003-08-13 2009-05-12 International Business Machines Corporation Method, apparatus, and program for dynamic expansion and overlay of controls
DE10338694B4 (de) 2003-08-22 2005-08-25 Siemens Ag Wiedergabeeinrichtung, umfassend wenigstens einen Bildschirm zur Darstellung von Informationen
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7365738B2 (en) * 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7565625B2 (en) 2004-05-06 2009-07-21 Pixar Toolbar slot method and apparatus
DK1607840T3 (da) 2004-06-18 2015-02-16 Tobii Technology Ab Øjenstyring af et computerapparat
US7573439B2 (en) 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
US20060140420A1 (en) 2004-12-23 2006-06-29 Akihiro Machida Eye-based control of directed sound generation
US7344251B2 (en) 2005-02-23 2008-03-18 Eyetracking, Inc. Mental alertness level determination
JP3863165B2 (ja) 2005-03-04 2006-12-27 株式会社コナミデジタルエンタテインメント 音声出力装置、音声出力方法、ならびに、プログラム
US7590944B2 (en) 2005-03-31 2009-09-15 Microsoft Corporation Scrollable and re-sizeable formula bar
US8775975B2 (en) 2005-09-21 2014-07-08 Buckyball Mobile, Inc. Expectation assisted text messaging
US8020993B1 (en) 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
US20070299631A1 (en) 2006-06-27 2007-12-27 Microsoft Corporation Logging user actions within activity context
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
US10536670B2 (en) 2007-04-25 2020-01-14 David Chaum Video copy prevention systems with interaction and compression
US8398404B2 (en) 2007-08-30 2013-03-19 Conflict Kinetics LLC System and method for elevated speed firearms training
US7945571B2 (en) 2007-11-26 2011-05-17 Legit Services Corporation Application of weights to online search request
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN107071688B (zh) 2009-06-23 2019-08-23 诺基亚技术有限公司 用于处理音频信号的方法及装置
US8717447B2 (en) 2010-08-20 2014-05-06 Gary Stephen Shuster Remote telepresence gaze direction
US20130208926A1 (en) 2010-10-13 2013-08-15 Microsoft Corporation Surround sound simulation with virtual skeleton modeling
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US20120156652A1 (en) 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
EP2508945B1 (en) 2011-04-07 2020-02-19 Sony Corporation Directional sound capturing
JP5757166B2 (ja) 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
EP2774022B1 (en) 2011-10-31 2018-07-18 Sony Mobile Communications Inc. Amplifying audio-visual data based on user's head orientation
US20130201305A1 (en) 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
US10082870B2 (en) 2013-03-04 2018-09-25 Tobii Ab Gaze and saccade based graphical manipulation
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US20140328505A1 (en) 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
US9544682B2 (en) 2013-06-05 2017-01-10 Echostar Technologies L.L.C. Apparatus, method and article for providing audio of different programs
US10430150B2 (en) 2013-08-23 2019-10-01 Tobii Ab Systems and methods for changing behavior of computer program elements based on gaze input
US9143880B2 (en) 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
US20150253937A1 (en) 2014-03-05 2015-09-10 Samsung Electronics Co., Ltd. Display apparatus and method of performing a multi view display thereof
US9898079B2 (en) 2014-06-11 2018-02-20 Drivemode, Inc. Graphical user interface for non-foveal vision

Also Published As

Publication number Publication date
ES2568506T3 (es) 2016-04-29
US20180307324A1 (en) 2018-10-25
DK1607840T3 (da) 2015-02-16
EP2202609B8 (en) 2016-03-09
EP1607840A1 (en) 2005-12-21
US9996159B2 (en) 2018-06-12
EP2202609A3 (en) 2011-05-25
EP2202609A2 (en) 2010-06-30
US10203758B2 (en) 2019-02-12
US20130326431A1 (en) 2013-12-05
US20140009390A1 (en) 2014-01-09
CN100458665C (zh) 2009-02-04
US20130321270A1 (en) 2013-12-05
US20180329510A1 (en) 2018-11-15
US20130318457A1 (en) 2013-11-28
CN1969249A (zh) 2007-05-23
US20070164990A1 (en) 2007-07-19
US10025389B2 (en) 2018-07-17
DK2202609T3 (en) 2016-04-25
EP1607840B1 (en) 2015-01-28
US9952672B2 (en) 2018-04-24
WO2005124521A1 (en) 2005-12-29
US8185845B2 (en) 2012-05-22
PT1607840E (pt) 2015-05-20
EP2202609B1 (en) 2016-01-27
JP2008502990A (ja) 2008-01-31
JP4944773B2 (ja) 2012-06-06
US20120146895A1 (en) 2012-06-14

Similar Documents

Publication Publication Date Title
ES2535364T3 (es) Control ocular de aparato informático
AU2021242208B2 (en) Devices, methods, and graphical user interfaces for gaze-based navigation
EP4193244B1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11126319B2 (en) Mixed reality device gaze invocations
US20020044152A1 (en) Dynamic integration of computer generated and real world images