ES2898981T3 - Activación rápida en un sistema de seguimiento de la mirada - Google Patents

Abstract

Un método para un sistema (10) de seguimiento de la mirada, siendo dicho sistema de seguimiento de la mirada adecuado para controlar un dispositivo informático (20) asociado con una pantalla visual (23), comprendiendo dicho sistema de seguimiento de la mirada al menos un sensor (12) con una superficie sensible a la luz dispuesta para recibir luz desde la cabeza de un observador de la pantalla visual, estando el método caracterizado por: en respuesta a una señal de activación de seguimiento de la mirada (A) desde unos medios de entrada de dicho dispositivo informático en dicho sistema de seguimiento de la mirada: salir de un modo de baja potencia de dicho sistema de seguimiento de la mirada; capturar una instantánea de visión general de al menos una porción de la cabeza del observador y ubicar una región del ojo del observador en la instantánea de visión general; capturar, a una primera velocidad de fotogramas, una pluralidad de instantáneas de al menos una porción de la cabeza del observador usando dicho al menos un sensor, del que se leen datos en regiones restringidas, que se colocan según la ubicación de la región del ojo y cuya unión ocupa como máximo el 10 % del área de la superficie sensible a la luz; determinar un primer valor del punto de mirada de dicho observador en la pantalla visual basándose en información de dicha pluralidad de instantáneas y opcionalmente en información adicional de la instantánea de visión general; proporcionar una primera señal de control al dispositivo informático basándose en dicho primer valor del punto de mirada; después de proporcionar dicha primera señal de control, capturar, a una segunda velocidad de fotogramas, que es menor que dicha primera velocidad de fotogramas, instantáneas adicionales de al menos una porción de la cabeza del observador usando dicho al menos un sensor; determinar, para una instantánea adicional, un valor del punto de mirada adicional de dicho observador en la pantalla visual basándose en información de dicha instantánea adicional y de forma adicional en información de al menos una instantánea anterior; y proporcionar una señal de control adicional al dispositivo informático basándose en dicho punto de mirada adicional.

Description

DESCRIPCIÓN

Activación rápida en un sistema de seguimiento de la mirada

Campo técnico

La invención descrita en la presente memoria se refiere, en general, a un seguimiento ocular (determinación de la posición del ojo, punto de mirada o ángulo de mirada) para proporcionar datos de entrada a un sistema informático. En particular, la invención proporciona un método que habilita una activación rápida de un modo de suspensión de un sistema de seguimiento de la mirada adaptado para determinar el punto de mirada de un observador que observa una pantalla visual que forma parte de un dispositivo informático personal portátil o fijo, un aparato de televisión, una pantalla de visualización frontal en un vehículo, una pantalla cercana al ojo o una pantalla en un dispositivo de comunicación con capacidades de formación de imágenes y computación, tal como un teléfono móvil.

Antecedentes

Los sistemas de seguimiento ocular que forman parte de las human-machine interfaces (interfaces hombremáquina - HMI) están sujetos a severas restricciones sobre el consumo de energía, especialmente en ordenadores personales y dispositivos alimentados con batería. Muchos sistemas de seguimiento ocular disponibles están programados para entrar en un modo de suspensión después de un período de ausencia de entradas de un usuario. En el documento US-2010/079508 se describe un ejemplo de un sistema de seguimiento ocular de este tipo. Desde el punto de vista del ahorro energético, el período debería ser lo más corto posible, de manera que el sistema de seguimiento ocular estará en un modo de suspensión un gran porcentaje del tiempo. Esto debe equilibrarse contra la conveniencia de una alta capacidad de respuesta del sistema, lo que parecería que aboga por el transcurso de un período relativamente más largo antes de entrar en un modo de suspensión. Sin embargo, esta compensación puede resultar menos complicada, si los esfuerzos se dirigen a reducir el tiempo de activación del sistema.

El documento WO 02/01336 muestra un sistema y un método para permitir que un usuario de ordenador controle un indicador, tal como un puntero o cursor de ratón, en un monitor de ordenador. El sistema y el método usan una videocámara que apunta al usuario para capturar la imagen del usuario. La ubicación en el campo de visión de la videocámara de una característica elegida de la imagen del usuario se usa para controlar la ubicación del indicador en el monitor o pantalla de visualización. Así, mediante el control del movimiento de la característica elegida, que puede ser, por ejemplo, la nariz del usuario, el usuario puede controlar o proporcionar una entrada en un programa informático, videojuego u otro dispositivo o sistema. Durante el seguimiento, el sistema hace uso de una ventana de búsqueda en una imagen capturada por una cámara. Las ventanas de búsqueda grandes pueden requerir recursos computacionales que pueden reducir la velocidad de fotogramas. El tamaño de una ventana de búsqueda aplicada por el sistema puede, por lo tanto, aumentarse o disminuirse dependiendo de la potencia de procesamiento disponible hasta que la velocidad de fotogramas alcanza un valor determinado.

Resumen de la invención

Es en vista de las consideraciones anteriores que los inventores han realizado la presente invención, que reduce o al menos mitiga los problemas conocidos por estar asociados con la técnica anterior. Como tal, un objetivo de la presente invención consiste en proporcionar un equipo de seguimiento ocular con características competitivas de gestión de energía, pero de baja latencia para las interacciones del usuario en todos los casos en los que el equipo está operando, incluyendo cualquier modo de ahorro de energía o 'suspensión'. Otro objetivo es proporcionar un sistema de seguimiento de la mirada que pueda integrarse en un sistema informático personal (p. ej., ordenador de escritorio o portátil, ordenador de tableta, ordenador portátil, miniordenador portátil, ordenador portátil ligero, ordenador de escritorio todo en uno, TV, teléfono inteligente, asistente digital personal, cámara digital, pantalla de visualización frontal, pantalla cercana al ojo) sin sobrecargar el rendimiento energético del sistema informático.

Al menos uno de estos objetivos se consigue mediante un método, producto de programa informático y sistema de seguimiento de la mirada con las características expuestas en las reivindicaciones independientes 1, 11 y 12. Las reivindicaciones dependientes definen realizaciones de la invención.

El sistema de seguimiento de la mirada se comunica con al menos un sensor con una superficie sensible a la luz dispuesta para recibir luz (que se refleja) desde la cabeza de un observador de una pantalla visual asociada con un dispositivo informático. El al menos un sensor puede ser una parte apropiada del sistema de seguimiento de la mirada o puede ser externo al sistema, p. ej., puede proporcionarse como un componente periférico. El sistema de seguimiento de la mirada está adaptado para controlar el dispositivo informático proporcionando una señal de control al dispositivo informático según el punto de mirada detectado del observador en la pantalla visual.

Como se usa en la presente memoria, un dispositivo informático puede incluir un dispositivo con el que interactúa el observador, p. ej., un ordenador personal que ejecuta un programa de aplicación que el observador puede controlar a través de una interfaz humano-máquina integrada en el ordenador personal o proporcionada como un dispositivo periférico. Además, el observador puede interactuar con software o con un software del sistema o soporte intermedio a través de una interfaz hombre-máquina integrada en el ordenador personal o proporcionada como un dispositivo periférico. Además, un dispositivo informático puede referirse a una interfaz de software o hardware dispuesta entre el sistema de seguimiento de la mirada y un ordenador personal que ejecuta un programa de aplicación de este tipo. Como tal, la señal de control puede contener datos que representan el punto de mirada del observador, que el dispositivo informático corriente abajo puede procesar adicionalmente para determinar qué acción tiene que tomarse. Alternativamente, la señal de control contiene un comando específico legible por ordenador, derivado, al menos en parte, a partir del punto de mirada, posiblemente en un formato adecuado para su interpretación por un programa de aplicación.

El sistema de seguimiento de la mirada sale de un modo de baja potencia, p. ej., un modo de suspensión, del sistema de seguimiento de la mirada en respuesta a la recepción de una señal de activación de seguimiento de la mirada de uno o más medios de entrada en el dispositivo informático. El sistema de seguimiento de la mirada captura una instantánea de visión general de al menos una porción de la cabeza del observador, o en el caso de múltiples observadores al menos una porción de la cabeza de uno de los observadores, y deriva información relacionada con la ubicación de la región del ojo del observador, p. ej., un cuadro delimitador, una ubicación estimada de uno o ambos ojos. El sistema de seguimiento de la mirada captura una pluralidad de instantáneas de la cabeza del observador o al menos una porción de la misma. Al hacerlo, el sistema de seguimiento de la mirada lee datos a una primera velocidad de fotogramas, en unas realizaciones, una velocidad de fotogramas que se incrementa en comparación con una velocidad de fotogramas durante la operación normal, desde regiones restringidas del al menos un sensor. En este punto, las regiones se restringen en el sentido de que su unión ocupa como máximo una primera porción predeterminada del área de la superficie sensible a la luz del al menos un sensor. La primera porción predeterminada es como máximo el 10 % del área de la superficie sensible a la luz del al menos un sensor. Las regiones restringidas se ubican según la ubicación de la región del ojo derivada a partir de la instantánea de visión general. A continuación, el sistema de seguimiento de la mirada determina un primer valor del punto de mirada del observador en la pantalla visual basándose en la información extraída de dicha pluralidad de instantáneas y, opcionalmente, en la información de la instantánea de visión general; esta operación en el sistema de seguimiento de la mirada es independiente de una formación de imágenes adicionales, pero puede tener en cuenta las configuraciones de configuración, los datos de calibración dependientes del usuario y dependientes del equipo y constantes de sistema similares. Basándose en el primer valor del punto de mirada determinado de esta manera, el sistema de seguimiento de la mirada proporciona una primera señal de control a dicho dispositivo informático. Después de proporcionar dicha primera señal de control, el sistema de seguimiento de la mirada continúa capturando instantáneas adicionales de al menos una porción de la cabeza del observador operando dicho al menos un sensor a una segunda velocidad de fotogramas, que en unas realizaciones de la presente invención es la velocidad de fotogramas durante la operación normal. Para una de dichas instantáneas adicionales, el sistema determina un valor adicional del punto de mirada basándose en información tanto a partir de dicha instantánea adicional como a partir de al menos una instantánea anterior. Dicha instantánea anterior puede ser una instantánea en la dicha pluralidad de instantáneas o puede ser una de las instantáneas anteriores de entre dichas instantáneas adicionales.

La cantidad identificada como velocidad de fotogramas en las reivindicaciones puede determinarse como el número de fotogramas de imagen completos, ya sea de todo el sensor, una porción más pequeña del sensor o de una región restringida del sensor, que se capturan por unidad de tiempo. Los inventores se han dado cuenta de que, en el caso en el que un sensor de imagen se divide en píxeles, la velocidad de fotogramas típicamente está determinada, entre otras cosas, por un límite superior explícito u oculto en el número de píxeles que pueden leerse por unidad de tiempo. Por lo tanto, si los datos se leen únicamente para una región restringida, esto puede realizarse a una velocidad de fotogramas más alta, lo que acorta el tiempo total requerido para el procedimiento de activación.

Con respecto a la condición formulada como porcentaje de la unión de las regiones restringidas, se observa lo siguiente. Un beneficio de observar esta condición es que los recursos de formación de imágenes disponibles (velocidad de transferencia de datos, tiempo, capacidad de procesamiento) se concentran en una porción limitada de la superficie sensible a la luz. Si se cubre un área más grande yuxtaponiendo regiones restringidas (posiblemente solapándose parcialmente), de manera que la unión de las regiones restringidas alcance un porcentaje sustancialmente mayor, entonces los recursos de formación de imágenes no se concentrarán en una porción limitada de la superficie sensible a la luz. En su lugar, los recursos disponibles se emplean en la formación de imágenes de una escena más grande, lo que puede conducir a un tiempo de activación más largo en el sistema de seguimiento de la mirada o a una degradación de la precisión. Además, la cantidad del 10 % (= área de unión de regiones restringidas/área de superficie sensible a la luz completa) se expresa principalmente en relación con un sistema en el que la superficie sensible a la luz completa, en condiciones normales (distancia, etc.), proporciona un tamaño de imagen que corresponde a toda la cabeza del observador cuando se coloca de forma óptima. Preferentemente, la superficie sensible a la luz es también al menos dos veces más ancha en la dirección horizontal. Resultará evidente para el experto en la materia que el porcentaje real ocupado por las regiones restringidas puede variar (para un conjunto dado de regiones restringidas) en respuesta a un cambio en el área de superficie sensible a la luz y/o (para un área dada de la superficie sensible a la luz) en respuesta a un cambio en el conjunto de regiones restringidas. Las regiones restringidas pueden hacerse incluso más pequeñas, tal como menos del 5 % o menos del 3 % del área de la región sensible a la luz completa, lo que puede acortar el proceso de activación, pero también puede requerir el uso de equipo con tolerancias más pequeñas.

En un ejemplo de realización, el primer valor del punto de mirada se determina de una manera sin estado o sin memoria, mientras que el valor del punto de mirada adicional se determina de una manera con estado o con memoria. En particular, el primer valor del punto de mirada puede calcularse de forma no recursiva, mientras que el valor del punto de mirada adicional puede calcularse de forma recursiva sobre la base de instantáneas anteriores de la cabeza del observador o sobre la base de valores del punto de mirada anteriores. Se sabe que la recursión, iteración y enfoques similares mejoran la precisión dependiendo de resultados anteriores o datos de entrada anteriores. En este ejemplo de realización, la incapacidad aparente de hacerlo para la determinación del primer punto de mirada se compensa proporcionando un conjunto más rico de datos de entrada, a saber, habilitando la operación de sensor a una velocidad de fotogramas aumentada.

En un ejemplo de realización, dicha pluralidad de instantáneas comprende tres instantáneas consecutivas. Opcionalmente, un algoritmo de cálculo recursivo o iterativo para determinar el punto de mirada puede tener en cuenta un número igual de instantáneas, p. ej., una instantánea actual y dos instantáneas anteriores. El número de instantáneas que hay que incluir depende de la dificultad prevista (que puede relacionarse, entre otras cosas, con la relación señal a ruido típica) para determinar el punto de mirada en la aplicación particular, así como de la precisión requerida del punto de mirada. Como tal, variaciones de este ejemplo de realización pueden incluir basar la determinación del punto de mirada en un número menor o mayor de instantáneas del al menos un ojo del observador.

En un ejemplo de realización, el primer punto de mirada se determina filtrando conjuntamente instantáneas en dicha pluralidad de instantáneas o una cantidad derivada a partir de dichas instantáneas, y dicho punto de mirada adicional se determina filtrando conjuntamente dicha instantánea adicional y al menos una instantánea anterior o una cantidad derivada a partir de dichas instantáneas. El filtrado puede implicar el uso de un filtro con respuesta finita al impulso o un filtro con respuesta infinita al impulso, particularmente, un filtro recursivo. A lo largo de las líneas de la descripción anterior, el filtrado puede usar una instantánea anterior como entrada (parcial) o puede usar una cantidad derivada a partir de una instantánea anterior, p. ej., un valor del punto de mirada. Por filtrado conjunto se entiende una operación, que puede estar compuesta de suboperaciones, con el propósito de determinar un valor del punto de mirada. El filtrado conjunto no se refiere principalmente a una disposición que comprende múltiples instancias de filtrado efectuadas en paralelo y que producen resultados finales separados. Como tal, una operación de filtrado conjunto diseñada para proporcionar un valor del punto de mirada adicional y que tiene como entrada una instantánea actual y una instantánea anterior típicamente toma en cuenta ambas instantáneas para calcular un único valor del punto de mirada adicional.

El sistema de seguimiento de la mirada se adapta para derivar una suposición del punto de mirada a partir de una pluralidad de instantáneas. La suposición del punto de mirada puede derivarse usando un método numérico conocido per se en la técnica. Basándose en estas, el sistema de seguimiento de la mirada determina un valor del punto de mirada filtrando varias suposiciones del punto de mirada, p. ej., promediando. Por lo tanto, incluso si se sabe que el método numérico por el cual se proporciona cada suposición del punto de mirada es sensible a errores en los datos de entrada (las instantáneas), el sistema de seguimiento de la mirada en su conjunto será menos sensible que el método numérico, en virtud del filtrado posterior. En un desarrollo adicional del mismo, el sistema de seguimiento de la mirada puede configurarse para iniciar el filtrado únicamente si las suposiciones del punto de mirada permanecen en un rango acotado. Esto es efectivamente una condición en la desviación máxima de la mirada, al efecto de que las instantáneas del ojo sucesivas que pertenecen a un movimiento sacádico en lugar de a un seguimiento fijo o suave no estarán sujetas al promedio. Si el sistema de seguimiento de la mirada determina de esta manera que existe únicamente una instantánea del ojo en su posición presente (es decir, después de un movimiento sacádico), puede elegir capturar instantáneas adicionales del ojo, hasta que haya un número suficiente de instantáneas del ojo para las que las suposiciones del punto de mirada están lo suficientemente cerca. Alternativamente, el sistema de seguimiento de la mirada puede emitir excepcionalmente la suposición del punto de mirada como el punto de mirada. Alternativamente, para los ejemplos de realización en los que el sistema de seguimiento de la mirada responde a una solicitud de información acerca del punto de mirada del observador en el momento de la señal de activación de seguimiento de la mirada, pueden usarse múltiples suposiciones del punto de mirada en una (porción final de un) movimiento sacádico después de la señal de activación de seguimiento de la mirada para determinar de dónde provino el movimiento sacádico y, por lo tanto, dónde se ubicó la mirada del observador en el momento de la señal de activación de seguimiento de la mirada.

La configuración de la región a la cual está restringido el al menos un sensor se guía por una instantánea de visión general de la cabeza del observador. Según se ha descrito anteriormente, la instantánea de visión general se usa con el propósito de encontrar una ubicación de región del ojo. No es esencial qué dispositivo o componente particular proporcione la instantánea de visión general al sistema de seguimiento de la mirada, pero hay varias opciones disponibles.

Preferentemente, la instantánea de visión general se captura leyendo datos de la superficie sensible a la luz completa, o más del 50 % de la misma, en el al menos un sensor. Por ejemplo, el sistema de seguimiento de la mirada puede configurarse para restringir el sensor, basándose en la instantánea de visión general, a la región del ojo del observador, a una región alrededor de uno de los ojos o a una región alrededor de cada ojo. Para acortar aún más la duración total del procedimiento de activación, el sensor puede operarse a una resolución (espacial) reducida cuando captura la instantánea de visión general, preferentemente, en un modo de resolución reducida. Debido a que cada píxel recolectará entonces un haz de luz más ancho, la energía de excitación por encima de un umbral de detectabilidad específico del sistema se recopilará en menos tiempo. La reducción en la resolución espacial puede conseguirse por discretización. Esto puede implicar leer todos los píxeles de un grupo de píxeles adyacentes (o uno de cada dos píxeles de un grupo de píxeles adyacentes) como un píxel virtual, de manera que se acumula la energía de excitación; los píxeles adyacentes pueden agruparse en grupos de 2 x 2 píxeles, grupos de 4 x 4 píxeles, grupos según patrones rectangulares y similares. De forma alternativa o adicional, la resolución puede cambiarse saltando ciertos píxeles. Porejemplo, es posible leer únicamente los datos de un subconjunto de los píxeles, p. ej., leyendo únicamente cada Nesimo píxel, donde se puede recopilar una imagen a una resolución más baja en menos tiempo.

Siempre en aras de acortar el procedimiento de activación, la instantánea de visión general puede capturarse con iluminación activa. Esto puede lograrse activando al menos una fuente de luz que emite luz hacia la cabeza del observador. La fuente de luz activada es, preferentemente, de un tipo con un gran ángulo, proporcionando una iluminación general que puede esperarse que aumente el contraste de la imagen entre diferentes porciones del ojo y la región circundante.

Aplicando la reducción de resolución y/o la iluminación activa, el tiempo de exposición requerido para capturar la instantánea de visión general puede reducirse a menos de la mitad del tiempo de exposición normal en condiciones de iluminación ambiental y resolución completa. En algunas implementaciones, el tiempo de exposición puede reducirse a un cuarto del valor normal o incluso menos.

Como implementación alternativa, la instantánea de visión general se captura en forma de una instantánea de profundidad. La instantánea de profundidad puede estar proporcionada por un sensor de profundidad, que hay que entender como un dispositivo para proporcionar una matriz bidimensional de datos de profundidad de una escena. El sensor de profundidad puede integrarse en el sistema de seguimiento de la mirada o puede asociarse con el sistema, tal como por mediación de un dispositivo informático, al que se conecta comunicativamente el sistema. En particular, un sensor de profundidad previsto para productos de consumo puede incluir un proyector láser infrarrojo o infrarrojo cercano combinado con un sensor de CMOS monocromo con sensibilidad en ese rango de longitud de onda. Alternativamente, un iluminador que emite en el rango visible se combina con un sensor de luz correspondiente. Un sensor de profundidad puede ser un instrumento de tiempo de vuelo que mide el tiempo desde la emisión de un pulso de luz hasta la recepción de su reflejo. Alternativamente, el sensor de profundidad puede iluminar la escena mediante luz estructurada (p. ej., patrones de puntos, tiras) y aplicar métodos de triangulación. Alternativamente, el sensor de profundidad incluye dos o más cámaras y deriva el mapa de profundidad estereoscópicamente, tal como basándose en dos o más instantáneas de una porción de la cabeza del observador que son capturadas en una ventana de tiempo corta o simultáneamente. El sensor de profundidad puede incluir el al menos un sensor mencionado anteriormente; por ejemplo, el al menos un sensor puede combinarse con una fuente de luz adecuada o puede ser una o ambas cámaras (suponiendo que se proporcionan al menos dos sensores) en un par estereoscópico. Un beneficio particular del uso de un sensor de profundidad es que puede derivarse información adicional, p. ej., con respecto a la ubicación espacial de un ojo, a partir de la misma instantánea de profundidad. De hecho, debido a que la ubicación del ojo espacial varía típicamente más lentamente que la orientación del ojo, las instantáneas de profundidad previstas para este propósito típicamente se capturan con menos frecuencia que las instantáneas del ojo, para ahorrar recursos. La disponibilidad de una estimación de la ubicación espacial del ojo es útil para el seguimiento de la mirada según el enfoque de PCCR y técnicas similares.

En un ejemplo de realización que tiene como objetivo reducir adicionalmente el tiempo total de activación, la señal de activación de seguimiento de la mirada activa una interrupción en el sistema de seguimiento de la mirada. En una implementación en la que el sistema de seguimiento de la mirada y el dispositivo informático se comunican a través de una interfaz de bus con un protocolo que da prioridad a determinados tipos de paquetes, la señal de activación de seguimiento de la mirada puede transmitirse, alternativamente, pero con un efecto equivalente, como un paquete de tipo priorizado. En particular, si se usa una interfaz de USB (Universal Serial Bus [Bus Universal en Serie]), las señales de activación de seguimiento de la mirada pueden ser un mensaje de tipo solicitud que, según el USB, tiene que manejarse dentro de un período de duración reducida.

En un ejemplo de realización, dichas instantáneas adicionales se capturan sujetas a una restricción menos rigurosa en la región de imagen, o incluso sin restricción alguna (es decir, los datos se leen de toda la superficie sensible a la luz o al menos una porción sustancial de la misma). Ventajosamente, esto hace que la determinación del punto de mirada sea más robusta contra movimientos rápidos de la cabeza, lo que puede provocar un desplazamiento repentino de la ubicación del ojo anterior. Esta robustez es particularmente útil cuando el sensor se opera a una velocidad de fotogramas normal en lugar de a una velocidad de fotogramas aumentada. En un desarrollo adicional de este ejemplo de realización, la región desde la que se leen los datos se amplía y/o recoloca adaptativamente en función de un movimiento de cabeza detectado. En particular, la región puede ampliarse mediante un relleno periférico con un número de píxeles que se relacionan con una velocidad de movimiento momentánea estimada en la superficie de la cabeza (incluyendo tanto movimiento giratorio como de traslación). En particular, la región puede recolocarse (en una nueva ubicación en el área sensible a la luz) por traslación en una dirección derivada a partir de un vector de velocidad de cabeza momentánea estimada. En particular, la región desde la que se leen los datos para capturar dicha pluralidad de instantáneas (subyacente a la determinación del primer valor del punto de mirada, al menos en parte) puede actualizarse mediante una recolocación pura, en donde se mantiene un primer formato fijo (que representa una primera área), pero se traslada repetidamente a través de la superficie sensible a la luz según una dirección estimada de movimiento y/o velocidad de movimiento. Cuando se capturan instantáneas con el fin de determinar el valor del punto de mirada adicional, un segundo formato fijo que usó, que difiere del primer formato al menos en que representa una segunda área, que es mayor que la primera área. La segunda área puede ser al menos 1,25 veces la primera área, tal como 1,5 veces la primera área, tal como 1,75 veces la primera área, tal como 2 veces la primera área, tal como 3 veces la primera área. Alternativamente, el primer y segundo formatos pueden diferir en que comprenden diferentes números de píxeles. En particular, el segundo formato puede comprender al menos 1,25 veces (tal como 1,5 veces, 1,75 veces, 2 veces, 3 veces) el número de píxeles en el primer formato.

En un ejemplo de realización, la relación entre la primera velocidad de fotogramas, es decir, la velocidad de fotogramas aumentada (en número de fotogramas por unidad de tiempo), y la segunda velocidad de fotogramas, es decir, la velocidad de fotogramas normal, es al menos 2, tal como al menos 5, tal como al menos 10, tal como al menos 20, tal como al menos 50. La velocidad de fotogramas normal puede ser de aproximadamente 40 Hz ± 10 Hz, mientras que la velocidad de fotogramas aumentada puede ser de 300 Hz ± 100 Hz.

En un ejemplo de realización, los medios de entrada que emiten la señal de activación de seguimiento de la mirada son de tipo sin mirada. Además, preferentemente, los medios de entrada incluyen un sensor de gestos corporales, un transductor acústico, un detector táctil, un dispositivo apuntador o un sensor de proximidad. El sensor de gestos corporales puede ser óptico, tal como, por ejemplo, un sistema para la detección de profundidad remota que tiene una funcionalidad de reconocimiento de gestos. El transductor acústico puede combinarse con un procesador de reconocimiento de voz para formar un medio de entrada basado en voz. El detector táctil puede ser óptico, capacitivo o electromecánico y puede estar integrado en una pantalla visual, un panel táctil o un teclado. El dispositivo apuntador puede ser un ratón, una palanca de mando, un panel de dibujo o similares. El sensor de proximidad tiene la funcionalidad de producir una indicación de proximidad positiva cuando establece que una parte del cuerpo está más cerca que una distancia umbral del sensor. El sensor de proximidad puede ser de tipo óptico o de tipo no óptico, incluyendo un sensor capacitivo.

En un ejemplo aún en aras de reducir el tiempo de activación, dicha pluralidad de imágenes se captura usando un sensor de tipo obturador rodante. Una característica de un sensor de obturador rodante, que lo distingue de un sensor de obturador global, es que todos los píxeles no se forman en imágenes en un único punto en el tiempo, sino que se escanean a través del sensor según un patrón de escaneo predefinido. El patrón de escaneo predefinido puede ser a lo largo de líneas horizontales o verticales en algún orden. A diferencia de un sensor de obturador rodante, un sensor de obturador global puede intentar aproximarse a una fotografía instantánea grabando todo un fotograma en una ventana de tiempo común. Los sensores de obturador rodante proporcionan típicamente una lectura de datos más rápida, que idealmente puede limitarse (ignorando, entre otras cosas, cualquier línea en blanco y columna en blanco en el formato de datos) únicamente por la relación del tamaño de la región de lectura y la velocidad de transferencia de datos. Esto permite que el sistema de seguimiento de la mirada comience antes del procesamiento de punto de mirada de dicha pluralidad de imágenes. En particular, el sistema de seguimiento de la mirada puede comenzar a procesarse antes de que se hayan leído todos los píxeles en la región. Es importante destacar que los sensores de obturador rotatorio proporcionan típicamente un paso de píxel más fino que un sensor de obturador global comparable (p. ej., 1,1 pm frente a 3 pm). Debido a la bien conocida y molesta falta de sincronicidad de los píxeles en cada imagen, que parece hacer más difícil la subsiguiente derivación de punto de mirada, el uso de un sensor de obturador rodante en un equipo de seguimiento de la mirada no es obvio. Sin embargo, en este ejemplo de realización, como se han dado cuenta los inventores, la restricción en el área de la imagen elimina este inconveniente en gran medida.

En un ejemplo, el procedimiento de activación termina en el modo listo, que el sistema de seguimiento de la mirada mantiene durante un período predeterminado. El sistema de seguimiento de la mirada está listo para manejar señales de activación adicionales en el modo listo. Las señales de activación adicionales no son necesariamente señales de activación de seguimiento de la mirada, sino que pueden ser señales en una HMI a través de las cuales el observador interactúa con el dispositivo informático. Si no se recibe ninguna señal de activación adicional durante el período predeterminado, el sistema de seguimiento de la mirada regresa al modo de baja potencia, p. ej., al modo de suspensión. Similarmente, si una o más señales de activación adicionales se han recibido, de hecho, pero ha transcurrido el período predeterminado después del último evento, el sistema se comporta similarmente. La duración del período predeterminado puede seleccionarse en función de la capacidad de respuesta deseada del dispositivo informático (que puede experimentarse como reducida si el sistema de seguimiento de la mirada introduce una latencia significativa) y de la energía disponible. En una implementación, el período predeterminado puede durar aproximadamente 30 segundos. En su modo listo, el sistema de seguimiento de la mirada puede operar el al menos un sensor a una frecuencia relativamente más baja (o velocidad de fotogramas). Por ejemplo, la frecuencia más baja puede ser menos de 1/2 de la frecuencia más alta, preferentemente menos de 1/4, tal como menos de 1/10. Esto reducirá la contribución del al menos un sensor (y el sistema de circuitos de procesamiento asociado) al consumo total de energía del sistema de seguimiento de la mirada. Aun así, la frecuencia más baja puede proporcionar suficiente precisión (incluyendo precisión de movimiento) ya que los valores anteriores pueden guiar las actualizaciones del punto de mirada. En su modo listo, además, el sistema de seguimiento de la mirada puede leer datos de todo el sensor o de una región que representa un área más pequeña que todo el sensor.

El sistema de seguimiento de la mirada comprende un procesador configurado para realizar el procedimiento de activación según una de las implementaciones descritas anteriormente. El sistema de seguimiento de la mirada se asocia con al menos un sensor, preferentemente en conexión comunicativa con este. En particular, el al menos un sensor puede operarse selectivamente a una velocidad de fotogramas normal, en donde los datos pueden leerse de una selección relativamente más grande de regiones en la superficie sensible a la luz (lo que posiblemente incluye la superficie completa, pero puede haber, alternativamente, un límite superior específico de la implementación en el área de las regiones), o a una velocidad de fotogramas aumentada, en donde los datos se leen de una región restringida. La región restringida puede posicionarse en diferentes ubicaciones en la superficie sensible a la luz, pero tiene un área más pequeña para habilitar el aumento buscado en la velocidad de fotogramas.

Sin abandonar el ámbito de la invención, el al menos un sensor del sistema de seguimiento de la mirada puede comprender dos o más subsensores, en donde el modo de velocidad normal incluye operar un primer subsensor y el modo de velocidad aumentada incluye operar un segundo subsensor. Preferentemente, el primer subsensor comprende una superficie sensible a la luz más grande que el segundo subsensor.

En un ejemplo de realización, se proporciona un producto de programa informático para controlar un sistema de seguimiento de la mirada del tipo descrito anteriormente.

Breve descripción de los dibujos

A continuación, se describirán ejemplos de realización de la invención con referencia a las figuras adjuntas, en las que:

la Figura 1 es una figura esquemática de un sistema de seguimiento de la mirada dispuesto en cooperación con un dispositivo informático equipado con una pantalla visual;

la Figura 2 ilustra el posicionamiento de regiones restringidas dentro de una superficie sensible a la luz de un sensor de imagen, con el objetivo de capturar instantáneas de la región del ojo de un observador eficazmente; y

la Figura 3 muestra una implementación de un sensor de profundidad.

Todas las figuras son esquemáticas y, generalmente, muestran únicamente partes que son necesarias para dilucidar la invención, mientras que otras partes pueden omitirse o simplemente sugerirse. Salvo que se indique lo contrario, los números de referencia similares en figuras diferentes se refieren a elementos estructurales o funcionalmente correspondientes.

Descripción detallada de los ejemplos de realización

Como se muestra en la Figura 1, un sistema 10 de seguimiento de la mirada comprende un procesador 11. El procesador se conecta comunicativamente a una fuente 13 de luz y a dos dispositivos 12, 14 de formación de imágenes, que pueden ser externos al sistema (y ubicarse en el mismo dispositivo físico o en un dispositivo físico diferente) o pueden ser componentes internos en el sistema 10 de seguimiento de la mirada. Se prevé, entre otras cosas, que el sistema de seguimiento de la mirada se incorpore como un software interno o componente de hardware en un sistema informático personal (para ejemplos, véase más arriba) que actúa como interfaz de los dispositivos 12, 14 de formación de imágenes y la fuente 13 de luz por un lado y además de un procesador del sistema informático personal. El sistema 10 de seguimiento de la mirada puede incorporarse como soporte intermedio que se ejecuta en el sistema operativo del sistema informático personal. El sistema 10 de seguimiento de la mirada puede distribuirse, además, de manera que algunas tareas (p. ej., procesamiento de instantáneas) se realicen en software que se ejecuta en el sistema operativo y algunas tareas (p. ej., comunicarse con la fuente 13 de luz y los dispositivos 12, 14 de formación de imágenes) en un procesador 11 dispuesto en una unidad periférica (no se muestra) asociada con el sistema informático personal. El procesador 11 puede implementarse al menos según las siguientes opciones, o cualquier combinación de las siguientes opciones:

a) Uno o más dispositivos de formación de imágenes (sensor(es)) están equipados con una lógica con capacidades de procesamiento, que solos o juntos actúan como lo que se denomina “ procesador” en esta descripción incluyendo las reivindicaciones adjuntas.

b) Se proporciona un microprocesador convencional independiente o integrado como componente en el sistema de seguimiento de la mirada (separadamente de un sistema informático asociado) en comunicación con el dispositivo de formación de imágenes. El microprocesador puede ser programable mediante un lenguaje de nivel alto o bajo, p. ej., ensamblador o C, y actúa como “ procesador” .

c) Se proporciona un application-specific integrated circuit (circuito integrado específico para aplicaciones -ASIC) externo conectado comunicativamente con el al menos un sensor de imagen. La lógica se codifica de forma rígida como transistores en el ASIC. Por lo tanto, el ASIC tiene capacidades de procesamiento limitadas, pero aun así cumple con las tareas atribuidas al “ procesador” .

d) El “ procesador” es una parte integrada codificada de forma rígida de una CPU en un sistema informático o se proporciona en forma de chip complementario codificado de forma rígida a la CPU. El sistema informático puede ser controlable por el sistema de seguimiento de la mirada.

e) El “ procesador” es un programa de software que se ejecuta en la CPU de un sistema informático. El sistema informático puede ser controlable por el sistema de seguimiento de la mirada.

f) Un microcontrolador actúa como “procesador” . El microprocesador puede ser de tipo independiente y, alternativamente, puede integrarse en un sistema informático que es controlable por el sistema de seguimiento de la mirada.

Mediante una conexión por cable o inalámbrica, interna o externa, el sistema 10 de seguimiento de la mirada puede enviar y recibir señales a una interfaz 21 de un dispositivo informático 20, lo que incluye recibir una señal de activación A y enviar una señal de control C. Si el sistema de seguimiento de la mirada se integra al menos parcialmente en el sistema informático 20, estas señales son internas y pueden enviarse a través de interfaces de comunicación internas, que pueden ser físicamente distinguibles (p. ej., buses, conectores, USB, TCP/IP, PCIe) o completamente virtuales (p. ej., excepciones, eventos, otros mensajes de software intercambiados entre procesos que se ejecutan en una memoria, datos intercambiados según una sintaxis API predefinida y similares). El dispositivo informático 20 además comprende una pantalla visual 23 y un dispositivo apuntador 22, que se han dibujado como un ratón a efectos ilustrativos. Un usuario del dispositivo informático 20 puede dirigir ocasionalmente su atención visual a la pantalla visual 23, por ejemplo, en el punto de mirada G mostrado en la figura, y se denominará como un observador 99 en lo sucesivo.

La invención puede incorporarse en diferentes combinaciones de procesamiento, hardware o software de comunicación y de formación de imágenes encargados de tareas relacionadas con el seguimiento de la mirada, independientemente de que se desplieguen en unidades físicas particulares; también se busca protección para cualquier combinación funcionalmente motivada. Las características funcionales y estructurales del sistema 10 de seguimiento de la mirada y del dispositivo informático 20 se han descrito en secciones anteriores de esta descripción y se explicarán adicionalmente a continuación.

En el despliegue mostrado en la Figura 1, el sistema 10 de seguimiento de la mirada está configurado para controlar el dispositivo informático 20 sobre la base de un punto de mirada G detectado, proporcionando una señal de control C al dispositivo informático 20. Las propiedades de la señal de control C de diferentes ejemplos de realización se han descrito anteriormente. Por otra parte, el dispositivo informático 20 puede controlar un estado de energía del sistema 10 de seguimiento de la mirada proporcionando una señal de activación A. Si el sistema 10 de seguimiento de la mirada operó en un modo de baja potencia, p. ej., un modo de suspensión, y un modo normal, puede responder a la señal de activación A saliendo del modo de baja potencia y entrando en el modo normal. Como posibilidad adicional, si el sistema 10 de seguimiento de la mirada entra en el modo de baja potencia después de la expiración de un temporizador (no mostrado) con una duración predeterminada, el sistema 10 de seguimiento de la mirada puede responder a una señal de activación A, recibida en el modo normal, reiniciando el temporizador.

Para ahorrar energía, el sistema informático 20 puede configurarse para emitir la señal de activación A cuando decide que existe una necesidad de una entrada de seguimiento de la mirada. En algunas implementaciones, podría ser suficiente la detección de una simple presencia del observador. Según se ha descrito anteriormente, la señal de activación A puede activarse alternativamente mediante un comando de voz, un gesto corporal o similares. En otra implementación, el uso detectado del dispositivo apuntador 22 o proximidad detectada al dispositivo apuntador 22 puede activar la señal de activación A. En particular, si el dispositivo apuntador 22 se controla manualmente, p. ej., un ratón, palanca de mando o similares, un movimiento detectado puede activar la señal de activación A. De este modo, el puntero que aparece en la pantalla puede saltar al punto de mirada real G del observador 99, quien puede seleccionar posteriormente un control gráfico (p. ej., asociado con una acción predeterminada que debe ser realizada por el dispositivo informático 20) mediante un clic del ratón o similares, posiblemente después del ajuste manual fino de la posición del puntero. Similarmente, si el dispositivo apuntador 22 es del tipo que se controla con los dedos, tal como un panel táctil que hay que accionar por medio de una o más yemas de los dedos, el posicionamiento de un dedo puede activar la señal de activación A. En respuesta a esto, el sistema 10 de seguimiento de la mirada devuelve una señal de control C que indica el punto de mirada actual, al que se mueve inmediatamente el puntero (alternativamente, se muestra alguna otra retroalimentación visual para indicar que el objeto gráfico detectado en el punto de mirada del observador debe seleccionarse), y el observador 99 puede ajustar la posición del puntero moviendo su(s) dedo(s) sobre el panel táctil antes de liberar el(los) dedo(s) para seleccionar un elemento gráfico en la interfaz gráfica asociada con una acción predeterminada que debe ser realizada por el dispositivo informático 20. Los dos procesos que se han descrito en conexión con los dispositivos apuntadores controlados manualmente y controlados por los dedos son métodos para la interacción humano-máquina en el sistema compuesto, para los que se busca protección independientemente.

Los dispositivos 12, 14 de formación de imágenes pueden ser de diferentes tipos o del mismo tipo. En otras realizaciones distintas a la mostrada en la Figura 1, el sistema 10 de seguimiento de la mirada puede comprender un único dispositivo 12 de formación de imágenes; como se ha indicado anteriormente, es posible una captación rápida de una instantánea de visión general a tamaño completo o casi completo, entre otras cosas, si el único dispositivo 12 de formación de imágenes es operable en dos modos de resolución diferentes. Al menos uno de los dispositivos 12, 14 de formación de imágenes es responsable de formar imágenes de una región del ojo del observador 99 para proporcionar datos de entrada para determinar un punto de mirada G. Si el sistema 10 de seguimiento de la mirada captura una instantánea de visión general de la cabeza del observador 99 o una porción de la misma, entonces la instantánea de visión general se recibe desde un dispositivo de formación de imágenes externo (no mostrado) o al menos uno de los dispositivos 12, 14 de formación de imágenes está configurado para proporcionar esta instantánea de visión general. La instantánea de visión general puede basarse ciertamente en información de ambos dispositivos 12, 14 de formación de imágenes. Como se mencionó anteriormente, los dispositivos 12, 14 de formación de imágenes pueden ser sensibles a la luz visible, a la luz infrarroja cercana o infrarroja. Posibles configuraciones adicionales de los dispositivos 12, 14 de formación de imágenes y de la fuente 13 de luz incluyen las siguientes:

a) Los dispositivos 12, 14 de formación de imágenes son dos sensores de tipo CMOS de alta resolución, cuyas salidas se procesan por triangulación para producir el mapa de profundidad. Alternativamente, el procesamiento puede simplificarse en el sentido de que las dos salidas se procesan para producir una distancia a un ojo o un mapa de profundidad parcial restringido principalmente a la región del ojo. La fuente 13 de luz puede usarse durante la formación de imágenes del ojo, p. ej., proporcionando iluminación general o un reflejo corneal. La fuente 13 de luz puede usarse alternativamente para acortar el tiempo de exposición de la instantánea de visión general, como se ha explicado anteriormente.

b) El primer dispositivo 12 de formación de imágenes es un sensor de tipo CMOS de mayor resolución y el segundo dispositivo 14 de formación de imágenes es un sensor de tipo CMOS de menor resolución. El primer dispositivo 12 de formación de imágenes proporciona las imágenes del ojo. El mapa de profundidad se crea operando el segundo dispositivo 14 de formación de imágenes mientras se ilumina simultáneamente la cabeza del observador 99 mediante una luz estructurada o codificada desde la fuente 13 de luz. A manera de ejemplo, la Figura 3 muestra cómo puede usarse un patrón periódico de puntos para medir la profundidad en varios puntos de la escena estudiando cómo se transforma el patrón en varias superficies (p. ej., por reescalado y distorsión) en función del ángulo de incidencia.

c) El primer dispositivo 12 de formación de imágenes es un sensor de tipo CMOS de resolución más alta y el segundo dispositivo 14 de formación de imágenes es un sensor de tiempo de vuelo. En una implementación de este tipo, la fuente 13 de luz se modula y sincroniza preferentemente con el sensor de tiempo de vuelo.

El uno o más dispositivos de formación de imágenes responsables de proporcionar las imágenes del ojo pueden tener una velocidad de salida de datos limitada (según se mide en píxeles por unidad de tiempo), lo que a su vez limita la velocidad de fotogramas en un tamaño de imagen dado. Según se describe en otras partes de esta descripción, los algoritmos de seguimiento de la mirada con un enfoque de tipo recursivo (p. ej., una o más instantáneas del ojo anteriores contribuyen como datos de entrada, junto con una instantánea actual del ojo, a un valor del punto de mirada actual) puede carecer de suficientes datos de entrada (p. ej., imágenes que ocupan el lugar de la instantánea del ojo anterior) para completar un cálculo de punto de mirada inicial con la precisión deseada. Para remediar esto, según unos ejemplos de realización de la invención, se captura una ráfaga de instantáneas del ojo a una velocidad de fotogramas aumentada, lo que se hace posible restringiendo un área de imagen. En particular, esto puede incluir leer únicamente datos de una región restringida (o posiblemente, una pluralidad de regiones restringidas que pueden diferir ligeramente entre instantáneas consecutivas) que ocupan como máximo el 10 % del área de una superficie sensible a la luz en el dispositivo de formación de imágenes. Para una descripción general sobre las técnicas de restricción del área de la imagen, aunque no está relacionado con el problema actual de reducir un tiempo de activación, se hace referencia al documento WO 2004/45399.

Para ilustrar esto, la Figura 2 muestra la posición de una región restringida 31 en relación con una superficie 30 de todo el sensor para dos dispositivos 12 de formación de imágenes diferentes asociados con el procesador 11. En la figura, las regiones restringidas 31 tienen forma de rectángulos orientados en paralelo a la superficie 30 de todo el sensor. Esta orientación puede ser ventajosa en que las regiones restringidas 31 intersecarán un número mínimo de filas y columnas en la superficie 30 del sensor, lo que reduce la cantidad de líneas en blanco y columnas en blanco de manera que la carga útil ocupa un mayor porcentaje de la salida de datos de cada dispositivo 12 de formación de imágenes. El tamaño y la posición de cada región restringida 31 pueden guiarse por una instantánea de visión general y buscando en la instantánea de visión general características visuales (cejas, pupila, nariz, etc.) o buscando patrones de profundidad (contorno de nariz, arcos supraorbitales, etc.) que se encuentran típicamente en o cerca de una región del ojo. El resultado de la búsqueda en la instantánea de visión general puede emitirse en forma de coordenadas en la instantánea de visión general que definen un cuadro delimitador que contiene la región del ojo o una ubicación de un punto de referencia en la región del ojo. Estas coordenadas se convierten, a continuación, en coordenadas equivalentes en una superficie sensible a la luz en el dispositivo 12 de formación de imágenes en cuestión. En la situación mostrada en la Figura 2 muestra, las conversiones de una instantánea de visión general común pueden tener diferentes características debido a sus diferentes orientaciones.

A continuación, se describen brevemente algunos ejemplos de algoritmos de determinación de puntos de mirada con un carácter recurrente o de memoria para determinar un primer valor del punto de mirada G1 (o un número de determinaciones de puntos de mirada iniciales) y en posteriores valores del punto de mirada G2, G3, G4 y así sucesivamente. En estos ejemplos, los algoritmos tienen a su disposición tres instantáneas del ojo B1, B2, B3 capturadas a una velocidad de fotogramas aumentada durante la ráfaga de activación e instantáneas del ojo N1, N2, N3 adicionales capturadas a una velocidad de fotogramas normal después de la ráfaga. N1 (N2) puede referirse a la instantánea del ojo más reciente que está disponible cuando tiene que determinarse el segundo (tercer) valor del punto de mirada G2 (G3), etc. En algunos ejemplos, pueden usarse algoritmos diferentes para calcular el primer valor del punto de mirada G1, por una parte, y para calcular los valores del punto de mirada G2, G3, G4 posteriores, por otra parte.

En la Tabla 1 se describe un primer ejemplo de algoritmo, que usa tres instantáneas del ojo para determinar un punto de mirada, en términos de sus datos de entrada para los diferentes puntos de mirada.

El algoritmo puede basar, opcionalmente, el primer valor del punto de mirada G1 en una contribución de la instantánea de visión general. Debido a que el primer valor del punto de mirada G1 se calcula basándose en instantáneas del ojo capturadas a una velocidad de fotogramas aumentada, este puede emitirse en un punto temprano. Para calcular los valores del punto de mirada posteriores G2, G3, G4, es suficiente capturar instantáneas visuales adicionales a la frecuencia de actualización de puntos de mirada. Se observa que B1, B2, B3 son casi sincrónicas debido a la velocidad de fotogramas aumentada; por lo tanto, incluso si B3 es la instantánea del ojo más reciente de la ráfaga, puede ser aconsejable utilizar B1 o B2 en el cálculo del tercer valor del punto de mirada G3 si alguno de estos es de mejor calidad que B3. La calidad puede medirse automáticamente mediante uno de los índices de calidad descritos en la bibliografía. El algoritmo también puede usar los tres B1, B2, B3 para determinar el segundo y tercer valores del punto de mirada G2, G3, sin embargo, preferentemente, con menos peso para el tercero que el segundo considerando su datación menos reciente.

Un segundo ejemplo de algoritmo usa un valor del punto de mirada anterior como entrada cuando determina los valores del punto de mirada posteriores G2, G3, G4. Para el primer valor del punto de mirada G1, cualquier valor del punto de mirada anterior pertenecerá a una sesión de medición diferente y no será útil. En su lugar, el primer valor del punto de mirada G1 se calculará por medio del primer ejemplo de algoritmo. La Tabla 2 ilustra la operación del segundo ejemplo de algoritmo.

Un tercer ejemplo de algoritmo deriva una suposición del punto de mirada a partir de instantáneas del ojo individuales. A partir de las tres instantáneas del ojo B1, B2, B3 capturadas a una velocidad de fotogramas aumentada durante la ráfaga de activación, el algoritmo deriva las suposiciones del punto de mirada g(B1), g(B2), g(B3) y a partir de las instantáneas adicionales del ojo N1, N2, N3 capturadas a una velocidad de fotogramas normal después de la ráfaga, deriva las suposiciones del punto de mirada g(N1), g(N2), g(N3). Una suposición del punto de mirada puede calcularse mediante un método conocido per se en la técnica, p. ej., PCCR. El tercer ejemplo de algoritmo calcula un valor del punto de mirada filtrando las suposiciones. Por ejemplo, como se ha descrito anteriormente, el valor del punto de mirada puede obtenerse promediando. La Tabla 3 ilustra la operación del tercer ejemplo de algoritmo.

En este punto, Bx (By) indica esa instantánea del ojo de la ráfaga a la que se asignó el índice de calidad más alto (segundo más alto). Opcionalmente, el tercer ejemplo de algoritmo basa el primer valor del punto de mirada G1 de forma adicional en la información derivada a partir de la instantánea de visión general. La determinación del punto de mirada puede rechazar una suposición actual del punto de mirada del promedio si está separada de la suposición anterior del punto de mirada a más de una distancia umbral predeterminada o ángulo umbral. Esto es una evidencia de un movimiento sacádico o un movimiento repentino o similar. El sistema 10 de seguimiento de la mirada puede abstenerse, a continuación, de actualizar el valor actual de punto de mirada y, en su lugar, recopilar imágenes adicionales del ojo, de manera que un número suficiente de suposiciones del punto de mirada (p. ej., 3) estén disponibles para emitir un nuevo valor del punto de mirada con la precisión deseada.

Los sistemas y métodos descritos anteriormente en el presente documento pueden implementarse como software, firmware, hardware o una combinación de estos. En una implementación de hardware, la división de tareas entre unidades funcionales a las que se hace referencia en la descripción anterior no corresponde necesariamente a la división en unidades físicas; por el contrario, un componente físico puede tener múltiples funcionalidades y una tarea puede ser llevada a cabo por varios componentes físicos en cooperación. Se hace referencia a la descripción anterior, en la que se enfatizó que el sistema de seguimiento de la mirada puede incorporarse en hardware, software o soporte intermedio que se ejecuta en el sistema operativo de un sistema informático anfitrión. Ciertos componentes o todos los componentes pueden implementarse como software ejecutado por un procesador o microprocesador de señales digitales, o pueden implementarse como hardware o como un circuito integrado específico de la aplicación. Tal software puede distribuirse en medios legibles por ordenador, que pueden comprender medios de almacenamiento informático (o medios no transitorios) y medios de comunicación (o medios transitorios). Como bien sabe un experto en la materia, el término medios de almacenamiento informático incluye tanto medios volátiles como no volátiles, extraíbles como no extraíbles, implementados en cualquier método o tecnología para el almacenamiento de información tal como instrucciones legibles por ordenador, estructuras de datos, módulos de programa u otros datos. Los medios de almacenamiento informático incluyen, pero no se limitan a, RAM, ROM, EEPROM, memoria flash u otra tecnología de memoria, CD-ROM, discos versátiles digitales (DVD) u otro almacenamiento en disco óptico, casetes magnéticos, cinta magnética, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que pueda usarse para almacenar la información deseada y a la que pueda acceder un ordenador. Además, el experto en la técnica sabe bien que los medios de comunicación típicamente incorporan instrucciones legibles por ordenador, estructuras de datos, módulos de programas u otros datos en una señal de datos modulada, tal como una onda portadora u otro mecanismo de transporte e incluye cualquier medio de suministro de información.

Claims (15)

1. REIVINDICACIONES

   i. Un método para un sistema (10) de seguimiento de la mirada, siendo dicho sistema de seguimiento de la mirada adecuado para controlar un dispositivo informático (20) asociado con una pantalla visual (23), comprendiendo dicho sistema de seguimiento de la mirada al menos un sensor (12) con una superficie sensible a la luz dispuesta para recibir luz desde la cabeza de un observador de la pantalla visual, estando el método caracterizado por:

   en respuesta a una señal de activación de seguimiento de la mirada (A) desde unos medios de entrada de dicho dispositivo informático en dicho sistema de seguimiento de la mirada:

   salir de un modo de baja potencia de dicho sistema de seguimiento de la mirada;

   capturar una instantánea de visión general de al menos una porción de la cabeza del observador y ubicar una región del ojo del observador en la instantánea de visión general;

   capturar, a una primera velocidad de fotogramas, una pluralidad de instantáneas de al menos una porción de la cabeza del observador usando dicho al menos un sensor, del que se leen datos en regiones restringidas, que se colocan según la ubicación de la región del ojo y cuya unión ocupa como máximo el 10 % del área de la superficie sensible a la luz;

   determinar un primer valor del punto de mirada de dicho observador en la pantalla visual basándose en información de dicha pluralidad de instantáneas y opcionalmente en información adicional de la instantánea de visión general;

   proporcionar una primera señal de control al dispositivo informático basándose en dicho primer valor del punto de mirada;

   después de proporcionar dicha primera señal de control, capturar, a una segunda velocidad de fotogramas, que es menor que dicha primera velocidad de fotogramas, instantáneas adicionales de al menos una porción de la cabeza del observador usando dicho al menos un sensor; determinar, para una instantánea adicional, un valor del punto de mirada adicional de dicho observador en la pantalla visual basándose en información de dicha instantánea adicional y de forma adicional en información de al menos una instantánea anterior; y

   proporcionar una señal de control adicional al dispositivo informático basándose en dicho punto de mirada adicional.
2. 2. El método de la reivindicación 1, en donde dicha captura de instantáneas adicionales incluye leer datos de una región menos restringida o no restringida de la superficie sensible a la luz.
3. 3. El método de la reivindicación 2, en donde dicha pluralidad de instantáneas se captura leyendo datos de regiones de la superficie sensible a la luz que tiene una primera área y dichas instantáneas adicionales se capturan leyendo datos de regiones con una segunda área, siendo la primera área más pequeña que la segunda.
4. 4. El método de cualquiera de las reivindicaciones anteriores, en donde la relación entre la primera velocidad de fotogramas y la segunda velocidad de fotogramas es al menos 2, preferentemente al menos 5 y con máxima preferencia, al menos 10.
5. 5. El método de cualquiera de las reivindicaciones anteriores, en donde:

   dicho primer punto de mirada se determina filtrando conjuntamente instantáneas en dicha pluralidad de instantáneas o una cantidad derivada a partir de dichas instantáneas y opcionalmente basándose en información adicional de la instantánea de visión general; y

   dicho punto de mirada adicional se determina filtrando conjuntamente dicha instantánea adicional y al menos una instantánea anterior o una cantidad derivada a partir de las instantáneas.
6. 6. El método de la reivindicación 5, en donde:

   la etapa de determinación de dicho punto de mirada adicional incluye filtrar las suposiciones del punto de mirada derivadas a partir de una o más instantáneas a la vez; y

   el filtrado en la etapa de determinación de dicho punto de mirada adicional es condicional a una desviación máxima de las suposiciones de punto de mirada.
7. 7. El método de cualquiera de las reivindicaciones anteriores, en donde la instantánea de visión general se captura leyendo datos de una región que representa al menos el 50 % del área de la superficie sensible a la luz del al menos un sensor, al menos un sensor que se opera preferentemente en un modo de resolución reducida.
8. 8. El método de cualquiera de las reivindicaciones 1 a 6, en donde la instantánea de visión general es capturada por un dispositivo de formación de imágenes que es distinto del al menos un sensor, preferentemente por uno de los siguientes:

   recepción de datos desde un sistema de detección de profundidad;

   recepción de datos desde una cámara de tipo RVA;

   recepción de datos desde una cámara de infrarrojo cercano.
9. 9. El método de cualquiera de las reivindicaciones anteriores, en donde la señal de activación de seguimiento de la mirada activa directamente una interrupción en el sistema de seguimiento de la mirada, o en donde la señal de activación de seguimiento de la mirada es una solicitud de USB.
10. 10. El método de cualquiera de las reivindicaciones anteriores, en donde la señal de activación de seguimiento de la mirada se recibe desde unos medios de entrada que son de tipo sin mirada, y preferentemente de un tipo de detector de gestos corporales, un transductor acústico, un detector táctil, un dispositivo apuntador o un detector de proximidad corporal.
11. 11. Un producto de programa informático que hay que ejecutar por un sistema de seguimiento de la mirada para controlar un dispositivo informático asociado con una pantalla visual, comprendiendo dicho producto un medio legible por ordenador con instrucciones para provocar que el sistema de seguimiento de la mirada realice el método de cualquiera de las reivindicaciones anteriores.
12. 12. Un sistema (10) de seguimiento de la mirada para controlar un dispositivo informático (20) asociado con una pantalla visual (23), comprendiendo el sistema un procesador (11) y estando comunicativamente conectado:

    a al menos un sensor (12) con una superficie sensible a la luz dispuesta para recibir luz desde la cabeza de un observador de la pantalla visual, siendo el al menos un sensor selectivamente operable para leer la superficie sensible a la luz a una segunda velocidad de fotogramas o una región restringida a una primera velocidad de fotogramas, que es mayor que dicha primera velocidad de fotogramas; y

    a un dispositivo (14) de formación de imágenes de visión general configurado para capturar una instantánea de visión general de al menos una porción de la cabeza del observador, caracterizado por que el procesador está configurado para responder a la recepción, en un modo de baja potencia del sistema de seguimiento de la mirada, de una señal de activación de seguimiento de la mirada (A) desde los medios (22) de entrada de dicho dispositivo informático realizando lo siguiente:

    - hacer que el sistema de seguimiento del ojo salga del modo de baja potencia;

    - capturar una instantánea de visión general de al menos una porción de la cabeza del observador usando dicho dispositivo de formación de imágenes de visión general y ubicar una región del ojo del observador en la instantánea de visión general;

    - capturar una pluralidad de instantáneas de al menos una porción de la cabeza del observador usando dicho al menos un sensor, desde el que se leen los datos a una primera velocidad de fotogramas y en regiones restringidas, en las que tiene que encontrarse una imagen de un ojo del observador y cuya unión ocupa como máximo el 10 % del área de la superficie sensible a la luz;

    - determinar un primer valor del punto de mirada de dicho observador en la pantalla visual basándose en la información de dicha pluralidad de instantáneas y opcionalmente en información adicional de la instantánea de visión general;

    - proporcionar una primera señal de control al dispositivo informático basándose en dicho primer valor del punto de mirada;

    - después de proporcionar dicha primera señal de control, capturar instantáneas adicionales de al menos una porción de la cabeza del observador usando dicho al menos un sensor, desde el que se leen los datos a una segunda velocidad de fotogramas;

    - determinar, para cada instantánea adicional, un valor del punto de mirada adicional de dicho observador sobre la base de dicha instantánea adicional y de forma adicional de al menos una instantánea anterior; y

    - proporcionar una señal de control adicional al dispositivo informático basándose en dicho punto de mirada adicional.
13. 13. El sistema de seguimiento de la mirada de la reivindicación 12, que además comprende un filtro configurado para proporcionar un valor del punto de mirada sobre la base de una pluralidad de instantáneas de la cabeza del observador o una cantidad derivada a partir de una pluralidad de tales instantáneas y opcionalmente además sobre la base de información adicional de la instantánea de visión general.
14. 14. El sistema de seguimiento de la mirada de la reivindicación 12 o 13, en donde el dispositivo de formación de imágenes de visión general coincide con el al menos un sensor y la instantánea de visión general se captura preferentemente operando el al menos un sensor en un modo de resolución reducida.
15. 15. El sistema de seguimiento de la mirada de cualquiera de las reivindicaciones 12 a 15, que además comprende una patilla de interrupción configurada para recibir la señal de activación de seguimiento de la mirada desde los medios de entrada del dispositivo informático.