ES2880475T3 - Sistema de representación visual con iluminadores para el seguimiento de la mirada - Google Patents

Abstract

Un sistema (600) para determinar un punto de observación de un ojo, que comprende: un sistema (602) de representación visual que comprende una superficie (604) de pantalla adaptada para representar información gráfica e incluye una pluralidad de iluminadores (606) de referencia dispuestos debajo de dicha superficie (604) de pantalla, estando los iluminadores (606) de referencia adaptados para emitir luz invisible; una cámara (608) para adquirir una imagen del ojo que está mirando el sistema (602) de representación visual, incluyendo dicha imagen reflexiones corneoesclerales de los iluminadores (606) de referencia; y un procesador adaptado para: definir, basándose en las ubicaciones de las reflexiones corneoesclerales en el plano de la imagen, un mapeo entre un sistema de coordenadas en el plano del objeto y un sistema de coordenadas en el plano de la imagen; y determinar, basándose en el mapeo, el punto de observación del ojo en el sistema de coordenadas del plano del objeto, en donde el mapeo se compone de un mapeo de la reflexión elipsoidal y una proyección en perspectiva.

Description

DESCRIPCIÓN

Sistema de representación visual con iluminadores para el seguimiento de la mirada

Campo técnico

La invención descrita en el presente documento se refiere, en general, a dispositivos de representación visual que tienen iluminadores para facilitar el seguimiento de la mirada de un observador del sistema de representación. Más particularmente, un sistema de representación visual según la invención puede adaptarse para ayudar en el seguimiento de la mirada utilizando la metodología de pupil-centre-corneal-reflection (centro pupilar/reflexión corneal -PCCR).

Antecedentes

En el seguimiento ocular de PCCR, el vector de observación de un ojo se determina basándose en una imagen del ojo cuando se ilumina de manera que aparecen reflexiones (destellos) en la córnea. Las posiciones de los destellos y la posición del centro pupilar se extraen de la imagen utilizando métodos genéricos de visión por ordenador. Los métodos para calcular el vector de observación basándose en estas posiciones se conocen en la técnica, por ejemplo, gracias a las enseñanzas de E. D. Guestrin y M. Eizenmann en IEEE Transactions on Biomedical Engineering, Vol. 53, n. ° 6, pág. 1124-1133 (junio de 2006).

Una aplicación importante de la tecnología de seguimiento ocular de PCCR es la tarea de encontrar el punto de observación de una persona que está mirando un sistema de representación visual. Dado que los sistemas de representación visual son artefactos construidos generalmente con el objetivo de proporcionar condiciones óptimas de visión en términos de luminancia, distancia y ángulo de visión, contraste de imagen, etc., se podría esperar que la precisión de la medición fuese muy alta en esta situación, particularmente cuando el seguimiento ocular se realice en espacios interiores con una iluminación ambiental controlada. Sin embargo, en muchos casos prácticos, se introduce una falta de fiabilidad considerable por la dificultad de proporcionar iluminadores que no estén inadecuadamente distantes del punto de observación esperado. De hecho, la reflexión creada por un iluminador oblicuo puede caer en la esclerótica, fuera de la córnea y, dado que la esclerótica tiene forma esférica con respecto al centro de rotación del ojo, esta reflexión no es útil para determinar la orientación ocular.

En la técnica se han intentado colocar iluminadores sobre la superficie de la pantalla de los sistemas de representación. Las mediciones según esta metodología no siempre pueden proporcionar resultados auténticos, porque cada iluminador actúa como un estímulo visible y perturba el comportamiento natural de la persona.

Otros intentos incluyen la disposición de iluminadores en el borde del sistema de representación visual, es decir, fuera de la superficie de la pantalla en la que está adaptado el sistema de representación para crear imágenes visuales. Esto implica que el borde no se puede estrechar, contrariamente a los deseos estéticos normales. Esta dificultad se acentúa si se va a proporcionar una serie bidimensional de iluminadores en cada segmento de borde, lo que es deseable para una medición exacta de la posición bidimensional de la córnea. La combinación de las reflexiones procedentes de los iluminadores dispuestos en bordes opuestos del sistema de representación no suele ser viable, ya que solo en un intervalo limitado de ángulos de visión, cerca del centro, las reflexiones procedentes de ambos bordes caen sobre la córnea.

En tercer lugar, se ha intentado entrelazar la imagen del sistema de representación visual con un patrón de referencia geométricamente distinto para crear reflexiones corneales. A menos que se utilice un sistema de representación dedicado a producir tanto imágenes visibles como un patrón de referencia invisible, el patrón de referencia se genera mediante luz visible. El entrelazado se puede realizar de forma intermitente durante cortos intervalos de tiempo, que están sincronizados con los intervalos para medir la reflexión corneal del patrón de referencia. Una dificultad común en la implementación de este enfoque es que los intervalos de tiempo, por cortos que sean, pueden tener que producirse con bastante frecuencia para lograr suficiente potencia de señal del patrón de referencia. Entonces, debido al funcionamiento integrador del tiempo de la retina, se puede producir una imagen superpuesta perceptible del patrón de referencia y distraer al participante.

Por lo tanto, para el seguimiento de la mirada en relación con los sistemas de representación visual, existe la necesidad de iluminadores mejorados que no adolezcan de los problemas esbozados anteriormente.

Hay otras dos deficiencias inherentes a muchas implementaciones de PCCR conocidas. En primer lugar, el procesamiento que implica encontrar el centro de la pupila en la imagen de un ojo puede resultar problemático. Para los participantes que tienen un color de iris oscuro, particularmente en ausencia de una reflexión retiniana, el débil contraste entre la pupila y el iris puede hacer que sea difícil diferenciar el límite de la pupila con un esfuerzo computacional limitado. En segundo lugar, como se señala en el artículo ya citado de Guestrin y Eizenmann, la aproximación de la córnea como superficie esférica es una importante fuente de errores. De hecho, hace mucho tiempo que se sabe en la técnica de la óptica visual que la córnea tiene más bien una forma elipsoidal, y sería deseable conseguir iluminadores mejorados para el seguimiento ocular que representen un progreso también con respecto a estas deficiencias.

El documento US 2003/123027 A1 describe un sistema de seguimiento ocular que utiliza dos cámaras para capturar imágenes del ojo de un usuario, de modo que el centro de la pupila de cada imagen y un destello resultante de la fuente de luz de la cámara en particular se pueden identificar y ubicar en el plano de la imagen de la respectiva cámara, en donde las cámaras capturan imágenes de un patrón de prueba que define un sistema de coordenadas de referencia.

Sumario de la invención

Un objetivo de la presente invención es proporcionar un dispositivo y un método para facilitar el seguimiento de la mirada de una persona que está mirando un sistema de representación visual.

Según un primer aspecto de la presente invención, como se define en las reivindicaciones independientes, se proporciona un sistema de representación visual que tiene iluminadores de referencia adaptados para generar reflexiones corneoesclerales (destellos) en un ojo que está mirando la superficie de una pantalla, adaptada para representar información gráfica, del sistema de representación visual. Los iluminadores de referencia están adaptados para emitir luz fuera del espectro visible, es decir, longitudes de onda en el intervalo entre 380 nm y 750 nm, aproximadamente. Además, para que los propios iluminadores de referencia no distraigan visualmente al ojo, se disponen ocultos debajo de la superficie de la pantalla adaptada para representar información gráfica.

Los iluminadores de referencia según la invención se pueden utilizar en el seguimiento de la mirada sin introducir estímulos no auténticos, ya que en condiciones de funcionamiento normales, ni los iluminadores ni su luz emitida son visibles para el ojo humano. La imagen ocular, que se utiliza para calcular el punto de observación, se adquiere mediante un aparato sensible, al menos, a la luz fuera del espectro visual. Ventajosamente, los iluminadores de referencia están adaptados para emitir luz infrarroja (IR) o luz infrarroja cercana. Por un lado, el espectro IR es adyacente al espectro visual, lo que permite el uso de dispositivos de obtención de imágenes existentes solo con modificaciones de poca importancia y una irregularidad cromática limitada. Por otro lado, se sabe que la luz IR no es inofensiva para el ojo, a diferencia de la luz ultravioleta que también es adyacente al espectro visible.

Como una ventaja adicional de la invención, los iluminadores se pueden ubicar en posiciones arbitrarias con respecto a la superficie de la pantalla observada. Muchos de los expertos en la técnica del seguimiento de la mirada de PCCR prefieren colocar iluminadores que generen destellos cerca del centro del objeto observado, con el fin de evitar los destellos que caen sobre la esclerótica en determinados ángulos de visión. Por tanto, a diferencia de los sistemas de representación de la técnica anterior que tienen iluminadores de referencia dispuestos en el borde, la invención permite un posicionamiento óptimo de los iluminadores de referencia.

Claramente, los iluminadores de referencia debajo de la superficie de la pantalla no deben quedar ocultos por material opaco, tal como una capa reflectora posterior para potenciar la luminancia. Por otro lado, no deben obstruir la trayectoria de los rayos de luz visible que se propagan desde abajo (es decir, hacia una posición esperada de un observador) que producen la información gráfica visible en la superficie de la pantalla. Por consiguiente, como el experto comprenderá, la posición deseable de los iluminadores de referencia es debajo de la fuente de los rayos de luz visible para producir la información gráfica, pero delante de cualquier objeto opaco en la estructura del sistema de representación visual. Muchos sistemas de representación visual disponibles están organizados internamente como capas dispuestas en paralelo a la superficie de la pantalla. El límite posterior de la última capa (es decir, de la más profunda) que emite luz visible y el límite anterior de la primera capa reflectante (es decir, la más superficial) pueden ser contiguos o estar separados por una pequeña distancia. Si están separados, se crea un espacio intersticial (que posiblemente contiene material translúcido) que puede ser ventajoso para lograr una luminancia uniforme de la pantalla. Se cree que el experto, habiendo estudiado y comprendido la presente descripción, puede determinar en dichas circunstancias la posición de profundidad más adecuada de los iluminadores de referencia en este espacio intersticial mediante experimentación rutinaria.

La invención se puede realizar como sistemas de representación visual de diferentes tipos, incluida una liquid crystal display (pantalla de cristal líquido - LCD) y una pantalla de light-emitting diode (diodos emisores de luz - LED) orgánicos. Las realizaciones de la invención se dirigen tanto a LCD con iluminación de borde como a LCD con retroiluminación directa. En una realización, el panel de cristal líquido está sincronizado con la retroiluminación y los iluminadores de referencia. Cuando un iluminador de referencia está activo, el panel de cristal líquido está “en blanco” (es de máxima transmisión y produciría un color blanco si estuviera encendido) y la retroiluminación está inactiva. De este modo se evita que una parte ocasionalmente oscura del panel bloquee uno o más iluminadores de referencia.

Según un segundo aspecto de la presente invención, se proporciona un método para equipar una LCD con un iluminador de referencia adaptado para emitir un haz de luz invisible. Una LCD susceptible de ser equipada según el método comprende generalmente las siguientes partes o partes equivalentes: una superficie de pantalla, adaptada para representar información gráfica; una pluralidad de capas, que son translúcidas o que al menos se pueden hacer funcionar para que sean translúcidas, dispuestas entre la superficie de la pantalla y esencialmente paralelas a la superficie de la pantalla; y al menos una capa opaca, tal como un reflector posterior o una cubierta posterior. Para disponer un iluminador de referencia en dicha LCD, se proporciona un orificio en la capa o capas opacas. A continuación se monta el iluminador, mediante medios de sujeción adecuados, de modo que su haz se proyecte perpendicularmente a la superficie de la pantalla - o alternativamente, en la dirección de una ubicación ocular esperada - y concéntricamente con respecto al orificio. El tamaño y la forma del orificio corresponden a la sección transversal del haz donde atraviesa el orificio.

Según un tercer aspecto de la presente invención, se proporciona un sistema para determinar un punto de observación de un ojo que está mirando un sistema de representación visual según la invención. El sistema comprende una cámara y un procesador, que pueden ser dispositivos físicamente separados o una unidad integrada. El sistema de representación, la cámara y el procesador pueden incluso estar incorporados como una sola entidad. La cámara está adaptada para adquirir una imagen del ojo que incluya las reflexiones corneoesclerales de los iluminadores de referencia proporcionados en el sistema de representación visual. El procesador está adaptado para determinar un punto de observación utilizando el inverso de un mapeo entre un sistema de coordenadas en el plano del objeto, que puede ser la superficie de la pantalla o sus proximidades, y un sistema de coordenadas en un plano de imagen en el que se obtiene la imagen del ojo. El mapeo es una composición de un mapeo de la reflexión elipsoidal (la reflexión en la córnea) y una proyección en perspectiva (la obtención de imágenes realizada por la óptica de la cámara).

Aunque el mapeo se conoce a priori en lo que respecta a su estructura, los parámetros numéricos que especifican el mapeo deben estimarse comparando la geometría conocida de la disposición de los iluminadores de referencia y de la imagen de la cámara de su reflexión en la córnea y/o esclerótica. Los parámetros de la cámara, que pueden medirse en un proceso de calibración, determinan las propiedades cuantitativas de la proyección en perspectiva. Además, el mapeo de la reflexión se conoce parcialmente después de la calibración, durante la cual la forma corneal del ojo real se ha ajustado a un elipsoide. (Como es evidente para los expertos en la técnica, una esfera es el caso especial de que tres ejes de un elipsoide sean iguales; ajustar la córnea a una superficie esférica puede satisfacer los requisitos de exactitud en relación con algunas aplicaciones). Por lo tanto, el mapeo de la reflexión se define hasta la orientación y posición reales de la córnea. Los parámetros que codifican la posición y la orientación se estiman comparando la configuración conocida de los iluminadores de referencia con su imagen en la cámara. Más precisamente, si hay varias reflexiones disponibles, la estimación se puede basar en un análisis de cómo cambian las relaciones de longitud y los ángulos sometidos al mapeo.

En una realización preferida del sistema para determinar un punto de observación, la cámara se proporciona cerca de un borde inferior del sistema de representación visual, por ejemplo, en el marco que rodea la superficie de la pantalla. Entonces, de manera ventajosa, la imagen del ojo se obtiene ligeramente desde abajo, por lo que generalmente la línea de visión no se ve obstaculizada por huesos protuberantes de las cejas, pestañas gruesas y similares.

El sistema para determinar un punto de observación se puede adaptar para seleccionar qué iluminador utilizar basándose en la posición real del destello. Por lo general, es preferible un destello ubicado en el centro a otro ubicado más lejos, hacia la esclerótica. En una realización alternativa, se utilizan varias fuentes de luz a la vez. Entonces, en principio, se dispone de más información para su uso en la estimación de la orientación de la córnea. Sin embargo, como posible inconveniente, las reflexiones adicionales pueden crear un ruido que deteriore la exactitud de la medición.

Según un cuarto aspecto de la invención, se proporciona un método para determinar un punto de observación de un ojo que está mirando un sistema de representación visual. El método comprende las siguientes acciones:

• proporcionar un sistema de representación visual que comprende una superficie de pantalla adaptada para representar información gráfica y que incluye una pluralidad de iluminadores de referencia dispuestos debajo de dicha superficie de pantalla, estando adaptados los iluminadores de referencia para emitir luz invisible;

• proporcionar una cámara para adquirir una imagen del ojo que está mirando el sistema de representación visual, incluyendo dicha imagen reflexiones corneoesclerales de los iluminadores de referencia;

• el ojo es iluminado por luz invisible procedente de una pluralidad de iluminadores de referencia provistos en un plano del objeto;

• se adquiere una imagen del ojo que incluye reflexiones corneoesclerales de los iluminadores de referencia;

• basándose en las ubicaciones de las reflexiones corneoesclerales en el plano de la imagen, se define un mapeo entre un sistema de coordenadas en el plano del objeto y un sistema de coordenadas en el plano de la imagen; y

• basándose en el mapeo, se determina el punto de observación del ojo en el sistema de coordenadas del objeto.

El mapeo se compone de un mapeo de la reflexión elipsoidal y una proyección en perspectiva, como se ha esbozado anteriormente. El elipsoide, en el que se produce la reflexión según el modelo, puede ser en particular oblongo, con el eje óptico del ojo como su eje de simetría; el mapeo de la reflexión puede entonces caracterizarse como un mapeo de la reflexión esférica oblonga. Según una realización ventajosa del método, el ojo se ilumina utilizando iluminadores de referencia dispuestos debajo de una superficie de pantalla del sistema de representación visual, estando adaptada la superficie de la pantalla para representar información gráfica visible. Estos y otros aspectos de la invención resultarán evidentes y se aclararán con referencia a las realizaciones descritas a continuación en el presente documento.

Breve descripción de los dibujos

A continuación se describirán realizaciones de la presente invención con referencia a los dibujos adjuntos, en los que:

las figuras 1 a y 1 b son diagramas de las capas de dos LCD ilustrativas;

la figura 2 es una vista en sección transversal de una LCD iluminada por el borde que comprende iluminadores de referencia según una realización de la invención;

la figura 3 es una vista en sección transversal de una LCD con retroiluminación directa, que comprende iluminadores de referencia según una realización de la invención;

la figura 4 es una vista en sección transversal de una LCD iluminada por el borde que comprende iluminadores de referencia montados en el borde según una realización de la invención;

la figura 5 es una vista en sección transversal de un sistema de representación visual de LED orgánico que comprende iluminadores de referencia según una realización de la invención;

la figura 6 muestra un sistema para el seguimiento de la mirada según una realización de la invención;

la figura 7 es una vista en sección transversal de una LCD que ha sido equipada con iluminadores de referencia según una realización de la invención;

la figura 8 es una vista esquemática en sección transversal de la córnea;

la figura 9 es un dibujo en perspectiva esquemática que muestra una serie de iluminadores de referencia, su reflexión corneoescleral y un dispositivo de cámara adaptado para obtener imágenes del ojo con dicha reflexión; la figura 10 es una representación de la transmitancia óptica de la luz a diferentes longitudes de onda de diversas capas de una LCD;

la figura 11 es un diagrama de flujo de un método para seleccionar una combinación de una cámara y un iluminador de referencia;

la figura 12 muestra una disposición combinada de cámara e iluminador; y

la figura 13 es una ilustración de un árbol de decisiones asociado con el método para seleccionar una combinación de una cámara y un iluminador de referencia cuando se aplica a la disposición combinada de cámara e iluminador de la figura 12.

Descripción detallada de las realizaciones

I. Sistema de representación visual

En las liquid crystal displays (pantallas de cristal líquido - LCD), se hace pasar un flujo de retroiluminación a través de un panel de cristal líquido capaz de atenuar o bloquear localmente la luz que pasa a través del mismo, en donde los píxeles son las subregiones más pequeñas del panel que se pueden controlar de forma autónoma. Dicha LCD puede ser capaz de producir imágenes en color si la retroiluminación es esencialmente blanca (es decir, compuesta por una pluralidad de longitudes de onda) y los filtros de absorción de color, correspondientes a los componentes de color, están dispuestos delante de subpíxeles individuales. En la figura 1 a, se muestra una configuración ilustrativa de una estructura estratificada de LCD 100 bajo un píxel. La parte superior de la estructura 100 está dirigida hacia una superficie de pantalla (no mostrada) de la LCD, y la parte inferior está dirigida hacia una cubierta posterior (no mostrada) si se proporciona; por lo tanto, la luz fluye generalmente en sentido ascendente en el dibujo, hacia un observador (no mostrado). Una capa 110 de retroiluminación emite el flujo de retroiluminación para proporcionar la luminancia necesaria de la superficie de la pantalla. La luz de la capa 110 de retroiluminación se hace pasar a un difusor 114 a través de una cavidad 112 de retroiluminación. En virtud de la distancia creada por la cavidad 112, se permite que los conos de luz que emanan de los puntos luminosos de la capa 110 de retroiluminación se ensanchen antes de que el difusor 114 difunda aún más uniformemente el flujo de luz. El siguiente grupo de capas 120-138 constituye el panel de cristal líquido, que se puede hacer funcionar para bloquear la luz por píxeles, de modo que se formen imágenes. En primer lugar, la luz incidente es polarizada por una capa 120 polarizadora posterior. La actividad óptica de la capa 126 de cristal líquido (más concretamente, la medida en que cambia el ángulo de polarización de la luz que pasa a través de la misma) se puede variar aplicando un campo eléctrico sobre la capa. Se utiliza una capa 122 de thin-film transistor (transistor de películas finas - TFT) para controlar la cantidad de carga entre diferentes regiones de una estructura 124 de direccionamiento y un electrodo común 128. La luz es filtrada espectralmente por filtros espectrales de color rojo 130, verde 132 y azul 134 recubiertos sobre una placa 136 de vidrio, y posteriormente es repolarizada por el polarizador anterior 138. Dado que la transmitancia de las capas 120­ 128 se puede cambiar independientemente bajo cada filtro 130-134 de color, es posible cambiar el punto de color aparente (es decir, tras mezclar las respectivas contribuciones de los subpíxeles rojo, verde y azul) del píxel. A partir del estudio del artículo de Sh. Morozumi, “Active-Matrix Thin-Film Transistor Liquid-Crystal Displays” , en Advances in Electronics and Electron Physics, Vol. 77 (1990), se pueden obtener más detalles sobre la estructura y el funcionamiento de las LCD.

La figura 2 es una sección transversal (no a escala) de una LCD 200 iluminada por el borde provista de iluminadores 216 de referencia según una realización de la invención. La retroiluminación es generada por la sección 210, que está delimitada lateralmente por una carcasa 204, en su lado posterior por un reflector posterior 202 y que está abierta en la dirección de avance (en sentido ascendente en el dibujo) hacia un panel 220 de LCD de obtención de imágenes. Una guía 212 de luz está acoplada ópticamente a una fuente 214 de luz montada en el borde, que puede ser un tubo fluorescente (que se extiende ortogonalmente al plano del dibujo) o una disposición de varios LED. En esta realización, la guía 212 de luz recibe luz 256 en diferentes ángulos de incidencia, en virtud de la superficie 254 reflectante curvada que conecta ópticamente la fuente 214 de luz con la guía 212 de luz. El índice de refracción de la guía 212 de luz se selecciona para que una parte adecuada 252 del rayo de luz salga de la guía 212 en cada reflexión interna. De manera adecuada, la superficie de la guía 212 de luz es mate, para garantizar que las variaciones de luminancia locales no sean demasiado abruptas. La luz que sale de la guía 212 de luz lateralmente o hacia atrás se recupera reflejándose de nuevo desde el interior de la carcasa 204 o el reflector posterior 202, ambos adaptados para reflejar la luz visible. Por consiguiente, aparte de las pérdidas por absorción, toda la luz 256 emitida por la fuente 214 de luz sale de la sección de retroiluminación en una dirección hacia adelante, hacia el panel 220 de LCD, cuyo difusor posterior 222 iguala las variaciones de luminancia. Los iluminadores 216 de referencia están dispuestos debajo de la guía 212 de luz. Los rayos 256 de luz invisible de los iluminadores 216 de referencia atraviesan la guía 212 de luz bajo pequeños ángulos de incidencia y, por lo tanto, experimentan pocos cambios en cuanto a su dirección e intensidad. Preferentemente, cada iluminador 216 de referencia tiene un patrón de radiación en forma de cono, en donde el cono subtiende un ángulo sólido de aproximadamente n estereorradianes (correspondiente al cono que tiene un ángulo de vértice de aproximadamente 1,14 radianes o 33 grados de arco). El cono de luz puede ser incluso más estrecho, tal como de 0,8n, 0,6n o 0,4n estereorradianes.

Esta realización de la invención se puede variar según diversas configuraciones de retroiluminación de la LCD. Por ejemplo, se puede utilizar como guía de luz (en combinación con una fuente de luz de borde adecuada) una lámina translúcida que haga que una parte de la luz que se desplaza tangencialmente deje la lámina en la dirección de avance. La lámina puede contener partículas con un índice de refracción diferente o puede comprender un patrón de Fresnel. Si dicha lámina translúcida, cuyos detalles son bien conocidos en la técnica y se analizarán brevemente en relación con la figura 4, se combina con un reflector posterior para reflejar la luz que se escapa, entonces los iluminadores de referencia según la invención se disponen en una posición entre el reflector y la lámina. Como otra variación, se puede reemplazar el reflector posterior 202 por un elemento absorbente, tal como una superficie mate oscura. Asimismo, el interior de la carcasa 204 se puede realizar como una superficie no reflectante, al menos en el intervalo de longitud de onda de los iluminadores 216 de referencia. Aunque esta medida disminuirá ligeramente la eficiencia energética de la LCD, puede disminuir el ruido de medición producido por rayos secundarios que emanan de las reflexiones de los iluminadores 216 de referencia. De la construcción descrita anteriormente, el experto en la técnica puede extraer los siguientes principios, que probablemente facilitarán la adaptación de la invención a otros tipos de sistemas de representación:

• los iluminadores de referencia no pueden disponerse debajo de una capa opaca;

• los iluminadores de referencia no pueden disponerse tan superficialmente que sean visibles para un observador de la pantalla en condiciones normales; y

• la eficiencia energética de los iluminadores de referencia se puede aumentar ubicándolos más superficialmente, de modo que se absorba una menor parte de la luz emitida.

Como una variación de la realización mostrada en la figura 2, la LCD 200 se puede hacer funcionar de manera entrelazada. Especialmente, los iluminadores de referencia solo pueden estar activos en un modo de referencia, en donde la fuente 214 de luz montada en el borde está apagada y el panel 120-138 de cristal líquido está en blanco (representa el color blanco), al menos en las proximidades de los iluminadores de referencia. Cuando no está en este modo, la LCD 200 está adaptada para estar en el modo de representación, en donde la fuente 214 de luz está encendida y el panel 120-138 de cristal líquido representa información gráfica. El experto en la técnica puede determinar la frecuencia de alternancia, así como las duraciones de los respectivos modos, mediante experimentación rutinaria. El resultado deseable es una imagen sin parpadeo con suficiente luminancia.

La figura 3 es una vista en sección transversal (no a escala) de una LCD 300 directamente iluminada, que generalmente consiste en una sección 310 de retroiluminación y un panel 320 de LCD. La retroiluminación es generada por una pluralidad de fuentes 314 de luz (típicamente de 100 a 1000 LED adaptados para emitirse en el espectro visible) dispuestas en un plano esencialmente paralelo a la superficie de la pantalla. Para lograr una luminancia uniforme, las fuentes 314 de luz se disponen uniformemente sobre la superficie de la pantalla, preferentemente en forma de serie. Los haces 354 de luz emitidos por las fuentes 314 de luz se desplazan a través de una cavidad 318 de retroiluminación antes de llegar a una primera capa del panel 320 de LCD, especialmente, un difusor 322. Según la invención, hay iluminadores 316 de referencia (típicamente 1-10 LED infrarrojos o infrarrojos cercanos) dispuestos entre las fuentes 314 de luz. Ventajosamente, los iluminadores 316 de referencia son de un tipo similar a las fuentes 314 de luz, de modo que las conexiones eléctricas y similares no necesitan una adaptación especial. Sin embargo, los medios para controlar los iluminadores 316 de referencia pueden ser diferentes. En particular, si el sistema de representación visual está adaptado para formar parte de un sistema de seguimiento ocular en el que un iluminador de referencia está activo a la vez o se pretende un cambio automático entre diferentes iluminadores de referencia, entonces cada iluminador de referencia se puede controlar de forma independiente. Cabe señalar que el difusor 322 puede, hasta cierto punto, difuminar los iluminadores 316 de referencia (al igual que las fuentes 314 de luz se difuminan a propósito para crear una luminancia de pantalla uniforme) de modo que los destellos corneoesclerales se vuelven menos claros. Sin embargo, se ha observado empíricamente que la acción óptica de los difusores disponibles puede modelarse con exactitud como un fenómeno de dispersión, en particular dispersión de Rayleigh, que afecta a longitudes de onda más largas en menor medida que a las más cortas. Por esta razón, el problema de los iluminadores de referencia difuminados es mucho más limitado si estos tienen una longitud de onda mayor que la de las fuentes 314 de luz. Se han realizado mediciones en un difusor de retroiluminación comercializado y se obtuvieron los datos que se facilitan en la siguiente tabla 1.

Los datos se muestran gráficamente en la figura 10, en donde los valores de transmitancia de la capa de TFT sola se han indicado con rombos (◊), y los de la capa de TFT en combinación con una placa difusora, con cuadrados (□). Evidentemente, no hay un mínimo de transmitancia local en el intervalo de longitudes de onda estudiado, y la relación entre los incrementos de longitud de onda y los incrementos de transmitancia es positiva y aproximadamente lineal. Una posible explicación física es que la dispersión es responsable de la atenuación a longitudes de onda más cortas. Dado que la dispersión disminuye con la longitud de onda, la transmitancia aumenta. Se ha determinado empíricamente que la transmitancia de todas las capas de una LCD, probada con un iluminador de referencia de 850 nm dispuesto según la invención, es de aproximadamente 0,10 en un caso representativo. Claramente, la capa de TFT representa la atenuación más importante.

J.-Ch. Wang y J.-L. Lin han informado sobre una LCD con iluminación directa modificada en su artículo “The innovative color LCD by using three color bank scrolling backlights” , SPIE Photonics West (enero de 2009), artículo 7232-15. Su LCD modificada produce imágenes de color mediante mezcla temporal, a diferencia de la mezcla espacial entre los subpíxeles de los sistemas de representación de color convencionales. El principio se ilustra en la figura 1b, en donde, en comparación con la figura 1a, los filtros 130, 132 y 134 de absorción coloreados se han eliminado y la capa 110 de retroiluminación genérica se ha intercambiado por una serie 140 de LED coloreados que tienen, por ejemplo, color rojo, verde y azul. El panel 120-138 de cristal líquido se hace funcionar ahora en modo de “desplazamiento” , es decir, alterna cíclicamente entre tres fases:

a) los LED rojos están activos, el panel de cristal líquido representa el componente rojo de la imagen;

b) los LED verdes están activos, el panel de cristal líquido representa el componente verde de la imagen; y

c) los LED azules están activos, el panel de cristal líquido representa el componente azul de la imagen.

Las fases no necesitan realizarse en este orden. Con suficiente sincronización y parámetros adecuadamente ajustados (en particular, la duración de cada fase), la imagen retiniana formada en el ojo de una persona que mira a dicho sistema de representación se percibirá como una sola imagen en color, sin parpadeo.

Se ilustra cómo se puede realizar la invención en relación con una LCD modificada según Wang y Lin con referencia a la figura 3 asignando una nueva función a algunos de los elementos estructurales representados en la misma, según la siguiente tabla 2.

La figura simplemente muestra una parte de la unidad de representación visual. El número total de LED rojos, verdes y azules es mayor que el número de iluminadores de referencia en al menos un orden de magnitud. Cabe señalar que los iluminadores de referencia son preferentemente LED infrarrojos o infrarrojos cercanos. Los iluminadores de referencia pueden estar activos en la fase a) (rojo) del ciclo, lo que da la mínima diferencia de longitud de onda, o pueden estar activos en todo el ciclo. Sin embargo, más preferentemente, se puede diseñar un ciclo de cuatro fases de la siguiente manera:

a') como la fase a) anterior;

b') como la fase b) anterior;

c') como la fase c) anterior; y

d') iluminador/es de referencia activo/s, panel de cristal líquido de máxima transmisión (“en blanco” ).

Una ventaja de activar el iluminador de referencia en una fase separada (que pueda conducir a una luminancia media inferior del sistema de representación) es que se elimina el riesgo de que el iluminador de referencia activo quede oscurecido por una parte oscura de la imagen. Si se utiliza luz infrarroja (cercana) como luz de referencia, los iluminadores de referencia pueden ser LED de color principalmente rojo que tengan un espectro de emisión que se extienda también al espectro infrarrojo (cercano); pudiendo estar entonces activos en la fase “ roja” de modo que se prescinde de la fase d' extra).

La figura 4 es una vista en sección transversal (no a escala) de una LCD 400 que comprende iluminadores 406 de referencia según la invención. En relación con la LCD 200 mostrada en la figura 2, la presente realización presenta algunas características similares. La retroiluminación es suministrada por una fuente 414 de luz en una cavidad lateral y es conducida por una guía 416 de luz a través de una cavidad 418 de retroiluminación en forma de rayos verticales 452, distribuidos uniformemente sobre la extensión del sistema de representación, alcanzando finalmente un difusor posterior 422, desde el cual los rayos se alimentan además a un panel de cristal líquido situado encima. En contraste con la guía 216 de luz de la figura 2, la presente guía 416 de luz tiene forma de cuña para garantizar una luminancia uniforme. Su lado superior puede comprender un patrón de pequeños prismas que se extienden ortogonalmente al plano del dibujo, como se detalla en la patente US-5.797.668. No hay inconveniente en utilizar una guía 416 de luz en forma de cuña en asociación con una LCD del tipo mostrado en la figura 2.

Para lograr una LCD más fina, los iluminadores 406 de referencia están montados en el borde. La luz emitida por cada iluminador 406 de referencia se enfoca en un haz mediante la lente 408 y se refleja internamente en la dirección transversal (hacia adelante) en un prisma 410. La sección transversal triangular del prisma 410 tiene ángulos de 45 y 90 grados, estando los lados más pequeños dirigidos hacia el iluminador de referencia y el panel de cristal líquido, respectivamente. Para lograr una reflexión interna total, un prisma 410 tiene un índice de refracción de al menos 1,414. Puede ser ventajoso, por ejemplo, por razones mecánicas, disponer los prismas 410 embebidos en una lámina de resina o un material similar adecuado como guía de luz; no debiendo ser entonces la proporción del índice de refracción del prisma y el de la resina inferior a 1,414. En una realización alternativa, la capa que comprende la fuente 414 de luz y la guía 416 de luz puede estar ubicada debajo de la capa de los iluminadores 406 de referencia y los prismas 410. De hecho, aunque los prismas actúen como reflectores de rayos de luz laterales, la mayor parte de la luz que incide desde abajo en la hipotenusa se transmitirá a través del prisma, aunque con un pequeño cambio de dirección que puede afectar a la luminancia de la pantalla localmente. Cabe señalar que la disposición de los iluminadores 406 de referencia montados en el borde y los prismas 410 analizados en este párrafo también se puede aplicar a las LCD que tienen retroiluminación directa y a los sistemas de representación de LED orgánicos.

La figura 5 es una vista esquemática en sección transversal de un sistema 500 de representación de LED orgánico, que comprende un cátodo 504, una capa emisora 506, una capa conductora 508, un ánodo 510 y una capa transparente 512 para proteger las capas inferiores y para proporcionar rigidez mecánica. Según una teoría muy aceptada, la emisión de luz en un sistema de representación de LED orgánico es provocada por la recombinación de orificios de electrones. Aplicando una diferencia de potencial entre el cátodo 504 y el ánodo 508, dicha recombinación se estimula localmente, pero no muy lejos de la región de la diferencia de potencial. Por lo tanto, se puede representar información gráfica como una imagen luminosa en la pantalla del sistema de representación de LED orgánico. En una capa 502 debajo del cátodo 504, se dispone una pluralidad de iluminadores 520 de referencia, de manera similar, por ejemplo, al sistema 200 de representación mostrado en la figura 2. La superficie 514 puede ser reflectante si se desea una imagen de representación más brillante, o absorbente si se prefiere una luminancia uniforme; la última opción supondrá menos reflexiones de los iluminadores 520 de referencia, lo que puede ser perjudicial para la exactitud, como ya se ha analizado.

La figura 7 es una vista en sección transversal de una LCD 700 que ha sido equipada con iluminadores de referencia según el método de la invención. La LCD 700 consiste generalmente en una carcasa 702 sostenida por un soporte 704 adaptado para apoyarse sobre una superficie esencialmente horizontal. La LCD 700 está adaptada para producir una imagen gráfica luminosa en una superficie 706 de pantalla, debajo de la cual se disponen capas translúcidas 708-718, tales como un difusor, filtros de color, un transistor de película fina, una capa de cristal líquido y una capa de retroiluminación. Una capa opaca está dispuesta debajo de las capas translúcidas 708-718. Para potenciar el brillo de la superficie 706 de pantalla, la capa 720 puede ser reflectante. Alternativamente, la capa 720 es una placa absorbente, por la cual se logra una luminancia más uniforme. Según la invención, se proporcionan iluminadores 740 de referencia en el lado posterior de la LCD 700. Los iluminadores 740 de referencia están soportados en una posición esencialmente ortogonal a la superficie 706 de la pantalla mediante medios 744 de sujeción que los fijan a la parte posterior de la carcasa 702. La forma de un cono 750 de luz que emana de cada iluminador 740 de referencia está determinada, en parte, por una lente 742 proporcionada delante del iluminador 740. Los límites del cono de luz indicados en la figura 7 son aproximados y pueden entenderse, por ejemplo, como el ángulo al que ha caído la intensidad hasta la mitad del valor máximo. Se proporcionan orificios 730, 732 en la parte posterior de la carcasa 702 y en el reflector 720, respectivamente. La forma y el tamaño de los orificios 730, 732 corresponden a la forma y al tamaño de los conos 750 de luz. Cabe destacar que el dibujo no está a escala, sino que, para mayor claridad, el grosor de las capas 708-720 se ha exagerado al igual que la distancia entre la capa 720 y la parte posterior de la carcasa 702; en particular, para alojar los conos 750 de luz, el ancho de los orificios 730, 732 es desproporcionado.

II. Sistema de seguimiento de la mirada

La figura 6 muestra un sistema integrado 600 para el seguimiento de la mirada según una realización de la presente invención. Un sistema 602 de representación visual comprende una superficie 604 de pantalla adaptada para producir una representación luminosa de información gráfica. Los iluminadores 606 de referencia adaptados para emitir luz invisible (preferentemente luz infrarroja o infrarroja cercana) se disponen debajo de la superficie 604 de la pantalla de manera que sean invisibles en condiciones normales. El sistema comprende además una cámara 608 para obtener imágenes del ojo de una persona que está mirando a la superficie 604 de la pantalla. La cámara está dispuesta en la parte inferior del sistema 602 de representación visual, de modo que es probable que la línea de visión desde la cámara hasta cada ojo pase por debajo del hueso de la ceja y al lado de la nariz. En las ubicaciones tanto del centro de la pupila como de los destellos producidos por los iluminadores 606 de referencia, la cámara 608 es sensible tanto a la luz visible como a la luz emitida por los iluminadores 606 de referencia.

Los iluminadores 606 de referencia y la cámara 608 se hacen funcionar de manera coordinada mediante un procesador (no mostrado), que también está adaptado para calcular y generar un punto de observación de la persona en función de los datos recopilados por el sistema 600. El funcionamiento puede seguir el método descrito en el siguiente apartado IV. El cálculo del punto de observación puede basarse en un modelo de córnea esférico o elipsoidal, cuyos detalles se facilitan a continuación. Como ejemplo particular de funcionamiento coordinado del sistema 600, la elección del iluminador o los iluminadores de referencia activo/s puede volverse a evaluar repetidamente. Por ejemplo, el iluminador activo se puede seleccionar con el objetivo de obtener un destello que esté centrado con respecto a la pupila.

En una realización alternativa, el sistema 600 puede comprender una o más fuentes adicionales de luz invisible (por ejemplo, infrarroja) dispuestas fuera del eje óptico de la cámara 608. Más particularmente, dichas fuentes de luz adicionales se pueden disponer en el borde del sistema 602 de representación visual adecuadamente a la izquierda y/o derecha de la superficie 604 de la pantalla. A diferencia de los iluminadores 606 de referencia, las fuentes de luz adicionales proporcionan una intensidad distribuida uniformemente en lugar de puntos de luz concentrada. Esto facilita la obtención de imágenes del ojo al aumentar la iluminación global del ojo. Existe una ventaja en el uso de otras fuentes de luz distintas a los iluminadores de referencia para esto, ya que puede que a veces sea imposible lograr una iluminación global suficiente por medio de los iluminadores 606 de referencia sin saturar el sensor de luz en las ubicaciones de los destellos. Al disponer la fuente de luz adicional lejos del eje óptico del sensor, por ejemplo, en el borde del sistema 602 de representación visual, hay una mayor probabilidad de que la imagen de reflexión de esta fuente de luz caiga fuera del iris.

Cabe señalar que, si se proporciona iluminación invisible adicional, puede que no sea necesario que la cámara 608 sea sensible a la luz visible.

En otra realización más del sistema 600, se proporciona una fuente de luz brillante dirigida a la pupila en las proximidades de la cámara 608 y coaxialmente con la misma. Dicha fuente de luz brillante dirigida a la pupila puede tener forma anular y puede estar dispuesta alrededor de la cámara 608. Esto permite el seguimiento del ojo tanto en su estado de pupila brillante como de pupila oscura, lo que aumenta la probabilidad de poder escoger un iluminador que proporcione una calidad óptima de la imagen.

III. Seguimiento de la mirada de PCCR utilizando un modelo de córnea asférica

A continuación se describirá el seguimiento de la mirada utilizando un modelo de córnea asférica, más particularmente un modelo de córnea elipsoidal. La figura 9 muestra esquemáticamente la situación experimental. Iluminadores 912 de referencia, cada uno de los cuales se puede activar independientemente, se proporcionan en un plano 910 del objeto. Las imágenes de los iluminadores 912 se obtienen como reflexiones corneales 926 en la córnea 922 o la esclerótica 924 del ojo 920 de una persona. Una cámara 930, que es preferentemente un dispositivo de obtención de imágenes digitales, muestra las reflexiones corneales 926 como puntos 934 de la imagen. En un modelo simplificado, como se muestra en el dibujo, la obtención de imágenes de la cámara 930 está determinada por un punto nodal (posterior) 932 y un plano de la imagen. Para mayor claridad, solo se indican los rayos de luz procedentes de los iluminadores 912a, 912b y 912d de referencia. El proceso de obtención de imágenes compuesto de la córnea 922 y la cámara 930, que mapea cada iluminador 912 de referencia en un punto 934 de la imagen, se puede expresar mediante la siguiente relación matemática:

X' = [Proy ◦ Reflr(E)](X),

donde

Proy es una proyección en perspectiva (que, en coordenadas homogéneas, es un mapeo lineal) conocida a través de la calibración de la cámara;

E es un elipsoide que representa la superficie de la córnea, que se conoce a través de la calibración personal del participante de la prueba mientras enfoca puntos de muestra;

r es una transformación rígida que refleja la posición y orientación reales del elipsoide;

X es un vector de coordenadas para un iluminador conocido a través de la disposición predeterminada del iluminador; y X' es un vector de coordenadas para la imagen de la cámara del mismo iluminador.

El mapa de reflexión Reflr (E) (que está determinado por los supuestos de propagación rectilínea de la luz y de igualdad entre ángulos de incidencia y reflexión; en terminología de gráficos por ordenador, es un “ mapa del entorno” ) depende paramétricamente de T(E) que, a su vez, es una función de la posición y orientación reales r de la córnea. Cuando se encuentra T(E), de manera que

Proy~1 (X) = Reflr(E) (X),

se cumple (esta ecuación es equivalente a la anterior), se conocen la posición y la orientación del ojo, y el vector de observación se puede determinar de manera sencilla. Los parámetros que especifican los mapeos Proy y Reflr (E) se pueden estimar considerando pares de puntos conocidos del objeto y de la imagen (X,X ), preferentemente los iluminadores de referencia y sus imágenes bajo reflexión en la córnea. Una vez que se conocen los mapeos, es posible encontrar partes homólogas de puntos del objeto en la imagen y viceversa; en particular, la ubicación del centro de la pupila se puede mapear en la imagen para proporcionar un punto de observación aproximado. Ahora se describirá un procedimiento para resolver el problema de detección de la mirada; una de sus ventajas frente a la detección de la mirada a través de una estimación completa de los mapeos Proy y Reflr(E) es que puede obtenerse información suficiente para encontrar el punto de observación con menos cálculos y menos datos de entrada. El elipsoide E utilizado para la modelización de la córnea se da con mayor precisión como una superficie de revolución, con respecto al eje X, de la curva

donde p < 1 (el elipsoide es oblongo), x es la coordenada dorsoventral e y es la coordenada vertical. En la figura 8 se muestra un elipsoide que tiene esta forma, en donde la línea AA' representa el eje x y la dirección y es vertical en la figura. En una descripción tridimensional, si se incluye una coordenada lateral z, E se define como

El arco SPS de la figura 8 representa el radio de curvatura sagital, que viene dado por

donde y es la coordenada de altura del punto P. El radio tangencial de curvatura, medido en el arco TPTen el plano de la figura, se define como

Los puntos Cs y Ct son los respectivos centros de curvatura sagital y tangencial en P. Dado que E es una superficie de revolución, A: (0,0) es un punto umbilical, en el que ambos radios de curvatura son iguales al radio mínimo /a El modelo descrito es válido en la parte corneal del ojo, mientras que la esclerótica tiene una forma aproximadamente esférica. Los valores típicos del radio mínimo y la excentricidad son A0 = 7,8 mm y p = 0,7, pero varían entre las córneas individuales. Para lograr una exactitud óptima, estas constantes se pueden determinar para cada participante de la prueba en una etapa de calibración anterior al seguimiento de la mirada. La etapa de calibración también puede incluir la determinación de la distancia desde el centro de la pupila hasta el correspondiente centro C0 de curvatura corneal y la desviación angular entre los ejes visual y óptico del ojo. Cabe señalar que el modelo esférico se obtiene como un caso especial estableciendo p = 1 en las fórmulas anteriores; como consecuencia inmediata de esto, los radios sagital y tangencial son iguales.

Los cálculos pueden realizarse siguiendo las líneas del artículo ya citado de Guestrin y Eizenmann, pero con determinadas modificaciones para dar cuenta del modelo de córnea asférica. Según Guestrin y Eizenmann, el locus de un iluminador 912 de referencia se denomina L, el punto nodal 932 de la cámara se denomina O y la imagen 934 de la reflexión corneal se denomina U. Debido a que cada punto P * A en la córnea tiene dos radios de curvatura diferentes en el modelo elipsoidal, deja de ser válida la suposición de coplanaridad de vectores del artículo LO, OO, OQ, seguida por cada línea en particular de la ecuación 15. En el caso de un modelo de córnea elipsoidal, se obtienen ecuaciones separadas para los componentes tangencial y sagital de los vectores. Separando OO, LO en componentes sagital y tangencial por proyección ortogonal, según

OU — Vj Vj,

LO = Wj,

se obtienen los siguientes grupos de vectores coplanares: CP, VJ, W y CTP, V j, WC A continuación se pueden continuar los cálculos de una manera similar a la descrita en el artículo.

Los inventores han descubierto empíricamente que el uso de un modelo de córnea elipsoidal conduce a un aumento significativo de la exactitud. Se ha observado incluso que en algunos casos no es necesario realizar el seguimiento del centro de la pupila como complemento del seguimiento del destello, como se ha puesto en práctica hasta la fecha en la técnica. De hecho, el seguimiento de la córnea (entendido como una superficie elipsoidal, rotacionalmente asimétrica) proporciona suficiente información (aparte de datos de calibración tales como la diferencia angular entre el eje óptico y el eje visual) para que se pueda determinar la orientación del ojo. Asimismo, se puede simplificar el proceso de calibración de determinados parámetros, en particular, del radio mínimo de curvatura y de la excentricidad, en la medida en que no se le pida al participante de la prueba que fije los ojos en puntos de entrenamiento. Dicha mejora del proceso de calibración depende de lo apropiado del supuesto de que el eje óptico del ojo coincide con el eje de simetría AA'. Se pueden lograr otras mejoras utilizando un patrón de luz compuesto o un patrón de luz variable en el tiempo para generar destellos corneoesclerales.

IV. Método para seleccionar una combinación de una cámara y un iluminador de referencia

Con referencia a la figura 11, se describirá una realización preferida de un método para seleccionar una combinación de una cámara activa y un iluminador de referencia activo. La selección se realiza a partir de una pluralidad de iluminadores de referencia adaptados para iluminar al menos un ojo y una pluralidad de cámaras adaptadas para obtener imágenes del ojo o los ojos con el objetivo de seleccionar aquella combinación que proporcione las condiciones más adecuadas para el seguimiento de la mirada del ojo o los ojos. En la etapa a) del método, se define una métrica de la calidad de la imagen. La métrica de la calidad de la imagen se puede basar en los factores de calidad indicados en la siguiente tabla 3.

De estos factores de calidad, los inventores consideran que el N.°_pupilas, el Ruido_det_mirada y el Contraste pupilar son los más importantes, mientras que el Gradiente_iris, los Obstáculos y la S/R se pueden utilizar como factores adicionales. Los factores de calidad de la imagen se pueden combinar en una métrica de la calidad total de acuerdo con:

Calidad de la imagen

= a¹N. °_pupilas+ a²Ruido_det_mirada a³Contraste_pupilar a⁴Gradiente_iris a⁵Obstáculos+ a6S/R,

donde los coeficientes a1, a2,..., a6 son constantes de signos apropiados. Por ejemplo, a1 y a2 deben ser de signo opuesto, considerando los valores preferidos de las cantidades. Dado que la métrica de la calidad de la imagen se utiliza solamente para establecer la calidad relativa de dos imágenes, no existe necesidad real de una calibración absoluta de la submétrica. Sin embargo, la ponderación relativa entre submétricas, tal como se refleja en los valores absolutos de los coeficientes, debe seleccionarse con cierto cuidado para que se ajuste a los requisitos de la aplicación. Las posibles combinaciones de una cámara y un iluminador se dividen en dos grupos: combinaciones de dos componentes coaxiales y combinaciones de dos componentes no coaxiales. Las combinaciones de componentes coaxiales están adaptadas para obtener imágenes del ojo o los ojos en el modo de pupila brillante (una retrorreflexión retiniana complementa la imagen del iris), mientras que las combinaciones de componentes no coaxiales están adaptadas para obtener imágenes en el modo de pupila oscura (una reflexión corneoescleral complementa la imagen del iris). A la etapa a) le sigue la etapa b), en la que se selecciona el modo de obtención de imágenes de pupila brillante o de pupila oscura. Para ello, se adquiere al menos una imagen del ojo en el modo de pupila oscura y al menos una en el modo de pupila brillante. La comparación es más exacta si las al menos dos imágenes se adquieren cercanas en el tiempo, lo que también hace que el proceso de selección sea más rápido. Para maximizar estos dos beneficios, las imágenes se adquieren simultáneamente si es posible (es decir, si solo se toma una imagen de pupila brillante) en esta realización. Preferentemente, las imágenes se adquieren simultáneamente. Se evalúa la métrica de la calidad de la imagen para estas imágenes, y el modo de obtención de imágenes se selecciona según el valor más alto de la métrica. Si se ha adquirido más de una imagen en cada modo, entonces se selecciona el modo de obtención de imágenes de la imagen que tenga la métrica de máxima calidad a nivel global.

Una vez completada la etapa b), el método avanza a la etapa c), en donde se selecciona una cámara activa. Se evalúa la métrica de la calidad de la imagen para las imágenes adquiridas utilizando combinaciones según el modo de obtención de imágenes seleccionado. Posiblemente, algunas imágenes que se utilizaron en la etapa b) puedan volver a utilizarse. El valor de la métrica de la calidad ganadora determina qué cámara se selecciona. En esta etapa, al igual que en la etapa b), las imágenes para las que se evalúa el factor de calidad de la imagen pueden adquirirse mientras el dispositivo está en un modo de evaluación.

Queda por seleccionar, en la etapa d), un iluminador de referencia activo para su uso en combinación con la cámara activa seleccionada. Una forma ventajosa de encontrar el iluminador de referencia más adecuado es la siguiente: utilizando un iluminador de referencia seleccionado inicialmente, se recupera la reflexión corneoescleral; se establece la desviación con respecto al centro de la pupila de la reflexión; se determina si existe un iluminador de referencia alternativo que tenga dicha posición en relación con el iluminador seleccionado inicialmente (está ubicado en una dirección opuesta a la desviación) que permita lograr una reflexión corneoescleral más céntrica; si se dispone de dicho iluminador de referencia alternativo, se selecciona y se vuelve a evaluar la centricidad del destello corneoescleral; si no se logra ninguna mejora en la centricidad utilizando el iluminador de referencia alternativo, se produce la reversión al iluminador de referencia seleccionado inicialmente. Este procedimiento puede perfeccionarse teniendo en cuenta la magnitud de la desviación de la reflexión con respecto al centro de la pupila; por ejemplo, una desviación relativamente pequeña puede no motivar el uso de un iluminador de referencia alternativo.

Al completarse la etapa d), se ha seleccionado una combinación de un iluminador de referencia activo y una cámara activa. Se vuelve a evaluar la centricidad de la reflexión corneoescleral (etapa d)) periódicamente, y esto puede conducir a la decisión de cambiar a otro iluminador de referencia. Para evitar una reevaluación demasiado frecuente de la centricidad, se proporciona un retardo D de duración adecuada (que el experto debería poder determinar mediante experimentación rutinaria) entre las repeticiones de la etapa d). El retardo provoca una repetición intermitente de la etapa d). La elección de un retardo D más largo alivia la carga computacional, pero deteriora la precisión del oculómetro. También es posible proporcionar un retardo D con duración adaptativa que refleje patrones de movimiento del ojo humano observados empíricamente, tales como movimientos sacádicos. Para mantener una alta calidad de la imagen, se evalúa la métrica de la calidad de la imagen para la combinación seleccionada, en la etapa e), a intervalos regulares (tales como tras cada finalización de la etapa d) o tras cada 2a, 5a, 10a o 20a finalización). Si la calidad de la imagen es mayor o igual que un nivel predeterminado, entonces se reanuda la repetición intermitente de la etapa d). Sin embargo, si la métrica de la calidad de la imagen está por debajo del nivel predeterminado, aunque se haya efectuado la actualización de la selección del iluminador de referencia (etapa d)), entonces se revisa la selección de la cámara repitiendo las etapas c) y d). Inmediatamente después de dicha repetición, en la etapa e'), se evalúa nuevamente la métrica de la calidad de la imagen. Si la métrica de la calidad de la imagen sigue estando por debajo del nivel predeterminado, entonces la selección del modo de obtención de imágenes se revisa repitiendo las etapas b), c) y d); de lo contrario, el método reanuda la repetición intermitente de la etapa d).

Con referencia a la figura 13, ahora se esbozará una aplicación del método descrito para la disposición 1200 mostrada en la figura 12. La disposición 1200 comprende cámaras primera y segunda 1210, 1212, e iluminadores 1220, 1222, 1224 y 1226 de referencia primero, segundo, tercero y cuarto. La combinación de la cámara 1210 y el iluminador 1220 es coaxial, al igual que la combinación de la cámara 1212 y el iluminador 1222. Las otras seis combinaciones no son coaxiales. Las decisiones tomadas durante la ejecución del método se ilustran en forma de árbol en la figura 13. Los nodos b1, c1, c2, d1, d2, d3 y d4 simbolizan puntos de decisión; una flecha simboliza una decisión de seleccionar un modo de obtención de imágenes (en el nivel superior), una cámara (en el nivel medio) o un iluminador (en el nivel más bajo); y las hojas simbolizan una combinación completa de una cámara activa y un iluminador, como se indica.

Suponiendo que se ha definido una métrica de la calidad de la imagen, el primer punto de decisión b1 es si se utiliza el modo de obtención de imágenes de bright-pupil (pupila brillante - BP) o de dark-pupil (pupila oscura - DP). Si se escoge el modo de pupila brillante, el método pasa al punto de decisión c1, en el que se selecciona la más adecuada de entre la primera cámara 1210 y la segunda cámara 1212. Si se selecciona la primera cámara 1210, no se toman más decisiones, ya que solo el primer iluminador 1220 es coaxial a la primera cámara 1210 y, de la misma manera, una selección de la segunda cámara 1212 implica inevitablemente que se utilizará la combinación con el segundo iluminador 1222. Por lo tanto, los puntos de decisión d1 y d2 son triviales. Si, en cambio, se selecciona el modo de pupila oscura (en el punto de decisión b1), cada elección de una cámara activa (en el punto de decisión c2) conduce a la elección de tres posibles iluminadores de referencia (en cada uno de los puntos de decisión d3 y d4). Cuando el método ha alcanzado una de las hojas del árbol de decisiones, se completa la selección inicial de una combinación de cámara e iluminador.

La selección se actualiza ascendiendo un nivel en el árbol. Como se ha indicado, la selección de un iluminador de referencia es trivial en el caso de la obtención de imágenes de la pupila brillante, pero en el punto de decisión d3, por ejemplo, hay una elección entre los iluminadores 1222, 1224, 1226 segundo, tercero y cuarto. Es probable que el segundo iluminador 1222 proporcione la reflexión corneal más céntrica para el seguimiento de una dirección central de la mirada, mientras que los iluminadores 1224, 1226 tercero y cuarto probablemente sean adecuados para direcciones laterales de la mirada. El cambio se puede realizar mediante un sencillo mecanismo de control. Si la evaluación de la métrica de la calidad de la imagen revela que la actualización de la selección del iluminador activo no puede proporcionar suficiente calidad de imagen, se reanuda el nivel de decisión medio (hacia atrás a lo largo de las flechas del árbol de decisiones) y posiblemente el nivel superior también, si la calidad de la imagen no se ha mejorado lo suficiente.

V. Observaciones finales

Si bien la invención se ha ilustrado y descrito con detalle en los dibujos y la descripción anterior, dicha ilustración y descripción deberán considerarse ilustrativas o a modo de ejemplo, y no restrictivas; la invención no se limita a las realizaciones descritas. Por ejemplo, el método de proporcionar un sistema de representación visual con iluminadores de referencia para el seguimiento de la mirada se puede realizar con respecto a otros sistemas de representación visual distintos a los mencionados en el presente documento, tales como un panel de descarga de plasma, una vez que se hayan estudiado y comprendido correctamente los principios del método. La colocación de los iluminadores de referencia en relación con elementos translúcidos y opacos del sistema de representación es un ejemplo significativo de dichos principios.

Los expertos en la técnica pueden comprender y realizar otras variaciones de las realizaciones descritas al poner en práctica la invención reivindicada, a partir de un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. En las reivindicaciones, la expresión “que comprende” no excluye otros elementos o etapas, y el artículo indefinido “un” o “una” no excluye una pluralidad. Un solo procesador u otra unidad puede cumplir las funciones de varios artículos recibidos en las reivindicaciones. El mero hecho de que determinadas medidas se mencionen en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas no pueda utilizarse ventajosamente. Se puede almacenar o distribuir un programa informático en un medio adecuado, tal como un medio de almacenamiento óptico o un medio en estado sólido suministrado junto con o como parte de otro hardware, pero también puede distribuirse de otras formas, tales como a través de Internet u otros sistemas de telecomunicaciones alámbricos o inalámbricos. No deberá interpretarse que cualquier signo de referencia en las reivindicaciones está limitando el alcance.

Claims (11)

1. REIVINDICACIONES

   i. Un sistema (600) para determinar un punto de observación de un ojo, que comprende:

   un sistema (602) de representación visual que comprende una superficie (604) de pantalla adaptada para representar información gráfica e incluye una pluralidad de iluminadores (606) de referencia dispuestos debajo de dicha superficie (604) de pantalla, estando los iluminadores (606) de referencia adaptados para emitir luz invisible;

   una cámara (608) para adquirir una imagen del ojo que está mirando el sistema (602) de representación visual, incluyendo dicha imagen reflexiones corneoesclerales de los iluminadores (606) de referencia; y

   un procesador adaptado para:

   definir, basándose en las ubicaciones de las reflexiones corneoesclerales en el plano de la imagen, un mapeo entre un sistema de coordenadas en el plano del objeto y un sistema de coordenadas en el plano de la imagen; y determinar, basándose en el mapeo, el punto de observación del ojo en el sistema de coordenadas del plano del objeto, en donde el mapeo se compone de un mapeo de la reflexión elipsoidal y una proyección en perspectiva.
2. 2. El sistema (600) según la reivindicación 1, en donde la cámara (608) está dispuesta cerca de un borde inferior de una superficie (604) de pantalla del sistema (602) de representación visual.
3. 3. El sistema (600) según la reivindicación 1 o 2, en donde los iluminadores (606) de referencia de dicho sistema (602) de representación visual están adaptados para emitir luz infrarroja o infrarroja cercana.
4. 4. El sistema (600) según la reivindicación 1-3, en donde el cono de luz de cada iluminador (606) de referencia de dicho sistema (602) de representación visual es esencialmente normal a la superficie (604) de pantalla y subtiende un ángulo sólido de como máximo n estereorradianes.
5. 5. El sistema (600) según una cualquiera de las reivindicaciones anteriores, en donde los iluminadores (606) de referencia de dicho sistema (602) de representación visual están dispuestos en una serie bidimensional, siendo dicha serie paralela a la superficie (604) de pantalla.
6. 6. El sistema (600) según una cualquiera de las reivindicaciones anteriores, en donde dicho sistema (602) de representación visual comprende además una pluralidad de capas dispuestas debajo de la superficie (604) de pantalla y esencialmente paralelas a la misma, en donde cualquier capa que está dispuesta entre los iluminadores (606) de referencia y la superficie (604) de pantalla se puede hacer funcionar para que sea translúcida.
7. 7. El sistema (600) según una cualquiera de las reivindicaciones anteriores, en donde dicho sistema (602) de representación visual es una pantalla de cristal líquido que comprende una guía de luz, que está acoplada ópticamente a un iluminador de retroiluminación montado en el borde, y una capa reflectora posterior, entre cuyas capas están dispuestos los iluminadores (606) de referencia.
8. 8. El sistema (600) según una cualquiera de las reivindicaciones 1-6, en donde dicho sistema (602) de representación visual es una pantalla de cristal líquido que comprende iluminadores de retroiluminación directa, en donde un subconjunto de los iluminadores de retroiluminación son iluminadores (606) de referencia.
9. 9. El sistema (600) según la reivindicación 7 u 8, que comprende además un panel de cristal líquido con transmitancia variable, pudiéndose hacer funcionar dicha pantalla alternativamente en:

   un modo de representación, en donde al menos algún iluminador de retroiluminación está activo; y un modo de referencia, en donde los iluminadores (606) de referencia están activos, todos los iluminadores de retroiluminación para emitir luz visible están inactivos, y el panel de cristal líquido tiene una transmitancia máxima.
10. 10. El sistema (600) según una cualquiera de las reivindicaciones 1-6, en donde dicho sistema (602) de representación visual es un sistema de representación visual de diodos emisores de luz orgánicos que comprende una capa de ánodo translúcida, una capa conductora, una capa emisora y una capa de cátodo translúcida, capas debajo de las cuales se disponen los iluminadores (606) de referencia.
11. 11. El sistema (600) según una cualquiera de las reivindicaciones anteriores, en donde los iluminadores (606) de referencia de dicho sistema (602) de representación visual están adaptados para iluminar un ojo que está mirando el sistema (602) de representación visual, ojo que está sujeto al seguimiento de la mirada.

    Un método para determinar un punto de observación de un ojo que está mirando un sistema (602) de representación visual que comprende las etapas de:

    a) proporcionar un sistema (602) de representación visual que comprende una superficie (604) de pantalla adaptada para representar información gráfica y que incluye una pluralidad de iluminadores (606) de referencia dispuestos debajo de dicha superficie (604) de pantalla, estando los iluminadores (606) de referencia adaptados para emitir luz invisible;

    proporcionar una cámara (608) para adquirir una imagen del ojo que está mirando el sistema (602) de representación visual, incluyendo dicha imagen reflexiones corneoesclerales de los iluminadores (606) de referencia;

    b) iluminar el ojo mediante luz invisible procedente de una pluralidad de iluminadores (606) de referencia proporcionados en un plano del objeto;

    c) adquirir una imagen del ojo que incluye reflexiones corneoesclerales de los iluminadores (606) de referencia;

    d) definir, basándose en las ubicaciones de las reflexiones corneoesclerales en el plano de la imagen, un mapeo entre un sistema de coordenadas en el plano del objeto y un sistema de coordenadas en el plano de la imagen; y

    e) determinar, basándose en al mapeo, el punto de observación del ojo en el sistema de coordenadas del objeto,

    estando dicho método caracterizado por que el mapeo se compone de un mapeo de la reflexión elipsoidal y una proyección en perspectiva.

    El método de la reivindicación 12, en donde el mapeo de la reflexión elipsoidal es un mapeo de reflexión esférica oblonga.

    El método según la reivindicación 12 o 13, en donde los iluminadores (606) de referencia están dispuestos debajo de una superficie (604) de pantalla, adaptada para representar información gráfica, del sistema (602) de representación visual.