ES3023338T3 - Eye tracking using eyeball center position - Google Patents

Eye tracking using eyeball center position Download PDF

Info

Publication number
ES3023338T3
ES3023338T3 ES21210660T ES21210660T ES3023338T3 ES 3023338 T3 ES3023338 T3 ES 3023338T3 ES 21210660 T ES21210660 T ES 21210660T ES 21210660 T ES21210660 T ES 21210660T ES 3023338 T3 ES3023338 T3 ES 3023338T3
Authority
ES
Spain
Prior art keywords
center
eye
pupil
estimated
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES21210660T
Other languages
English (en)
Inventor
Simon Johansson
Mark Ryan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES3023338T3 publication Critical patent/ES3023338T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

Se describe un método, un sistema de seguimiento ocular que comprende un circuito configurado para ejecutar el método y uno o más medios de almacenamiento legibles por computadora que almacenan instrucciones ejecutables por computadora que, al ser ejecutadas por un sistema informático que implementa el procesamiento de datos oculares/mirada, hacen que el sistema informático ejecute el método. Se obtiene un radio estimado (r) desde el centro del globo ocular hasta el centro de la pupila en un ojo, y se determina una posición estimada del centro del globo ocular (e) en el ojo con respecto a un sensor de imagen para capturar imágenes del ojo. A continuación, se identifica una imagen del ojo capturada mediante el sensor de imagen y la posición de una representación del centro de la pupila en el ojo en la imagen obtenida. A continuación, se determina una posición estimada del centro de la pupila (p') basándose en la posición estimada del centro del globo ocular (e), el radio estimado (r) y la posición identificada de la representación del centro de la pupila en la imagen obtenida. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Seguimiento ocular que utiliza la posición del centro del globo ocular
La siguiente descripción solo proporciona realizaciones ilustrativas, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. Más bien, la siguiente descripción de las realizaciones ilustrativas proporcionará a los expertos en la técnica una descripción habilitante para implementar una o más realizaciones ilustrativas. Se entiende que pueden realizarse diversos cambios en la función y disposición de los elementos sin alejarse del alcance de la invención tal como se expone en la presente memoria.
Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia del análisis de cualquier detalle con respecto a la realización de la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en la presente memoria.
En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto en la técnica entenderá que las realizaciones pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama en bloque para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.
Además, cabe señalar que pueden describirse realizaciones individuales como un proceso que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama estructural o un diagrama de bloques. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.
La expresión “ medio legible por máquina” o similar incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o portar una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.
Además, las realizaciones de la invención pueden implementarse, al menos en parte, ya sea manual o automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementan en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.
La presente descripción se refiere en general al campo del seguimiento ocular. En particular, la presente descripción se refiere a sistemas y métodos para utilizar en la generación de datos de seguimiento de mirada que indican una dirección del ojo y/o dirección de mirada de un ojo.
En la técnica, se conocen varios sistemas diferentes de seguimiento ocular. Tales sistemas pueden emplearse, por ejemplo, para identificar una ubicación en una pantalla a la que un usuario está mirando y/o la dirección de mirada del usuario. Algunos sistemas de seguimiento ocular capturan imágenes de al menos uno de los ojos de un usuario y, a continuación, emplean procesamiento de imágenes para extraer características clave del ojo, tales como un centro de la pupila junto con reflejos (reflexiones corneales) desde los iluminadores que iluminan el ojo. Las características extraídas pueden emplearse, a continuación, para determinar dónde en la pantalla está mirando el usuario, la dirección del ojo del usuario y/o la dirección de mirada del usuario.
El documento EP 3228 238 A1, miembro de la familia del documento WO 2016/088418 A1, describe un aparato de procesamiento de información que incluye: una unidad de detección configurada para detectar una imagen de reflexión corneal correspondiente a la luz de una fuente de luz reflejada en una córnea a partir de una imagen capturada en la que se obtiene una imagen de un ojo irradiado con la luz de la fuente de luz. La unidad de detección estima la posición de un centro de un globo ocular basándose en una pluralidad de imágenes capturadas en series temporales, cada una de las cuales es la imagen capturada según lo anterior, estima una posición de un centro de la córnea basándose en la posición estimada del centro del globo ocular, estima la posición de un candidato para la imagen de reflexión corneal basándose en la posición estimada del centro de la córnea y detecta la imagen de reflexión corneal a partir de la imagen capturada basándose en la posición estimada del candidato para el imagen de reflexión corneal.
El documento WO 2011/021936 Al describe un aparato y un método para determinar automáticamente un ángulo de estrabismo de los ojos de un individuo realizando una prueba de reflexión en dichos ojos y estimando para ambos ojos individualmente las coordenadas del centro de la pupila. Se describe que las coordenadas del centro de la córnea y las coordenadas del centro de la pupila de ambos ojos se utilizan para estimar el ángulo del estrabismo. Para el ojo que está fijando, se calcula un ángulo kappa que representa un ángulo entre el eje óptico de los ojos a través del centro corneal y el centro de la pupila, y el eje visual a través del centro corneal y la fóvea del ojo, y el ángulo kappa se utiliza, a continuación, para determinar el ángulo de estrabismo.
Un método conocido de seguimiento ocular incluye el uso de luz infrarroja y un sensor de imágenes. La luz infrarroja se dirige hacia la pupila de un usuario y la reflexión de la luz es captada por un sensor de imágenes. Mediante el análisis del punto de reflexión, puede calcularse la dirección de la mirada del usuario. Uno de estos sistemas se describe en el documento US 7.572.008.
También se han descrito previamente dispositivos de seguimiento ocular portátiles o ponibles. Un sistema de seguimiento ocular de este tipo se describe en el documento US 9.041.787.
Se describe un dispositivo de seguimiento ocular ponible que utiliza iluminadores y sensores de imágenes para determinar la dirección de la mirada.
En aplicaciones de seguimiento ocular para dispositivos de seguimiento ocular portátiles o ponibles, tales como en dispositivos de realidad virtual (RV) y dispositivos de realidad aumentada (RA), donde se utilizan dispositivos montados en la cabeza que incluyen un sistema de seguimiento ocular que determina una dirección del ojo y/o dirección de mirada basándose en un centro de la pupila y reflejos desde los iluminadores que iluminan los ojos de un usuario, pueden surgir situaciones donde los ojos de un usuario se dirigen en relación con los iluminadores de tal forma que pueden identificarse ninguno o muy pocos reflejos para el seguimiento ocular, o el reflejo o reflejos identificados son difíciles de emparejar con el respectivo iluminador del reflejo. En tales situaciones, será difícil o imposible determinar la dirección del ojo y/o la dirección de mirada y/o la dirección del ojo o al menos no con la fiabilidad deseable.
Sería deseable proporcionar una tecnología de seguimiento ocular para tener en cuenta tales situaciones donde no hubiera ninguno o con muy pocos reflejos identificados para el seguimiento ocular o cuando el reflejo o reflejos identificados son difíciles de correlacionar con los rayos de iluminación.
Un objeto de la presente descripción es abordar al menos uno de los problemas descritos anteriormente.
Según un primer aspecto, se proporciona un método que comprende, que es definido en la reivindicación 1, obtener un radio estimado desde un centro del globo ocular hasta un centro de la pupila en un ojo, y determinar una posición estimada del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo. Además, se obtiene una imagen del ojo capturada por medio del sensor de imágenes y se determina una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Finalmente, se determina una posición estimada del centro de la pupila basándose en la posición estimada del centro del globo ocular, el radio estimado y la posición identificada de la representación del centro de la pupila en la imagen obtenida.
En algunas situaciones, un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo no proporciona resultados fiables. Esto puede causarse por una dirección del ojo actual u otros factores temporales que afectan a la posibilidad de que el método proporcione resultados fiables de dirección del ojo y/o dirección de mirada. Para algunas aplicaciones del seguimiento ocular, puede utilizarse otro método basado en una posición estimada del centro del globo ocular en lugar del método primario para determinar una dirección del ojo en tales situaciones. Más específicamente, tales métodos que utilizan una posición estimada del centro del globo ocular pueden utilizarse en aplicaciones de seguimiento ocular donde puede aproximarse que la posición del centro del globo ocular sea constante en relación con un sensor de imágenes que captura imágenes del ojo independientemente de la dirección del ojo. La aproximación será válida al menos durante algún periodo de tiempo.
La posición estimada del centro del globo ocular puede determinarse en una situación donde es posible determinar la misma con la fiabilidad requerida. La posición estimada del centro del globo ocular puede determinarse, por ejemplo, basándose en el método primario para determinar el seguimiento ocular y/o el seguimiento de la mirada. Sin embargo, se apreciará que puede utilizarse cualquier otro método siempre que se pueda determinar una posición estimada del centro del globo ocular con la fiabilidad requerida.
Cuando se ha determinado la posición estimada del centro del globo ocular, esta estimación puede utilizarse, a continuación, para situaciones en las que no es posible determinar la dirección del ojo y/o la dirección de mirada con la fiabilidad requerida basándose en el método primario. Se obtiene una imagen del ojo capturada por medio del sensor de imágenes y se determina una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Se obtiene un radio estimado desde un centro del globo ocular hasta un centro de la pupila de un ojo. El radio estimado es una aproximación de la distancia desde el centro del globo ocular hasta el centro de la pupila de un ojo humano. Ya que se conoce la posición estimada del centro del globo ocular en relación con el sensor de imágenes, y se conoce el radio estimado desde centro del globo ocular hasta el centro de la pupila, estos pueden combinarse con la representación identificada del centro de la pupila en la imagen capturada por el sensor de imágenes para determinar una posición estimada del centro de la pupila.
La posición determinada del centro de la pupila es la posición real del centro de la pupila en relación con el sensor de imágenes.
El sensor de imágenes puede ser cualquier tipo de sensor de imágenes que consiste en un circuito integrado que contiene una matriz de sensores de píxeles, conteniendo cada píxel un fotodetector y un amplificador activo. El sensor de imágenes es capaz de convertir la luz a señales digitales. En realidad, como un ejemplo, podría ser:
• un sensor de imágenes infrarrojo o sensor de imágenes de IR
• sensor RGB
• sensor RGBW
• un sensor RGB o RGBW con filtro de IR
Los mecanismos obturadores de los sensores de imagen pueden ser o bien un obturador rotativo o bien un obturador global.
En realizaciones, el radio estimado se selecciona primero como la aproximación de la distancia desde el centro del globo ocular hasta el centro de la pupila de un ojo humano. Cuando se recuperan datos adicionales con respecto a los ojos de un usuario actual, el radio estimado puede actualizarse.
En realizaciones implementadas en un sistema como se define en la reivindicación 9, donde un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo se basa en determinar un centro de la pupila en el ojo y reflejos (reflexiones corneales) en el ojo desde uno o más iluminadores que iluminan el ojo, un ejemplo de una situación donde un método primario no proporciona resultados fiables, es cuando se vuelve grande un ángulo entre una dirección del ojo en relación con uno o más rayos de iluminación desde el uno o más iluminadores, por ejemplo, cuando el ojo se dirige a puntos en el borde de una pantalla del sistema. En una situación de este tipo, pueden surgir dificultades para identificar cualquier reflejo o al menos un número suficiente de reflejos en el ojo y, en particular, en una córnea del ojo, o que un reflejo identificado o reflejos identificados no pueden asociarse a un iluminador correspondiente del uno o más iluminadores. En una situación de este tipo, puede no ser posible determinar con la fiabilidad requerida una dirección del ojo y/o dirección de mirada del ojo basándose en el reflejo o reflejos identificados utilizando el método primario. Si se determina que no es posible determinar la dirección del ojo y/o la dirección de mirada con la confiabilidad requerida basándose en el método principal, el método para determinar la dirección del ojo y/o la dirección de mirada de un ojo puede usar un método secundario para determinar la dirección del ojo y/o la dirección de mirada del ojo basándose en una posición estimada del centro del globo ocular y una posición estimada del centro de la pupila, determinándose la posición estimada del centro de la pupila basándose en la posición estimada del centro del globo ocular, un radio estimado y una posición identificada de una representación del centro de una pupila en una imagen obtenida por el sensor de imagen.
Un ejemplo de una aplicación de seguimiento ocular puede utilizarse donde otro método basado en una posición estimada del centro del globo ocular en lugar del método primario para determinar una dirección del ojo en situaciones donde el método primario falla son los dispositivos ponibles, tales como dispositivos para RV y RA, donde uno o más sensores de imágenes se colocan sobre o en el dispositivo ponible y, por lo tanto, no se moverán en relación con los ojos cuando el usuario se mueva siempre que el usuario lleve puesto el dispositivo. En una aplicación de este tipo, una posición del centro del globo ocular puede aproximarse para que sea constante en relación con un sensor de imágenes que captura imágenes del ojo, independientemente de la dirección del ojo y la posición de la cabeza.
Para dispositivos ponibles, tales como dispositivos para RV y RA, con un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo que se basa en determinar un centro de la pupila de y reflejos en el ojo de uno o más iluminadores que iluminan el ojo, puede determinarse, por ejemplo, una posición estimada del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo para una situación, por ejemplo, donde se identifican un número suficiente de reflejos en el ojo, y el reflejo o reflejos identificados pueden asociarse al iluminador o iluminadores correspondientes, de tal forma que es posible determinar la posición estimada del centro del globo ocular con la fiabilidad requerida. Para una situación donde el método primario no puede identificar ningún reflejo o al menos no un número suficiente de reflejos en el ojo, o donde un reflejo identificado o reflejos identificados no pueden asociarse a un iluminador correspondiente del uno o más iluminadores, puede utilizarse un método basado en la posición estimada del centro del globo ocular para determinar una dirección del ojo y/o una dirección de mirada.
Una vez que se ha determinado la posición estimada del centro de la pupila, según algunas realizaciones, se determina una dirección del ojo estimada basándose en un vector desde la posición estimada del centro del globo ocular hasta la posición estimada del centro de la pupila.
Además, según algunas realizaciones, se determina una dirección de mirada estimada basándose en la dirección del ojo estimada.
Según algunas realizaciones, se obtiene una distancia estimada desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila y una distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea. El radio estimado desde el centro del globo ocular hasta el centro de la pupila es, entonces, igual a la suma de la distancia estimada desde el centro de la esfera de la córnea hasta el centro de la pupila y la distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea.
Típicamente, la córnea del ojo es aproximadamente esférica en una región central de la córnea ubicada alrededor de la pupila, pero se desvía más de la forma esférica más lejos del centro de la córnea. Por lo tanto, la región central de la córnea puede denominarse como una región esférica, mientras que la región de la córnea fuera de la región esférica puede denominarse región no esférica. El centro de la esfera de la córnea se define como una posición en el centro de una esfera imaginaria de la que forma parte la región esférica de la córnea.
La distancia estimada desde el centro de la esfera de la córnea hasta el centro de la pupila, también conocida como profundidad de la pupila, puede ser una aproximación constante o puede actualizarse dinámicamente.
Por ejemplo, en realizaciones implementadas en un sistema que utiliza un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo basándose en la determinación de un centro de la pupila en el ojo y reflejos en el ojo de uno o más iluminadores que iluminan el ojo, se determina una posición del centro de la esfera de la córnea para una situación donde hay un número suficiente de reflejos en el ojo, y el reflejo o reflejos identificados pueden asociarse al iluminador correspondiente del uno o más iluminadores, de tal forma que es posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea. A partir de esto, puede determinarse la distancia desde el centro de la córnea hasta el centro de la pupila.
La distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea puede ser una aproximación constante o puede actualizarse dinámicamente.
Según algunas realizaciones, la posición estimada del centro de la pupila se determina basándose en la posición estimada del centro del globo ocular, el radio estimado desde el centro del globo ocular hasta el centro de la pupila en el ojo y la posición identificada de la representación del centro de la pupila en la imagen obtenida definiendo primero una esfera del globo ocular que tiene un centro en la posición estimada del centro del globo ocular. La esfera de globo ocular tiene además un radio del radio estimado. Basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, se determina un rayo de la pupila a lo largo del cual se coloca el centro de la pupila. El rayo de la pupila es una proyección en el espacio tridimensional desde el sensor de imágenes de la posición identificada de la representación del centro de la pupila en la imagen obtenida. La posición estimada del centro de la pupila se determina, a continuación, como una intersección entre la esfera del globo ocular y el rayo de la pupila.
Según algunas realizaciones, se determina la posición estimada del centro de la pupila utilizando un método iterativo que tiene en cuenta la refracción en una córnea del ojo desde una superficie de la córnea hasta el centro de la pupila.
En estas realizaciones, se tiene en cuenta la refracción en la córnea, es decir, el centro de la pupila no se colocará en el rayo de la pupila que es una proyección lineal en el espacio tridimensional, sino que el rayo de la pupila se refractará en la córnea del ojo.
Según algunas realizaciones, se obtiene una distancia estimada desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila en el ojo. A continuación se determina una posición estimada del centro de la esfera de la córnea como la distancia estimada obtenida desde el centro de la esfera de la córnea hasta el centro de la pupila a partir de la posición del centro de la pupila estimada en la dirección hacia la posición estimada del centro del globo ocular, es decir, comenzando en la posición estimada del centro de la pupila y moviendo, en la dirección desde el centro de la pupila hacia la posición estimada del centro del globo ocular, la distancia estimada obtenida desde el centro de la esfera de la córnea hasta el centro de la pupila.
Según algunas realizaciones, la posición estimada del centro de la esfera de la córnea puede utilizarse para predecir posiciones de uno o más reflejos en el ojo.
En las realizaciones implementadas en un sistema que utiliza un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo basándose en la determinación de un centro de la pupila en el ojo y los reflejos en el ojo de uno o más iluminadores que iluminan el ojo, la posición estimada del centro de la esfera de la córnea puede utilizarse para predecir posiciones de uno o más reflejos antes de que el método primario haya determinado la posición del centro de la esfera de la córnea. La predicción puede utilizarse, a continuación, para asociar cada uno del uno o más reflejos a un iluminador correspondiente del uno o más iluminadores. Esto es útil incluso para una situación donde haya un número suficiente de reflejos en el ojo para que sea posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea basándose en el método primario.
Según algunas realizaciones, la posición estimada del centro del globo ocular se determina determinando una posición del centro de la esfera de la córnea se determina basándose en una o más posiciones de reflejo en el ojo. Además, se determina una posición del centro de la pupila y se obtiene una distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea. La posición estimada del centro del globo ocular se determina, a continuación, como la distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea a partir de la posición del centro de la esfera de la córnea en una dirección desde la posición del centro de la pupila hasta la posición del centro de la esfera de la córnea, es decir, comenzando en la posición del centro de la esfera de la córnea determinada y moviendo, en la dirección desde la posición determinada del centro de la pupila hasta la posición determinada del centro de la esfera de la córnea, la distancia estimada obtenida desde el centro del globo ocular hasta el centro de la esfera de la córnea.
En realizaciones implementadas en un sistema como se define en la reivindicación 9, donde un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo se basa en determinar un centro de la pupila y reflejos en el ojo de uno o más iluminadores que iluminan el ojo, la posición estimada del centro del globo ocular puede determinarse en una situación donde se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente del uno o más iluminadores, de tal forma que sea posible determinar la posición del centro de la esfera de la córnea y la dirección del ojo con la fiabilidad requerida. La posición del centro de la esfera determinada se utiliza, a continuación, junto con la dirección del ojo y la distancia estimada desde el centro del globo ocular hasta el centro de la esfera de la córnea para determinar la posición estimada del centro del globo ocular. La posición estimada del centro del globo ocular puede utilizarse, a continuación, para situaciones cuando no es posible determinar la dirección del ojo y/o la dirección de mirada con la fiabilidad requerida basándose en el método primario. Dichas situaciones son, por ejemplo, cuando se vuelve grande un ángulo entre una dirección del ojo en relación con uno o más rayos de iluminación del uno o más iluminadores, por ejemplo, cuando el ojo se dirige a puntos en el borde de una pantalla del sistema. En tales situaciones, puede resultar difícil identificar un número suficiente de reflejos identificados en el ojo y/o asociar los reflejos identificados a un iluminador correspondiente del uno o más iluminadores para determinar con la fiabilidad requerida una dirección del ojo y/o una dirección de mirada del ojo utilizando el método primario.
Según un segundo aspecto, se proporciona un sistema de seguimiento ocular que comprende un sistema de circuitos configurado para obtener un radio estimado desde un centro del globo ocular hasta un centro de la pupila de un ojo, y determinar una posición estimada del centro del globo ocular en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo. El sistema de circuitos está configurado además para obtener una imagen del ojo capturada por medio del sensor de imágenes y determinar una posición de una representación del centro de la pupila en el ojo en la imagen obtenida se determina. El sistema de circuitos está configurado además para determinar una posición estimada del centro de la pupila basándose en la posición estimada del centro del globo ocular, el radio estimado y la posición identificada de la representación del centro de la pupila en la imagen obtenida.
El sistema del segundo aspecto, o el sistema de circuitos comprendido en un sistema de este tipo, está configurado para realizar cualquiera de las realizaciones del primer aspecto.
Además, las realizaciones del sistema según el segundo aspecto pueden incluir características que corresponden a las características de cualquiera de las realizaciones del sistema según el primer aspecto.
Según las realizaciones, el sistema de seguimiento ocular comprende, además, el sensor de imágenes para capturar imágenes del ojo.
Según las realizaciones, el sensor de imágenes se dispone en un dispositivo ponible.
En los dispositivos ponibles, tales como dispositivos para RV y RA, donde uno o más sensores de imágenes se colocan en el dispositivo ponible y, por lo tanto, no se moverán en relación con el ojo cuando el usuario se mueva siempre que el usuario lleve puesto el dispositivo, y la posición del centro del globo ocular puede aproximarse para que sea constante en relación con un sensor de imágenes que captura imágenes del ojo independientemente de la dirección del ojo. Por lo tanto, puede utilizarse otro método basado en una posición estimada del centro del globo ocular en lugar del primario para determinar una dirección del ojo en situaciones donde un método primario para determinar la dirección del ojo y/o la dirección de mirada no es capaz de producir resultados fiables.
Según las realizaciones, el sistema de circuitos se dispone en un dispositivo diferente del dispositivo ponible.
Según las realizaciones, el sistema de circuitos se dispone en el dispositivo ponible.
Según un tercer aspecto, se proporciona uno o más medios de almacenamiento legibles por ordenador que almacenan instrucciones ejecutables por ordenador que, cuando se ejecutan por un sistema informático que implementa el procesamiento de datos de los ojos/mirada, hacen que el sistema informático realice un método. El método puede ser, por ejemplo, el método según el segundo aspecto.
Las realizaciones del uno o más medios de almacenamiento legibles por ordenador según el tercer aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de las realizaciones del método según el primer aspecto.
El uno o más medios legibles por ordenador pueden ser por ejemplo uno o más medios legibles por ordenador no transitorios.
Cabe señalar que las realizaciones de la invención se refieren a todas las combinaciones posibles de características mencionadas en las reivindicaciones.
A continuación, se describirán realizaciones ilustrativas con referencia a los dibujos adjuntos:
laFigura 1muestra una vista de un sistema de seguimiento ocular, en el que pueden implementarse realizaciones;
laFigura 2muestra una imagen de ejemplo de un ojo;
laFigura 3es una vista en sección transversal de un ojo;
laFigura 4amuestra una vista de partes seleccionadas de un dispositivo montado en la cabeza;
laFigura 4bmuestra una vista lateral de partes seleccionadas de un dispositivo montado en la cabeza;
laFigura 4cmuestra una vista en despiece de partes seleccionadas de un dispositivo montado en la cabeza;
laFigura 5amuestra una vista de porciones seleccionadas de la geometría de un ojo en relación con las realizaciones;
laFigura 5bmuestra una vista de porciones seleccionadas de la geometría de un ojo en relación con las realizaciones;
laFigura 6muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con las realizaciones;
lasFiguras 7-9son diagramas de flujo de métodos según las realizaciones; y
laFigura 10es un diagrama de bloques de un sistema informático especializado capaz de usarse en al menos alguna porción de los aparatos o sistemas de la presente invención, o implementar al menos alguna porción de los métodos de la presente invención.
Todas las figuras son esquemáticas y, generalmente, solo muestran partes que son necesarias para dilucidar las realizaciones respectivas, mientras que otras partes pueden omitirse o simplemente sugerirse.
LaFigura 1muestra una vista simplificada de un sistema 100 de seguimiento ocular (que también puede denominarse sistema de seguimiento de mirada) en el que pueden implementarse realizaciones de la invención. El sistema 100 comprende los iluminadores 111 y 112 para iluminar los ojos de un usuario y un sensor 113 de luz para capturar imágenes de los ojos del usuario. Los iluminadores 111 y 112 pueden ser, por ejemplo, diodos emisores de luz que emiten luz en la banda de frecuencias del infrarrojo o en la banda de frecuencias del infrarrojo cercano. El sensor 113 de luz puede ser, por ejemplo, un sensor de imágenes, tal como un sensor de imágenes de semiconductor de óxido metálico complementario(complementary metal oxide semiconductor,CMOS) o un sensor de imágenes con dispositivo de carga acoplada(charged coupled device,CCD).
Un primer iluminador 111 se dispone de manera coaxial con (o cerca de) el sensor 113 de luz de modo que el sensor 113 de luz pueda capturar imágenes de pupila brillante de los ojos del usuario. Debido a la disposición coaxial del primer iluminador 111 y del sensor 113 de luz, la luz reflejada procedente de la retina de un ojo vuelve a través de la pupila al sensor 113 de luz, de modo que la pupila aparece como más brillante que el iris que la rodea en imágenes donde el primer iluminador 111 ilumina el ojo. Un segundo iluminador 112 se dispone de forma no coaxial con el (o más alejado del) sensor 113 de luz para capturar imágenes de pupila oscuras. Debido a la disposición no coaxial del segundo iluminador 112 y del sensor 113 de luz, la luz reflejada procedente de la retina de un ojo no llega al sensor 113 de luz, y la pupila parece más oscura que el iris que la rodea en imágenes donde el segundo iluminador 112 ilumina el ojo. Los iluminadores 111 y 112 pueden por ejemplo turnarse para iluminar el ojo, de modo que cada segunda imagen sea una imagen de la pupila brillante y cada segunda imagen sea una imagen de la pupila oscura.
El sistema 100 de seguimiento ocular comprende también el sistema de circuitos 120 (que incluye, por ejemplo, uno o más procesadores) para procesar las imágenes capturadas por el sensor 113 de luz. El sistema 120 de circuitos puede conectarse, por ejemplo, al sensor 113 de luz y a los iluminadores 111 y 112 a través de una conexión por cable o inalámbrica y coubicarse con el sensor 113 de luz y los iluminadores 111 y 112 o ubicarse a una distancia, p. ej., en un dispositivo diferente. En otro ejemplo, el sistema 120 de circuitos en forma de uno o más procesadores puede proporcionarse en una o más capas apiladas debajo de la superficie fotosensible del sensor 113 de luz.
LaFigura 2muestra un ejemplo de una imagen de un ojo 200 capturada por el sensor 113 de luz. El conjunto 120 de circuitos puede emplear, por ejemplo, procesamiento de imágenes (tal como procesamiento digital de imágenes) para extraer las características de la imagen. El sistema 120 de circuitos puede emplear, por ejemplo, un seguimiento ocular por reflexión entre la córnea y elpupil center cornea reflection(centro de la pupila - Pc c R) para determinar dónde está mirando el ojo 200. En el seguimiento ocular PCCR, el procesador 120 estima la posición del centro de la pupila 210 y la posición del centro de un reflejo 220 en el ojo 200. El reflejo 220 es causado por el reflejo de la luz procedente de uno de los iluminadores 111 y 112. El procesador 120 calcula dónde está el usuario en el espacio utilizando el reflejo 220 y dónde está apuntando el ojo 200 del usuario utilizando la pupila 210. Puesto que de forma típica existe un desplazamiento entre el centro óptico del ojo 200 y la fóvea, el procesador 120 realiza la calibración del desvío de la fóvea para poder determinar dónde está mirando el usuario. Las direcciones de mirada obtenidas del ojo izquierdo y del ojo derecho pueden combinarse entonces para formar una dirección de mirada estimada combinada (o dirección de visión).
En el sistema de seguimiento ocular descrito con referencia a la Figura 1, los iluminadores 111 y 112 se disponen en un módulo 110 de seguimiento ocular. Esta disposición solo sirve como ejemplo. Se apreciará que pueden emplearse, más o menos, cualquier número de iluminadores y sensores de luz para el seguimiento ocular, y que tales iluminadores y sensores de luz pueden distribuirse de muchas formas distintas en relación con pantallas observadas por el usuario. Se apreciará que el esquema de seguimiento ocular descrito en la presente descripción puede emplearse, por ejemplo, para el seguimiento del ojo ponible (tal como en gafas de realidad virtual (RV) o gafas de realidad aumentada (RA).
LaFigura 3muestra una sección transversal de diferentes partes de un ojo 300. Una córnea 310 tiene una región central 311 que, en general, es cercana a esférica, y una región exterior 312 que no es esférica y, por lo tanto, más difícil de modelar. La región central 311 (que también se denomina en la presente memoria la región esférica de la córnea 310) se extiende desde un centro 313 de la superficie de la córnea hasta un borde 314 de la región esférica 311. El centro 313 de la superficie de la córnea es una posición en la región esférica 311 de la córnea 310 donde una línea 340 virtual que se extiende desde un centro 330 del globo ocular a través de un centro 350 de la pupila interseca la región esférica 311 de la córnea 310. Una región exterior 312 de la córnea 310 se extiende desde el borde 314 de la región esférica 311 de la córnea 310 hasta el borde 315 de la córnea 310. La región exterior 312 también se denomina en la presente memoria la región no esférica de la córnea 310. Un centro 360 de la esfera de la córnea es una posición en el centro de una esfera imaginaria 370 de la córnea de la que forma parte la región esférica 311. La Figura 3 también muestra la esclerótica 320 del ojo 300.
En un sistema de seguimiento ocular, se determina una dirección del ojo o una dirección de mirada actual del ojo 300 determinando la posición de los reflejos y utilizando la geometría del ojo. En este proceso se determinan la posición actual del centro 360 de la esfera de la córnea y la posición actual del centro 350 de la pupila.
Cada una de las Figuras 4a-c muestra una vista separada de partes seleccionadas de un dispositivo montado en la cabeza en forma de un dispositivo de realidad virtual (RV) 400 (gafas de RV) que incluye un sistema de seguimiento ocular en el que pueden implementarse realizaciones.
LaFigura 4amuestra una vista de partes seleccionadas de un dispositivo montado en la cabeza en forma de las gafas 400 de RV que incluyen un sistema de seguimiento ocular en el que pueden implementarse realizaciones. Además de las gafas 400 de RV, se muestran los ojos 402 y una cabeza 404 de un usuario. La porción de RV de las gafas 400 de RV mostradas comprende dos pantallas 410 de RV y dos lentes 412, una pantalla 410 de RV y una lente 412 para cada ojo 402. Las pantallas 410 de RV se colocan delante de los ojos 412 y las lentes 414 se colocan entre los ojos 412 y las pantallas 410 de RV. La porción de seguimiento ocular de las gafas 400 de RV comprende dos espejos calientes 420 y dos cámaras 422. Para capturar imágenes de los ojos 412 para su uso en el seguimiento ocular, los espejos calientes 420 se disponen entre las pantallas 410 de RV y las lentes 414. Además, los iluminadores (no mostrados) se disponen sobre o en las gafas 400 de RV de tal forma que los rayos de iluminación se dirijan hacia los ojos 402. Las reflexiones procedentes de los ojos 402 de los rayos de iluminación hacia los espejos calientes 420 se reflejarán hacia las cámaras 422 en las que se detectan los rayos de iluminación para producir una imagen del ojo. Por ejemplo, los espejos calientes 420 pueden ser de un tipo, de tal forma que reflejarán la luz en la banda de frecuencias del infrarrojo, pero serán transparentes para la luz en la banda de frecuencias visibles. Los iluminadores (no mostrados) utilizados podrían producir, a continuación, rayos de iluminación en la banda de frecuencias del infrarrojo y las cámaras 422 incluirán sensores de imágenes capaces de detectar luz en la banda de frecuencias del infrarrojo.
LaFigura 4bmuestra una vista lateral de partes seleccionadas de las gafas 400 de RV. Los rayos de iluminación desde los iluminadores (no mostrados) hacia el ojo 402 se reflejarán de vuelta y pasarán a través de la lente 412 hacia el espejo caliente 420 y se reflejarán hacia la cámara 422 en la que se detectan los rayos de iluminación para producir una imagen del ojo.
LaFigura 4cmuestra una vista en despiece de partes seleccionadas de las gafas 400 de RV. Se muestran partes seleccionadas para un ojo que incluyen una cubierta 424 de iluminador, iluminadores en forma de diodos 426 emisores de luz (LED), la cámara 422 que incluye un sensor de imágenes, la lente 412, una copa de lente o tubo 414 de lente, el espejo caliente 420, la pantalla 410 de RV y una placa electrónica 416. La Figura 4c muestra una disposición de ejemplo de los iluminadores en forma de los<l>E<d>426, donde los LED se disponen a lo largo de la periferia de la lente 412 para producir un patrón cuando se ilumina el ojo 402. Los rayos de iluminación de los LED 426 reflejados desde el ojo y el espejo caliente se detectan en la cámara 422 para producir una imagen del ojo. Las reflexiones en el ojo (córnea) se denominan reflejos y, utilizando la posición de los reflejos, se utilizan la geometría del ojo y la geometría de la configuración de las gafas 400 de RV para determinar una dirección del ojo o una dirección de mirada actual.
Los dispositivos montados en la cabeza, tales como en gafas de RV o gafas de realidad aumentada RA, pueden mejorarse incluyendo el seguimiento ocular ponible utilizando iluminadores y uno o más sensores de luz dispuestos en el dispositivo montado en la cabeza para determinar la dirección del ojo y/o la dirección de mirada basándose en la estimación de una posición del centro de la pupila y una posición del centro de uno o más reflejos en el ojo desde los iluminadores. Un problema que puede surgir en tales dispositivos es que cuando el usuario observa un punto cercano al borde de una pantalla, los reflejos tienden atenuarse en la córnea de forma que se vuelve difícil determinar la dirección del ojo y/o la dirección de mirada del usuario basándose en la identificación de los reflejos.
Sin embargo, incluso si los reflejos no pueden identificarse y utilizarse para la determinación de la dirección del ojo y/o la dirección de mirada, aún puede ser posible identificar la posición del centro de la pupila (posición del centro de la pupila).
A continuación, se describirá un método para determinar la dirección del ojo y la dirección de mirada en relación con laFigura 5ayFigura 5b.
El método se implementa en un dispositivo ponible, tal como gafas de RV o gafas de RA, donde los iluminadores y los sensores de imágenes se disponen sobre o en el dispositivo ponible y, por lo tanto, no se moverá en relación con el ojo cuando el usuario se mueva, siempre que el usuario lleve puesto el dispositivo. En una aplicación de este tipo, una posición del centro del globo ocular puede aproximarse para que sea constante en relación con un sensor de imágenes que captura imágenes del ojo independientemente de la dirección del ojo. El dispositivo ponible utiliza un método primario para determinar la dirección del ojo y/o la dirección de mirada de un ojo basándose en determinar un centro de la pupila en el ojo y los reflejos en el ojo desde los iluminadores que detectó el ojo por medio de los sensores de imágenes. Un ejemplo de tal sistema se describe en relación con las Figuras 4a-c.
En situaciones donde se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente del uno o más iluminadores, para que sea posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea y la dirección del ojo basándose en el método primario, se utilizará el método primario para determinar la dirección del ojo y/o la dirección de mirada.
En situaciones donde no es posible determinar la dirección del ojo y/o la dirección de mirada con la fiabilidad requerida basándose en el método primario, se utiliza un método secundario para determinar la dirección del ojo y/o la dirección de mirada. El método secundario hace uso de una posición estimada del centro del globo ocular y una posición estimada del centro de la pupila para determinar la dirección del ojo y/o la dirección de mirada.
La posición estimada del centro del globo ocular utilizada en el método secundario se determina en una situación donde se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente de los iluminadores, de tal forma que es posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea y la dirección del ojo utilizando el método primario.
Las situaciones donde se utiliza el método secundario son, por ejemplo, cuando un ángulo entre una dirección del ojo en relación con uno o más rayos de iluminación desde los iluminadores se vuelve grande, p. ej., cuando el ojo se dirige a puntos en el borde de una pantalla del sistema. En tales situaciones pueden surgir dificultades para identificar cualquier reflejo o al menos un número suficiente de reflejos en el ojo y, en particular, en la córnea del ojo, o que un reflejo identificado o los reflejos identificados no puedan asociarse a un iluminador correspondiente de los iluminadores. En una situación de este tipo, puede no ser posible determinar con la fiabilidad requerida una dirección del ojo y/o dirección de mirada del ojo basándose en el reflejo o reflejos identificados utilizando el método primario.
Situaciones donde se utiliza el método primario son donde se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente de los iluminadores, de tal forma que es posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea y la dirección del ojo utilizando el método primario.
La posición estimada del centro del globo ocular puede ser válida solo durante un período de tiempo y puede actualizarse, a continuación, en momentos/situaciones cuando se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente de los iluminadores, de tal forma que es posible determinar con la fiabilidad requerida la posición del centro de la esfera de la córnea y la dirección del ojo utilizando el método primario.
La Figura 5a muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con partes del método para determinar la dirección del ojo y la dirección de mirada donde la posición de un centro del globo ocular se estima basándose en el método primario para determinar la dirección del ojo y/o la dirección de mirada. Se muestran una posición p del centro de la pupila, una posición c del centro de la esfera de la córnea, una esfera s<c>de la córnea, una posición estimada e del centro del globo ocular, una distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea, una dirección g del ojo y una cámara 510 que comprende un sensor de imágenes.
En relación con la Figura 5a, se describe una situación, el ángulo entre la dirección g del ojo y uno o más rayos de iluminación desde iluminadores (no mostrados) es de tal forma que se identifican un número suficiente de reflejos en el ojo y los reflejos identificados pueden asociarse a un iluminador correspondiente de los iluminadores, para que sea posible determinar con la fiabilidad requerida la posición c del centro de la esfera de la córnea y la dirección g del ojo utilizando el método primario.
El método primario se utiliza para determinar la posición c de la esfera de la córnea basándose en los reflejos en el ojo como se identifican en una imagen capturada por la cámara 510. Además, la posición del centro de la pupila se determina basándose en una representación de la posición del centro de la pupila identificada en la imagen capturada por la cámara 510.
La distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea se obtiene como una aproximación utilizada generalmente para un ojo humano.
La dirección g del ojo se estima utilizando la posición c de esfera de la córnea determinada y la posición p del centro de la pupila. En otras palabras, la dirección g del ojo es la dirección desde la posición c del centro de la esfera de la córnea hasta la posición p del centro de la pupila.
La posición estimada e del centro del globo ocular puede encontrarse, a continuación, basándose en los resultados del método primario como el punto en el eje de la dirección del ojo la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea detrás del centro c de la esfera de la córnea.
Ya que la cámara 510 se dispone sobre o en el dispositivo ponible y se conoce la geometría de la configuración del dispositivo ponible, se conoce la posición estimada e del centro del globo ocular en relación con la cámara.
La Figura 5b muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con partes del método para determinar la dirección del ojo y la dirección de mirada, donde se determina la dirección del ojo y/o la dirección de mirada basándose en la posición estimada del centro del globo ocular utilizando el método secundario. Se muestran una posición estimada p' del centro de la pupila, una posición estimada c' del centro de la esfera de la córnea, una esfera s<e>del globo ocular, una posición estimada e del centro del globo ocular, un radio estimado r desde el centro del globo ocular hasta el centro de la pupila, una distancia estimada d desde el centro del globo ocular hasta el centro de la córnea, una distancia estimada d<p>desde el centro de la esfera de la córnea hasta el centro de la pupila, una dirección g' del ojo estimada, un rayo R<p>de imagen y una cámara 510 que comprende un sensor de imágenes.
En relación con la Figura 5b, se describe una situación, el ángulo entre la dirección g' del ojo y uno o más rayos de iluminación desde iluminadores (no mostrados) es de tal forma que no se identifican un número suficiente de reflejos en el ojo y/o los reflejos identificados no pueden asociarse a un iluminador correspondiente de los iluminadores, para que sea posible determinar con la fiabilidad requerida la posición c del centro de la esfera de la córnea y la dirección g del ojo utilizando el método primario.
La posición estimada e del centro del globo ocular en el ojo en relación con la cámara 510 se ha obtenido como se describe en relación con la Figura 5a.
La distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea y la distancia estimada d<p>desde el centro de la esfera de la córnea hasta el centro de la pupila se obtienen como aproximaciones utilizadas generalmente para un ojo humano.
La distancia estimada d<p>desde el centro de la esfera de la córnea hasta el centro de la pupila se selecciona primero como una aproximación de la distancia desde el centro de la esfera de la córnea hasta el centro de la pupila de un ojo humano. Cuando se recuperan datos adicionales con respecto a los ojos de un usuario actual, puede actualizarse la distancia estimada d<p>desde el centro de la esfera de la córnea hasta el centro de la pupila.
La esfera s<e>del globo ocular se define como una esfera con un centro en la posición estimada e del centro del globo ocular con un radio r que es la suma de la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea y la distancia estimada d<p>desde el centro de la esfera de la córnea hasta el centro de la pupila.
Se captura una imagen del ojo por medio de la cámara 510 y en la imagen se identifica una posición de una representación del centro de la pupila en el ojo.
Basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, el rayo R<p>de la pupila, que es una proyección en el espacio tridimensional, a lo largo del cual se coloca el centro de la pupila. La posición estimada p' del centro de la pupila se encuentra como una intersección entre la esfera s<e>del globo ocular y el rayo R<p>de la pupila.
Se determina una dirección estimada g' del ojo basándose en un vector desde la posición estimada e del centro del globo ocular hasta la posición estimada p' del centro de la pupila, y puede determinarse, a continuación, una dirección estimada de la mirada basándose en la dirección estimada g' del ojo.
Cabe señalar que, aunque el rayo R<p>de la pupila se representa como una línea recta en la Figura 5b, la configuración del dispositivo ponible en el que se implementa el método normalmente es de tal forma que se disponen una lente y un espejo caliente entre el ojo y la cámara 510. Por lo tanto, la proyección de las representaciones identificadas en una imagen capturada por la cámara, tal como la proyección de la representación identificada del centro de la pupila, en el espacio tridimensional necesita tomar la geometría conocida de la configuración y las propiedades ópticas conocidas para identificar la proyección. Tal proyección no sería, entonces, una línea recta.
Además, también debe observarse que el uso de la intersección entre el rayo R<p>de la pupila y la esfera s<e>del globo ocular es solo una aproximación. Para determinar con mayor precisión una posición estimada p' del centro de la pupila, un método iterativo que tiene en cuenta la refracción en la córnea del ojo desde la superficie de la córnea hasta el centro de la pupila.
Como alternativa a determinar una dirección estimada del ojo y dirección estimada de mirada, puede determinarse una posición estimada c' del centro de la esfera de la córnea utilizando la posición estimada p' determinada del centro de la pupila y la distancia estimada d<p>obtenida desde el centro de la esfera de la córnea hasta el centro de la pupila. La posición estimada c' del centro de la esfera de la córnea se determina moviendo la distancia estimada d<p>desde el centro de la esfera de la córnea hasta el centro de la pupila a partir de la posición estimada p' del centro de la pupila en la dirección hacia la posición estimada e del centro del globo ocular.
La posición estimada c' del centro de la esfera de la córnea puede utilizarse para predecir posiciones de reflejo en el ojo. La predicción se basa además en el conocimiento de la geometría de la configuración de los iluminadores y las cámaras.
LaFigura 6muestra una vista de porciones seleccionadas de la geometría de un ojo en relación con partes de un método para determinar una posición estimada c" mejorada del centro de la córnea. Se muestran una cámara 610 que comprende un sensor de imágenes, un iluminador 620, un rayo R<g>de reflejo, un vector r<g>desde la cámara que es la fuente del rayo R<g>de reflejo, una normal n<g>de la superficie de la córnea, un punto de reflexión P<refl>, un ángulo v entre la normal n<s>de la superficie de la córnea en el punto de reflexión P<refl>, un vector r<g>desde la cámara que es la fuente del rayo R<g>de reflejos, la posición estimada c" mejorada del centro de la esfera de la córnea, una esfera s<c>de la córnea, un radio estimado r<c>de la córnea desde el centro de la esfera de la córnea hasta una superficie de la esfera de la córnea, una posición estimada e del centro del globo ocular, una distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea y una esfera s<ed>de globo ocular a córnea.
En relación con la Figura 6, se describe una situación donde se identifica un reflejo en una imagen del ojo y el reflejo identificado puede asociarse a un iluminador correspondiente de los iluminadores.
Usualmente, una posición c del centro de la córnea se estima utilizando dos o más reflejos (reflexiones corneales) en la parte esférica de la superficie de la córnea. Si solo hay un reflejo que puede utilizarse, debido a la posición de la córnea en relación con la cámara y los iluminadores o debido a que se ocultan algunos iluminadores por la geometría facial del usuario, podemos hacer uso de una posición estimada e del centro del globo ocular, p. ej., determinada tal como se describe en relación con la Figura 5a, para determinar una posición estimada c" mejorada del centro de la córnea. La posición estimada c" mejorada del centro de la córnea será más precisa que la posición estimada c' del centro de la córnea como se describe en relación con la Figura 5b.
En los casos donde muchos de los reflejos utilizados para colocar la posición c del centro de la córnea están cerca del borde de la córnea, donde la suposición esférica es inapropiada, la posición estimada c" mejorada del centro de la córnea (estimada utilizando el reflejo más cercano a “ la parte superior” de la córnea esférica) también puede ser más precisa que la posición c del centro de la córnea determinada por un método, tal como el método primario descrito en relación con la Figura 5a.
La distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea es una aproximación utilizada generalmente para un ojo humano.
Para calcular la posición estimada c" mejorada del centro de la córnea, puede seguirse, por ejemplo, el proceso de a continuación:
1. Colocar una esfera s<ed>de globo ocular a córnea alrededor de la posición estimada e del centro del globo ocular con un radio de la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea, la posición c" mejorada del centro de la esfera de la córnea estará en la superficie de esta esfera s<ed>de globo ocular a córnea.
2. Proyectar la posición del reflejo identificado en la imagen al rayo R<g>de reflejo en el espacio tridimensional. La superficie de la esfera s<c>de la córnea intersecará este rayo R<g>de reflejo en el punto P<refl>de reflexión. La esfera s<c>de la córnea se centra alrededor del centro estimado c" mejorado de la esfera de la córnea con un radio igual al radio estimado r<c>de la córnea. El radio r<c>de la córnea utilizado es el mismo que se utiliza para el posicionamiento de la córnea en otras partes del método de seguimiento ocular.
3. El ángulo v entre la normal de la superficie de la córnea en el punto P<refl>de reflexión y el vector r<g>desde la cámara que es la fuente del rayo R<g>de reflejos y el punto P<refl>de reflexión es el mismo que el ángulo entre la normal n<s>de la superficie de la córnea en el punto P<refl>de reflexión y el vector entre el punto P<refl>de reflexión y el iluminador 620 que está emitiendo la luz que causó la reflexión.
4. Para un radio r<c>de esfera de la córnea, un iluminador 620 y un rayo R<g>de reflejo dados, un solucionador iterativo puede encontrar la distancia a lo largo de R<g>donde se minimiza la distancia desde el centro de la córnea resultante (dada la restricción de ángulo de reflexión en 3) hasta la superficie de s<ed>. Esa distancia proporciona el punto P<refl>de reflexión que a su vez proporciona la posición estimada c" mejorada del centro de la córnea, como se describe en la Figura 6.
LaFigura 7muestra un método según una realización. El método comprende obtener 710 un radio estimado r desde un centro del globo ocular hasta un centro de la pupila en un ojo. El método comprende además determinar 720 una posición estimada e del centro del globo ocular en el ojo en relación con un sensor de imágenes de cámara para capturar imágenes del ojo, obtener 730 una imagen del ojo capturada por medio del sensor de imágenes de cámara, e identificar 740 una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Se determina 750 una posición estimada p' del centro de la pupila basándose en la posición estimada e del centro del globo ocular, el radio estimado r y la posición identificada de la representación del centro de la pupila en la imagen obtenida.
LaFigura 8muestra un método según otra realización similar a la realización descrita en relación con la Figura 7. Se obtiene 810 una distancia estimada d<p>desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila, y se obtiene 815 una distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea. Un radio r estimado es igual a la suma de la distancia estimada d<p>desde el centro de la esfera de la córnea hasta el centro de la pupila y la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea.
Se determina 820 una posición c del centro de la esfera de la córnea basándose en una o más posiciones de reflejo en el ojo, se determina 825 una posición p de centro de la pupila, y se determina 830 una posición estimada e del centro del globo ocular en relación con un sensor de imágenes como la distancia estimada d desde el centro del globo ocular hasta el centro de la esfera de la córnea desde la posición c del centro de la esfera de la córnea en una dirección desde la posición p del centro de la pupila hasta la posición c del centro de la esfera de la córnea. Se obtiene 835 una imagen del ojo capturada por medio del sensor de imágenes, y se identifica 840 una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Además, se determina 845 una esfera s<e>del globo ocular que tiene un centro en la posición estimada e del centro del globo ocular y que tiene un radio del radio estimado r. Basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, se determina 850 un rayo R<p>de la pupila a lo largo del cual se coloca el centro de la pupila y se determina 855 la posición estimada p' del centro de la pupila como una intersección entre la esfera s<e>del globo ocular y el rayo R<p>de la pupila. Basándose en un vector desde la posición estimada e del centro del globo ocular hasta la posición estimada p' del centro de la pupila, se determina 860 una dirección estimada g' del ojo y, basándose en la dirección estimada g' del ojo, se determina 865 una dirección de mirada estimada.
La determinación 855 de la posición estimada p' del centro de la pupila puede comprender utilizar un método iterativo que tiene en cuenta la refracción en una córnea del ojo desde una superficie de la córnea hasta el centro de la pupila.
LaFigura 9muestra un método adicional según una realización. El método comprende obtener 910 un radio estimado r desde un centro del globo ocular hasta un centro de la pupila en un ojo. El método comprende además determinar 920 una posición estimada e del centro del globo ocular en el ojo en relación con un sensor de imágenes de cámara para capturar imágenes del ojo, obtener 930 una imagen del ojo capturada por medio del sensor de imágenes de cámara e identificar 940 una posición de una representación del centro de la pupila en el ojo en la imagen obtenida. Se determina 950 una posición estimada p' del centro de la pupila basándose en la posición estimada e del centro del globo ocular, el radio estimado r y la posición identificada de la representación del centro de la pupila en la imagen obtenida. Se obtiene 960 una primera distancia estimada d<p>desde un centro de esfera de la córnea en el ojo hasta el centro de la pupila, y se determina 970 una posición estimada c' del centro de la esfera de la córnea como la primera distancia estimada d<p>desde el centro de la esfera de la córnea hasta el centro de la pupila a partir de la posición estimada p' del centro de la pupila en la dirección hacia la posición estimada e del centro del globo ocular. A continuación, se predicen 980 las posiciones de uno o más reflejos en el ojo basándose en la posición estimada c' del centro de la esfera de la córnea.
LaFigura 10es un diagrama de bloques que ilustra un sistema 1000 informático especializado en donde pueden ponerse en práctica realizaciones de la presente invención. Este ejemplo ilustra un sistema 1000 informático especializado tal como el que puede utilizarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de los componentes descritos en el presente documento.
El sistema 1000 informático especializado se muestra comprendiendo elementos de hardware que pueden estar acoplados eléctricamente a través de un bus 1090. Los elementos de hardware pueden incluir una o más unidades 1010 centrales de procesamiento, uno o más dispositivos 1020 de entrada (p. ej., un ratón, un teclado, un dispositivo de seguimiento ocular, etc.) y uno o más dispositivos 1030 de salida (p. ej., un dispositivo de visualización, una impresora, etc.). El sistema 1000 informático especializado también puede incluir uno o más dispositivo 1040 de almacenamiento. A modo de ejemplo, el/los dispositivo(s) 1040 de almacenamiento puede(n) ser unidades de disco, dispositivos de almacenamiento óptico, dispositivo de almacenamiento de estado sólido tales como una memoria de acceso aleatorio (“ RAM” ) y/o una memoria de solo lectura (“ ROM” ), que pueden ser programables, actualizables por memoria flash y/o similares.
El sistema 1000 informático especializado puede incluir, de forma adicional, un lector 1050 de medios de almacenamiento legibles por ordenador, un sistema 1060 de comunicaciones [p. ej., un módem, una tarjeta de red (inalámbrica o por cable), un dispositivo de comunicación por infrarrojos, un dispositivo Bluetooth™, un dispositivo de comunicación por red de telefonía móvil, etc.] y una memoria 1080 de trabajo, que puede incluir dispositivos RAM y ROM, como se ha descrito anteriormente. En algunas realizaciones, el sistema 1000 informático especializado puede incluir también una unidad 1070 de aceleración del procesamiento, que puede incluir un procesador de señales digitales, un procesador especial y/o procesadores similares.
El lector 1050 de medios de almacenamiento legibles por ordenador puede conectarse además a un medio de almacenamiento legible por ordenador, representando juntos (y, opcionalmente, en combinación con un/unos dispositivo(s) 1040 de almacenamiento) de manera comprensible dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener de manera temporal y/o más permanente información legible por ordenador. El sistema 1060 de comunicaciones puede permitir que los datos se intercambien con una red, un sistema, un ordenador y/u otro componente descrito anteriormente.
El sistema 1000 informático especializado también puede comprender elementos de software, que se muestran situados actualmente dentro de una memoria 1080 de trabajo, que incluye un sistema operativo 1084 y/u otro código 1088. Debe apreciarse que las realizaciones alternativas del sistema 1000 informático especializado pueden admitir numerosas variaciones con respecto a las descritas anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.
El software del sistema 1000 informático especializado puede incluir un código 1088 para implementar cualquiera o la totalidad de las funciones de los diversos elementos de la arquitectura tal como se ha descrito en la presente memoria. Por ejemplo, un software, almacenado en y/o ejecutado por un sistema informático especializado, tal como el sistema 1000 informático especializado, puede proporcionar las funciones de los componentes de la invención, tales como las descritas anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han analizado anteriormente con mayor detalle.
La persona experta en la técnica es consciente de que la presente invención no se limita de ninguna manera a las realizaciones preferidas descritas anteriormente. Por el contrario, son posibles varias modificaciones y variaciones dentro del alcance de las reivindicaciones adjuntas. Por ejemplo, el experto en la técnica es consciente de que los métodos de seguimiento ocular/de mirada descritos en la presente memoria pueden realizarse mediante muchos otros sistemas de seguimiento ocular/de mirada distintos al sistema 100 de seguimiento ocular/de mirada mostrado en la Figura 100, por ejemplo, utilizando múltiples iluminadores y múltiples sensores de imágenes como se muestra, p. ej., en las Figuras 4a-c.
De forma adicional, las personas expertas en la técnica pueden entender y efectuar variaciones de las realizaciones descritas al poner en práctica la invención reivindicada, a partir de un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. En las reivindicaciones, la expresión “que comprende” no excluye otros elementos o etapas, y el artículo indefinido “ un” o “ una” no excluye una pluralidad. La división de tareas entre unidades funcionales referidas en la presente descripción no corresponde necesariamente a la división en unidades físicas; por el contrario, un componente físico puede tener múltiples funcionalidades, y una tarea puede llevarse a cabo de manera distribuida, por varios componentes físicos en cooperación. Se puede almacenar/distribuir un programa informático en un medio no transitorio adecuado, tal como un medio de almacenamiento óptico o un medio en estado sólido suministrado junto con o como parte de otrohardware,pero también puede distribuirse de otras formas, tales como a través de Internet u otros sistemas de telecomunicaciones alámbricos o inalámbricos. El mero hecho de que determinadas medidas/características se mencionen en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas/características no pueda utilizarse ventajosamente. No es necesario que las etapas del método se realicen en el orden en el que aparecen en las reivindicaciones o en las realizaciones descritas en la presente memoria, a menos que se describa explícitamente que se requiere un cierto orden. No deberá interpretarse que cualquier signo de referencia en las reivindicaciones está limitando el alcance.
Se describen un método, un sistema de seguimiento ocular que comprende un sistema de circuitos configurado para realizar el método, uno o más medios de almacenamiento legibles por ordenador que almacenan instrucciones ejecutables por ordenador que, cuando se ejecutan por un sistema informático que implementa el procesamiento de datos de los ojos/mirada, hacen que el sistema informático realice el método. Se obtiene un radio estimado (r) desde el centro de un globo ocular hasta el centro de una pupila en un ojo, y se determina una posición estimada del centro del globo ocular (e) en el ojo en relación con un sensor de imágenes para capturar imágenes del ojo, y se identifica una imagen del ojo capturada por medio del sensor de imágenes, y una posición de una representación del centro de la pupila en el ojo en el campo de imagen obtenido. Una posición estimada (p') del centro de la pupila es después determinada basándose en la posición estimada (e) del centro del globo ocular, el radio estimado (r) y la posición identificada de la representación del centro de la pupila en la imagen obtenida.

Claims (10)

  1. REIVINDICACIONES
    i.Un método para determinar la dirección del ojo y/o la dirección de mirada de un ojo, el método implementado en un dispositivo ponible en el que se disponen iluminadores y sensores de imágenes que no se mueven en relación con el ojo cuando un usuario se mueve, siendo el método ejecutado por un sistema informático, comprendiendo el método:
    usar un método principal para determinar la dirección del ojo y/o la dirección de mirada de un ojo basándose en la determinación del centro de una pupila y al menos un reflejo en el ojo a partir de al menos un iluminador, detectándose el centro de la pupila y al menos un reflejo por medio de un sensor de imágenes; y
    si se determina que no es posible determinar la dirección del ojo y/o la dirección de mirada con la confiabilidad requerida basándose en el método principal, usar un método secundario para determinar la dirección del ojo y/o la dirección de mirada del ojo basándose en una posición estimada (e) del centro del globo ocular y una posición estimada (p') del centro de la pupila, determinándose la posición estimada (p') del centro de la pupila basándose en la posición estimada (e) del centro del globo ocular, un radio estimado (r) y una posición identificada de una representación del centro de una pupila en una imagen obtenida por el sensor de imágenes.
  2. 2. El método de la reivindicación 1, en donde el método secundario se usa cuando no se puede identificar un número suficiente de reflejos en el ojo.
  3. 3. El método de la reivindicación 1, en donde el método secundario incluye:
    determinar una dirección estimada (g') del ojo basándose en un vector desde la posición estimada (e) del centro del globo ocular hasta la posición estimada (p') del centro de la pupila.
  4. 4. El método de la reivindicación 3, en donde el método secundario incluye:
    determinar una dirección de mirada estimada basándose en la dirección estimada (g') del ojo.
  5. 5. El método de la reivindicación 1, en donde en el método secundario para determinar la dirección del ojo y/o la dirección de mirada del ojo, el radio estimado (r) es igual a la suma de una primera distancia estimada (d<p>) desde un centro de la esfera de la córnea en el ojo hasta el centro de la pupila y una segunda distancia estimada (d) desde un centro del globo ocular hasta el centro de la esfera de la córnea.
  6. 6. El método de la reivindicación 1, en donde en el método secundario para determinar la dirección del ojo y/o la dirección de mirada del ojo, la determinación de la posición estimada del centro de la pupila incluye:
    determinar una esfera (s<e>) del globo ocular que tiene un centro en la posición estimada (e) del centro del globo ocular y que tiene un radio del radio estimado (r);
    determinar, basándose en la posición identificada de la representación del centro de la pupila en la imagen obtenida, un rayo (R<p>) de la pupila a lo largo del cual se coloca el centro de la pupila; y determinar la posición estimada (p') del centro de la pupila como una intersección entre la esfera (s<e>) del globo ocular y el rayo (R<p>) de la pupila.
  7. 7. El método de la reivindicación 6, en donde el método secundario incluye además:
    determinar la posición estimada (p') del centro de la pupila utilizando un método iterativo que tiene en cuenta la refracción en una córnea del ojo desde una superficie de la córnea hasta el centro de la pupila.
  8. 8. El método de la reivindicación 1, en donde el método secundario incluye además:
    determinar una posición (c) del centro de la esfera de la córnea basándose en una o más posiciones de reflejo en el ojo;
    determinar una posición (p) del centro de la pupila;
    obtener una distancia estimada (d) desde el centro del globo ocular hasta un centro de la esfera de la córnea; y
    determinar una posición estimada (e) del centro del globo ocular como una posición que tiene la distancia estimada (d) desde el centro del globo ocular hasta el centro de la esfera de la córnea a partir de la posición (c) del centro de la esfera de la córnea en una dirección desde la posición (p) del centro de la pupila hasta la posición (c) del centro de la esfera de la córnea.
  9. 9.Un aparato que comprende un sistema de circuitos configurado para realizar el método de una de las reivindicaciones 1-8.
  10. 10. El aparato de la reivindicación 9, en donde el aparato es un aparato ponible en el que se disponen iluminadores y sensores de imágenes que no se mueven en relación con el ojo cuando un usuario se mueve.
ES21210660T 2017-09-08 2018-09-07 Eye tracking using eyeball center position Active ES3023338T3 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201762556086P 2017-09-08 2017-09-08

Publications (1)

Publication Number Publication Date
ES3023338T3 true ES3023338T3 (en) 2025-05-30

Family

ID=63528551

Family Applications (2)

Application Number Title Priority Date Filing Date
ES18193093T Active ES2909057T3 (es) 2017-09-08 2018-09-07 Seguimiento ocular que utiliza la posición del centro del globo ocular
ES21210660T Active ES3023338T3 (en) 2017-09-08 2018-09-07 Eye tracking using eyeball center position

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES18193093T Active ES2909057T3 (es) 2017-09-08 2018-09-07 Seguimiento ocular que utiliza la posición del centro del globo ocular

Country Status (4)

Country Link
US (1) US11129530B2 (es)
EP (2) EP3453316B1 (es)
CN (2) CN109471523B (es)
ES (2) ES2909057T3 (es)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
JP7198023B2 (ja) * 2018-09-27 2022-12-28 株式会社アイシン 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム
CN109947253B (zh) * 2019-03-25 2020-06-19 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN111752383B (zh) * 2019-03-29 2024-09-27 托比股份公司 更新角膜模型
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
EP3973347B1 (en) * 2019-05-20 2025-03-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3987380B1 (en) 2019-06-18 2024-10-16 Pupil Labs GmbH Systems and methods for determining one or more parameters of a user's eye
SE543455C2 (en) * 2019-06-28 2021-02-23 Tobii Ab Method and system for 3d cornea position estimation
US12354295B2 (en) 2019-07-05 2025-07-08 Magic Leap, Inc. Eye tracking latency enhancements
CN110363133B (zh) * 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN112306229A (zh) * 2019-08-02 2021-02-02 佳能株式会社 电子装置、控制方法和计算机可读介质
CN114258279B (zh) * 2019-08-16 2026-04-21 苹果公司 使用经调制的同轴照明的瞳孔评估
SE543354C2 (en) * 2019-09-30 2020-12-15 Tobii Ab Methods and systems for a head-mounted device for updating an eye tracking model
EP3973346B1 (en) 2020-02-19 2024-12-25 Pupil Labs GmbH Eye tracking module and head-wearable device
CN114078278B (zh) * 2020-08-20 2025-03-21 Oppo广东移动通信有限公司 注视点定位方法与装置、电子设备和存储介质
CN112022641A (zh) * 2020-09-10 2020-12-04 深圳职业技术学院 一种辅助转眼运动的方法及系统
DE102021200773A1 (de) * 2021-01-28 2022-07-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Überprüfen von Vitalparametern
CN113192132B (zh) * 2021-03-18 2022-07-29 魔珐(上海)信息科技有限公司 眼神捕捉方法及装置、存储介质、终端
CN113729616B (zh) * 2021-09-01 2022-10-14 中国科学院上海微系统与信息技术研究所 一种瞳孔中心位置数据的确定方法、装置及存储介质
CN114360043B (zh) * 2022-03-18 2022-06-17 南昌虚拟现实研究院股份有限公司 模型参数标定方法、视线追踪方法、装置、介质及设备
CN116301307A (zh) * 2022-09-08 2023-06-23 歌尔科技有限公司 眼球追踪方法、装置、设备及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4692526B2 (ja) * 2006-07-18 2011-06-01 株式会社国際電気通信基礎技術研究所 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
JP2008136789A (ja) 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
NL2003372C2 (en) * 2009-08-20 2011-02-22 Univ Delft Tech Apparatus and method for automatically determining a strabismus angle.
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN105431078B (zh) * 2013-03-18 2018-11-02 视译公司 用于同轴眼睛凝视跟踪的系统和方法
CN104113680B (zh) * 2013-04-19 2019-06-28 北京三星通信技术研究有限公司 视线跟踪系统及方法
WO2014204904A1 (en) * 2013-06-17 2014-12-24 New York University Methods and kits for assessing neurological and ophthalmic function and localizing neurological lesions
WO2015034560A1 (en) 2013-09-03 2015-03-12 Tobii Technology Ab Portable eye tracking device
US9361519B2 (en) * 2014-03-28 2016-06-07 Intel Corporation Computational array camera with dynamic illumination for eye tracking
JP2016106668A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6693105B2 (ja) * 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
CN106168853B (zh) * 2016-06-23 2019-10-01 中国科学技术大学 一种自由空间头戴式视线跟踪系统
CN106774863B (zh) * 2016-12-03 2020-07-07 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法

Also Published As

Publication number Publication date
CN113729611B (zh) 2024-04-16
CN113729611A (zh) 2021-12-03
EP4011274A1 (en) 2022-06-15
CN109471523A (zh) 2019-03-15
EP3453316A1 (en) 2019-03-13
EP4011274B1 (en) 2025-03-12
US11129530B2 (en) 2021-09-28
CN109471523B (zh) 2021-09-28
US20190076015A1 (en) 2019-03-14
ES2909057T3 (es) 2022-05-05
EP3453316B1 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
ES3023338T3 (en) Eye tracking using eyeball center position
ES3041083T3 (en) Reliability of gaze tracking data for left and right eye
ES2887976T3 (es) Compensación del radio de la pupila
ES2957329T3 (es) Sistemas y métodos para el seguimiento ocular en aplicaciones de realidad virtual y de realidad aumentada
ES2932079T3 (es) Entrenamiento de redes neuronales para la predicción de mirada tridimensional (3D) con parámetros de calibración
ES2553441T3 (es) Detección de estrabismo
ES2922136T3 (es) Determinación de la apertura ocular con un dispositivo de seguimiento ocular
ES2327633T3 (es) Instalacion para ver y seguir un ojo y la direccion de la mirada del mismo.
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
ES2916408T3 (es) Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario
US20190138094A1 (en) Gaze tracking using non-circular lights
US11243607B2 (en) Method and system for glint/reflection identification
ES2939003T3 (es) Método y sistema para estimación de posición 3D de la córnea
ES3036037T3 (en) Methods and systems for a head-mounted device for updating an eye tracking model
JP5626039B2 (ja) 視線検出装置及び視線検出方法
US20200187774A1 (en) Method and system for controlling illuminators
US10288879B1 (en) Method and system for glint/reflection identification
ES2921299T3 (es) Método y sistema para la identificación de reflejos/reflexiones
ES2988871T3 (es) Sistema de seguimiento ocular
WO2019185136A1 (en) Method and system for controlling illuminators
ES3018945T3 (en) Training an eye tracking model
ES2981761T3 (es) Sistema de control de herramientas dentales