ES2989012T3 - Determinación de la apertura ocular con un dispositivo de seguimiento ocular - Google Patents

Determinación de la apertura ocular con un dispositivo de seguimiento ocular Download PDF

Info

Publication number
ES2989012T3
ES2989012T3 ES22154883T ES22154883T ES2989012T3 ES 2989012 T3 ES2989012 T3 ES 2989012T3 ES 22154883 T ES22154883 T ES 22154883T ES 22154883 T ES22154883 T ES 22154883T ES 2989012 T3 ES2989012 T3 ES 2989012T3
Authority
ES
Spain
Prior art keywords
eye
user
pupil
tracking device
processors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES22154883T
Other languages
English (en)
Inventor
Mark Ryan
Torbjörn Sundberg
Pravin Rana
Yimu Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2989012T3 publication Critical patent/ES2989012T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0083—Apparatus for testing the eyes; Instruments for examining the eyes provided with means for patient positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1103—Detecting muscular movement of the eye, e.g. eyelid movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Se describe un método para determinar la apertura de los ojos con un dispositivo de seguimiento ocular. El método puede incluir la determinación, para los píxeles de un sensor de imagen de un dispositivo de seguimiento ocular, durante un primer período de tiempo cuando un ojo de un usuario está abierto, de una primera suma de intensidad de los píxeles. El método también puede incluir la determinación, durante un segundo período de tiempo cuando el ojo del usuario está cerrado, de una segunda suma de intensidad de los píxeles. El método puede incluir además la determinación, durante un tercer período de tiempo, de una tercera suma de intensidad de los píxeles. El método puede incluir adicionalmente la determinación de que, cuando la tercera suma supera una cuarta suma de la primera suma más una cantidad umbral, el ojo del usuario está cerrado, la cantidad umbral es igual a un producto de una fracción umbral y una diferencia entre la primera suma y la segunda suma. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Determinación de la apertura ocular con un dispositivo de seguimiento ocular
Antecedentes de la técnica
El documento JP 2008246013 A describe un sensor de somnolencia capaz de detectar fácil y rápidamente la somnolencia de una persona objetivo para ser observada con gran robustez, especialmente útil cuando se aplica a un vehículo. El documento EP 1700 567 d una rutina de reconocimiento del cierre del ojo que detecta un ojo y rastrea una región limitada por una ventana de seguimiento del ojo generalmente centrada alrededor del ojo. En el documento EP 1700 567 el sistema tiene una cámara de imágenes de vídeo orientada para generar imágenes de un ojo. Un procesador de visión procesa las imágenes generadas con la cámara de imágenes de vídeo, donde el procesador de visión incluye un detector de bordes para detectar los bordes del ojo en la imagen y un selector de líneas para generar dos líneas representativas de los bordes detectados. El procesador de visión determina el estado de cierre de los ojos en función de la distancia entre las líneas.
Breve descripción de la invención
En un ejemplo, que no se encuentra dentro del alcance de la materia reivindicada, se proporciona un sistema para ajustar la posición de una lente en un dispositivo portátil. El sistema puede incluir un dispositivo portátil y uno o más procesadores. El dispositivo portátil puede incluir una pantalla, al menos una lente dispuesta de manera móvil frente a la pantalla y un dispositivo de seguimiento ocular que incluye al menos un iluminador y al menos un sensor de imagen. El uno o más procesadores pueden configurarse para recibir datos del dispositivo de seguimiento ocular y determinar, basándose al menos en los datos, una primera posición de al menos un ojo de un usuario que lleva el dispositivo portátil, en donde la posición es relativa a un segunda posición que está fija con respecto a la al menos una lente. El uno o más procesadores también pueden configurarse para determinar una distancia entre la primera posición y la segunda posición, y si la distancia es mayor que un primer valor, hacer que se presente información al usuario indicando que la una o más lentes deben moverse a una posición más óptima.
En otro ejemplo, que no se encuentra dentro del alcance de la materia reivindicada, se proporciona un método para ajustar la posición de una lente en un dispositivo portátil. El método puede incluir la recepción de datos desde un dispositivo de seguimiento ocular en un dispositivo portátil que incluye una pantalla y al menos una lente dispuesta de manera móvil frente a la pantalla. El método también puede incluir la recepción de datos desde el dispositivo de seguimiento ocular. El método puede incluir además determinar, basándose al menos en los datos, una primera posición de al menos un ojo de un usuario que lleva el dispositivo portátil, en donde la posición es relativa a un segunda posición que está fija con respecto a la al menos una lente. El método puede incluir de forma adicional determinar una distancia entre la primera posición y la segunda posición. Además, el método puede incluir, si la distancia es mayor que un primer valor o menor que un segundo valor, hacer que se presente información al usuario indicando que la una o más lentes deben moverse a una posición más óptima.
En otro ejemplo, que no se encuentra dentro del alcance de la materia reivindicada, se proporciona un medio legible por máquina no transitorio. El medio legible por máquina no transitorio puede tener instrucciones almacenadas en el mismo para ajustar una posición de una lente en un dispositivo portátil. Las instrucciones pueden ser ejecutables por uno o más procesadores para realizar un método. El método puede incluir la recepción de datos desde un dispositivo de seguimiento ocular en un dispositivo portátil que incluye una pantalla y al menos una lente dispuesta de manera móvil frente a la pantalla. El método también puede incluir la recepción de datos desde el dispositivo de seguimiento ocular. El método puede incluir además determinar, basándose al menos en los datos, una primera posición de al menos un ojo de un usuario que lleva el dispositivo portátil, en donde la posición es relativa a un segunda posición que está fija con respecto a la al menos una lente. El método puede incluir de forma adicional determinar una distancia entre la primera posición y la segunda posición. Además, el método puede incluir, si la distancia es mayor que un primer valor o menor que un segundo valor, hacer que al menos una lente se mueva hasta que la distancia sea menor que el primer valor y mayor que el segundo valor.
En otros ejemplos, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Los sistemas y métodos pueden incluir la determinación, para al menos una porción de píxeles de un sensor de imagen de un dispositivo de seguimiento ocular, durante un primer periodo de tiempo cuando un ojo de un usuario está abierto, una primera suma de intensidad de los píxeles. Los sistemas y métodos también pueden incluir determinar, para al menos una porción de píxeles del sensor de imagen del dispositivo de seguimiento ocular, durante un segundo período de tiempo cuando el ojo del usuario está cerrado, una segunda suma de intensidad de los píxeles. Los sistemas y métodos pueden incluir además determinar, para al menos una porción de píxeles del sensor de imagen del dispositivo de seguimiento ocular, durante un tercer período de tiempo, una tercera suma de intensidad de los píxeles. Los sistemas y métodos pueden incluir de forma adicional determinar, con un procesador, que en el caso de que la tercera suma exceda una cuarta suma de la primera suma más una cantidad umbral, el ojo del usuario se cierra, en donde la cantidad umbral es igual a un producto de una fracción umbral y una diferencia entre la primera suma y la segunda suma.
En otros ejemplos, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Los sistemas y métodos pueden incluir la activación de una pluralidad de iluminadores de un dispositivo de seguimiento ocular, en donde la pluralidad de iluminadores se dirige hacia un ojo de un usuario. Los sistemas y métodos también pueden incluir determinar, con un sensor de imagen de un dispositivo de seguimiento ocular, cuántos reflejos de iluminadores activados están presentes en el ojo del usuario. Los sistemas y métodos pueden incluir además determinar, con al menos un procesador, basándose en la presencia de menos de un primer número predefinido de reflejos, que el ojo del usuario está cerrado.
Según la invención reivindicada, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estas realizaciones pueden incluir recibir, en uno o más procesadores, una imagen de un ojo de un usuario desde un sensor de imagen de un dispositivo de seguimiento ocular. Las realizaciones también pueden incluir determinar, con el uno o más procesadores, basándose en la imagen del ojo, un radio de la pupila. Las realizaciones pueden incluir además determinar, con el uno o más procesadores, basándose en el radio de la pupila, un área total de la pupila. Las realizaciones pueden incluir de forma adicional determinar, con el uno o más procesadores, basándose en la imagen del ojo y el radio de la pupila, una cantidad del área total de la pupila que no está oculta por el párpado. Además, las realizaciones pueden incluir determinar, con el uno o más procesadores, basándose en la cantidad del área total de la pupila que no está oculta por el párpado y el área total de la pupila, si el ojo del usuario está cerrado.
Breve descripción de los dibujos
Junto con las figuras adjuntas se describen realizaciones de la presente invención y ejemplos de la presente descripción:
lafigura 1es un gráfico que muestra los datos usados en una determinación de la apertura ocular según una realización;
lafigura 1Amuestra una imagen del ojo de un usuario que tiene destellos indicativos de reflejos de iluminadores activos, en donde los destellos están espaciados de manera sustancialmente regular y circular alrededor de la pupila del usuario;
lafigura 2es un gráfico que muestra los datos usados en una determinación de la apertura ocular según una realización;
lasfiguras 3-7son imágenes en un ojo y diversos puntos de medición en el mismo que son relevantes para un método para determinar la apertura ocular según una realización;
lafigura 8muestra dos guías visuales que representan la posición de un sensor de imagen y el ojo del usuario con respecto al mismo, y que pueden presentarse en algunas realizaciones para ayudar a un usuario a posicionar un dispositivo de seguimiento ocular o un dispositivo portátil que incluye un dispositivo de seguimiento ocular;
lafigura 9muestra un dispositivo portátil de una realización de la invención capaz de detectar la posición de las lentes en el mismo, y al menos ayudar al usuario a ajustar las mismas;
lafigura 10muestra un diagrama de bloques de una realización del método de la invención para detectar y ajustar la posición de las lentes de un dispositivo portátil; y
lafigura 11es un diagrama de bloques de un sistema informático especializado capaz de usarse en al menos alguna porción de los aparatos o sistemas de la presente invención, o implementar al menos alguna porción de los métodos de la presente invención.
En las figuras adjuntas, los componentes y/o características similares pueden tener la misma etiqueta de referencia numérica. Además, varios componentes del mismo tipo pueden distinguirse siguiendo la etiqueta de referencia mediante una letra que lo distinga de componentes y/o características similares. Si únicamente se utiliza la primera etiqueta de referencia numérica en la especificación, la descripción es aplicable a uno cualquiera de los componentes y/o características similares que tengan la misma primera etiqueta de referencia numérica independientemente del sufijo de letra.
Descripción detallada de la invención
La descripción que sigue proporciona únicamente realizaciones ilustrativas, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. Más bien, la siguiente descripción de las realizaciones ilustrativas proporcionará a los expertos en la técnica una descripción habilitante para implementar una o más realizaciones ilustrativas. Debe entenderse que pueden realizarse diversos cambios en la función y disposición de los elementos sin apartarse del espíritu y alcance de la invención tal como se expone en las reivindicaciones adjuntas.
Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia de análisis de cualquier detalle con respecto a cualquier realización en la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en la presente memoria.
En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto en la técnica entenderá que las realizaciones pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama en bloque para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.
Además, cabe señalar que pueden describirse realizaciones individuales como un proceso que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama estructural o un diagrama de bloques. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.
La expresión “ medio legible por máquina” incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o transmitir una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.
Además, las realizaciones de la invención pueden implementarse, al menos en parte, ya sea manual o automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementan en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.
Generalmente, la presente invención se refiere a sistemas y métodos para el seguimiento ocular y el uso de los mismos, en particular, a sistemas y métodos para el seguimiento ocular en un dispositivo portátil. Los dispositivos portátiles han cobrado prominencia en los últimos años, dichos dispositivos contienen típicamente al menos una pantalla y se usan comúnmente en aplicaciones de Virtual Reality (realidad virtual - VR) o Augmented Reality (realidad aumentada - AR).
El seguimiento ocular es el proceso para determinar la dirección de la mirada de una persona. Típicamente, esto se hace usando un dispositivo de seguimiento ocular basado en un sensor de imagen, en donde un iluminador proyecta luz infrarroja en el ojo de un usuario, y el sensor de imagen captura una imagen que contiene un reflejo de la luz infrarroja del ojo. A partir de la ubicación del reflejo sobre el ojo, se puede determinar la dirección de la mirada del ojo. Los dispositivos de seguimiento ocular tienen diversas configuraciones de sensores de imagen, iluminadores y estructuras de procesamiento, como comprenderá fácilmente un experto en la técnica.
El empleo de la tecnología de seguimiento ocular en un dispositivo portátil puede tener determinadas ventajas. Por ejemplo, puede permitir una interacción más natural en un entorno de realidad virtual o aumentada.
En una realización, se proporciona un dispositivo portátil para llevarlo en la cabeza de un usuario. El dispositivo portátil puede incluir al menos una pantalla y un dispositivo de seguimiento ocular. El dispositivo de seguimiento ocular puede incluir, por ejemplo, al menos un sensor de imagen y al menos un iluminador infrarrojo, como se ha analizado anteriormente. El sensor de imagen puede ser cualquier sensor de imagen convencional de complimentary metaloxide semiconductor (semiconductor complementario de óxido metálico - CMOS) o charge-coupled device (dispositivo de carga acoplada - CCD) que contenga una pluralidad de píxeles, como entenderá fácilmente un experto en la técnica.
El dispositivo de seguimiento ocular puede disponerse dentro del dispositivo portátil para estar muy cerca del ojo de un usuario cuando el usuario lleva puesto el dispositivo portátil. Una unidad de procesamiento puede acoplarse operativamente con el uno o más sensores de imagen y el uno o más iluminadores, para procesar imágenes capturadas por el sensor de imagen para determinar la dirección de la mirada.
Como se ha analizado, en algunas realizaciones, el iluminador infrarrojo puede proyectar iluminación infrarroja hacia el ojo del usuario, y el sensor de imagen captura una imagen del área ocular del usuario. El sensor y/o el procesador pueden entonces sumar el valor o intensidad recibida de todos los píxeles de la imagen capturada (en donde los valores más altos/intensidad son característicos de los ojos cerrados), lo que da como resultado una suma total X. Esto se repite para cada imagen capturada por el sensor de imagen. Se muestra un ejemplo de tal monitorización repetida en el gráfico de lafigura 1, que muestra la suma de la intensidad (eje Y) frente al tiempo (eje X). Esto permite una determinación binaria de la apertura ocular, es decir, cerrado (0) o abierto (1), en los valores más altos y más bajos del eje Y, pero también permite una determinación más analógica de diversos estados de apertura entre cerrado y abierto, es decir, abierto un cuarto, medio abierto, abierto tres cuartos y todas las permutaciones intermedias. En el ejemplo de la figura 1, el valor de X varía con el tiempo, teniendo tres picos distintos. Estos picos representan aumentos en la suma de la intensidad de los píxeles del sensor de imagen que han cambiado desde un momento anterior (los valles de la figura 1), lo que tiene lugar cuando un usuario cierra el párpado (p. ej., parpadea). Estos picos se pueden determinar por la unidad de procesamiento y, por lo tanto, se puede confiar en ellos para proporcionar una indicación a otra aplicación de que el usuario está parpadeando.
Los datos Y en la figura 1 son un valor de referencia, que se puede ajustar según diversas realizaciones, y puede ser diferente para cada usuario individual. Un método para ajustar el valor de referencia Y es determinar un tipo de valor filtrado de paso bajo (por ejemplo, un valor de filtro de media móvil) para las imágenes de los ojos de un usuario en particular cuando están abiertos.
Los datos Z en la figura 1 son un umbral en el que se cree que el ojo sustancialmente cerrado, que se compara con el valor de X para determinar si el usuario está realizando un parpadeo. Si X supera el umbral Z, entonces se puede determinar que el ojo del usuario está realizando un movimiento de cierre hasta que el valor de X vuelve por debajo del umbral Z. En algunas realizaciones, el umbral Z también se puede ajustar basándose en los datos recopilados durante el funcionamiento de los métodos descritos en la presente memoria.
A continuación, en una realización, la suma de píxeles X puede analizarse usando las siguientes fórmulas para determinar si un usuario está parpadeando:
X = suma actual de píxeles;
Y = valor de referencia;
A = amplitud de parpadeo;
f = fracción de umbral de parpadeo (en algunas realizaciones, entre aproximadamente 1/8 y aproximadamente 1/2);
Si X >= Y f * A entonces C = 0; ;;Si X < Y f * A entonces C=1
y
en donde C = 0 es un ojo cerrado, C = 1 es un ojo abierto.
Para simplificar:
si X >= Z entonces el ojo está cerrado; y
si X < Z entonces el ojo está abierto.
A se actualiza con un filtro de media móvil del valor de X solo durante los tiempos en los que C = 0 (el ojo está cerrado). Y se actualiza con un filtro de media móvil del valor de X solo durante los tiempos en los que C = 1 (el ojo está abierto). Para ser más específicos, el valor de Y se actualizará basándose en la imagen capturada de al menos uno de los ojos del usuario que indica que el ojo está abierto. El valor de Y se establece en un valor predeterminado por defecto al comienzo de la inicialización del sistema o en otro momento. Y el valor de Y se establece para que se actualice basándose en cada marco de imagen capturado del ojo u ojos del usuario o se establece para que se actualice según una secuencia de tiempo predeterminada y basándose en la imagen capturada del ojo u ojos del usuario en un momento específico en el tiempo. Preferiblemente, el valor de Y se establece en un valor específico cuando se detecta un patrón de destello predeterminado, apropiado para el número de iluminadores que provocan destellos potenciales. El patrón de destellos predeterminado indica que el número de destellos alcanza un valor umbral predeterminado y la forma de los destellos es sustancialmente circular y las ubicaciones de los destellos están en una región predefinida (p. ej., los destellos están cerca de la pupila). La distancia entre los destellos adyacentes también puede ser sustancialmente idéntica. Y los destellos pueden estar alineados en dos lados de la pupila respectivamente en un patrón de tipo circular). Véase lafigura 1Apara obtener ejemplos de las características anteriores.
Lafigura 2muestra los resultados de estos cálculos sobre los datos de ejemplo de la figura 1, en donde el eje Y representa la apertura ocular (1 = abierto, 0 = cerrado) y el eje X representa el tiempo. Al normalizar el valor de referencia Y basándose en los valores de X durante las condiciones de ojo abierto (C = 1), las realizaciones de la presente memoria pueden tener en cuenta las perturbaciones en la monitorización, como el movimiento de la cabeza, durante la cual la suma de píxeles X varía debido a factores externos, tal como la luz ambiental, el movimiento en la posición del dispositivo portátil, etc.
En otra realización, en lugar de usar la suma de píxeles X para determinar si un ojo está abierto o cerrado, se pueden analizar características más particulares de los reflejos de la iluminación infrarroja. Por ejemplo, en un sistema en donde una pluralidad de iluminadores infrarrojos se dirige hacia el ojo de un usuario, tal como un sistema de seguimiento ocular, se puede analizar una imagen capturada del ojo para determinar si hay algún reflejo en el ojo de los iluminadores infrarrojos. Si es así, la cantidad, ubicación, etc. de los reflejos puede usarse para deducir que un ojo está abierto o cerrado.
Por ejemplo, considérese un caso en donde ocho iluminadores dispuestos en un círculo se dirigen hacia el ojo de un usuario. Si una imagen del ojo revela destellos provocados por los ocho iluminadores presentes, se puede decidir que el ojo del usuario está abierto. Si la imagen no revela destellos, se puede decidir que el ojo del usuario está cerrado. Si la imagen revela entre 1 y 7 destellos provocados por los iluminadores, se puede decidir que el ojo del usuario está en proceso de abrirse o cerrarse. Dependiendo de la realización, estas condiciones intermedias que se producen durante la apertura o el cierre pueden clasificarse como un estado abierto o cerrado para hacer que los datos sean binarios con fines analíticos
En algunas realizaciones, también se proporciona un método para determinar la apertura de un ojo que puede adaptarse a ojos de diferentes formas y tamaños, y personas cuyos ojos, cuando están abiertos, pueden no estar tan abiertos como los de otros usuarios. Estos métodos pueden basarse en el hecho de que durante un parpadeo, independientemente de las características normales de apertura ocular de la persona, la mayor parte de la pupila puede quedar oculta por el párpado. Por el contrario, cuando un usuario tiene los ojos entrecerrados de forma natural o está entrecerrando los ojos, a pesar de que la posición general de los párpados parece similar a un parpadeo en movimiento, la mayor parte de su pupila no ocultará.
Con respecto a estas realizaciones, puede ser relevante diversa información, como se describirá a continuación con referencia a lafigura 3:
psuperior = el punto en donde el párpado superior está más abierto;
pinferior = el punto en donde el párpado inferior está más abierto;
cpupila = el centro de la pupila; y
rpupila = el radio de la pupila.
Esta información puede recopilarse usando un sensor de imagen de un dispositivo de seguimiento ocular y se puede usar para estimar la distancia entre los párpados de un usuario. A su vez, para adaptarse a ojos que son naturalmente más entrecerrados, se puede seguir la apertura máxima a lo largo del tiempo, y se pueden emplear los métodos descritos en la presente memoria para determinar si el ojo está abierto o cerrado en relación con dicha apertura máxima.
La información anterior también puede usarse para determinar una estimación de la fracción visible de una pupila. Con referencia a lafigura 4, un método puede estimar cuánto es visible una pupila, aproximando el párpado con una línea horizontal:
á r e a Vis ihi e p i"y pupUa á r e a superior á r £ ü i nj-eri0 r3
el áreainferior se calcula de la misma manera a partir de pinferior.
Con referencia a lasfiguras 5-8, mediante el seguimiento de la fracción máxima del área visible de la pupilafvisibie,máxpara un usuario, la apertura ocular se puede calcular como:
apertura f visible lJ visible, máx>
y
/visible - á r e a visible/ ^r e a pupila
Como alternativa, en una determinación binaria de la apertura ocular, puede ser ventajoso determinar si el centro de la pupila está ubicado entredsuperiorydinferior.
Una vez que se determina la apertura, o el grado de apertura del ojo de un usuario, la información puede usarse por aplicaciones capaces de visualizarse en el dispositivo portátil u otras aplicaciones. Por ejemplo, en una aplicación que muestra un avatar (una representación informática de una persona), el ojo u ojos del avatar pueden actualizarse para reflejar la condición en la vida real del ojo u ojos del usuario. La aplicación puede ejecutarse en un dispositivo portátil local que contiene el dispositivo de seguimiento ocular o en un dispositivo portátil remoto en comunicación con el dispositivo portátil del usuario.
En otras realizaciones, puede iniciarse una acción específica por un procesador u otro dispositivo tras una determinación de que los ojos del usuario están abiertos, cerrados o en algún estado entre los dos. Por ejemplo, el dispositivo de seguimiento ocular puede encenderse a un estado de mayor potencia y/o más activo/preparado si se detecta que los ojos del usuario están abiertos. Si se detecta que los ojos del usuario están cerrados, el dispositivo de seguimiento ocular puede apagarse o pasar a un estado de potencia más baja y/o menos activo/preparado. Cualquier otro recurso, dispositivo de entrada, dispositivo de salida u otro dispositivo acoplado con el procesador que gestiona el dispositivo de seguimiento ocular (o dentro del dispositivo de seguimiento) también se puede operar de manera similar basándose en la determinación de la apertura ocular a través de cualquiera de los métodos descritos en la presente memoria.
Así, en algunas realizaciones, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estas realizaciones pueden incluir determinar, para al menos una porción de los píxeles de un sensor de imagen de un dispositivo de seguimiento ocular, durante un primer período de tiempo cuando el ojo de un usuario está abierto, una primera suma de intensidad de los píxeles. En algunas realizaciones, la primera suma puede ser una media móvil de la intensidad de los píxeles del sensor de imagen. Las realizaciones también pueden incluir la determinación, para la al menos porción de píxeles del sensor de imagen del dispositivo de seguimiento ocular, durante un segundo periodo de tiempo cuando el ojo del usuario está cerrado, una segunda suma de intensidad de los píxeles. Las realizaciones pueden incluir además la determinación, para la al menos porción de píxeles del sensor de imagen del dispositivo de seguimiento ocular, durante un tercer periodo de tiempo, de una tercera suma de intensidad de los píxeles. Las realizaciones pueden incluir de forma adicional determinar, con un procesador, que en el caso de que la tercera suma exceda una cuarta suma de la primera suma más una cantidad umbral, el ojo del usuario se cierra, en donde la cantidad umbral es igual a un producto de una fracción umbral y una diferencia entre la primera suma y la segunda suma. La fracción umbral puede estar entre aproximadamente 1/8 y aproximadamente 1/2.
En algunas realizaciones, los métodos y sistemas también pueden incluir activar un iluminador del dispositivo de seguimiento ocular durante cada uno del primer período de tiempo, el segundo período de tiempo y el tercer período de tiempo. Además, en diversas realizaciones, el primer período de tiempo puede ser dinámico y preceder al tercer período de tiempo.
En otras realizaciones, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estas realizaciones pueden incluir la activación de una pluralidad de iluminadores de un dispositivo de seguimiento ocular, en donde la pluralidad de iluminadores se dirige hacia un ojo de un usuario. Las realizaciones también pueden incluir determinar, con un sensor de imagen de un dispositivo de seguimiento ocular, cuántos reflejos de iluminadores activados están presentes en el ojo del usuario. Las realizaciones pueden incluir además determinar, con al menos un procesador, basándose en la presencia de menos de un primer número predefinido de reflejos, que el ojo del usuario está cerrado. En algunas realizaciones, el primer número predefinido puede ser uno. En diversas realizaciones, el primer número predefinido puede seleccionarse de un grupo que consiste en todos los números enteros entre cero y un número total de la pluralidad de iluminadores. En diversas realizaciones, los métodos y sistemas también pueden incluir determinar, con el al menos un procesador, basándose en que el número de reflejos sea mayor que cero, pero menor que el número total de la pluralidad de iluminadores, que el ojo del usuario está en un proceso de apertura o cierre.
En otras realizaciones, se proporcionan sistemas y métodos para determinar la apertura ocular con un dispositivo de seguimiento ocular. Estas realizaciones pueden incluir recibir, en uno o más procesadores, una imagen de un ojo de un usuario desde un sensor de imagen de un dispositivo de seguimiento ocular. Las realizaciones también pueden incluir determinar, con el uno o más procesadores, basándose en la imagen del ojo, un radio de la pupila. Las realizaciones pueden incluir además determinar, con el uno o más procesadores, basándose en el radio de la pupila, un área total de la pupila. Las realizaciones pueden incluir de forma adicional determinar, con el uno o más procesadores, basándose en la imagen del ojo y el radio de la pupila, una cantidad del área total de la pupila que no está oculta por el párpado. Además, las realizaciones pueden incluir determinar, con el uno o más procesadores, basándose en la cantidad del área total de la pupila que no está oculta por el párpado y el área total de la pupila, si el ojo del usuario está cerrado.
Por lo tanto, en algunas realizaciones, cuando el área total de la pupila que no está oculta es mayor que el resto de la pupila, el ojo del usuario está abierto. En estas u otras realizaciones, cuando el área total de la pupila que no está oculta es menor que el resto de la pupila, el ojo del usuario está cerrado.
En algunas realizaciones, los sistemas y métodos pueden incluir además determinar, con el uno o más procesadores, basándose en la imagen del ojo, que el centro de la pupila está oculto por cualquiera de los párpados, y determinar, con el uno o más procesadores, basándose en que el centro de la pupila está oculto por el párpado, que el ojo del usuario está cerrado. En estas u otras realizaciones, los sistemas y métodos pueden incluir además determinar, con el uno o más procesadores, basándose en la imagen del ojo, una apertura máxima a lo largo del tiempo entre cualquiera de los párpados y determinar, con el uno o más procesadores, si el ojo del usuario está cerrado basándose en la apertura máxima a lo largo del tiempo. Determinar si el ojo del usuario está cerrado basándose en la apertura máxima a lo largo del tiempo puede incluir determinar, basándose en la imagen del ojo, que la apertura del ojo es menor que una proporción predefinida de la apertura máxima a lo largo del tiempo.
En las anteriores u otras realizaciones, también puede proporcionarse un sistema y un método para instruir a un usuario para que coloque apropiadamente un dispositivo portátil sobre su cabeza, en donde dicho dispositivo portátil contiene un dispositivo de seguimiento ocular. El dispositivo portátil puede tener la forma de un auricular VR o Ar que tiene al menos una pantalla. El dispositivo portátil puede incluir un dispositivo de seguimiento ocular que tiene al menos un sensor de imagen y al menos un iluminador infrarrojo, en donde el sensor de imagen puede disponerse para poder capturar e imagen de al menos una porción del ojo de un portador, y el iluminador infrarrojo puede disponerse para proyectar iluminación infrarroja sobre el ojo de un portador.
Según dichas realizaciones, un procesador ejecuta una aplicación, lo que hace que los elementos se muestren en la pantalla del dispositivo portátil. Estos elementos pueden ser guías gráficas para un usuario que lleva puesto el dispositivo portátil, para ayudar al usuario a colocar el dispositivo portátil sobre la cabeza del usuario de manera que se permita el seguimiento ocular funcional por parte del dispositivo de seguimiento ocular.
Como se muestra en lafigura 8, estas guías gráficas pueden tener la forma de una primera guía gráfica 810 y una segunda guía gráfica 820. La primera guía gráfica 810 puede representar una aproximación de una lente incorporada en un sensor de imagen en el dispositivo de seguimiento ocular, y la segunda guía gráfica 820 puede representar una aproximación del ojo del usuario según se detecta por el dispositivo de seguimiento ocular.
En la práctica, cuando la segunda guía gráfica 820 se superpone a la primera guía gráfica 810, proporciona al usuario una representación visual de la ubicación de su ojo u ojos en relación con la lente de un sensor de imagen que forma imágenes de sus ojos.
Para que el seguimiento ocular funcione correctamente, es ventajoso que el ojo u ojos del usuario estén situados lo más cerca posible del centro de la lente. A medida que el usuario reposiciona o mueve el dispositivo portátil, la posición de su ojo u ojos con respecto a la lente cambiará y, por lo tanto, también cambiará la segunda guía gráfica 820 con respecto a la primera guía gráfica 810.
Cualquiera de las guías gráficas 810, 820 o ambas pueden cambiar de color para indicar la idoneidad de la posición actual del ojo u ojos del usuario para el seguimiento ocular. Por ejemplo, el color verde puede usarse para indicar una posición muy correlacionada, mientras que el color rojo puede indicar una posición inadecuadamente correlacionada. Pueden usarse otros colores, por ejemplo naranja, para indicar una posición adecuadamente correlacionada (es decir, no perfectamente correlacionada, pero suficiente para un seguimiento ocular útil).
En algunas realizaciones, también se puede colocar texto sobre la pantalla para instruir al usuario sobre cómo reposicionar el dispositivo portátil. O el texto puede adaptarse en respuesta a la posición determinada actualmente del ojo u ojos del usuario.
La posición del dispositivo portátil puede ajustarse moviendo toda la unidad, o las dos lentes pueden ajustarse una con respecto a la otra. Esto puede realizarse por medios mecánicos, tales como girar una perilla conectada a un engranaje para deslizar mecánicamente las dos lentes para acercarlas o alejarlas, o a través de medios electrónicos que controlan un motor o similar.
En algunas realizaciones, la posición de las lentes del dispositivo portátil en relación con los ojos del usuario puede determinarse a partir de procesos automatizados descritos a continuación y posteriormente optimizados por el usuario con asistencia/instrucción de los procesos automatizados. En algunas de estas realizaciones, los procesos automatizados también pueden incluso optimizar automáticamente la posición después de determinar la posición de la lente en relación con los ojos del usuario.
Un sistema de este tipo puede incluir un dispositivo portátil y uno o más procesadores. El sistema y/o el usuario pueden realizar diversos métodos y/o ejecutar diversos métodos almacenados en medios legibles por máquina. En algunas realizaciones, uno, más o todos los procesadores estarán dispuestos dentro del dispositivo portátil. En estas realizaciones, uno, más o todos los procesadores estarán dispuestos dentro del dispositivo de seguimiento ocular del dispositivo portátil. En algunas realizaciones, uno, más o todos los procesadores estarán dispuestos dentro de un dispositivo informático independiente pero acoplado de manera comunicativa (por ejemplo, un dispositivo móvil, una tableta, un ordenador portátil, un dispositivo informático de escritorio o un dispositivo informático remoto/en la nube).
El dispositivo portátil puede incluir una pantalla, al menos una lente dispuesta de manera móvil frente a la pantalla y un dispositivo de seguimiento ocular que incluye al menos un iluminador y al menos un sensor de imagen. La pantalla puede ser una pantalla LCD y/o LED típica de los auriculares VR, módulos de pantalla tales como pantallas de escaneo retinal y/o proyectores retinales, y las lentes pueden ser Fresnel y/u otras lentes destinadas a ayudar al dispositivo portátil a proporcionar un efecto inmersivo tritridimensional para el usuario que ve la pantalla. En algunas realizaciones, pueden combinarse múltiples lentes Fresnel u otras lentes en serie en una pila de lentes y emplearse en lugar de una sola lente. Aunque la distancia entre la pantalla y las lentes puede ser fija en muchas realizaciones, la distancia entre las lentes y los ojos del usuario puede ajustarse en el dispositivo portátil. La optimización de esta distancia puede mejorar la presentación de la pantalla al usuario de manera que se proporcione al usuario un efecto inmersivo tridimensional mejorado.
El dispositivo de seguimiento ocular puede ser uno conocido en la técnica capaz de determinar diversos datos relacionados con los ojos de un usuario, incluyendo datos indicativos de la dirección de la mirada, así como la ubicación del ojo, o alguna porción del mismo, en relación con los sensores de imagen del dispositivo de seguimiento ocular (o algún otro componente cuya posición es fija con respecto a los sensores de imagen).
El uno o más procesadores pueden configurarse para recibir datos del dispositivo de seguimiento ocular y determinar, basándose al menos en los datos, una primera posición de al menos un ojo de un usuario que lleva el dispositivo portátil, en donde la posición es relativa a un segunda posición que está fija con respecto a la al menos una lente. Como se ha descrito anteriormente, los datos del dispositivo de seguimiento ocular pueden evaluarse por los procesadores para determinar la primera posición de un ojo del usuario. Sin embargo, en otras realizaciones, el dispositivo de seguimiento ocular puede determinar la primera posición del ojo del usuario e informarla directamente al procesador.
En algunas realizaciones, los datos del dispositivo de seguimiento ocular pueden ser datos representativos de un único punto en el tiempo durante el cual el sensor de imagen del dispositivo de seguimiento ocular captura un único marco de imagen. En otras realizaciones, los datos del dispositivo de seguimiento ocular pueden ser datos representativos de múltiples marcos de imagen consecutivos, mientras que en otras realizaciones, pueden tomarse múltiples marcos de imagen a intervalos diferentes o constantes a lo largo del tiempo. En cualquiera de los escenarios anteriores, los datos pueden usarse para determinar la ubicación del ojo del usuario. Las realizaciones que usan múltiples imágenes para llegar a datos medios/promedio pueden ser ventajosos para garantizar que se tengan en cuenta las pequeñas fluctuaciones debidas a fluctuaciones/errores en las mediciones del dispositivo de seguimiento ocular, pequeños movimientos del dispositivo portátil en relación con el ojo del usuario durante un uso normal y/o etc.
La primera posición puede ser cualquier posición situada constantemente en un ojo de un usuario. Simplemente a modo de ejemplo, la primera posición puede representar la ubicación de una pupila de un ojo del usuario. En otro ejemplo, la primera posición puede representar una ubicación de una región esférica de la córnea de un ojo del usuario. También puede usarse cualquier otra ubicación característica consistente en el ojo de un usuario como la ubicación de la primera posición.
La primera y segunda posiciones pueden tener uno cualquiera o más de tres componentes axiales. Solo a modo de ejemplo, cualquier posición puede tener una posición en el eje X, una posición en el eje Y y una posición en el eje Z. En algunas realizaciones, los ejes X e Y pueden ser coplanares a la pantalla (y las lentes dispuestas frente a la pantalla), mientras que el eje Z puede ser perpendicular a los ejes X e Y (es decir, hacia y desde el usuario mientras ve la pantalla; también conocida como la dirección de descanso de la lente).
En cualquier caso, la primera posición del ojo del usuario puede determinarse con respecto a una segunda posición fija. La posición fija puede ubicarse en cualquier punto consistente en el espacio y puede ser, por ejemplo, la posición de cualquier componente analizado en la presente memoria, o cualquier posición fija en relación con dichos componentes. En algunas realizaciones, la segunda posición puede fijarse en algún lugar entre dos lentes del dispositivo portátil. En algunos auriculares de realidad aumentada u otros tipos de auriculares sin pantalla, se puede emplear una guía de luz o una guía de ondas para emitir pantallas de vídeo al usuario. En estas realizaciones, la segunda posición puede ser una posición fija en algún punto de una guía de luz o guía de ondas, o múltiples guías de luz o guías de ondas relativas (posiblemente intermedias) configuradas para emitir proyecciones de vídeo a uno o ambos ojos del usuario.
El uno o más procesadores también pueden configurarse para determinar una distancia entre la primera posición y la segunda posición. Debido a que la primera posición se determina en relación con la segunda posición, la distancia se puede determinar mediante el procesador y/o el dispositivo de seguimiento ocular. Como se ha indicado anteriormente, tanto la primera como la segunda posición pueden tener los ejes X, Y y Z y, por lo tanto, se puede determinar que la distancia entre las dos posiciones tenga vectores en cada una de estas direcciones.
Una vez que se determina la distancia, se compara con uno o más valores umbral. Los valores umbral pueden representar una distancia mínima para el posicionamiento óptimo de la lente con respecto a los ojos del usuario, una distancia máxima para el posicionamiento óptimo de la lente con respecto a los ojos del usuario, o ambas. En cualquier realización dada, todos o algunos de los vectores direccionales de la distancia descritos anteriormente (es decir, los ejes x, y y/o z) pueden compararse con todos o algunos de los vectores direccionales de un valor de umbral (es decir, los ejes x, y y/o z). Por lo tanto, solamente a modo de ejemplo, solo el vector del eje z de la distancia puede compararse con el vector del eje z de un valor o valores umbral para determinar si la lente está demasiado lejos o demasiado cerca del ojo del usuario. En otras realizaciones, también se tendrán en cuenta los ejes x y/o y.
De forma adicional, en algunas realizaciones se pueden emplear múltiples umbrales. Por ejemplo, un umbral de límite alto puede representar una distancia máxima para la cual los métodos de la presente memoria definen una posición óptima de la lente en relación con el ojo del usuario, mientras que un umbral de límite bajo puede representar una distancia mínima para la cual los métodos de la presente memoria definen una posición óptima de la lente en relación con el ojo del usuario.
En algunas realizaciones, los valores umbral pueden ser dinámicos y cambiar a lo largo del tiempo basándose en otras variables. Solamente a modo de ejemplo, los procesadores pueden ser informados de, o ser capaces de analizar, el contenido que se proporciona al usuario en la pantalla y determinar que un valor o valores umbral diferentes son óptimos durante ese tiempo (por ejemplo, posiblemente diferentes umbrales representativos de diferentes distancias de descanso necesarias para determinado contenido), las características visuales (es decir, el brillo, el contraste, el cambio del porcentaje de píxeles de la pantalla, etc.), la presencia de anteojos (es decir, gafas) y/u otros factores pueden provocar un cambio de los valores umbral.
Por ejemplo, si la distancia es mayor que un primer valor, los métodos de diversas realizaciones pueden hacer que se presente información al usuario indicando que la una o más lentes deben moverse a una posición más óptima. Esta información puede presentarse de forma audible, visual o táctil. En diversos ejemplos: El método puede hacer que se presente contenido en la pantalla que informa al usuario que las lentes están demasiado cerca o demasiado lejos del ojo del usuario. El contenido también puede informar al usuario sobre cómo hacer que la lente se reposicione manualmente a la luz del mismo. Por ejemplo, el dispositivo portátil del usuario puede tener un control para mover mecánica o electromecánicamente la lente como se describe. El contenido mostrado podrá instruir al usuario sobre la ubicación y particularidades de dicho control. En algunas realizaciones, se puede presentar información audible al usuario a través de un altavoz, etc. En algunas realizaciones, se puede presentar al usuario una retroalimentación táctil, tal vez mediante una operación intermitente/pulsada de un sistema de movimiento electromecánico automático que puede reposicionar la lente sin entrada manual del usuario.
Por lo tanto, en algunas realizaciones, puede proporcionarse un sistema de movimiento electromecánico para reposicionar automáticamente la lente con respecto a los ojos del usuario basándose en la determinación de la distancia realizada anteriormente (y posteriormente en comparación con los valores umbral). Este reposicionamiento automático puede producirse al finalizar la comparación de la distancia determinada con el uno o más umbrales. Al igual que con la determinación de la distancia y la comparación con los umbrales, este proceso puede repetirse automáticamente a lo largo del tiempo y/o bajo la dirección del usuario (mediante instrucciones del usuario a los procesadores, etc.). En algunas realizaciones, los sistemas de movimiento electromecánico automáticos también pueden estar presentes para acercar o alejar entre sí cada una de las dos lentes en el dispositivo portátil, potencialmente en la dirección del eje x (es decir, de izquierda a derecha con respecto al usuario). Dichos sistemas de movimiento automáticos pueden emplearse para implementar otras realizaciones de la invención, tales como los analizados anteriormente, para tener en cuenta los cambios necesarios en la distancia entre ojos o entre pupilas.
Lafigura 9muestra un dispositivo portátil 900 que tiene los componentes descritos anteriormente. El dispositivo portátil 900 incluye una pantalla 905 (algunas realizaciones pueden tener una pantalla separada para cada ojo), dos lentes 910 y un dispositivo 915 de seguimiento ocular. Cada porción del dispositivo 915 de seguimiento ocular puede tener al menos un iluminador 920 y al menos un sensor 925 de imagen. El procesador 930 puede recibir datos de, y emitir instrucciones a, los componentes del dispositivo 900 como se ha descrito anteriormente.
Un primer sistema 935 de movimiento electromecánico puede proporcionar un medio para que las lentes 910 se muevan una con respecto a la otra, mientras que un segundo sistema 940 de movimiento electromecánico puede proporcionar un medio para que las lentes 910 se muevan con respecto a los ojos del usuario (no se muestra, pero estaría presente en el lado izquierdo del dispositivo 900 durante el uso). En algunas realizaciones, ambos sistemas 935, 940 de movimiento solo pueden manipularse manualmente por el usuario (es decir, a través de una perilla, etc.). También se muestran los ejes 945 de orientación en las direcciones X, Y y Z, como se ha analizado anteriormente.
Lafigura 10es un diagrama de bloques de un método 1000 como se describe para ajustar la ubicación de lentes en un dispositivo portátil. En el bloque 1010 se determina o se identifica de otro modo una posición de referencia, quizás como predefinida. En el bloque 1020 se reciben datos del dispositivo de seguimiento ocular.
En el bloque 1030 se determina una posición del ojo a partir de los datos. En el bloque 1040 se determina la distancia desde la posición de referencia hasta la posición del ojo. En el bloque 1050, la distancia se compara con un valor umbral.
En el bloque 1060, si la distancia está dentro del valor umbral, entonces el método 1000 finaliza en el bloque 1080. Si la distancia no está dentro del valor umbral en el bloque 1060, entonces se proporciona orientación de movimiento al usuario en el bloque 1070, o los sistemas de movimiento se activan automáticamente en el bloque 1075 para llevar la distancia dentro del umbral. El método 1000 puede repetirse cada vez que se restablece el sistema, entre la ejecución de la aplicación en el dispositivo portátil, o en intervalos regulares o irregulares, para garantizar una distancia óptima de la lente.
Lafigura 11es un diagrama de bloques que ilustra un sistema 1100 informático especializado en donde pueden ponerse en práctica realizaciones de la presente invención. Este ejemplo ilustra un sistema informático especializado 1100 que puede usarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de pantalla 905, dispositivos 915 de seguimiento ocular, procesadores 930, sistemas 935, 940 de movimiento y/u otros componentes de la invención tales como los analizados anteriormente. Por ejemplo, diversas funciones de los procesadores 930 pueden controlarse por el sistema informático especializado 1100, incluyendo, simplemente a modo de ejemplo, determinar distancias desde las características del ojo hasta un punto de referencia, comparar distancias con umbrales predefinidos, etc.
El sistema 1100 informático especializado se muestra comprendiendo elementos de hardware que pueden estar acoplados eléctricamente a través de un bus 1190. Los elementos de hardware pueden incluir una o más unidades centrales de procesamiento 1110, uno o más dispositivos 1120 de entrada (p. ej., un ratón, un teclado, un panel táctil, un dispositivo de seguimiento ocular, etc.) y uno o más dispositivos 1130 de salida (p. ej., un dispositivo de visualización, una impresora, etc.). El sistema 1100 informático especializado también puede incluir uno o más dispositivo 1140 de almacenamiento. A modo de ejemplo, el/los dispositivo(s) 1140 de almacenamiento puede(n) ser unidades de disco, dispositivos de almacenamiento óptico, dispositivo de almacenamiento de estado sólido tales como una memoria de acceso aleatorio (“ RAM” ) y/o una memoria de solo lectura (“ ROM” ), que pueden ser programables, actualizables por memoria flash y/o similares.
El sistema 1100 informático especializado puede incluir, de forma adicional, un lector 1150 de medios de almacenamiento legibles por ordenador, un sistema 1160 de comunicaciones [p. ej., un módem, una tarjeta de red (inalámbrica o por cable), un dispositivo de comunicación por infrarrojos, un dispositivo Bluetooth™, un dispositivo de comunicación por red de telefonía móvil, etc.] y una memoria 1180 de trabajo, que puede incluir dispositivos RAM y ROM, como se ha descrito anteriormente. En algunas realizaciones, el sistema 1100 informático especializado puede incluir también una unidad 1170 de aceleración del procesamiento, que puede incluir un procesador de señales digitales, un procesador especial y/o procesadores similares.
El lector 1150 de medios de almacenamiento legibles por ordenador puede conectarse además a un medio de almacenamiento legible por ordenador, representando juntos (y, opcionalmente, en combinación con un/unos dispositivo(s) 1140 de almacenamiento) de manera comprensible dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener de manera temporal y/o más permanente información legible por ordenador. El sistema 1160 de comunicaciones puede permitir que los datos se intercambien con una red, un sistema, un ordenador y/u otro componente descrito anteriormente.
El sistema 1100 informático especializado también puede comprender elementos de software, que se muestran situados actualmente dentro de una memoria 1180 de trabajo, que incluye un sistema operativo 1184 y/u otro código 1188. Debe apreciarse que las realizaciones alternativas del sistema 1100 informático especializado pueden admitir numerosas variaciones con respecto a las descritas anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.
El software del sistema 1100 informático especializado puede incluir un código 1188 para implementar cualquiera o la totalidad de las funciones de los diversos elementos de la arquitectura tal como se ha descrito en la presente memoria. Por ejemplo, un software, almacenado en y/o ejecutado por un sistema informático especializado, tal como el sistema informático especializado 1100, puede proporcionar las funciones de la pantalla 905, los dispositivos 915 de seguimiento ocular, los sistemas 935, 940 de movimiento, los procesadores 930 y/u otros componentes de la invención tales como los analizados anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han analizado anteriormente con mayor detalle.
Ahora, la invención se ha descrito en detalle con fines de claridad y comprensión. Sin embargo, se apreciará que pueden hacerse determinados cambios y modificaciones dentro del ámbito de las reivindicaciones adjuntas.

Claims (12)

  1. REIVINDICACIONES
    i.Un método para determinar la apertura ocular con un dispositivo de seguimiento ocular, en donde el método comprende:
    recibir, en uno o más procesadores, una imagen de un ojo de un usuario desde un sensor de imagen de un dispositivo de seguimiento ocular;
    determinar, con el uno o más procesadores, basándose en la imagen del ojo, un radio de la pupila; determinar, con el uno o más procesadores, basándose en el radio de la pupila, un área total de la pupila;
    determinar, con el uno o más procesadores, basándose en la imagen del ojo y el radio de la pupila, una cantidad del área total de la pupila que no está oculta por el párpado; y
    determinar, con el uno o más procesadores, basándose en la cantidad del área total de la pupila que no está oculta por el párpado y el área total de la pupila, si el ojo del usuario está cerrado.
  2. 2. El método para determinar la apertura ocular con un dispositivo de seguimiento ocular de la reivindicación 1, en donde:
    cuando el área total de la pupila que no está oculta es mayor que el resto de la pupila, el ojo del usuario está abierto.
  3. 3. El método para determinar la apertura ocular con un dispositivo de seguimiento ocular de la reivindicación 1, en donde:
    cuando el área total de la pupila que no está oculta es menor que el resto de la pupila, el ojo del usuario está cerrado.
  4. 4. El método para determinar la apertura ocular con un dispositivo de seguimiento ocular de la reivindicación 1, en donde el método comprende, además:
    determinar, con el uno o más procesadores, basándose en la imagen del ojo, que un centro de la pupila está oscurecido por cualquiera de los párpados; y
    determinar, con el uno o más procesadores, basándose en que el centro de la pupila está oscurecido por cualquiera de los párpados, que el ojo del usuario está cerrado.
  5. 5. El método para determinar la apertura ocular con un dispositivo de seguimiento ocular de la reivindicación 1, en donde el método comprende, además:
    determinar, con el uno o más procesadores, basándose en la imagen del ojo, una apertura máxima en el tiempo entre cualquiera de los párpados; y
    determinar, con el uno o más procesadores, si el ojo del usuario está cerrado en función de la apertura máxima a lo largo del tiempo.
  6. 6. El método para determinar la apertura ocular con un dispositivo de seguimiento ocular de la reivindicación 5, en donde determinar si el ojo del usuario está cerrado basándose en la apertura máxima a lo largo del tiempo comprende:
    determinar, basándose en la imagen del ojo, que una apertura del ojo es menor que una proporción predefinida de la apertura máxima en el tiempo.
  7. 7. Un dispositivo de seguimiento ocular que comprende un sensor de imagen dirigido hacia un ojo de un usuario, en donde el dispositivo de seguimiento ocular está configurado para:
    recibir, en uno o más procesadores, una imagen del ojo del usuario desde el sensor de imagen del dispositivo de seguimiento ocular;
    determinar, con el uno o más procesadores, basándose en la imagen del ojo, un radio de la pupila; determinar, con el uno o más procesadores, basándose en el radio de la pupila, un área total de la pupila;
    determinar, con el uno o más procesadores, basándose en la imagen del ojo y el radio de la pupila, una cantidad del área total de la pupila que no está oculta por el párpado; y
    determinar, con el uno o más procesadores, basándose en la cantidad del área total de la pupila que no está oculta por el párpado y el área total de la pupila, si el ojo del usuario está cerrado.
  8. 8. El dispositivo de seguimiento ocular de la reivindicación 7, configurado además para:
    determinar, cuando el área total de la pupila que no está oculta es mayor que el resto de la pupila, que el ojo del usuario está abierto.
  9. 9.El dispositivo de seguimiento ocular de la reivindicación 7, configurado además para:
    determinar, cuando el área total de la pupila que no está oculta es menor que el resto de la pupila, que el ojo del usuario está cerrado.
  10. 10. El dispositivo de seguimiento ocular de la reivindicación 7, configurado además para:
    determinar, con el uno o más procesadores, basándose en la imagen del ojo, que un centro de la pupila está oscurecido por cualquiera de los párpados; y
    determinar, con el uno o más procesadores, basándose en que el centro de la pupila está oscurecido por cualquiera de los párpados, que el ojo del usuario está cerrado.
  11. 11. El dispositivo de seguimiento ocular de la reivindicación 7, configurado además para:
    determinar, con el uno o más procesadores, basándose en la imagen del ojo, una apertura máxima en el tiempo entre cualquiera de los párpados; y
    determinar, con el uno o más procesadores, si el ojo del usuario está cerrado en función de la apertura máxima a lo largo del tiempo.
  12. 12. El dispositivo de seguimiento ocular de la reivindicación 11, en donde el dispositivo de seguimiento ocular está configurado para determinar si el ojo del usuario está cerrado basándose en la apertura máxima a lo largo del tiempo mediante:
    determinar, basándose en la imagen del ojo, que una apertura del ojo es menor que una proporción predefinida de la apertura máxima en el tiempo.
ES22154883T 2017-02-27 2018-02-09 Determinación de la apertura ocular con un dispositivo de seguimiento ocular Active ES2989012T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201762464235P 2017-02-27 2017-02-27

Publications (1)

Publication Number Publication Date
ES2989012T3 true ES2989012T3 (es) 2024-11-25

Family

ID=61283321

Family Applications (2)

Application Number Title Priority Date Filing Date
ES22154883T Active ES2989012T3 (es) 2017-02-27 2018-02-09 Determinación de la apertura ocular con un dispositivo de seguimiento ocular
ES18707481T Active ES2922136T3 (es) 2017-02-27 2018-02-09 Determinación de la apertura ocular con un dispositivo de seguimiento ocular

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES18707481T Active ES2922136T3 (es) 2017-02-27 2018-02-09 Determinación de la apertura ocular con un dispositivo de seguimiento ocular

Country Status (5)

Country Link
US (3) US10394019B2 (es)
EP (3) EP3641624B1 (es)
CN (2) CN116687336A (es)
ES (2) ES2989012T3 (es)
WO (1) WO2018156366A1 (es)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156366A1 (en) 2017-02-27 2018-08-30 Tobii Ab Determining eye openness with an eye tracking device
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
WO2019173106A1 (en) * 2018-03-09 2019-09-12 Children’S Hospital & Research Center At Oakland Method of detecting and/or predicting seizures
WO2020018938A1 (en) * 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
EP3693061A1 (en) * 2019-02-05 2020-08-12 Gensight Biologics Method for controlling an optogenetic device using filtering and associated devices
US11402901B2 (en) * 2019-03-22 2022-08-02 Hewlett-Packard Development Company, L.P. Detecting eye measurements
EP3973347B1 (en) 2019-05-20 2025-03-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
WO2021247435A1 (en) 2020-06-05 2021-12-09 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置
KR102817675B1 (ko) 2020-07-15 2025-06-09 매직 립, 인코포레이티드 비구면 각막 모델을 사용한 눈 추적
CN112401887B (zh) * 2020-11-10 2023-12-12 恒大新能源汽车投资控股集团有限公司 一种驾驶员注意力监测方法、装置及电子设备
AU2021397628A1 (en) 2020-12-09 2023-07-20 Eysz, Inc. Systems and methods for monitoring and managing neurological diseases and conditions
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
ES2988871T3 (es) 2021-06-30 2024-11-22 Tobii Ab Sistema de seguimiento ocular
CN115670368A (zh) * 2021-07-23 2023-02-03 京东方科技集团股份有限公司 一种成像调整装置及方法、可穿戴设备、存储介质
SE2250299A1 (en) * 2022-03-04 2023-09-05 Tobii Ab Eye openness
US12204689B2 (en) 2022-09-27 2025-01-21 Tobii Dynavox Ab Method, system, and computer program product for drawing and fine-tuned motor controls
TWI873948B (zh) * 2023-10-31 2025-02-21 緯創資通股份有限公司 人眼開闔偵測裝置及其人眼開闔偵測方法
JP2025088543A (ja) * 2023-11-30 2025-06-11 株式会社Ｑｄレーザ 画像投影装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US6702809B1 (en) * 1989-02-06 2004-03-09 Visx, Inc. System for detecting, measuring and compensating for lateral movements of a target
JP3563459B2 (ja) * 1994-10-31 2004-09-08 大正製薬株式会社 瞬き検出システム
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6299307B1 (en) 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
AUPP048097A0 (en) * 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
US6087941A (en) * 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
JP3768735B2 (ja) * 1999-07-07 2006-04-19 三菱電機株式会社 顔画像処理装置
US6322216B1 (en) 1999-10-07 2001-11-27 Visx, Inc Two camera off-axis eye tracker for laser eye surgery
JP3769442B2 (ja) 2000-02-15 2006-04-26 ナイルス株式会社 眼の状態検出装置
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP2004329879A (ja) * 2003-02-07 2004-11-25 Nippon Syst Design Kk 眼球検査装置及び眼球検査方法
US7347551B2 (en) * 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US8064647B2 (en) * 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
EP1691670B1 (en) 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
CA2561287C (en) * 2004-04-01 2017-07-11 William C. Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7253739B2 (en) 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
JP2007011666A (ja) * 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 認証装置および認証方法
JP4899059B2 (ja) * 2007-03-30 2012-03-21 国立大学法人静岡大学 眠気検知装置
US8189879B2 (en) 2008-02-14 2012-05-29 Iristrac, Llc System and method for animal identification using IRIS images
US8644565B2 (en) * 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
EP2237237B1 (en) 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
US8594374B1 (en) * 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
US8824779B1 (en) 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9025830B2 (en) 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
US8437513B1 (en) 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
CN103049740B (zh) * 2012-12-13 2016-08-03 杜鹢 基于视频图像的疲劳状态检测方法及装置
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US10620457B2 (en) * 2013-12-17 2020-04-14 Intel Corporation Controlling vision correction using eye tracking and depth detection
US9361519B2 (en) * 2014-03-28 2016-06-07 Intel Corporation Computational array camera with dynamic illumination for eye tracking
CN105224285A (zh) * 2014-05-27 2016-01-06 北京三星通信技术研究有限公司 眼睛开闭状态检测装置和方法
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
US20160140390A1 (en) 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US10401625B2 (en) * 2015-12-28 2019-09-03 Facebook Technologies, Llc Determining interpupillary distance and eye relief of a user wearing a head-mounted display
CN106128032A (zh) * 2016-07-05 2016-11-16 北京理工大学珠海学院 一种疲劳状态监测及预警方法及其系统
WO2018156366A1 (en) 2017-02-27 2018-08-30 Tobii Ab Determining eye openness with an eye tracking device

Also Published As

Publication number Publication date
WO2018156366A1 (en) 2018-08-30
CN110352033A (zh) 2019-10-18
CN116687336A (zh) 2023-09-05
EP4014835A1 (en) 2022-06-22
EP4016489A1 (en) 2022-06-22
US20200026068A1 (en) 2020-01-23
EP3641624B1 (en) 2022-06-01
US10642028B2 (en) 2020-05-05
US10394019B2 (en) 2019-08-27
EP3641624A1 (en) 2020-04-29
EP4014835B1 (en) 2024-07-24
ES2922136T3 (es) 2022-09-08
US20180247119A1 (en) 2018-08-30
US10852531B2 (en) 2020-12-01
CN110352033B (zh) 2023-04-28
US20180246320A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
ES2989012T3 (es) Determinación de la apertura ocular con un dispositivo de seguimiento ocular
US11073908B2 (en) Eye-tracking enabled wearable devices
ES3023338T3 (en) Eye tracking using eyeball center position
ES2957329T3 (es) Sistemas y métodos para el seguimiento ocular en aplicaciones de realidad virtual y de realidad aumentada
CN109803574B (zh) 具有显示器、透镜、照明器和图像传感器的可穿戴设备
US20170316264A1 (en) Eye-tracking enabled wearable devices