ES2661287T3 - Aparato y procedimiento para rastreo ocular/de mirada robusto - Google Patents

Aparato y procedimiento para rastreo ocular/de mirada robusto Download PDF

Info

Publication number
ES2661287T3
ES2661287T3 ES15155370.8T ES15155370T ES2661287T3 ES 2661287 T3 ES2661287 T3 ES 2661287T3 ES 15155370 T ES15155370 T ES 15155370T ES 2661287 T3 ES2661287 T3 ES 2661287T3
Authority
ES
Spain
Prior art keywords
image
resolution
eye
image frame
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15155370.8T
Other languages
English (en)
Inventor
Mattias KULDKEPP
Mårten SKOGÖ
Mattias Hanqvist
Martin Brogren
Dineshkumar Muthusamy
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2661287T3 publication Critical patent/ES2661287T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Un aparato de rastreo ocular/de mirada, que comprende: al menos una unidad de registro de imagen (110, 111, 112, 11n) configurada para grabar al menos una serie de imágenes (DIMG, DIMG1, DIMG2, DIMGn) que representa un sujeto, una unidad de control (120) configurada para controlar una secuencia de operaciones para al menos una unidad de registro de imagen (110, 111, 112, 11n), y una unidad de procesamiento de datos (130) configurada para recibir al menos una serie de imágenes (DIMG, DIMG1, DIMG2, DIMGn) procedente de al menos una unidad de registro de imagen (110, 111, 112, 11n), y basándose en ello, producir datos de rastreo ocular/de mirada (DE/G)) con respecto al sujeto, caracterizado porque la unidad de control (120) está configurada para controlar la secuencia de operaciones para al menos una unidad de registro de imagen (110, 111, 112, 11n) de modo que al menos una serie de imágenes (DIMG, DIMG1, DIMG2, DIMGn) recibida por la unidad de procesamiento de datos (130) representa una secuencia repetitiva de tramas de imagen, donde cada periodo (P) de la secuencia repetitiva de tramas de imagen (DIMG, DIMG1, DIMG2, DIMGn) contiene al menos una trama de imagen de una primera resolución (501) y al menos una trama de imagen de una segunda resolución (602) que es diferente de la primera resolución (501), refiriéndose el término "resolución" al tamaño del campo visual representado por imágenes por píxel, donde una imagen de resolución relativamente alta tiene más píxeles por grado de campo visual que una imagen de resolución relativamente baja.

Description

Aparato y procedimiento para rastreo ocular/de mirada robusto
ANTECEDENTES DE LA INVENCIÓN Y TÉCNICA ANTERIOR 5 La presente invención se refiere en general a soluciones para producir datos de rastreo ocular y/o de mirada con respecto a un sujeto, por ejemplo, una persona delante de una pantalla de ordenador. Más en particular, la invención se refiere a un aparato de rastreo ocular/de mirada de acuerdo con el preámbulo de la reivindicación 1 y un procedimiento de acuerdo con el preámbulo de la reivindicación 15. La invención también se refiere a un producto de 10 programa informático de acuerdo con el preámbulo de la reivindicación 29 y un medio legible por ordenador de acuerdo con la reivindicación 30.
Durante muchos años se han conocido soluciones para seguir automáticamente los ojos de una persona. Se entiende como rastreo ocular como el proceso de medir el movimiento de un ojo en relación con la cabeza, mientras 15 que el rastreo de mirada es el proceso de determinar el punto de mirada (es decir, donde está mirando un sujeto). En consecuencia, un rastreador ocular/de mirada es un dispositivo para medir posiciones de los ojos y/o movimientos de los ojos. Los rastreadores oculares/de mirada se usan en la investigación sobre el sistema visual, en psicología, en lingüística cognitiva y para controlar diversos sistemas informáticos. Un rastreador ocular/de mirada también puede emplearse en vehículos para determinar la somnolencia del conductor o para permitir la interacción 20 con dispositivos de visualización interiores. Existe cierto número de procedimientos diferentes para medir el movimiento ocular. Sin embargo, las variantes más populares usan imágenes de vídeo a partir de las cuales se extrae la posición del ojo.
A menudo constituye un reto encontrar los ojos del sujeto en los datos de vídeo, y después mantener el rastreo de 25 los mismos. Normalmente, un conjunto inicial de datos de imagen representa una vista más grande de una escena, y luego, después de haber identificado candidatos oculares, sólo se da lectura a la región en el sensor de formación de imágenes que corresponde a donde está situados los ojos. Concretamente, esto disminuye la necesidad de anchura de banda media, así como aumenta la frecuencia de lectura del sensor de imagen. Por lo tanto, pueden reducirse los efectos de cualquier fuente de luz no controlada debido a tiempos de lectura más cortos. Esta 30 estrategia se denomina en general como reencuadre de imagen, creación de ventanas o aplicación de una ROI (región de interés) o un AOI (área de interés). Cuando se hace eso, el tamaño de imagen se empequeñece, sin embargo, típicamente, en cada imagen, se usa la resolución más alta posible que el sensor puede proporcionar.
Un procedimiento generalmente eficiente para encontrar y rastrear un objeto (tal como una cara o rasgos 35 particulares en la misma) es usar técnicas de reconocimiento basadas en imagen que están basadas en algoritmos distintos de los que son los más eficientes para rastreo de mirada. Concretamente, los objetos que son identificados y posteriormente procesados difieren significativamente en tamaño y forma. Por lo tanto, para reconocimiento de rasgos resulta beneficioso usar el campo visual completo de la cámara. Además, en el rastreo ocular, cuando se usan sólo imágenes de ROI existe el riesgo de que el rastreador ocular "se bloquee" en un candidato a ojo que, de 40 hecho, no es un ojo. Por consiguiente, puede resultar útil conmutar de un campo visual ancho a una ROI (después de haber encontrado los ojos de un sujeto), y después volver a conmutar a un campo visual ancho, en caso de que uno o más ojos caigan fuera de la ROI. Esto también resulta beneficioso en situaciones en las que múltiples sujetos están ubicados delante del rastreador ocular.
45 El documento WO2008/107713 describe un procedimiento y aparato para procesamiento de imagen para aplicaciones de reconocimiento de objetos. Aquí, en primer lugar, se adquiere una imagen a resolución relativamente baja de un campo visual relativamente ancho. Se aplica un algoritmo de reconocimiento de patrones a la primera imagen para identificar objetos de interés. Después de haber determinado al menos un objeto de interés y sus coordenadas dentro de la imagen, se controla o bien el mismo dispositivo de captura de imagen o bien un 50 dispositivo de captura de imagen adicional para obtener una secuencia de segundas imágenes de resolución relativamente alta de un campo visual relativamente estrecho que contienen el al menos un objeto de interés.
El documento US 2009/0219387 describe un sistema de videovigilancia automático, donde, inicialmente, una videocámara registra una serie de imágenes de baja resolución. Estos datos de vídeo son analizados, y basándose 55 en los mismos, se determina al menos una región de interés en una escena adquirida por la videocámara. Al menos una región de interés es rastreada a un nivel de resolución que es más alto que el de la serie inicial de imágenes. El nivel de resolución más alto se selecciona dinámicamente de modo que los detalles importantes dentro de una escena reciben un escrutinio apropiado mientras que de las áreas sin interés se forman imágenes a una resolución más baja. Preferentemente, los datos de vídeo subsiguientes son registrados en paralelo con diferentes niveles de 60 exposición para proporcionar una mayor gama dinámica, y de ese modo calidad de imagen mejorada. Los documentos US 6714665 B1yEP 2696259 A1muestran una técnica anterior relacionada adicional.
PROBLEMAS ASOCIADOS CON LA TÉCNICA ANTERIOR 5 Por consiguiente, existen ejemplos de soluciones de la técnica anterior donde los datos de imagen son registrados inicialmente a resolución comparativamente baja, y posteriormente, las áreas particularmente interesantes son rastreadas a resolución más alta y/o calidad de imagen mejorada. En el contexto de esta invención, el objetivo del término "resolución de una imagen", "resolución" u otros términos por el estilo es referirse al tamaño del campo visual representado por imágenes por píxel. Más específicamente, la resolución es el tamaño del campo visual 10 representado por imágenes dividido por el número de píxeles, es decir, el campo visual horizontal de la imagen dividido por la anchura de imagen en píxeles, o el campo visual vertical que es representado por imágenes dividido por la altura de imagen en píxeles. Así, una imagen de resolución relativamente alta tiene muchos píxeles por grado de campo visual, mientras que una imagen de resolución relativamente baja tiene menos píxeles por grado de campo visual. 15
No obstante, con el fin de lograr un sistema de rastreo ocular/de mirada robusto es importante verificar repetidamente que los "ojos" que son rastreados corresponden efectivamente a los elementos de imagen que son los mejores candidatos a ojo en todo el campo visual de la cámara.
20 Para rastreo de mirada es bien sabido que (dado el ángulo de la mirada, la posición del ojo y el radio de la córnea) la posición relativa de un iluminador y una cámara determina la posición del reflejo nítido de dicho iluminador sobre la córnea. El reflejo, o destello, a veces puede estar situado desfavorablemente para rastreo de mirada, por ejemplo, causando reflejos en gafas, ocultando grandes partes de la pupila, o coincidiendo con una región de la córnea, que está mal representada por el modelo de ojo usado. 25
En tales situaciones, por una parte, sería altamente deseable que pudiera usarse información procedente de cualquier otro iluminador del sistema. Por otra parte, un sistema en el cual los iluminadores pueden seleccionarse adaptativamente estaría relacionado con problemas en cuanto a la capacidad de prueba y la repetibilidad porque tal sistema mostraría un comportamiento diferente en situaciones diferentes. Además, cualquier problema relacionado 30 con el hardware con respecto a la estabilidad (por ejemplo, causado por distribuciones de calor irregulares e impredecibles) así como cualquier fluctuación visible de los componentes de baja frecuencia causada por conmutación aleatoria entre los iluminadores puede prevenirse teniendo un comportamiento repetible del sistema.
RESUMEN DE LA INVENCIÓN 35 El objetivo de la presente invención es mitigar los problemas anteriores, y ofrecer así una solución de rastreo ocular/de mirada más robusta y estable.
De acuerdo con un aspecto de la invención, el objetivo se consigue por el aparato descrito anteriormente, donde la 40 unidad de control está configurada para controlar la secuencia de operaciones para la unidad de registro de imagen, de modo que la serie de imágenes recibida por la unidad de procesamiento de datos representa una secuencia repetitiva de tramas de imagen. Además, cada periodo contiene al menos una trama de imagen de una primera resolución y al menos una trama de imagen de una segunda resolución que es diferente de la primera resolución.
45 Este aparato es ventajoso porque, por una parte, pueden emplearse técnicas de reconocimiento de rasgos basadas en imagen, por ejemplo usando la trama de imagen de la primera resolución o la trama de imagen de la segunda resolución. Algunas posibles técnicas de reconocimiento de rasgos incluyen la detección de gestos faciales, gestos de la mano, rasgos faciales, expresiones faciales, cierre de ojos, datos de identificación y reconocimiento de identidad de una persona representada por imágenes mediante la trama de imagen. Por otra parte, pueden aplicarse 50 los algoritmos de rastreo de mirada más eficientes, por ejemplo, en las tramas de imagen de la segunda resolución. En consecuencia, es posible combinar rastreo de rasgos fiable con rastreo ocular/de mirada de alta calidad en una implementación común y robusta.
De acuerdo con una realización preferida de este aspecto de la invención, la unidad de registro de imagen contiene 55 un sensor de imagen que tiene un conjunto de elementos de sensor. Además, la unidad de registro de imagen está configurada para suministrar datos registrados por dichos elementos de sensor en forma de tramas de imagen, donde al menos una trama de imagen de la primera resolución contiene datos procedentes de un primer conjunto de dichos elementos de sensor; y al menos una trama de imagen de la segunda resolución contiene datos procedentes de un segundo conjunto de dichos elementos de sensor. En consecuencia, los conjuntos primero y segundo pueden 60 representar diferentes reencuadres del sensor de imagen.
Por ejemplo, de acuerdo con una realización de la invención, el primer conjunto puede estar asociado con una primera y relativamente baja resolución y ser equivalente a una trama denominada completa, es decir, una trama de imagen que contiene datos procedentes de elementos de sensor ubicados en posiciones que abarcan la anchura 5 total y la altura total del área de sensor. Preferentemente, la trama de imagen de la primera resolución es una trama esencialmente completa que contiene datos procedentes de elementos de sensor ubicados en posiciones que abarcan al menos el 80 % de la anchura total y al menos el 80 % de la altura total del área de sensor. El segundo conjunto puede estar asociado con una segunda y relativamente alta resolución y ser una denominada subtrama que contiene datos procedentes de elementos de sensor ubicados en posiciones que abarcan menos de la anchura total 10 y/o menos de la altura total del área de sensor, por ejemplo menos del 50 % de la anchura total y/o menos del 50 % de la altura total. Así, el primer conjunto puede formar una base para las técnicas de reconocimiento de rasgos mencionada anteriormente, mientras que el segundo conjunto puede ser una ROI adaptada para rastrear uno o más candidatos a ojo identificados.
15 De acuerdo con otra realización preferida de este aspecto de la invención, el aparato de rastreo ocular/de mirada incluye una primera fuente de luz. La unidad de control está configurada para controlar la primera fuente de luz en coordinación con la secuencia de operaciones para al menos una unidad de registro de imagen. Más exactamente, esto significa que la primera fuente luz emite luz al tiempo que es registrada al menos una de al menos una trama de imagen de la segunda resolución. Naturalmente, la iluminación puede ser estroboscópica, de modo que, por 20 ejemplo, la primera fuente de luz sólo emite luz durante una porción de la exposición del sensor.
De acuerdo con otra realización preferida más de este aspecto de la invención, el aparato de rastreo ocular/de mirada también incluye una segunda fuente de luz. La unidad de control está configurada además para controlar la segunda fuente de luz en coordinación con la secuencia de operaciones para la unidad de registro de imagen de 25 modo que la segunda fuente de luz emite luz al tiempo que es registrada al menos una trama de imagen de la secuencia repetitiva de tramas de imagen.
El empleo de tal secuencia repetitiva (y por tanto) conocida de captura de imagen e iluminación hace que resulte posible usar información procedente de dos o más fuentes de luz, y suprimir de ese modo cualquier destello/reflejo 30 situado desfavorablemente; y al mismo tiempo, cumplir los requisitos concernientes a la capacidad de prueba y la repetibilidad. Por ejemplo, puede resultar ventajoso usar un conjunto de fuentes de luz al registrar las imágenes de formato completo de baja resolución y otro conjunto de fuentes de luz al registrar imágenes de ROI de alta resolución.
35 De acuerdo con otra realización preferida más de este aspecto de la invención, el aparato de rastreo ocular/de mirada sólo contiene una unidad de registro de imagen única, que está configurada para grabar una serie de imágenes única que representa el sujeto. La unidad de control está configurada aquí para controlar la secuencia de operaciones para la unidad de registro de imagen única, de modo que cada periodo de la serie de imágenes única contiene al menos una trama de imagen de la primera resolución y al menos una trama de imagen de la segunda 40 resolución. De ese modo, el diseño se vuelve muy compacto y sencillo.
De acuerdo con una realización preferida adicional de este aspecto de la invención, al menos una unidad de registro de imagen está configurada para producir una trama de imagen de la resolución relativamente baja haciendo que cada punto de datos en la trama de imagen represente datos combinados procedentes de al menos dos elementos 45 de sensor en el sensor de imagen (por ejemplo, el denominado agrupamiento de píxeles). Alternativamente, al menos una unidad de registro de imagen está configurada para producir una trama de imagen de la resolución relativamente baja incluyendo datos procedentes de menos de la totalidad de los elementos de sensor en el sensor de imagen en la trama de imagen (es decir, submuestreo). La primera estrategia está asociada generalmente con mayor calidad de imagen, mientras que la segunda es generalmente más rápida. 50
De acuerdo con otra realización preferida de este aspecto de la invención, el aparato de rastreo ocular/de mirada contiene al menos una primera unidad de registro de imagen y al menos una segunda unidad de registro de imagen. Al menos una de al menos una primera unidad de registro de imagen está configurada para producir tramas de imagen de la primera resolución y al menos una de al menos una segunda unidad de registro de imagen está 55 configurada para producir tramas de imagen de la segunda resolución. Aunque tal diseño puede implicar un coste algo superior a una solución de una única cámara, resulta ventajoso con respecto a fiabilidad y velocidad.
De acuerdo con otro aspecto de la invención, el objetivo se consigue por el procedimiento descrito inicialmente, donde la secuencia de operaciones para la unidad de registro de imagen se controla de modo que la serie de 60 imágenes que ha de ser procesada representa una secuencia repetitiva de tramas de imagen. Además, cada periodo de la secuencia repetitiva de tramas de imagen contiene al menos una trama de imagen de una primera resolución y al menos una trama de imagen de una segunda resolución que es diferente de la primera resolución. Las ventajas de este procedimiento, así como las realizaciones preferidas del mismo, resultan evidentes a partir de la discusión anterior con referencia al aparato propuesto. 5
De acuerdo con un aspecto adicional de la invención, el objetivo se consigue mediante un producto de programa informático, que puede ser cargado en la memoria de un ordenador, e incluye software adaptado para implementar el procedimiento propuesto anteriormente cuando dicho producto de programa informático se ejecuta en un ordenador. 10
De acuerdo con otro aspecto de la invención, el objetivo se consigue mediante un medio legible por ordenador, que tiene un programa grabado en el mismo, donde el programa es para hacer que un ordenador ejecute el procedimiento propuesto anteriormente cuando el programa se carga en el ordenador.
15 Nuevas ventajas, características beneficiosas y aplicaciones de la presente invención resultarán evidentes a partir de la siguiente descripción y las reivindicaciones dependientes.
BREVE DESCRIPCIÓN DE LOS DIBUJOS 20 A continuación la invención se explicará más detenidamente por medio de realizaciones preferidas de la invención, que se describen como ejemplos, y con referencia a los dibujos adjuntos.
Las figuras 1-4 muestran aparatos de rastreo ocular/de mirada de acuerdo con realizaciones de la invención;
25
la figura 5 muestra ejemplos de diferentes tramas de imagen de la primera resolución de acuerdo con realizaciones de la invención;
la figura 6 muestra ejemplos de diferentes tramas de imagen de la segunda resolución de acuerdo con realizaciones de la invención; 30
la figura 7 ilustra un ejemplo de una secuencia repetitiva de tramas de imagen de acuerdo con una realización de la invención;
las figuras 8-16 ilustran ejemplos de secuencias repetitivas de tramas de imagen y esquemas coordinados para 35 iluminación de acuerdo con realizaciones de la invención; y
la figura 17 ilustra, por medio de un diagrama de flujo, el procedimiento general de acuerdo con la invención.
DESCRIPCIÓN DE REALIZACIONES PREFERIDAS DE LA INVENCIÓN 40 La figura 1 muestra un aparato de rastreo ocular/de mirada de acuerdo con una primera realización de la invención. El aparato de rastreo ocular/de mirada incluya una unidad de registro de imagen (110), una unidad de control (120) y una unidad de procesamiento de datos (130).
45 La unidad de registro de imagen (110) está configurada para grabar una serie de imágenes DIMG que representa un sujeto, por ejemplo, la cara de una persona. Por medio de una señal de control Ctrl, la unidad de control (120) está configurada para controlar una secuencia de operaciones para la unidad de registro de imagen (110) de tal manera que la serie de imágenes DIMG representa una secuencia repetitiva de tramas de imagen, donde cada periodo contiene al menos una trama de imagen de una primera resolución (por ejemplo, relativamente baja) y al menos una 50 trama de imagen de una segunda resolución (por ejemplo, relativamente alta). La unidad de procesamiento de datos (130) está configurada para recibir la serie de imágenes DIMG procedente de la unidad de registro de imagen (110) y, basándose en la misma, producir datos de rastreo ocular/de mirada DE/G con respecto al sujeto.
Tal como se menciona anteriormente, tal secuencia repetitiva de imágenes DIMG con niveles de resolución variables 55 hace que resulte posible que la unidad de procesamiento de datos (130) produzca los datos de rastreo ocular/de mirada DE/G basándose tanto en algoritmos de rastreo de rasgos fiables como en algoritmos de rastreo ocular/de mirada de alta calidad.
Además, generalmente resulta ventajoso dejar que el tamaño de imagen varíe al menos entre algunas tramas de 60 imagen de la secuencia repetitiva. Las figuras 5 y 6 muestran ejemplos de diferentes tamaños de imagen, o reencuadres, con respecto a un área de sensor de imagen dada, tal como la incluida en la unidad de registro de imagen (110).
La unidad de registro de imagen (110) contiene un sensor de imagen que tiene un conjunto de elementos de sensor. 5 Específicamente, de acuerdo con una realización de la invención, la unidad de registro de imagen (110) está configurada para suministrar datos registrados por los elementos de sensor en forma de tramas de imagen, donde al menos una trama de imagen de la primera resolución contiene datos procedentes de un primer conjunto de dichos elementos de sensor. Además, la unidad de registro de imagen (110) está configurada para suministrar datos registrados por los elementos de sensor en forma de tramas de imagen, donde al menos una trama de imagen de la 10 segunda resolución contiene datos procedentes de un segundo conjunto de los elementos de sensor.
La figura 5 ilustra un área de sensor que tiene una anchura total w y una altura total h, área sobre la cual se distribuyen los elementos de sensor. Aquí, se muestra una trama denominada completa (501b), la cual contiene datos procedentes de elementos de sensor ubicados en posiciones que abarcan la anchura total w y la altura total h 15 del área de sensor, y es de la primera resolución (por ejemplo, una resolución relativamente baja). De acuerdo con realizaciones de la invención, sin embargo, una trama de imagen de la primera resolución puede contener igualmente bien datos procedentes de algo menos de todas las filas de la altura total h y/o la anchura total w del área de sensor. Por ejemplo, una lectura VGA (VGA = Matriz gráfica de vídeo) procedente de un área de sensor de 5 megapíxeles puede corresponder a elementos de sensor que empiezan en la fila (10) y hasta la fila (10) desde 20 abajo, extendiéndose sin embargo a través de la anchura total w del área de sensor. Esto se ilustra con (501a) en la FIGURA 5. Preferiblemente, una trama de imagen de resolución VGA se consigue a partir de un sensor de 5 megapíxeles leyendo esencialmente toda el área de sensor cuando se usa agrupamiento de 2x2 y separación de 2x2, logrando así una imagen VGA donde cada píxel representa el campo visual de 4x4 píxeles del sensor.
25 De hecho, la trama de imagen de la primera resolución puede ser más bien una trama esencialmente completa que contiene datos procedentes de elementos de sensor ubicados en posiciones que abarcan al menos el 80 % de la anchura total y al menos el 80 % de la altura total del área de sensor.
Además, de acuerdo con realizaciones de la invención, al menos una trama de imagen de la segunda resolución es 30 una subtrama que contiene datos procedentes de elementos de sensor ubicados en posiciones que abarcan menos de la anchura total w y/o menos de la altura total h del área de sensor, digamos menos del 50 % de la anchura total y/o menos del 50 % de la altura total.
La figura 6 muestra dos ejemplos de tales ventanas o reencuadres ROI, AOI en la forma de (602a) y (602b), 35 respectivamente. Dado el ejemplo de VGA anterior, una subtrama típica puede contener 800 x 200 píxeles. No obstante, en la práctica, las medidas pueden variar ligeramente de una trama a otra, de modo que, por ejemplo, en la trama de imagen n la subtrama (602b) incorpora 801 x 200 píxeles, en la trama de imagen n+1 la subtrama (602b) incorpora 799 x 201 píxeles, etcétera.
40 La figura 2 muestra un aparato de rastreo ocular/de mirada de acuerdo con una segunda realización de la invención. Aquí, se incluyen múltiples unidades de registro de imagen (111), (112), ..., (11n), que están configuradas para grabar una serie respectiva de imágenes DIMG1, DIMG2, ..., DIMGn de un sujeto. Por medio de señales de control Ctrl1, Ctrl2, ..., Ctrln, la unidad de control (120) está configurada para controlar las secuencias de operaciones para las unidades de registro de imagen (111), (112), ..., (11n) de tal manera que la unidad de procesamiento de imagen 45 (130) recibe tramas de imagen que representan una secuencia repetitiva de tramas de imagen, donde cada periodo contiene al menos una trama de imagen de una primera resolución (por ejemplo, relativamente baja) y al menos una trama de imagen de una segunda resolución (por ejemplo, relativamente alta). Esto puede significar que cada unidad de registro de imagen (111), (112), ..., (11n) siempre produce imágenes de la misma resolución, sin embargo sus salidas están entrelazadas en el tiempo, de modo que, visto desde la unidad de procesamiento de datos (130), el 50 nivel de resolución varía a lo largo del tiempo.
La figura 7 ilustra un ejemplo de una secuencia repetitiva de tramas de imagen de acuerdo con una realización de la invención, donde cada periodo P de la secuencia repetitiva de tramas de imagen contiene una trama de imagen de la primera resolución (501) y cinco tramas de imagen de la segunda resolución (602). Generalmente se prefiere que 55 la trama de imagen única de la primera resolución (501) tenga resolución relativamente baja y se extienda sobre un campo visual comparativamente grande, mientras que las cinco tramas de imagen de la segunda resolución (602) tengan cada una resolución relativamente alta y representen una subtrama que corresponda a un campo visual comparativamente estrecho. No obstante, la relación inversa también es concebible de acuerdo con la invención.
60 La figura 3 muestra un aparato de rastreo ocular/de mirada de acuerdo con una tercera realización de la invención. Aquí, se incluyen las unidades de registro de imagen primera y segunda (111) y (112). El aparato de rastreo ocular/de mirada también contiene una primera fuente de luz (310) que es controlable desde la unidad de control (120) por medio de una primera señal de control de iluminación (CLS1).
5 En esta realización, la unidad de control (120) está configurada para controlar la primera fuente de luz (310) en coordinación con la secuencia de operaciones para las unidades de registro de imagen (111) y (112) de modo que la primera fuente de luz (310) emite luz al tiempo que es registrada al menos una trama de imagen de la segunda resolución (602).
10 Siempre y cuando la primera unidad de registro de imagen (111) esté configurada para registrar tramas de imagen de la primera resolución y la segunda unidad de registro de imagen (112) esté configurada para registrar tramas de imagen de la segunda resolución, la primera fuente de luz (310) aquí emite luz la segunda unidad de registro de imagen (112) está activa. Sin embargo, de acuerdo con realizaciones de la invención, es asimismo concebible cualquier otra combinación de nivel de resolución (501) o (602) e iluminación. 15
La figura 4 muestra un aparato de rastreo ocular/de mirada de acuerdo con una cuarta realización de la invención, donde se incluye una segunda fuente de luz (320), que es controlable por la unidad de control (120) por medio de una segunda señal de control de iluminación (CLS2) procedente de la unidad de control (120). Más exactamente, la unidad de control (120) está configurada para controlar la fuente de luz primera y segunda (310) y (320) 20 respectivamente en coordinación con la secuencia de operaciones para las unidades de registro de imagen (111), (112), ..., (11n) de modo que la primera fuente de luz (310) emite luz al tiempo que es registrada al menos una trama de imagen de la secuencia repetitiva de tramas de imagen, y la segunda fuente de luz (320) emite luz al tiempo que es registrada al menos otra trama de imagen de la secuencia repetitiva de tramas de imagen.
25 Por ejemplo, si cada periodo P de la secuencia repetitiva de tramas de imagen contiene tres o más tramas de imagen, la unidad de control (120) puede controlar las fuentes de luz primera y segunda (310) y (320), de modo que la primera fuente de luz (310) emite luz al tiempo que es registrada una primera trama de imagen, la segunda fuente de luz (320) emite luz al tiempo que es registrada una segunda trama de imagen, y ambas fuentes de luz primera y segunda (310) y (320) emiten luz al tiempo que es registrada una tercera trama de imagen. Alternativamente, ambas 30 fuentes de luz primera y segunda (310) y (320) pueden estar inactivas al tiempo que es registrada la tercera trama de imagen.
Además, si cada periodo P de la secuencia repetitiva de tramas de imagen contiene cuatro o más tramas de imagen, la unidad de control (120) puede estar configurada para controlar las fuentes de luz primera y segunda (310) y (320), 35 de modo que la primera fuente de luz (310) emite luz al tiempo que es registrada una primera trama de imagen, la segunda fuente de luz (320) emite luz al tiempo que es registrada una segunda trama de imagen, ambas fuentes de luz primera y segunda (310) y (320) emiten luz al tiempo que es registrada una tercera trama de imagen, y ni la primera fuente de luz (310) ni la segunda fuente de luz (320) emiten ninguna luz al tiempo que es registrada una cuarta trama de imagen. 40
La figura 8 muestra un ejemplo de una secuencia repetitiva de tramas de imagen de acuerdo con una realización de la invención. Aquí, el periodo P es de cinco tramas de imagen de longitud, y el registro de tramas de imagen está coordinado con un primer esquema para iluminar el sujeto, de modo que una primera fuente de luz (310) es controlada para iluminar el sujeto al tiempo que es registrada una primera trama de imagen de una primera 45 resolución (501). Después, al registrar las cuatro tramas de imagen subsiguientes de una segunda resolución (602) la primera fuente de luz (310) es controlada para que no emita ninguna luz.
La figura 9 muestra una secuencia repetitiva de tramas de imagen de acuerdo con otra realización de la invención.
50 El periodo P es aquí también de cinco tramas de imagen de longitud, sin embargo, el registro de las tramas de imagen está coordinado con un segundo esquema para iluminar el sujeto. Esto significa que una primera fuente de luz (310) es controlada para iluminar el sujeto al tiempo que es registrada una primera trama de imagen de una primera resolución (501) y al tiempo que es registrada una cuarta trama de imagen de una segunda resolución (602). Una segunda fuente de luz es controlada para iluminar el sujeto mientras son registradas una segunda trama de 55 imagen y una quinta trama de imagen de una segunda resolución (602). Al tiempo que es registrada una tercera trama de imagen de la segunda resolución (602), ninguna de las fuentes de luz primera y segunda (310) o (320) es controlada para emitir ninguna luz.
La figura 10 muestra una secuencia repetitiva de tramas de imagen de acuerdo con otra realización más de la 60 invención. De nuevo, el periodo P es de cinco tramas de imagen de longitud y una primera trama de imagen es de una primera resolución (501), mientras que las cuatro tramas de imagen restantes son de una segunda resolución (602). Aquí, sin embargo, una primera fuente de luz (310) es controlada para iluminar el sujeto mientras son registradas las tramas de imagen primera, tercera y cuarta, una segunda fuente de luz (320) es controlada para iluminar el sujeto mientras son registradas las tramas de imagen segunda, tercera y quinta, y una tercera fuente de 5 luz (330) es controlada para iluminar el sujeto mientras son registradas las tramas de imagen tercera y quinta.
La figura 11 muestra una secuencia repetitiva de tramas de imagen de acuerdo con una realización adicional de la invención. Aquí, el periodo P puede ser de longitud arbitraria, aunque en el ejemplo ilustrado el periodo P es de seis tramas de imagen de longitud. En cualquier caso, es registrada una primera trama de imagen de una primera 10 resolución (501) (por ejemplo, relativamente baja), y al tiempo que registrando esta trama de imagen una primera fuente de luz (310) es controlada para iluminar el sujeto. Después sigue una segunda trama de imagen de una segunda resolución (602) (por ejemplo, relativamente alta), y al tiempo que registrando esta trama de imagen una segunda fuente de luz (320) es controlada para iluminar el sujeto. La secuencia continúa entonces para registrar al menos una trama de imagen adicional de la segunda resolución (602). En el ejemplo ilustrado, es registrada 15 exactamente una de tales tramas de imagen adicionales. Sin embargo, cualquier otro número de tramas de imagen adicionales de la segunda resolución (602) es concebible de acuerdo con esta realización de la invención, y al tiempo que registrando estas tramas de imagen una vez sí y otra vez no la primera fuente de luz (310) es controlada para iluminar el sujeto y una vez sí y otra vez no la segunda fuente de luz (320) es controlada para iluminar el sujeto. Después de eso, sigue otra trama de imagen de la primera resolución (501). Esta vez, puesto que ha habido un 20 número par de tramas de imagen intermedias de la segunda resolución (602) y puesto que la iluminación conmuta entre las fuentes de luz primera y segunda (310) y (320) de una trama de imagen a otra, la segunda fuente de luz ilumina el sujeto. Posteriormente, el periodo P termina y vuelve de nuevo al principio.
Cada una de las secuencias ejemplificadas en las figuras 7 a 11 puede implementarse o bien por medio de un único 25 sensor de imagen, o bien usando dos o más sensores de imagen diferentes.
En una implementación que emplea la estrategia detrás de la secuencia mostrada en la figura 11 no es necesario sincronizar el registro de imagen con el patrón de iluminación. En cambio, un rastreador de ROI puede ejecutarse en un sensor de alta resolución junto con un sistema de iluminación que incluye dos fuentes de luz, cada una de las 30 cuales se ejecuta a, digamos, 30 Hz, para eliminar una cantidad sustancial de cualquier fluctuación percibida en la iluminación; y donde un sensor VGA (u otro sensor de resolución más baja que la del sensor de alta resolución ejecutándose en modo ROI) se ejecuta a 27 Hz sin sincronizarse con el patrón de iluminación que es producido por las fuentes de luz, aun así, sin embargo, siendo afectado por él.
35 Alternativamente, el sensor de imagen de la resolución más baja puede sincronizarse con el sensor de imagen de alta resolución a cualquier velocidad de tramas.
La figura 12 ilustra un ejemplo de una secuencia repetitiva de tramas de imagen donde las fuentes de luz primera y segunda (310) y (320) respectivamente se sincronizan exclusivamente con el registro de las tramas de imagen de la 40 segunda resolución (602) y las fuentes de luz (310) y (320) emiten luz al tiempo que registra una trama de imagen sí y otra trama de imagen no de la segunda resolución (602) en un patrón alternante.
La figura 13 ilustra otro ejemplo de una secuencia repetitiva de tramas de imagen. Aquí, ambas fuentes de luz primera y segunda (310) y (320) están sincronizadas con el registro de las tramas de imagen de la primera 45 resolución (501) así como el registro de tramas de imagen de la segunda resolución (602). Por otra parte, las tramas de imagen (501) y (602) están sincronizadas entre sí, y las fuentes de luz (310) y (320) emiten luz al tiempo que registrando una trama de imagen sí y otra trama de imagen no de la segunda resolución (602) en un patrón alternante. Sin embargo, una trama de imagen de la primera resolución sólo es registrada mientras la primera fuente de luz emite luz. 50
La figura 14 ilustra otro ejemplo más de una secuencia repetitiva de tramas de imagen. Aquí, las fuentes de luz primera y segunda (310) y (320) están sincronizadas ambas con el registro de las tramas de imagen de la segunda resolución (602). En cada segunda trama de imagen se activa la primera fuente de luz (310), y en cada segunda trama de imagen se activa la segunda fuente de luz (320). Así, el periodo P sólo incluye dos etapas. En la figura 16, 55 se representa la misma secuencia, sin embargo, donde en lugar de la activación de la segunda fuente de luz en cada segunda trama de imagen, no se activa ninguna fuente de luz.
La figura 15 ilustra un ejemplo de una secuencia repetitiva de tramas de imagen donde exclusivamente son registradas tramas de imagen de la segunda resolución (602). Aquí, las tres fuentes de luz (310), (320) y (330) se 60 activan respectivamente de acuerdo con la siguiente secuencia repetitiva. En una primera etapa, al tiempo que se registra una primera imagen, la primera fuente de luz (310) está activa. Después, al tiempo que se registra una segunda imagen, no está activa ninguna fuente de luz. Posteriormente, al tiempo que se registra una tercera imagen, la segunda fuente de luz (320) está activa. Finalmente, al tiempo que se registra una cuarta imagen, la tercera fuente de luz (330) está activa. Después de ello, el procedimiento vuelve de nuevo a la primera etapa. 5
Como puede verse, existen numerosas combinaciones de secuencias repetitivas de tramas de imagen y esquemas de iluminación que pueden aplicarse para lograr una implementación robusta del aparato de rastreo ocular/de mirada. La combinación específica seleccionada puede depender de la implementación de hardware y el escenario del usuario. Por ejemplo, una secuencia que es adecuada para un sistema de una sola cámara es típicamente 10 diferente de la secuencia más adecuada para un sistema de cámara doble. Además, un coche y un escenario de usuario de control informático generarían una necesidad diferente y, lo más probable, secuencias diferentes. La secuencia que es la más eficiente también puede depender de las condiciones de iluminación y los rasgos característicos del sujeto. Así, en una realización de la invención, un aparato de rastreo ocular puede soportar dos o más secuencias repetitivas diferentes de tramas de imagen y seleccionar una secuencia particular dependiendo de 15 la situación. Naturalmente, la presente invención también es aplicable a otras combinaciones aparte de las descritas específicamente más arriba.
Cabe destacar que, entre diferentes periodos P de una secuencia así como durante un periodo P dado, pueden alterarse diversos parámetros de la(s) unidad(es) de registro de imagen, tales como el desplazamiento de ROI, el 20 tamaño de ROI, la ganancia o parámetros de obturador.
De acuerdo con una realización de la invención, la unidad de registro de imagen (110), (111), (112) o (11n) está configurada para producir una trama de imagen de la primera resolución (501) haciendo que cada punto de datos en la trama de imagen represente datos combinados procedentes de al menos dos elementos de sensor en el sensor 25 de imagen, por ejemplo aplicando agrupamiento de píxeles sobre grupos de cuatro píxeles, los cuales o bien son vecinos entre sí o bien tienen cualquier otra relación interespacial.
Alternativamente, la unidad de registro de imagen (110), (111), (112) o (11n) está configurada para producir una trama de imagen de la primera resolución (501) incluyendo datos procedentes de menos de la totalidad de los 30 elementos de sensor en el sensor de imagen en la trama de imagen, por ejemplo submuestreando el área de sensor.
Preferentemente, la unidad de control (120) contiene, o está conectada de manera comunicativa a, una unidad de memoria que almacena un producto de programa informático, que contiene software para hacer que la unidad de 35 control (120) realice las acciones descritas anteriormente cuando el producto de programa informático se ejecuta en la unidad de control (120).
En una realización adicional de la presente invención, puede utilizarse una trama de imagen de la primera resolución (501) o una trama de imagen de la segunda resolución (602) para reconocimiento de rasgos mediante el aparato de 40 rastreo ocular/de mirada, o un aparato informático conectado al mismo. El reconocimiento de rasgos puede proporcionar alguna de las siguientes funciones: la detección de gestos faciales, gestos de la mano, rasgos faciales, expresiones faciales, cierre de ojos, datos de identificación y reconocimiento de identidad de una persona representada por imágenes mediante la trama de imagen y una pose de cabeza de una persona representada por imágenes mediante la trama de imagen. 45
Las funciones de reconocimiento de rasgos a través de análisis de una imagen DIMG por medio de lo cual la imagen es analizada para un fin predeterminado. Por ejemplo, la imagen puede ser analizada para determinar la identidad de la persona representada por imágenes en la trama de imagen, esto se conoce de otra forma como reconocimiento facial. Tras el reconocimiento de la identidad de una persona que opera el aparato de rastreo 50 ocular/de mirada o un aparato informático conectado al mismo, el aparato de rastreo ocular/de mirada o el aparato informático puede alterar su comportamiento y funcionalidad.
Para realizar el reconocimiento facial el aparato de rastreo ocular/de mirada o un aparato informático conectado al mismo puede utilizar algún procedimiento de identificación facial conocido para determinar la identidad de la 55 persona. Un ejemplo de un procedimiento adecuado es aplicar clasificadores a la imagen captada, ejemplos de clasificadores adecuados son los clasificadores de Máquina de Vectores de Soporte, de Análisis Discriminante Lineal y de K Vecinos más cercanos.
Los procedimientos para determinar gestos, expresiones faciales, cierre de ojos, pose de cabeza, etc. se 60 entenderían fácilmente por una persona experta en la materia. Preferentemente, las imágenes captadas son analizadas y comparadas con las imágenes captadas anteriormente para identificar características relevantes que indican conformidad con un rasgo o patrón predeterminado. Por ejemplo, en la determinación de un gesto pueden analizarse imágenes captadas adyacentes para determinar diferencias que indican la realización de un gesto por una persona en las imágenes captadas. 5
Para resumir, a continuación se describirá el procedimiento general de acuerdo con la invención con referencia al diagrama de flujo de la figura 17.
En una primera etapa (1710), es registrada una trama de imagen que representa un sujeto y se presume de que 10 forma parte de una secuencia periódica de tramas de imagen, donde, en cada periodo P, al menos dos tramas de imagen tienen resoluciones diferentes mutuamente, por ejemplo una primera y relativamente baja resolución y una segunda y relativamente alta resolución respectivamente.
Luego, en una etapa (1720), se procesa la trama de imagen registrada en la etapa (1710), posiblemente junto con 15 alguna trama de imagen registrada anteriormente en la secuencia de tramas de imagen. Basándose en este procesamiento, una etapa posterior (1730) produce datos de rastreo ocular/de mirada.
Después, una etapa (1740) comprueba si la trama de imagen registrada en la etapa (1710) era la última trama de imagen, es decir, si se ha llegado al final del periodo P. De ser así, es decir, si la trama de imagen registrada en la 20 etapa (1710) era de hecho la última trama en el patrón periódico, el procedimiento continúa en la etapa (1760). De lo contrario, es decir, si existe al menos una trama de imagen más en el patrón periódico, el procedimiento continúa en la etapa (1750).
En la etapa (1750), se selecciona una resolución, que ha de aplicarse para la trama de imagen subsiguiente en la 25 secuencia de tramas de imagen dado el patrón periódico. Luego, el procedimiento vuelve a la etapa (1710).
En la etapa (1760), se inicia un nuevo periodo P de la secuencia de tramas de imagen. Por supuesto, esto también significa seleccionar una resolución, que ha de aplicarse para la trama de imagen subsiguiente en la secuencia de tramas de imagen dado el patrón periódico, concretamente la resolución de la primera trama de imagen en la 30 secuencia. Luego, el procedimiento vuelve a la etapa (1710).
Cabe destacar que cualquiera de estas etapas puede realizarse al mismo tiempo, o en un orden diferente del definido anteriormente. Específicamente, la selección de una resolución para la trama de imagen subsiguiente puede realizarse antes de que sea procesada la trama de imagen actual. A título de ejemplo, muchos sensores de 35 imagen requieren el establecimiento de la resolución y otros parámetros del sensor para registrar la trama de imagen n+1 simultáneamente al registro de la trama de imagen n.
Además, todas las etapas de proceso, así como cualquier subsecuencia de etapas, descritas con referencia a la figura 17 anterior, pueden controlarse por medio de un aparato informático programado. Por otra parte, aunque las 40 realizaciones de la invención descritas anteriormente con referencia a los dibujos comprenden un aparato informático y procesos realizados en un aparato informático, la invención también se extiende así a programas informáticos, particularmente programas informáticos en o dentro de un soporte, adaptados para poner en práctica la invención. El programa puede ser en forma de código fuente, código objeto, una fuente intermedia de código y código objeto tal como en forma parcialmente compilada, o en cualquier otra forma adecuada para uso en la 45 implementación del proceso de acuerdo con la invención. El programa puede o bien ser una parte de un sistema operativo, o bien ser una aplicación separada. El soporte puede ser cualquier entidad o dispositivo no transitorio capaz de llevar el programa. Por ejemplo, el soporte puede comprender un medio de almacenamiento, tal como una memoria Flash, una ROM (memoria de sólo lectura), por ejemplo un DVD (disco de vídeo/versátil digital), un CD (disco compacto) o una ROM semiconductora, una EPROM (memoria de sólo lectura programable y borrable), una 50 EEPROM (memoria de sólo lectura eléctricamente programable y borrable), o un medio de grabación magnética, por ejemplo un disco flexible o un disco duro. Alternativamente, el soporte puede ser un circuito integrado en el cual está incorporado el programa, estando adaptado el circuito integrado para realizar, o para uso en la realización de, los procesos relevantes.
55 El término "comprende/que comprende" cuando se usa en esta memoria descriptiva se toma para especificar la presencia de rasgos establecidos, números enteros, etapas o componentes. Sin embargo, el término no excluye la presencia o el añadido de uno o más rasgos adicionales, números enteros, etapas o componentes o grupos de los mismos.
60 La invención no está restringida a las realizaciones descritas en las figuras, sino que puede variarse libremente dentro del alcance de las reivindicaciones.

Claims (21)

  1. REIVINDICACIONES
    1. Un aparato de rastreo ocular/de mirada, que comprende:
    al menos una unidad de registro de imagen (110, 111, 112, 11n) configurada para grabar al menos una serie de 5 imágenes (DIMG, DIMG1, DIMG2, DIMGn) que representa un sujeto,
    una unidad de control (120) configurada para controlar una secuencia de operaciones para al menos una unidad de registro de imagen (110, 111, 112, 11n), y
    10
    una unidad de procesamiento de datos (130) configurada para recibir al menos una serie de imágenes (DIMG, DIMG1, DIMG2, DIMGn) procedente de al menos una unidad de registro de imagen (110, 111, 112, 11n), y basándose en ello, producir datos de rastreo ocular/de mirada (DE/G)) con respecto al sujeto, caracterizado porque
    la unidad de control (120) está configurada para controlar la secuencia de operaciones para al menos una unidad de 15 registro de imagen (110, 111, 112, 11n) de modo que al menos una serie de imágenes (DIMG, DIMG1, DIMG2, DIMGn) recibida por la unidad de procesamiento de datos (130) representa una secuencia repetitiva de tramas de imagen, donde cada periodo (P) de la secuencia repetitiva de tramas de imagen (DIMG, DIMG1, DIMG2, DIMGn) contiene al menos una trama de imagen de una primera resolución (501) y al menos una trama de imagen de una segunda resolución (602) que es diferente de la primera resolución (501), refiriéndose el término "resolución" al tamaño del 20 campo visual representado por imágenes por píxel, donde una imagen de resolución relativamente alta tiene más píxeles por grado de campo visual que una imagen de resolución relativamente baja.
  2. 2. El aparato de rastreo ocular/de mirada de acuerdo con la reivindicación 1, donde cada una de al menos una unidad de registro de imagen (110, 111, 112, 11n) comprende un sensor de imagen que tiene un 25 conjunto de elementos de sensor, y al menos una unidad de registro de imagen (110, 111, 112, 11n) está configurada para suministrar datos registrados por dichos elementos de sensor en forma de dichas tramas de imagen, donde al menos una trama de imagen de la primera resolución (501) contiene datos procedentes de un primer conjunto de dichos elementos de sensor (501a, 501b), y al menos una trama de imagen de la segunda resolución (602) contiene datos procedentes de un segundo conjunto (602a, 602b) de dichos elementos de sensor. 30
  3. 3. El aparato de rastreo ocular/de mirada de acuerdo con la reivindicación 2, donde dichos elementos de sensor están distribuidos por un área de sensor que tiene una anchura total (w) y una altura total (h), y al menos una trama de imagen de la primera resolución (501) es una trama esencialmente completa (501b) que contiene datos procedentes de elementos de sensor ubicados en posiciones que abarcan al menos el 80 % de la anchura total (w) y 35 al menos el 80 % de la altura total (h) del área de sensor.
  4. 4. El aparato de rastreo ocular/de mirada de acuerdo con cualquiera de las reivindicaciones 2 o 3, donde dichos elementos de sensor están distribuidos por un área de sensor que tiene una anchura total (w) y una altura total (h), y al menos una trama de imagen de la segunda resolución (602) es una subtrama que contiene datos 40 procedentes de elementos de sensor (602a, 602b) ubicados en posiciones que abarcan menos del 50% de la anchura total (w) y/o menos del 50 % de la altura total (h) del área de sensor.
  5. 5. El aparato de rastreo ocular/de mirada de acuerdo con una cualquiera de las reivindicaciones 2 a 4, donde la primera resolución (501) es inferior a la segunda resolución (602). 45
  6. 6. El aparato de rastreo ocular/de mirada de acuerdo con la reivindicación 5, que comprende una primera fuente de luz (310), y la unidad de control (120) está configurada para controlar la primera fuente de luz (310) en coordinación con la secuencia de operaciones para al menos una unidad de registro de imagen (110, 111, 112, 11n) de modo que la primera fuente de luz (310) emite luz al tiempo que es registrada al menos una de al menos una 50 trama de imagen de la segunda resolución (602).
  7. 7. El aparato de rastreo ocular/de mirada de acuerdo con la reivindicación 6, que comprende una segunda fuente de luz (320), y la unidad de control (120) está configurada además para controlar la segunda fuente de luz (320) en coordinación con la secuencia de operaciones para al menos una unidad de registro de imagen 55 (110, 111, 112, 11n) de modo que la segunda fuente de luz (320) emite luz al tiempo que es registrada al menos una trama de imagen de la secuencia repetitiva de tramas de imagen.
  8. 8. El aparato de rastreo ocular/de mirada de acuerdo con una cualquiera de las reivindicaciones anteriores, que comprende una unidad de registro de imagen única (110) configurada para grabar una serie de 60 imágenes única (Dimágenes única (Dimágenes única (Dimágenes única (Dimágenes única (D
  9. 9. El aparato de rastreo ocular/de mirada de acuerdo con una cualquiera de las reivindicaciones 5 a 8, donde al menos una unidad de registro de imagen (110, 111, 112, 11n) está configurada para producir una trama de imagen de la primera resolución (501) haciendo que cada punto de datos en la trama de imagen represente datos combinados procedentes de al menos dos elementos de sensor en el sensor de imagen. 10
  10. 10. El aparato de rastreo ocular/de mirada de acuerdo con una cualquiera de las reivindicaciones 5 a 9, donde al menos una unidad de registro de imagen (110, 111, 112, 11n) está configurada para producir una trama de imagen de la primera resolución (501) incluyendo datos procedentes de menos de la totalidad de los elementos de sensor en el sensor de imagen en la trama de imagen. 15
  11. 11. El aparato de rastreo ocular/de mirada de acuerdo con una cualquiera de las reivindicaciones 5 a 8, donde al menos una unidad de registro de imagen comprende al menos una primera unidad de registro de imagen (111) y al menos una segunda unidad de registro de imagen (112), donde al menos una de al menos una primera unidad de registro de imagen (111) está configurada para producir tramas de imagen de la primera resolución (501) y al menos una de al menos una segunda unidad de registro de imagen (112) está configurada para producir tramas 20 de imagen de la segunda resolución (602).
  12. 12. El aparato de rastreo ocular/de mirada de acuerdo con cualquiera de las reivindicaciones anteriores donde la unidad de procesamiento de datos (130) está configurada para analizar al menos una trama de imagen para determinar la presencia de al menos uno de un gesto facial, un gesto de la mano, un rasgo facial, una 25 expresión facial, un cierre de ojos, o una pose de cabeza de una persona representada por imágenes mediante la trama de imagen.
  13. 13. El aparato de rastreo ocular/de mirada de acuerdo con cualquiera de las reivindicaciones anteriores donde la unidad de procesamiento de datos (130) está configurada para analizar al menos una trama de imagen 30 para identificar un usuario del aparato de rastreo ocular/de mirada.
  14. 14. El aparato de rastreo ocular/de mirada de acuerdo con la reivindicación 13, donde la unidad de procesamiento de datos (130) está configurada para analizar al menos una trama de imagen para identificar que un usuario del aparato de rastreo ocular/de mirada es de la primera resolución (501). 35
  15. 15. Un procedimiento de producción de datos de rastreo ocular/de mirada con respecto a un sujeto, comprendiendo el procedimiento:
    registrar, por medio de al menos una unidad de registro de imagen respectiva (110, 111, 112, 11n) al menos una 40 serie de imágenes (DIMG, DIMG1, DIMG2, DIMGn) que representa el sujeto,
    controlar una secuencia de operaciones para al menos una unidad de registro de imagen (110, 111, 112, 11n),
    procesar la serie de imágenes (DIMG, DIMG1, DIMG2, DIMGn) procedente de al menos una unidad de registro de imagen (110, 111, 112, 11n), y basándose en ello 45
    producir datos de rastreo ocular/de mirada (DE/G) con respecto al sujeto, caracterizado por
    controlar la secuencia de operaciones para al menos una unidad de registro de imagen (110, 111, 112, 11n) de modo que al menos una serie de imágenes que ha de ser procesada representa una secuencia repetitiva de tramas 50 de imagen, donde cada periodo (P) de la secuencia repetitiva de tramas de imagen (DIMG, DIMG1, DIMG2, DIMGn) contiene al menos una trama de imagen de una primera resolución (501) y al menos una trama de imagen de una segunda resolución (602) que es diferente de la primera resolución (501), refiriéndose el término "resolución" al tamaño del campo visual representado por imágenes por píxel, donde una imagen de resolución relativamente alta tiene más píxeles por grado de campo visual que una imagen de resolución relativamente baja. 55 16. El procedimiento de acuerdo con la reivindicación 15, donde cada una de al menos una unidad de registro de imagen (110, 111, 112, 11n) comprende un sensor de imagen que tiene un conjunto de elementos de sensor, y el procedimiento comprende suministrar datos registrados por dichos elementos de sensor en forma de dichas tramas de imagen, donde al menos una trama de imagen de la primera resolución (501) contiene datos 60 procedentes de un primer conjunto (501A, 501B) de dichos elementos de sensor, y al menos una trama de imagen de la segunda resolución (602) contiene datos procedentes de un segundo conjunto (602a, 602b) de dicho elemento de sensor.
  16. 17. El aparato del procedimiento de acuerdo con la reivindicación 16, donde dichos elementos de sensor 5 están distribuidos por un área de sensor que tiene una anchura total (w) y una altura total (h), y al menos una trama de imagen de la primera resolución (501) es una trama esencialmente completa (501b) que contiene datos procedentes de elementos de sensor ubicados en posiciones que abarcan al menos el 80 % de la anchura total (w) y al menos el 80 % de la altura total (h) del área de sensor. 10
  17. 18. El procedimiento de acuerdo con cualquiera de las reivindicaciones 16 o 17, donde dichos elementos de sensor están distribuidos por un área de sensor que tiene una anchura total (w) y una altura total (h), y al menos una trama de imagen de la segunda resolución (602) es una subtrama que contiene datos procedentes de elementos de sensor (602a, 602b) ubicados en posiciones que abarcan menos del 50 % de la anchura total (w) y/o menos del 50% de la altura total (h) del área de sensor. 15
  18. 19. El procedimiento de acuerdo con una cualquiera de las reivindicaciones 16 a 18, donde la primera resolución (501) es inferior a la segunda resolución (602).
  19. 20. El procedimiento de acuerdo con la reivindicación 19, que comprende controlar una primera fuente de 20 luz (310), en coordinación con la secuencia de operaciones para al menos una unidad de registro de imagen (110, 111, 112, 11n) de modo que la primera fuente de luz (310) emite luz al tiempo que registrando al menos una de al menos una trama de imagen de la segunda resolución (602).
  20. 21. El procedimiento de acuerdo con la reivindicación 20, que comprende controlar una segunda fuente de 25 luz (320), en coordinación con la secuencia de operaciones para al menos una unidad de registro de imagen (110, 111, 112, 11n) de modo que la segunda fuente de luz (320) emite luz al tiempo que registrando al menos una trama de imagen de la secuencia repetitiva de tramas de imagen.
  21. 22. El procedimiento de acuerdo con una cualquiera de las reivindicaciones 15 a 21, que comprende: 30
    grabar una serie de imágenes única (DIMG) que representa el sujeto por medio de una unidad de registro de imagen única (110),
    controlar la secuencia de operaciones para la unidad de registro de imagen única (110), de modo que cada periodo 35 (P) de la serie de imágenes única (DIMG) contiene al menos una trama de imagen de la primera resolución (501) y al menos una trama de imagen de la segunda resolución (602).
ES15155370.8T 2014-02-21 2015-02-17 Aparato y procedimiento para rastreo ocular/de mirada robusto Active ES2661287T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1403077.9A GB2523356A (en) 2014-02-21 2014-02-21 Apparatus and method for robust eye/gaze tracking
GB201403077 2014-02-21

Publications (1)

Publication Number Publication Date
ES2661287T3 true ES2661287T3 (es) 2018-03-28

Family

ID=50482583

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15155370.8T Active ES2661287T3 (es) 2014-02-21 2015-02-17 Aparato y procedimiento para rastreo ocular/de mirada robusto

Country Status (7)

Country Link
US (3) US9646207B2 (es)
EP (1) EP3038348B1 (es)
KR (1) KR20150099463A (es)
CN (1) CN104869306B (es)
CA (1) CA2882206A1 (es)
ES (1) ES2661287T3 (es)
GB (1) GB2523356A (es)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US20170085790A1 (en) * 2015-09-23 2017-03-23 Microsoft Technology Licensing, Llc High-resolution imaging of regions of interest
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
WO2017177177A1 (en) 2016-04-07 2017-10-12 Tobii Ab Image sensor for vision based human computer interaction
CN109076176A (zh) * 2016-05-25 2018-12-21 安泰科技有限公司 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法
US11138741B2 (en) 2016-05-27 2021-10-05 Rochester Institute Of Technology System and method for eye tracking
GB2553353B (en) * 2016-09-05 2021-11-24 Advanced Risc Mach Ltd Graphics processing systems and graphics processors
US20180068449A1 (en) * 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications
DE102017207960A1 (de) 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
CN109303544B (zh) * 2017-07-27 2021-04-02 香港理工大学 一种多尺度混合视力障碍分析仪及其分析方法
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
WO2019067157A1 (en) 2017-09-27 2019-04-04 Apple Inc. MITIGATION OF VISUAL ARTIFACTS OF DYNAMIC FOVÉAL DISPLAY
US10636340B2 (en) * 2018-04-16 2020-04-28 Facebook Technologies, Llc Display with gaze-adaptive resolution enhancement
CN109120847B (zh) 2018-08-16 2020-04-21 北京七鑫易维信息技术有限公司 一种图像获取设备的控制方法及装置
KR102608471B1 (ko) * 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
US12067163B2 (en) 2021-02-08 2024-08-20 Beijing 7Invensun Technology Co., Ltd. Method and apparatus for controlling image acquisition device
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US20220383512A1 (en) * 2021-05-27 2022-12-01 Varjo Technologies Oy Tracking method for image generation, a computer program product and a computer system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
WO2003102498A1 (en) * 2002-05-30 2003-12-11 Visx, Inc. “tracking torsional eye orientation and position”
EP1933694B1 (en) * 2005-10-10 2020-07-22 Tobii AB Eye tracker having an extended span of operating distances
SE0602545L (en) * 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
GB2447246B (en) 2007-03-07 2012-04-18 Aurora Comp Services Ltd Controlled high resolution sub-image capture with time domain multiplexed high speed full field of view reference video stream for image biometric application
US9584710B2 (en) 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
EP2499962B1 (en) * 2011-03-18 2015-09-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US20120307208A1 (en) * 2011-06-01 2012-12-06 Rogue Technologies, Inc. Apparatus and method for eye tracking
US9473702B2 (en) * 2011-12-23 2016-10-18 Nokia Technologies Oy Controlling image capture and/or controlling image processing
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
ES2898981T3 (es) * 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
US9652034B2 (en) 2013-09-11 2017-05-16 Shenzhen Huiding Technology Co., Ltd. User interface based on optical sensing and tracking of user's eye movement and position
US9478010B2 (en) * 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined

Also Published As

Publication number Publication date
EP3038348A1 (en) 2016-06-29
US20190236356A1 (en) 2019-08-01
CN104869306A (zh) 2015-08-26
US10789464B2 (en) 2020-09-29
CA2882206A1 (en) 2015-08-21
US20150262010A1 (en) 2015-09-17
CN104869306B (zh) 2019-12-17
GB201403077D0 (en) 2014-04-09
US20170206410A1 (en) 2017-07-20
GB2523356A (en) 2015-08-26
US9646207B2 (en) 2017-05-09
EP3038348B1 (en) 2017-11-29
KR20150099463A (ko) 2015-08-31
US10282608B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
US10789464B2 (en) Apparatus and method for robust eye/gaze tracking
US10572008B2 (en) Apparatus and method for robust eye/gaze tracking
US11073908B2 (en) Eye-tracking enabled wearable devices
ES2915835T3 (es) Mapeo de mirada a objeto de traza de múltiples líneas para determinar objetivos de enfoque de mirada
ES2939003T3 (es) Método y sistema para estimación de posición 3D de la córnea
KR101706992B1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
US9886630B2 (en) Apparatus and method for robust eye/gaze tracking
ES2764484T3 (es) Procedimiento de procesamiento de una señal asíncrona
EP3341783A1 (en) Eye tracking using structured light
US11619990B2 (en) Classification of glints using an eye tracking system
JP2018518750A (ja) 反射マップ表現による奥行きマップ表現の増補
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
US20150164319A1 (en) Pupil detecting apparatus and pupil detecting method
JP5429885B2 (ja) 特徴点追跡方法及び特徴点追跡装置
US20250022146A1 (en) Eyeball movement detection in closed eye based on video
CN112434549B (zh) 图像处理方法和设备
ES2966070T3 (es) Mapeo de propagación de pulsos
JP2026049226A (ja) 瞳孔検出装置及び瞳孔検出方法