ES2939165T3 - Dispositivos portátiles con seguimiento ocular - Google Patents

Abstract

Se divulga un dispositivo (1300) adaptado para ser usado por un usuario, que comprende un elemento óptico, una fuente de luz y un sensor. El elemento óptico está adaptado para colocarse frente a un ojo (1312) del usuario y está formado por un material transmisor de luz que permite al usuario ver a través del elemento óptico, donde la fuente de luz está dispuesta en el elemento óptico y adaptada para iluminar al menos una parte del ojo del usuario. Además, el sensor está adaptado para capturar la luz que ha sido emitida desde la fuente de luz y reflejada en el ojo. También se describe un sistema que comprende dicho dispositivo y un procesador adaptado para determinar la dirección de la mirada del usuario basándose en la luz capturada por el sensor. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Dispositivos portátiles con seguimiento ocular

El documento WO 2015/198477 A1 muestra un dispositivo según el preámbulo de la reivindicación 1.

La invención proporciona un dispositivo según la reivindicación 1.

Breve descripción de la invención

En un ejemplo que no forma parte de la invención reivindicada, se proporciona un método para el barrido de contenido en una pantalla de un dispositivo portátil. El método puede incluir determinar, mediante un dispositivo de seguimiento ocular, la dirección de la mirada de un usuario. El método también puede incluir determinar, mediante un sistema de detección de movimiento, una dirección de la cabeza del usuario. El método puede incluir además, basado al menos en parte en la dirección de la mirada y en la dirección de la cabeza ambas que son consistentes con una dirección particular, hacer que el contenido mostrado en una pantalla del dispositivo portátil se barra en la dirección particular. El método puede incluir de forma adicional determinar, durante el barrido del contenido, mediante el dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutra. El método puede incluir además, basado al menos en parte en la dirección de la mirada del usuario que vuelve a la posición neutra, hacer que el contenido mostrado en la pantalla detenga el barrido.

En otro ejemplo que no forma parte de la invención reivindicada, se proporciona un medio no transitorio legible por máquina que tiene instrucciones almacenadas en el mismo para el barrido de contenido en una pantalla de un dispositivo portátil. Las instrucciones pueden ser ejecutables para realizar un método. El método puede incluir determinar, mediante un dispositivo de seguimiento ocular, la dirección de la mirada de un usuario de un dispositivo portátil. El método también puede incluir determinar, mediante un sistema de detección de movimiento, una dirección de la cabeza del usuario del dispositivo portátil. El método puede incluir además, basado al menos en parte en la dirección de la mirada y en la dirección de la cabeza ambas que son consistentes con una dirección particular, hacer que el contenido mostrado en una pantalla del dispositivo portátil se barra en la dirección particular. El método puede incluir de forma adicional determinar, durante el barrido del contenido, mediante el dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutra. El método puede incluir además, basado al menos en parte en la dirección de la mirada del usuario que vuelve a la posición neutra, hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido.

En otro ejemplo que no forma parte de la invención reivindicada, se proporciona un sistema para el barrido de contenido en una pantalla de un dispositivo portátil. El sistema puede incluir un dispositivo de seguimiento ocular, un sistema de detección de movimiento y uno o más procesadores. El dispositivo de seguimiento ocular puede ser para determinar la dirección de la mirada de un usuario de un dispositivo portátil. El sistema de detección de movimiento puede ser para determinar una dirección de la cabeza del usuario del dispositivo portátil. El uno o más procesadores pueden configurarse para, basado al menos en parte en la dirección de la mirada y en la dirección de la cabeza ambas que son consistentes con una dirección particular, hacer que el contenido mostrado en una pantalla del dispositivo portátil se barra en la dirección particular. El procesador o procesadores también pueden estar configurados para determinar, durante el barrido del contenido, mediante el dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutra. El procesador o procesadores pueden estar configurados además para, basado al menos en parte en la dirección de la mirada del usuario que vuelve a la posición neutra, hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido.

Breve descripción de los dibujos

Junto con las figuras adjuntas se describen las realizaciones y la presente invención:

la Fig. 1 muestra un dispositivo portátil ilustrativo que tiene un dispositivo de visualización y un dispositivo de seguimiento ocular;

la Fig. 2 muestra una salida de sensor de perfil ilustrativo de varias realizaciones;

la Fig. 3A muestra el agrupamiento de píxeles horizontal y vertical utilizado en varias realizaciones;

la Fig. 3B ilustra un posible método para determinar la dirección de la mirada;

la Fig. 4 muestra una realización, donde se aplica un espejo frío a una lente de casco;

la Fig. 5 muestra un método posible para barrido de una pantalla de realidad virtual;

la Fig. 6 muestra una realización de método posible para mapear dispositivos de entrada a objetos virtuales; la Fig. 7A muestra una realización del sistema para matrices de sensores/iluminadores dispuestos sobre y/o en una lente de un dispositivo portátil;

la Fig.7B muestra una vista detallada de una realización, donde las fibras ópticas están dispuestas dentro de ranuras en una lente de visión primaria;

la Fig. 7C muestra una vista de perfil de un punto de terminación de la fibra óptica de la Fig. 7B;

la Fig. 8 es un diagrama de bloques de un sistema informático ilustrativo que puede utilizarse en al menos alguna porción de los aparatos o sistemas, o que aplica al menos alguna porción de los métodos;

la Fig. 9 es una vista de un dispositivo de visualización en el que se produce una modificación de la imagen en respuesta al punto de mirada del usuario;

la Fig. 10A es un diagrama de cómo la calidad de la imagen puede variar continuamente dentro de un área de imagen modificada;

la Fig. 10B es un diagrama de cómo puede variar la calidad de la imagen en etapas dentro de un área de imagen modificada;

la Fig. 11 es una vista de un dispositivo de visualización en el que se produce la modificación de la imagen en respuesta a un cambio detectado en el punto de mirada de un usuario;

la Fig. 12 es un diagrama de flujo de un posible método para modificar una imagen basado en el punto de mirada del usuario.

la Fig. 13 es una sección transversal esquemática de un dispositivo según algunas realizaciones;

la Fig. 14 ilustra una sección transversal de un elemento óptico;

la Fig. 15 es una sección transversal de una porción de un elemento óptico de la invención;

la Fig. 16 es una vista frontal del elemento óptico de la Fig. 15; y

las Fig. 17a-c muestran diferentes ejemplos de dispositivos portátiles que comprenden un elemento óptico.

En las figuras adjuntas, los componentes y/o características similares pueden tener la misma etiqueta de referencia numérica. Además, varios componentes del mismo tipo pueden distinguirse siguiendo la etiqueta de referencia mediante una letra que lo distinga de componentes y/o características similares. Si únicamente se utiliza la primera etiqueta de referencia numérica en la especificación, la descripción es aplicable a uno cualquiera de los componentes y/o características similares que tengan la misma primera etiqueta de referencia numérica independientemente del sufijo de letra.

Descripción detallada de la invención

La siguiente descripción proporciona realizaciones ilustrativas solamente. Más bien, la siguiente descripción de las realizaciones ilustrativas proporcionará a los expertos en la técnica una descripción habilitante para implementar una o más realizaciones ilustrativas. Se entiende que pueden hacerse varios cambios en la función y disposición de los elementos sin abandonar el ámbito de la invención tal como se expone en las reivindicaciones adjuntas.

Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia del análisis de cualquier detalle con respecto a la realización de la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en la presente memoria.

En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto en la técnica entenderá que las realizaciones pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama en bloque para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.

Además, cabe señalar que pueden describirse ejemplos individuales como un proceso que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama estructural o un diagrama de bloques.

Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.

La expresión “ medio legible por máquina” incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o transmitir una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.

Además, pueden implementarse ejemplos, al menos en parte, o bien manual o bien automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementan en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.

La presente invención se refiere, de forma general, a un dispositivo portátil que incluye una pantalla y un sensor de imagen, el dispositivo portátil utiliza información obtenida a través del sensor de imagen para alterar la información en la pantalla. Ejemplos adicionales que no forman parte de invención reivindicada se refieren a sistemas y métodos para utilizar información relacionada con un ojo para alterar información en una pantalla.

Los dispositivos portátiles que contienen pantallas se conocen bien, de forma típica, se utilizan en sistemas de Realidad Virtual (RV) y Realidad Aumentada (RA). En estos sistemas, las pantallas se utilizan para proporcionar a un usuario una experiencia que simula una realidad distinta en el caso de RV, o una realidad mejorada en el caso de RA.

En algunos casos que no forman parte de la presente invención, el dispositivo portátil no necesita contener una pantalla de ningún tipo. Por ejemplo, un sistema descrito por la US-9.041.787 no requiere una pantalla.

En algunas realizaciones, puede incorporarse el uso de dispositivos de seguimiento ocular y similares con estos dispositivos portátiles para mejorar su rendimiento. Por ejemplo, la publicación de solicitud de patente número US-2015/0062322 describe un dispositivo de seguimiento ocular portátil.

Se describe una aplicación de seguimiento ocular en un dispositivo de realidad virtual en Using an Eye-Tracking System to Improve Camera Motions and Depth-of-Field Blur Effects in Virtual Environments, Hillaire y col., 2008, Virtual Reality Conference, donde el seguimiento ocular se utiliza para determinar el punto de enfoque del usuario en una realización virtual. El punto de enfoque se utiliza a continuación cuando se representa el entorno virtual para mejorar la sensación del usuario cuando navega por el entorno virtual.

Las realizaciones de la presente invención buscan proporcionar soluciones mejoradas para el seguimiento ocular en dispositivos portátiles, y usos mejorados de información de seguimiento ocular en RV, RA u otros entornos. Estas mejoras pueden tener que ver con soluciones de hardware para su uso en dispositivos portátiles, así como soluciones de software para su uso con dispositivos iguales o similares.

Por lo tanto, un objeto de la presente invención es proporcionar un dispositivo portátil de seguimiento ocular mejorado. Este y otros objetivos de las realizaciones de la presente invención serán evidentes a partir de la especificación y de las reivindicaciones junto con las figuras adjuntas.

Se dispondrán diversas realizaciones y aspectos de la presente invención utilizando títulos en la presente memoria para facilitar una comprensión más fácil de la presente invención.

Según un primer aspecto, el dispositivo portátil incluye al menos una pantalla y un aparato de seguimiento ocular. La información del aparato de seguimiento ocular puede ser utilizada por un dispositivo informático asociado (por ejemplo, ordenador, tablet, dispositivo móvil u otro dispositivo activado por procesador) para influir en, o alterar, elementos mostrados en la pantalla.

Según la invención, el aparato de seguimiento ocular incluye al menos un sensor de imagen y al menos una fuente de iluminación. En algunas realizaciones el aparato de seguimiento ocular puede incluir dos sensores de imagen y dos fuentes de iluminación. Es posible cualquier número de sensores de imagen y fuentes de iluminación dependiendo de la realización, y puede haber o no un número equivalente de sensores de imagen y de fuentes de iluminación. Las fuentes de iluminación proyectan iluminación sobre el ojo u ojos de un portador del dispositivo portátil, y el sensor de imagen captura una o más imágenes del ojo u ojos del usuario. Dependiendo de la localización del reflejo de la iluminación en el ojo, puede determinarse una dirección de la mirada del usuario. A modo de ejemplo, se describe en la publicación de solicitud de patente número US-2015/0061996 un sistema adecuado para determinar la dirección de la mirada de un usuario con un aparato de seguimiento ocular portátil.

Una unidad informática u otro dispositivo de procesamiento asociado puede conectarse de forma directa o inalámbrica al aparato de seguimiento ocular y a la pantalla. La unidad informática, u otro dispositivo de procesamiento, realiza cálculos basados en información procedente del aparato de seguimiento ocular y controla la información u otro contenido mostrado en la pantalla, potencialmente después de tener en cuenta los cálculos para modificar la información u otro contenido mostrado en la pantalla.

La Fig. 1 muestra un diagrama de bloques de un casco 100 de RV típico con seguimiento de la mirada de varias realizaciones. Diferentes realizaciones pueden tener una cantidad menor o mayor de componentes, y pueden situarse/configurarse de forma variable, como se describe en la presente memoria. El casco 100 puede incluir un dispositivo 110 de visualización, un dispositivo 120 de seguimiento ocular que incluye iluminador(es) 123 y sensor(es) 126 de imagen/luz. Los iluminadores 123 y sensores 126 de imagen/luz pueden incluir lentes dedicadas. El procesador 130 puede proporcionar control computacional/operativo para los componentes. En algunas realizaciones, el casco 100 puede incluir también un subsistema 140 de detección de movimiento/desplazamiento para detectar el movimiento del casco 100. Un bus de comunicación, no mostrado, puede proporcionar comunicación por cable y/o inalámbrica con un dispositivo informático asociado.

Sensor de perfil

En algunas realizaciones, puede utilizarse un sensor de perfil para determinar la dirección de la mirada de un usuario. En estas realizaciones, puede proporcionarse un dispositivo portátil que incluye al menos un sensor de perfil dirigido hacia al menos uno de los ojos de un usuario. Un ejemplo de un sensor de perfil adecuado es el fabricado por Hammamatsu con el número de modelo S9132. Un sensor de perfil actúa resumiendo los valores de todos los píxeles en una fila y/o en una columna a un solo valor, como comprenderá un experto en la técnica.

Además, puede proporcionarse al menos un emisor de luz infrarroja y dirigirse hacia al menos uno de los ojos del usuario. De este modo, un puede utilizarse sensor de perfil para determinar la localización de un reflejo de la luz infrarroja de la córnea del usuario, por lo demás denominado “destello” . Por lo tanto, puede hacerse un seguimiento rudimentario de la mirada analizando la localización del destello en la córnea del usuario, como comprenderá fácilmente un experto en la técnica. En una mejora adicional, pueden utilizarse dos o más sensores de perfil. Esto ofrece varias ventajas.

En primer lugar, si se utiliza más de un sensor de perfil bidimensional, puede ser posible determinar el centro de la córnea del ojo de un usuario en tres dimensiones, después de determinar el radio de la córnea y las posiciones de destellos en tres dimensiones, a diferencia de dos dimensiones.

En segundo lugar, disponer al menos dos sensores de perfil de modo que los destellos resultantes no se superpongan permite una detección más precisa del destello. Por ejemplo, consideremos un caso con dos destellos causados por los iluminadores A y B. Si se obtienen imágenes con un sensor de perfil unidimensional alineado en la misma dirección que los destellos, el sensor registraría únicamente una sola respuesta causada por ambos destellos, por lo que sería difícil o imposible determinar si el destello es causado por el iluminador A, el iluminador B o ambos. Por lo tanto, es ventajoso alinear los iluminadores y los sensores de perfil de modo que los destellos no se superpongan en ninguna lectura de ningún sensor de perfil.

De forma alternativa, los iluminadores pueden modularse para asegurar que solo un iluminador se encienda en un momento dado. Puede diseñarse un sensor de perfil en tal disposición para funcionar a una velocidad de muestreo muy rápida, permitiendo obtener muchas muestras, y capturando un destello de únicamente un iluminador en cada muestra dentro de un periodo de tiempo corto para asegurar únicamente movimiento ocular mínimo entre las muestras.

En tercer lugar, pueden utilizarse múltiples sensores de perfil unidimensionales. Para que tal sistema funcione con precisión, cada sensor debe situarse y rotarse uno en relación con el otro. De este modo, la dimensión única para cada sensor podría alternarse entre estar en configuración horizontal y vertical, aunque la diferencia de orientación relativa no necesita limitarse a 90 grados. Además, puede ser deseable en estas disposiciones añadir una lente de forma cilíndrica a cada sensor de perfil de una dimensión.

En algunas realizaciones, el sensor de perfil puede emitir la suma de todas las filas y/o la suma de todas las columnas de la matriz de píxeles del sensor a un dispositivo de procesamiento. Puede encontrarse un reflejo de luz infrarroja del iluminador infrarrojo en la córnea de un usuario, conocido como destello, utilizando una técnica conocida como detección de picos. La detección de picos puede realizarse tanto en la suma de las filas como en la suma de las columnas. La ilustra esta técnica en una salida de la suma de filas o columnas, en donde el eje x representa los píxeles del sensor de perfil, y el eje y representa la magnitud, con un ejemplo de un pico resaltado.

En una mejora opcional, para facilitar el seguimiento ocular de alta velocidad, donde se conozca una posición de destello calculada previamente - solo debe analizarse un subconjunto de píxeles para un pico. Por ejemplo, solo pueden analizarse 10-20 píxeles cercanos a la posición conocida anterior de destello.

Una vez conocida la posición del destello, puede determinarse la dirección de la mirada utilizando, por ejemplo, un modelo polinómico de destello a punto de mirada:

mirada x= c L x+c² y c ³xy+ c4 x ² +c⁵ y ²+cs

mirada v=c⁷ x+cHy+c ⁹ xy+cwx²+cuy ²+c ^{, 2}

en donde mirada^x y mirada^y son las posiciones x e y del punto de mirada, x e y son las posiciones x e y del destello, y c1... c12 son parámetros de modelo calibrados.

En algunas realizaciones, puede proporcionarse más de un iluminador en combinación con el sensor de perfil. Estos iluminadores pueden activarse o modularse selectivamente, y el dispositivo de procesamiento puede determinar qué iluminador activar en función de métricas derivadas de datos de imágenes capturadas. De forma alternativa, los iluminadores pueden encenderse en una secuencia predefinida asegurando que solo se encienda un iluminador en un momento dado.

En otra realización, el dispositivo portátil puede contener además al menos un sensor de imagen del tipo de sensor de área convencional. Este sensor convencional también puede dirigirse a al menos uno de los ojos del usuario. El sensor convencional puede capturar imágenes del ojo de un usuario y el sistema puede realizar el seguimiento ocular tradicional por Reflejo Corneal de Centro de Pupila (PCCR). El PCCR es un método muy conocido y fácilmente comprendido para determinar la mirada de un usuario. Puede encontrarse más información sobre este método en muchas partes, incluyendo Guestrin, E.D., Eizenman, E., “General Theory of remote gaze estimation using the pupil center and corneal reflections” , Biomedical Engineering, IEEE Transactions, vol. 53, n.° 6, págs. 1124-1133, junio de 2006.

Combinando un sensor de perfil, activado para generar la suma de todas las columnas y/o la suma de todas las filas, con un sensor de imagen convencional, el sistema puede realizar el seguimiento de destello utilizando el sensor de perfil, y el seguimiento de PCCR utilizando el sensor convencional. Debido a la información adicional proporcionada por el sensor de perfil, el sensor convencional solo necesita funcionar a 0,5 a 10,0 Hz. Por lo tanto, el sistema puede lograr un consumo de baja potencia, baja latencia y una velocidad de imagen (o muestreo) alta.

Un sensor de perfil que rastrea el destello proporcionará datos de mirada suficientes siempre que el sensor permanezca fijo con respecto a la cara del usuario, mientras que las imágenes del sensor de imagen convencional permiten compensar el deslizamiento cuando el sensor se mueve con respecto a la cara. Sin embargo, en general, los movimientos oculares son sustancialmente más rápidos que cualquier deslizamiento potencial de un dispositivo portátil en la cabeza del usuario. Por lo tanto, interesa encontrar un modo de rastrear únicamente la posición del destello a baja potencia y baja latencia. Esto puede permitir la “foveated rendering” en cascos de RV, en donde una solución de seguimiento ocular de potencia relativamente baja puede permitir ahorros sustanciales en el consumo general de energía del sistema de RV, dado que los requisitos de potencia de producción de gráficos pueden reducirse significativamente.

Por ejemplo, es posible configurar el sensor en un modo donde pasa por dos o más iluminadores, teniendo un único iluminador encendido por exposición al sensor. Por ejemplo, el sensor se estar configurado para que funcione en un ciclo, donde un primer iluminador se ilumina durante una primera exposición del sensor, calculándose posteriormente la suma en al menos un 10 % de los elementos de píxel en al menos un 10 % de las filas del área sensible y la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las columnas del área sensible (y se detecta una posición de destello). A continuación, se enciende un segundo iluminador durante una segunda exposición del sensor y, después, se calcula la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las filas del área sensible y la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las columnas del área sensible. A continuación, el sensor captura una imagen convencional de al menos una subparte del área sensible del sensor mientras se enciende al menos uno de los iluminadores.

En una aplicación alternativa, el sensor puede configurarse para funcionar en un ciclo, en donde un primer iluminador se enciende durante una primera exposición del sensor y, después, se calcula la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las filas del área sensible. En segundo lugar, el primer iluminador se enciende durante una segunda exposición del sensor y se calcula la suma de al menos un 10 % de los elementos de píxel en al menos un 10 % de las columnas del área sensible. A continuación, el sensor captura una imagen convencional de al menos una subparte del área sensible del sensor mientras se enciende al menos uno de los iluminadores.

Un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero también activado para generar perfiles de salida para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, puede incluir clavijas de salida para sincronizar la exposición de uno o múltiples iluminadores con la exposición del sensor.

Un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero también activado para emitir perfiles para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, también puede soportar la conexión encadenada, permitiendo, por lo tanto, que dos o más sensores se conecten a una unidad de procesamiento a través del mismo bus de datos, por ejemplo, una interfaz MIPI CSI-2.

Un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero activado también para generar perfiles de salida para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, puede incluir además medios para detectar la distancia a un objeto en su campo de visión. Esto puede hacerse mediante el análisis de “tiempo de vuelo” .

Para compensar los datos del perfil de luz ambiental y/o los datos de imágenes convencionales, puede muestrearse un sensor de imagen periódicamente sin iluminación activa, es decir, sin tener encendido ninguno de los iluminadores.

El sensor de imagen puede utilizarse también para identificar al usuario para el inicio de sesión, seguridad y/u otros motivos, a través del reconocimiento del iris.

También puede diseñarse un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero también activado para generar perfiles de salida para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, de modo que cada píxel pueda incluirse únicamente en la suma de columnas o en la suma de líneas cuando el sensor funciona en modo de perfil. Por ejemplo, los elementos de píxel pueden disponerse en un patrón cuadriculado donde únicamente uno de cada dos píxeles pueda sumar se en un perfil de fila y los otros píxeles puedan sumarse en un perfil de columna.

Una aplicación alternativa del sensor de imagen es que el área sensible se divida en un patrón de cuadrícula, donde uno de cada dos píxeles se lee en filas y uno de cada dos píxeles se lee en columnas, teniendo esencialmente un convertidor AD junto a cada fila, y un convertidor AD junto a cada columna. Esto significa que la imagen convencional para este sensor sería dos imágenes a mitad de resolución del sensor, una leída verticalmente y otra leída horizontalmente. Esto añade complejidad computacional para el seguimiento ocular tradicional mediante PCCR. La Fig. 3 muestra tal configuración en un ejemplo, así como otras descritas anteriormente, donde un sensor de imagen de área que emula a un sensor de perfil mediante sus píxeles individuales, un sensor de perfil bidimensional y/o dos sensores de perfil unidimensional orientados ortogonalmente, pueden emplearse de modo que uno de cada dos píxeles de una de cada dos filas (marcada con 'X') se utilice para la adquisición de datos horizontales de destello/imagen (agrupaciones horizontales 1-5), y uno de cada dos píxeles de una de cada dos columnas (también marcada con 'X') se utilice para la adquisición de datos vertical de destello/imagen (agrupaciones verticales 1-5).

El beneficio sería que el sensor pudiera estar diseñado de un modo tal que soporte la agrupación de píxeles horizontales para la imagen leída desde cada línea y la agrupación de píxeles verticales para la imagen leída desde cada columna, facilitando por tanto una detección de destellos de baja potencia. Por ejemplo, el sensor podría estar diseñado para sumar los valores de 8-16 elementos de píxel o aún más en un valor, lo que significa que podría funcionar como un sensor de perfil que soporta una funcionalidad de subventanas, lo que puede facilitar la supresión de señales irrelevantes y un ruido más bajo.

Un sensor activado para funcionar como sensor de perfil, con o sin soporte para subventanas, puede incluir lógicos de HW para detectar el centro del destello, reduciendo de este modo aún más el consumo de energía y de la cantidad de datos necesarios para su envío a una unidad externa de procesamiento. En el caso de que el sensor soporte subventanas, el sensor puede cambiar la posición de la subventana, después de la detección del centro de destello, para asegurar que la siguiente imagen de perfil incluya el destello.

Una aplicación alternativa de un rastreador ocular que soporta tanto el seguimiento ocular tradicional por PCCR como el seguimiento de destello, para permitir el seguimiento ocular de baja potencia con latencia y velocidades de datos que soportan “foveated rendering” , es tener un sensor regular para la obtención de imágenes del ojo, pero incluye un lógico de HW para la detección del centro del destello cuando el sensor funciona en un modo de subventana determinado predefinido. Esto solo puede ser posible, por ejemplo, con una subventana de 24x24 píxeles, 32x32 píxeles, 48x24 píxeles, o alguna otra resolución apropiada.

En algunas realizaciones, se pueden emplear pantallas de diodos orgánicos emisores de luz (OLED). Las pantallas OLED son normalmente transparentes, con un espejo situado detrás de las mismas para asegurar que toda la luz se envíe hacia afuera, hacia el observador. Para fines de seguimiento ocular, puede situarse un espejo frío detrás de una pantalla OLED que refleja esencialmente toda la luz visible procedente de la pantalla hacia el ojo del usuario, pero que deja pasar la luz del NIR. De este modo, puede situarse un sensor de seguimiento ocular que detecta luz del NIR detrás de la pantalla, mirando a través de ella, hacia el observador, proporcionando de este modo un ángulo de visión ventajoso hacia el ojo del usuario.

En cascos de RV es común, además, utilizar lentes de Fresnel para hacer que la pantalla aparezca a una distancia mayor del usuario de la que realmente está. El inconveniente de tener una lente como esta es que distorsiona la imagen de la pantalla y de igual modo distorsiona la imagen del ojo tal como se ve desde un sensor de seguimiento ocular que mira a través de la lente. Por lo tanto, puede ser preferible compensar esta distorsión en los algoritmos de seguimiento ocular.

Un efecto adicional de la lente de Fresnel es que puede causar defectos circulares en la imagen del ojo, como se observa desde el sensor de seguimiento ocular. El patrón es similar al efecto de distorsión de las olas en el agua cuando se lanza una piedra pequeña y se trata de mirar algo debajo de la superficie. Por lo tanto, puede ser preferible calibrar un sensor de seguimiento ocular que mira a un ojo a través de una lente de Fresnel para asegurar que las imágenes del sensor se ajusten para compensar los defectos de la lente de Fresnel, antes de que los algoritmos de visión artificial intenten detectar diferentes características del ojo o destellos.

Puede diseñarse un sensor de imagen activado para funcionar como un sensor de imagen convencional, pero también activado para generar perfiles de salida para la suma de líneas de píxeles y/o la suma de columnas de píxeles del área sensible, para soportar subventanas. Esto es común en sensores de imagen convencionales, pero permitiendo subventanas cuando estas funcionen en modo de perfil, pueden eliminarse gran parte de los reflejos potencialmente disruptivos o de las fuentes de luz en el campo de visión procedentes del sensor antes de que los elementos de píxel se sumen hasta un perfil de fila y/o un perfil de columna, asegurando por tanto, una mayor precisión en la determinación de la posición de destellos y permitiendo el recentrado de la subventana para la muestra posterior.

La Fig. 3B muestra un diagrama de bloques de métodos 300 posibles descritos anteriormente para determinar la dirección de la mirada de un usuario. En el bloque 310, uno o más ojos se iluminan con uno o más de los iluminadores disponibles. En el bloque 320, se obtienen imágenes de uno o más ojos a través de uno o más de los sensores disponibles (sensores de perfil y/o sensores de imagen de área). Los bloques 310 y 320 pueden repetirse según sea necesario. En el bloque 330, como se ha descrito anteriormente, la cantidad de sensores y/o qué parte de los mismos puede estar limitada a enfocarse en una subventana de píxeles/resolución probables donde probablemente sea necesaria la obtención de imágenes para determinar la localización de la mirada. Los bloques 310, 320 y 330 pueden repetirse según sea necesario. En el bloque 340 puede determinarse la dirección de la mirada, y los bloques 310, 320, 330 y 340 pueden repetirse según sea necesario para volver a determinar continuamente el cambio de dirección de la mirada y/o subventanas según sea necesario.

Espejo caliente

En una realización, como se muestra en la Fig. 4 , se proporciona una lente 400 en un dispositivo portátil, tal como un casco de realidad virtual. La lente 400 se posiciona de modo que un portador del dispositivo puede ver una pantalla 110 a través de la lente 400. Fijado sobre la lente 400 hay un revestimiento o película 410 de espejo caliente, y fijados sobre la película 410 del espejo caliente hay múltiples iluminadores 420. La película 410 tiene una parte 430 recortada hacia el centro de la lente 400 para permitir que una cámara de seguimiento ocular se vea a través de la lente 400.

El revestimiento o película 410 de espejo caliente puede aplicarse directamente sobre la lente 400, o para facilitar la fabricación, el revestimiento o película 410 de espejo caliente también puede estar en forma de una pieza separada que no funciona como una lente. Además, y también para facilitar la fabricación, puede situarse una pieza separada de vidrio o plástico sobre el espejo caliente, y pueden fijarse los iluminadores 420 a esta pieza separada.

Los iluminadores 420 pueden emitir luz infrarroja hacia afuera hacia el ojo de un portador 440 y, después, ser reflejada por el ojo del usuario de vuelta hacia la lente 400. La película 410 tiene las propiedades de un espejo caliente, en otras palabras, la película 410 permite que pase la luz en el espectro visible mientras impide que pase la luz en el espectro infrarrojo. De esta modo, la luz visible emitida por una pantalla 110 detrás de la lente 400 puede pasar al ojo del usuario, al tiempo que se impide que pase la mayor parte de la luz infrarroja.

Un sensor de imagen situado detrás de la lente, y que mira a través de la parte 430 de recorte, captura imágenes del ojo del usuario que contienen reflejos de la luz infrarroja emitida por los iluminadores 420; un dispositivo de procesamiento conectado al sensor de imagen, analiza posteriormente esas imágenes para determinar una dirección de la mirada del usuario basándose en los reflejos de la luz infrarroja.

Aunque esta realización se ha descrito con referencia a múltiples iluminadores infrarrojos 420, es posible que funcione adecuadamente con solo un iluminador.

Los iluminadores 420 pueden aplicarse a la película 410 de múltiples formas, primero simplemente con adhesivo o, de forma alternativa, una posible aplicación es imprimiendo componentes electrónicos directamente sobre la película 410. Además, los iluminadores 420 tendrán que tener líneas de comunicación aplicadas a la película 410 de modo que los iluminadores puedan recibir energía para encenderse y apagarse.

En una realización, el dispositivo portátil incluye dos lentes 400 con una película asociada 410 e iluminadores 420. La película 410 puede aplicarse a la lente con adhesivo o alguna otra sustancia semipermanente. En un sistema con dos lentes, la luz puede reflejarse desde la piel de un usuario hacia las lentes, por lo cual las lentes tienen un efecto de guía de onda y canalizan la luz lejos del dispositivo portátil. La presencia del espejo caliente 410 actúa para disminuir la aparición de esta luz.

En una realización, los iluminadores 420 pueden estar situado en el lado de la lente 400 (o piezas adicionales como se ha descrito anteriormente). La iluminación procedente de los iluminadores 420 puede viajar después a través de la lente 400 para que se emita delante de los ojos del usuario. Este guiado de la luz se produce en un área de la lente donde se ha aplicado el espejo caliente 410, para impedir que la iluminación se emita hacia la pantalla 110.

En otra adición, puede añadirse un espejo caliente 410 en ángulo delante de la pantalla 110, y el sensor de imagen puede disponerse para ver el espejo caliente. A continuación, la lente 400 se sitúa delante del ojo de un usuario con iluminadores 420 situados adyacentes al mismo. Los iluminadores 420 iluminan el ojo del usuario, y debido a que la lente 400 tiene una película o revestimiento de espejo caliente, como se ha descrito anteriormente, se reduce la iluminación difusa procedente de los iluminadores 420. Un recorte en la película o revestimiento del espejo caliente permite que el sensor de imagen pueda capturar imágenes del ojo del usuario a través del espejo caliente en ángulo.

Algoritmos

En varios ejemplos que no forman parte de la presente invención, se utilizan algoritmos para determinar, a partir de una imagen que contiene un ojo y reflejos de luz infrarroja procedentes de dicho ojo, una dirección de la mirada del ojo. Una unidad de procesamiento realiza cálculos en función de algoritmos que utilizan imágenes capturadas para determinar la dirección de la mirada.

Los algoritmos utilizados en los dispositivos portátiles descritos en la presente memoria son sustancialmente similares a los algoritmos utilizados en unidades de seguimiento ocular existentes remotas. Como tal, el experto en la técnica entenderá bien el enfoque fundamental para determinar una dirección de la mirada.

Sin embargo, a continuación se describen varias mejoras.

Posición de la pupila

Una etapa para determinar una dirección de la mirada en un dispositivo de seguimiento ocular consiste en estimar la posición y el tamaño de la pupila. En algunas realizaciones, puede utilizarse el siguiente método para estimar el tamaño y/o la posición de la pupila.

En una imagen capturada, se analizan las localizaciones de las reflexiones de la luz infrarroja emitida por los iluminadores para determinar su localización con respecto a una imagen capturada previamente. A continuación se utilizan los desplazamientos de los reflejos, en combinación con la posición de la pupila de una imagen capturada previamente, para determinar la posición de la pupila en la imagen actual.

Lente de fresnel

Cuando una lente de Fresnel está presente en un dispositivo portátil, una imagen capturada por el sensor de imagen de seguimiento ocular a través de la lente de Fresnel contiene, de forma típica, círculos concéntricos como los presentes en la lente de Fresnel. Estos círculos concéntricos pueden ser determinados erróneamente como bordes de pupila por la unidad de procesamiento cuando se intenta determinar la detección de mirada, por lo tanto es necesario retirar rápidamente y con precisión estos círculos concéntricos.

En algunas realizaciones, estos círculos concéntricos se eliminan de una imagen capturada utilizando erosión. La erosión es un concepto de procesamiento de imágenes que sería bien entendido por un experto en la técnica. Utilizando la erosión, se pasa un kernel pequeño, por ejemplo, de 3x3 o 5x5 píxeles, sobre la imagen capturada píxel a píxel. Para cada píxel, el valor de intensidad se sustituye por el píxel más oscuro cerca del píxel, en donde el tamaño de proximidad es definedo por el kernel. Dado que la pupila en una imagen capturada es oscura, los círculos concéntricos claros en la imagen capturada se sustituyen por la pupila oscura.

Luz de enmascaramiento

Otra realización permite el uso de hardware o software para realizar operaciones matemáticas a lo largo de líneas a través de un sensor de imagen bidimensional para proporcionar una salida similar a la de un sensor de perfil. Las líneas pueden ser, de forma típica, las filas y columnas de ese sensor, pero no necesariamente se limitan a estas orientaciones. Esto permitiría otras operaciones además de solo calcular la media y/o suma de todos los valores de píxeles en una línea, así como hacer posible enmascarar la contribución de luz de partes de la imagen que se sabe que no contienen ningún destello. La contribución de la luz de enmascaramiento de las partes de la imagen que no contienen ningún destello aumenta la relación señal a ruido y, por lo tanto, ayuda a detectar el destello permitiendo examinar el perfil de intensidad de una respuesta de perfil. En realizaciones ilustrativas, el área a enmascarar puede ser todo fuera de la córnea, y la salida más reciente de los algoritmos de seguimiento ocular podría utilizarse para dar un área aproximada a enmascarar.

La simulación de un sensor de perfil bidimensional mediante el uso de un sensor de imagen tradicional reduce la carga computacional requerida para el seguimiento ocular y, por lo tanto, el consumo de potencia. Sin embargo, la velocidad de imagen queda limitada a la velocidad de imagen de los sensores de formación de imágenes bidimensionales.

Es posible enmascarar la contribución de luz de partes de la imagen que no contengan ningún destello incluso cuando se usa un sensor de perfil real.

Un método para enmascarar la luz de partes de la imagen que se sabe no contienen ningún destello es utilizando uno o varios iluminadores cuya luz puede controlarse espacialmente (tal como una matriz OLED de infrarrojos detrás de una lente, cualquier disposición con un proyector DLP o LCOS, o una multitud de otras soluciones fácilmente entendidas por un experto en la técnica).

Otra modo de enmascarar la luz de las partes de la imagen conocidas por no contener ningún destello es mediante el uso de elementos que bloquean las partes de la luz antes de entrar en el sensor de perfil. Esos elementos de bloqueo podrían estar basados en LCD, basados en mecánica o basados en una multitud de otras soluciones fácilmente comprendidas por un experto en la técnica.

Simulación de un sensor de perfil utilizando un sensor de imagen tradicional

Es posible utilizar un sensor de imagen tradicional que incluya una matriz de píxeles para simular un sensor de perfil, como se ha explicado anteriormente. Para lograr esto, el hardware o software puede realizar operaciones matemáticas (tales como calcular el nivel de intensidad promedio a lo largo de una línea en el sensor o la suma de todos los niveles de intensidad a lo largo de una línea en el sensor) para proporcionar una salida similar a la de un sensor de perfil. De forma típica, esto equivaldría a producir filas o columnas del sensor tradicional. Sin embargo, es posible generar cualquier configuración de píxeles, por ejemplo, una línea diagonal. Utilizando este sistema simulado, es posible realizar más operaciones que solo la media tradicional y la suma de todos los valores de píxeles en una línea, tal como el enmascaramiento, como se ha descrito anteriormente. Además, sería posible enmascarar la luz detectada desde áreas de una imagen capturada (píxeles en el sensor de imagen) conocida por no contener ningún destello. Realizando esta función de enmascaramiento, puede aumentarse la relación de señal a ruido. Un ejemplo de un área a enmascarar es el área fuera de la córnea de un usuario, ya que esta área no puede contribuir con un destello.

Puede enmascararse la luz de las áreas de una imagen que no contribuyen a un destello utilizando un sensor de perfil tradicional. Otras opciones para enmascarar la luz incluyen el uso de iluminadores cuya luz pueda controlarse espacialmente, tales como una matriz OLED infrarroja detrás de una lente, cualquier disposición con un proyector DLP o LCOS, o cualquier otra solución fácilmente comprendida por un experto en la técnica. Otra opción es bloquear la luz procedente de las áreas no contribuyentes impidiendo que llegue al sensor, esto puede lograrse mediante una solución mecánica, una solución de LCD o cualquier otra solución comprendida por unexperto en la técnica. Una solución de LCD mecánica puede incluir situar una LCD transparente delante de un sensor de perfil.

Rastreador ocular sincronizado con la pantalla

Para determinadas aplicaciones de seguimiento ocular es útil sincronizar el dispositivo de seguimiento ocular con la pantalla, especialmente en un dispositivo portátil. Según este aspecto de las realizaciones, se proporciona un dispositivo portátil con una pantalla, al menos una cámara y al menos un iluminador. Las cámaras e iluminadores forman un dispositivo de seguimiento ocular. La o las cámaras y/o el o los iluminadores pueden sincronizarse con la pantalla. La sincronización puede caracterizarse como sincronizar la velocidad estroboscópica de la cámara con la sincronización vertical de la pantalla.

Además es deseable sincronizar el dispositivo de seguimiento ocular con uno o más dispositivos de posición. Por ejemplo, el dispositivo de seguimiento ocular puede sincronizarse con una unidad de medición inercial o similar, o con un dispositivo de posición de sala que utiliza luz infrarroja u otra luz no visible. Valve®ha propuesto dicho sistema con el nombre “ Lighthouse” . Un experto en la técnica entenderá fácilmente cómo puede funcionar tal sincronización.

Rastreador ocular extraíble

Según otro ejemplo que no forma parte de la presente invención, se proporciona un rastreador ocular extraíble donde el rastreador ocular puede insertarse en un dispositivo portátil. El rastreador ocular puede integrarse con otro dispositivo, como un teléfono, tablet, reloj, pantalla o similares.

El rastreador ocular puede incluir al menos una cámara y al menos un iluminador, y su función primaria puede ser el seguimiento de la mirada de un usuario con respecto al dispositivo en el que hay integrado, por ejemplo, un teléfono, tablet o reloj. Como función secundaria, el dispositivo en el que se integra a veces el rastreador ocular, puede insertarse en un dispositivo portátil. El dispositivo puede proporcionar entonces funcionalidad al dispositivo portátil tal como una pantalla, y el rastreador ocular puede utilizarse para determinar la dirección de la mirada del portador del dispositivo portátil. El método de funcionamiento del rastreador ocular puede ser cualquier método tradicional o cualquier método descrito en la presente memoria.

Autenticación de la sonrisa

Según un aspecto, un sensor de imagen en un dispositivo portátil utilizado para el seguimiento ocular puede utilizarse también para capturar imágenes de un área alrededor de los ojos de un usuario. Por ejemplo, estas imágenes pueden analizarse para determinar si un usuario está sonriendo, y si esa sonrisa es genuina o falsa. Las características de las áreas alrededor de los ojos de un usuario pueden utilizarse para determinar si una sonrisa es falsa o genuina. Véase, por ejemplo, Littlewort-Ford, Gwen, Marian Stewart Bartlett, y Javier R. Movellan, “Are your eyes smiling? Detecting Genuine Smiles with Support Vector Machines and Gabor Wavelets” , Proceedings of the 8th Joint Symposium on Neural Computation, 2001.

Según ejemplos que no forman parte de la presente invención, un sensor de imagen utilizado para el seguimiento ocular captura al menos una parte del área alrededor de los ojos cuando captura imágenes de los ojos, estas imágenes pueden analizarse posteriormente utilizando algoritmos de detección de sonrisa conocidos u otros algoritmos para determinar si la sonrisa de un usuario u otra característica facial es falsa o genuina.

Calibración basada en la identificación del iris

Según ejemplos que no forman parte de la presente invención, un sensor de imagen utilizado para seguimiento ocular captura además información relacionada con el iris de un usuario. Esta información del iris puede utilizarse para determinar la identidad del usuario para la entrada en un sistema conectado al rastreador ocular.

Por ejemplo, según algunas realizaciones, se proporciona un dispositivo portátil en donde se proporciona al menos un sensor de imagen y al menos un iluminador infrarrojo. El sensor de imagen e iluminador se orientan hacia un ojo u ojos de un usuario que lleva puesto el dispositivo. El dispositivo contiene además una pantalla, tal como una pantalla de realidad virtual en un casco portátil.

El sensor de imagen captura imágenes del iris del usuario y pasa dichas imágenes a un dispositivo de procesamiento, el dispositivo de procesamiento puede estar situado en el dispositivo portátil o puede estar situado lejos del dispositivo de procesamiento, en cuyo caso la comunicación puede llevarse a cabo mediante medios por cable o inalámbricos como comprenderá el experto en la técnica.

El reconocimiento del iris es una técnica conocida y utiliza técnicas de reconocimiento de patrones matemáticos para identificar de modo único un patrón en un iris, o ambos, de un usuario para la identificación o autenticación del usuario. En su forma más básica, el reconocimiento del iris incluye las etapas de (1) localización - calcular los límites interiores y exteriores del iris; (2) normalización - normalizar los datos capturados para que sean coherentes; (3) extracción de características - formar de un vector de características extraídas de las imágenes capturadas; y (3) concordancia -clasificar el vector de características mediante técnicas de umbralización.

Se han propuesto muchos algoritmos que permiten el reconocimiento del iris, véase, por ejemplo, Daugman J. G., High Confidence Visual Recognition of Persons by a Test of Statistical Independence, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.: 15, N.° 1 I, 1993, págs. 1148-1161.

Basándose en las imágenes del iris del usuario, la unidad de procesamiento conectada (por cable o de forma inalámbrica) con el dispositivo portátil, puede utilizar la identificación del usuario para influir en su función. Por ejemplo, cuando se utiliza un rastreador ocular, la unidad de procesamiento puede cargar un perfil de calibración que proporciona información específica a un usuario con respecto a una desviación entre su posición de mirada calculada y su posición de mirada real. A modo de otro ejemplo, la identificación puede utilizarse para autenticar al usuario como autorizado para accionar el dispositivo portátil, u accionar la unidad de procesamiento conectada al mismo.

Compensación de la torsión ocular

Según otro aspecto de las reivindicaciones, es posible rastrear la torsión ocular. A modo de explicación, el ojo humano está unido a los músculos de modo que el ojo, además de moverse a la izquierda/derecha y hacia arriba/abajo, puede rotar del modo que la parte superior del iris puede rotar más cerca de la nariz al tiempo que la parte inferior del iris rota alejándose de la nariz. También es posible la rotación opuesta. Este tipo de rotación se conoce, de forma general, como torsión ocular.

Cuando un ser humano gira ligeramente la cabeza hacia el lado, la mayoría de los seres humanos giran automáticamente los ojos ligeramente en la dirección opuesta, manteniendo los ojos cerca del nivel con el horizonte. Este efecto solo se produce durante rotaciones pequeñas, ya que no es posible rotar el ojo un gran número de grados de este modo.

Este fenómeno introduce una fuente adicional de errores en los sistemas de seguimiento ocular para todas las personas cuya fóvea no esté perfectamente centrada a lo largo del eje óptico del ojo.

El dispositivo puede rastrear la torsión ocular observando el iris y/u otras características del globo ocular y/o utilizando información de orientación procedente del rastreador ocular. Esto puede proporcionar al rastreador ocular una mejor estimación de la posición de la fóvea y, por lo tanto, proporcionaría una mejor estimación de la mirada del sujeto con seguimiento ocular cuando inclina la cabeza.

Curvatura de la córnea

Según un ejemplo que no forma parte de la presente invención, el al menos un sensor de imagen captura imágenes del ojo de un usuario. La unidad informática utiliza esta información para determinar la forma de la córnea de un usuario. Dependiendo de la posición y orientación de los reflejos procedentes de una fuente de luz infrarroja, puede medirse la curvatura de una córnea. En algunas personas, su córnea tiene una curvatura anormal. Esto puede denominarse astigmatismo.

Con el uso de información obtenida de un sensor de imagen y de fuentes de luz infrarroja, puede modelizarse la curvatura de la córnea y, por lo tanto, puede identificarse a un usuario con una córnea con forma anormal. Con la determinación de la forma de la córnea, pueden tomarse medidas correctivas, tales como la prescripción de una lente adecuada.

Reducción del consumo de energía y de la energía de procesamiento

En algunas realizaciones, para reducir aún más el consumo de energía de un dispositivo portátil que puede incluir una pantalla de realidad virtual u otro sistema de visualización, un dispositivo de seguimiento ocular puede rastrear solo directamente la posición de la mirada de un primer ojo del usuario. A continuación puede determinarse la posición de la mirada del segundo ojo del usuario mediante una predicción basada, al menos en parte, en la posición de la mirada determinada directamente para el primer ojo.

Esto puede lograrse asumiendo que el segundo ojo está aproximadamente en el mismo nivel horizontal del primer ojo, como es biológicamente típico en los seres humanos. De este modo es posible ahorrar la energía que de otro modo utilizaría un dispositivo de seguimiento ocular adicional (que incluye iluminadores, sensores de imagen y/o energía de procesamiento). En algunas realizaciones pueden utilizarse las posiciones de mirada determinadas y predichas combinadas de ambos ojos para determinar una región para “foveated rendering” en una pantalla del dispositivo portátil, proporcionando un ahorro de energía adicional debido al aumento de la eficiencia en la reproducción de vídeo.

En algunas realizaciones, un software particular, como el de juegos y/u otras aplicaciones gráficas de alto nivel, puede solicitar datos de mirada del dispositivo de seguimiento ocular para informar a la aplicación de cómo interactuar posiblemente con el usuario en el futuro, cuánta información gráfica proporcionar a una unidad de procesamiento de gráficos y/o para otro propósito. Si bien en otras realizaciones toda la información de dirección de la mirada puede pasarse a dichas aplicaciones, permitir que las aplicaciones individuales soliciten dicha información, y proporcionar dicha información únicamente previa petición, puede dar lugar a un ahorro de energía y de procesamiento.

Barrido y centrado de realidad virtual

En algunos ejemplos que no forman parte de la presente invención, se proporcionan soluciones para facilitar la capacidad de un usuario para hacer un barrido, y después de eso centrar una pantalla de realidad virtual u otro sistema de visualización en un dispositivo portátil por el usuario. De forma típica, debido a que una pantalla de realidad virtual es infinita en cualquier dirección (es decir, un usuario que mira hacia la derecha en una pantalla virtual eventualmente girará 360 grados para ver la escena original), el barrido puede volverse incómodo para el usuario debido a que solo puede girar su cabeza hasta que sea incómodo para el usuario continuar girando su cabeza.

Para aliviar este problema, los sistemas descritos en la presente memoria pueden permitir que un usuario realice un barrido en la pantalla de realidad virtual girando la cabeza y moviendo su localización de mirada hacia una dirección determinada en la que se hará el barrido, pero permitiendo que la escena visualizada vuelva a centrarse alrededor de un punto cuando se determine que, mientras la cabeza del usuario sigue girada, la dirección de la mirada del usuario se ha centrado de nuevo en la escena (es decir, su localización de la mirada ya no está realizando un barrido).

En algunos ejemplos, el recentrado de la dirección de la mirada debe producirse durante al menos un período de tiempo predefinido para asegurar que el usuario realmente haya finalizado el barrido de su vista. Por ejemplo, la mirada del usuario debe volver a una región relativamente central de la vista actual. En algunas realizaciones el usuario puede fijar el tamaño, forma y posición de la región. En algunas realizaciones, la región puede ser visible de distintas formas, potencialmente según lo establecido por el usuario (es decir, puede superponerse una indicación ligeramente coloreada de la región sobre otro contenido en la pantalla). En algunas realizaciones puede proporcionarse una indicación (es decir, un indicio audible o visual) al usuario para confirmar que la vista de pantalla virtual se ha recentrado, y puede mover nuevamente su posición de la cabeza a una posición frontal, central y neutra. El sistema puede permitir este recentrado de la cabeza del usuario sin hacer que la pantalla vuelva a realizar el barrido en la dirección opuesta al barrido original.

De forma similar, si la dirección de la mirada de un usuario también está en la misma dirección que su movimiento de cabeza, o dentro de una dirección angular determinada/predefinida mutua, la velocidad de barrido puede iniciarse y/o aumentar en situaciones donde la cabeza del usuario permanezca recta (es decir, donde el barrido se detenga y/o disminuya su velocidad), pero su dirección de la mirada indica que se desea un barrido (es decir, al mover la dirección de la mirada hacia los bordes de la vista periférica). Además, la velocidad de extracción podría depender de, y/o ser directamente proporcional a, la magnitud del movimiento de la cabeza del usuario. Eso significa que los movimientos grandes o repentinos de la cabeza del usuario podrían aumentar rápidamente la velocidad de barrido, mientras que los movimientos pequeños o lentos de la cabeza del usuario podrían aumentar lentamente la velocidad de barrido.

Por lo tanto, en un ejemplo que no forma parte de la invención reivindicada, pueden proporcionarse sistemas y métodos para el barrido (y recentrado) de contenido en una pantalla de un dispositivo portátil. Como se muestra en la Fig. 5 , los sistemas descritos en la presente memoria pueden ejecutar un método 500 que incluye en el bloque 510, determinar, por medio de un dispositivo de seguimiento ocular, una dirección de mirada de un usuario de un dispositivo portátil. El método puede incluir, también en el bloque 520, determinar, mediante un sistema de detección de movimiento, una dirección de la cabeza del usuario del dispositivo portátil. El sistema de detección de movimiento puede incluir cualquier dispositivo interno/integrado o externo/remoto para determinar la posición de la cabeza del usuario. El sistema de detección de movimiento puede determinar la posición de la cabeza a través de cualquier medio conocido actualmente, o conocido posteriormente, en la técnica.

El método puede incluir también, en el bloque 530, basado al menos en parte en la dirección de la mirada y en la dirección de la cabeza ambas que son consistentes con una dirección particular, hacer que el contenido mostrado en una pantalla del dispositivo portátil se barra en la dirección particular. El método puede incluir también, en el bloque 540, determinar, durante el barrido del contenido, con el dispositivo de seguimiento ocular, que la dirección de la mirada del usuario ha vuelto a una posición neutra. El método puede incluir también, basado al menos en parte, en la dirección de la mirada del usuario que vuelve a la posición neutra, hacer que el contenido mostrado en la pantalla del dispositivo portátil detenga el barrido.

Además, la dirección de la cabeza del usuario que supere una determinada dirección angular desde una dirección neutra/hacia delante también puede ser la dirección/velocidad de barrido. De forma general, la velocidad de barrido puede basarse en la dirección de la mirada y en la dirección de la cabeza. El usuario puede proporcionar una entrada adicional para ordenar al sistema que detenga el barrido. Además, en algunas realizaciones, el sistema puede proporcionar una indicación visual y/o audible al usuario de que el barrido se ha detenido, y el usuario puede mover la cabeza de vuelta a la dirección hacia adelante/neutra sin preocuparse de que ocurra el barrido en la dirección inversa (como se muestra en el bloque 550).

Mapeo de realidad virtual de dispositivos de entrada

En algunos ejemplos que no forman parte de la invención reivindicada, la detección de la mirada puede permitir el mapeo de las acciones del dispositivo de entrada sobre la superficie de un objeto virtual en una pantalla de realidad virtual. Por ejemplo, si hay situada una esfera virtual en el espacio virtual, el dispositivo de seguimiento ocular puede determinar que en algún punto la dirección de la mirada del usuario es hacia la esfera. Después de recibir una entrada secundaria, o el vencimiento de un período de tiempo predefinido, los dispositivos de entrada asociados pueden tener sus controles mapeados al objeto virtual.

La entrada secundaria podría incluir una entrada de contacto de un dispositivo de entrada tradicional, tal como un teclado, un panel táctil (u otro dispositivo táctil), un ratón o una trackball; o también podría incluir una entrada sin contacto, tal como un comando de voz o una entrada de la mirada. Más específicamente, una entrada de contacto puede tener una entrada direccional en la superficie sensible al tacto que controla el mapeo en la esfera virtual a una posición designada por el usuario; en donde la entrada de dirección significa un gesto táctil; y la entrada de contacto puede ser también una señal de presión recibida desde un dispositivo sensible a la presión asociado a la superficie sensible al tacto; por último, pero no menos importante, la entrada de contacto puede combinarse con el tacto de presión y el gesto táctil. Una entrada de proximidad puede ser también posible cuando la entrada táctil de proximidad se recibe desde un dispositivo táctil asociado a un sensor de proximidad sin contacto físico con la superficie táctil.

El control de mapeo de un dispositivo de entrada al objeto puede adoptar muchas formas. Por ejemplo, si un ratón es el dispositivo de entrada que se mapea, la entrada del ratón puede determinar una rotación del objeto en el espacio virtual, o puede hacer que un indicador visual, como un puntero, en el objeto, se mueva alrededor del objeto virtual. Esto puede permitir que el usuario ejecute acciones complejas utilizando el objeto virtual.

En otro ejemplo, puede haber presente en la pantalla de realidad virtual un panel de control virtual que tenga muchas entradas virtuales, tales como interruptores y botones. Al determinar que la dirección de la mirada del usuario se dirige al panel de control virtual, y que ha pasado un período predefinido de tiempo o que se ha recibido una entrada secundaria, pueden mapearse los controles de un teclado o ratón al panel de control. Esto puede permitir que las teclas del teclado se mapeen del modo correspondiente al panel de control o el movimiento del ratón para hacer que un indicador visual o puntero (es decir, una representación visual de la mano del usuario) se mueva a través del panel de control para seleccionar o activar diversas entradas virtuales en el mismo.

En algunos ejemplos que no forman parte de la invención reivindicada, una porción predefinida del panel de control virtual (u otro objeto virtual) puede ser el área en que debe estar la dirección de la mirada del usuario para activar el mapeo de control (en vez de que la dirección de la mirada del usuario esté situada en cualquier porción del panel de control). En algunas realizaciones, la parte predefinida puede indicarse visualmente y/o etiquetarse en la pantalla virtual.

Por lo tanto, en algunos ejemplos que no forman parte de la invención reivindicada, pueden proporcionarse sistemas que realizan los métodos descritos en la presente memoria. En un ejemplo mostrado en la Fig. 6 , un método 600 para mapear un dispositivo de entrada a un objeto virtual en el espacio virtual visualizado en un dispositivo de visualización puede incluir, en el bloque 610, determinar, a través de un dispositivo de seguimiento ocular, una dirección de la mirada de un usuario.

El método puede incluir también, en el bloque 620, basado al menos en parte en la dirección de la mirada dirigida a un objeto virtual en el espacio virtual mostrado en un dispositivo de visualización, modificar una acción que deban tomar uno o más procesadores en respuesta a recibir una primera entrada desde un dispositivo de entrada. Esto puede ocurrir también en respuesta a la dirección de la mirada dirigida al objeto virtual durante al menos un período de tiempo predefinido, o mientras se recibe una entrada secundaria. También puede notificarse al usuario mediante una indicación visible/audible de que se ha modificado la acción potencial.

La modificación de la acción puede incluir modificar la acción de una acción normal a tomar como respuesta a la recepción de la primera entrada a una acción especializada en el espacio virtual asociado al objeto virtual. La acción especializada en el espacio virtual asociada al objeto virtual puede provocar que la primera entrada gire el objeto virtual y/o provocar que la primera entrada mueva el objeto virtual. En estas u otras realizaciones, la acción especializada en el espacio virtual asociado al objeto virtual puede hacer que la primera entrada mueva un objeto secundario sobre la superficie del objeto virtual. El objeto secundario puede moverse en una dirección que corresponde a una dirección asociada a la primera entrada, y puede ser un puntero u otro marcador de localización virtual.

El método puede incluir también a continuación, en respuesta a la recepción de la entrada del dispositivo de entrada, en el bloque 630, hacer que la acción se produzca en el bloque 640, en donde la acción correlaciona la primera entrada con una interacción con el objeto virtual.

En respuesta a una entrada de un usuario, quizá una entrada terciaria u otra entrada, después de transcurrido un determinado período de tiempo, o porque su mirada se ha alejado del objeto virtual en cuestión, puede detenerse el mapeo de la entrada al objeto virtual, como se muestra en el bloque 650.

Simplemente a modo de ejemplo, los dispositivos de entrada que podrían mapearse incluyen un dispositivo táctil, una pantalla táctil, un dispositivo sensible a la presión, un ratón, una trackball, un joystick, un controlador portátil, un lápiz, un teclado, un dispositivo de entrada de voz y/o cualquier otro dispositivo de entrada descrito en la presente memoria o conocido en la técnica.

En algunos ejemplos que no forman parte de la invención reivindicada, puede ampliarse o desampliarse el efecto aparente de un dispositivo de entrada mapeado a un objeto virtual como se describe en la presente memoria, como percibirá el usuario durante el funcionamiento. Simplemente a modo de ejemplo, en un ejemplo en donde un usuario gira una representación virtual de un planeta, una entrada de movimiento muy pequeña de un ratón mapeada a dicho objeto virtual puede provocar un gran grado de giro del planeta virtual. Por el contrario, cuando un usuario gira una representación virtual de una molécula, una entrada muy grande de un ratón que se mapea a dicho objeto virtual puede provocar únicamente un pequeño grado de giro de la molécula virtual. La cantidad de ampliación o desampliación puede depender de otra entrada establecida por el usuario, o puede programarse previamente en la aplicación particular. La ampliación o desampliación también puede ser variable dependiendo de diversas variables establecidas de programas y usuarios.

Áreas predichas de sacudidas oculares de interés en una pantalla

En algunos ejemplos que no forman parte de la invención reivindicada, pueden detectarse y utilizarse las sacudidas oculares de un usuario para estimar o determinar dónde se encontrará la dirección de mirada del usuario una vez completada la sacudida ocular. Además pueden analizarse las sacudidas oculares para distintos usuarios individuales, y almacenarse la información relacionada con los mismos, para predecir cambios futuros en la dirección de la mirada para un usuario particular al producirse las sacudidas oculares de esta modo (es decir, las sacudidas oculares de velocidades distintas para usuarios distintos dan lugar a distintos cambios angulares en la dirección de la mirada).

Además, las regiones u objetos de interés destacados conocidos pueden informar también de cualquier algoritmo de predicción de la probabilidad de que la dirección de la mirada de un usuario se encuentre eventualmente en la misma una vez completada una sacudida ocular en la dirección de la región u objeto. También pueden analizarse los patrones de dirección de la mirada de un usuario, que incluyen los períodos de tiempo durante los que la dirección de la mirada de un usuario está en una región u objeto determinado, para determinar si tales regiones u objetos son particularmente destacados cuando se muestran en el futuro.

Por tanto, la información anterior con respecto a las sacudidas oculares del usuario y los cambios de la dirección de la mirada, sea en la dirección de regiones u objetos destacados conocidos o desconocidos, puede utilizarse para aplicar el “foveated rendering” . Por ejemplo, si va a mostrarse una región u objeto destacado conocido en la pantalla virtual, y en el momento de visualizar la región u objeto hay una sacudida ocular del usuario hacia la región u objeto, la región u objeto puede representarse con mayor calidad antes de que la dirección de la mirada del usuario llegue a la misma.

Incluso cuando se desconoce la notoriedad de una región u objeto cuando se muestra, o cuando no se muestra ninguna región u objeto particularmente destacado, puede determinarse o estimarse un cambio angular en la dirección de la mirada, y la correspondiente región de visualización resultante probable, detectando que se está producido una sacudida ocular. La cantidad determinada o estimada de cambio angular en la dirección de la mirada puede ser particular para el usuario sobre la base de los datos de sacudidas oculares registradas anteriormente, o pueden ser datos por defecto aplicables a todos los usuarios, quizá antes de que estén disponibles los datos registrados para un usuario particular.

En algunos ejemplos que no forman parte de la invención reivindicada, si la información de sacudidas oculares no permite la determinación precisa de la dirección de mirada probable del usuario, pueden representarse con mayor calidad múltiples regiones u objetos destacados conocidos situados en las direcciones de mirada más probables. En algunos ejemplos que no forman parte de la invención reivindicada, el aumento en la calidad de representación para cada región u objeto puede ser proporcional a la probabilidad de que la dirección de mirada del usuario pueda encontrarse eventualmente en la misma. Por ejemplo, si dos regiones tienen la misma probabilidad de ser el área de mirada resultante de la sacudida ocular de un usuario, la calidad de representación para ambas regiones puede aumentarse de modo similar. Sin embargo, si una región es el área de mirada resultante más probable, puede mejorarse su calidad de representación en un grado mayor que el área de mirada resultante menos probable.

El modo en que la imagen visualizada en el dispositivo 110 de visualización puede modificarse mediante el dispositivo de procesamiento de gráficos puede variar dependiendo de la realización, pero no obstante, la forma en que se visualiza la imagen puede estar prevista para aumentar la calidad de imagen de las porciones de la imagen en que se orienta la mirada de un usuario, o la mirada enfocada, con respecto a aquellas porciones de la imagen a las que no se dirige la mirada del usuario ni la mirada enfocada. De este modo se maximiza el uso de los recursos disponibles del dispositivo de procesamiento de gráficos, y/u otros recursos del sistema, para suministrar calidad de imagen donde sea más importante en el dispositivo 110 de visualización. Para demostrarlo, la Fig. 9 ilustra un dispositivo 110 de visualización que muestra el punto 910 de mirada de un usuario y un área 920 alrededor del punto 910 de mirada de un usuario en el que los ejemplos pueden aumentar la calidad de la imagen con respecto al área restante 930 del dispositivo 110 de visualización. Por lo tanto, en varias realizaciones, la calidad de la imagen producida a través del dispositivo 110 de visualización puede aumentarse en el área 920 con respecto al área restante 930.

Cuando se describe en la presente memoria la “ modificación” de una imagen presentada en el dispositivo 110 de visualización, debe entenderse que lo que se pretende es que una imagen posterior visualizada en el dispositivo 110 de visualización sea distinta de una imagen anterior visualizada en el dispositivo 110 de visualización. Por lo tanto, el dispositivo de procesamiento de gráficos y el dispositivo 110 de visualización, u otros dispositivos descritos en la presente memoria, “ modifican” una imagen haciendo que se muestre una primera imagen y, después, se muestre una segunda imagen que sea distinta a la primera imagen. Se entenderá también que cualquier otro cambio de una imagen descrita en la presente memoria, por ejemplo, aumentar o disminuir la calidad de la imagen, significa que una imagen posterior es distinta de una imagen anterior. Obsérvese que un cambio o modificación de una imagen puede incluir cambiar o modificar únicamente una parte de la imagen. De este modo, algunas partes de una imagen anterior pueden ser iguales a una imagen posterior, mientras que otras partes pueden ser distintas. En otras situaciones, la totalidad de una imagen anterior puede ser distinta de una imagen posterior. Debe entenderse que la modificación de un área o de la totalidad de una imagen no necesariamente significa que se cambia cada parte finita del área o la totalidad (por ejemplo, cada píxel), sino más bien que el área o la totalidad puede cambiarse de algún modo potencialmente consistente, predefinido u ordenado (por ejemplo, se cambia la calidad de la imagen).

Aumentar la calidad de la imagen puede incluir aumentar la calidad de una cualquiera o más de la lista no exclusiva de características gráficas que sigue, además de otras características posibles conocidas en la técnica:

- Resolución: El número de píxeles distintos que pueden visualizarse en una o más dimensiones. Por ejemplo, “ 1024 x 768” significa 1024 píxeles visualizados en altura y 768 píxeles visualizados en anchura.

- Sombreado: Variación del color y brillo de los objetos gráficos dependiendo de la iluminación artificial proyectada por las fuentes de luz emuladas por el dispositivo 130 de procesamiento de gráficos.

- Mapeo de textura: El mapeo de imágenes gráficas o “texturas” sobre objetos gráficos para proporcionar a los objetos una apariencia particular. La resolución de las texturas influye en la calidad del objeto gráfico al que se aplican.

- Mapeo de protuberancias: Simulación de protuberancias a pequeña escala y gradientes rugosos en las superficies de objetos gráficos.

- Medio de niebla/participante: La atenuación de la luz cuando pasa a través de una atmósfera o aire no claro. - Sombras: Emulación de la obstrucción de la luz.

- Sombras suaves: Variación en la sombra y oscuridad causada por fuentes de luz parcialmente oscurecidas. - Reflejo: Representaciones de superficies reflectantes de alto brillo o de espejo.

- Transparencia/opacidad (óptica o gráfica): Transmisión nítida de luz a través de objetos sólidos.

- Translucencia: Transmisión de luz muy dispersa a través de objetos sólidos.

- Refracción: Desvío de la luz asociada a la transparencia.

- Difracción: Desvío, dispersión e interferencia de la luz que pasa por un objeto o abertura que interrumpe el rayo de luz.

- Iluminación indirecta: Superficies iluminadas por la luz reflejada desde otras superficies, en lugar de directamente desde una fuente de luz (también conocida como iluminación global).

- Cáustica (forma de iluminación indirecta): Reflejo de la luz de un objeto brillante, o enfoque de luz a través de un objeto transparente, para producir detalles brillantes sobre otro objeto.

- Anti-solapamiento: Proceso de mezclar el borde de un objeto mostrado para reducir la aparición de un exceso de nitidez o de líneas aserradas. De forma típica, se utiliza un algoritmo que muestrea colores alrededor del borde del objeto mostrado para mezclar el borde con sus alrededores.

- Velocidad de imagen: Para una imagen animada, el número de fotogramas individuales mostrados durante un período de tiempo determinado para crear movimiento en la imagen.

- 3D: Características visuales y temporales de una imagen que hacen que la imagen parezca ser tridimensional a un observador.

El tamaño y la forma del área de la imagen que puede modificarse para aparecer en mayor calidad pueden variar dependiendo de la realización. Simplemente a modo de ejemplo, la forma del área puede ser circular, ovalada, cuadrada, rectangular o poligonal. En algunas realizaciones, la calidad de la imagen dentro del área puede aumentarse uniformemente. En otras realizaciones, el aumento en la calidad de la imagen puede ser mayor en el centro del área (es decir, próximo al punto de mirada) y disminuir hacia los bordes del área (es decir, distal al punto de mirada), quizá para que coincida con la calidad de la imagen que rodea el área. Para demostrarlo, la Fig. 10A muestra cómo la calidad de la imagen puede disminuir de modo continuo lineal o no lineal desde el centro de un área de mirada hacia afuera, mientras que la Fig. 10B muestra cómo la calidad de la imagen puede disminuir de modo gradual desde el centro de un área de mirada hacia afuera.

En algunos ejemplos que no forman parte de la invención reivindicada, la modificación de la imagen visualizada en el dispositivo 110 de visualización puede producirse en respuesta a la detección de un cambio en el punto de mirada. Esto puede ocurrir de diversas formas, describiéndose a continuación algunas de ellas.

En algunos ejemplos que no forman parte de la invención reivindicada, puede modificarse toda la imagen durante el período de cambio en el punto de mirada del usuario y, una vez que cesa el cambio en el punto de mirada del usuario, puede modificarse o bien el área alrededor del punto de mirada final del usuario o bien el resto de la imagen (porciones de la imagen no alrededor del punto de mirada final). Simplemente a modo de ejemplo, en una realización, la calidad de toda la imagen puede aumentarse durante el movimiento de la mirada del usuario (a veces denominado sacudida ocular), pero el aumento de la calidad solo puede mantenerse en un área alrededor del punto de mirada final del usuario una vez finalizada la sacudida ocular (es decir, la calidad del resto de la imagen puede disminuirse al completarse la sacudida ocular). En una realización diferente, la calidad de toda la imagen puede disminuirse durante una sacudida ocular, pero la disminución de la calidad puede ser solo en áreas sostenidas, aparte de alrededor del punto de mirada final del usuario, una vez finalizada la sacudida ocular (es decir, la calidad del área de la imagen alrededor del punto de mirada final del usuario puede aumentarse una vez finalizada la sacudida ocular).

De forma adicional, también puede modificarse el uso de otros recursos del sistema, que incluyen, por ejemplo, procesador/ordenador y recursos relacionados, durante una sacudida ocular de un usuario. Por ejemplo, las operaciones no gráficas pueden complementarse con los recursos del procesador/ordenador y del dispositivo de procesamiento de gráficos, durante una sacudida ocular. Más específicamente, durante una sacudida ocular, los cálculos no gráficos necesarios para otras operaciones del sistema pueden hacerse con mayor velocidad o eficiencia porque los recursos adicionales asociados con el procesador/ordenador y el dispositivo de procesamiento de gráficos están disponibles para tales operaciones.

En algunos ejemplos que no forman parte de la invención reivindicada, modificar la imagen visualizada en el dispositivo 110 de visualización puede incluir modificar una porción de la imagen en un área alrededor de un punto de mirada anticipado del usuario, potencialmente aumentando la calidad del mismo. El punto de mirada anticipado puede determinarse basándose en el cambio en el punto de mirada del usuario. Para determinar el punto de mirada anticipado de un usuario, el dispositivo de seguimiento ocular y/u otro procesador (es decir, el ordenador o el procesador de la consola de juegos) pueden determinar una velocidad del cambio en el punto de mirada del usuario en un dispositivo de visualización y determinar el punto de mirada anticipado basado, al menos en parte, en esta velocidad del cambio.

La velocidad de cambio del punto de mirada del usuario, denominada también velocidad o rapidez de una sacudida ocular por el usuario depende directamente del cambio total en el punto de mirada del usuario (denominado con frecuencia, amplitud de la sacudida ocular). Por lo tanto, a medida que aumenta la amplitud prevista de la sacudida ocular del usuario, también aumenta la velocidad de la sacudida ocular. Aun cuando la sacudida ocular de un usuario humano puede ser de hasta 900°/segundo en humanos, para sacudidas oculares inferiores a, o aproximadamente de, 60°, la velocidad de una sacudida ocular es, por lo general, lineal y directamente dependiente de la amplitud de la sacudida ocular. Por ejemplo, una amplitud de 10° se asocia con una velocidad de 300°/segundo y una amplitud de 30° se asocia cona una velocidad de 500°/segundo. Para sacudidas oculares superiores a 60°, la velocidad pico comienza a estabilizarse en torno a la velocidad máxima alcanzable por el ojo (900°/segundo). Como respuesta a un estímulo inesperado, una sacudida ocular necesita normalmente unos 200 milisegundos (ms) para iniciarse y dura de aproximadamente 20 a aproximadamente 200 ms. Basándose en estas relaciones entre la velocidad y amplitud de la sacudida ocular, las realizaciones pueden determinar puntos de mirada anticipados basándose en la velocidad de la sacudida ocular. Diversas realizaciones también pueden emplear otros modelos predeterminados de relaciones matemáticas entre la velocidad y amplitud de la sacudida ocular para determinar un punto de mirada anticipado.

En algunos ejemplos que no forman parte de la invención reivindicada, la porción de la imagen modificada alrededor del punto de mirada anticipado también puede incluir la porción de la imagen alrededor del punto de mirada original (es decir, el punto de mirada desde el que se inició la sacudida ocular del usuario). Si bien la forma de la porción de la imagen modificada puede ser cualquiera de las formas descritas anteriormente, en algunas realizaciones, puede ser un triángulo o una forma trapezoidal que tiene una anchura progresivamente mayor perpendicular a una dirección de la sacudida ocular como se muestra en la Fig. 11.

En la Fig. 11 se muestra el dispositivo 110 de visualización, y se muestra en el mismo un punto 1110 de mirada inicial del usuario. Antes de cualquier cambio en el punto 1110 de mirada inicial, las realizaciones pueden proporcionar un aumento de la calidad de los gráficos en el área 1120. Cuando un dispositivo de seguimiento ocular detecta un sacudida ocular de usuario, representado por la flecha 1130, el tamaño y la forma del área 1120 pueden cambiar para adaptarse tanto al punto 1110 de mirada inicial como al punto 1140 de mirada anticipado. El área cambiada 1150, si bien es triangular y/o trapezoidal en esta realización, puede conformarse y dimensionarse de manera diferente en otras realizaciones. Simplemente a modo de ejemplo, también puede incluirse todo el lado del dispositivo 110 de visualización desde el punto de mirada inicial hasta los bordes de la pantalla en dirección de la sacudida ocular en el área cambiada 1150 para tener en cuenta más posibilidades sobre dónde puede terminar el punto de mirada de un usuario. En otras realizaciones, puede proporcionarse un área cambiada 1150 circular, ovalada o cuadrada. En otras realizaciones adicionales, el área cambiada 1150 puede incluir áreas separadas y distintas alrededor del punto 1110 de mirada inicial y el punto 1140 de mirada anticipado.

En algunos ejemplos que no forman parte de la invención reivindicada, el tamaño o la forma del área alrededor del punto de mirada para la cual se modifica una imagen (o que permanece sin modificar respecto a una calidad aumentada en diversas realizaciones) es dinámico. Esto puede ocurrir dependiendo, al menos en parte, de varios factores, que incluyen la localización actual del punto de mirada con respecto a la imagen o al dispositivo de visualización. Simplemente a modo de ejemplo, si un usuario mueve su punto de mirada hacia una parte determinada de la pantalla, una parte predefinida de la pantalla puede modificarse mediante un aumento de calidad en la misma (por ejemplo, teniendo una parte de esquina de la pantalla un mapa de un área virtual en un videojuego). En algunas realizaciones, si se detecta un número suficiente de sacudidas oculares del usuario que tengan una o más características predefinidas en un período de tiempo predefinido, la totalidad de la pantalla puede modificarse para representarse con mayor calidad.

En otro ejemplo que no forma parte de la invención reivindicada, se proporciona un medio no transitorio legible por ordenador con instrucciones en el mismo para presentar gráficos en el dispositivo 110 de visualización. Las instrucciones pueden ser ejecutables por uno o más procesadores para al menos mostrar una imagen en el dispositivo 110 de visualización. Las instrucciones pueden también ser ejecutables para recibir información del dispositivo de seguimiento ocular indicativa de al menos uno de un punto de mirada de un usuario en el dispositivo 110 de visualización o de un cambio en el punto de mirada del usuario en el dispositivo 110 de visualización. Las instrucciones pueden ser ejecutables además para hacer que el dispositivo de procesamiento de gráficos modifique la imagen visualizada en el dispositivo 110 de visualización basándose, al menos en parte, en el punto de mirada del usuario en el dispositivo 110 de visualización, o en el cambio en el punto de mirada del usuario en el dispositivo 110 de visualización. Por lo tanto, también se proporciona un medio legible por ordenador no transitorio capaz de aplicar cualquiera de las características descritas en la presente memoria en relación con otras realizaciones.

En otro ejemplo que no forma parte de la invención reivindicada, se proporciona un método 1200 para presentar gráficos en el dispositivo 110 de visualización, como se muestra en la Fig. 12. En la etapa 1210, el método 1200 puede incluir mostrar una imagen en el dispositivo 110 de visualización. En la etapa 1220, el método 1200 puede incluir también recibir información del dispositivo de seguimiento ocular indicativa de al menos uno de un punto de mirada de un usuario en el dispositivo 110 de visualización, o de un cambio en el punto de mirada del usuario en el dispositivo 110 de visualización. En la etapa 1230, el método 1200 puede incluir además hacer que el dispositivo de procesamiento de gráficos modifique la imagen visualizada en el dispositivo 110 de visualización basándose, al menos en parte, en el punto de mirada del usuario en el dispositivo 110 de visualización, o en el cambio en el punto de mirada del usuario en el dispositivo 110 de visualización. La etapa 1230 puede incluir, en la etapa 1233, aumentar la calidad de la imagen en un área alrededor del punto de mirada del usuario con respecto al exterior del área. La etapa 1230 también puede incluir, en la etapa 1236, reducir la calidad de la imagen fuera de un área alrededor del punto de mirada del usuario, con respecto al interior del área. Por lo tanto, también se proporciona un método para implementar cualquiera de las características descritas en la presente memoria en relación con otras realizaciones.

En algunos ejemplos que no forman parte de la invención reivindicada, los sistemas y métodos descritos en la presente memoria pueden ser alternados por un usuario, posiblemente para tener en cuenta múltiples observadores adicionales del dispositivo 110 de visualización que estén presentes. En otras realizaciones, los sistemas y métodos descritos en la presente memoria pueden encenderse automáticamente cuando solo un usuario esté viendo el dispositivo 110 de visualización (detectado por el dispositivo de seguimiento ocular) y apagarse cuando más de un usuario esté viendo el dispositivo 110 de visualización (detectado por el dispositivo de seguimiento ocular). De forma adicional, en algunas realizaciones, los sistemas y métodos descritos en la presente memoria pueden permitir la reducción de la calidad de representación de un dispositivo 110 de visualización completo cuando no se detectan observadores, ahorrando de este modo recursos del sistema y consumo de energía cuando el dispositivo 110 de visualización no es el foco principal de ningún observador.

En otros ejemplos que no forman parte de la invención reivindicada, los sistemas y métodos descritos en la presente memoria pueden permitir modificar múltiples porciones de una imagen en el dispositivo 110 de visualización para tener en cuenta múltiples observadores detectados por el dispositivo de seguimiento ocular. Por ejemplo, si dos usuarios distintos se enfocan en diferentes partes del dispositivo 110 de visualización, las dos áreas distintas de la imagen enfocada pueden representarse con mayor calidad para proporcionar una mejor visualización para cada observador.

En otros ejemplos adicionales que no forman parte de la invención reivindicada, los datos asociados con una imagen pueden informar a los sistemas y métodos descritos en la presente memoria para permitir la predicción de qué áreas de una imagen pueda probablemente enfocar el usuario a continuación. Estos datos pueden complementar datos proporcionados por el dispositivo de seguimiento ocular para permitir un ajuste más rápido y fluido de la calidad de la imagen en áreas en que probablemente se centre un usuario. Por ejemplo, durante la visualización de un evento deportivo, puede presentarse una entrevista imagen a imagen con un entrenador o jugador en una esquina de la imagen. Los metadatos asociados a la alimentación de imágenes pueden informar a los sistemas y métodos descritos en la presente memoria de la importancia probable y, por lo tanto, del interés del observador y del centro de atención probable, en la sub parte de la imagen.

Ajuste de trayectoria de proyectiles en realidad virtual

En ejemplos de realidad virtual, cuando los objetos virtuales se lanzan o de cualquier otro modo se arrojan por la acción del usuario, existe un problema por el cual el usuario no puede estimar fácilmente el peso del objeto y, por lo tanto, hasta dónde el objeto, ahora un proyectil, volará cuando se lance. Dado que las distancias precisas pueden ser necesarias para hacer que la interacción virtual sea utilizable o exitosa, la detección de mirada puede servir para ayudar a aumentar la colocación precisa del lugar del blanco deseado para el proyectil.

En algunos ejemplos que no forman parte de la invención reivindicada, los dispositivos de seguimiento ocular pueden utilizarse para determinar la dirección de la mirada de un usuario que lanza un objeto virtual y permitir que la localización de la dirección de la mirada en una pantalla virtual se utilice para determinar o ayudar a determinar el destino previsto del proyectil. En algunas realizaciones, la localización exacta de la mirada en la pantalla virtual puede utilizarse como blanco previsto del usuario.

En otros ejemplos que no forman parte de la invención reivindicada, la localización de la mirada en la pantalla virtual puede simplemente informar al proceso del software del blanco previsto, y esto puede afectar, en un grado variable dependiendo del algoritmo, al blanco calculado para un proyectil. Por lo tanto, si bien el algoritmo puede calcular un blanco inicial y depender de factores tales como la velocidad del lanzamiento u otro movimiento que inició el lanzamiento del proyectil y el peso asignado virtualmente del objeto, puede utilizarse la dirección de la mirada, en grados variables, según asigne el algoritmo, para modificar el blanco inicial calculado.

Matriz distribuida multicámaras sobre/en lentes de RV

En los dispositivos portátiles de realidad virtual tradicional, o en otros dispositivos, puede ser difícil situar sensores de imagen y cámaras asociados a un dispositivo de seguimiento ocular de modo que puedan obtener una buena imagen, pero sin interferir con la lente de visión del sistema de visualización en el mismo. Para resolver este problema, una solución proporcionada por diversas realizaciones es disponer una o más matrices de cámaras/imágenes/sensores de luz en miniatura (así como iluminadores como se describe en la presente memoria) sobre o en las lentes directamente frente a los ojos del usuario. Debido a que las cámaras son muy pequeñas (p. ej., 1 mm3) y están muy cerca de los ojos del usuario, estas parecerán ser esencialmente invisibles para el usuario, ya que no están dentro de la distancia focal activa del usuario. Como se muestra en la Fig. 7A, delante de un dispositivo 110 de visualización de un sistema dado, puede haber presente una lente 710 de visión/primaria y puede haber presente también una matriz de cámaras/iluminadores 720 sobre o en la lente 710. Las cámaras/iluminadores 720 se muestran más grandes que a escala con fines de demostración en esta figura. La Fig. 7A se describirá más abajo con más detalle.

Aun cuando cada cámara de un conjunto solo puede tener una resolución limitada, cuando las imágenes de todas las cámaras se combinan y reconstruyen mediante un dispositivo de procesamiento asociado, pueden obtenerse imágenes estándar. Además, dado que se utiliza un conjunto, puede obtenerse información adicional de profundidad de la imagen con respecto al uso de una sola cámara o sensor de imagen que observa el o los ojos.

Verificación de presencia de usuario y de obstrucción para un funcionamiento seguro de fuente de luz

El dispositivo de consumo debe satisfacer diversas normas de seguridad con respecto a las fuentes de luz y láser cerca de los ojos de un usuario. Cuanto más cerca esté el usuario de la fuente de luz/láser del dispositivo de consumo, menor será la magnitud de iluminación permitida para satisfacer las diversas normas.

En algunas realizaciones, los dispositivos de la presente memoria pueden incluir mecanismos de seguridad dispuestos para proteger al usuario y verificar que se cumplan las normas. En una realización, los dispositivos de seguimiento ocular de la presente memoria pueden determinar si un usuario está presente delante del dispositivo a través de sensores de imagen y reaccionar en consecuencia.

Si no hay ningún usuario presente, los niveles de iluminación de la pantalla y/o de los iluminadores de seguimiento ocular se bajan para que sean seguros a cualquier distancia. Debido a que no hay ningún usuario presente, la pantalla y/o los iluminadores se iluminarán a un nivel seguro para cualquier condición que surja. Sin embargo, si se determina que un usuario está presente, puede calcularse la distancia desde cualquier subsistema de visualización y/o seguimiento ocular, tales como los iluminadores, y puede restaurarse la iluminación máxima de los mismos permitida por el por el sistema. En algunas realizaciones, si un dispositivo de seguimiento ocular determina que el usuario no está presente, puede desactivarse un dispositivo de visualización para ahorrar energía.

En algunas realizaciones, los sistemas de la presente memoria pueden también ser capaces de determinar si está obstruido algún iluminador, ya sea por detección directa de la obstrucción mediante un sensor de imagen, o por falta de detección por un sensor de imagen de luz procedente de un iluminador particular. Si se determina que un iluminador u otro dispositivo emisor de luz, tal como una pantalla, está obstruido, dichos dispositivos productores de luz pueden atenuarse o desactivarse completamente para ahorrar energía.

Reducción de la visibilidad de dispositivos de iluminación y sensores de imagen en dispositivos de RV

En algunas realizaciones, para disponer dispositivos de iluminación y sensores de imagen en la posición más ventajosa, los iluminadores y sensores de imagen soportados por circuito impreso flexible (FPC) pueden hundirse en las lentes de realidad virtual o en otros dispositivos de visualización, tal vez en ubicaciones como las mostradas en la Fig. 7A. Los LED u otros iluminadores, así como sensores de imagen, pueden estar situados en FPC muy delgados y posteriormente orientarse para minimizar el perfil visible de los mismos.

Simplemente como ejemplo, los iluminadores y sensores de imagen pueden montarse en FPC de modo que el iluminador o sensor de imagen se monte orientado hacia el usuario, pero solo el perfil del FPC (es decir, el espesor del FPC) es visto directamente por un usuario del dispositivo. En algunas realizaciones, el FPC puede unirse al iluminador o sensor de imagen de modo que se acople a más de un lado del iluminador/sensor. De este modo, puede mejorarse la captura de luz hacia, o dirigida desde, el iluminador/sensor.

En estas y otras realizaciones puede utilizarse también otro método para minimizar la apariencia de iluminadores en un dispositivo de visualización de realidad virtual u otro. En estas realizaciones, las fibras ópticas pueden incorporarse a ranuras en el lado delantero (usuario) de la lente de visión del dispositivo. La Fig. 7B muestra tal ranura 730 y la fibra óptica 740 depositada en la superficie de la lente 710. Las fibras ópticas pueden distribuirse de forma numerosa a través del lado delantero de la lente para generar la iluminación necesaria para el seguimiento ocular. Los LED u otras fuentes de iluminación, tales como diodos luminiscentes, pueden acoplarse al extremo de las fibras ópticas en el borde o lejos de la lente.

Cualquier vacío en las ranuras en donde se sitúan las fibras ópticas puede rellenarse con una sustancia 750 tal como pegamento u otro adhesivo para mantener la posición de la fibra, y para minimizar la refracción en la misma. La sustancia puede tener el mismo o similar índice de refracción que la propia lente para minimizar la distorsión visible de la lente para el usuario.

Como se muestra en la Fig. 7C, una superficie 760 en ángulo y/o reflejada dentro de la lente 710 en el punto de terminación 745 de la fibra óptica 740 puede guiar la luz desde el extremo de la fibra óptica hacia el ojo. Para minimizar aún más la luz potencialmente dispersa de la fibra óptica dentro de la lente, también puede disponerse un material 770 absorbente de luz cerca del punto de terminación de la fibra óptica, quizá detrás de la superficie en ángulo. Puede aplicarse también un material 780 de conformación de haces tal como epoxi, silicona o una sustancia similar a la lente cerca del punto de terminación para ayudar a dirigir la luz hacia la localización adecuada en el ojo del usuario.

Según un aspecto del concepto de la invención, se proporciona un dispositivo adaptado para ser usado por un usuario, que comprende un elemento óptico, una fuente de luz y un sensor. El elemento óptico puede estar adaptado para disponerse delante de un ojo del usuario cuando se usa el dispositivo, y puede estar formado por un material transmisor de luz que permite al usuario ver a través del elemento óptico. La fuente de luz puede disponerse en el elemento óptico y adaptarse para iluminar al menos una parte del ojo del usuario, mientras que el sensor puede adaptarse para capturar la luz que se ha emitido desde la fuente de luz y reflejado en el ojo.

El dispositivo puede ser, p. ej., un dispositivo de seguimiento ocular para determinar la dirección de la mirada de un usuario, y puede configurarse de manera similar, p. ej., el dispositivo de seguimiento ocular descrito anteriormente en relación con las figuras 1 y 4. El dispositivo también puede entenderse como un casco de realidad virtual o de realidad aumentada similar a las realizaciones descritas anteriormente, y otros dispositivos portátiles, tales como, p. ej., cascos y gafas.

Según la invención, el dispositivo se combina con (o comprende) una pantalla, que se dispone de manera que el usuario pueda ver la pantalla a través del elemento óptico. La pantalla puede configurarse, p. ej., de manera similar a las pantallas descritas en relación con, p. ej., las figuras 4 y 11 anteriores.

Por elemento óptico se entiende un objeto o dispositivo que se selecciona o utiliza principalmente para enfocar o modificar de cualquier otra manera la dirección del movimiento de la luz, tal como, p. ej., luz visible, luz infrarroja cercana (NIR) o luz infrarroja (IR). Los ejemplos de tales elementos se describen anteriormente en relación con, p. ej., las figuras 4 y 7A-C, que describen, p. ej., una lente de Fresnel. Por lo tanto, el elemento óptico puede utilizarse, p. ej., para hacer que una visualización de, p. ej., un casco de RV parezca más distante de lo que realmente está. Además, el elemento óptico también puede referirse a un objeto o dispositivo que se selecciona principalmente por su capacidad para soportar, p. ej., las fuentes de luz (u otras estructuras) y al mismo tiempo permiten al usuario ver, p. ej., una pantalla u otros entornos a través del elemento óptico. Por lo tanto, el elemento óptico puede referirse a una lente de, p. ej., un par de gafas, y puede o no ser correctivo. Alternativamente, o de forma adicional, el elemento óptico puede referirse a un visor de un casco.

Los ejemplos de fuentes de luz pueden incluir las fuentes de iluminación o iluminadores descritos anteriormente, p. ej., con referencia a las figuras 1, 4 y 7A-C. En el contexto de la presente solicitud, el término “fuente de luz” o “ iluminador” se utiliza para definir sustancialmente cualquier dispositivo o elemento que es capaz de emitir radiación en cualquier región o combinación de regiones del espectro electromagnético, por ejemplo, la región visible, la región infrarroja y/o la región ultravioleta, cuando se activa, p. ej., aplicando una diferencia de potencial a través del mismo o pasando una corriente a través del mismo. Los ejemplos de fuentes de luz incluyen láseres, tales como, p. ej., láseres emisores de superficie de cavidad vertical (VCSEL) y diodos emisores de luz (LED) semiconductores, orgánicos o poliméricos, LED azules, LED recubiertos de fósforo bombeados ópticamente, LED de nanocristales bombeados ópticamente o cualquier otro dispositivo similar conocido a una persona experta en la técnica. La fuente de luz puede proporcionarse en un soporte, tal como un sustrato, de modo que se proporciona una conexión eléctrica entre el sustrato y la fuente de luz, o directamente sobre (o en) una superficie del elemento óptico. La fuente de luz puede disponerse en o acoplarse al sustrato o elemento óptico para ser capaz de emitir luz generalmente hacia el ojo del usuario que usa el dispositivo.

La fuente de luz puede estar formada por el chip descubierto, es decir, la propia matriz emisora de luz sin ningún envase o carcasa convencional, para reducir el tamaño y, por lo tanto, la visibilidad de la fuente de luz. Ventajosamente, el tamaño de la matriz es de 300 x 300 micrómetros o menos, tal como 200 x 200 micrómetros o menos.

Por “ sensor” se entiende un dispositivo capaz de medir, registrar, indicar o responder de cualquier otra manera a la radiación electromagnética, como, p. ej., NIR o IR. Los ejemplos de sensor incluyen, entre otros, el sensor de imagen descrito anteriormente en relación con las figuras 2 y 3A-B. El sensor puede referirse además a una cámara o dispositivo de captura de imágenes utilizado para determinar la dirección de la mirada del usuario. El sensor puede comprender, p. ej., un fotodiodo o un fototransistor. El sensor puede utilizar, p. ej., una matriz de píxeles de una o dos dimensiones. El sensor puede disponerse en una superficie del elemento óptico, en el elemento óptico, en una posición entre el elemento óptico y el ojo del usuario y/o en una posición detrás del elemento óptico (visto desde el ojo del usuario).

En los cascos de realidad virtual tradicionales u otros dispositivos portátiles, puede ser un desafío colocar una fuente de luz de modo que pueda iluminar el ojo para permitir el seguimiento ocular sin obstaculizar ni perturbar el campo de visión del usuario. Colocar la fuente de luz fuera del campo de visión del usuario puede dificultar el seguimiento ocular, ya que los destellos corren el riesgo de colocarse fuera de la córnea del ojo. Por lo tanto, colocar la fuente de luz en el elemento óptico permite un seguimiento de la mirada más preciso, en comparación con las implementaciones en donde la fuente de luz se dispone fuera del elemento óptico. Además, integrar la fuente de luz directamente en el elemento óptico también permite un diseño más compacto, ya que la fuente de luz puede colocarse para iluminar el ojo sin requerir u ocupar un espacio adicional, p. ej., delante, detrás o al lado del elemento óptico. Por lo tanto, el concepto de la invención permite una tecnología de seguimiento ocular que es más fácil de integrar en dispositivos portátiles, tales como, p. ej., cascos y gafas de RV.

La fuente de luz puede montarse en un sustrato, que puede disponerse sobre una superficie del elemento óptico. El sustrato puede disponerse, p. ej., para cubrir una porción menor de la superficie del elemento óptico, una porción mayor o la superficie completa del elemento óptico. El sustrato y la fuente de luz pueden ensamblarse en un proceso separado de la fabricación del elemento óptico y pueden aplicarse como una unidad preensamblada en el elemento óptico. Alternativamente, la fuente de luz puede montarse en el sustrato después de que el sustrato se haya unido al elemento óptico.

El sustrato puede ser, p. ej., un circuito impreso flexible (FPC), que, p. ej., puede comprender estructuras eléctricamente conductoras, tales como, p. ej., pistas conductoras, para suministrar energía eléctrica a la fuente de luz. Las pistas conductoras pueden disponerse, o definirse, en una película o portador flexible que puede unirse a la superficie del elemento óptico. Las pistas conductoras pueden estar formadas o definidas, p. ej., mediante serigrafía, implantación de iones, fotolitografía o impresión por chorro. En algunos ejemplos, las pistas conductoras pueden estar formadas por un polímero eléctricamente conductor o un metal, tal como, p. ej., cobre o plata. El material conductor puede forjarse (laminarse) o electrodepositarse, p. ej., sobre el portador. Además, las pistas conductoras pueden estar formadas por un material transmisor de luz, tal como polímeros conductores al menos parcialmente transparentes o translúcidos, y/o ser tan delgadas que son difíciles de detectar a simple vista. Las pistas conductoras pueden disponerse en un lado de una película o portador de soporte, en ambos lados o laminarse entre dos películas o portadores.

El sustrato puede comprender una película o portador de soporte formado, p. ej., de un material de vidrio, o un material polimérico, tal como, p. ej., poliéster (PET), poliimida (PI), polietilen naftalato (PEN), polieterimida (PEI), fluoropolímeros (FEP), poliariletercetona (PEAK), nailon, poliamida (PA) o poliéter éter cetona (PEEK).

En un ejemplo, la fuente de luz puede montarse en la superficie del sustrato, p. ej., por medio de una máquina de recoger y colocar, y puede fijarse en su posición mediante un adhesivo. La fuente de luz puede montarse en uno o varios paneles de contacto dispuestos en el sustrato. Según el número y la disposición de los terminales eléctricos de la fuente de luz, se puede contactar desde abajo mediante al menos dos paneles de contacto diferentes, desde arriba mediante dos cables de unión, o una combinación en donde un primer terminal de la fuente de luz se contacta por un panel y un segundo terminal a un alambre de unión.

La fuente de luz y el sustrato pueden proporcionarse como una unidad separada prefabricada. Sin embargo, también es posible unir la fuente de luz directamente a la superficie del elemento óptico sin usar ningún sustrato intermedio. En ese caso, el propio elemento óptico puede estar provisto de pistas conductoras similares a las descritas anteriormente. Dichas pistas conductoras pueden imprimirse o formarse directamente sobre la superficie del sustrato para proporcionar energía eléctrica a la fuente de luz. La fuente de luz se puede conectar, a continuación, a las pistas conductoras por medio de, p. ej., un adhesivo conductor y/o alambres de unión como se ha descrito anteriormente.

Se puede proporcionar una capa protectora para rodear o encapsular al menos parcialmente la fuente de luz, o para proporcionar una superficie plana del dispositivo. Por lo tanto, la capa protectora puede disponerse en el sustrato (o, si no se utiliza ningún sustrato, directamente sobre la superficie del elemento óptico). La capa protectora puede cubrir al menos parte del sustrato y, en algunos ejemplos, puede disponerse como una lámina o película que se extiende sobre una mayor porción de, o toda, la superficie del elemento óptico. Proporcionando la capa protectora, el dispositivo puede estar provisto de una superficie sustancialmente plana o uniforme y la fuente de luz y/o las pistas conductoras protegidas de, p. ej., daños inducidos mecánicamente. Por lo tanto, la capa protectora puede actuar como un relleno que nivela la superficie del elemento óptico después de que se haya montado la fuente de luz.

La capa protectora puede estar formada, p. ej., por un material transmisor al menos parcialmente de la luz, tal como, p. ej., un material de vidrio o polímero transparente o translúcido. La capa protectora puede proporcionarse como una película o lámina flexible, que puede unirse, p. ej., mediante un adhesivo o soldarse en el sustrato. Los métodos alternativos para aplicar la capa protectora pueden incluir, p. ej., revestimiento por rotación, laminación y serigrafía.

Se pueden proporcionar porciones recortadas para la fuente de luz, que por lo tanto puede estar al menos parcialmente rodeada, pero no completamente cubierta, por el material protector. La capa protectora puede unirse, p. ej., al sustrato antes de que el sustrato se monte en la superficie del elemento óptico, o en una etapa adicional realizada después de que se haya montado el sustrato.

La fuente de luz puede estar provista de un material (preferiblemente transmisor de luz) para evacuar el calor generado por la fuente de luz. Dicho material conductor del calor puede disponerse en contacto térmico con la fuente de luz y puede disponerse, p. ej., para embeber, encerrar o cubrir al menos parcialmente la fuente de luz. En el caso en el que el dispositivo comprenda una capa protectora como se ha descrito anteriormente, el material conductor del calor puede proporcionarse para llenar un hueco o espacio entre la fuente de luz y la capa protectora.

Según algunos ejemplos, el dispositivo puede comprender una capa de cubierta que proporciona una superficie dura resistente al desgaste que protege la fuente de luz subyacente (y, posiblemente, el sustrato/capa protectora). La capa de cubierta puede estar formada, p. ej., por una capa de vidrio, y preferiblemente puede ser flexible para facilitar la manipulación durante la fabricación y reducir el riesgo de agrietamiento o rotura de la cubierta. La capa de cubierta puede unirse a la capa protectora, que por lo tanto se puede intercalar entre el sustrato y la capa de cubierta antes de que el sustrato se monte en el elemento óptico, o en una etapa separada después de que se haya montado el sustrato. La capa de cobertura es de particular interés, p. ej., en dispositivos portátiles de consumo y aplicaciones comerciales de cascos de RV, que pueden estar sujetos a un alto desgaste y una limpieza frecuente. Además, la cubierta puede ser extraíble para permitir que se reemplace cuando esté dañada o desgastada.

El dispositivo puede comprender además medios de orientación de la luz, tales como, p. ej., un material reflectante de luz dispuesto para dirigir al menos una parte de la luz emitida por la fuente de luz. Los medios de orientación de la luz pueden disponerse, p. ej., para reducir la cantidad de luz parásita que entra en el elemento óptico y, en su lugar, puede usarse para dirigir la luz hacia el ojo del usuario. Según la invención, el material reflectante de luz se dispone en una capa entre la fuente de luz y el elemento óptico. Opcionalmente, el material reflectante de luz se dispone además en el lado lateral de la fuente de luz. En algunos ejemplos, el material reflectante de luz puede proporcionarse en forma de una capa o un revestimiento aplicado en, p. ej., el sustrato, la fuente de luz y/o la superficie del elemento óptico. Los medios de orientación de la luz pueden adaptarse para que sean más reflectantes a la luz IR o NIR que a la luz visible, lo que es de particular interés para aplicaciones en las que la fuente de luz es una fuente de IR o NIR. Como resultado, los medios de orientación de la luz pueden actuar como un espejo que dirige la luz IR o NIR emitida hacia, p. ej., el ojo, mientras que es menos visible para el usuario. Por lo tanto, los medios de orientación de la luz pueden configurarse de manera similar al espejo caliente descrito anteriormente en relación con la figura 4.

El dispositivo puede comprender una o varias de las fuentes de luz descritas anteriormente. La o las fuentes de luz pueden disponerse en una periferia del elemento óptico, preferiblemente como elementos distintos o discretos entre los cuales el usuario aún es capaz de ver a través de los elementos ópticos. El dispositivo puede comprender, p. ej., 2 o más fuentes de luz, tales como, p. ej., 6, 8, 10 o 16, estando dispuestas al menos algunas en o cerca de la periferia del dispositivo óptico. Como ya se ha mencionado, la colocación de las fuentes de luz puede estar determinada por la calidad del seguimiento ocular (que puede suponerse que aumenta más cerca del centro del campo de visión) y la visibilidad de las fuentes de luz (que puede suponerse que se reduce al aumentar la distancia desde el centro del campo de visión).

La figura 13 muestra una sección transversal esquemática de un dispositivo 1300 según algunas realizaciones, en donde el dispositivo comprende un elemento óptico 1320 dispuesto frente a un ojo 1312 de un usuario de manera que se permite que el usuario vea una pantalla 1390 a través del elemento óptico 1320. Además, un sensor, tal como, p. ej., un fotodiodo o una unidad 1340 de cámara se dispone entre la pantalla 1390 y el elemento óptico 1320 para rastrear el ojo 1312 a través del elemento óptico 1320. Los elementos descritos en la figura 13 pueden formar parte de, p. ej., un casco 1300 de RV usado por el usuario.

Como se indica en la presente figura, el elemento óptico 1320, que, p. ej., puede ser una lente 1320 de Fresnel para hacer que la pantalla 1390 parezca más distante para el usuario, puede comprender una fuente de luz o iluminador 1330, tal como, p. ej., un LED 1330, dispuesto en una periferia 1322 del elemento óptico 1320. La fuente 1330 de luz puede unirse al elemento óptico 1320 por medio de un sustrato 1350, que, p. ej., puede formar un circuito impreso flexible (FPC) que tiene pistas conductoras para alimentar la fuente 1330 de luz. El FPC puede ser al menos parcialmente transmisor de luz, o translúcido, a la luz visible para reducir su visibilidad para el usuario. Las propiedades de transmisión de luz también pueden aplicarse a las pistas conductoras. Sin embargo, como alternativa o adición, las pistas conductoras pueden ser lo suficientemente delgadas o estrechas para que sean difíciles de detectar a simple vista. Además, puede proporcionarse un material 1380 reflectante de luz para reflejar al menos parte de la luz emitida por la fuente 1330 de luz. El material reflectante de luz puede proporcionarse, p. ej., como una capa o película de revestimiento en la fuente 1330 de luz, en el sustrato 1350 y/o el elemento óptico 1320. Como se indica en la presente figura, el material 1380 reflectante de luz puede disponerse en una capa 1380 entre el sustrato 1350 y una superficie del elemento óptico 1320. Por lo tanto, el material 1380 reflectante de luz puede actuar como un espejo, preferiblemente un espejo caliente 1380, dirigiendo la luz emitida lejos del elemento óptico 1320 y reduciendo la luz parásita que entra en el elemento óptico 1320.

La figura 14 ilustra una sección transversal de un elemento óptico 1320, que puede configurarse de manera similar al elemento óptico descrito en relación con la figura 13. El elemento óptico 1320, que, p. ej., puede ser una lente formada por un vidrio o material polimérico transmisor de luz, puede comprender una pila de capas que encierran o intercalan una o varias fuentes 1330 de luz. En primer lugar, un sustrato 1350, tal como, p. ej., una lámina de PET, puede unirse a una superficie del elemento óptico 1320 orientada hacia el ojo del usuario. Sin embargo, es igualmente concebible que el sustrato 1350 esté dispuesto en un lado del elemento óptico 1320 no orientado hacia el ojo del usuario. El sustrato 1350 puede tener, en un ejemplo, un espesor de aproximadamente 50-75 micrómetros y puede pegarse, p. ej., sobre el elemento óptico 1320. En segundo lugar, la fuente de luz, tal como, p. ej., un LED 1330, puede unirse al sustrato 1320 y conectarse eléctricamente al sustrato 1320 mediante, p. ej., una unión 1354 de alambres. La unión de alambres puede comprender, p. ej., un alambre de metal, tal como, p. ej., un alambre de cobre o alambre de plata. El LED 1330 puede estar formado por una matriz descubierta, es decir, sin ningún tipo de embalaje, para reducir el tamaño y, por tanto, la visibilidad de la fuente de luz.

Para proteger la fuente 1330 de luz, puede disponerse una capa 1370 de cubierta, tal como una hoja de vidrio, tal como Vidrio Gorila® de Corning® o Vidrio Sauce® de Corning®, que según un ejemplo no limitativo puede tener un espesor de 250 micrómetros, para cubrir la fuente 1330 de luz. La capa 1370 de cubierta puede unirse a una capa protectora 1360 formada de, p. ej., un polímero transmisor de luz dispuesto en el sustrato 1320. La capa protectora 1360 puede estar formada, p. ej., por una película de PA de 200-250 micrómetros de espesor. Como se indica en la presente figura, la capa protectora 1360 puede comprender una porción recortada que acomoda la fuente 1330 de luz, que puede montarse antes de la aplicación de la capa protectora 1360 o después de que se haya unido la capa protectora 1360. Además, puede disponerse un material 1362 de transferencia de calor en la fuente 1330 de luz para embeber o encapsular al menos parcialmente la fuente 1330 de luz.

En el caso en el que no se utilice una capa de cubierta, se observará que la fuente 1330 de luz puede estar provista de una cápsula o globo transmisor de luz para proteger la matriz de daños mecánicos y ambientales.

Además, se apreciará que la fuente 1330 de luz puede montarse en el sustrato 1350 antes de que el sustrato 1350 se una al elemento óptico 1320. Por lo tanto, el sustrato 1350 y la fuente 1330 de luz (y, posiblemente, la capa protectora 1360 y/o la capa 1370 de cubierta) pueden ensamblarse como una unidad separada que puede proporcionarse en el elemento óptico 1320.

La figura 15 muestra una sección transversal de una porción de un elemento óptico 1320 similar a los elementos ópticos descritos en las figuras 13 y 14. Sin embargo, en una realización no cubierta por las reivindicaciones, la fuente 1330 de luz y las pistas conductoras 1352 pueden disponerse directamente en la superficie del elemento óptico 1320 sin ningún sustrato intermedio. Las pistas conductoras 1352 pueden estar formadas, p. ej., por una capa conductora (y preferiblemente transmisora de luz) que está modelada para formar las estructuras del circuito eléctrico requeridas para suministrar energía eléctrica a la fuente 1330 de luz. Un primer terminal de la fuente 1330 de luz puede conectarse desde abajo a un panel 1356 dispuesto en el sustrato, mientras que un segundo terminal de la fuente 1330 de luz puede conectarse a una pista conductora 1352 por medio de un alambre 1354 de unión. Además, puede disponerse una capa protectora 1360 de, p. ej., una lámina de polímero para proteger y sellar la fuente 1330 de luz y las estructuras conductoras 1352, 1354, 1356 del entorno circundante.

La figura 15 muestra además un revestimiento reflectante 1380 dispuesto en las paredes 1332 laterales de la fuente 1330 de luz para dirigir la luz emitida lejos de la superficie del elemento óptico 1320 y reducir la cantidad de luz parásita transmitida en el elemento óptico 1320 y/o la capa protectora 1360. En algunos ejemplos, el revestimiento reflectante puede disponerse para que se extienda hacia o hasta la superficie superior del elemento óptico 1320, p. ej., disponiéndose en las paredes laterales de la porción recortada de la capa protectora 1360 como se indica en la figura 14. El revestimiento reflectante 1380 puede estar formado, p. ej., por un metal, tal como aluminio o plata, o un dieléctrico, tal como, p. ej., un óxido de metal o dióxido de silicio.

La figura 16 muestra una vista frontal de un elemento óptico 1320 en forma de lente 1320 de gafas. La lente 1320 puede configurarse de manera similar al elemento óptico descrito con referencia a las figuras anteriores, y puede comprender una pluralidad de fuentes 1330 de luz dispuestas en una periferia de la lente 1320. Las fuentes 1320 de luz pueden estar conectadas eléctricamente a las pistas conductoras 1352, y pueden estar dispuestas espaciadas de manera que se permite que el usuario vea a través de las porciones 1324 de la lente 1320 dispuestas entre las fuentes 1330 de luz vecinas.

Las figuras 17a-c muestran diferentes ejemplos de dispositivos portátiles según realizaciones del presente concepto de la invención. Cada uno de los dispositivos comprende un elemento óptico, una fuente de luz y un sensor como se describe en relación con las figuras 13 a 16.

La figura 17a muestra un par de gafas 1300 que comprenden dos elementos ópticos 1320 o lentes, a través de los cuales el usuario puede ver el entorno circundante cuando usa las gafas. Las lentes 1320 pueden comprender una pluralidad de fuentes de luz (no mostradas) para iluminar los ojos y un sensor (como, por ejemplo, una cámara; no mostrada) para rastrear la dirección de la mirada del usuario. El sensor puede disponerse sobre (o en) el marco 1301 de las gafas.

La figura 17b muestra un casco 1300 de RV según una realización, que comprende un elemento óptico y un sensor (no mostrado) que captura imágenes de los ojos iluminados para rastrear la mirada en la pantalla 1390.

La figura 17c muestra un casco 1300, en el que el elemento óptico 1320 puede formar una visera. Por lo tanto, el casco 1300 puede usarse para rastrear la dirección de la mirada mientras el usuario ve el entorno circundante o una pantalla (no mostrada) del casco 1300.

Sistema informático ilustrativo

Lo anterior es un diagrama de bloques que ilustra un sistema informático 800 ilustrativo, como se muestra en la Fig.

8 , en el que puede implementarse cualquiera de los ejemplos. Este ejemplo ilustra un sistema informático 800 tal como el que puede utilizarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de los sistemas y métodos descritos anteriormente.

Se muestra un sistema informático 800 que incluye elementos de hardware que pueden acoplarse eléctricamente a través de un bus 890. Los elementos de hardware pueden incluir una o más unidades centrales 810 de procesamiento, uno o más dispositivos 820 de entrada (por ejemplo, dispositivo de seguimiento ocular, integrado o no con otro dispositivo; un ratón; un teclado; un panel táctil; un micrófono; controlador de mano; etc.), y uno o más dispositivos de salida 830 (por ejemplo, un dispositivo de visualización, un dispositivo portátil con una pantalla, una impresora, etc.). El sistema informático 800 también puede incluir uno o más dispositivos 840 de almacenamiento. A modo de ejemplo, los dispositivos 840 de almacenamiento pueden ser unidades de disco transitorias y/o no transitorias, dispositivos de almacenamiento ópticos, dispositivos de almacenamiento en estado sólido tales como memoria de acceso aleatorio “ RAM” y/o una memoria de solo lectura “ ROM” , que pueden ser programables, actualizables por flash y/o similares.

El sistema informático 800 puede incluir, de forma adicional, un lector 850 de medios de almacenamiento legibles por ordenador, un sistema 860 de comunicaciones (p. ej., un módem, una tarjeta de red [inalámbrica o por cable], un dispositivo de comunicación de infrarrojos, un dispositivo Bluetooth™, un dispositivo de comunicación celular, etc.) y una memoria 880 de trabajo, que puede incluir dispositivos RAM y ROM, como se ha descrito anteriormente. En algunas realizaciones, el sistema informático 800 puede incluir también una unidad 870 de aceleración del procesamiento, que puede incluir un procesador de señales digitales, un procesador de propósito especial y/o similares.

El lector 850 de medios de almacenamiento legibles por ordenador, además, puede conectarse a un medio de almacenamiento legible por ordenador (y, opcionalmente, en combinación con el/los dispositivo(s) 840 de almacenamiento) que representan de manera integral dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles, más medios de almacenamiento para contener de forma temporal y/o más permanente información legible por ordenador. El sistema 860 de comunicaciones puede permitir que los datos se intercambien con una red, sistema, ordenador y/u otro componente descrito anteriormente.

El sistema 800 informático puede incluir también elementos de software, que se muestran actualmente situados dentro de una memoria 880 de trabajo, que incluye un sistema operativo 884 y/u otro código 878. Debe apreciarse que las realizaciones alternativas de un sistema informático 800 pueden tener numerosas variaciones con respecto a lo descrito anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.

El software del sistema informático 800 puede incluir un código 878 para aplicar alguna o todas las funciones de los diversos elementos de la arquitectura, como se describe en la presente memoria. Por ejemplo, software almacenado en, y/o ejecutado por, un sistema informático tal como el sistema 800, puede proporcionar las funciones de los métodos y sistemas descritos anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han analizado anteriormente con mayor detalle.

Ahora, la invención se ha descrito en detalle con fines de claridad y comprensión. Sin embargo, se apreciará que pueden hacerse determinados cambios y modificaciones dentro del ámbito de las reivindicaciones adjuntas.

Claims (15)

1. REIVINDICACIONES

   i. Un dispositivo (1300) adaptado para ser usado por un usuario, que comprende:

   un elemento óptico (1320) adaptado para disponerse delante de un ojo (1312) del usuario cuando se usa el dispositivo, estando el elemento óptico formado de un material transmisor de luz que permite al usuario ver a través del elemento óptico, en donde el elemento óptico es una lente; y una fuente (1330) de luz dispuesta en el elemento óptico y adaptada para iluminar al menos una parte del ojo del usuario; y

   un sensor (1340) adaptado para capturar la luz que se ha emitido desde la fuente de luz y reflejado en el ojo; y

   una pantalla (1390) que el usuario puede ver a través del elemento óptico; y

   en donde el sensor está dispuesto entre la pantalla y el elemento óptico, y el sensor está dispuesto para ver el ojo a través del elemento óptico;

   dispositivo caracterizado por comprender, además:

   un material (1380) reflectante de luz dispuesto para dirigir al menos una parte de la luz emitida por la fuente de luz, en donde el material reflectante de luz está dispuesto en una capa entre la fuente de luz y el elemento óptico.
2. 2. El dispositivo según la reivindicación 1, en donde la fuente de luz está montada en un sustrato (1350) dispuesto en una superficie del elemento óptico.
3. 3. El dispositivo según la reivindicación 2, en donde el sustrato está dispuesto para cubrir la mayor parte de la superficie del elemento óptico.
4. 4. El dispositivo según la reivindicación 2 o la reivindicación 3, en donde el sustrato está formado por una película flexible.
5. 5. El dispositivo según cualquiera de las reivindicaciones 2 a 4, en donde el sustrato comprende pistas conductoras (1350) para suministrar energía eléctrica a la fuente de luz.
6. 6. El dispositivo según la reivindicación 5, en donde las pistas conductoras son transmisoras de luz.
7. 7. El dispositivo según cualquiera de las reivindicaciones 2 a 6, que comprende además una capa protectora (1360) dispuesta en el sustrato y que rodea al menos parcialmente la fuente de luz.
8. 8. El dispositivo según la reivindicación 7, en donde la capa protectora está formada por una película flexible.
9. 9. El dispositivo según una cualquiera de las reivindicaciones anteriores, que comprende además una capa (1370) de cubierta dispuesta para cubrir al menos parcialmente el elemento óptico.
10. 10. El dispositivo según una cualquiera de las reivindicaciones anteriores, en donde el elemento óptico es una lente de Fresnel.
11. 11. El dispositivo según cualquiera de las reivindicaciones anteriores, en donde el material reflectante de luz es más reflectante a la luz infrarroja o casi infrarroja que a la luz visible.
12. 12. El dispositivo según la reivindicación 11, en donde el material reflectante de luz está adaptado para transmitir luz visible.
13. 13. El dispositivo según una cualquiera de las reivindicaciones anteriores, que comprende una pluralidad de fuentes de luz separadas que permiten al usuario ver a través de porciones (1324) del elemento óptico, estando dichas porciones dispuestas entre fuentes de luz vecinas.
14. 14. El dispositivo según una cualquiera de las reivindicaciones anteriores, que es un par de gafas o un casco.
15. 15. El dispositivo según la reivindicación 2 o una cualquiera de las reivindicaciones 3 a 14 en la medida en que se refieren a la reivindicación 2, en donde el sustrato (1350) es transmisor de luz.