ES3036037T3

ES3036037T3 - Methods and systems for a head-mounted device for updating an eye tracking model

Info

Publication number: ES3036037T3
Application number: ES20198158T
Authority: ES
Inventors: Gérald Bianchi; Pravin Kumar Rana
Original assignee: Tobii AB
Current assignee: Tobii AB
Priority date: 2019-09-30
Filing date: 2020-09-24
Publication date: 2025-09-12
Anticipated expiration: 2040-09-24
Also published as: CN112578558B; CN112578558A; EP3800530B1; US11934571B2; EP3800530A1; CN114994910A; SE1951103A1; US20210255698A1; SE543354C2

Abstract

Se describe un sistema, un dispositivo de montaje en la cabeza, un programa informático, un soporte y un método para un dispositivo de montaje en la cabeza que comprende un sensor de seguimiento ocular para actualizar un modelo de seguimiento ocular en relación con un ojo. Los primeros datos del sensor se obtienen mediante el sensor de seguimiento ocular. Tras obtener los primeros datos, el sensor se mueve en relación con el ojo. Tras mover el sensor, se obtienen los segundos datos del sensor. El modelo de seguimiento ocular se actualiza a partir de los datos del primer y del segundo sensor. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Métodos y sistemas para que un dispositivo montado en la cabeza actualice un modelo de seguimiento ocular

Campo técnico

La presente descripción se refiere al campo del seguimiento ocular. En particular, la presente descripción se refiere a métodos y sistemas para actualizar un modelo de seguimiento ocular en relación con un ojo para un dispositivo montado en la cabeza.

Antecedentes

Los dispositivos montados en la cabeza, p. ej., para realidad aumentada o realidad virtual, pueden proporcionarse ventajosamente con una funcionalidad de seguimiento ocular. La funcionalidad de seguimiento ocular se basa generalmente en la inclusión de un sistema de seguimiento ocular que comprende uno o más sensores de seguimiento ocular para recibir datos de sensores para cada ojo, p. ej., en forma de imágenes de cada ojo. Por medio de las imágenes y un modelo de seguimiento ocular, se pueden determinar los datos de la mirada, que comprenden un rayo de mirada, es decir, una dirección de la mirada y un origen de la mirada, y/o una posición de la mirada en un plano/pantalla, de cada ojo. El modelo de seguimiento ocular generalmente se refiere a una posición del sensor de seguimiento ocular y otras partes y porciones del sistema de seguimiento ocular en relación con el ojo y a un modelo del ojo para cada uno de los ojos.

El documento US-2019258314A1 describe un sistema de seguimiento de la mirada para su uso en un aparato de visualización montado en la cabeza. El sistema de seguimiento de la mirada incluye al menos un iluminador para emitir pulsos de luz para iluminar el ojo del usuario; al menos una cámara para capturar la imagen de los reflejos de los pulsos de luz; al menos un elemento reflectante dispuesto en una trayectoria óptica de los reflejos de los pulsos de luz, de tal modo que cuando inciden sobre al menos un elemento reflectante, los reflejos de los pulsos de luz se reflejen hacia al menos una cámara; al menos un accionador asociado con el al menos un elemento reflectante, en donde el al menos un accionador mueve el al menos un elemento reflectante; y un procesador configurado para: procesar al menos una imagen para detectar la dirección de la mirada del usuario; y controlar el al menos un accionador para ajustar, basándose en la dirección de la mirada detectada, la posición del al menos un elemento reflectante.

Cuando se utiliza un único sensor de seguimiento ocular por ojo en un dispositivo montado en la cabeza, generalmente será difícil lograr un modelo de seguimiento ocular preciso. Cuando se utilizan al menos dos sensores de seguimiento ocular por ojo, se puede lograr un modelo de seguimiento ocular más preciso. Sin embargo, añadir sensores de seguimiento ocular dará como resultado costes adicionales y complejidad añadida. Por lo tanto, faltan en la técnica métodos y sistemas que proporcionen un modelo de seguimiento ocular más preciso sin añadir complejidad y costes a un dispositivo montado en la cabeza existente.

Por lo tanto, es deseable abordar los problemas identificados anteriormente en la técnica.

Sumario

Un objeto de la presente descripción es mitigar, aliviar o eliminar uno o más de los problemas y desventajas identificados anteriormente en la técnica individualmente o en cualquier combinación.

Este objeto se obtiene mediante un método, un sistema de procesamiento, un dispositivo montado en la cabeza, un programa informático y un portador del programa informático como se define en las reivindicaciones independientes.

Según un primer aspecto, se proporciona un método para un dispositivo montado en la cabeza para actualizar un modelo de seguimiento ocular en relación con un ojo, realizándose el método mediante un sistema de procesamiento, en donde el dispositivo montado en la cabeza comprende un sensor de seguimiento ocular. En el método, los primeros datos de sensor en relación con el ojo se obtienen por medio del sensor de seguimiento ocular. Después de obtener los primeros datos de sensor, el sensor de seguimiento ocular según la invención se mueve en relación con el ojo, por medio del sistema de procesamiento, en donde el movimiento del sensor de seguimiento ocular es un movimiento de traslación en relación con el ojo. Después de mover el sensor de seguimiento ocular, se obtienen segundos datos de sensor en relación con el ojo por medio del sensor de seguimiento ocular. El modelo de seguimiento ocular en relación con el ojo se actualiza a continuación, por medio del sistema de procesamiento, basándose en los primeros datos de sensor y los segundos datos de sensor.

Al mover el sensor de seguimiento ocular, los primeros datos de sensor obtenidos y los segundos datos de sensor obtenidos se refieren a que el sensor de seguimiento ocular está colocado en dos posiciones diferentes en relación con el ojo, es decir, antes y después de mover el sensor de seguimiento ocular, respectivamente. Esto permitirá que la actualización del modelo de seguimiento ocular sea más precisa de lo que sería posible si los datos de sensor relacionados con el sensor de seguimiento ocular se colocaran en una única posición en relación con el ojo.

Un dispositivo montado en la cabeza se refiere a un dispositivo montado en la cabeza de un usuario y abarca desde dispositivos más voluminosos en forma de gafas protectoras para realidad virtual hasta dispositivos más delgados en forma de gafas para realidad aumentada.

La presente descripción se basa, al menos parcialmente, en la comprensión de que mover el sensor de seguimiento ocular permitiría lograr un modelo de seguimiento ocular más preciso utilizando un único sensor de seguimiento ocular por ojo y, por lo tanto, no se requerirá añadir un sensor de seguimiento ocular adicional por ojo. En la técnica anterior, generalmente se consideraría que tal movimiento añadía complejidad de la estructura del sistema de seguimiento ocular. La presente descripción se basa además en la comprensión de que tal movimiento del sensor de seguimiento ocular no requiere la adición de una complejidad adicional a la estructura del dispositivo montado en la cabeza si el movimiento del sensor de seguimiento ocular se debe a un movimiento que tendría lugar de todos modos, se realiza fácilmente sin aumentar la complejidad del dispositivo montado en la cabeza o ya está habilitado. Por lo tanto, se puede proporcionar un modelo de seguimiento ocular más preciso sin añadir necesariamente complejidad y costes a un dispositivo montado en la cabeza existente.

En realizaciones, el sensor de seguimiento ocular está dispuesto de forma móvil en el dispositivo montado en la cabeza. Por ejemplo, el sensor de seguimiento ocular puede estar dispuesto en una parte del dispositivo montado en la cabeza que está dispuesta de forma móvil en el dispositivo montado en la cabeza. La parte del dispositivo montado en la cabeza que está dispuesta de forma móvil en el dispositivo montado en la cabeza es preferiblemente una parte que ya está dispuesta de forma móvil para algún otro propósito. Por lo tanto, disponer el sensor de seguimiento ocular en la parte no añadiría necesariamente complejidad y costes.

El sensor de seguimiento ocular se puede mover por medio de un movimiento del dispositivo montado en la cabeza que tendría lugar de todos modos o se realizaría fácilmente sin aumentar la complejidad del dispositivo montado en la cabeza. Por ejemplo, tal movimiento puede deberse a que un usuario pone el dispositivo montado en la cabeza sobre su cabeza o ajusta el dispositivo montado en la cabeza sobre su cabeza. De forma adicional, tal movimiento puede inducirse proporcionando instrucciones a un usuario para que mueva el dispositivo montado en la cabeza, por ejemplo, de una manera específica. Las instrucciones pueden proporcionarse, por ejemplo, a través de una interfaz de usuario, tal como una pantalla, un micrófono, unos auriculares, etc. Por lo tanto, no se añadiría necesariamente ninguna complejidad o coste adicional.

En algunos ejemplos, el sensor de seguimiento ocular está dispuesto en relación con un sistema óptico del dispositivo montado en la cabeza, de tal modo que el sensor de seguimiento ocular se mueve en relación con el ojo moviendo el sistema óptico en relación con el ojo. El sensor de seguimiento ocular puede estar dispuesto en el sistema óptico, por ejemplo, en el cristal, la pantalla, la copa de la lente, el marco, la pantalla, etc. y el sensor de seguimiento ocular puede moverse moviendo el sistema óptico o al menos la parte del sistema óptico en la que está dispuesto el sensor de seguimiento ocular. El sistema óptico, o al menos la parte del sistema óptico en la que está dispuesto el sensor de seguimiento ocular, puede disponerse de forma móvil o inmóvil en el dispositivo montado en la cabeza. En el primer caso, la totalidad o al menos una parte sustancial del sistema montado en la cabeza se mueve en relación con el ojo para mover el sistema óptico y, por lo tanto, para mover el sensor de seguimiento ocular en relación con el ojo. En este último caso, el sistema óptico, o al menos la parte del sistema óptico en la que está dispuesto el sensor de seguimiento ocular, se mueve en el dispositivo montado en la cabeza en relación con el ojo para mover el sensor de seguimiento ocular en relación con el ojo. Por lo tanto, no se añadiría necesariamente ninguna complejidad o coste adicional.

En otras realizaciones, el sensor de seguimiento ocular está dispuesto en relación con una pantalla dispuesta de forma móvil en el dispositivo montado en la cabeza, de tal modo que el sensor de seguimiento ocular se mueve en relación con el ojo moviendo la pantalla en el dispositivo montado en la cabeza en relación con el ojo. Puede que las pantallas dispuestas de forma móvil ya estén provistas en un dispositivo montado en la cabeza por otras razones. Por ejemplo, tales pantallas dispuestas de forma móvil pueden proporcionarse para adaptar el dispositivo montado en la cabeza a diferentes usuarios que tengan una distancia diferente entre los ojos o para adaptarse a una distancia interpupilar diferente para un único usuario, dependiendo de la distancia de convergencia de la mirada actual. Por lo tanto, no se añadiría necesariamente ninguna complejidad o coste adicional.

En las realizaciones, el sensor de seguimiento ocular puede ser, por ejemplo, un dispositivo de formación de imágenes. Los primeros datos de sensor representan una primera imagen del ojo y los segundos datos de sensor representan una segunda imagen del ojo, y el movimiento es tal que se cambia el ángulo entre el sensor de seguimiento ocular y el ojo. La actualización del modelo de seguimiento ocular comprende identificar, por medio del sistema, una posición de una característica del ojo en la primera imagen, e identificar, por medio del sistema, una posición de la característica del ojo en la segunda imagen. La distancia desde el sensor de seguimiento ocular hasta la característica del ojo se determina a continuación, por medio del sistema, basándose en la posición de la característica del ojo en la primera imagen, la posición de la característica del ojo en la segunda imagen y el movimiento del sensor de seguimiento ocular. El modelo de seguimiento ocular se actualiza, por medio del sistema, en relación con el ojo basándose en la distancia determinada.

En realizaciones adicionales, el método del primer aspecto de la presente descripción comprende además, después de obtener los segundos datos de sensor, mover además el sensor de seguimiento ocular en relación con el ojo, por medio del sistema, y después de mover además el sensor de seguimiento ocular, obtener terceros datos de sensor en relación con el ojo por medio del sensor de seguimiento ocular. La actualización del modelo de seguimiento ocular en relación con el ojo se basa a continuación además en los terceros datos de sensor.

En algunas realizaciones, el movimiento del sensor de seguimiento ocular es un movimiento conocido.

En más realizaciones adicionales, el modelo de seguimiento ocular se actualiza utilizando un algoritmo de localización y mapeo simultáneos, SLAM.

En realizaciones adicionales, el modelo de seguimiento ocular se parametriza mediante un parámetro de la córnea indicativo de un radio de curvatura de una córnea del ojo del usuario, y en donde la actualización del modelo de seguimiento ocular comprende actualizar un valor del parámetro de la córnea.

En realizaciones adicionales, el modelo de seguimiento ocular se parametriza mediante un parámetro de posición de la pupila indicativo de una posición de la pupila del ojo del usuario, y en donde la actualización del modelo de seguimiento ocular comprende actualizar un valor del parámetro de posición de la pupila.

Según un segundo aspecto, se proporciona un sistema de procesamiento que comprende un dispositivo montado en la cabeza que comprende un sensor de seguimiento ocular. El sistema de procesamiento comprende un procesador y una memoria. La memoria contiene instrucciones ejecutables por el procesador, donde el sistema de procesamiento es operativo para realizar el método según el primer aspecto.

Según un tercer aspecto, se proporciona un dispositivo montado en la cabeza que comprende el sistema de procesamiento del segundo aspecto.

Según un cuarto aspecto, se proporciona un programa informático en un sistema de procesamiento que comprende un dispositivo montado en la cabeza que comprende un sensor de seguimiento ocular. El programa informático comprende instrucciones que, cuando son ejecutadas por al menos un procesador del sistema de procesamiento, hacen que al menos un procesador realice el método según el primer aspecto.

Hacer que el procesador realice el método según el primer aspecto significa que, para cada etapa del método, la etapa se realiza en el procesador o el procesador activa y/o controla una entidad diferente para realizar la etapa. Según un quinto aspecto, se proporciona un portador que comprende un programa informático según el cuarto aspecto. El portador es uno de una señal electrónica, una señal óptica, una señal de radio y un medio de almacenamiento legible por ordenador.

Breve descripción de los dibujos

Lo anterior será evidente a partir de la siguiente descripción más particular de las realizaciones de ejemplo, tal como se ilustra en los dibujos adjuntos, en los que los caracteres de referencia similares se refieren a las mismas partes en las diferentes vistas. Los dibujos no están necesariamente a escala, sino que se hace hincapié en ilustrar las realizaciones de ejemplo.

Las figuras 1a y 1b son un diagrama de flujo que ilustra realizaciones de un método según la presente descripción. La figura 2 es un diagrama en bloque que ilustra realizaciones de un sistema según la presente descripción.

La figura 3 es una ilustración esquemática de realizaciones de un dispositivo montado en la cabeza según la presente descripción.

La figura 4 es una vista esquemática del ojo de un usuario en relación con realizaciones de un método, sistema y dispositivo montado en la cabeza según la presente descripción.

Todas las figuras son esquemáticas, no necesariamente a escala, y, generalmente, solo muestran partes que son necesarias para dilucidar el respectivo ejemplo, mientras que otras partes pueden omitirse o simplemente sugerirse.

Descripción detallada

Los aspectos de la presente descripción se describirán más detalladamente a continuación en la memoria con referencia a los dibujos adjuntos. Sin embargo, el aparato y el método descritos en la presente memoria pueden realizarse de muchas formas distintas y no deben interpretarse como limitados a los aspectos expuestos en la presente memoria. Los mismos números en los dibujos se refieren a los mismos elementos en todas partes. La terminología utilizada en la presente memoria tiene el propósito de describir aspectos particulares de la descripción únicamente, y no pretende limitar la invención. Como se utiliza en la presente memoria, las formas singulares “ un” , “ una” y “ el/la” pretenden incluir también las formas plurales, a menos que el contexto indique claramente lo contrario.

A continuación, se proporcionan descripciones de ejemplos de métodos y sistemas para un dispositivo montado en la cabeza que comprende un sensor de seguimiento ocular para actualizar un modelo de seguimiento ocular. Lo común en los ejemplos es que se utiliza un único sensor de seguimiento ocular para un ojo (y generalmente también un único sensor de seguimiento ocular para el otro ojo) y los datos de sensor se obtienen por medio del sensor de seguimiento ocular único antes y después del movimiento. La forma en que se mueve el sensor de seguimiento ocular depende, entre otras cosas, de la aplicación, del tipo de dispositivo montado en la cabeza en el que esté dispuesto el sensor de seguimiento ocular y de la forma en que esté dispuesto el sensor de seguimiento ocular en el dispositivo montado en la cabeza. Se ofrecen dos alternativas principales. En una primera alternativa, según la invención, el sensor de seguimiento ocular está dispuesto de forma móvil en el dispositivo montado en la cabeza y, en la segunda alternativa, el sensor de seguimiento ocular está dispuesto de forma inmóvil en el dispositivo montado en la cabeza. En la primera alternativa, el sensor de seguimiento ocular se puede mover en el dispositivo montado en la cabeza sin mover todo el dispositivo montado en la cabeza. Dispuesto generalmente móvil significa que el sensor de seguimiento ocular se puede mover en relación con el ojo cuando un usuario lleva puesto el dispositivo montado en la cabeza, y sin la necesidad de cambiar la posición del dispositivo montado en la cabeza con respecto a la cabeza del usuario. Sin embargo, puede haber otras partes o porciones del dispositivo montado en la cabeza que también se muevan o sean móviles en la primera alternativa. En la segunda alternativa, es necesario mover la totalidad o al menos una parte sustancial del dispositivo montado en la cabeza para mover el sensor de seguimiento ocular.

Dispuesto generalmente inmóvil significa que el sensor de seguimiento ocular no se puede mover en relación con la posición del ojo cuando un usuario lleva puesto el dispositivo montado en la cabeza sin la necesidad de cambiar la posición del dispositivo montado en la cabeza con respecto a la cabeza del usuario. Sin embargo, puede haber otras partes o porciones del dispositivo montado en la cabeza que puedan permanecer inmóviles cuando el dispositivo montado en la cabeza se mueve en relación con la cabeza del usuario para mover el sensor de seguimiento ocular en relación con el ojo del usuario.

Un ejemplo según la primera alternativa, según la invención, donde el sensor de seguimiento ocular está dispuesto de forma móvil en un dispositivo montado en la cabeza, es cuando el sensor de seguimiento ocular está dispuesto de tal modo que se mueve junto con una pantalla (o copa de lente u otra) de una pantalla de retina virtual dispuesta de forma móvil en un dispositivo montado en la cabeza o junto con una pantalla (o copa de lente u otra) dispuesta de forma móvil en un dispositivo montado en la cabeza con un mecanismo para ajuste de la distancia interpupilar.

Un ejemplo, según la segunda alternativa, donde el sensor de seguimiento ocular está dispuesto de manera inmóvil en un dispositivo montado en la cabeza, es cuando el sensor de seguimiento ocular está dispuesto de tal modo que se mueve junto con todo el dispositivo montado en la cabeza, tal como cuando el sensor de seguimiento ocular está dispuesto de manera inmóvil en el dispositivo montado en la cabeza pidiéndole al usuario que mueva el dispositivo montado en la cabeza hacia arriba y hacia abajo o utilizando el movimiento cuando el usuario coloca o ajusta el dispositivo montado en la cabeza.

Las figuras 1a y 1b muestran un diagrama de flujo que ilustra realizaciones de un método 100 para un dispositivo montado en la cabeza para actualizar un modelo de seguimiento ocular en relación con un ojo, en donde el dispositivo montado en la cabeza comprende un sensor de seguimiento ocular. La etapa de actualización del modelo de seguimiento ocular en relación con un ojo puede incluir estimar el modelo de seguimiento ocular en relación con el ojo basándose en los primeros datos de sensor y los segundos datos de sensor. Dependiendo de la aplicación, el modelo de seguimiento ocular puede estar relacionado con un número de diferentes tipos. En algunas aplicaciones, el modelo de seguimiento ocular puede parametrizarse mediante un parámetro de la córnea indicativo del radio de curvatura de la córnea del ojo del usuario. En algunas aplicaciones, el modelo de seguimiento ocular se parametriza mediante un parámetro de posición de la pupila indicativo de la posición de la pupila del ojo del usuario. Además, el modelo de seguimiento ocular puede parametrizarse por el radio y/o la posición del globo ocular.

Se hace referencia a la figura 1a. En el método 100, los primeros datos de sensor en relación con el ojo del usuario se obtienen 110 por medio del sensor de seguimiento ocular. Los datos de sensor pueden ser de diferentes tipos, tales como una imagen digital del ojo capturada por un sensor de seguimiento ocular en forma de un sensor de imagen digital. Para alguna aplicación, sería suficiente con un sensor de imagen digital para registrar la luz visible. Para otras aplicaciones, se necesitaría un sensor de imagen digital para registrar la luz infrarroja, tal como cuando se utilizan destellos de fuentes de luz infrarroja para determinar los datos de la mirada.

Una vez que se han obtenidos los primeros datos 110 de sensor, el sensor de seguimiento ocular se mueve 120 en relación con el ojo. Como se ha indicado anteriormente en la presente memoria, el sensor de seguimiento ocular puede estar dispuesto de manera inmóvil en el dispositivo montado en la cabeza o dispuesto de forma móvil en el dispositivo montado en la cabeza. En cualquier caso, pero en este último caso en particular, el movimiento del sensor de seguimiento ocular en relación con el ojo puede ser un movimiento conocido 122. En algunos ejemplos, el movimiento puede conocerse completamente de tal modo que se conozcan tanto la distancia como la dirección del movimiento. En tales ejemplos, el movimiento conocido puede utilizarse para realizar cálculos exactos en etapas posteriores del método. En otros ejemplos, el movimiento solo se conoce hasta cierto punto, tal como, por ejemplo, solo se conoce la dirección del movimiento y no la distancia exacta del movimiento. En tales ejemplos, el movimiento parcialmente conocido puede utilizarse para realizar cálculos aproximados en etapas posteriores del método. Incluso si el movimiento es completamente desconocido, existen algoritmos aproximados, tales como la localización y el mapeo simultáneos (SLAM), que pueden aplicarse a través de una serie de formas alternas de obtención de datos de sensor y del movimiento del sensor de seguimiento ocular.

Según la invención, el movimiento del sensor de seguimiento ocular es un movimiento 124 de traslación en relación con el ojo. En algunos ejemplos donde el sensor de seguimiento ocular está dispuesto de forma móvil en el dispositivo montado en la cabeza, el sensor de seguimiento ocular está dispuesto en relación con una pantalla (o copa de lente u otra), pantalla que está dispuesta de forma móvil en el dispositivo montado en la cabeza. El sensor de seguimiento ocular se mueve a continuación en relación con el ojo moviendo 126 la pantalla (o la copa de lente u otra) del dispositivo montado en la cabeza en relación con el ojo. Tal disposición de forma móvil (o copa de lente u otra) puede proporcionarse, por ejemplo, en un dispositivo montado en la cabeza donde la pantalla (o copa de lente u otra) debe disponerse de forma móvil también para otro propósito. Por ejemplo, tal disposición puede ser necesaria para calibrar una pantalla de retina virtual en relación con la distancia interpupilar de un usuario y para soportar un mecanismo para el ajuste continuo de una pantalla en relación con la distancia interpupilar basándose en la distancia de convergencia de la mirada actual de un usuario. El movimiento de la pantalla (o copa de lente u otra) a continuación es típicamente horizontal y traslacional en relación con el ojo.

Después de que el sensor de seguimiento ocular se haya movido 120, se obtienen 130 segundos datos de sensor en relación con el ojo por medio del sensor de seguimiento ocular. Los datos del segundo sensor son normalmente del mismo tipo que los datos del primer sensor.

En algunos ejemplos, el sensor de seguimiento ocular puede moverse 140 además en relación con el ojo después de que se hayan obtenido 130 los segundos datos de sensor. Este movimiento adicional 140 puede ser del mismo tipo que el movimiento 120 después de que se hayan obtenido 110 los primeros datos de sensor.

El movimiento adicional 140 del sensor de seguimiento ocular es seguido a continuación por la obtención 150 de terceros datos de sensor en relación con el ojo por medio del sensor de seguimiento ocular.

El proceso se puede repetir mediante una serie de movimientos alternos del sensor de seguimiento ocular y la obtención de datos de sensor, y el resultado se puede utilizar en algoritmos aproximados, tales como la localización y el mapeo simultáneos (SLAM) en etapas posteriores.

Ahora se hace referencia a la figura 1b. El método 100 continúa con la actualización 160 del modelo de seguimiento ocular en relación con el ojo basándose en los primeros datos de sensor y los segundos datos de sensor (y los terceros datos de sensor o más si están disponibles). Dado que los primeros datos de sensor y los segundos datos de sensor se han obtenido por medio del sensor de seguimiento ocular antes y después del movimiento del sensor de seguimiento ocular, respectivamente, proporcionarán información adicional en relación con el uso del sensor de seguimiento ocular único sin movimiento. En un ejemplo, los datos del primer sensor representan 112 una primera imagen 440 y los datos del segundo sensor representan 132 una segunda imagen 460. Además, el movimiento es tal que se cambia el ángulo entre el sensor de seguimiento ocular y el ojo. En tal ejemplo, una posición de una característica del ojo en la primera imagen puede identificarse 162, y una posición de la característica en la segunda imagen puede identificarse 163. Basándose en la posición de la característica en la primera imagen, la posición de la característica en la segunda imagen y el movimiento del sensor de seguimiento ocular, se determina 164 una distancia desde el sensor de seguimiento ocular a la característica del ojo. El modelo de seguimiento ocular se actualiza 165 a continuación basándose en la distancia determinada. Si, por ejemplo, el movimiento es un movimiento de traslación horizontal conocido que es lo suficientemente rápido y corto como para que el tiempo entre la obtención de las dos imágenes sea corto, las dos imágenes producidas estarán muy cerca de las dos imágenes producidas en una configuración estéreo y, por lo tanto, se pueden utilizar técnicas estereoscópicas para determinar una distancia desde el sensor de seguimiento ocular hasta la característica del ojo.

Si el movimiento es desconocido, se pueden aplicar algoritmos aproximados, tales como la localización y el mapeo simultáneos (SLAM), para actualizar 168 el modelo de seguimiento ocular. En un caso de este tipo, el algoritmo puede aplicarse de forma ventajosa a través de una serie de obtención alterna de datos de sensor y movimiento del sensor de seguimiento ocular.

Las figuras 1a y 1b comprenden algunas etapas que se ilustran en recuadros con un borde de línea continua y algunas etapas que se ilustran en recuadros con un borde de línea discontinua. Las etapas que están comprendidas en recuadros con un borde de línea continua son operaciones que están comprendidas en la realización de ejemplo más amplia. Las etapas que están comprendidas en los recuadros con un borde de línea discontinua son realizaciones de ejemplo que pueden estar comprendidas en, o ser parte de, o son operaciones adicionales que pueden realizarse además de las operaciones de las realizaciones de ejemplo de borde. No es necesario realizar todas las etapas en orden y no es necesario realizar todas las operaciones. Además, al menos algunas de las etapas se pueden realizar en paralelo.

Los métodos para que un dispositivo montado en la cabeza actualice un modelo de seguimiento ocular en relación con un ojo y las etapas en el mismo, como se describe en la presente memoria, p. ej., en relación con las figuras 1a y 1b, pueden implementarse en un sistema 200 de procesamiento de la figura 2. El sistema 200 de procesamiento comprende un procesador 210 y un portador 220 que incluye instrucciones ejecutables 230 por ordenador, por ejemplo, en forma de un programa informático, que, cuando son ejecutadas por el procesador 210, hacen que el sistema 200 de procesamiento realice el método. El portador 220 puede ser, por ejemplo, una señal electrónica, una señal óptica, una señal de radio, un medio de almacenamiento legible por ordenador transitorio y un medio de almacenamiento legible por ordenador no transitorio.

El sistema 200 de procesamiento, tal como se ilustra en relación con la figura 2, puede implementarse, por ejemplo, en un dispositivo montado en la cabeza, como se ilustra en la figura 3.

La figura 3 muestra un dispositivo 1010 montado en la cabeza según una o más realizaciones. El dispositivo 1010 montado en la cabeza es un dispositivo que puede adaptarse opcionalmente para montarse (o disponerse) en la cabeza de un usuario 1000, como se muestra en la figura 4. El dispositivo 1010 montado en la cabeza puede comprender, p. ej., y/o estar comprendido en una pantalla montada en la cabeza, HMD, tal como un auricular de RV, un auricular de RA o un auricular de RM. El dispositivo 1010 montado en la cabeza o HMD comprende un dispositivo 1015 de visualización, que puede visualizar una pluralidad de objetos en respuesta a una señal de control recibida desde un ordenador. El dispositivo 1015 de visualización puede ser transparente para las experiencias del mundo real y no transparente para la experiencia del mundo virtual. El dispositivo 1010 montado en la cabeza típicamente está configurado además para proporcionar la funcionalidad de seguimiento ocular mediante una señal de seguimiento de la mirada que utiliza uno o más sensores de seguimiento ocular (no mostrados), por ejemplo, indicativos de una posición de la pupila, una dirección de la mirada y/o una distancia de convergencia. En otras palabras, el dispositivo 1010 montado en la cabeza típicamente está configurado para proporcionar una indicación de un objeto que el usuario está mirando y/o una profundidad a la que el usuario está mirando/observando. El dispositivo 1010 montado en la cabeza comprende un único sensor de seguimiento ocular para cada ojo.

El dispositivo 1015 de visualización puede ser, por ejemplo, una pantalla 3D, tal como una pantalla estereoscópica. La pantalla 3D puede estar comprendida, por ejemplo, de gafas equipadas con la funcionalidad de RA. Además, la pantalla 3D puede ser una pantalla 3D volumétrica, que puede ser autoestereoscópica o automultiscópica, lo que puede indicar que crean imágenes 3D visibles a simple vista, sin requerir de gafas estéreo o pantallas estéreo montadas en la cabeza. En consecuencia, la pantalla 3D puede ser parte del dispositivo 1010 montado en la cabeza.

En un ejemplo general, la pantalla (copa de lente u otra) se puede mover horizontalmente en relación con el ojo, p. ej., para permitir la centralización con respecto a una pupila. Al disponer un sensor de seguimiento ocular por ojo en la pantalla móvil horizontal respectiva (copa de lente u otra) por ojo, el sensor de seguimiento ocular también se podrá mover horizontalmente y, por lo tanto, se pueden realizar las realizaciones del método de la presente descripción.

Un ejemplo específico donde una pantalla se puede mover horizontalmente es el de un dispositivo montado en la cabeza que utiliza pantallas retina virtuales. En una aplicación de este tipo, se utiliza la óptica transflectiva/reflectante para reflejar la luz escaneada desde una fuente de luz, p. ej., utilizando un motor de luz RGB y un espejo de escaneo m Em S que puede inclinarse ya está dispuesto para moverse horizontalmente en relación con el ojo para poder ajustarse para alinearse con la posición de la pupila del ojo.

Debe observarse que el diseño del dispositivo montado en la cabeza ilustrado en la figura 3 es únicamente un ejemplo. Los dispositivos montados en la cabeza según la presente descripción no están vinculados a un diseño específico. Se abarcan otros diseños, tales como un diseño más similar al de las gafas normales que se utilizan típicamente para las gafas inteligentes.

La figura 4 es una vista esquemática del ojo 410 de un usuario en relación con realizaciones de un método, sistema de procesamiento y dispositivo montado en la cabeza según la presente descripción.

Se proporciona una parte móvil 420 de un dispositivo montado en la cabeza, tal como una pantalla móvil 420. En la pantalla móvil 420, o en un marco de la pantalla móvil 420, se dispone un sensor de seguimiento ocular en forma de cámara 430 de tal modo que la cámara 430 se mueve cuando se mueve la pantalla 420. Se obtienen los primeros datos de sensor en forma de una primera imagen 440 y, después de un movimiento conocido 450 de la pantalla 420 y la cámara 430, se obtienen los segundos datos de sensor en forma de una segunda imagen 460. El movimiento 450 es un movimiento de traslación 450 en relación con el ojo 410. Debe observarse que el tamaño del movimiento 450 está exagerado en relación con la distancia desde la cámara 430 al ojo 410 en la figura 4 con fines ilustrativos. El movimiento es generalmente del orden de milímetros. Se identifica una posición 470 de una característica del ojo, tal como una pupila, en la primera imagen 440 y se identifica una posición 480 de la característica en la segunda imagen 460. Ahora, basándose en el movimiento conocido 450, la posición 470 de la característica del ojo en la primera imagen 440, la posición 480 de la característica del ojo en la segunda imagen 460, se puede determinar una distancia desde la cámara 430 a la característica del ojo.

En un ejemplo, el sensor de seguimiento ocular está dispuesto en relación con un sistema óptico del dispositivo 1010 montado en la cabeza, de tal modo que el sensor de seguimiento ocular se mueve 450 en relación con el ojo 410 moviendo el sistema óptico en relación con el ojo 410. El sensor de seguimiento ocular puede estar dispuesto en el sistema óptico, por ejemplo, en el cristal, la pantalla, la copa de la lente, el marco, la pantalla, etc. y el sensor de seguimiento ocular puede moverse moviendo el sistema óptico o al menos la parte del sistema óptico en la que está dispuesto el sensor de seguimiento ocular. El sistema óptico, o al menos la parte del sistema óptico en la que está dispuesto el sensor de seguimiento ocular, puede disponerse de forma móvil o inmóvil en el dispositivo 1010 montado en la cabeza.

La persona experta en la técnica es consciente de que la presente invención no se limita de ninguna manera a las realizaciones descritas anteriormente. Por el contrario, son posibles varias modificaciones y variaciones dentro del alcance de las reivindicaciones adjuntas.

De forma adicional, las personas expertas en la técnica pueden entender y efectuar variaciones de las realizaciones descritas al poner en práctica la invención reivindicada, a partir de un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. En las reivindicaciones, la expresión “ que comprende” no excluye otros elementos o etapas, y el artículo indefinido “ un” o “ una” no excluye una pluralidad. La terminología utilizada en la presente memoria tiene el propósito de describir aspectos particulares de la descripción únicamente, y no pretende limitar la invención. La división de tareas entre unidades funcionales referidas en la presente descripción no corresponde necesariamente a la división en unidades físicas; por el contrario, un componente físico puede tener múltiples funcionalidades, y una tarea puede llevarse a cabo de manera distribuida, por varios componentes físicos en cooperación. Se puede almacenar/distribuir un programa informático en un medio no transitorio adecuado, tal como un medio de almacenamiento óptico o un medio en estado sólido suministrado junto con o como parte de otrohardware,pero también puede distribuirse de otras formas, tales como a través de Internet u otros sistemas de telecomunicaciones alámbricos o inalámbricos. El mero hecho de que determinadas medidas/características se mencionen en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas/características no pueda utilizarse ventajosamente. No es necesario que las etapas del método se realicen en el orden en el que aparecen en las reivindicaciones o en las realizaciones descritas en la presente memoria, a menos que se describa explícitamente que se requiere un cierto orden. No deberá interpretarse que cualquier signo de referencia en las reivindicaciones está limitando el alcance.

Claims

REIVINDICACIONES

i.Un método (100) para un dispositivo (1010) montado en la cabeza para actualizar un modelo de seguimiento ocular en relación con un ojo (410), realizándose el método mediante un sistema (200) de procesamiento, en donde el dispositivo montado en la cabeza comprende un sensor de seguimiento ocular, comprendiendo el método:

obtener (110), por medio del sensor de seguimiento ocular, primeros datos de sensor en relación con el ojo;

caracterizado por

mover (120), por medio del sistema de procesamiento, el sensor de seguimiento ocular en relación con el ojo, en donde el sensor de seguimiento ocular se mueve después de obtener los primeros datos de sensor, en donde el movimiento del sensor de seguimiento ocular es un movimiento (124) de traslación en relación con el ojo;

obtener (130), por medio del sensor de seguimiento ocular, segundos datos de sensor en relación con el ojo, en donde los segundos datos de sensor se obtienen después de mover el sensor de seguimiento ocular; y

actualizar (160), por medio del sistema de procesamiento, el modelo de seguimiento ocular en relación con el ojo basándose en los primeros datos de sensor y los segundos datos de sensor.
2. El método de la reivindicación 1, en donde el sensor de seguimiento ocular está dispuesto de forma móvil en el dispositivo montado en la cabeza.
3. El método de la reivindicación 1 o la reivindicación 2, en donde el sensor de seguimiento ocular está dispuesto en relación con un sistema de procesamiento óptico del dispositivo montado en la cabeza, de tal modo que el sensor de seguimiento ocular se mueve en relación con el ojo moviendo el sistema de procesamiento óptico en relación con el ojo.
4. El método de la reivindicación 1 o la reivindicación 2, en donde el sensor de seguimiento ocular está dispuesto en relación con una pantalla (420) dispuesta de forma móvil en el dispositivo montado en la cabeza, de tal modo que el sensor de seguimiento ocular se mueve en relación con el ojo moviendo (126) la pantalla en el dispositivo montado en la cabeza en relación con el ojo.
5. El método de una cualquiera de las reivindicaciones 1 a 4, en donde los primeros datos de sensor representan (112) una primera imagen (440) del ojo y los segundos datos de sensor representan (132) una segunda imagen (460) del ojo, en donde el movimiento es tal que se cambia un ángulo entre el sensor de seguimiento ocular y el ojo, y en donde la actualización del modelo de seguimiento ocular comprende además:

identificar (162), por medio del sistema de procesamiento, una posición (470) de una característica del ojo en la primera imagen;

identificar (163), por medio del sistema de procesamiento, una posición (480) de la característica del ojo en la segunda imagen;

determinar (164), por medio del sistema de procesamiento, una distancia desde el sensor de seguimiento ocular hasta la característica del ojo basándose en la posición de la característica del ojo en la primera imagen, la posición de la característica del ojo en la segunda imagen y el movimiento del sensor de seguimiento ocular; y

actualizar (165), por medio del sistema de procesamiento, el modelo de seguimiento ocular en relación con el ojo basándose en la distancia determinada.
6. El método de una cualquiera de las reivindicaciones 1 a 5, que comprende además:

mover además (140), por medio del sistema de procesamiento, el sensor de seguimiento ocular en relación con el ojo, en donde el sensor de seguimiento ocular se mueve además después de obtener los segundos datos de sensor; y

obtener (150), por medio del sensor de seguimiento ocular, terceros datos de sensor en relación con el ojo, en donde los terceros datos de sensor se obtienen después de mover además el sensor de seguimiento ocular,

en donde la actualización del modelo de seguimiento ocular en relación con el ojo se basa además en los terceros datos de sensor.
7. El método de una cualquiera de las reivindicaciones 1 a 6, en donde el movimiento del sensor de seguimiento ocular es un movimiento conocido (122).
8. El método de una cualquiera de las reivindicaciones 1 a 7, en donde el modelo de seguimiento ocular se actualiza (168) utilizando un algoritmo de localización y mapeo simultáneos, SLAM.
9.El método de una cualquiera de las reivindicaciones 1 a 8, en donde el modelo de seguimiento ocular se parametriza mediante un parámetro de la córnea indicativo de un radio de curvatura de una córnea del ojo del usuario, y en donde la actualización del modelo de seguimiento ocular comprende actualizar un valor del parámetro de la córnea.
10. El método de una cualquiera de las reivindicaciones 1 a 9, en donde el modelo de seguimiento ocular se parametriza mediante un parámetro de posición de la pupila indicativo de una posición de la pupila del ojo del usuario, y en donde la actualización del modelo de seguimiento ocular comprende actualizar un valor del parámetro de posición de la pupila.
11. Un sistema (200) de procesamiento para un dispositivo (1010) montado en la cabeza para actualizar un modelo de seguimiento ocular en relación con un ojo (410), en donde el dispositivo montado en la cabeza comprende un sensor de seguimiento ocular, comprendiendo el sistema de procesamiento un procesador (210) y una memoria, conteniendo dicha memoria instrucciones ejecutables por dicho procesador (210), donde dicho sistema de procesamiento es operativo para:

obtener, mediante el sensor de seguimiento ocular, primeros datos de sensor en relación con el ojo;caracterizado porquedicho sistema de procesamiento está operativo además para:

mover el sensor de seguimiento ocular en relación con el ojo, en donde el sensor de seguimiento ocular se mueve después de obtener los primeros datos de sensor y el movimiento del sensor de seguimiento ocular es un movimiento (124) de traslación en relación con el ojo;

obtener, por el sensor de seguimiento ocular, segundos datos de sensor en relación con el ojo, en donde los segundos datos de sensor se obtienen después de mover el sensor de seguimiento ocular; y

actualizar el modelo de seguimiento ocular en relación con el ojo basándose en los primeros datos de sensor y los segundos datos de sensor.
12. Un dispositivo (1010) montado en la cabeza que comprende el sistema de procesamiento de la reivindicación 11.
13. Un programa informático en un sistema (200) de procesamiento que comprende un dispositivo (1010) montado en la cabeza para actualizar un modelo de seguimiento ocular en relación con un ojo (410), en donde el dispositivo montado en la cabeza comprende un sensor de seguimiento ocular, comprendiendo el programa informático instrucciones (230) que, cuando son ejecutadas por un procesador (210) del sistema de procesamiento, hacen que el procesador (210):

obtenga, mediante el sensor de seguimiento ocular, primeros datos de sensor en relación con el ojo;caracterizado porqueel programa informático comprende además instrucciones que, cuando son ejecutadas por el procesador (210), hacen que el procesador (210):

mueva el sensor de seguimiento ocular en relación con el ojo, en donde el sensor de seguimiento ocular se mueve después de obtener los primeros datos de sensor y el movimiento del sensor de seguimiento ocular es un movimiento (124) de traslación en relación con el ojo;

obtenga, por el sensor de seguimiento ocular, segundos datos de sensor en relación con el ojo, en donde los segundos datos de sensor se obtienen después de mover el sensor de seguimiento ocular; y

actualice el modelo de seguimiento ocular en relación con el ojo basándose en los primeros datos de sensor y los segundos datos de sensor.
14. Un portador (220) que comprende un programa informático según la reivindicación 13, en donde el portador es uno de una señal electrónica, una señal óptica, una señal de radio y un medio de almacenamiento legible por ordenador.