ES2926035T3 - Aplicación de seguimiento ocular en realidad virtual y realidad aumentada - Google Patents

Aplicación de seguimiento ocular en realidad virtual y realidad aumentada Download PDF

Info

Publication number
ES2926035T3
ES2926035T3 ES19177632T ES19177632T ES2926035T3 ES 2926035 T3 ES2926035 T3 ES 2926035T3 ES 19177632 T ES19177632 T ES 19177632T ES 19177632 T ES19177632 T ES 19177632T ES 2926035 T3 ES2926035 T3 ES 2926035T3
Authority
ES
Spain
Prior art keywords
user
hmd
region
visual
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19177632T
Other languages
English (en)
Inventor
Andrew Ratcliff
Geoffrey Cooper
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2926035T3 publication Critical patent/ES2926035T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

Se describen un método y un aparato correspondiente para mitigar el mareo por movimiento en un sistema de realidad virtual VR/realidad aumentada (AR) usando una pantalla montada en la cabeza (HMD). El método comprende recibir datos de un sensor que indica una orientación actual del HMD en el espacio real y superponer una indicación visual en una pantalla del HMD. La indicación visual proporciona información visual al usuario sobre la orientación actual del HMD en el espacio real. Además, se describen métodos y aparatos correspondientes para calcular la distancia de convergencia de la mirada en un sistema de seguimiento ocular y de realidad virtual (VR)/aumentada basada en la mirada. Expansión del menú de realidad (AR). (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Aplicación de seguimiento ocular en realidad virtual y realidad aumentada
Antecedentes
Mitigación de la cinetosis
En aplicaciones de virtual reality (realidad virtual - VR) y de augmented reality (realidad aumentada - AR), pueden surgir problemas para usuarios en aplicaciones con movimiento visual y/o físico en espacio virtual y/o real por el hecho de que dicho movimiento puede provocar cinetosis.
Sería deseable dar a conocer una tecnología VR/AR que reduzca la cinetosis con respecto a los métodos conocidos. US 2002/099257 A1 describe un método para evitar que una persona experimente cinetosis al mostrar una imagen en una pantalla montada en la cabeza o alrededor de una pantalla montada en la cabeza que proporciona una referencia visual que corresponde a la percepción del sistema vestibular.
US 2016/167672 A1 describe una pantalla que se utiliza en la cabeza que puede mostrar una primera imagen fija con respecto a la cabeza del usuario junto con una segunda imagen que se mueve con respecto a la cabeza del usuario, tal como un indicador de cabeceo y de alabeo.
US 2015/104757 A1 describe un método de evaluación de un conductor que utiliza un simulador. Un sickness mitigating object (objeto de mitigación de cinetosis - SMO) oculta parcialmente parte de la escena virtual que se visualiza para evitar la enfermedad del simulador. El SMO funciona desaturando parte del campo de visión de un conductor.
Señal de convergencia robusta
En aplicaciones de virtual reality (realidad virtual - VR) y de augmented reality (realidad aumentada - AR), una distancia de convergencia de mirada es una entrada importante procedente de un sistema de seguimiento ocular. Cuando se calcula una distancia de convergencia de mirada en sistemas de seguimiento ocular conocidos, se calculan un vector de mirada de un ojo derecho y un vector de mirada de un ojo izquierdo y se calcula la intersección entre estos vectores para determinar la distancia de convergencia. Surgen problemas con este modo de calcular la distancia de convergencia, por el hecho de que los vectores de mirada en relación con los ojos incluyen tanto ruido como pequeños errores de ángulo en los vectores de mirada, que darán lugar a un gran error en la distancia de convergencia de mirada.
En un aspecto que no forma parte de la invención reivindicada, sería deseable proporcionar una tecnología de seguimiento ocular que reduzca el error en una distancia de convergencia de mirada calculada de los métodos conocidos.
Expansión de objetos basada en mirada
En aplicaciones de virtual reality (realidad virtual - VR) y de augmented reality (realidad aumentada - AR) hay situaciones en las que es útil acceder a menús visuales u otros objetos. El acceso a los menús requiere la entrada del usuario mediante medios de entrada de usuario. En sistemas conocidos, tales medios de entrada se basan frecuentemente en control táctil u otros medios de entrada basada en puntero utilizando las manos, brazos o similares para controlar botones o realizar gestos para acceder a los menús. Otros ejemplos de sistemas conocidos utilizan control por voz o fijación de mirada para activar menús. Un problema con tales medios de entrada es que algunos de ellos pueden requerir una combinación de acciones y/o acciones en conflicto o al menos difíciles de combinar con otras acciones realizadas.
En un aspecto que no forma parte de la invención reivindicada, sería deseable proporcionar una tecnología de realidad virtual y realidad aumentada con soluciones alternativas de activación y visualización de menús u otros objetos en relación con los métodos y sistemas conocidos. Preferiblemente, la tecnología debería simplificarse y/o ser más intuitiva.
Sumario
La presente descripción se refiere en general al campo de seguimiento ocular. En concreto, la presente descripción se refiere a sistemas y métodos para su uso en la identificación de reflexiones procedentes de disposiciones ópticas en un sistema de seguimiento ocular.
Mitigación de la cinetosis
La cinetosis en el mundo real generalmente ocurre cuando los ojos de una persona producen señales sobre el movimiento y la orientación que entran en conflicto con las señales proporcionadas por los sensores vestibulares en el oído interno. En la vida real, por ejemplo, mantener un ojo en el horizonte mientras se desplaza en un barco o mirando a la carretera por delante mientras se monta en un automóvil, son métodos probados para aliviar los síntomas de la cinetosis.
En AR y VR, no es factible hallar tal “horizonte” en cada imagen de escena, en donde la imagen de escena se visualiza en un dispositivo de visualización de AR/VR HMD. Para mitigar la cinetosis del usuario de VR/AR, se proporciona un método, un aparato y un programa informático para mitigar la cinetosis según las reivindicaciones independientes. Se proporcionan otras realizaciones según las reivindicaciones dependientes.
Se propone superponer una indicación visual que proporcione información visual a un usuario de la orientación actual de la HMD en el espacio real, comprendiendo la información visual, por ejemplo, una imagen similar a una cuadrícula (u otro patrón) con tamaño y forma específicos y que al menos rodea una región foveal en base al movimiento relativo entre un movimiento (detectado por giroscopio y/o acelerómetro) de HMD y características de una imagen de escena.
Según un primer aspecto de la invención reivindicada, se proporciona un método para mitigar la cinetosis en un sistema que utiliza una head mounted display (pantalla montada en la cabeza - HMD), comprendiendo el método: recibir datos de un sensor que indican una orientación actual de la HMD en el espacio real; superponer una indicación visual en una pantalla de la HMD, cuya indicación visual proporciona información visual a un usuario de la orientación actual de la HMD en el espacio real; y recibir datos de una función de seguimiento de mirada que indican un punto de mirada actual del usuario correspondiente a una región foveal del usuario; en donde la indicación visual comprende una región de oclusión que incluye el punto de mirada actual del usuario, de modo que la indicación visual no se revela en la región de oclusión, en donde la región de oclusión coincide sustancialmente con la región foveal del usuario.
La región de oclusión se introduce alrededor de un punto de mirada actual para evitar que la indicación visual oculte lo que el usuario está mirando actualmente. La región de oclusión coincide sustancialmente con la parte de la fóvea de la retina del ojo del usuario, que es la parte de la retina que proporciona la visión más clara.
El tamaño de la región de oclusión es generalmente una compensación entre la eficiencia de mitigar la cinetosis y limitar la distracción al usuario. La reducción del tamaño de la región de oclusión generalmente aumentará la eficiencia de mitigar la cinetosis y, al mismo tiempo, aumentará la distracción del usuario, ya que la indicación visual utilizada se introduce generalmente para orientar la percepción visual del usuario en relación con las direcciones horizontal y vertical en relación con el espacio real.
Además, el nivel de transparencia (opacidad) de la indicación visual o, en otras palabras, cuánto cubre u oculta la indicación visual otra información visual en la vista del usuario, también es de forma general una compensación entre la eficiencia de mitigación de la cinetosis y la limitación de la distracción al usuario. La reducción del nivel de transparencia de la región de oclusión aumentará generalmente la eficiencia de mitigación de la cinetosis y, al mismo tiempo, aumentará la distracción del usuario, ya que la indicación visual utilizada se introduce de forma general únicamente para orientar la percepción visual del usuario en relación con las direcciones horizontal y vertical en relación con el espacio real.
En algunas realizaciones, la indicación visual tiene un mayor grado de transparencia en una región más cercana a la región de oclusión que en regiones más lejos de la región de oclusión. Por lo tanto, justo fuera de la región de oclusión, la indicación visual será más transparente o, en otras palabras, la indicación visual cubrirá u ocultará menos otra información visual en la vista del usuario, que más lejos de la región de oclusión. Por ejemplo, el grado de transparencia puede disminuir gradualmente en función de la distancia a la región de oclusión en una región justo fuera de la región de oclusión. Esto reducirá la distracción del usuario en relación con tener un borde afilado en el límite de la región de oclusión, p. ej., que va de una indicación visual oculta en la región de oclusión a una indicación visual no transparente justo fuera de la región de oclusión, ya que los bordes nítidos tienden a ser más distractores para un usuario que las transiciones más suaves.
En algunas realizaciones, se mide una diferencia de ángulo entre una dirección vertical de la HMD en el espacio real y una dirección vertical de las impresiones visuales del usuario durante un período de tiempo y se determina la diferencia de ángulo más grande durante el período de tiempo. Si la diferencia de ángulo más grande determinada es mayor que un valor umbral predeterminado, el tamaño de la región de oclusión disminuye.
Una dirección vertical de la HMD en el espacio real será generalmente una dirección vertical de la cabeza del usuario en el espacio real y será detectada por los sensores vestibulares en el oído interno del usuario. Una dirección vertical de la impresión visual del usuario está basada en señales visuales identificadas en el cerebro del usuario. Las señales visuales se utilizan para suponer lo que se cree (interpreta) que está fijado a tierra y, por lo tanto, lo que es vertical y lo que es horizontal. Por ejemplo, un suelo grande (o una cubierta de un barco) sería una buena suposición, o el lado de un edificio grande. Esto es lo que determina el contexto del espacial visual.
Aunque se hace referencia a la dirección vertical de la HMD en el espacio real y a la dirección vertical de las impresiones visuales del usuario anteriormente, cualquier dirección de referencia (vectores 3D) en los dos contextos espaciales (contexto visual y de oído interno) y cambio angular relativo o cambio direccional a lo largo del tiempo entre el valor de las direcciones de referencia podría utilizarse junto con un valor umbral predeterminado para determinar si deben aplicarse medidas adicionales para mitigar la cinetosis, como disminuir el tamaño de la región de oclusión.
Como se indica, el tamaño de la región de oclusión es generalmente una compensación entre la eficiencia de mitigar la cinetosis y limitar la distracción al usuario. Para situaciones donde el riesgo de cinetosis se vuelve mayor, decidir la compensación entre la reducción de la cinetosis y limitar la distracción para el usuario puede dar como resultado un deseo de aumentar la mitigación de la cinetosis, por ejemplo, reduciendo el tamaño de la región de oclusión.
Como se indica, el nivel de transparencia de la indicación visual también es de forma general una compensación entre la eficiencia de mitigación de la cinetosis y la limitación de la distracción al usuario. Para situaciones en donde el riesgo de cinetosis se vuelve mayor, decidir la compensación entre la reducción de la cinetosis y la limitación de la distracción para el usuario puede dar lugar a que se decida aumentar la mitigación de la cinetosis, p. ej., reduciendo la transparencia de la indicación visual.
El riesgo de cinetosis puede ser, por ejemplo, más alto si un usuario está utilizando una HMD en un barco y el barco se balancea mucho, p. ej., de modo que un ángulo entre la dirección vertical de la HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario se vuelve mayor que el valor umbral predeterminado durante un periodo de tiempo. En tales casos, puede reducirse el tamaño de la región de oclusión. Como alternativa o además de reducir el tamaño de la región de oclusión, puede reducirse la transparencia de la indicación visual. Por ejemplo, el riesgo de cinetosis puede ser mayor también si un usuario está utilizando una HMD para VR donde la dirección vertical de las impresiones visuales del usuario cambia mucho sin que cambie la dirección vertical de la HMD en el espacio real, de modo que un ángulo entre la dirección vertical de la HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario se vuelve mayor que el valor umbral predeterminado durante un periodo de tiempo.
Pueden identificarse otras situaciones en donde el riesgo de cinetosis puede ser mayor por medio de la medición de otros parámetros distintos al ángulo entre la dirección vertical de la HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario. Para tales situaciones, se determinan valores umbral para los otros parámetros medidos y se establece el tamaño de la región de oclusión en relación con los otros parámetros.
La indicación visual se introduce generalmente para orientar la percepción visual del usuario en relación con la dirección horizontal y vertical en relación con el espacio real. Una forma de hacer esto es determinar si la indicación visual indica una superficie que se mantiene horizontal en relación con el espacio real. La superficie se superpone en la vista del usuario. La superficie puede ser, por ejemplo, un patrón similar a una cuadrícula.
Además de ser horizontal en relación con el espacio real, es decir, que indica una dirección horizontal en relación con el espacio real en la vista del usuario, la indicación visual puede indicar una perspectiva en relación con un horizonte virtual que simula el horizonte de espacio real y que es horizontal en relación con el espacio real.
La indicación visual también puede comprender una línea horizontal aumentada.
Según un segundo aspecto de la invención reivindicada, se proporciona un aparato para mitigar la cinetosis en un sistema que utiliza una head mounted display (pantalla montada en la cabeza - HMD), que comprende: un receptor para recibir datos procedentes de un sensor que indican una orientación actual de la HMD en el espacio real; y circuitos de procesamiento para superponer una indicación visual en una pantalla de la HMD, cuya indicación visual proporciona información visual a un usuario de la orientación actual de la HMD en el espacio real; en donde el receptor también sirve para recibir datos de una función de seguimiento de mirada que indican un punto de mirada actual del usuario correspondiente a una región foveal del usuario, y en donde la indicación visual comprende una región de oclusión que incluye el punto de mirada actual del usuario, de modo que la indicación visual no se revela en la región de oclusión para evitar que la indicación visual oculte lo que el usuario está mirando actualmente, y en donde la región de oclusión coincide sustancialmente con la región foveal del usuario.
Según un tercer aspecto de la invención reivindicada, se proporciona un programa informático que comprende instrucciones que, cuando el programa se ejecuta mediante un ordenador, hacen que el ordenador lleve a cabo un método para mitigar la cinetosis en un sistema que utiliza una pantalla montada en la cabeza, HMD, comprendiendo el método: recibir datos de un sensor que indican una orientación actual de la HMD en el espacio real; superponer una indicación visual en una pantalla de la HMD, cuya indicación visual proporciona información visual a un usuario de la orientación actual de la HMD en el espacio real; y recibir datos de una función de seguimiento de mirada que indican un punto de mirada actual del usuario correspondiente a una región foveal del usuario, en donde la indicación visual comprende una región de oclusión que incluye el punto de mirada actual del usuario, de modo que la indicación visual no se revela en la región de oclusión para evitar que la indicación visual oculte lo que el usuario está mirando actualmente, y en donde la región de oclusión coincide sustancialmente con la región foveal del usuario.
La invención reivindicada se refiere al método y al aparato para mitigar la cinetosis en un sistema que utiliza una pantalla montada en la cabeza que se describe en relación con las Figuras 1-3. Por lo tanto, cualquier referencia en la descripción a una realización, aspecto o ejemplo que se refiera a las Figuras 4-7d debería entenderse como una referencia a un ejemplo que no forma parte de la invención reivindicada.
Breve descripción de los dibujos
Este y otros aspectos se describirán a continuación en mayor detalle en la siguiente descripción detallada ilustrativa y no limitativa, con referencia a los dibujos adjuntos.
La Figura 1a muestra una vista esquemática de un ejemplo de indicación visual en una vista de VR.
Las Figuras 1b y 1c muestran vistas esquemáticas de ejemplos de una diferencia en ángulo entre una dirección vertical de una HMD (cabeza del usuario) en el espacio real y una dirección vertical de impresiones visuales de un usuario.
La Figura 2 es un diagrama de flujo de un método para mitigar la cinetosis.
La Figura 3 es un diagrama esquemático de un aparato para mitigar la cinetosis.
La Figura 4 es un diagrama que muestra un ejemplo de una función para determinar una distancia de convergencia de mirada basada en la distancia pupilar.
La Figura 5 es un diagrama de flujo de un método para determinar una distancia de convergencia de mirada.
La Figura 6 es un diagrama de flujo de un método para la expansión de menús basada en mirada.
La Figura 7a-d muestran vistas esquemáticas de un ejemplo de expansión de menús basada en mirada.
Todas las figuras son esquemáticas, no necesariamente a escala, y, generalmente, solo muestran partes que son necesarias para dilucidar el respectivo ejemplo, mientras que otras partes pueden omitirse o simplemente sugerirse.
Descripción detallada
Mitigación de la cinetosis
La Figura 1a muestra una vista esquemática de un ejemplo de indicación visual en una vista 100 de virtual reality (realidad virtual - VR) en un sistema que utiliza una head mounted display (pantalla montada en la cabeza - HMD) que incluye una función de seguimiento ocular/de mirada. En la vista 100 de VR se ha superpuesto una indicación visual que comprende una cuadrícula 110 sobre la vista 100 de VR. La función de seguimiento ocular/de mirada proporciona información sobre un punto de mirada actual del usuario del HMD. Se utiliza una región 120 de oclusión indicada por un círculo 120 en la vista 100 de VR. Dentro de la región 120 de oclusión la cuadrícula 110 es completamente transparente y justo fuera de la región de oclusión, la transparencia de la cuadrícula 110 se reduce gradualmente. El círculo 120 generalmente no se muestra en la vista en la HMD, pero está incluido en la vista 100 de VR en la Figura 1 con fines ilustrativos. Un sensor (no mostrado) proporciona información sobre la orientación de la HMD en el espacio real, p. ej., un ángulo en relación con una dirección horizontal del espacio real que se indica en la imagen como una flecha 130. El sensor puede ser, por ejemplo, un giroscopio y/o acelerómetro. Además de la flecha 130 que indica la dirección horizontal del espacio real, se muestra una flecha 140 que indica la dirección horizontal como experimenta visualmente un usuario de la HMD. Las flechas 130, 140 generalmente no se muestran en la vista en la h Md , pero están incluidas en la vista 100 de VR de la Figura 1 con fines ilustrativos. Además de la cuadrícula 110, la indicación visual comprende una línea 150 horizontal aumentada.
La cuadrícula 110 y la línea 150 horizontal aumentada proporcionan información visual a un usuario de la orientación actual de la HMD en el espacio real indicando generalmente una superficie que es horizontal en relación con el espacio real.
Debe observarse que se indica que la cuadrícula 110 es transparente en diferentes grados fuera de la región 120 de oclusión. Esto pretende significar que las líneas de la cuadrícula en sí son transparentes. La cuadrícula en sí misma es, en otro aspecto, transparente en relación con el fondo, ya que está comprendida por líneas de cuadrícula y, entre sí, lo que indica una superficie y entre las líneas de cuadrícula, la vista de VR es visible sin estar cubierta en ningún grado de la cuadrícula.
Debe observarse además que la transparencia de las líneas de cuadrícula también se hace más transparente más cerca de la línea 150 horizontal aumentada. Esta es una característica diferente que la transparencia de las líneas de cuadrícula justo fuera de la región de oclusión.
La cinetosis en el mundo real aparece generalmente cuando los ojos de una persona producen señales relacionadas con el movimiento y la orientación que entran en conflicto con las señales proporcionadas por los sensores vestibulares en el oído interno. En la vida real, por ejemplo, mantener un ojo en el horizonte mientras se desplaza en un barco o mirando a la carretera por delante mientras se monta en un automóvil, son métodos probados para aliviar los síntomas de la cinetosis.
En el uso de AR y VR, el hallazgo de tal 'horizonte' puede no ser factible en cada escena. La cuadrícula 110 y la línea 150 horizontal aumentada se incluyen para mitigar la cinetosis del usuario de VR/AR.
La región 120 de oclusión se introduce alrededor de un punto de mirada actual para evitar que la indicación visual oculte lo que el usuario está mirando actualmente. La región de oclusión coincide sustancialmente con la parte de la fóvea de la retina del ojo del usuario, que es la parte de la retina que proporciona la visión más clara. Se muestra la región 120 de oclusión como circular en la vista 100 de la Figura 1a, pero puede tener otras formas, tales como rectangular, oval, etc.
El tamaño de la región de oclusión es generalmente una compensación entre la eficiencia de mitigar la cinetosis y limitar la distracción al usuario. La reducción del tamaño de la región de oclusión aumentará de forma general la eficiencia de mitigación de la cinetosis y, al mismo tiempo, aumentará la distracción del usuario, ya que la indicación visual utilizada se introduce de forma general para orientar la percepción visual del usuario en relación con las direcciones horizontal y vertical en relación con el espacio real.
Además, el nivel de transparencia (opacidad) de la indicación visual o, en otras palabras, cuánto cubre u oculta la indicación visual otra información visual en la vista del usuario, también es generalmente una compensación entre la eficiencia de mitigación de la cinetosis y la limitación de la distracción al usuario. La reducción del nivel de transparencia de la región de oclusión aumentará generalmente la eficiencia de mitigación de la cinetosis y, al mismo tiempo, aumentará la distracción del usuario, ya que la indicación visual utilizada se introduce de forma general únicamente para orientar la percepción visual del usuario en relación con las direcciones horizontal y vertical en relación con el espacio real.
Tener un mayor grado de transparencia en una región más cercana fuera de la región de oclusión que en regiones más lejos de la región de oclusión y disminuir gradualmente como una función de la distancia de la región de oclusión en una región justo fuera de la región de oclusión reducirá la distracción del usuario en relación con un ejemplo con un borde afilado en términos de grado de transparencia en el borde de la región de oclusión ya que los bordes afilados tienden a distraer más a un usuario que las transiciones más suaves.
La diferencia de ángulo entre la dirección vertical de la HMD en el espacio real indicada por la flecha 130 y una dirección vertical de las impresiones visuales del usuario indicada por la flecha 140 se mide durante un período de tiempo y se determina la diferencia de ángulo más grande durante el período de tiempo. Si la diferencia de ángulo más grande determinada es mayor que un valor umbral predeterminado, el tamaño de la región de oclusión disminuye.
Como alternativa, para medir solo la diferencia de ángulo más grande durante un período de tiempo, se puede medir el tamaño del cambio de la diferencia de ángulo y se puede determinar un cambio de ángulo más grande durante un período de tiempo. Si el cambio de la diferencia de ángulo más grande determinada es mayor que un valor umbral predeterminado, el tamaño de la región de oclusión disminuye.
Como se indica, el tamaño de la región de oclusión es generalmente una compensación entre la eficiencia de mitigar la cinetosis y limitar la distracción al usuario. Para situaciones donde el riesgo de cinetosis se vuelve mayor, decidir la compensación entre la reducción de la cinetosis y limitar la distracción para el usuario puede dar como resultado un deseo de aumentar la mitigación de la cinetosis, por ejemplo, reduciendo el tamaño de la región de oclusión. El riesgo de cinetosis puede ser, por ejemplo, más alto si un usuario está utilizando una HMD en un barco y el barco se balancea mucho, p. ej., de modo que un ángulo (o un cambio del ángulo) entre la dirección vertical de la HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario se vuelve mayor que el valor umbral predeterminado durante un periodo de tiempo. En tales casos, puede reducirse el tamaño de la región de oclusión. Como alternativa o además de reducir el tamaño de la región de oclusión, puede reducirse la transparencia de la indicación visual.
Por ejemplo, el riesgo de cinetosis puede ser mayor también si un usuario está utilizando una HMD para VR en donde la dirección vertical de las impresiones visuales del usuario cambia mucho sin que cambie la dirección vertical de la HMD en el espacio real, de modo que un ángulo entre la dirección vertical de la HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario se vuelve mayor que el valor umbral predeterminado durante un periodo de tiempo.
Pueden identificarse otras situaciones en donde el riesgo de cinetosis pueda ser mayor midiendo otros parámetros distintos al ángulo entre la dirección vertical de la HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario. Para tales situaciones, se determinan valores umbral para los otros parámetros medidos y se establece el tamaño de la región de oclusión en relación con los otros parámetros.
La indicación visual se introduce de forma general para orientar la percepción visual del usuario en relación con la dirección horizontal y vertical en relación con el espacio real. Una forma de hacer esto es si la indicación visual comprende algo que indica una superficie que es horizontal en relación con el espacio real. La superficie se superpone en la vista del usuario.
Además de ser horizontal en relación con el espacio real, es decir, que indica una dirección horizontal en relación con el espacio real en la vista del usuario, la indicación visual puede indicar una perspectiva en relación con un horizonte virtual que simula el horizonte de espacio real y que es horizontal en relación con el espacio real.
La indicación visual puede comprender, por ejemplo, un patrón 110 en forma de cuadrícula y una línea horizontal aumentada. Generalmente, cuanto más no repetitiva y de alto contraste es una superficie indicada comprendida en la indicación visual, mejor. Un patrón eficaz para mitigar la cinetosis, por ejemplo, sería una impresión de periódico. Sin embargo, tiene el coste de distraer.
La Figura 1a muestra una vista de un sistema de HMD de VR. Sin embargo, la descripción anterior en relación con la VR es igualmente aplicable para sistemas de HMD de AR. Por ejemplo, si se usa un sistema de HMD de AR dentro de un vehículo tal como un tren, coche o barco, donde el usuario no puede ver fácilmente fuera del vehículo y, por lo tanto, no ve un horizonte, etc., se puede superponer una indicación visual en una pantalla del HMD de AR sobre los otros objetos virtuales y la vista de la vida real del usuario como se describe en relación con VR anteriormente. La Figura 1b y la Figura 1c muestran vistas esquemáticas de ejemplos de una diferencia en ángulo entre una dirección vertical 130 de una HMD (cabeza del usuario) en el espacio real y una dirección vertical 140 de las impresiones visuales de un usuario.
Una dirección vertical de la HMD en el espacio real será generalmente una dirección vertical de la cabeza del usuario en el espacio real y será detectada por los sensores vestibulares en el oído interno del usuario. Una dirección vertical de la impresión visual del usuario está basada en señales visuales identificadas en el cerebro del usuario. Las señales visuales se utilizan para realizar interpretaciones en cuanto a lo que es vertical y lo que es horizontal. Por ejemplo, las líneas paralelas 160 en la pared detrás del usuario 170 en la Figura 1b podrían interpretarse como horizontales según las impresiones visuales del usuario. Otros ejemplos son un gran suelo (o cubierta de un barco) o el lado de un edificio grande. Esto es lo que determina el contexto del espacial visual.
Aunque se hace referencia anteriormente a la dirección vertical de la HMD en el espacio real y a la dirección vertical de las impresiones visuales del usuario, podría utilizarse cualquier dirección de referencia (vectores 3D) en los dos contextos espaciales (contexto visual y de oído interno) y cambio angular relativo o cambio direccional a lo largo del tiempo entre el valor de las direcciones de referencia, junto con un valor umbral predeterminado para determinar si deben aplicarse medidas adicionales para mitigar la cinetosis, como disminuir el tamaño de la región de oclusión. La Figura 2 es un diagrama de flujo de un método para mitigar la cinetosis en un sistema que utiliza una head mounted display (pantalla montada en la cabeza - HMD). En el método, se reciben 210 datos de un sensor que indican una orientación actual de la HMD en el espacio real. A continuación, se superpone 220 una indicación visual en una pantalla de la HMD, cuya indicación visual proporciona información visual a un usuario de la orientación actual de la HMD en el espacio real.
El método comprende además recibir datos de una función de seguimiento de mirada que indican una posición de mirada actual del usuario. La indicación visual comprende una región de oclusión que incluye la posición de mirada actual del usuario, de modo que la indicación visual no se revela en la región de oclusión.
La indicación visual puede tener un mayor grado de transparencia en una región más cercana a la región de oclusión que en regiones más lejos de la región de oclusión.
El método puede comprender además medir una diferencia de ángulo entre una dirección vertical de la HMD en el espacio real y se mide una dirección vertical de las impresiones visuales del usuario durante un período de tiempo y se determina la diferencia de ángulo más grande durante el período de tiempo. Si la diferencia de ángulo más grande determinada es mayor que un valor umbral predeterminado, el tamaño de la región de oclusión disminuye.
La Figura 3 es un diagrama esquemático de un aparato 300 para mitigar la cinetosis en un sistema que utiliza una head mounted display (pantalla montada en la cabeza - HMD) para VR o AR. El aparato 300 comprende un receptor 310 para recibir datos de un sensor 320 que indican una orientación actual de la HMD en el espacio real. El aparato 300 comprende además circuitos 330 de procesamiento para superponer una indicación visual en una pantalla 340 de la HMD. La indicación visual proporciona información visual a un usuario de la orientación actual del HMD en el espacio real.
El receptor recibe además datos de unos circuitos 350 de seguimiento de mirada que indican una posición de mirada actual del usuario. La indicación visual puede comprender a continuación una región de oclusión que incluye la posición de mirada actual del usuario, de manera que la indicación visual es transparente hasta un grado más alto en la región de oclusión que en otras regiones de la vista fuera de la región de oclusión.
Los métodos para mitigar la cinetosis en un sistema usando una head mounted display (pantalla montada en la cabeza - HMD) según se describen en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más medios legibles por ordenador pueden ser por ejemplo uno o más medios legibles por ordenador no transitorios.
Señal de convergencia robusta
La Figura 4 es un diagrama que muestra un ejemplo de una función para determinar una distancia de convergencia de mirada basada en la distancia interpupilar en un sistema de virtual reality (realidad virtual - VR) o un sistema de realidad aumentada AR que incluye una función de seguimiento ocular/de mirada. Se determina una primera distancia interpupilar x1 cuando un usuario enfoca sobre una primera profundidad y1 de campo conocida, en donde la primera profundidad y1 de campo conocida es preferiblemente corta. Se determina una segunda distancia interpupilar x2 cuando un usuario enfoca sobre una segunda profundidad y2 de campo conocida, en donde la segunda profundidad y2 de campo conocida es preferiblemente larga. La diferencia entre la segunda profundidad y2 de campo y la primera profundidad y1 de campo es preferiblemente grande. La profundidad de campo se aproxima de este modo como una función lineal a través de los puntos (x1, y1) y (x2, y2).
La Figura 5 es un diagrama de flujo de un método para determinar una distancia de convergencia de mirada en un sistema de virtual reality (realidad virtual - VR) o en un sistema de realidad aumentada AR. Se recibe 510 una primera imagen de un ojo izquierdo y un ojo derecho de un usuario cuando el usuario enfoca sobre una primera profundidad de campo conocida. Se identifican 520 una pupila del ojo izquierdo y una pupila del ojo derecho en la primera imagen y se determinan 530 una posición de la pupila del ojo izquierdo y una posición de la pupila del ojo derecho en la primera imagen. Se calcula 540 una primera distancia interpupilar en la primera imagen entre la posición de la pupila del ojo izquierdo en la primera imagen y la posición de la pupila del ojo derecho en la primera imagen. Se recibe 550 una segunda imagen del ojo izquierdo y el ojo derecho del usuario cuando el usuario enfoca sobre una segunda profundidad de campo conocida. Se identifican 560 la pupila del ojo izquierdo y la pupila del ojo derecho en la segunda imagen y se determinan 570 una posición de la pupila del ojo izquierdo y la posición de la pupila del ojo derecho en la segunda imagen. Se calcula 580 una segunda distancia interpupilar en la segunda imagen entre la posición de la pupila del ojo izquierdo en la segunda imagen y la posición de la pupila del ojo derecho en la segunda imagen. Se define 590 la profundidad de campo, es decir, la distancia de convergencia de mirada, como una función lineal de la distancia interpupilar basada en la primera profundidad de campo y en la primera distancia interpupilar junto con la segunda profundidad de campo y la segunda distancia interpupilar.
Después de definir la distancia de convergencia de mirada como una función lineal de la distancia interpupilar, se puede determinar una distancia de convergencia de mirada a partir de una tercera imagen recibida del ojo izquierdo y el ojo derecho del usuario cuando el usuario se está enfocando en una tercera profundidad de campo desconocida identificando la pupila del ojo izquierdo en la tercera imagen y la pupila del ojo derecho que están en la tercera imagen y determinando una posición de pupila del ojo izquierdo en la tercera imagen y la posición de la pupila del ojo derecho en la primera imagen. A continuación, se calcula una distancia interpupilar en la tercera imagen entre la posición de la pupila del ojo izquierdo en la tercera imagen y la posición de la pupila del ojo derecho en la tercera imagen y se determina la distancia de convergencia de mirada a partir de la función lineal definida.
Los métodos para calcular la distancia de convergencia de mirada en un sistema de seguimiento ocular según se describe en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más medios legibles por ordenador del séptimo aspecto pueden ser, por ejemplo, uno o más medios legibles por ordenador no transitorios.
Expansión de objetos basada en mirada
La Figura 6 es un diagrama de flujo de un método para expansión de menús de virtual reality (realidad virtual - VR) basada en mirada en un sistema de VR que incluye una función de seguimiento ocular/de mirada. Se muestra 610 un menú en VR de modo que solo una parte del menú es visible fuera de una región central de la vista de un usuario cuando los ojos del usuario están dirigidos hacia delante, es decir, no hacia arriba, hacia abajo, hacia la derecha o hacia la izquierda. La parte del menú se fija en un espacio de VR en relación con la cabeza del usuario. Si la mirada del usuario se dirige a la parte del menú, dirigiendo los ojos hacia la parte del menú, el menú se hace fijo (anclado) 620 en relación con el espacio real, de modo que cuando la cabeza del usuario se mueve en una dirección de partes del menú no visibles previamente, tales partes del menú no visibles previamente resultarán visibles.
El método puede incluir además que, cuando el menú completo es visible, el menú completo se haga fijo de nuevo en el espacio de VR en relación con la cabeza del usuario siempre que la mirada del usuario se dirija al menú. Si la mirada del usuario se aleja del menú, la vista vuelve únicamente a una parte del menú que es visible fuera de la región central de la vista de un usuario y fijada en el espacio de VR en relación con la cabeza del usuario.
La Figura 7a-d muestran vistas esquemáticas de un ejemplo de expansión de menús basada en mirada en un sistema de VR que incluye una función de seguimiento ocular/de mirada. En la Figura 7a, se muestra un menú 710 en VR de modo que solo una parte del menú 710 es visible por debajo de una región central de la vista de un usuario cuando los ojos del usuario están dirigidos hacia delante, es decir, no hacia arriba, hacia abajo, hacia la derecha o hacia la izquierda. La parte del menú 710 está fijada en el espacio de VR en relación con la cabeza del usuario, es decir, la parte del menú 710 se situará en la parte inferior de la vista del usuario en VR independientemente de cómo gira la cabeza del usuario. La dirección de mirada de los usuarios está indicada por el puntero 720 en la Figura 7a.
En la Figura 7b, la dirección de mirada del usuario se ha movido, como muestra el puntero 720, a la parte del menú 710, dirigiendo los ojos hacia la parte del menú 710. El menú 710 se hace a continuación fijo (anclado) en relación con el espacio real.
Si la Figura 7c, la cabeza del usuario se ha dirigido hacia abajo en una dirección de partes no visibles previamente del menú, de modo que estas partes no visibles previamente del menú 710 se han vuelto visibles. La dirección de la mirada del usuario, mostrada por el puntero 720, sigue dirigida al menú 710, pero ahora hacia partes del menú 710 previamente no visibles.
En la Figura 7d, la cabeza del usuario se ha dirigido tanto hacia abajo que el menú completo 710 es visible. El menú completo 720 se hace fijo a continuación nuevamente en el espacio de VR en relación con la cabeza del usuario, siempre que la dirección de la mirada del usuario según indica el puntero 720 sea hacia el menú 720. Si la dirección de mirada del usuario se aleja del menú 710, la vista regresa únicamente a una parte del menú 710 que es visible fuera de la región central de la vista de un usuario y se fija en el espacio de VR en relación con la cabeza del usuario, como se muestra en la Figura 7a.
En la Figura 7a se muestra la parte del menú en la parte inferior de la vista. Debe observarse que la porción del menú puede fijarse a cada lado (izquierda o derecha) o en la parte superior de la vista. En tales casos, el menú completo puede ser visible dirigiendo la vista a y fijándola en la porción del menú y girando la cabeza en una dirección de tal manera que las porciones previamente no visibles del menú serán visibles, por ejemplo, a la izquierda si la porción del menú es una porción derecha del menú o hacia arriba si la porción del menú es una porción inferior del menú.
Además, cabe señalar que, aunque se ha descrito un menú en VR en relación con las figuras 6 y 7a-d, la parte puede ser de cualquier objeto de VR, de modo que solo una parte del objeto de VR sea visible y pueda hacerse visible según el método de expansión descrito anteriormente.
Los métodos de expansión del menú VR basado en mirada en un sistema de VR según se describe en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más medios legibles por ordenador del séptimo aspecto pueden ser, por ejemplo, uno o más medios legibles por ordenador no transitorios.
Las Figuras 6 y 7a-d describen un menú VR basado en mirada en un sistema de VR. Sin embargo, la descripción anterior en relación con VR es igualmente aplicable para sistemas AR. Si se utiliza un sistema de AR, la parte del menú 710 se fija en un espacio virtual/a una superficie virtual del sistema de AR en relación con la cabeza del usuario. Si la mirada del usuario se dirige a la parte del menú, el menú se hace fijo (anclado) en el espacio virtual/a la superficie virtual en relación con el espacio real, de forma que cuando la cabeza del usuario se mueve en una dirección de partes no visibles previamente del menú, tales partes no visibles previamente del menú resultarán visibles.
Los métodos de expansión del menú de augmented reality (realidad aumentada - AR) basada en mirada en un sistema AR según se describe en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más medios legibles por ordenador del séptimo aspecto pueden ser, por ejemplo, uno o más medios legibles por ordenador no transitorios.
Además, cabe señalar que, aunque se ha descrito un menú en relación con las Figuras 6 y 7a-d, las aplicaciones para AR pueden relacionarse con cualquier objeto de AR, de modo que solo una parte del objeto de AR sea visible y pueda ser visible según el método de expansión descrito anteriormente.

Claims (9)

  1. REIVINDICACIONES
    i. Un método para mitigar la cinetosis en un sistema que utiliza una pantalla montada en la cabeza, HMD, comprendiendo el método:
    recibir (210) datos de un sensor (320) que indican una orientación actual de la HMD en el espacio real;
    superponer (220) una indicación visual en una pantalla (340) de la HMD, cuya indicación visual proporciona información visual a un usuario de la orientación actual de la HMD en el espacio real, en donde la indicación visual comprende una región (120) de oclusión, de modo que la indicación visual no se revela en la región (120) de oclusión; y caracterizado por recibir datos de una función de seguimiento de mirada que indican un punto de mirada actual del usuario correspondiente a una región foveal del usuario;
    en donde la región (120) de oclusión incluye el punto de mirada actual del usuario para evitar que la indicación visual oculte lo que el usuario está mirando actualmente, y en donde la región de oclusión coincide sustancialmente con la región foveal del usuario.
  2. 2. El método de la reivindicación 1, en donde la indicación visual tiene un mayor grado de transparencia en una región más cercana a la región (120) de oclusión que en regiones más alejadas de la región (120) de oclusión.
  3. 3. El método de la reivindicación 1 o 2, que comprende además:
    determinar, durante un período de tiempo, una diferencia de ángulo máxima entre una dirección vertical de la HMD en el espacio real y una dirección vertical de las impresiones visuales del usuario; y completar una o más de las siguientes etapas:
    si la diferencia de ángulo determinada es más grande que un valor umbral predeterminado, reducir el tamaño de la región (120) de oclusión;
    si la diferencia de ángulo determinada es más grande que un valor umbral predeterminado, reducir la transparencia de la indicación visual.
  4. 4. El método de una cualquiera de las reivindicaciones anteriores, en donde la indicación visual indica una superficie horizontal en relación con el espacio real.
  5. 5. El método de la reivindicación 4, en donde la indicación visual indica además una perspectiva en relación con el espacio real.
  6. 6. El método de una cualquiera de las reivindicaciones anteriores, en donde la indicación visual comprende un patrón de cuadrícula.
  7. 7. El método de una cualquiera de las reivindicaciones anteriores, en donde la indicación visual comprende una línea horizontal aumentada que es horizontal en relación con el espacio real.
  8. 8. Un aparato (300) para mitigar la cinetosis en un sistema que utiliza una pantalla montada en la cabeza, HMD, que comprende:
    un receptor (310) para recibir datos de un sensor (320) que indican una orientación actual de la HMD en el espacio real; y
    circuitos (330) de procesamiento para superponer una indicación visual en una pantalla (340) de la HMD, cuya indicación visual proporciona información visual a un usuario de la orientación actual de la HMD en el espacio real, en donde la indicación visual comprende una región (120) de oclusión, de modo que la indicación visual no se revela en la región (120) de oclusión; caracterizado por que el receptor también sirve para recibir datos de una función de seguimiento de mirada que indican un punto de mirada actual del usuario correspondiente a una región foveal del usuario, en donde la región (120) de oclusión incluye el punto de mirada actual del usuario para evitar que la indicación visual oculte lo que el usuario está mirando actualmente, y en donde la región de oclusión coincide sustancialmente con la región foveal del usuario.
  9. 9. Un programa informático que comprende instrucciones que, cuando el programa se ejecuta mediante un ordenador, hacen que el ordenador lleve a cabo un método para mitigar la cinetosis en un sistema que utiliza una pantalla montada en la cabeza, HMD, comprendiendo el método:
    recibir (210) datos de un sensor (320) que indican una orientación actual de la HMD en el espacio real;
    superponer (220) una indicación visual en una pantalla (340) de la HMD, cuya indicación visual proporciona información visual a un usuario de la orientación actual de la HMD en el espacio real, en donde la indicación visual comprende una región (120) de oclusión, de modo que la indicación visual no se revela en la región (120) de oclusión; y caracterizado por recibir datos de una función de seguimiento de mirada que indican un punto de mirada actual del usuario que corresponde a una región foveal del usuario;
    en donde la región (120) de oclusión incluye el punto de mirada actual del usuario para evitar que la indicación visual oculte lo que el usuario está mirando actualmente, y en donde la región de oclusión coincide sustancialmente con la región foveal del usuario.
ES19177632T 2018-05-31 2019-05-31 Aplicación de seguimiento ocular en realidad virtual y realidad aumentada Active ES2926035T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201862678539P 2018-05-31 2018-05-31

Publications (1)

Publication Number Publication Date
ES2926035T3 true ES2926035T3 (es) 2022-10-21

Family

ID=64949040

Family Applications (2)

Application Number Title Priority Date Filing Date
ES18212693T Active ES2916408T3 (es) 2018-05-31 2018-12-14 Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario
ES19177632T Active ES2926035T3 (es) 2018-05-31 2019-05-31 Aplicación de seguimiento ocular en realidad virtual y realidad aumentada

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES18212693T Active ES2916408T3 (es) 2018-05-31 2018-12-14 Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario

Country Status (4)

Country Link
US (2) US10809800B2 (es)
EP (2) EP3575926B1 (es)
CN (2) CN110547759B (es)
ES (2) ES2916408T3 (es)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256086B2 (en) 2018-05-18 2022-02-22 Facebook Technologies, Llc Eye tracking based on waveguide imaging
US11366298B1 (en) * 2019-02-11 2022-06-21 Facebook Technologies, Llc Eye tracking based on telecentric polarization sensitive grating
JP7346135B2 (ja) * 2019-07-30 2023-09-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP2021086552A (ja) * 2019-11-29 2021-06-03 三菱電機株式会社 情報処理装置、表示方法、及び表示プログラム
CN114795102B (zh) * 2021-01-27 2025-04-25 京东方科技集团股份有限公司 注视深度获取方法和装置、显示设备、存储介质
SE2150387A1 (en) * 2021-03-30 2022-10-01 Tobii Ab System and method for determining reference gaze data
US11829529B2 (en) * 2021-07-13 2023-11-28 Meta Platforms Technologies, Llc Look to pin on an artificial reality device
CN114093007B (zh) * 2021-11-29 2025-09-19 云知声（上海）智能科技有限公司 双目摄像头人脸图像异常监测的方法及系统
SE2350314A1 (en) * 2023-03-21 2024-09-22 Tobii Ab An eye tracking system and methods of using an eye tracking system
SE546818C2 (en) * 2023-07-05 2025-02-25 Tobii Ab A method and a system for determining gaze convergence distance for a user of an eye tracking system
US12568194B2 (en) * 2023-10-31 2026-03-03 Varjo Technologies Oy Gaze and depth based camera focusing
WO2026002400A1 (en) * 2024-06-28 2026-01-02 Pupil Labs Gmbh Method and system for determining an eye-related physiological parameter
EP4687010A1 (en) 2024-07-31 2026-02-04 Carl Zeiss Vision International GmbH Method for determining a fixation distance parameter, training method and corresponding device

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
US5966680A (en) * 1996-02-15 1999-10-12 Butnaru; Hanan Motion sickness/vertigo prevention device and method
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
EP1840627B1 (de) * 2000-10-07 2012-12-12 metaio GmbH Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
US6497649B2 (en) 2001-01-21 2002-12-24 University Of Washington Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
US6932090B1 (en) * 2003-02-06 2005-08-23 The United States Of America As Represented By The United States National Aeronautics And Space Administration Motion sickness treatment apparatus and method
US6879443B2 (en) * 2003-04-25 2005-04-12 The Microoptical Corporation Binocular viewing system
JP2005252734A (ja) * 2004-03-04 2005-09-15 Olympus Corp 頭部装着型カメラ
JP2005245791A (ja) * 2004-03-04 2005-09-15 Olympus Corp 視線方向検出装置
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
FR2957511B1 (fr) * 2010-03-19 2021-09-24 Fittingbox Procede et dispositif de mesure de distance inter-pupillaire
US9994228B2 (en) 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US8638223B2 (en) * 2011-05-18 2014-01-28 Kodak Alaris Inc. Mobile communicator with orientation detector
US8892252B1 (en) * 2011-08-16 2014-11-18 The Boeing Company Motion capture tracking for nondestructive inspection
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
JP6014931B2 (ja) * 2012-09-06 2016-10-26 公立大学法人広島市立大学 視線計測方法
US8708884B1 (en) * 2013-03-11 2014-04-29 The United States Of America As Represented By The Secretary Of The Army Systems and methods for adaptive mitigation of motion sickness
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
WO2015027241A1 (en) * 2013-08-23 2015-02-26 Tobii Technology Ab Systems and methods for providing audio to a user based on gaze input
US9080868B2 (en) * 2013-09-06 2015-07-14 Wesley W. O. Krueger Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo
US10099030B2 (en) * 2013-09-06 2018-10-16 Iarmourholdings, Inc. Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo
US20150104757A1 (en) 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
US9313481B2 (en) * 2014-02-19 2016-04-12 Microsoft Technology Licensing, Llc Stereoscopic display responsive to focal-point shift
US9547365B2 (en) * 2014-09-15 2017-01-17 Google Inc. Managing information display
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
US9870051B2 (en) * 2015-08-07 2018-01-16 Tobii Ab Gaze direction mapping
US9972215B2 (en) * 2015-08-18 2018-05-15 Lincoln Global, Inc. Augmented reality interface for weld sequencing
CN108351527B (zh) * 2015-09-23 2024-06-18 奇跃公司 采用离轴成像器的眼睛成像
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US20170263017A1 (en) * 2016-03-11 2017-09-14 Quan Wang System and method for tracking gaze position
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US9600939B1 (en) * 2016-05-19 2017-03-21 Augmently, LLC Augmented reality platform using captured footage from multiple angles
US10545344B2 (en) * 2016-05-20 2020-01-28 Kent State University Stereoscopic display with reduced accommodation fatique
WO2018022910A1 (en) * 2016-07-27 2018-02-01 Tobii Ab Wearable device having a display, lens, illuminator, and image sensor
ES2659087B1 (es) * 2016-08-12 2019-01-15 Univ Murcia Instrumento binocular optoelectrónico para la corrección de la presbicia
CN106502395A (zh) * 2016-10-18 2017-03-15 深圳市火花幻境虚拟现实技术有限公司 一种在虚拟现实应用中避免用户眩晕的方法及装置
US20180123813A1 (en) * 2016-10-31 2018-05-03 Bragi GmbH Augmented Reality Conferencing System and Method
JP2018072604A (ja) * 2016-10-31 2018-05-10 株式会社コロプラ Ｖｒ酔いを抑制するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置
IL267082B2 (en) * 2016-12-06 2024-09-01 Nocira Llc Systems and methods for the treatment of neurological disorders
CN106534882B (zh) * 2016-12-29 2019-06-14 北京爱奇艺科技有限公司 虚拟现实全景视频的编解码方法及装置
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
CN106886604B (zh) * 2017-03-03 2020-04-24 东南大学 一种适用于车道级导航定位的交叉路口路网模型
AU2018285543B2 (en) * 2017-06-14 2023-10-05 Hadal, Inc. Systems and methods for virtual reality motion sickness prevention
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye
US10534982B2 (en) * 2018-03-30 2020-01-14 Tobii Ab Neural network training for three dimensional (3D) gaze prediction with calibration parameters
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction

Also Published As

Publication number Publication date
CN110547759B (zh) 2024-08-16
US20190369719A1 (en) 2019-12-05
EP3575926B1 (en) 2022-04-27
EP3575929B1 (en) 2022-08-03
US11275437B2 (en) 2022-03-15
CN110554771B (zh) 2023-06-02
US20210034152A1 (en) 2021-02-04
ES2916408T3 (es) 2022-06-30
CN110547759A (zh) 2019-12-10
CN110554771A (zh) 2019-12-10
EP3575926A1 (en) 2019-12-04
US10809800B2 (en) 2020-10-20
EP3575929A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
US11275437B2 (en) Eye tracking applications in virtual reality and augmented reality
US20230209030A1 (en) Scope of coverage indication in immersive displays
EP2891953B1 (en) Eye vergence detection on a display
KR102923560B1 (ko) 연속 카메라 캡처를 위한 듀얼 카메라들의 활용
WO2019142560A1 (ja) 視線を誘導する情報処理装置
JP6333801B2 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
US10304253B2 (en) Computer program, object tracking method, and display device
CN107272904A (zh) 一种图像显示方法及电子设备
ES3001084T3 (es) Embarcación acuática
JP6671942B2 (ja) ヘッドアップディスプレイ装置
WO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20240028295A (ko) 헤드셋 조정
JP2021056371A (ja) 表示システム、表示方法及び表示プログラム
ES2896704T3 (es) Dispositivo de visualización, método de visualización, programa y medio de almacenamiento de información legible por ordenador no temporal
CN118534640A (zh) 用于运行具有数据眼镜的显示系统的方法和装置
JP2017044756A (ja) 画像表示装置、画像表示方法及びプログラム
EP3716012B1 (en) Detecting relocation of a head-mounted device
US10198082B2 (en) Position input device and position input method
KR20210069477A (ko) 멀미방지를 위한 가상현실 표시장치의 제어방법 및 그 방법이 적용된 가상현실 표시장치
GB2599145A (en) Large space tracking using a wearable optics device
US20230367390A1 (en) Large space tracking using a wearable optics device
KR20240118087A (ko) 사운드 도달 방향 검출을 갖는 안경류
JP2023076044A (ja) 画像表示装置
TW201915664A (zh) 擴增實境系統以及提供擴增實境之方法