ES2713521T3

ES2713521T3 - Foco virtual variable automático para presentaciones de realidad aumentada

Info

Publication number: ES2713521T3
Application number: ES11840164T
Authority: ES
Inventors: Avi Bar-Zeev; John Lewis
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-11-08
Filing date: 2011-10-31
Publication date: 2019-05-22
Anticipated expiration: 2031-10-31
Also published as: IL225995A; CN102566049B; US20160161740A1; JP2014505381A; HK1172098A1; JP5913346B2; IL225995A0; US20120113092A1; TW201224516A; CA2815372A1; EP2638693A1; WO2012064546A1; TWI539185B; US9292973B2; CN102566049A; KR20130139280A; KR101912958B1; EP2638693A4; AR083807A1; CA2815372C

Abstract

Un método para presentar objetos virtuales con foco variable mediante un sistema de realidad aumentada (10), comprendiendo el método: determinar mediante uno o más procesadores (210, 320, 322) un campo de visión del usuario tridimensional de un dispositivo de presentación próximo a los ojos (2) de un sistema de realidad aumentada; identificar mediante uno o más procesadores una ubicación objetivo tridimensional de uno o más objetos virtuales dentro del campo de visión del usuario; determinar mediante uno o más procesadores una región focal actual tridimensional del usuario que lleva el dispositivo de presentación próximo a los ojos dentro del campo de visión del usuario; identificar cuál de los uno o más objetos virtuales está en la región focal actual del usuario en base a las ubicaciones objetivo o tridimensionales del uno o más objetos virtuales dentro del campo de visión del usuario; y presentar mediante el dispositivo de presentación próximo a los ojos el uno o más objetos virtuales identificados como que están en la región focal actual del usuario ajustando una región focal de un conjunto de micropresentación (173) que incluye elementos de procesamiento de luz alineados en una trayectoria óptica (133) dirigida sobre una presentación (112) del dispositivo de presentación próximo a los ojos moviendo los elementos de procesamiento de luz en la trayectoria óptica bajo el control de uno o más procesadores; en donde: los elementos de procesamiento de luz del conjunto del micropresentación comprenden al menos un elemento óptico (122) y una unidad de micropresentación (120) alineada en la trayectoria óptica con un elemento reflectante (124); y mover los elementos de procesamiento de luz en la trayectoria óptica del conjunto de micropresentación bajo el control de los uno o más procesadores comprende además: determinar mediante uno o más procesadores un valor de desplazamiento, S1, entre un punto nodal delantero del al menos un elemento óptico y la ubicación objetivo de al menos un objeto virtual, estando el al menos un elemento óptico situado en una trayectoria óptica entre la unidad de micropresentación y el elemento reflectante, determinar mediante uno o más procesadores un valor de desplazamiento, S2, entre el elemento reflectante y un punto nodal trasero del al menos un elemento óptico para una longitud focal de al menos un elemento óptico, f, en base a la ecuación 1/S1 + 1/S2 = 1/f; y mover el al menos un elemento óptico bajo el control de uno o más procesadores para generar los valores del 30 desplazamiento determinados S1 y S2.

Description

DESCRIPCION

Foco virtual variable automatico para presentaciones de realidad aumentada

Antecedentes

La realidad aumentada es una tecnolog^a que permite que las imagenes virtuales sean mezcladas con un entorno ffsico del mundo real. ^picamente, sistemas de presentacion o pantallas, transparentes, proximas a los ojos son llevadas por los usuarios para ver las imagenes mezcladas de objetos virtuales y reales. Las pantallas proximas a los ojos ffpicamente utilizan una combinacion de elementos opticos y la estereopsis para enfocar imagenes virtuales a una distancia fija. Sin embargo, con el objeto virtual a una distancia fija, y la ubicacion del usuario cambiando, el objeto virtual no se mueve dentro y fuera del foco para un usuario como si el usuario viera el objeto virtual con luz natural. "A Novel Prototype for an Optical See-Through Head-Mounted Display with Addressable Focus Cues" por Sheng Liu et al, describe el uso de una lente ffquida en una presentacion montada en la cabeza tanto en el modo de plano focal variable en el que un senal de alojamiento es abordable, y un modo de plano multifocal de tiempo multiplexado en el que tanto las senales de alojamiento como de senales de borrosidad retinales pueden ser realizados.

Compendio

La invencion proporciona un sistema de realidad aumentada y un metodo como el reivindicado, que incluye las realizaciones para conseguir focos variables para pantallas de realidad mezclada o de realidad aumentada. Un usuario ve una escena a traves de un dispositivo de pantalla transparente. La escena incluye uno o mas objetos reales en un entorno ffsico que el usuario observa directamente con sus ojos a traves de lentes claras o transparentes del dispositivo de presentacion. Uno o mas objetos virtuales son proyectados por el dispositivo de presentacion en al menos una de las ubicaciones del ojo del usuario. De este modo, la presentacion de la escena real esta aumentada con objetos virtuales.

En una realizacion, la tecnologfa proporciona variacion de la distancia focal de los objetos virtuales proyectados por el dispositivo de presentacion. Un campo de vision de tres dimensiones es determinado para el usuario, y las ubicaciones en tres dimensiones de uno o mas objetos virtuales dentro del campo de vision del usuario son determinadas tambien. Una region focal en tres dimensiones actual del usuario esta determinada dentro del campo de vision. Uno o mas objetos virtuales en la region focal actual del usuario son identificados en base a sus ubicaciones.

Para presentar un objeto virtual en la region focal actual del usuario en la presentacion, el objeto virtual es movido a una region de la imagen en la region focal actual. En una realizacion, esto se realiza cambiando la region focal de un conjunto de micropresentacion del dispositivo de presentacion transparente. Un conjunto de micropresentacion puede incluir elementos tales como al menos un elemento optico, una unidad de micropresentacion alineada a lo largo de una trayectoria optica, asf como un ajustador de foco virtual variable. La unidad de micropresentacion genera imagenes para la presentacion, y la luz de las imagenes se desplaza a lo largo de la trayectoria optica a traves de al menos un elemento optico, por ejemplo una lente de colimacion, hasta un elemento reflectante.

El ajustador cambia el desplazamiento a lo largo de la trayectoria optica entre al menos dos elementos del conjunto de micropresentacion para cambiar la region focal de un objeto virtual en una imagen. En otra realizacion, adicionalmente una longitud focal de un elemento optico puede ser ajustada para obtener la region focal deseada. Por ejemplo, la polarizacion de al menos una lente birrefringente puede ser cambiada o puede ser ajustado un radio de curvatura de una lente de fluido o ffquida.

En una realizacion, una profundidad artificial de la tecnica de campo puede ser aplicada a un objeto virtual fuera de la region focal del usuario pero dentro del campo de vision del usuario como una funcion de la distancia desde la region focal del usuario.

El sistema puede incluir ademas un generador de sincronizacion en los circuitos de control para controlar la sincronizacion del ajustador de foco virtual variable que barre el conjunto de micropresentacion a traves de diferentes regiones focales. En la mayona de las realizaciones, la velocidad de barrido es ajustada para ser lo suficientemente rapida, de manera que la fusion de imagen temporal humana hara que las imagenes generadas en las diferentes regiones focales parezcan estar presentes a la vez. Un usuario que observa una presentacion de imagenes generadas en diferentes regiones focales observa los sujetos virtuales de forma natural dentro y fuera del foco como si los objetos virtuales fueran objetos reales en el entorno ffsico.

La tecnologfa tambien puede proporcionar un metodo para generar objetos virtuales en diferentes regiones focales en una presentacion de realidad aumentada. Un campo de vision de tres dimensiones esta determinado para un usuario que ve una escena que incluye objetos reales y virtuales utilizando un dispositivo de presentacion transparente. Una region focal de tres dimensiones esta identificada para uno o mas objetos virtuales dentro del campo de vision del usuario. El conjunto de micropresentacion esta ajustado para barrer a traves de un cierto numero de regiones focales. Las regiones focales pueden ser seleccionadas para incluir una region focal que el usuario esta actualmente viendo y aquellas regiones que incluyen un objeto virtual. Una imagen es generada para cada region focal.

En un ejemplo, cada una de estas imagenes puede ser presentada al usuario a una velocidad lo suficientemente rapida, de manera que la fusion de imagen temporal humana hace que parezcan estar presentes a la vez para el ojo humano. En otro ejemplo, es presentada una imagen compuesta, de partes en foco de imagenes virtuales generadas en diferentes regiones focales.

Este Compendio se proporciona para introducir una seleccion de conceptos de una manera simplificada que seran descritos con mas detalle en la Descripcion Detallada. Este Compendio no esta destinado a identificar caractensticas claves o caractensticas esenciales de la materia objeto reivindicada, ni esta destinado a ser utilizado como una ayuda en la determinacion del alcance de la materia objeto reivindicada.

Breve descripcion de los dibujos

La Fig. 1 es un diagrama de bloques que muestra componentes a modo de ejemplo de una realizacion del sistema para proporcionar foco variable de objetos virtuales.

La Fig. 2A es una vista superior de una parte de una realizacion de una unidad de presentacion montada en la cabeza.

La Fig. 2B es una vista superior de una parte de otra realizacion de una unidad de presentacion montada en la cabeza.

La Fig. 3A es un ejemplo de un sistema de lentes giratorias para utilizar como parte de un conjunto de micropresentacion de presentacion proxima al ojo.

La Fig. 3B1 y la Fig. 3B2 son ejemplos de una lente de fluido que presentaban diferentes radios de curvatura, siendo la lente de fluido para utilizar como parte de un conjunto de micropresentacion.

La Fig. 3C es un ejemplo de un sistema de lente birrefringente para utilizar como parte de un conjunto de micropresentacion de presentacion proxima a los ojos.

La Fig. 3D es un ejemplo de un sistema de lente de para utilizar como parte de un conjunto de micropresentacion. La Fig. 4 es un diagrama de bloques de una realizacion de los componentes de la unidad de presentacion montada en la cabeza.

En la Fig. 5 es un diagrama de bloques de una realizacion de los componentes de una unidad de procesamiento asociada con una unidad de presentacion montada en la cabeza.

La Fig. 6 es un diagrama de bloques de una realizacion de los componentes de un sistema de ordenador concentrador utilizado con la unidad de presentacion montada en la cabeza.

La Fig. 7 es un diagrama de bloques de una realizacion del sistema de ordenador que puede ser utilizado para implementar el sistema de ordenador concentrador descrito en la presente memoria.

La Fig. 8 es un diagrama de bloques que muestra un sistema de multiples usuarios que puede variar el foco del contenido virtual para estar en foco para un usuario.

La Fig. 9 es un diagrama de flujo que describe una realizacion de un proceso para presentar un objeto virtual para que este en foco cuando sea visto por el usuario.

La Fig. 10 es un diagrama de flujo que describe una realizacion de un proceso para crear un modelo de un espacio. La Fig. 11 es un diagrama de flujo que describe una realizacion de un proceso para segmentar un modelo en objetos.

La Fig. 12 es un diagrama de flujo que el describe una realizacion de un proceso para identificar objetos.

La Fig. 13 es un diagrama de flujo que describe una realizacion de un proceso para presentar un objeto virtual para estar en foco cuando es visto por un usuario que observa una presentacion transparente.

La Fig. 14 es un diagrama de flujo que describe una realizacion de un proceso para el concentrador que rastrea la posicion y la orientacion de un usuario y/o la unidad de presentacion montada en la cabeza.

La Fig. 15 es un diagrama de flujo que describe una realizacion de un proceso para rastrear la posicion de un ojo. La Fig. 16 es un diagrama de flujo que describe una realizacion de un proceso para determinar el campo de vision de un usuario.

La Fig. 17A es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion desplazando al menos una lente del conjunto.

La Fig. 17B es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion cambiando una polarizacion de al menos una lente del conjunto.

La Fig. 17C es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion cambiando un radio de curvatura de al menos una lente de fluido del conjunto.

La Fig. 18A es un diagrama de flujo que describe una realizacion de un proceso para generar imagenes de objetos virtuales en diferentes regiones focales en una presentacion de realidad aumentada.

La Fig. 18B es un diagrama de flujo que describe otra realizacion de un proceso para generar imagenes de objetos virtuales en diferentes regiones focales en una presentacion de realidad aumentada.

Las Figuras 19A y 19B ilustran esquematicamente ejemplos de las diferentes formas de presentar objetos virtuales de multiples focos en una presentacion de realidad aumentada.

Descripcion detallada

La tecnologfa proporciona realizaciones para conseguir focos variables para presentaciones de realidad mezclada o de realidad aumentada. En una realizacion, un sistema incluye una presentacion proxima al ojo para realidad aumentada un dispositivo de presentacion transparente y una unidad de procesamiento en comunicacion con el dispositivo de presentacion transparente. En las realizaciones descritas mas adelante, la presentacion transparente esta en un conjunto de anteojos pero otros formatos HMD y soportes de presentacion proxima a los ojos tambien pueden ser utilizados.

La vision natural del usuario es utilizada para ver realmente y directamente objetos reales en una escena vista con la presentacion transparente. Basada en el contexto de ejecucion de software, por ejemplo, una aplicacion de juego, el sistema puede proyectar imagenes virtuales en la presentacion que son visibles por la persona que lleva el dispositivo de presentacion transparente a la vez que la persona que esta tambien viento objetos del mundo real a traves de la presentacion.

Uno o mas sensores son utilizados para escanear el entorno ffsico que el usuario ve proporcionando de este modo datos sobre los cuales puede ser construido un modelo tridimensional del entorno escaneado. El modelo es segmentado en objetos reales, y como se explica mas adelante, es aumentado con las ubicaciones de las imagenes de objetos virtuales.

Adicionalmente, son utilizados distintos sensores para detectar la posicion y orientacion de la cabeza del usuario y la posicion del ojo con el fin de determinar donde proyectar las imagenes virtuales. El sistema rastrea automaticamente donde esta mirando el usuario, de manera que el sistema puede calcular el campo de vision del usuario a traves de la presentacion del dispositivo de presentacion transparente. El usuario puede ser rastreado utilizando camaras de profundidad y cualquiera de los distintos sensores que incluyen sensores de profundidad, sensores de imagen, sensores de inercia, sensores de posicion del ojo, etc. Ademas del campo de vision del usuario, el sistema tambien determina en que ubicacion del campo de vision el usuario esta enfocando o esta mirando, referida a menudo como region focal del usuario.

En algunas realizaciones, la region focal del usuario es un volumen conocido como area a fusional de Panum, en la que los ojos humanos ven objetos con vision sencilla. Los seres humanos tienen vision binocular o vision estereoscopica. Cada ojo produce una imagen desde un punto de vista diferente. Solo en este el pequeno volumen del area fusional de Panum los humanos ven un objeto con vision sencilla. Esto es generalmente lo que significa cuando se dice que un objeto esta en foco. Fuera de este area, los objetos pueden aparecer borrosos o incluso aparecer como imagenes dobles. Dentro del centro del area fusional de Panum hay un Horoptero que incluye el punto focal de los ojos del usuario. Cuando un usuario esta enfocando en un punto en el espacio, en lo que sigue el punto focal, ese punto focal esta situado en una lmea curva. Los objetos en esta lmea curvada en el espacio caen sobre la retinas de los ojos en la fovea. La lmea curvada esta a veces referida como el horoptero horizontal. Tambien existe un horoptero vertical que es una lmea a traves de la lmea curvada que se inclina alejandose de los ojos por encima del punto focal y hacia los ojos debajo del punto focal sobre la curva. El termino Horoptero como se utiliza en lo que sigue se refiere tanto a sus componentes verticales como horizontales.

Una vez que el sistema conoce el campo de vision del usuario, y la region focal del usuario, el sistema puede calcular donde van a ser proyectadas una o mas imagenes de objetos virtuales por la presentacion del dispositivo de presentacion transparente. La generacion de una presentacion de un objeto virtual en una ubicacion de region focal seleccionada en la presentacion proyectada se puede realizar ajustando una longitud de trayectoria optica en el conjunto de micropresentacion del dispositivo de presentacion transparente.

El paralaje se genera desplazando las imagenes colocadas en las micropresentaciones izquierda y derecha. Ajustando una cantidad de paralaje para un objeto virtual, su distancia virtual es supuesta por la distancia a la que la lmea de vista al objeto virtual generado por la presentacion de ojo izquierdo intersecta la correspondiente lmea de vista de la presentacion de ojo derecho. Las presentaciones convencionales pueden ajustar esta distancia implicada de paralaje. Independiente del paralaje hay una distancia implicada por la curvatura del frente de onda que sale de la presentacion. Este radio de curvatura es simplemente la distancia a un punto sobre el objeto. Los objetos cercanos tienen frentes de onda fuertemente curvados debido a que el radio de curvatura es por tanto pequeno. Los objetos distantes tienen frentes de onda mucho mas planos debido a que el radio de curvatura es correspondientemente grande. En el lfmite de los objetos muy distantes el frente de onda llega a ser el plano. Las presentaciones montadas en la cabeza convencionales tienen una curvatura de frente de onda fija debido a que no tienen elementos opticos que puedan ser variados en base al contenido de la escena.

En el caso en el que la ubicacion del usuario cambie a una ubicacion mas lejos de la ubicacion actual del objeto virtual, el paralaje y la escala para el objeto virtual pueden ser cambiados colocando las imagenes apropiadas en las micro presentaciones izquierda y derecha. Un Horoptero, un area fusional de Panum para la nueva ubicacion del usuario puede ser definida. Las presentaciones convencionales no pueden ajustar el radio de curvatura del frente de ondas para llevar el objeto virtual al interior del area fusional de Panum. La tecnologfa descrita mas adelante puede establecer la curvatura del frente de ondas a una distancia, que tambien es acorde con otras senales establecidas por la escala y en paralaje, y que llevan el objeto virtual dentro del area fusional de Panum. De esta manera las imagenes parecen naturales y reales. El mismo argumento se aplica si el usuario permanece fijo en una ubicacion, y el objeto virtual se mueve mas cerca o mas lejos con relacion a objetos naturales en la escena.

Un conjunto de micropresentacion comprende elementos de procesamiento de luz y un ajustador de foco variable. Algunos ejemplos de elemento de procesamiento de luz son una unidad de micropresentacion, uno o mas elementos opticos, por ejemplo, lentes de un sistema de lentes y un elemento reflectante, por ejemplo una superficie reflectante o una superficie parcialmente reflectante. La unidad de micropresentacion incluye una fuente de luz y genera una imagen de un objeto virtual. La unidad de micropresentacion esta opticamente alineada con uno o mas elementos opticos y con el elemento reflectante. La alineacion optica puede ser a lo largo de un eje optico o una trayectoria optica que incluye uno o mas ejes opticos. La luz de imagen puede ser colimada y dirigida por uno o mas elementos opticos hasta el elemento reflectante. La luz reflejada desde un elemento parcialmente reflectante puede ser dirigida hasta las ubicaciones del ojo del usuario en una realizacion. Dado que la superficie es parcialmente reflectante, puede permitir que la luz procedente de la escena natural la atraviese y se vea. En otras realizaciones la luz procedente de la unidad de micropresentacion reflejada por el elemento reflectante viaja al interior de otro elemento optico que proyecta imagenes para ser visualizadas por el usuario, y tambien permite que la luz natural sea vista. El ajustador de foco variable cambia el desplazamiento entre uno o mas elementos de procesamiento de luz en la trayectoria optica del conjunto de micropresentacion o una potencia optica de un elemento en el conjunto de micropresentacion. La potencia optica de la lente esta definida como el redproco de su longitud focal, por ejemplo 1/longitud focal de manera que un cambio en uno afecta al otro. El cambio da lugar a un cambio en la region del campo de vision que esta en foco para una imagen generada por el conjunto de micropresentacion con el desplazamiento o la potencia optica cambiados. Como se expone para las realizaciones siguientes, puede haber un conjunto de micropresentacion para cada ojo. Cada uno de los conjuntos de micropresentacion realiza el procesamiento para la perspectiva de su respectivo ojo.

En un ejemplo, una profundidad artificial de la tecnica de campo tal como una borrosidad artificial se aplica a cualquier objeto virtual en el campo de vision y fuera de la region focal en proporcion a su distancia desde la region focal. En otra realizacion, el ajustador barre a traves de un rango de longitudes focales correspondientes a un rango de regiones focales a una velocidad o frecuencia a la vez que se presenta objetos virtuales dentro de las respectivas regiones focales. La velocidad o frecuencia puede ser igual o mas rapida que una velocidad de fotograma para el dispositivo de presentacion. En una realizacion, las imagenes de objeto virtual generadas en las diferentes regiones focales son presentadas como imagenes en capas, y la velocidad de presentacion es lo suficientemente rapida para que las imagenes parezcan presentes al mismo tiempo. En otra realizacion, se presenta una imagen compuesta de las partes en foco de las imagenes generadas en las diferentes regiones focales. Cuando el usuario cambia su foco actual a otra region focal, los objetos virtuales en las diferentes regiones focales entran y salen del foco como cuando son vistos con la vision natural.

Las imagenes son entonces reproducidas mediante el dimensionamiento y la orientacion de la imagen virtual y reproducida esa imagen dimensionada/orientada en una presentacion transparente.

La Fig. 1 es un diagrama de bloques que muestra componentes a modo de ejemplo de una realizacion de un sistema 10 para proporcionar foco variable de objetos virtuales. El sistema 10 incluye un dispositivo de presentacion transparente como dispositivo de presentacion montado en la cabeza 2 en comunicacion con la unidad de procesamiento 4 a traves de un cable 6. En otras realizaciones, el dispositivo de presentacion montado en la cabeza 2 se comunica con la unidad de procesamiento 4 a traves de una comunicacion sin cable. El dispositivo de presentacion montado en la cabeza 2, que en una realizacion tiene forma de gafas con una montura 115 proporciona un soporte para sujetar los elementos del sistema en su sitio y tambien un conducto para las conexiones electricas, es llevado en la cabeza del usuario de manera que el usuario puede ver a traves de una presentacion o pantalla y con ello tener una vision directa y real del espacio delante del usuario. El uso de la expresion "en vision real y directa" se refiere a la capacidad de ver los objetos del mundo real directamente con el ojo humano, en lugar de ver representaciones de los objetos. Por ejemplo, mirar a traves de las gafas en una habitacion permite que el usuario tenga una vision real directa de la habitacion, mientras que el visionado de un video de una habitacion en una television no es una imagen real directa de la habitacion. Mas adelante se proporcionan mas detalles del dispositivo de presentacion montado en la cabeza 2.

En una realizacion, la unidad de procesamiento 4 es llevada en la muneca del usuario e incluye mucha de la potencia de ordenador utilizada para operar el dispositivo de presentacion montado en la cabeza 2. La unidad de procesamiento 4 se comunica de manera inalambrica (por ejemplo, mediante WiFi, Bluetooth, infrarrojos, u otros medios de comunicacion inalambrica) con uno o mas sistemas de ordenador concentrador 12.

El sistema de ordenador concentrador 12 puede ser un ordenador, un sistema de juego o consola, o similar. De acuerdo con una realizacion a modo de ejemplo, el sistema de ordenador concentrador 12 puede incluir componentes de hardware y/o componentes de software, de manera que el sistema de ordenador concentrador 12 puede ser utilizado para ejecutar aplicaciones tales como aplicaciones de juego, aplicaciones que no son de juego, o similares. En una realizacion, el sistema de ordenador concentrador 12 puede incluir un procesador tal como un procesador estandarizado, un procesador especializado, un microprocesador, o similar, que puede ejecutar instrucciones almacenadas en un dispositivo de almacenamiento lefble por procesador para realizar los procesos descritos en la presente memoria.

El sistema de ordenador concentrador 12 incluye ademas uno o mas dispositivos de captura, tal como dispositivos de captura 20A y 20B. En otras realizaciones, se pueden utilizar mas de dos o menos de dos dispositivos de captura. En una implementacion a modo de ejemplo, los dispositivos de captura 20A y 20B apuntan en direcciones diferentes de manera que capturan diferentes partes de la habitacion. Puede resultar ventajoso que el campo de vision de los dos dispositivos de captura se superponga ligeramente de manera que el sistema de ordenador concentrador 12 puede entender como se relacionan entre sf los campos de vision de los dispositivos de captura. De esta manera, pueden ser utilizados multiples dispositivos de captura para ver una habitacion completa (u otro espacio). Alternativamente, un dispositivo de captura puede ser utilizado si el dispositivo de captura puede ser separado durante la operacion de manera que en el tiempo el espacio relevante completo es visto por el dispositivo de captura.

Los dispositivos de captura 20A y 20B pueden ser, por ejemplo, camaras que monitorizan visualmente uno o mas usuarios y el espacio circundante de manera que los gestos y/o movimientos realizados por uno o mas usuarios, asf como la estructura del espacio circundante, pueden ser capturados, analizados, y rastreados para realizar uno o mas controles o acciones dentro de la aplicacion y/o animar un avatar o un caracter en la pantalla.

El sistema de ordenador concentrador 12 puede estar conectado a un dispositivo audiovisual 16 tal como una television, un monitor, una television de alta definicion (HDTV), o similar que puede proporcionar elementos visuales de juego o de aplicacion. Por ejemplo, el sistema de ordenador concentrador 12 puede incluir un adaptador de video tal como una tarjeta grafica y/o un adaptador de audio tal como una tarjeta de sonido que puede proporcionar senales audiovisuales asociadas con la aplicacion de juego, con la aplicacion que no es un juego, etc. El dispositivo audiovisual 16 puede recibir las senales audiovisuales procedentes del sistema de ordenador concentrador 12 y puede entonces extraer los elementos visuales de juego o de aplicacion y/o el audio asociado con las senales audiovisuales. De acuerdo con una realizacion, el dispositivo audiovisual 16 puede estar conectado a un sistema de ordenador concentrador 12 a traves de, por ejemplo, un cable de video S, un cable coaxial, un cable HDMI, un cable DVI, un cable VGA, un cable de video componente, cables RCA, etc. En un ejemplo, un dispositivo audiovisual 16 incluye altavoces internos. En otras realizaciones, el dispositivo audiovisual 16, un estereo separado o sistema de ordenador concentrador 12 esta conectado a los altavoces externos 22.

El dispositivo de ordenador concentrador 10, con los dispositivos de captura 20A y 20B, pueden ser utilizados para reconocer, analizar, y/o rastrear objetivos humanos (y de otros tipos). Por ejemplo, un usuario que lleva un dispositivo de presentacion montado en la cabeza 2 puede ser rastreado utilizando los dispositivos de captura 20A y 20B, de manera que los gestos y/o movimientos del usuario pueden ser capturados para animar un avatar o un caracter en la pantalla y/o pueden ser interpretados como controles que pueden ser utilizados para acercar la aplicacion que esta siendo ejecutada por el sistema de ordenador concentrador 12.

La Fig. 2A muestra una vista superior de una parte del dispositivo de presentacion montado en la cabeza 2, que incluye una parte de la montura que incluye la patilla 102 y el puente de nariz 104. Solo se muestra el lado derecho del dispositivo de presentacion montado en la cabeza 2. Integrado en el puente de nariz 104 hay un microfono 110 para grabar sonidos y transmitir esos datos de audio a la unidad de procesamiento 4, como se describe mas adelante. En la parte frontal del dispositivo de presentacion montado en la cabeza 2 hay una camara de video 113 vuelta hacia el entorno ffsico que puede capturar video e imagenes estaticas. Esas imagenes son transmitidas a la unidad de procesamiento 4, como se describe mas adelante.

Una parte de la montura 115 del dispositivo de presentacion montado en la cabeza 2 rodeara una presentacion (que incluye uno o mas elementos opticos). Para mostrar los componentes del dispositivo de presentacion montado en la cabeza 2, una parte de la montura 115 que rodea la presentacion no esta mostrada. La presentacion incluye un elemento optico de guiado de luz 112, un filtro de opacidad 114, lentes transparentes 116 y lentes transparentes 118. En una realizacion, el filtro de opacidad 114 esta detras y alineado con la lente transparente 116, el elemento optico de guiado de luz 112 esta detras y alineado con el filtro de opacidad 114, y la lente transparente 118 esta detras y alineada con el elemento optico de guiado de luz 112. Las lentes transparentes 116 y 118 son lentes estandar utilizadas en gafas y pueden estar hechas de acuerdo con cualquier prescripcion (incluyendo sin prescripcion). En una realizacion, las lentes transparentes 116 y 118 pueden ser sustituidas por una lente de prescripcion variable. En algunas realizaciones, el dispositivo de presentacion montado en la cabeza 2 incluira solo una lente a traves transparente o ninguna lente transparente. En otra alternativa, una lente de prescripcion puede ir dentro del elemento optico de guiado de luz 112. El filtro de opacidad 114 filtra la luz natural (o bien en base a los pixeles o bien uniformemente) para aumentar el contraste de la imagen virtual. El elemento optico de guiado de luz 112 canaliza la luz artificial hasta el ojo. Se proporcionan mas adelante mas detalles del filtro de opacidad 114 y del elemento optico de guiado de luz 112.

Montada en o dentro de la patilla 102 hay una fuente de imagen, que en una o mas realizaciones incluye la micropresentacion 120 que proyecta una imagen a traves de uno o mas elementos opticos, por ejemplo un sistema de lentes 122, sobre un elemento reflectante que en esta realizacion es una superficie reflectante 124 que grna la imagen al interior del elemento optico de guiado de luz 112. Existen diferentes tecnologfas de generacion de imagenes que pueden ser utilizadas para implementar la micropresentacion 120. Por ejemplo la micropresentacion 120 puede ser incrementada utilizando una tecnologfa de proyeccion transmisiva en donde la fuente de luz es modulada mediante material opticamente activo, retroiluminacion con luz blanca. Estas tecnologfas normalmente son implementadas utilizando presentaciones de tipo LCD con potentes retroluminaciones y densidades de energfa optica elevadas. La micropresentacion 120 tambien puede ser implementada utilizando una tecnologfa reflectante para la cual la luz externa es reflejada y modulada por un material opticamente activo. La iluminacion es iluminacion delantera mediante o bien una fuente blanca o bien una fuente RGB, dependiendo de la tecnologfa. El procesamiento de luz digital (DLP), tecnologfa de presentacion de cristal lfquido en silicio (LCOS) y Mirasol® de Qualcomm, Inc., son ejemplos el tecnologfas reflectantes que son eficientes cuando la mayona de la energfa es reflejada desde la estructura modulada y puede ser utilizada en el sistema descrito en la presente memoria. Adicionalmente, la micropresentacion 120 puede ser implementada utilizando una tecnologfa de emision en donde la luz es generada por la presentacion. Por ejemplo, un motor PicoPTM de Microvision, Inc., emite una senal laser con un micro espejo que gira o bien sobre una pantalla diminuta que actua como elemento de trasmision o bien es emitida directamente dentro del ojo (por ejemplo, laser).

En la realizacion ilustrada, la micropresentacion 120 es parte de un conjunto de micropresentacion 173 que comprende elementos de procesamiento de luz para transferir una imagen a una presentacion transparente. El conjunto de micropresentacion en este ejemplo comprende la micropresentacion 120, uno o mas elementos opticos encarnados en un sistema de lentes 122, y la superficie reflectante 124. El sistema de lentes 122 puede comprender una unica lente o una pluralidad de lentes. El sistema de lentes 122, la unidad de micropresentacion 120 y la superficie reflectante 124 (por ejemplo, un espejo u otra superficie) estan alineados en una trayectoria optica, en este ejemplo, alineados a lo largo del eje optico 133. La luz de imagen puede ser colimada y dirigida por el sistema de lentes 122 hasta la superficie reflectante 124.

El conjunto del micropresentacion 173 comprende ademas un ajustador de foco virtual variable 135 que controla un desplazamiento entre sistema de lentes 122 y la unidad de micropresentacion 120, o un desplazamiento entre sistema de lentes 122 y la superficie reflectante 124 o ambos a lo largo de la trayectoria optica 133. Diferentes desplazamientos entre los elementos de procesamiento de luz del conjunto de micropresentacion corresponden a diferentes regiones focales en el campo de vision de tres dimensiones del usuario en el que los elementos virtuales pueden ser proyectados. En este ejemplo, los cambios de desplazamiento son guiados dentro de una armadura 137 que soporta al menos un elemento de procesamiento de luz, tal como el sistema de lentes 122 y la micropresentacion 120 en este ejemplo. La armadura 137 ayuda a estabilizar la alineacion a lo largo de la trayectoria optica 133 durante el movimiento ffsico de los elementos para conseguir un desplazamiento seleccionado o una potencia optica seleccionada. El rango de desplazamiento es tfpicamente del orden de unos pocos milfmetros (mm). En un ejemplo, el rango desde 1-2 mm.

En un ejemplo, el ajustador 135 puede ser un actuador tal como un motor piezoelectrico. Tambien pueden ser utilizadas otras tecnologfas para el actuador y algunos ejemplos de tales tecnologfas son una bobina de voz formada de una bobina y un iman permanente, un elemento de magnetostriccion y un elemento de electrostriccion.

El elemento optico de guiado de luz 112 trasmite luz desde la micropresentacion 120 hasta el ojo 140 del usuario que lleva el dispositivo de presentacion montado en la cabeza 2. El elemento optico de guiado de luz 112 permite tambien que la luz procedente de la parte delantera del dispositivo de presentacion montado en la cabeza 2 sea transmitida a traves del elemento optico de guiado de luz 112 hasta el ojo 140, como se representa mediante la flecha 142, lo que permite que el usuario tenga una vision real directa del espacio delante del dispositivo de presentacion montado en la cabeza 2 ademas de recibir una imagen visual desde la micropresentacion 120. De este modo, las paredes del elemento optico de guiado de luz 112 son transparentes. El elemento optico de guiado de luz 112 incluye una primera superficie reflectante 124. La luz procedente de la micropresentacion 120 pasa a traves del sistema de lentes 122 y se hace incidente sobre la superficie reflectante 124. La superficie reflectante 124 refleja la luz incidente procedente de la micropresentacion 120 de manera que la luz es atrapada dentro de un "planer", sustrato que comprende el elemento optico de guiado de luz 112 mediante reflexion interna. Despues de varias reflexiones de las superficies del sustrato, las ondas de luz atrapadas alcanzan una disposicion de superficies selectivamente reflectantes 126. Notese que solo una de las cinco superficies esta etiquetada 126 para evitar sobrecargar el dibujo. Las superficies reflectantes 126 se asocian con las ondas de luz incidente sobre esas superficies reflectantes fuera del sustrato en el ojo 140 del usuario. Cuando diferentes rayos de luz se desplazan y rebotan fuera del interior del sustrato en diferentes angulos, los diferentes rayos chocaran con las distintas superficies reflectantes 126 en diferentes angulos. Por lo tanto, seran reflejados diferentes rayos de luz fuera del sustrato por diferentes superficies reflectantes. La seleccion de que los rayos de luz seran reflejados fuera del sustrato mediante que superficie 126 esta disenado seleccionando un angulo apropiado de las superficies 126. Se pueden encontrar mas detalles de un elemento optico de guiado de luz en la Publicacion de Solicitud de Patente de Estados Unidos 2008/0285140, N° de Serie 12/214.366, publicada el 20 de noviembre de 2008, "Substrate-Guided Optical Devices". En una realizacion, cada ojo tendra su propio elemento optico de guiado de luz 112. Cuando el dispositivo de presentacion montada en la cabeza tiene dos elementos opticos de guiado de luz, cada ojo puede tener su propia micropresentacion 120 que puede presentar la misma imagen en ambos ojos o diferentes imagenes en los dos ojos. En otra realizacion, puede haber un elemento optico de guiado de luz que refleje luz en ambos ojos. El filtro de opacidad 114, que esta alineado con el elemento optico de guiado de luz 112, bloquea selectivamente la luz natural, o bien uniformemente o bien en base a los pfxeles, para que no pase a traves del elemento optico de guiado de luz 112. En una realizacion, el filtro de opacidad puede ser un panel LCD transparente, una pelfcula electrocromica, o un dispositivo similar que sea capaz de servir como filtro de opacidad. Tal panel LCD transparente se puede obtener retirando varias capas de sustrato, retroiluminacion y difusores de un LCD convencional. El panel LCD puede incluir uno o mas chips LCD trasmisores de luz que permiten que la luz pase a traves del cristal lfquido. Tales chips son utilizados en proyectores LCD, por ejemplo.

El filtro de opacidad 114 puede incluir una red densa de pfxeles, en donde la transmisividad de luz de cada pixel se puede controlar individualmente entre transmisividades minima y maxima. Aunque un rango de transmisividad de 0 100% es ideal, tambien son aceptables rangos mas limitados. Como ejemplo, un panel LCD monocromo con no mas de dos filtros de polarizacion es suficiente para proporcionar un rango de opacidad de aproximadamente 50% a 90% por pixel, hasta la resolucion del LCD. En la minima del 50%, la lente puede tener una apariencia ligeramente tintada, lo cual es tolerable. La transmisividad del 100% representa una lente perfectamente clara. Una escala "alfa" pueden estar definida de 0-100%, en donde 0% no permite el paso de luz y 100% permite que toda la luz pase. El valor que alfa puede ser establecido para cada pixel por el circuito de control de filtro de opacidad 224 descrito mas adelante.

Mas detalles de un filtro de opacidad se proporcionan en la Solicitud de Patente de Estados Unidos N° 12/887.426, "Opacity Filter For See-Through Mounted Display," presentada el 21 de septiembre de 2010, y la Solicitud de Patente de Estados Unidos N° 12/905.952 presentada el 15 de octubre de 2010 titulada "Fusing Virtual Content Into Real Content".

El dispositivo de presentacion montado en la cabeza 2 incluye tambien un sistema para rastrear la posicion de los ojos del usuario. Como se explicara mas adelante, el sistema rastreara la posicion y orientacion del usuario de manera que el sistema puede determinar el campo de vision del usuario. Sin embargo, un humano no percibira nada delante de el. En su lugar, los ojos del usuario seran dirigidos a un subconjunto del entorno. Por lo tanto, en una realizacion, el sistema incluira tecnologfa para rastrear la posicion de los ojos del usuario con el fin de mejorar la medida del campo de vision del usuario. Por ejemplo, el dispositivo de presentacion montado en la cabeza 2 incluye un conjunto de rastreo de ojos 134 (vease la Fig. 2A), que incluira un dispositivo de iluminacion de rastreo de ojos 134A y la camara de rastreo de ojos 134B (vease la Fig. 4). En una realizacion, la fuente de iluminacion de rastreo de ojos 134A incluye uno o mas emisores infrarrojos (IR), que emiten luz infrarroja hacia el ojo. La camara de rastreo de ojos 134B incluye una o mas camaras que detectan la luz infrarroja reflejada.

La posicion de la pupila puede ser identificada mediante tecnicas de generacion de imagen conocidas que detectan la reflexion de la cornea. Por ejemplo, vease la patente de Estados Unidos 7.401.920, titulada "Head Mounted Eye Tracking and Display System", expedida el 22 de julio de 2008 a Ophir et al., incorporada en la presente memoria como referencia. Tal tecnica puede situar una posicion del centro del ojo con relacion a la camara de rastreo. Generalmente, el rastreo del ojo implica obtener una imagen del ojo y utilizando tecnicas de vision de ordenador determinar la ubicacion de la pupila dentro del globo ocular. En una realizacion, es suficiente rastrear la ubicacion de un ojo dado que los ojos normalmente se mueven al urnsono. Sin embargo, es posible rastrear cada ojo de manera separada.

En una realizacion, el sistema utilizara cuatro LEDs de infrarrojos (IR) y cuatro fotodetectores de infrarrojos en una configuracion rectangular, de manera que hay un LED de infrarrojos y un fotodetector de infrarrojos en cada esquina de la lente del dispositivo de presentacion montado en la cabeza 2. La luz procedente de los LEDs se refleja en los ojos. La cantidad de luz infrarroja detectada en cada uno de los cuatro fotodetectores de infrarrojos determina la direccion de la pupila. Esto es, la cantidad de blanco frente al negro en el ojo determinara la cantidad de luz reflejada fuera del ojo para ese fotodetector particular. Esto es, el fotodetector tendra una medida de la cantidad de blanco o negro en el ojo. A partir de las cuatro muestras, el sistema puede determinar la direccion del ojo.

Otra alternativa es utilizar cuatro LEDs infrarrojos como se ha descrito anteriormente, pero solo un dispositivo de generacion de imagenes infrarrojas en el lado de la lente del dispositivo de presentacion montado en la cabeza 2. El dispositivo de generacion de imagenes utilizara un pequeno espejo y/o lente (ojo de pez) de manera que el dispositivo de generacion de imagenes puede generar imagenes de hasta el 75% del ojo visible desde la montura de las gafas. El dispositivo de generacion de imagenes detectara entonces una imagen y utilizara vision de ordenador para encontrar la imagen, como se ha descrito anteriormente. De este modo, aunque la Fig. 2A muestra un conjunto con un emisor de infrarrojos, la estructura de la Fig. 2A puede ser ajustada para tener cuatro transmisores de infrarrojos y/o cuatro sensores de infrarrojos. Tambien se pueden utilizar mas de cuatro o menos de cuatro trasmisores de infrarrojos y/o cuatro sensores de infrarrojos.

Otra realizacion para rastrear la direccion de los ojos esta basada en el rastreo de carga. Este concepto esta basado en la observacion de que una retina lleva una carga positiva medible y la cornea tiene una carga negativa. Los sensores estan montados en los ofdos del usuario (cerca de los auriculares 130) para detectar el potencial electrico mientras los ojos se mueven alrededor y leen de forma efectiva lo que los ojos estan haciendo en tiempo real. Tambien se pueden utilizar otras realizaciones para el rastreo de los ojos.

Los circuitos de control 136 proporcionan diversos elementos electronicos que soportan los otros componentes del dispositivo de presentacion montado en la cabeza 2. Mas detalles de los circuitos de control 136 se proporcionan mas adelante con respecto a la Fig. 4. Dentro de o montados en la patilla 102, hay auriculares 130, sensores de inercia 132 y un sensor de temperatura 138. En una realizacion, los sensores de inercia 132 incluyen un magnetometro de tres ejes 132A, un giroscopio de tres ejes 132B y un acelerometro de tres ejes 132C (vease la Fig. 4). Los sensores de energfa son para detectar la posicion, orientacion, aceleraciones repentinas del dispositivo de presentacion montado en la cabeza 2.

La Fig. 2A solo muestra la mitad del dispositivo de presentacion montado en la cabeza 2. Un dispositivo de presentacion montado en la cabeza, completo incluina otro conjunto de lentes transparentes, otro filtro de opacidad, otro elemento optico de guiado de luz, otra micropresentacion 120, otro sistema de lentes 122, la camara vuelta hacia la habitacion 113, el conjunto de rastreo de ojo 134, los auriculares 130, y el sensor de temperatura 138. La Fig. 2B es una vista superior de una parte de otra realizacion de una unidad de presentacion montada en la cabeza. La montura 115 se muestra en imeas de puntos para exponer la disposicion de los elementos opticos soportados en la misma. En esta realizacion, la luz procedente de un elemento reflectante 124a es dirigida a un elemento parcialmente reflector 124b que combina la vista de imagen virtual que viaja a lo largo de la trayectoria optica 133 con la vista natural o real y directa 142. La vista natural 142 puede estar afectada por el filtro de opacidad 114. La combinacion de vistas es dirigida al ojo del usuario 140 en lugar de al interior de otro elemento optico tal como el elemento optico de guiado de luz 112. En esta realizacion, la montura 115 proporciona una montura de gafas conveniente como soporte para los elementos del sistema tales como que el conjunto del micropresentacion 173 que incluye sus elementos de procesamiento de luz 122 y 120, el ajustador de foco variable 135 y la armadura 137. En este ejemplo, la camara de rastreo de ojos 134r, 1341 para cada ojo esta situada sobre el puente 104. En otras realizaciones, se pueden utilizar otras estructuras de soporte ademas de una montura de gafas. Un ejemplo de tal estructura es un visor.

Como se ha mencionado anteriormente, la configuracion de los elementos de procesamiento de luz del conjunto de micropresentacion 173 crea una distancia focal o region focal en la que un objeto virtual aparece en una imagen. Cambiando la configuracion se cambia la region focal para la imagen de objeto virtual. La region focal determinada por los elementos de procesamiento de luz puede ser determinada y cambiada en base a la ecuacion 1/Si 1/S2 = 1/f. El sfmbolo f representa la longitud focal de una lente tal como el sistema de lentes 122 en el conjunto de micropresentacion 173. El sistema de lentes 122 tiene un punto nodal delantero y un punto nodal trasero. Si los rayos de luz son dirigidos hacia un punto nodal en un angulo dado con relacion al eje optico, los rayos de luz surgiran desde el otro punto nodal en un angulo equivalente con relacion al eje optico. En un ejemplo, el punto nodal trasero del sistema de lentes 122 estana entre el mismo y el elemento reflectante 124 en la Fig. 2A o el elemento reflectante 124a en la Fig. 2B. La distancia desde el punto nodal trasero al elemento reflectante 124, 124a puede ser designada como S2. El punto nodal delantero estana entre sistema de lentes 122 y una ubicacion objetivo de la imagen virtual generada por la micropresentacion 120 en un modelo tridimensional del espacio ffsico del usuario. (Vease la exposicion de las Figuras 10-12 mas adelante para mas detalles acerca de la creacion del modelo.) La distancia desde el punto nodal delantero a la ubicacion objetivo de la imagen virtual puede ser designada como S1. Si la longitud focal de la lente es fija, S1 y S2 son modificados para enfocar objetos virtuales en diferentes profundidades. Por ejemplo, una posicion inicial puede tener S1 establecido para el infinito, y S2 ser igual a la longitud focal del sistema de lentes 122. Asumiendo que el sistema de lentes 122 tiene una longitud focal de 10 mm, se considera un ejemplo en el que el objeto virtual va ser colocado aproximadamente un pie o 30 cm dentro del campo de vision del usuario. S1 es ahora aproximadamente 30 cm o 300 mm, f es 10 mm y S2 es establecido actualmente en la posicion inicial de la longitud focal, 10 mm, lo que significa que el punto nodal trasero del sistema de lentes 122 esta a 10 mm del elemento reflectante 124, 124a. La nueva distancia o el nuevo desplazamiento entre la lente 122 y el elemento reflectante 124, 124a es determinado en base a 1/300 1/S2 = 1/10 con todas las unidades en mm. El resultado es de aproximadamente 10,3 mm para S2.

En un ejemplo, la unidad de procesamiento 4 puede calcular los valores del desplazamiento S1 y S2, dejando la longitud focal f fija y haciendo que los circuitos de control 136 hagan que el accionador de ajustador variable 237 envfe senales de accionamiento para hacer que el ajustador de foco virtual variable 135 mueva el sistema de lentes 122 a lo largo de la trayectoria optica 133 por ejemplo. En algunos ejemplos, el ajustador 135 puede mover uno o mas elementos opticos 122 dentro de la armadura 137. En otros ejemplos, la armadura puede tener ranuras o espacio en el area alrededor de un elemento de procesamiento de luz de manera que se desliza sobre elemento, por ejemplo la micropresentacion 120, sin mover el elemento de procesamiento de luz. Otro elemento en la armadura tal como el uno o mas elementos opticos 122 estan unidos de manera que se deslizan o se mueven con la armadura en movimiento 237. En otras realizaciones, la unidad de micropresentacion 120 o el elemento reflectante 124, 124a o ambos se pueden mover en lugar de, o ademas de, moviendo el sistema de lentes 122.

En otras realizaciones, la longitud focal de al menos una lente en el sistema de lentes 122 puede ser cambiada con cambios en el desplazamiento a lo largo de la trayectoria optica 133 tambien. Algunas realizaciones de conjuntos de micropresentacion se presentan en las Figuras 3A a 3D. El numero espedfico de lentes mostrado es solo a modo de ejemplo. Se pueden utilizar otros numeros y configuraciones de lentes que funcionan basadas en los mismos principios.

La Fig. 3A es un ejemplo de un sistema de lentes giratorio para utilizar como parte de un conjunto de la micropresentacion de una presentacion proxima al ojo. Cada una de las lentes 122a a 122d tiene una longitud focal diferente y esta soportada dentro de un soporte de disco 160 que puede girar por el ajustador de foco virtual variable 135. La unidad de procesamiento 4 determina una region focal y selecciona una de las lentes de longitud focal para obtener esa region focal. Como se muestra con respecto a la Fig. 3, un accionador ajustador variable 237 de los circuitos de control 136 envfa al menos una senal de control al ajustador de foco virtual variable 135 para girar el disco, de manera que la lente seleccionada es alineada en la trayectoria optica 133 del conjunto.

La Fig. 3B1 y la Fig. 3B2 son ejemplos de una lente de fluido que presentan diferentes radios de curvatura como se muestra en Hongwen et al., "Tunable-focus liquid lens controlled using a servo motor", OPTICS EXPRESS, 4 septiembre 2006, Vol. 14, No. 18, pp. 8031-8036. La lente de fluido puede ser utilizada como parte de un conjunto de micropresentacion. La longitud focal de la lente puede ser cambiada cambiando el radio de curvatura. La relacion entre el radio de curvatura, R, y una longitud focal f viene dada por f = R/ nnquido -1. El mdice de refraccion del lfquido o del fluido de la lente es nnquido.

Esta realizacion comprende un soporte 137 tal como un anillo de obturacion anular que tiene una membrana externa flexible 152, en un ejemplo una membrana de goma, como una parte o conectada para el. La membrana externa 153 esta en contacto con un deposito de lfquido 156. La membrana de lente 150 se apoya sobre la parte superior de, o forma un lado flexible de una celula de lente de lfquido 158 que puede recibir desde, y liberar lfquido en el, deposito 156. En el ejemplo citado, la membrana de lente flexible es una membrana elastica tal como una membrana elastomerica de polidimetilsiloxano (PDMS). La placa de vidrio 154 detras de la celula de lfquido proporciona soporte. El ajustador de foco virtual variable 135 es controlado para empujar contra la membrana externa flexible 152 como se muestra en la Fig. 3B2 y liberar la membrana 152 como en la Fig. 3B1 para hacer que el volumen de agua del deposito 156 entre y salga de la lente de lfquido 158 haciendo, de este modo, convexa la membrana elastica 150 y relajando la membrana elastica 150 debido a los cambios en el volumen de lfquido. Los cambios en el volumen de lfquido producen cambios en el radio de curvatura de la membrana de lente 150 y de este modo es la longitud focal de la lente de lfquido 158. La relacion entre el radio de curvatura y el cambio de volumen AV se puede expresar como sigue:

en donde r0 es el radio de la apertura de lente.

La Fig. 3C es un ejemplo que un sistema de lentes birrefringentes para utilizar como parte de un conjunto de micropresentacion de una presentacion proxima al ojo. Un material birrefringente es anisotropo o direccionalmente dependiente. Describir la luz como un rayo es una construccion ilustrativa, una lente birrefringente descompone la luz en un rayo ordinario y en un rayo extraordinario. Para un unico eje de anisotropfa o eje optico,diferentes pueden existir indices de refraccion, y por tanto diferentes longitudes focales, para diferentes polarizaciones, una paralela y una perpendicular al eje. En un ejemplo de la Fig. 3C, las lentes 122a y 122b son lentes hechas de un material birrefringente con diferentes polarizaciones como se indica mediante las flechas. En este ejemplo de dos lentes, pueden ser predeterminados por seleccion cuatro indices de refraccion diferentes o longitudes focales. Cada longitud focal diferente puede estar asociada con una region focal diferente para la seleccion mediante la unidad de procesamiento 4. Las combinaciones de polarizacion pueden ser polarizaciones perpendiculares para las lentes 122a y 122b como se muestra en la Fig. 3C, las polarizaciones perpendiculares opuestas a las mostradas en la Fig. 3C, las dos lentes que tienen las mismas polarizaciones en una direccion, y las dos lentes tienen las mismas polarizaciones en la otra direccion de polarizacion. El ajustador de foco virtual variable puede aplicar un voltaje a cada lente para efectuar una polarizacion seleccionada en una realizacion. En otra realizacion, se puede aplicar un esfuerzo ffsico para cambiar la polarizacion de una lente.

La Fig. 3D es un ejemplo de un sistema de lentes insertable para utilizar como parte de un conjunto de micropresentacion. En esta realizacion, cada una de un numero de lentes 122 esta unida a un brazo respectivo 123 unido a la armadura 137. Cada brazo 123 mueve su uno o mas elementos opticos 122, por ejemplo una lente o un sistema de lentes 122, en oposicion en un desplazamiento en la trayectoria optica 133 del conjunto de micropresentacion bajo el control del ajustador de foco virtual variable 135. Por ejemplo, si estan siendo utilizados desplazamientos predeterminados para prestablecer regiones focales, cada lente 122 puede ser establecida a una cierta distancia separada de sus vecinas, por ejemplo separada 0,1 miffmetros (mm). Tambien se puede utilizar separacion no uniforme y desplazamientos ajustables.

En cada uno de los ejemplos anteriores que ajusta la longitud focal de una lente, tambien se realiza el desplazamiento a lo largo de la trayectoria optica 133.

De nuevo como se ha mencionado anteriormente, cada uno de los conjuntos de micropresentacion realiza el procesamiento para la perspectiva de su respectivo ojo, de manera que la imagen virtual aparece en la region focal del usuario, por ejemplo, el area fusional de Panum, el area de vision sencilla para los seres humanos.

La Fig. 4 es un diagrama de bloques que muestra los diversos componentes del dispositivo de presentacion montado en la cabeza 2. La Fig. 5 es un diagrama de bloques que describe los distintos componentes de la unidad de procesamiento 4. El dispositivo de presentacion montado en la cabeza 12, cuyos componentes se muestran en la Fig. 4, son utilizados para proporcionar una imagen virtual en foco con la vista del usuario del mundo real. Adicionalmente, los componentes del dispositivo de presentacion montado en la cabeza de la Fig. 4 incluyen muchos sensores que rastrean diversas condiciones. El dispositivo de presentacion montado en la cabeza recibira instrucciones acerca de la imagen virtual procedente de la unidad de procesamiento 4 y proporcionara la informacion de sensor de nuevo a la unidad de procesamiento 4. La unidad de procesamiento 4, cuyos componentes se muestran en la Fig. 5 recibiran la informacion de sensor procedente del dispositivo de presentacion montado en la cabeza 3 y tambien procedente del dispositivo de ordenador concentrador 12 (vease la Fig. 1). En base a esa informacion, la unidad de procesamiento 4 determinara donde y cuando proporcionar una imagen virtual en foco al usuario y enviar instrucciones acordes con el dispositivo de presentacion montado en la cabeza de la Fig. 4.

Notese que algunos de los componentes de la Fig. 4 (por ejemplo, la camara vuelta hacia el entorno ffsico 113, la camara de rastreo de ojos 134B, el ajustador de foco virtual variable 135, la micropresentacion 120, el filtro de opacidad 114, la iluminacion de rastreo de ojos 134A, los auriculares 130, y el sensor de temperatura 138) se muestran sombreados para indicar que hay dos de cada uno de esos dispositivos, uno en el lado izquierdo y uno en el lado derecho del dispositivo de presentacion montado en la cabeza 2. La Fig. 4 muestra el circuito de control 200 en comunicacion con el circuito de gestion de potencia 202. El circuito de control 200 incluye el microprocesador 210, el controlador de memoria 212 en comunicacion con la memoria 214 (por ejemplo, D-RAM), la interfaz de camara 216, el bufer de camara 218, el accionador de presentacion 220, el formateador de presentacion 222, el generador de sincronizacion 226, la interfaz de salida de presentacion 228, la interfaz de entrada de presentacion 230. En una realizacion, todos los componentes del circuito de control 220 estan en comunicacion entre sf a traves de lmeas dedicadas uno o mas buses. En otra realizacion, cada uno de los componentes del circuito de control 200 esta en comunicacion con el procesador 210. La interfaz de camara 216 proporciona una interfaz a las dos camaras vueltas hacia el entorno ffsico 113 y almacena imagenes recibidas desde las camaras vueltas hacia el entorno ffsico en el bufer de camara 218. El accionador de presentacion 220 accionara la micropresentacion 120. El formateador de presentacion 222 proporciona informacion acerca de la imagen virtual que esta siendo presentada en la micropresentacion 120, al circuito de control de opacidad 224, que controla el filtro de opacidad 114. El generador de sincronizacion 226 se utiliza para proporcionar datos de sincronizacion para el sistema. La salida de presentacion 228 es un bufer que proporciona imagenes procedentes de las camaras vueltas hacia el entorno ffsico 113 a la unidad de procesamiento 4. La entrada de presentacion 230 es un bufer para recibir imagenes tales como una imagen virtual que va ser presentada en la micropresentacion 120. La salida de presentacion 228 y la entrada de presentacion 230 comunican con la interfaz de banda 232 que es una interfaz para la unidad de procesamiento 4.

El circuito de gestion de potencia 202 incluye el regulador de voltaje 234, el accionador de iluminacion de rastreo de ojo 236, el accionador ajustador variable 237, el DAC de audio y el amplificador 238, el preamplificador de microfono y el ADC de audio 240, la interfaz de sensor de temperatura 242, el generador de reloj 244. El regulador de voltaje 234 recibe potencia desde la unidad de procesamiento 4 a traves de la interfaz de banda 232 y proporciona esa potencia a los otros componentes del dispositivo de presentacion montado en la cabeza 2. El accionador de iluminacion de rastreo de ojos 236 proporciona la fuente de luz infrarroja para la iluminacion de rastreo de ojos 134A, como se ha descrito anteriormente. El accionador ajustador variable 237 proporciona una serial de control, por ejemplo una corriente de accionamiento o un voltaje de accionamiento, al ajustador 135 para mover uno o mas elementos del conjunto del micropresentacion para conseguir un desplazamiento para una region focal calculada mediante el software que se ejecuta en la unidad de procesamiento 4 o el ordenador concentrador 12 ambos. En las realizaciones de barrido a traves de un rango de desplazamientos y, por tanto, un rango de regiones focales, el accionador ajustador variable 237 recibe senales de sincronizacion procedentes del generador de sincronizacion 226, o alternativamente, el generador de reloj 244 para operar a una velocidad o frecuencia preprogramadas. El DAC de audio y el amplificador 238 reciben la informacion de audio procedente de los auriculares 130. El preamplificador de microfono y el ADC de audio 240 proporcionan una interfaz para el microfono 110. La interfaz de sensor de temperatura 242 es una interfaz para el sensor de temperatura 138. La unidad de gestion de potencia 202 proporciona tambien potencia y recibe datos procedentes del magnetometro de tres ejes 132A, el giroscopio que tres ejes 132B y el acelerometro de tres ejes 132C.

La Fig. 5 es un diagrama de bloques que describe los distintos componentes de la unidad de procesamiento 4. La Fig. 5 muestra el circuito de control 304 en comunicacion con el circuito de gestion de potencia 306. El circuito de control 304 incluye una unidad de procesamiento central 320, la unidad de procesamiento de graficos 322, el cache 324, la RAM 326, el control de memoria 328 en comunicacion con la memoria 330 (por ejemplo, D-RAM), el controlador de memoria temporal 332 en comunicacion con la memoria temporal 334 (u otro tipo de almacenamiento no volatil), el bufer de salida de presentacion 336 en comunicacion con el dispositivo de presentacion montado en la cabeza 2 a traves de la interfaz de banda 302 y la interfaz de banda 232, el bufer de entrada de presentacion 338 en comunicacion con el dispositivo de presentacion montado en la cabeza 2 a traves de la interfaz de banda 302 y la interfaz de banda 232, la interfaz de microfono 340 en comunicacion con un conector de microfono externo 342 para conectar a un microfono, la interfaz expres de PCI para conectar al a un dispositivo de comunicacion sin cable 346, y el(los) puerto(s) USB 348. En una realizacion, el componente de comunicacion sin cable 346 puede incluir un dispositivo de comunicacion habilitado para Wi-Fi, un dispositivo de comunicacion Bluetooth, dispositivo de comunicacion de infrarrojos, etc. El puerto USB puede ser utilizado para conectar la unidad de procesamiento 4 al dispositivo de ordenador concentrador 12 con el fin de cargar datos o el software en la unidad de procesamiento 4, asf como cargar la unidad de procesamiento 4. En una realizacion, la CPU 320 y la GPU 322 son los componentes principales para determinar donde, cuando y como insertar imagenes virtuales en la vision del usuario. Se proporcionan mas detalles mas adelante.

El circuito la gestion de potencia 306 incluye el generador de reloj 360, el conversor de analogico a digital 362, el cargador de batena 364, el regulador de voltaje 366, la fuente de alimentacion de presentacion montada en la cabeza 376, y la interfaz de sensor de temperatura 372 en comunicacion con el sensor de temperatura 374 (situado en la banda de muneca de la unidad de procesamiento 4). Una corriente alterna para dirigir el convertidor de corriente 362 esta conectada a un enchufe de carga 370 para recibir un suministro de corriente alterna y crear un suministro de corriente continua para el sistema. El regulador de voltaje 366 esta en comunicacion con la batena 368 para suministrar potencial sistema. El cargador de batena 364 se utiliza para cargar la batena 368 (a traves del regulador de voltaje 366) despues de recibir potencia desde el enchufe de carga 370. La interfaz de potencia HMD 376 proporciona potencia al dispositivo de presentacion montado en la cabeza 2.

El sistema descrito anteriormente estara configurado para insertar una imagen virtual en el campo de vision de un usuario de manera que la imagen virtual aparece en foco o fuera de foco de forma natural para el usuario. En varias realizaciones, la imagen virtual sera ajustada para coincidir con la orientacion apropiada, tamano y forma en base al entorno para el que la imagen esta siendo insertada. En una realizacion, el dispositivo de presentacion montado en la cabeza 2, la unidad de procesamiento 4 y el dispositivo de ordenador concentrador 12 trabajan juntos ya que cada uno de los dispositivos incluye un subconjunto de sensores que son utilizados para obtener los datos para determinar donde cuando y como insertar las imagenes virtuales. En una realizacion, los calculos que determinan donde, como y cuando insertar las imagenes virtuales son realizados por el dispositivo de ordenador concentrador 12. En otra realizacion, estos calculos son realizados mediante la unidad de procesamiento 4. En otra realizacion algunos de los calculos son realizados por el dispositivo de ordenador concentrador 12 mientras que otros calculos son realizados por la unidad de procesamiento 4. En otras realizaciones, los calculos pueden ser realizados por el dispositivo de presentacion montado en la cabeza 2.

En una realizacion a modo de ejemplo, el dispositivo de ordenador concentrador 12 creara un modelo del entorno en el que el usuario esta y rastreara diversos objetos en movimiento en ese entorno. Ademas, el dispositivo de ordenador concentrador 12 rastrea el campo de vision del dispositivo de presentacion montado en la cabeza 2 rastreando la posicion y la orientacion del dispositivo de presentacion montado en la cabeza 2. El modelo y la informacion de rastreo son proporcionados desde el dispositivo de ordenador concentrador 12 a la unidad de procesamiento 4. La informacion de sensor obtenida por el dispositivo de presentacion montado en la cabeza 2 es trasmitida a la unidad de procesamiento 4. La unidad de procesamiento 4 entonces utiliza la informacion de sensor adicional que recibe desde el dispositivo de presentacion montado en la cabeza 2 para redefinir el campo de vision del usuario y proporcionar instrucciones al dispositivo de presentacion montado en la cabeza 2 acerca de como, donde y cuando insertar la imagen virtual.

La Fig. 6 ilustra una realizacion a modo de ejemplo del sistema de ordenador concentrador 12 con un dispositivo de captura. En una realizacion, los dispositivos de captura 20A y 20B son la misma estructura, por tanto, la Fig. 6 solo muestra dispositivo de captura 20A.

De acuerdo con una realizacion a modo de ejemplo, el dispositivo de captura 20A puede estar configurado para capturar video con informacion de profundidad que incluye una imagen de profundidad que puede incluir valores de profundidad mediante cualquier tecnica apropiada, por ejemplo, tiempo de vuelo, luz estructurada, estereo imagen, o similar. De acuerdo con una realizacion, el dispositivo de captura 20A puede organizar la informacion de profundidad en "capas Z", o capas que pueden ser perpendiculares a un eje Z que se extiende desde la camara de profundidad a lo largo de su lmea de vision.

Como se muestra en la Fig. 6, el dispositivo de captura 20A puede incluir un componente de camara 423. De acuerdo con una realizacion a modo de ejemplo, el componente de camara 423 puede ser o puede incluir una camara de profundidad que puede capturar una imagen de profundidad de una escena. La imagen de profundidad puede incluir un area de pfxeles en dos dimensiones (2-D) de la escena capturada en donde cada pixel en el area de pfxeles 2D puede representar un valor de profundidad tal como una distancia en, por ejemplo, cenffmetros, miffmetros, o similares, de un objeto en la escena capturada desde la camara.

El componente de camara 23 puede incluir un componente de luz infrarroja (IR) 425, una camara tridimensional (3 D) 426, y una camara RGB (imagen visual) 428 que se puede utilizar para capturar la imagen de profundidad de una escena. Por ejemplo, en el analisis de tiempo de vuelo, el componente de luz infrarroja 425 del dispositivo de captura 20A puede emitir una luz infrarroja sobre la escena y puede entonces utilizar sensores (en algunas realizaciones, incluyendo sensores no mostrados) para detectar la luz retrodispersada procedente de la superficie de uno o mas objetivos y objetos en la escena utilizando, por ejemplo, la camara 3-D 326 y/o la camara RGB 428. En algunas realizaciones, puede ser utilizada luz infrarroja de pulsos de manera que el tiempo entre un pulso de luz que sale y un correspondiente pulso de luz que entra puede ser medido y utilizado para determinar una distancia ffsica desde el dispositivo de captura 20A hasta una ubicacion particular sobre los objetivos u objetos en la escena. Adicionalmente, en otras realizaciones a modo de ejemplo, la fase de la onda de luz saliente puede ser comparada con la fase de la onda de luz entrante para determinar un desplazamiento de fases. El desplazamiento de fases puede ser entonces utilizado para determinar una distancia ffsica desde el dispositivo de captura a una ubicacion particular en los objetivos u objetos.

De acuerdo con otra realizacion a modo de ejemplo, el analisis de tiempo de vuelo puede ser utilizado para determinar de forma indirecta una distancia ffsica desde el dispositivo de captura 20A a una ubicacion particular en los objetivos u objetos analizando la intensidad del rayo de luz reflejado en el tiempo a traves de distintas tecnicas que incluyen por ejemplo generacion de imagenes de pulsos de luz obturada.

En otra realizacion a modo de ejemplo, el dispositivo de captura 20A puede utilizar una luz estructurada para capturar informacion de profundidad. En tal analisis, la luz como patron (es decir, la luz presentada como un patron conocido tal como un patron reticular, un patron de rayas, o un patron diferente) puede ser proyectada sobre la escena mediante, por ejemplo, el componente de luz infrarroja 424. Despues de chocar con la superficie de uno o mas objetivos u objetos en la escena, el patron se puede deformar como respuesta. Tal deformacion del patron puede ser capturada mediante, por ejemplo, la camara 3-D 426 y/o la camara RGB 428 (y/u otro sensor) y puede entonces ser analizada para determinar una distancia ffsica desde el dispositivo de captura hasta una ubicacion particular sobre los objetivos u objetos. En algunas implementaciones, el componente de luz infrarroja 425 esta desplazado de las camaras 425 y 426 de manera que se puede utilizar triangulacion para determinar la distancia desde las camaras 425 y 426. En algunas implementaciones, el dispositivo de captura 20A incluira un sensor de infrarrojos dedicado para detectar la luz infrarroja, o un sensor con un filtro de infrarrojos.

De acuerdo con otra realizacion, el dispositivo de captura 20A puede incluir dos o mas camaras ffsicamente separadas que pueden ver una escena desde diferentes angulos para obtener datos de estereo visual que pueden ser resueltos para generar informacion de profundidad. Tambien se pueden utilizar otros tipos de sensores de imagen de profundidad para crear una imagen en profundidad.

El dispositivo de captura 20A puede incluir ademas un microfono 430, que incluye un transductor o sensor que puede recibir y convertir un sonido en una senal electrica. El microfono 430 puede ser utilizado para recibir senales de audio que tambien pueden ser proporcionadas por el sistema de ordenador concentrador 12.

En una realizacion a modo de ejemplo, el dispositivo de captura 20A puede incluir ademas un procesador 432 que puede estar en comunicacion con el componente de camara de imagen 423. El procesador 432 puede incluir un procesador estandarizado, un procesador especializado, un microprocesador, o similar, que puede ejecutar instrucciones que incluyen, por ejemplo, instrucciones para recibir una imagen de profundidad, generar el formato de datos apropiado (por ejemplo, fotograma) y transmitir los datos al sistema de ordenador concentrador 12.

El dispositivo de captura 20A tambien puede incluir una memoria 434 que puede almacenar las instrucciones que son ejecutadas por el procesador 432, imagenes o fotogramas de imagenes capturados por la camara 3-D y/o la camara RGB, o cualquier otra informacion adecuada, imagenes, o similares. De acuerdo con una realizacion a modo de ejemplo, la memoria 434 puede incluir memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), cache, memoria temporal, un disco duro, o cualquier otro componente de almacenamiento adecuado. Como se muestra en la Fig. 6, en una realizacion, la memoria 434 puede ser un componente separado en comunicacion con el componente de captura de imagen 423 y el procesador 432. De acuerdo con otra realizacion, la memoria 434 puede estar integrada en el procesador 432 y/o el componente de captura de imagen 422.

Los dispositivos de captura 20A y 20B estan en comunicacion con el sistema de ordenador concentrador 12 a traves de un enlace de comunicacion 436. El enlace de comunicacion 436 puede ser una conexion por cable que incluye, por ejemplo, una conexion USB, una conexion Fireware, una conexion de cable Ethernet, o similar y/o una conexion sin cable tal como una conexion inalambrica 802.11b, g, a, o n. De acuerdo con una realizacion, el sistema de ordenador concentrador 12 puede proporcionar un reloj para el dispositivo de captura 20A que puede ser utilizado para determinar cuando capturar, por ejemplo, una escena mediante el enlace de comunicacion 436. De manera adicional, el dispositivo de captura 20A proporciona las imagenes de informacion de profundidad y visuales (por ejemplo, RGB) capturadas por, por ejemplo, la camara 3-D 426 y/o la camara RGB 428 para el sistema de ordenador concentrador 12 a traves del enlace de comunicacion 436. En una realizacion, las imagenes de profundidad y las imagenes visuales son transmitidas a 30 fotogramas por segundo; sin embargo, se pueden utilizar otras velocidades de fotograma. El sistema de ordenador concentrador 12 puede entonces crear y utilizar un modelo, informacion de profundidad, e imagenes capturadas para, por ejemplo, controlar una aplicacion tal como un juego o un procesador de palabras y/o animar un avatar o un caracter que en la pantalla.

El sistema de ordenador concentrador 12 incluye un modulo que procesamiento de imagen de profundidad y de rastreo oseo 450, que utiliza las imagenes de profundidad para rastrear una o mas personas separables por la funcion de camara de profundidad del dispositivo de captura 20A. El modulo de procesamiento de imagen de profundidad y de rastreo oseo 450 proporciona la informacion de rastreo para la aplicacion 452, que puede ser un juego de video, una aplicacion de productividad, una aplicacion de comunicaciones u otra aplicacion de software, etc. Los datos de audio y los datos de imagen visual tambien son proporcionados a la aplicacion 452 y al modulo de procesamiento de imagen de profundidad y rastreo oseo 450. La aplicacion 452 proporciona la informacion de rastreo, los datos de audio y los datos de imagen visual al motor reconocedor 454. En otra realizacion, el motor reconocedor 454 recibe la informacion de rastreo directamente desde el modulo de procesamiento de imagen de profundidad y de rastreo oseo 450 y recibe los datos de audio y los datos de imagen visual directamente desde los dispositivos de captura 20A y 20B.

El motor reconocedor 454 esta asociado con una coleccion de filtros 460, 462, 464,..., 466 que comprende cada uno, informacion referente a los gestos, accion o condicion que pueden ser realizados por cualquier persona u objeto detectable por el dispositivo de captura 20A o 20B. Por ejemplo, los datos procedentes del dispositivo de captura 20A pueden ser procesados por los filtros 460, 462, 464,..., 466 para identificar cuando un usuario o grupo de usuarios ha realizado uno o mas gestos u otras acciones. Esos gestos pueden estar asociados con varios controles, objetos o condiciones de la aplicacion 452. De este modo, el sistema de ordenador concentrador 12 puede utilizar el motor reconocedor 454, con los filtros, para interpretar y rastrear el movimiento de objetos (incluyendo personas).

Los dispositivos de captura 20A y 20B proporcionan imagenes RGB (o imagenes visuales en otros formatos o espacios de color) e imagenes de profundidad al sistema de ordenador concentrador 12. La imagen de profundidad puede ser una pluralidad de pfxeles observados en donde cada pixel observado tiene un valor de profundidad observado. Por ejemplo, la imagen de profundidad puede incluir un area de pfxeles de dos dimensiones (2-D) de la escena capturada en donde cada pixel en el area de pfxeles 2-D puede tener un valor de profundidad tal como la distancia de un objeto en la escena capturada desde el dispositivo de captura. El sistema de ordenador concentrador 12 utilizara las imagenes RGB y las imagenes de profundidad para rastrear los movimientos de un usuario o de un objeto. Por ejemplo el sistema rastreara el esqueleto de una persona utilizando las imagenes de profundidad. Existen muchos metodos que pueden ser utilizados para rastrear el esqueleto de una persona utilizando imagenes de profundidad. Un ejemplo adecuado de rastreo de un esqueleto utilizando imagenes de profundidad se proporciona en la Solicitud de Patente de Estados Unidos 12/603.437, "Pose Tracking Pipeline" presentada el 21 de octubre de 2009, Craig, et al. (en lo que sigue referida como Solicitud '437). El proceso de la Solicitud '437 incluye adquirir una imagen de profundidad, muestrear los datos, eliminar y/o suavizar los datos de ruido de varianza elevada, identificar y retirar el fondo, y asignar cada uno de los pfxeles de primer plano a diferentes partes del cuerpo. En base a estas etapas, el sistema encajara un modelo con los datos y creara un esqueleto. El esqueleto incluira una serie de articulaciones y conexiones entre las articulaciones. Tambien se pueden utilizar otros metodos para el rastreo. Tecnologfas de rastreo adecuadas estan tambien descritas en las siguientes Solicitudes de Patente de Estados unidos: Solicitud de Patente de Estados Unidos 12/475,308, "Device for Identifying and Tracking Multiple Humans Over Time", presentada el 29 de Mayo de 2009; Solicitud de Patente de Estados Unidos 12/696,282, "Visual Based Identity Tracking", presentada el 29 de enero de 2010; Solicitud de Patente de Estados Unidos 12/641 ,788, "Motion Detection Using Depth Images," presentada el 18 de diciembre de 2009; and Solicitud de Patente de Estados Unidos 12/575,388, "Human Tracking System", presentada el 7 de octubre de 2009.

El motor reconocedor 454 incluye multiples filtros 460, 462, 464, ..., 466 para determinar un gesto o accion. Un filtro comprende informacion que define un gesto, accion o condicion junto con los parametros, o metadatos, para ese gesto, accion o condicion. Por ejemplo, un lanzamiento, que comprende movimiento de una de las manos desde detras de la parte trasera del cuerpo para pasar la parte delantera del cuerpo, puede ser implementado como un gesto que comprende informacion que representa el movimiento de una de las manos del usuario desde detras de la parte trasera del cuerpo para pasar la parte delantera del cuerpo, como ese movimiento sena capturado por la camara de profundidad. Los parametros pueden entonces ser establecidos para ese gesto. Cuando el gesto es un lanzamiento, un parametro puede ser una velocidad umbral que la mano tiene que alcanzar, una distancia que la mano recorre (o bien absoluta o bien relativa al tamano del usuario como un conjunto), y un mdice de confidencia por el motor reconocedor de que el gesto se ha producido. Estos parametros del gesto pueden variar entre aplicaciones, entre contextos de una unica aplicacion, o dentro de un contexto de una aplicacion a lo largo del tiempo.

Los filtros pueden ser modulares o intercambiables. En una realizacion, un filtro tiene un numero de entradas (teniendo cada una de estas entradas un tipo) y un numero de salidas (teniendo cada una de estas salidas un tipo). Un primer filtro puede ser remplazado por un segundo filtro que tenga el mismo numero de tipos de entradas y salidas que el primer filtro sin alterar ningun otro aspecto de la arquitectura del motor reconocedor. Por ejemplo, puede haber un primer filtro para accionar que tiene como datos de esqueleto de entrada y salida una confidencia de que el gesto asociado con el filtro esta ocurriendo y un angulo de giro. Cuando se desea sustituir este primer filtro de accionamiento por un segundo filtro accionamiento -quizas debido a que el segundo filtro de accionamiento es mas eficiente y requiere menos recursos de procesamiento -se puede hacer simplemente sustituyendo el primer filtro por el segundo filtro siempre y cuando segundo filtro tenga las mismas entradas y salidas - una entrada de tipo de datos de esqueleto, y dos salidas de tipo de confidencia y tipo de angulo.

Un filtro no necesita tener un parametro. Por ejemplo, un filtro de "altura de usuario" que devuelve la altura del usuario puede no permitir que pueda ser devuelto ningun parametro. Un filtro de "altura de usuario" alternativo puede tener parametros ajustables - tales como tener en cuenta el calzado del usuario, el peinado, las prendas de la cabeza y postura en la determinacion de la altura del usuario.

Las entradas a un filtro pueden comprender cosas tales como datos de articulacion acerca de una posicion de la articulacion del usuario, angulos formados por los huesos que se unen en la articulacion, datos de color RGB procedentes de la escena, y la velocidad de cambio de un aspecto del usuario. La salida de un filtro puede comprender cosas tales como la confidencia de que un gesto dado esta siendo realizado, la velocidad a la que se hace el movimiento del gesto, y un momento en el que el movimiento de gesto se hace.

El motor reconocedor 454 puede tener un motor reconocedor base que proporciona funcionabilidad a los filtros. En una realizacion, la funcionalidad que el motor que reconocedor 454 implementa incluye un archivo de entrada en el tiempo que rastrea gestos reconocidos y otra entrada, una implementacion de Modelo de Hidden Markov (en donde el sistema modelado se supone que es un proceso Markov - en donde un estado presente encapsula cualquier informacion de estado pasado necesaria para determinar un estado futuro, de manera que ninguna otra informacion de estado pasado puede ser mantenida para este fin - con parametros desconocidos, y parametros ocultos son determinados a partir de datos observables), asf como otra funcionalidad para resolver casos particulares de reconocimiento de gestos.

Los filtros 460, 462, 464, ..., 466 son cargados e implementados en la parte superior del motor reconocedor 454 y pueden utilizar servicios proporcionados por el motor reconocedor 454 a todos los filtros 460, 462, 464, ..., 466. En una realizacion, el motor reconocedor 454 recibe datos para determinar si cumple los requisitos de cualquier filtro 460, 462, 464, ..., 466. Dado que estos servicios proporcionados, tales como analizar sintacticamente la entrada, son proporcionados una vez por el motor reconocedor 454 en lugar de por cada filtro 460, 462, 464, ..., 466, tal servicio solo necesita ser procesado una vez en un periodo de tiempo en lugar de una vez por filtro durante ese periodo, de manera que el procesamiento utilizado para determinar gestos se reduce.

La aplicacion 452 puede utilizar los filtros 460, 462, 464, ..., 466 provistos del motor reconocedor 454, o puede proporcionar su propio filtro que se enchufa en el motor reconocedor 454. En una realizacion, todos los filtros tienen una interfaz comun para habilitar esta caractenstica de enchufe. Ademas, todos los filtros pueden utilizar parametros, de manera que una unica herramienta de gestos debajo puede ser utilizada para depurar y ajustar todo el sistema de filtro.

Se puede encontrar mas informacion acerca del motor reconocedor 454 en la Solicitud de Patente de Estados Unidos 12/422,661, "Gesture Recognizer System Architecture", presentada el 13 de abril de 2009. Se puede encontrar mas informacion acerca del reconocimiento de gestos en la Solicitud de Patente de Estados Unidos 12/391,150, "Standard Gestures," presentada el 23 de febrero de 2009; y en la Solicitud de Patente de Estados Unidos 12/474,655, "Gesture Tool" presentada el 29 de mayo de 2009.

La Fig. 7 ilustra una realizacion a modo de ejemplo de un sistema de ordenador que puede ser utilizado para implementar el sistema de ordenador concentrador 12. Como se muestra en la Fig. 7, la consola multimedia 500 tiene una unidad de procesamiento central (CPU) 501 que tiene un cache 502 de nivel 1, cache 504 de nivel 2, una ROM temporal (memoria de solo lectura) 506. El cache 502 de nivel 1 y el cache 504 de nivel 2 almacenan temporalmente datos y por tanto reducen el numero de ciclos de acceso de memoria, mejorando con ello la velocidad y la produccion de procesamiento. La CPU 501 puede estar dispuesta teniendo mas de un nucleo, y de este modo, los caches 502 y 504 de nivel 1 y de nivel 2 adicionales. La ROM temporal 506 puede almacenar un codigo ejecutable que es cargado durante una fase inicial de un proceso de arranque cuando se enciende la consola multimedia 500.

Una unidad de procesamiento de graficos (GPU) 508 y un codificador de vfdeo/codec de video (codificador/descodificador) 514 forman una lmea de procesamiento de video para procesar graficos de alta resolucion y alta velocidad. Los datos son llevados desde la unidad de procesamiento de graficos 508 hasta el codificador de vfdeo/codec de video 514 a traves de un bus. La lmea de procesamiento de video envfa los datos a un puerto A/V (audioMdeo) 540 para la transmision a una television u otra presentacion. Un controlador de memoria 510 esta conectado a la GPU 508 para facilitar acceso de procesador a varios tipos de memoria 512, tales como, pero no limitados a, RAM (memoria de acceso aleatorio).

La consola multimedia 500 incluye un controlador I/O 520, un controlador de gestion de sistema 522, una unidad de procesamiento de audio 523, un controlador de interfaz de red 524, un primer controlador de ordenador principal USB 526, un segundo controlador USB 528 y un subconjunto I/O de panel frontal 530 que estan preferiblemente implementados en un modulo 518. Los controladores USB 526 y 528 sirven como ordenadores principales para los controladores perifericos 542(1)-542(2), un adaptador inalambrico 548, y un dispositivo de memoria externo 546 (por ejemplo, memoria temporal, accionador CD/DVD ROM externo, medios retirables, etc.). La interfaz de red 524 y/o el adaptador inalambrico 548 proporcionan acceso a una red (por ejemplo, internet, una red domestica, etc.) y pueden ser cualquiera de una amplia variedad de diversos componentes que adaptador con cable o inalambricos que incluyen una tarjeta de Ethernet, un modulo de Bluetooth, un modem de cable, y similares.

La memoria del sistema 543 esta dispuesta para almacenar datos de aplicacion que son cargados durante el proceso de arranque. Un accionador de medios 544 esta dispuesto y puede comprender un accionador DVD/CD, un accionador Blu-Ray, un accionador de disco duro, u otro accionador de medios retirable, etc. El accionador de medios 144 puede ser interno o externo respecto a la consola multimedia 500. Se puede acceder a los datos de aplicacion a traves del accionador de medios 544 para la ejecucion, reproduccion, etc. por la consola multimedia 500. El accionador de medios 544 esta conectado al controlador I/O 520 a traves de un bus, tal como un bus de la serie ATA u otra conexion de alta velocidad (por ejemplo, IEEE 1394).

El controlador de gestion del sistema 522 proporciona una variedad de funciones de servicio relacionadas con la capacidad de asegurar de la consola multimedia 500. La unidad de procesamiento de audio 523 y el codec de audio 532 forman una correspondiente lmea de procesamiento de audio con procesamiento estereo y de alta fidelidad. Los datos de audio son llevados entre la unidad de procesamiento de audio 523 y el codec de audio 532 a traves de un enlace de comunicacion. La lmea de procesamiento de audio envfa los datos al puerto A/V 540 para la reproduccion por un usuario o dispositivo de audio externo que tenga capacidades de audio.

El subconjunto I/O de pared delantero 530 soporta la funcionalidad del boton de potencia 550 y el boton de expulsion 552, asf como cualesquiera LEDs (diodos de emision de luz) u otros indicadores expuestos en la superficie exterior de la consola multimedia 100. El modulo de suministro de potencia de sistema 536 proporciona potencia a los componentes de la consola multimedia 100. Un ventilador 538 enfna los circuitos dentro de la consola multimedia 500.

La CPU 501, la GPU 508, el controlador de memoria 510, y diversos otros componentes dentro de la consola multimedia 500 estan interconectados a traves de uno o mas buses, que incluyen buses en serie y paralelos, un bus de memoria, un bus periferico, un procesador o bus local que utilizan a cualquiera de una variedad de arquitecturas de bus. A modo de ejemplo, tales arquitecturas pueden incluir un bus de Interconexion de Componente Periferico (PCI), un bus PCI-Express, etc.

Cuando se enciende la consola multimedia 500, los datos de aplicacion pueden ser cargados desde la memoria del sistema 543 en la memoria 512 y/o los caches 502, 504 y ejecutados en la CPU 501. La aplicacion puede presentar una interfaz de usuario grafica que proporciona una experiencia de usuario consistente cuando se navega a diferentes tipos de medios disponibles en la consola multimedia 500. En funcionamiento, las aplicaciones y/u otros medios contenidos dentro del accionador de medios 544 pueden ser lanzados o reproducidos desde el accionador de medios 544 para proporcionar funcionalidades adicionales a la consola multimedia 500.

La consola multimedia 500 puede ser operada como un sistema independiente simplemente conectando el sistema a una television otro medio de presentacion. En este modo independiente, la consola multimedia 500 permite que uno o mas usuarios interaction con el sistema, vean pelfculas, o escuchen musica. Sin embargo, con la integracion de la conectividad de banda ancha hecha disponible a traves del interfaz de red 524 o el adaptador inalambrico 548, la consola multimedia 500 puede ser ademas operada como un participante en una comunidad de red mas grande. Adicionalmente, la consola multimedia 500 puede comunicarse con la unidad de procesamiento 4 a traves de un adaptador inalambrico 548.

Cuando se enciende la consola multimedia 500, una cantidad de conjuntos de recursos de hardware son reservados para el uso del sistema por el sistema de operacion de consola multimedia. Esto recursos pueden incluir una reserva de memoria, un ciclo CPU y GPU, anchura de banda de vez, etc. Dado que estos recursos son reservados en el momento de arranque del sistema, los recursos reservados no existen desde el punto de vista de la aplicacion. En particular, la reserva de memoria preferiblemente es lo suficientemente grande para contener la cuestion del lanzamiento, aplicaciones de sistema concurrentes y accionadores. La reserva de CPU es preferiblemente constante de manera que si el uso de CPU reservada no se utiliza por las aplicaciones del sistema, un hilo inactivo consumira cualesquiera ciclos no utilizados.

Con respecto a la reserva de GPU, los mensajes de peso ligero generados por las aplicaciones del sistema (por ejemplo, mensajes surgentes) son presentados utilizando una interrupcion GPU para programar un codigo para realizar mensajes surgentes en una transparencia. La cantidad de memoria requerida para una superposicion depende del tamano del area de superposicion y la superposicion preferiblemente se escala con la resolucion de la pantalla. Cuando una interfaz de usuario total es utilizada por la aplicacion del sistema concurrente, es preferible utilizar una resolucion independiente de la resolucion de aplicacion. Se puede utilizar un escalador para establecer esta resolucion de manera que se elimine la necesidad de cambiar la frecuencia y se produzca una resincronizacion de TV.

Despues de que la consola multimedia 500 arranque y los recursos del sistema sean reservados, las aplicaciones del sistema concurrentes se ejecutan para proporcionar funcionalidades del sistema. Las funcionalidades del sistema son encapsuladas en un conjunto de aplicaciones de sistema que se ejecutan dentro de los recursos del sistema reservados anteriormente descritos. El nucleo del sistema de operacion identifica hilos que son hilos de aplicacion del sistema frente a hilos de aplicacion de juego. Las aplicaciones del sistema son preferiblemente programadas para ser ejecutadas en la CPU 501 en unos momentos e intervalos predeterminados con el fin de proporcionar una vista del recurso de sistema consistente a la aplicacion. La programacion es para minimizar la perturbacion para la aplicacion de juego que se ejecuta en la consola.

Cuando una aplicacion del sistema concurrente requiere audio, el procesamiento del audio se programa de manera asmcrona respecto a la aplicacion de juego debido a la sensibilidad de tiempo. Un gestor de aplicacion de consola multimedia (descrito mas adelante) controla el nivel de audio de aplicacion de juego (por ejemplo, silencio, atenuacion) cuando las aplicaciones del sistema estan activas.

Los dispositivos de entrada opcionales (por ejemplo, los controladores 542(1) y 542(2)) son compartidos por las aplicaciones de juego y por las aplicaciones del sistema. Los dispositivos de entrada no son recursos reservados, pero pueden ser conmutados entre aplicaciones de sistema y aplicaciones de juego, de manera que cada uno tendra un foco del dispositivo. El gestor de aplicacion preferiblemente controla la conmutacion de la cadena de entrada, sin saber el conocimiento de la aplicacion de juego y el accionador mantiene la informacion de estado referente a los conmutadores de foco. Los dispositivos de captura 20A y 20B pueden definir dispositivos de entrada para la consola 500 a traves del controlador USB 526 u otra interfaz. En otras realizaciones, el sistema de ordenador concentrador 12 puede ser implementado utilizando otras arquitecturas de hardware. No se requiere ninguna arquitectura de hardware.

El sistema de ordenador a modo de ejemplo ilustrado en las Figuras 4, 5, 6 y 7 incluye ejemplos de medios de almacenamiento lefbles por ordenador. Tales medios pueden incluir medios volatiles y no volatiles, retirables y no retirables implementados en cualquier metodo o tecnologfa para el almacenamiento de informacion tal como instrucciones lefbles por ordenador, estructuras de datos, modulos de programa u otros datos. El medio de almacenamiento de ordenador incluye, pero no se limita a, RAM, ROM, EEPROM, memoria temporal u otra tecnologfa de memoria, CD-ROM, discos versatiles digitales (DVD) u otro almacenamiento de disco optico, tarjetas o pinchos de memoria, casetes magneticos, cintas magneticas, almacenamiento de disco magnetico un otros dispositivos de almacenamiento magneticos, o cualquier otro medio que pueda ser utilizado para almacenar la informacion deseada y al que se pueda acceder mediante un ordenador. Algunos ejemplos de medios de almacenamiento lefbles por ordenador en las Figuras incluyen la memoria 214 de la Fig. 4, la memoria temporal 334, la memoria 330, la RAM 326 y el cache 324 de la Fig. 5, la memoria 434 de la Fig. 6, y la ROM 506, los caches 502, 504, la memoria 512, la memoria del sistema 543, la unidad de memoria 546 y el accionador de medios 544.

La Fig. 1 muestra un dispositivo de presentacion montado en la cabeza 2 y una unidad de procesamiento 4 (en conjunto referidos como dispositivo de presentacion movil) en comunicacion con el dispositivo de ordenador concentrador 12 (referido como un concentrador). En otra realizacion, multiples dispositivos de presentacion movil pueden estar en comunicacion con un unico concentrador. Cada uno de los dispositivos de presentacion movil se comunicara con el concentrador utilizando comunicacion inalambrica, como se ha descrito anteriormente. En tal realizacion, se contempla que mucha de la informacion que es util para todos los dispositivos de presentacion moviles sera calculada y almacenada en el concentrador y trasmitida a cada uno de los dispositivos de presentacion moviles. Por ejemplo, el concentrador generara el modelo del entorno y proporcionara ese modelo a todos los dispositivos de presentacion moviles en comunicacion con el concentrador. Adicionalmente, el concentrador puede rastrear la ubicacion y orientacion de los dispositivos de presentacion moviles y de los objetos en movimiento en la habitacion, y despues transferir esa informacion a cada uno de los dispositivos de presentacion moviles.

En otra realizacion, un sistema de multiples usuarios que puede variar el foco del contenido virtual que va a estar en foco para un usuario podna incluir multiples concentradores, incluyendo cada concentrador uno o mas dispositivos de presentacion moviles. Los concentradores se pueden comunicar entre sf o a traves de internet (u otras redes). Por ejemplo, la Fig. 8 muestra concentradores 560, 562 y 564. El concentrador 560 se comunica directamente con el concentrador 562. El concentrador 560 se comunica con el concentrador 564 a traves de Internet. El concentrador 560 esta comunicado con los dispositivos de presentacion moviles 570, 572, ..., 574. El concentrador 562 se comunica con el dispositivo de presentacion movil 578, 580, ..., 582. El concentrador 564 se comunica con el dispositivo de presentacion movil 584, 586, ..., 588. Cada uno de los dispositivos de presentacion moviles se comunica con su respectivo concentrador mediante comunicacion inalambrica como se ha descrito anteriormente. Si estos concentradores estan en un entorno comun, despues cada uno de los concentradores puede proporcionar una parte del modelo de los entornos, o un concentrador puede crear el modelo para los otros concentradores. Cada uno de los concentradores rastrea a un subconjunto de objetos en movimiento y compartira esa informacion con los otros concentradores, que a su vez que compartiran la informacion con los dispositivos de presentacion moviles apropiados. La informacion de sensor de los dispositivos de presentacion moviles sera proporcionada a sus respectivos concentradores y despues compartida con otros concentradores para compartir finalmente con otros dispositivos de presentacion moviles. De este modo, la informacion compartida entre los concentradores puede incluir rastreo de esqueleto, informacion acerca de modelos, diversos estados de aplicaciones, y otros rastreos. La informacion comunicada entre los concentradores y sus respectivos dispositivos de presentacion moviles incluye informacion de rastreo de objetos en movimiento, actualizaciones de estado y ffsicas para los modelos reales, informacion de geometna y textura, video y audio, y otra informacion utilizada para realizar las operaciones descritas en la presente memoria.

La Fig. 9 es un diagrama de flujo que describe una realizacion de un proceso para presentar un objeto virtual que va a estar en foco cuando es visto por el usuario que esta realizado mediante los componentes descritos anteriormente. En la etapa 602, es configurado el sistema. Por ejemplo, una aplicacion (por ejemplo, la aplicacion 452 de la Fig. 6) puede configurar el sistema para indicar que una imagen virtual particular (que representa un objeto virtual) va ser insertada en el modelo de tres dimensiones de la escena, en una ubicacion deseada. Se considera un ejemplo en el que una habitacion vada esta poblada con objetos virtuales para convertir la habitacion vada en una realidad virtual. En otro ejemplo, la aplicacion que se ejecuta en el sistema de ordenador concentrador 12 indicara que una imagen virtual particular (que representa un objeto virtual) va ser insertada en la escena como parte de un videojuego o de otro proceso.

En la etapa 604, el sistema creara un modelo volumetrico del espacio para el que esta situado el dispositivo de presentacion montado en la cabeza 2. En una realizacion, por ejemplo, el dispositivo de ordenador concentrador 12 utilizara imagenes de profundidad procedentes de una o mas camaras de profundidad para crear un modelo tridimensional del entorno o del espacio en el que el dispositivo de presentacion montado en la cabeza 2 esta situado. En las etapas 606, ese modelo es segmentado en uno o mas objetos. Por ejemplo, si el dispositivo de ordenador concentrador 12 crea un modelo tridimensional de una habitacion, es probable que esa habitacion tenga multiples objetos en ella. Ejemplos de objetos que pueden estar en una habitacion incluyen personas, sillas, mesas, sofas, etc. La etapa 606 incluye distinguir unos objetos de otros. En la etapa 608, el sistema identificara los objetos. Por ejemplo, el dispositivo de ordenador concentrador 12 puede identificar que un objeto particular es una mesa y otro objeto que es una silla. En la etapa 610, el sistema presentara un objeto virtual para estar en foco cuando es visto por un usuario. El objeto virtual aparece en foco como si fuera un objeto real que se ve realmente y directamente a traves de las lentes transparentes, por ejemplo 116, 118s. Esto es, el sistema presenta una imagen virtual en el campo de vision del usuario a la profundidad focal que el usuario esta viendo mientras el usuario esta mirando a traves del dispositivo de presentacion montado en la cabeza 2. De este modo, la imagen virtual aparece en su ubicacion del mundo real en un dispositivo de presentacion que permite visualizar de forma real y directa al menos una parte del entorno ffsico a traves de dicha presentacion. El objeto virtual puede ser un objeto estacionario o un objeto en movimiento. En la etapa 612, el usuario del dispositivo de presentacion montado en la cabeza 2 interactuara con una aplicacion que se ejecuta en un dispositivo de ordenador concentrador 12 (u otro dispositivo de ordenador) en base al objeto virtual que esta siendo presentado en el dispositivo de presentacion montado en la cabeza 2. Cada una de las etapas 604-610 sera descrita con mas detalle mas adelante.

La Fig. 10 es un diagrama de flujo que describe una realizacion de un proceso para crear un modelo tridimensional del espacio. Por ejemplo, en proceso de la Fig. 10 es una implementacion a modo de ejemplo de la etapa 604 de la Fig. 9. En la etapa 640, el sistema de ordenador concentrador 12 recibe una o mas imagenes de profundidad para multiples perspectivas del espacio en el que esta el dispositivo de presentacion montado en la cabeza 2. Por ejemplo, el dispositivo de ordenador concentrador 12 puede obtener imagenes de profundidad procedentes de las multiples camaras de profundidad, o multiples imagenes de profundidad procedentes de la misma camara apuntando la camara en diferentes direcciones o utilizando una camara de profundidad con una lente que permita una vision total del espacio para el cual el modelo sera construido. En la etapa 642, los datos de profundidad procedentes de las distintas imagenes de profundidad son combinados en base a un sistema de coordenadas comun. Por ejemplo, si este sistema recibe imagenes de profundidad procedentes de multiples camaras, el sistema correlacionara las dos imagenes que tengan un sistema de coordenadas comun (por ejemplo alineando las imagenes). En la etapa 644, se crea una descripcion volumetrica del espacio utilizando los datos de profundidad. En la etapa 646, el sistema detectara y rastreara objetos en movimiento tales como personas que se mueven en la habitacion. Mas detalles acerca del rastreo de personas se han descrito anteriormente. En la etapa 648, la descripcion volumetrica del espacio es actualizada en base al rastreo de los objetos en movimiento. Las etapas 646 y 648 se pueden realizar de forma continua durante el funcionamiento del sistema, de manera que el modelo es actualizado de forma continua teniendo en cuenta los objetos en movimiento. En otra realizacion, el modelo solo incluira informacion acerca de objetos estacionarios y los objetos en movimiento son rastreados de forma separada.

La Fig. 11 es un diagrama de flujo que describe una realizacion de un proceso para segmentar el modelo del espacio que en objetos. Por ejemplo, el proceso de la Fig. 11 es una implementacion a modo de ejemplo de la etapa 606 de la Fig. 9. En la etapa 680 de la Fig. 11, el sistema recibira una o mas imagenes de profundidad desde una o mas camaras de profundidad como se ha descrito anteriormente. Alternativamente, el sistema puede acceder a una o mas imagenes de profundidad que ya ha recibido. En la etapa 682, el sistema recibira una o mas imagenes visuales procedentes de las camaras descritas anteriormente. Alternativamente, el sistema puede acceder a una o mas imagenes visuales ya recibidas. En la etapa 684, el sistema de ordenador concentrador detectara una o mas personas en base a las imagenes de profundidad y/o a las imagenes visuales. Por ejemplo, el sistema reconocera uno o mas esqueletos. En la etapa 686, el dispositivo de ordenador concentrador detectara bordes dentro del modelo en base a las imagenes de profundidad y/o a las imagenes visuales. En la etapa 688, el dispositivo de ordenador concentrador utilizara los bordes detectados para distinguir unos objetos de otros. Por ejemplo, se supone que los bordes son lfmites entre objetos. En la etapa 690, el modelo creado utilizando el proceso de la Fig. 10 sera actualizado para mostrar que partes del modelo estan asociadas con los diferentes objetos.

La Fig. 12 es un diagrama de flujo que describe una realizacion de un proceso para identificar objetos. Por ejemplo el proceso de la Fig. 12 es una implementacion a modo de ejemplo de la etapa 608 de la Fig. 9. En la etapa 710, el dispositivo de ordenador concentrador 12 hara coincidir personas identificadas con identidades de usuario. Por ejemplo, el sistema puede tener perfiles de usuario que tengan imagenes visuales que puedan ser hechas coincidir con las imagenes detectadas de los objetos. Alternativamente, un perfil de usuario puede describir caractensticas de la persona que pueden corresponder en base a las imagenes de profundidad o imagenes visuales. En otra realizacion, los usuarios pueden registrarse en el sistema y un dispositivo de ordenador concentrador 12 puede utilizar el proceso de acceso para identificar un usuario particular y rastrear ese usuario a traves de la interaccion descrita la presente memoria. En la etapa 712, el dispositivo de ordenador concentrador 12 accedera a la base de datos de las formas. En la etapa 714, el dispositivo de ordenador concentrador hara coincidir tantos objetos en el modelo con las formas en la base de datos. En la etapa 716, aquellas formas que no coincidan seran destacadas y presentadas al usuario (por ejemplo, utilizando el monitor 16). En la etapa 718, el dispositivo de ordenador concentrador 12 recibira la entrada del usuario que identifica cada (o un subconjunto) de las formas destacadas. Por ejemplo, el usuario puede utilizar un teclado, un raton, una entrada de voz, u otro tipo de entrada para indicar que forma no identificada es cada una. En la etapa 720, la base de datos de las formas es actualizada en base a la entrada del usuario en la etapa 718. En la etapa 722, el modelo de entorno creado en la etapa 604, y actualizado en la etapa 606, es actualizado adicionalmente anadiendo metadatos para cada uno de los objetos. Los metadatos identifican el objeto. Por ejemplo, los metadatos pueden indicar que el objeto particular es una mesa brillante redonda, John Doe, un sofa de cuero verde, etc.

La Fig. 13 es un diagrama de flujo que describe una realizacion de un proceso para presentar un objeto virtual que va a estar en foco cuando es visto por un usuario que ve una presentacion trasparente. Por ejemplo, el proceso de la Fig. 13 es una implementacion a modo de ejemplo de la etapa 610 de la Fig. 9. En la etapa 950 de la Fig. 13, el sistema determina el campo de vision del usuario. Esto es, el sistema determina a que parte del entorno por espacio esta mirando el usuario. En una realizacion, es un esfuerzo colaborativo utilizando el dispositivo de ordenador concentrador 12, la unidad de procesamiento 4 y el dispositivo de presentacion montado en la cabeza 2. En una implementacion a modo de ejemplo, el dispositivo de ordenador concentrador 12 rastreara el usuario y el dispositivo de presentacion montado en la cabeza 2 con el fin de proporcionar una determinacion preliminar de la localizacion y orientacion del dispositivo de presentacion montado en la cabeza 2. Los sensores sobre el dispositivo de presentacion montado en la cabeza 2 seran utilizados para perfeccionar la orientacion determinada. Por ejemplo, los sensores de inercia 34, descritos anteriormente, se pueden usar para perfeccionar la orientacion del dispositivo de presentacion montado en la cabeza 2. Adicionalmente, el proceso de rastreo de ojos descrito anteriormente puede ser utilizado para identificar un subconjunto del campo de vision inicialmente determinado que corresponde a donde en particular un usuario esta mirando conocido de otro modo como la region focal del usuario o foco de profundidad en el campo de vision. Mas detalles seran descritos mas adelante respecto a las Figuras 14. 15 y 16.

Los tipos de objetos virtuales y su ubicacion en un campo de vision del usuario se determinan mediante la aplicacion 452 basada en parametros por defecto, de entrada de usuario, o una combinacion de ambos. Por ejemplo, el usuario puede haber seleccionado un objeto del mundo real de una mesa de cafe en la habitacion en donde se esta ejecutando la aplicacion 452 para que aparezca como una roca. La ubicacion objetivo de la roca virtual sera relacionada con la ubicacion de la mesa de cafe en el modelo tridimensional. En otro ejemplo, un delfm virtual puede ser seleccionado por un usuario para nadar alrededor de la habitacion. El movimiento del delfm virtualmente alrededor de la habitacion puede ser implementado por recorrido de trayectoria del objeto del delfm en que el que una ubicacion objetivo para el delfm es actualizada en cada fotograma de presentacion. Incluso si el usuario mira fijamente a la roca, el delfm probablemente entrara y saldra de la region focal del usuario y del campo de vision generalmente. A medida que el usuario mueve sus ojos o cabeza, el campo de vision del usuario y la region focal actual son actualizadas con estos movimientos tambien. Uno o mas objetos virtuales pueden estar situados en la region focal del usuario y en el campo de vision del usuario en cualquier momento dado.

Despues de determinar el campo de vision en la etapa 950 anterior, el sistema determina si hay alguna ubicacion objetivo de objetos virtuales en el campo de vision actual del usuario en la etapa 952. El software que se ejecuta en uno o mas sistemas de ordenador tal como el dispositivo de ordenador concentrador 12 o en la unidad de procesamiento 4 identificaran la ubicacion del objetivo en el campo de vision. En una realizacion, el dispositivo de ordenador concentrador 12 proporcionara el modelo a la unidad de procesamiento 4. Como parte de la etapa 952, la unidad de procesamiento 4 utilizara el modelo del entorno y el conocimiento de la posicion y orientacion del usuario para determinar si la ubicacion objetivo de cualquier objeto virtual esta dentro del campo de vision del usuario.

Si no hay objetos virtuales en el campo de vision del usuario actual, el procesamiento en la etapa 966 vuelve para determinar y actualizar el campo de vision del usuario en la etapa 950.

Si hay al menos un objeto virtual que tenga una ubicacion objetivo en el campo de vision del usuario, entonces en la etapa 954, el sistema tal como el software que se ejecuta en la unidad de procesamiento 4, determina la region focal actual del usuario dentro del campo de vision del usuario. Como se describe con mas detalle mas adelante en las Figuras 15 y 16, el procesamiento de rastreo de ojos basado en los datos capturados por la camara de rastreo de ojos 134 para cada ojo, puede proporcionar la region focal actual del usuario. Por ejemplo, la convergencia entre las pupilas con los datos que indican la posicion de la cara del usuario pueden ser utilizados para triangular a un punto focal en una curva focal, el Horoptero, desde el que la region focal, el area fusional de Panum se pueden calcular. El area fusional de Panum es el area de vision sencilla para estereopsis binocular utilizada por los ojos humanos. En la etapa 956, el software que se ejecuta en el sistema de ordenador concentrador 12, la unidad de procesamiento 4 o ambos identifican cual de los objetos virtuales en el campo de vision del usuario esta en la region focal del usuario actual en base a la ubicacion objetivo del objeto virtual en el modelo.

En la etapa 958, la unidad de procesamiento 4 escalara y orientara los objetos virtuales para una imagen que va ser insertada en la vision del usuario. El escalado y la orientacion de la imagen virtual estaran basados en la ubicacion del objetivo en el campo de vision y la forma conocida del objeto virtual en base al modelo.

En la etapa 960, la unidad de procesamiento 4, los circuitos de control 136 o ambos que comparten procesamiento para colocar cada objeto virtual identificado en la region focal del usuario actual cambiando la region focal del conjunto de micropresentacion. En la etapa 962, una profundidad artificial de la tecnica de campo se aplica a objetos virtuales cuyas ubicaciones objetivo estan dentro del campo de vision del usuario pero fuera de la region focal actual del usuario como una funcion de la distancia desde la region focal actual. Un ejemplo de una profundidad artificial de la tecnica de campo es una tecnica de borrosidad artificial.

La borrosidad artificial se puede conseguir aplicando una profundidad de oscurecedor de campo u otro filtro de borrosidad Gaussiano para simular que el objeto esta fuera del foco como funcion de la distancia desde la region focal. La tecnica se puede realizar total o parcialmente mediante un software que se ejecuta en un ordenador concentrador 12, en la unidad de procesamiento 4 o en ambos. Para facilitar la restriccion, se hara referencia a la unidad de procesamiento 4. A partir de un valor de profundidad como parte de la ubicacion objetivo de un objeto virtual, la distancia focal del objeto en la imagen se determina mediante la unidad de procesamiento 4 que tambien determina que pfxeles en un elemento de presentacion 112 como ese que encierra el elemento optico de guiado de luz 112 mapearan los objetos virtuales en una imagen. En base a la distancia focal, uno o mas filtros del borrosidad Gaussianos ponderados son aplicados para cubrir al menos dos dimensiones convolucionando la imagen con una funcion Gaussiana tal como las transformaciones aplicadas a los pixeles desde el punto focal o punto de fijacion de la imagen recibira mas efectos de borrosidad. En un ejemplo, el filtro de borrosidad Gaussiano actua como un filtro del paso bajo que elimina la informacion de elevada frecuencia.

En la etapa 964, se presenta una imagen virtual que incluye los objetos virtuales en el campo de vision del usuario. En un ejemplo, la unidad de procesamiento 4 envfa instrucciones al accionador de presentacion 220 de los circuitos de control 136 para la presentacion sobre la micropresentacion 120 de la imagen virtual que incluye los objetos virtuales en el campo de vision del usuario. El sistema de lentes 122 entonces proyecta la imagen virtual recibida de la micropresentacion 120 sobre la superficie reflectante 124 y hacia los ojos del usuario o dentro del elemento optico de guiado de luz 112 para el visionado por el usuario. En una implementacion, la presentacion en la que el usuario esta mirando a traves del dispositivo de presentacion montado en la cabeza (por ejemplo, el elemento optico de guiado de luz 112) es dividida en pfxeles. La etapa 964 puede incluir determinar que pfxeles corresponden a la ubicacion objetivo, y esos pfxeles presentaran las imagenes virtuales en la etapa 964. El filtro de opacidad 114 puede ser utilizado para evitar efectos visuales no reales. Por ejemplo, el filtro de opacidad 114 puede modificar la luz a los pfxeles en el elemento optico de guiado de luz 112, de manera que un objeto virtual de fondo no se ve a traves de un objeto virtual en primer plano. El procesamiento vuelve a la etapa 950 y determina el campo de vision del usuario en este sistema de presentacion en tiempo real. Las etapas de procesamiento de la Fig. 13 pueden ser realizadas de forma continua durante el funcionamiento del sistema, de manera que el campo de vision del usuario y la region focal del usuario son actualizados cuando el usuario mueve su cabeza, y los objetos virtuales pueden ser presentados, por consiguiente, con un movimiento natural que entra y sale del foco para el usuario.

La Fig. 16 es un diagrama de flujo que describe una realizacion de un proceso para determinar el campo de vision del usuario, que es una implementacion a modo de ejemplo de la etapa 950 de la Fig. 13. El proceso de la Fig. 16 se basa en la informacion procedente del dispositivo de ordenador concentrador 12 y la tecnologfa de rastreo de ojos descrita anteriormente. La Fig. 14 es un diagrama de flujo que describe una realizacion de un proceso realizado por el sistema de ordenador concentrador para proporcionar informacion de rastreo utilizada en el proceso de la Fig. 16. La Fig. 15 es un diagrama de flujo que describe una realizacion de un proceso para rastrear un ojo, cuyos resultados son utilizados por el proceso de la Fig. 16.

En la etapa 810 de la Fig. 14, el dispositivo de ordenador concentrador 12 rastreara la posicion del usuario. Por ejemplo, el dispositivo de ordenador concentrador 12 utilizara una o mas imagenes de profundidad y una o mas imagenes visuales para rastrear a un usuario (por ejemplo, utilizando rastreo de esqueleto). Una o mas imagenes de profundidad y una o mas imagenes visuales pueden ser utilizadas para determinar la posicion del dispositivo de presentacion montado en la cabeza 2 y la orientacion del dispositivo de presentacion montado en la cabeza 2 en la etapa 812. En la etapa 814, la posicion y orientacion del usuario y del dispositivo de presentacion montado en la cabeza 2 son transmitidas desde el dispositivo de ordenador concentrador 12 a la unidad de procesamiento 4. En la etapa 816, la informacion de posicion y orientacion es recibida en la unidad de procesamiento 4. Las etapas de procesamiento de la Fig. 14 pueden ser realizadas de forma continua durante el funcionamiento del sistema de manera que el usuario es rastreado de forma continua.

La Fig. 15 es un diagrama de flujo que describe una realizacion para rastrear un ojo utilizando la tecnologfa descrita anteriormente. En la etapa 860, el ojo es iluminado. Por ejemplo, el ojo puede ser iluminado utilizando luz infrarroja procedente de la iluminacion de rastreo de ojos 144A. En la etapa 862, la reflexion desde el ojo es detectada utilizando una o mas camaras de rastreo de ojos 134B. En la etapa 864, los datos de reflexion son enviados desde el dispositivo de presentacion montado en la cabeza 2 a la unidad de procesamiento 4. En la etapa 866, la unidad de procesamiento 4 determinara la posicion del ojo en base a los datos de reflexion, como se ha descrito anteriormente. En la etapa 868, la unidad de procesamiento 4 tambien determinara la ubicacion de profundidad focal o region focal que los ojos del usuario estan viendo en base a los datos de reflexion. Las etapas de procesamiento de la Fig. 15 pueden ser realizadas de forma continua durante el funcionamiento del sistema, de manera que los ojos del usuario son rastreados de forma continua proporcionando datos para rastrear la region focal actual del usuario.

La Fig. 16 es un diagrama de flujo que describe una realizacion de un proceso para determinar el campo de vision (por ejemplo, la etapa 950 de la Fig. 13). En la etapa 902, la unidad de procesamiento 4 accedera a la informacion de ultima posicion y orientacion recibida desde el concentrador. El proceso de la Figura 14 puede ser realizado de forma continua como se muestra mediante la flecha desde la etapa 814 a la etapa 810, por lo tanto, la unidad de procesamiento 4 recibira de forma periodica la informacion de posicion y orientacion actualizada procedente del dispositivo de ordenador concentrador 12. Sin embargo, la unidad de procesamiento 4 necesitara extraer la imagen virtual de forma mas frecuente de la que recibe la informacion actualizada desde el dispositivo de ordenador concentrador 12. Por lo tanto, la unidad de procesamiento 4 necesitara basarse en la informacion detectada localmente (por ejemplo, desde el dispositivo montado en la cabeza 2) para proporcionar actualizaciones de la orientacion entre muestras procedentes del dispositivo de ordenador concentrador 12. En la etapa 904, la unidad de procesamiento 4 accedera a datos procedentes del giroscopio de tres ejes 132B. En la etapa 906, la unidad de procesamiento 4 accedera a datos procedentes del acelerometro de tres ejes 132C. En la etapa 908, la unidad de procesamiento 4 accedera a datos procedentes del magnetometro de tres ejes 132A. En la etapa 910, la unidad de procesamiento 4 perfeccionara (o actualizara de otro modo), los datos de posicion y orientacion procedentes del dispositivo de ordenador concentrador 12 con los datos procedentes del giroscopio, acelerometro y magnetometro. En la etapa 912, la unidad de procesamiento 4 determinara el campo de vision potencial en base a la localizacion y orientacion del dispositivo de presentacion montado en la cabeza.

En la etapa 914, la unidad de procesamiento 4 accedera a la ultima informacion de posicion de ojos. En la etapa 916, la unidad de procesamiento 4 determinara una parte del modelo que esta siendo visto por el usuario, como un subconjunto del campo de vision potencial en base a la posicion del ojo. Por ejemplo, el usuario puede estar vuelto hacia una pared, y por tanto, el campo de vision de la presentacion montada en la cabeza podna incluir cualquier lugar a lo largo de la pared. Si embargo, si los ojos del usuario estan apuntando la derecha, entonces la etapa 916 concluira en que el campo de vision del usuario es solo la parte derecha de la pared. Al final de la etapa 916, la unidad de procesamiento 4 ha determinado el campo de vision del usuario a traves de la presentacion montada en la cabeza 2. La unidad de procesamiento 4 puede identificar una ubicacion objetivo de un objeto virtual dentro de ese campo de vision. En la etapa 918, la unidad de procesamiento 4 determina la region focal del usuario actual con la parte del modelo basada en la posicion del ojo. La unidad de procesamiento 4 puede identificar una ubicacion objetivo en el modelo de un objeto virtual que esta dentro de la region focal del usuario actual. Las etapas de procesamiento de la Fig. 16 se pueden realizar de forma continua durante el funcionamiento del sistema de manera que el campo de vision del usuario y la region focal son actualizadas de forma continua cuando el usuario mueve la cabeza, y por consiguiente, los objetos virtuales pueden ser presentados el movimiento natural entrando y saliendo del foco para el usuario.

La Fig. 17A es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion desplazando al menos una lente del conjunto. Esta realizacion puede ser utilizada para implementar la etapa 960 en la Fig. 13. Para un contexto ilustrativo, esta referenciado un conjunto de micropresentacion como se ha descrito anteriormente con respecto a las Figuras 2A y 2B. El conjunto de micropresentacion comprende la unidad de micropresentacion 120 alineada en una trayectoria optica 133 con un sistema de lentes 122 que colima la luz de la imagen procedente de la unidad de micropresentacion 120 hasta el elemento de reflexion 124 o los elementos de reflexion 124a, 124b y o bien en los ojos del usuario o bien en otro elemento optico 112. El conjunto de micropresentacion tambien incluye el ajustador de foco virtual variable 135 para mover ffsicamente uno de los elementos de procesamiento de luz para obtener una region focal seleccionada o determinada.

Antes de las exposiciones de las Figuras 3A-3D, los desplazamientos del conjunto de micropresentacion y las longitudes focales estan referidas por la siguiente ecuacion 1/S1 1/S2 = 1/f. En la etapa 980, la unidad de procesamiento 4 determina un valor de desplazamiento S1, entre un punto nodal delantero del sistema de lentes 122 y la ubicacion objetivo del objeto virtual. Adicionalmente, en la etapa 982, la unidad de procesamiento 4 determina un valor de desplazamiento, S2, entre el elemento reflectante 124, 124a y el punto nodal trasero del sistema de lentes para una longitud focal del sistema de lentes, f, en base a la ecuacion. La unidad de procesamiento 4 hace, en la etapa 984, que el procesador de los circuitos de control 136 haga que el accionador ajustador variable 237 aplique al menos una senal de accionamiento al ajustador de foco virtual variable 135 para mover ffsicamente al menos una lente del sistema de lentes para generar los valores del desplazamiento determinados S1 y S2. Ademas del conjunto de micropresentacion mostrado en las Figuras 2A y 2B, otra implementacion es un conjunto de micropresentacion que utiliza el ejemplo de sistema de lentes insertable de la Fig. 3D. El movimiento es el de liberar un brazo 123 para una lente si colocando en su sitio y moviendo un brazo 123 para la lente cuando el desplazamiento determinado bloquea la lente en la trayectoria optica 133.

La Fig. 17B es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion cambiando la polarizacion de al menos una lente del conjunto. La realizacion puede ser utilizada para implementar la etapa 960 en la Fig. 13 y es adecuada para utilizar con la realizacion de un conjunto de micropresentacion tal como el mostrado en la Fig. 3C. En esta realizacion, el sistema de lente incluye al menos una lente birrefringente en la trayectoria optica entre la micropresentacion 120 y el elemento reflectante 124 (Fig. 2A), 124a (Fig. 2B). En la etapa 986, la unidad de procesamiento 4 selecciona un valor de desplazamiento para S1 en base a una ubicacion objetivo de un objeto virtual y la ecuacion 1/S1 1/S2 = 1/f. En la etapa 988, el accionador ajustador variable 237 aplica al menos una senal de accionamiento para hacer que el ajustador de foco variable 135 cambie la polarizacion de al menos una lente birrefringente para cambiar la longitud focal, f, de la lente birrefringente para generar el valor seleccionado S1. Dado que cada lente birrefringente tiene dos longitudes focales discretas correspondientes a dos ejes de polarizacion, una combinacion de los letales lentes proporciona una seleccion de cuatro longitudes focales discretas. De este modo, bajo el control del software, la unidad de procesamiento 4 o el procesador 210 de los circuitos de control 136 seleccionan la longitud focal disponible mas proxima para aproximar el valor de f. Para cada lente birrefringente anadida, el numero de longitudes focales discretas se duplica.

La Fig. 17C es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion cambiando un radio de curvatura de al menos una lente de fluido del conjunto. Esta realizacion puede ser utilizada para implementar la etapa 960 de la Fig. 13 y es adecuada para utilizar con la realizacion de un conjunto de micropresentacion que emplea al menos una lente lfquida en su sistema de lentes 122 tal como el mostrado en las Figuras 3B1 y 3B2. En la etapa 990, la unidad de procesamiento 4 selecciona un valor de desplazamiento S1 en base a una ubicacion objetivo de un objeto virtual y la ecuacion 1/S1 1/S2 = 1/f. En la etapa 992, el accionador ajustador variable 237 aplica al menos una senal de accionamiento para hacer que el ajustador de foco variable 135 produzca un cambio de volumen en el fluido de la lente de fluido produciendo un cambio en su radio de curvatura para cambiar su longitud focal, f, para generar un valor seleccionado S1.

Como se ha mencionado anteriormente la reivindicacion de la Fig. 13, para los objetor virtuales en el campo de vision del usuario pero no en la region focal del usuario, pueden ser aplicadas tecnicas de borrosidad artificial. En otras realizaciones, puede ser generada una serie de imagenes en diferentes regiones focales. Moviendose a traves de un rango de focos o de regiones focales y presentando una imagen en cada region focal, se puede hacer que el usuario vea una imagen compuesta por capas de diferentes imagenes de region focal. Cuando el usuario reajusta su foco, el usuario se establecera en una de estas regiones, y los objetos virtuales en el resto a las regiones se volveran borrosos de forma natural. El barrido a traves de un rango de regiones focales se puede hacer a una velocidad o frecuencia predeterminadas. Esto se hace lo suficientemente rapido, para que la fusion de imagen temporal humana haga que parezcan estar presentes a la vez. La necesidad de profundidad artificial de las tecnicas de campo tal como la borrosidad artificial sera reducida, aunque la carga de realizacion puede aumentar significativamente.

El movimiento a traves de un rango de regiones focal se puede implementar en una realizacion cambiando el desplazamiento entre los elementos de procesamiento de luz del conjunto de micropresentacion o la potencia optica de un elemento de procesamiento de luz en el conjunto a un regimen velocidad. El regimen de velocidad puede ser al menos tanto como un regimen de fotogramas de 30 fotogramas por segundo (fps), pero puede ser en algunas realizaciones a un regimen de velocidad tal como 60, 120 o 180 Hz. Una lente que es desplazada a lo largo de un eje optico a un regimen de velocidad elevado proporcionando imagenes en diferentes regiones focales esta a veces referida como una lente vibrante o una lente oscilante. En algunos casos, la region de imagen, por ejemplo la superficie reflectante 124, 124a, se mueve en lugar de un sistema de lentes 122 o la fuente de imagenes 120, pero lo principal es lo mismo.

La Fig. 18A es un diagrama de flujo que describe una realizacion de un proceso para generar imagenes de objetos virtuales en diferentes regiones focales de una presentacion de realidad aumentada que puede ser utilizada para implementar la etapa 610 en la Fig. 9. En la etapa 1002 de la Fig.18A, el dispositivo de ordenador concentrador 12 o la unidad de procesamiento 4, o ambos, bajo el control del software determinan el campo de vision del usuario como en la etapa 950 de la Fig. 13, y determinan en la etapa 1004 si hay ubicaciones objetivo de objetos virtuales en el campo de vision actual del usuario como en la etapa 952. Similar a la etapa 966, si no hay objetos virtuales en el campo de vision actual del usuario, el procesamiento en la etapa 1006 vuelve para determinar y actualizar el campo de vision del usuario de la etapa 1002.

Como en la etapa 958, la unidad de procesamiento 4 escalara y orientara los objetos virtuales para una imagen que va ser insertada en la vision del usuario en la etapa 1012. El escalado y la orientacion de la imagen virtual estaran basados en la ubicacion del objetivo en el campo de vision y la en forma conocida del objeto virtual en base al modelo.

En la etapa 1016, el periodo de regimen de barrido se establece mediante el generador de sincronizacion 226 o el generador de reloj 244 de los circuitos de control. En la etapa 1018, se inicia un contador para ir a traves de un numero de regiones focales en el rango durante el periodo de barrido. En algunos casos, las regiones focales son predeterminadas. En cada etapa de tiempo del periodo de barrido, la region focal de los elementos del conjunto de micropresentacion es ajustada, y una imagen es presentada para cada region focal en su tiempo de barrido o etapa de tiempo al usuario en la etapa 1022. La siguiente region focal es seleccionada en la etapa 1024 incrementando el contador, y el procesamiento de las etapas 1020 a 1024 es repetido hasta que el contador indica que se ha completado el barrido de rango. El periodo de barrido finaliza en la etapa 1028. En otros ejemplos, un extremo del fotograma para la presentacion puede interrumpir un barrido a traves del rango de barrido, y otro barrido puede empezar con el siguiente fotograma.

En una realizacion, la carga de realizacion puede ser reducida realizando un subconjunto de regiones focales y utilizando rastreo de la region focal del usuario para optimizar aquellas regiones focales que son seleccionadas para la realizacion. En otros ejemplos, los datos de rastreo de ojos no proporcionan suficiente precision para determinar la profundidad de la ubicacion del foco que el usuario esta viendo. La logica de deduccion puede deducir un objeto en el que el usuario esta enfocado. Una vez que un objeto seleccionado como el objeto del foco, se pueden utilizar los tres modelos tridimensionales o el mapeo de la escena actual se puede utilizar para determinar la distancia al objeto del foco.

La Fig. 18B ilustra otra realizacion de un proceso para presentar un objeto virtual que va a estar en foco cuando sea visto por un usuario que ve una presentacion de realidad aumentada que puede ser utilizada para implementar la etapa 610 en la Fig. 9. La Fig. 18B es un diagrama de flujo que describe una realizacion de un proceso para generar imagenes de objeto virtual en diferentes regiones focales en una presentacion de realidad aumentada. En la etapa 1002 de la Fig.18B, el dispositivo de ordenador concentrador 12 o la unidad de procesamiento 4, o ambos, bajo el control del software determinan el campo de vision del usuario igual que en la etapa 950 de la Fig. 13 y determinan en 1004 si hay alguna ubicacion objetivo de objetos virtuales en el campo de vision actual del usuario como en la etapa 952. Similar a la etapa 966, si no hay objetos virtuales en el campo de vision actual del usuario, el procesamiento en la etapa 1006 vuelve a determinar y actualizar el campo de vision del usuario en la etapa 1002.

Si hay al menos un objeto virtual que tiene una ubicacion objetivo en el campo de vision del usuario, entonces en la etapa 1008 como en la etapa 954, el sistema tal como un software que se ejecuta en la unidad de procesamiento 4, determina la region focal actual del usuario dentro del campo de vision del usuario, y como en la etapa 956, el software que se ejecuta en el sistema de ordenador concentrador 12, la unidad de procesamiento 4 ambos identifica en la etapa 1010 cual de los objetos virtuales en el campo de vision del usuario estan en la region focal del usuario actual en base a la ubicacion objetivo del objeto virtual en el modelo. Como en la etapa 958, la unidad de procesamiento 4 escalara y orientara los objetos virtuales para una imagen que va ser insertada en la vision del usuario en la etapa 1012. El escalado y la orientacion de la imagen virtual estaran basados en la ubicacion del objetivo en el campo de vision y de la forma conocida del objeto virtual basada en el modelo.

En la etapa 1014, la unidad de procesamiento 4 selecciona un rango de regiones focales que incluye la region focal actual del usuario. La unidad de procesamiento 4 puede seleccionar el rango de regiones focales en base a criterios tales como el contexto de la aplicacion que se ejecuta, por ejemplo 452. Una aplicacion puede utilizar una seleccion de objetos virtuales con trayectorias de movimiento y eventos predeterminados que desencadenan su aparicion. Dado que el modelo de los objetos es actualizado con el movimiento de los objetos, la unidad de procesamiento 4 recibe estas actualizaciones como por la exposicion de la Fig. 10. Entre las actualizaciones, la unidad de procesamiento 4 puede utilizar los datos del sensor sobre la posicion y orientacion de la cabeza del usuario para determinar que objetos virtuales es mas probable que enfoque en ese momento. La unidad de procesamiento 4 puede seleccionar un numero de regiones focales en las que la trayectoria del objeto virtual se desplazara en base al modelo tridimensional de la escena. Por lo tanto, un criterio a modo de ejemplo es incluir cada region focal en la que un objeto virtual esta localizado. Ademas, las regiones focales tambien pueden ser seleccionadas en las que la regiones la trayectoria del objeto virtual el movimiento estara en un fotograma de tiempo predeterminado. El fotograma de tiempo predeterminado puede ser hasta la siguiente actualizacion de los datos de modelo indicando las ubicaciones exactas de los objetos virtuales en un ejemplo.

El punto de region focal de inicio para el barrido a traves del rango de regiones focales puede ser el mas cercano al infinito en el campo de vision del usuario desde los ojos del usuario. Otras ubicaciones de inicio pueden ser utilizadas, sin embargo, empezar en el infinito puede simplificar la aplicacion del filtro de opacidad 114. En la etapa 1016, el periodo de velocidad de barrido es iniciado por el generador de sincronizacion 226 o por el generador de reloj 244 de los circuitos de control. En la etapa 1018 se inicia un contador para ir a traves de un numero de regiones focales en el rango durante el periodo de barrido. En algunos casos, las regiones focales son predeterminadas. En cada etapa de tiempo del periodo de barrido, la region focal de los elementos del conjunto de micropresentacion son ajustados, y la imagen es presentada para cada region focal en su tiempo de barrido o etapa de tiempo al usuario en la etapa 1022. La siguiente region focal en seleccionada en la etapa 1024 incrementando el contador, y el procesamiento de las etapas 1020 a 1024 es repetido hasta que el contador indica que esta completo del barrido del rango. El periodo de barrido termina en la etapa 1028. En otros ejemplos, un extremo del fotograma para una presentacion puede interrumpir un barrido a traves del rango de barrido, y empezar otro barrido con el siguiente fotograma.

Las Figuras 19A y 19B ilustran esquematicamente ejemplos de las diferentes formas de presentar objetos virtuales de multiples focos en una presentacion de realidad aumentada. En la Fig. 19A, un ejemplo de 4 imagenes 1050a a 1050d son generadas en diferentes regiones focales generadas en diferentes desplazamientos en la trayectoria optica 133 del conjunto de micropresentacion, y todas las imagenes son enviadas para la presentacion en el elemento optico de guiado de luz 112. En la Fig. 19B, la unidad de procesamiento 4 hace que una seccion o parte de cada imagen que esta en foco en esa region focal o de imagen sea incluida en una imagen compuesta 1055 para la ser presentada en la presentacion 112. La seccion y parte de cada imagen que esta en el foco en un ejemplo puede ser la parte en donde el objeto virtual esta situado en la imagen en el momento en el que fue generada.

Claims

REIVINDICACIONES

1. Un metodo para presentar objetos virtuales con foco variable mediante un sistema de realidad aumentada (10), comprendiendo el metodo:

determinar mediante uno o mas procesadores (210, 320, 322) un campo de vision del usuario tridimensional de un dispositivo de presentacion proximo a los ojos (2) de un sistema de realidad aumentada;

identificar mediante uno o mas procesadores una ubicacion objetivo tridimensional de uno o mas objetos virtuales dentro del campo de vision del usuario;

determinar mediante uno o mas procesadores una region focal actual tridimensional del usuario que lleva el dispositivo de presentacion proximo a los ojos dentro del campo de vision del usuario;

identificar cual de los uno o mas objetos virtuales esta en la region focal actual del usuario en base a las ubicaciones objetivo o tridimensionales del uno o mas objetos virtuales dentro del campo de vision del usuario; y

presentar mediante el dispositivo de presentacion proximo a los ojos el uno o mas objetos virtuales identificados como que estan en la region focal actual del usuario ajustando una region focal de un conjunto de micropresentacion (173) que incluye elementos de procesamiento de luz alineados en una trayectoria optica (133) dirigida sobre una presentacion (112) del dispositivo de presentacion proximo a los ojos moviendo los elementos de procesamiento de luz en la trayectoria optica bajo el control de uno o mas procesadores; en donde:

los elementos de procesamiento de luz del conjunto del micropresentacion comprenden al menos un elemento optico (122) y una unidad de micropresentacion (120) alineada en la trayectoria optica con un elemento reflectante (124); y

mover los elementos de procesamiento de luz en la trayectoria optica del conjunto de micropresentacion bajo el control de los uno o mas procesadores comprende ademas:

determinar mediante uno o mas procesadores un valor de desplazamiento, S1, entre un punto nodal delantero del al menos un elemento optico y la ubicacion objetivo de al menos un objeto virtual, estando el al menos un elemento optico situado en una trayectoria optica entre la unidad de micropresentacion y el elemento reflectante,

determinar mediante uno o mas procesadores un valor de desplazamiento, S2, entre el elemento reflectante y un punto nodal trasero del al menos un elemento optico para una longitud focal de al menos un elemento optico, f, en base a la ecuacion 1/S1 1/S2 = 1/f; y

mover el al menos un elemento optico bajo el control de uno o mas procesadores para generar los valores del desplazamiento determinados S1 y S2.

2. El metodo de la reivindicacion 1, que comprende ademas:

aplicar al menos una profundidad artificial de la tecnica de campo a un objeto virtual que esta dentro del campo de vision del usuario pero fuera de la region focal actual del usuario como una funcion de la distancia desde la region focal actual.

3. Un medio lefble con ordenador que comprende instrucciones ejecutables por un ordenador almacenadas en el mismo que, cuando se ejecutan mediante una unidad de procesamiento, hacen que la unidad de procesamiento realice el metodo de una cualquiera de las reivindicaciones precedentes.

4. Un sistema de realidad aumentada que proporciona foco variable de objetos virtuales que comprende: una unidad de presentacion transparente (2) que comprende:

un conjunto del micropresentacion (173) para generar imagenes para una presentacion de una unidad de presentacion transparente, incluyendo el conjunto de micropresentacion un ajustador de foco virtual variable (135) y elementos de procesamiento de luz que incluyen al menos un elemento optico (122) y una unidad de micropresentacion (120), estando el al menos un elemento optico y la unidad de micropresentacion alineados en una trayectoria optica (133) con un elemento reflectante (124) de una unidad de presentacion transparente, cambiando el ajustador de foco virtual variable la region focal del conjunto de la micropresentacion para colocar uno o mas objetos virtuales en una ubicacion objetivo en una region focal actual del usuario que lleva la unidad de presentacion transparente (2) moviendo el uno o mas elementos de procesamiento de luz en la trayectoria optica bajo el control del uno o mas procesadores (210, 320, 322), en donde

el uno o mas procesadores que controlan el ajustador de foco virtual variable mueven los elementos de procesamiento de luz en la trayectoria optica del conjunto de micropresentacion comprenden ademas:

determinar mediante el uno o mas procesadores un valor de desplazamiento, S1, entre un punto nodal delantero del al menos un elemento optico y la ubicacion objetivo del al menos un objeto virtual, estando el al menos un elemento optico situado en una trayectoria optica entre la unidad de micropresentacion y el elemento reflectante, determinar mediante el uno o mas procesadores un valor de desplazamiento, S2, entre el elemento reflectante y el punto nodal trasero del al menos un elemento optico para una longitud focal del al menos un elemento optico, f, basado en la ecuacion 1/S1 1/S2 = 1/f; y

mover el al menos un elemento optico bajo el control del uno o mas procesadores para generar los valores del desplazamiento determinados S1 y S2;

incluyendo los circuitos de control (136) un dicho procesador (210) del uno o mas procesadores conectados en comunicacion con el conjunto del micropresentacion, incluyendo los circuitos de control un accionador (237) para controlar el ajustador de foco virtual variable (135), el procesador bajo el control del software que dirige la unidad de micropresentacion para incluir al menos un objeto virtual en una region focal de usuario actual, y

una presentacion (112) conectada opticamente al conjunto del micropresentacion para proyectar imagenes virtuales tridimensionales dirigidas a al menos una ubicacion del ojo.

5. El sistema de realidad aumentada de la reivindicacion 4, que comprende ademas:

una armadura (137) para soportar los elementos de procesamiento de luz del conjunto de micropresentacion (173) y estando la armadura bajo el control del ajustador de foco virtual variable (135).

6. El sistema de realidad aumentada de la reivindicacion 4 o 5, en el que:

los circuitos de control (136) comprenden ademas un generador de sincronizacion (226) para proporcionar senales de sincronizacion al accionador (237) que controla el ajustador de foco virtual variable (135) para operar a un regimen programado;

moviendo el ajustador de foco virtual variable los elementos de procesamiento de luz al regimen programado a traves de un rango de desplazamientos en la trayectoria optica (133) del conjunto de micropresentacion (173), correspondiendo el rango de desplazamientos a un rango de regiones focales;

incluyendo el rango de regiones focales la region focal actual del usuario; y

dirigiendo el uno o mas procesadores (210, 320, 322) la unidad de micropresentacion (120) para generar una imagen que incluye cualquier objeto virtual identificado que esta situado en una respectiva region focal del rango cuando se alcanza el desplazamiento respectivo en el rango.

7. El sistema de realidad aumentada para reivindicacion 6, en el que

la unidad de micropresentacion (120) genera una imagen compuesta que incluye partes en foco de las diferentes imagenes generadas por el rango de desplazamientos, y

la presentacion (112) proyecta la imagen compuesta en al menos una ubicacion del ojo.

8. El sistema de realidad aumentada de la reivindicacion 4, en el que el conjunto de micropresentacion (173) comprende ademas un sistema de lentes giratorio, que comprende una pluralidad de lentes (122a-d) teniendo cada una, una longitud focal diferente y estando soportadas dentro de un soporte de disco (160) giratorio mediante el ajustador de foco virtual variable (135), estando el ajustador de foco virtual variable (135) configurado para girar el soporte de disco (160), de manera que una lente seleccionada (122a-d) es alineada en la trayectoria optica (133) del conjunto de micropresentacion.

9. El sistema de realidad aumentada de la reivindicacion 4, en el que el conjunto del micropresentacion (173) comprende ademas un sistema de lentes insertable, en el que cada uno de un numero de elementos opticos (122) esta unido a un respectivo brazo (123) unido a la armadura (137), estando cada brazo (123) configurado para mover su uno o mas elementos opticos (122) en posicion en un desplazamiento de la trayectoria optica (133) del conjunto de micropresentacion bajo el control del ajustador de foco virtual variable (135).