ES2587436T3 - Cámara de profundidad de baja potencia integrada y dispositivo de proyección - Google Patents

Abstract

Dispositivo proyector de vídeo (100, 300), que comprende: una fuente de luz (318) que emite luz visible; un controlador (316) que acciona la fuente de luz (318); al menos un componente óptico (322) que proyecta la luz visible en un campo de visión; un sensor (350) que detecta la luz visible, incluyendo la luz visible que es reflejada desde al menos un objeto en el campo de visión, comprendiendo el sensor (350) una pluralidad de píxeles; y al menos un circuito de control (310, 340) que proporciona una subtrama sincronizada, en la que la fuente de luz (318) es accionada en un modo pulsado mientras que el sensor (350) es operado en un modo sincronizado, después de lo cual la fuente de luz (318) es accionada en un modo continuo mientras que es leído el sensor (350) para obtener valores de intensidad de luz, en el que el al menos un circuito de control (310, 340) deriva datos de profundidad con respecto al por lo menos un objeto en el campo de visión en base a los valores de intensidad de luz utilizando un principio de tiempo de vuelo, y la fuente de luz (318) y el componente óptico (322) son usados para la proyección de video y para la medición de tiempo de vuelo, en el que el al menos un circuito de control (310, 340) proporciona una subtrama no sincronizada, en la que la fuente de luz (318) es accionada en el modo pulsado mientras que el sensor (350) es operado en un modo no sincronizado, después de lo cual la fuente de luz (318) es accionada en el modo continuo mientras que es leído el sensor (350) para obtener valores de intensidad de luz, en el que el al menos un circuito de control (310, 340) ajusta los valores de intensidad de luz obtenidos durante la subtrama sincronizada en base a los valores de intensidad de luz obtenidos durante la subtrama no sincronizada, para compensar la reflectividad del al menos un objeto en el campo de visión.

Description

5

10

15

20

25

30

35

40

45

50

55

DESCRIPCION

Camara de profundidad de baja potencia integrada y dispositivo de proyeccion Antecedentes

Una camara de profundidad en tiempo real puede determinar la distancia a una persona u otro objeto en un campo de vision de la camara, y actualizar la distancia sustancialmente en tiempo real en base a un numero de imagenes por segundo de la camara. Tal camara de profundidad puede ser utilizada en sistemas de captura de movimiento, por ejemplo para obtener datos relativos a la localizacion y el movimiento de un cuerpo humano o de otro sujeto en un espacio ffsico, y puede utilizar los datos como una entrada a una aplicacion en un sistema informatico. Son posibles muchas aplicaciones, por ejemplo para propositos militares, de entretenimiento, deportivos y medicos. Una camara de profundidad incluye tfpicamente un iluminador de infrarrojos que ilumina el campo de vision, y uno o mas sensores de imagen infrarroja que detectan la luz reflejada desde el campo de vision para formar una imagen. Por otra parte, la camara de profundidad puede ser proporcionada como parte de una consola de juegos que se comunica con un dispositivo de visualizacion, tal como una television en el hogar de un usuario. Sin embargo, existen varios desaffos en la adaptacion de la tecnologfa de camara de profundidad para dispositivos portatiles u otros dispositivos de factor de forma pequeno, tales como dispositivos proyectores de video. Estos desaffos incluyen limitaciones de potencia y espacio.

El documento WO 2009/124601 A1 describe un sistema de formacion de imagenes que incluye un sistema de retroiluminacion que comprende un dispositivo de visualizacion electronico, tal como una pantalla LCD, y un conjunto de retroiluminacion dispuesto detras del dispositivo de visualizacion electronico y que comprende una matriz de LED para iluminar el dispositivo de visualizacion electronico. El sistema de formacion de imagenes comprende tambien un controlador de retroiluminacion para ajustar la cantidad de corriente proporcionada al conjunto de retroiluminacion y la correspondiente intensidad de luz de los LED; y un sensor de fotones o matriz de sensores, dispuesto en un lado del dispositivo de visualizacion electronico o posiblemente por detras. Mediciones TOF pueden ser realizadas usando un metodo pulsado, en las que es medido el tiempo directo de propagacion en ambos sentidos de un impulso de haz de luz. En este metodo, los LED del conjunto de retroiluminacion son modulados con impulsos muy cortos o un tren de impulsos muy cortos, por ejemplo de algunos cientos de picosegundos.

Sumario

Es proporcionado un dispositivo proyector de video que logra los objetivos de tamano compacto y consumo de energfa y coste reducidos. Una luz de fondo del dispositivo proyector de video es modulada para crear impulsos de luz que pueden ser detectados por una camara de luz visible y transformados en datos distancia/profundidad relativos a un campo de vision. Este tipo de modulacion no afecta significativamente a la calidad de la imagen de la luz proyectada y puede ser realizada en una variedad de dispositivos moviles o no moviles que son utilizados para varias aplicaciones que son ejecutadas en el dispositivo o en un anfitrion conectado al dispositivo.

En una realizacion, un dispositivo proyector de video incluye una fuente de luz, tal como la luz de fondo de un proyector, que emite luz visible. En una porcion de proyector del dispositivo proyector de video esta previsto un controlador que modula la luz visible emitida desde la fuente de luz. Tambien pueden estar previstos uno o mas paneles LCD transmisores de luz, que tienen pfxeles controlables individualmente para conferir la informacion de video de color a la luz visible de la fuente de luz. Esta previsto al menos un componente optico que proyecta la luz visible codificada en color en un campo de vision. Por ejemplo, pueden ser utilizadas una o mas lentes. En una porcion de sensor del dispositivo proyector de video estan previstos uno o mas sensores, tales como dispositivos de carga acoplada (CCD) que detectan la luz visible, incluyendo la luz visible que es reflejada desde al menos un objeto en el campo de vision, de modo que el sensor comprende una matriz de pfxeles. Ventajosamente, el sensor puede ser un CCD convencional del tipo que es utilizado en las camaras digitales. Esta previsto al menos un circuito de control que proyecta tramas de video. Una trama puede incluir una subtrama sincronizada, en la que la fuente de luz es accionada en un modo pulsado mientras que el sensor es operado en un modo sincronizado, despues de lo cual la fuente de luz es accionada en un modo continuo mientras que el sensor es lefdo para obtener valores de intensidad de luz. El al menos un circuito de control obtiene datos de profundidad relativos al por lo menos un objeto en el campo de vision en base a los valores de intensidad de luz, utilizando un principio de tiempo de vuelo. Los datos de profundidad pueden ser proporcionados en forma de un mapa de profundidad del campo de vision, por ejemplo.

Este sumario esta previsto para introducir de una forma simplificada una seleccion de conceptos que se describiran con mas detalle despues en la descripcion. Este sumario no pretende identificar las caractensticas clave o caractensticas esenciales de la materia reivindicada, ni esta destinado a ser utilizado para limitar el alcance de la materia reivindicada.

Breve descripcion de los dibujos

En los dibujos, elementos con numeros similares se corresponden entre sf.

La Fig. 1 representa una vista lateral de un ejemplo de entorno que involucra un dispositivo proyector de video.

2

5

10

15

20

25

30

35

40

45

La Fig. 2 representa una vista superior del ejemplo de entorno de la Fig. 1.

La Fig. 3 representa un ejemplo de diagrama de bloques del dispositivo proyector de video de la Fig. 1.

La Fig. 4A representa un proceso que utiliza un dispositivo proyector de video.

La Fig. 4B representa un ejemplo de un proceso que implica subtramas que pueden ser utilizadas en la etapa 400 de la Fig. 4A.

La Fig. 4C representa otro ejemplo de un proceso que implica subtramas que puede ser utilizadas en la etapa 400 de la Fig. 4A.

La Fig. 5A representa un ejemplo de un proceso para proporcionar una subtrama sincronizada como se establece en la etapa 410 de la Fig. 4B.

La Fig. 5B representa un ejemplo de un proceso para proporcionar una subtrama no sincronizada como se establece en la etapa 412 de la Fig. 4b.

La Fig. 5C representa un ejemplo de un proceso para proporcionar una subtrama de fondo como se establece en la etapa 414 de la Fig. 4B.

La Fig. 5D representa un ejemplo de un proceso para proporcionar una subtrama de color como se establece en la etapa 416 de la Fig. 4B.

La Fig. 6A representa un ejemplo de un proceso para proporcionar una subtrama sincronizada como se establece en la etapa 420 de la Fig. 4C.

La Fig. 6B representa un ejemplo de un proceso para proporcionar una subtrama no sincronizada como se establece en la etapa 422 de la Fig. 4C.

La Fig. 7A representa una salida de un proyector que corresponde al proceso de la Fig. 4B.

La Fig. 7B representa una entrada a un sensor basada en la salida de proyector de la Fig. 7A.

La Fig. 7C representa una trama de no deteccion de profundidad en la que se produce proyeccion continua.

La Fig. 7D representa un ejemplo de una secuencia de tramas que proporciona alternativamente tramas con intensidades de luz mas bajas y mas altas.

La Fig. 7E representa un ejemplo de una secuencia de tramas que proporciona alternativamente tramas con periodos de trama mas largos y mas cortos.

La Fig. 8A representa una salida de un proyector que corresponde al proceso de la Fig. 4C.

La Fig. 8B representa una entrada a un sensor basada en la salida de proyector de la Fig. 8A.

La Fig. 9A representa la luz pulsada que es emitida desde un proyector usando formas de onda cuadradas.

La Fig. 9B representa luz pulsada que es la entrada a un sensor en base a la salida de proyector de la Fig. 9A.

La Fig. 10A representa luz pulsada que es emitida desde un proyector usando formas de onda triangulares.

La Fig. 10B representa luz pulsada que es la entrada a un sensor en base a la salida de proyector de la Fig. 10A. Descripcion detallada

Es proporcionado un dispositivo proyector de video que es util en varias aplicaciones. Un ejemplo de aplicacion proyecta una imagen sobre una superficie, de modo que la imagen tiene un numero de porciones de imagen seleccionables como elemento de menu en una interfaz de usuario. Un usuario puede hacer por ejemplo un gesto utilizando la mano para seleccionar una de las porciones de imagen. Una entrada de control correspondiente puede ser proporcionada a la aplicacion para seleccionar nuevo contenido de video o imagen fija, modificar el contenido de video o imagen fija proyectado actualmente, jugar un juego, iniciar una comunicacion, por ejemplo una llamada telefonica, etc. En un enfoque, la imagen proyectada sobre la superficie se convierte en una pantalla tactil. En otro ejemplo de aplicacion es detectada y registrada la forma 3D de un objeto en el campo de vision. El dispositivo proyector de video utiliza ventajosamente un proyector de luz visible para proyectar luz continua en un patron deseado en el campo de vision, como por ejemplo sobre una superficie u objeto en el campo de vision, mientras que tambien proporciona luz pulsada para su uso en la obtencion de datos de profundidad utilizando un principio de tiempo de vuelo. Los datos de profundidad pueden ser obtenidos accionando periodicamente una fuente de luz para proporcionar impulsos de luz visible durante un penodo limitado, relativo a un penodo en el que es proporcionada una salida de luz continua, de manera que la calidad de la imagen no se reduce notablemente. Durante el penodo

3

5

10

15

20

25

30

35

40

45

50

55

60

de tiempo limitado, un sensor del dispositivo proyector de v^deo esta sincronizado para detectar impulsos de luz visible reflejada desde el campo de vision. El sensor tambien tiene la capacidad de obtener datos de color del campo de vision, por ejemplo para obtener una imagen fija, por ejemplo una fotograffa, o imagenes de video, por ejemplo un v^deo, como una camara digital tfpica.

Los elementos que se utilizan comunmente en un dispositivo proyector de video pueden ser usados de una manera nueva para conseguir una funcionalidad adicional, transformando el dispositivo en un dispositivo de deteccion de datos 3d. Por ejemplo, pueden ser obtenidos datos de profundidad 3D para un objeto que esta cerca de una superficie sobre la que es proyectada la imagen de video.

El proyector de video tambien puede operar en un modo de solo deteccion, en el que se proporcionan impulsos de luz visible pero no se proporciona salida de luz continua. En otra opcion, para incrementar el contraste de color, la duracion de la trama puede ser alargada y/o la intensidad de la luz puede ser incrementada cuando el proyector de video funciona en un modo de proyeccion y deteccion, con respecto a cuando el proyector de video funciona en un modo de solo proyeccion.

La Fig. 1 representa una vista lateral de un ejemplo de entorno que implica un dispositivo proyector de video. Como se menciono al principio, las camaras de profundidad se han vuelto cada vez mas comunes. La tecnologfa de deteccion de profundidad puede ser utilizada en otros productos, tales como dispositivos proyectores de video moviles u otros de factor de forma pequeno. Los dispositivos proyectores de video incluyen pequenos dispositivos de mano a los que a veces se hace referencia como picoproyectores, proyectores moviles y proyectores de bolsillo. Tales dispositivos pueden incluir hardware miniaturizado y software que puede proyectar imagenes digitales sobre cualquier superficie de visualizacion en las inmediaciones, como por ejemplo una pared plana o una mesa, o en general cualquier superficie/objeto con forma. Los dispositivos proyectores de video pueden incluir otros dispositivos que no necesariamente puedan ser sujetados por la mano o portatiles, incluyendo dispositivos que descansan sobre una superficie superior de una mesa y dispositivos que estan montados en una pared u otra superficie.

Una aplicacion es para la visualizacion de una imagen fija o de video y permitir que un usuario modifique la imagen mediante movimientos a traves de gestos con las manos. Por ejemplo, un gesto de mover las manos o los dedos de una mano, ademas, puede tener como resultado que la imagen proyectada se magnifique/se acerque, y un movimiento opuesto puede tener como resultado que la imagen proyectada se haga cada vez mas pequena/se aleje. El usuario puede actuar para elevar o de otra forma seleccionar un objeto de la imagen proyectada, de manera que la proyeccion del objeto cambie cuando el objeto esta seleccionado. Un gesto de ondulacion o de agitar la mano hacia los lados puede tener como resultado el desplazamiento de un menu o la deteccion o inicio de una visualizacion de video o imagen fija. Puede ser creada una experiencia de interfaz natural de usuario (NUI), en la que el usuario interactua con objetos proyectados como si fueran objetos ffsicos reales. Son posibles muchas otras aplicaciones. Mas informacion relativa al seguimiento de una porcion de una persona, una persona entera, u otro objeto se puede encontrar, por ejemplo, en el documento US 2010/0197399, publicado el 5 de agosto de 2010, titulado “Visual Target Tracking" (Seguimiento de objetivo visual), y el documento US 2010/0194872, publicado el 5 agosto de 2010, titulado "Body Scan" (Escaner corporal), cada uno de las cuales se incorpora como referencia en el presente documento.

En la Fig. 1 esta representado un dispositivo proyector de video 100 que descansa sobre la superficie superior de una mesa 102. Se usa una lente de proyector 100 para transmitir o proyectar luz visible en un campo de vision que en este ejemplo esta limitado por los rayos de luz 112 y 114. Una porcion de la luz proyectada es reflejada, como esta representado por una region limitada por los rayos de luz 122 y 124, y detectada por un sensor en el dispositivo proyector de video 100, a traves de una lente de camara 120. Un usuario 130 coloca el brazo o la mano 132 en el campo de vision proyectado, de manera que la presencia de la mano y cualquier movimiento de la mano pueden ser detectados por el sensor.

La Fig. 2 representa una vista desde arriba del ejemplo de entorno de la Fig. 1. Una region de imagen 150 es proyectada por el dispositivo proyector de video en la superficie superior de la mesa 102. La region de la imagen 150 incluye porciones de imagen 152, 154, 156 y 158, por ejemplo. El usuario puede seleccionar la porcion de imagen 152 colocando la mano 132 sobre la porcion de imagen 152. La seleccion de la porcion de imagen 152 puede ser activada de diferentes maneras. En un enfoque, la presencia de la mano sobre la porcion de imagen 152 durante un penodo mmimo de tiempo, por ejemplo 1-2 segundos, puede activar la seleccion de la porcion de imagen 152. En otro enfoque, se requiere que el usuario realice un gesto, por ejemplo la colocacion de la mano por encima de la porcion de imagen 152, seguido del descenso de la mano hacia la porcion de imagen 152, o la elevacion de la mano lejos de la porcion de imagen 152. Existen muchas otras posibilidades. Puede estar previsto un ejemplo similar en el que la imagen se proyecta sobre una superficie vertical o en otra superficie que no es necesariamente plana.

La Fig. 3 representa un ejemplo de diagrama de bloques del dispositivo proyector de video de la Fig. 1. Los componentes pueden estar previstos en una carcasa unica. El dispositivo proyector de video 300 incluye una fuente de luz 318, tal como una luz de fondo, que puede ser activada (encendida o conectada) para emitir luz visible continua o pulsada. La fuente de luz 318 tambien puede ser desactivada (apagada o desconectada) de manera que emita luz no visible, para reducir el consumo de energfa. La fuente de luz es modulada durante la deteccion de profundidad y se mantiene activada durante la proyeccion de video. Si esta apagada, esto significa que el sistema

5

10

15

20

25

30

35

40

45

50

55

60

solo puede capturar imagenesMdeo de color. En un posible enfoque, la fuente de luz 318 puede incluir uno o mas diodos emisores de luz (LED). Varios otros componentes opticos que no estan representados son tambien empleados tipicamente. En un enfoque, cuando se utiliza una fuente de luz blanca, tal como una lampara de haluro metalico, la fuente de luz comprende una luz blanca que mediante un prisma es separada en tres componentes de color (por ejemplo: rojo, verde y azul) y cada componente de color pasa a traves de un modulador separado. La luz modulada de cada color es posteriormente combinada y proyectada utilizando componentes opticos apropiados. En otro enfoque, la luz blanca es proporcionada a un modulador unico a traves de un componente, tal como una rueda de colores, para que por ejemplo los componentes rojo, verde y azul sean proporcionados al modulador de una manera multiplexada en el tiempo. En otro enfoque, por ejemplo cuando se utilizan LED, cada grupo de LED emite un color diferente, tal como rojo, verde y azul, cada componente de color pasa a traves de un modulador separado, y la luz modulada de cada color es posteriormente combinada y proyectada utilizando componentes opticos apropiados.

Otra opcion para la fuente de luz es el chip “Digital Light Processing” (DLP)® (procesamiento digital de la luz) (Texas Instruments, Inc.), que contiene una matriz rectangular de hasta 2 millones de espejos microscopicos montados de forma articulada que pueden reflejar una imagen digital sobre una pantalla u otra superficie. La modulacion del chip DLP es similar a la modulacion de un chip LCD. En una configuracion de un solo chip DLP, la luz blanca pasa a traves de un filtro de color, haciendo que el rojo, verde, azul e incluso colores primarios adicionales, tales como amarillo, cian, magenta y otros, brillen en secuencia sobre la superficie del chip DLP. La conmutacion de los espejos, y la proporcion de tiempo que estan "activados" o "desactivados" es coordinada de acuerdo al color que brilla sobre ellos. A continuacion, los colores secuenciales son mezclados para crear una imagen a todo color que es proyectada.

Un panel LCD 320 codifica la luz emitida desde la fuente de luz con la informacion de color de video, para proporcionar luz visible codificada en color que es proyectada a traves de al menos un componente optico, tal como una lente de proyeccion 322. Pueden estar previstos uno o mas paneles LCD transmisores de luz, por ejemplo, como mediante el uso de chips LCD transmisores de luz. El panel LCD puede incluir una o mas matrices de pfxeles transmisores de luz, donde cada pixel puede ser controlado individualmente, en respuesta a un circuito de control de proyector 310. Los pfxeles del panel LCD pueden ser controlados para conferir datos de imagen, tales como una imagen del color deseado que ha de ser proyectada.

La lente de proyeccion 322 y/o la lente del sensor 360 pueden ser controladas mediante el circuito de control de proyector 310, tal como para proporcionar una funcion de enfoque automatico, en base a la informacion de profundidad que es proporcionada al circuito de control de proyector 310 desde un circuito de control de sensor 340. Con una profundidad o intervalo de profundidades conocidas de uno o mas objetos en el campo visual puede ser ajustado un enfoque optimo.

El circuito de control de proyector 310 puede incluir uno o mas procesadores, representados por el procesador 312, uno o mas componentes de memoria, representados por el componente de memoria 314 y uno o mas controladores, representados por el controlador 316. El procesador puede ser, por ejemplo, un microprocesador que ejecuta las instrucciones que estan almacenadas en la memoria 314 para proporcionar una funcionalidad tal como se describe en el presente documento. La memoria 314 puede almacenar instrucciones que son ejecutadas por el procesador 312, asf como almacenar datos de imagen para controlar el panel LCD 320 para proporcionar una imagen proyectada deseada. Por ejemplo, la memoria 314 puede incluir memoria de acceso aleatorio (RAM), memoria de solo lectura (ROM), memoria cache, memoria flash, un disco duro, o cualquier otro medio de almacenamiento legible por ordenador tangible adecuado. El componente de memoria 314 puede ser un componente separado en comunicacion con el procesador 312 y/o el circuito de control de proyector 310 por ejemplo a traves de un bus. O bien, el componente de memoria 314 puede estar integrado en el procesador 312 y/o el circuito de control de proyector 310. La memoria 314 es un medio de almacenamiento legible por ordenador tangible que tiene software legible por ordenador incorporado en el mismo para la programacion de al menos un procesador 312 para llevar a cabo un metodo para procesar datos de imagen en un dispositivo proyector de video como se describe en el presente documento.

El controlador 316 comunica con la fuente de luz para accionarla o modularla tal como se describe en el presente documento. Por ejemplo, la corriente y/o el voltaje a la fuente de luz pueden ser modulados por el controlador, de manera que la luz emitida sea modulada. El controlador puede ser un controlador personalizado que soporte tanto un modo de impulso rapido como un modo de iluminacion continua. El circuito de control de proyector puede controlar filas y columnas de pfxeles del panel LCD.

Una interfaz de usuario 330 puede incluir controles, tales como botones o una pantalla tactil, que permitan al usuario introducir comandos para controlar el dispositivo proyector de video. Ejemplos de comandos incluyen iniciar o detener una secuencia de tramas del proyector de video, iniciar o detener una proyeccion de una imagen fija, por ejemplo una unica trama, e iniciar o detener un modo de deteccion de profundidad. En un enfoque, el usuario tiene la opcion de la captura de una sola trama de datos de profundidad, similar a una instantanea, en un modo de solo deteccion. El usuario puede ajustar, por ejemplo, un modo de proyeccion y de deteccion de profundidad, un modo de proyeccion y no deteccion de profundidad, o un modo de deteccion de profundidad pero no proyeccion. El usuario tambien puede realizar ajustes que afecten a una respuesta o sensibilidad en el seguimiento de un objeto en el

5

10

15

20

25

30

35

40

45

50

55

campo de vision. Diferentes usuarios pueden preferir diferentes niveles de sensibilidad de seguimiento en diferentes situaciones cuando interactuan con una imagen proyectada. El usuario tambien puede realizar ajustes tales como el brillo del proyector.

Una porcion de sensor del dispositivo proyector de video 300 incluye una lente de sensor 360 a traves de la cual pasa la luz visible desde el campo de vision y alcanza uno o mas sensores, representados por un sensor 350. La luz visible puede incluir reflexiones de la luz proyectada, asf como luz ambiente de fondo, tal como de fuentes de luz artificial que no sean del dispositivo proyector de video, por ejemplo lamparas electricas, y fuentes de luz natural, por ejemplo la luz del sol en una habitacion. El sensor puede incluir uno o mas CCD, por ejemplo que tengan pfxeles sensibles a la luz. Cada pixel genera carga, y la cantidad de carga acumulada o integrada puede ser lefda como una indicacion de la intensidad de luz que ha alcanzado el pixel. El sensor puede funcionar en un modo sincronizado o no sincronizado, bajo el control de un circuito de control de sensor 340.

En una implementacion de un funcionamiento sincronizado, los pfxeles son activados y desactivados alternativamente en una secuencia controlada. A un tiempo en el que los pfxeles estan activados se hace referencia como un penodo sincronizado. Cuando un pixel esta activado puede detectar luz y acumular carga. Cuando un pixel esta desactivado no puede detectar luz ni acumular carga, incluso si la luz incide sobre el pixel. En otra implementacion del funcionamiento sincronizado puede estar previsto un modulador separado (no mostrado) que este entre el sensor 350 y la lente 360, y que tenga la capacidad de bloquear o dejar pasar la luz, como un obturador. El modulador o sensor pueden actuar como un obturador que puede ser abierto o cerrado segun se desee.

En una implementacion de operacion no sincronizada, los pfxeles de los sensores son activados de modo que acumulan carga en un penodo de tiempo no interrumpido, despues de lo cual la cantidad de carga acumulada es lefda por el circuito de control de sensor 340.

El circuito de control de sensor 340 puede incluir uno o mas procesadores, representados por el procesador 342, y uno o mas componentes de memoria, representados por el componente de memoria 348. El procesador puede ser por ejemplo un microprocesador que ejecuta las instrucciones que estan almacenadas en la memoria 348 para proporcionar una funcionalidad tal como se describe en el presente documento. La memoria 348 puede almacenar instrucciones que son ejecutadas por el procesador 312, asf como almacenar lecturas y datos de imagen del sensor. La memoria 348 puede ser configurada de manera similar a la memoria 314 como se discutio anteriormente. La memoria 348 es un medio de almacenamiento legible por ordenador tangible que tiene un software legible por ordenador incorporado en el mismo para la programacion de al menos un procesador 342 para realizar un metodo para procesar datos de imagen en un dispositivo proyector de video como se describe en el presente documento.

El procesador 342 puede incluir una porcion de procesamiento de datos de profundidad 344 que recibe las lecturas del sensor y las traduce en datos de profundidad para cada pixel del sensor. Por ejemplo, una lectura de un pixel puede indicar una cantidad de carga acumulada y esta puede ser correlacionada con una intensidad de luz en base a las caractensticas del sensor. Por otra parte, la temporizacion de la luz detectada de un pixel puede ser correlacionada con impulsos de luz desde el proyector, cuando el proyector funciona en un modo pulsado y el sensor funciona en un modo sincronizado. Esto permite que un valor de profundidad sea asociado con el pixel en base a principios de tiempo de vuelo. Para obtener los valores de profundidad se necesitan dos mediciones: sincronizada y no sincronizada. Un conjunto de valores de profundidad de algunos o todos los pfxeles del sensor proporciona un mapa de profundidad para una trama de datos de imagenes detectadas. El mapa de profundidad puede ser almacenado en la memoria 348, por ejemplo. El circuito de control de sensor 340 puede comunicar con el circuito de control de proyector para obtener datos de temporizacion que utiliza la porcion de procesamiento de datos de profundidad 344 para calcular los valores de profundidad. Opcionalmente, un circuito de control central gestiona el circuito de control de proyector 310 y el circuito de control de sensor 340, incluyendo proporcionar datos de temporizacion para el establecimiento de un modo pulsado o continuo en el circuito de control de proyector 310, y para ajustar un modo sincronizado o no sincronizado en el circuito de control de sensor 340.

El procesador 342 puede incluir una porcion de procesamiento de datos de color 346 que recibe los datos de pfxeles de color desde el sensor, de manera similar a la forma en que opera un sensor de una camara fija o video. De esta manera, las imagenes de color del campo de vision del sensor pueden ser obtenidas y almacenadas en la memoria 348, por ejemplo.

El procesador 342 puede tambien incluir una biblioteca de gestos 347, tal como una coleccion de filtros de gesto, cada uno con una informacion relativa a un gesto que puede ser realizado por un usuario, incluyendo gestos con las manos. Mediante la comparacion de un movimiento detectado con cada filtro puede ser identificado un gesto especificado o movimiento que es realizado por el usuario.

La Fig. 4A representa un proceso que utiliza un dispositivo proyector de video. La etapa 400 incluye proporcionar una trama de datos de imagen mediante la proyeccion de luz visible en un campo de vision mientras que es lefdo el sensor para obtener datos de profundidad. La etapa 402 incluye proporcionar una entrada de control a una aplicacion en base a los datos de profundidad. La etapa de decision 404 determina si va a ser proyectada una trama siguiente. Si una trama siguiente va a ser proyectada, el proceso se repite comenzando en la etapa 400. Si no va a

5

10

15

20

25

30

35

40

45

50

55

ser proyectada una trama siguiente, el proceso termina en la etapa 406. Ejemplos de implementaciones de la etapa 400 son tratados a continuacion.

La Fig. 4B representa un ejemplo de un proceso que implica subtramas que pueden ser utilizadas en la etapa 400 de la Fig. 4A. En general, la luz emitida por la fuente de luz puede ser modulada de acuerdo con una secuencia sincronizada del sensor. Por ejemplo, una posible implementacion del sensor es el sensor CCD SONY® modelo ICX424AQ. El ICX424AL es un sensor de imagen de estado solido CCD de 6 mm de diagonal (tipo 1/3) con transferencia interlmea, con una matriz de pfxeles cuadrada. El barrido progresivo permite que todas las senales de pixel salgan de forma independiente dentro de aproximadamente 1/60 de segundo. El chip tiene un obturador electronico con tiempo de almacenamiento de carga variable que hace que sea posible realizar imagenes fijas de trama completa sin un obturador mecanico. Soporta varios modos/resoluciones de pfxeles que incluyen: Adaptador Grafico de Video (VGA) (640 * 480 @ 60 Hz), quarter-VGA (QVGA) (320 * 240 @ 120 Hz) y quarter-QVGA (QQVGA) (160 * l20 @ 240 Hz). Con referencia tambien a Figs. 7A y 7B, se supone que se utiliza el modo QQVGA, que incluye un penodo de proyeccion de 33 ms o el penodo de trama completo que es dividido en cuatro secciones o subtramas. En cada subtrama, el sensor es expuesto a la luz y son lefdos valores de intensidad de luz en subtramas seleccionadas.

Una trama completa puede ser definida por una trama de datos de pfxeles que van a ser proyectados. En las diferentes subtramas en las que son proyectados los datos de pfxeles, en un modo pulsado o continuo, pueden ser utilizados los mismos datos de pfxeles de la trama. Aunque, si la imagen proyectada tiene secciones en negro en ella, no vamos a ser capaces de medir la profundidad si la luz pulsada muestra la misma imagen. Esto se puede solucionar de varias maneras que incluyen cambiar el nivel de negro (por lo que se proyectara algo). Subtramas son imagenes que cuando se combinan proporcionan la salida completa de una trama. Por ejemplo, las imagenes sincronizadas y no sincronizadas son subtramas. En nuestra notacion, una trama contiene todas las subtramas en un ciclo de deteccion. Los datos de pfxeles proyectados son independientes de la modulacion de fuente de luz (aunque sincronizados con ella). El controlador de la fuente de luz generalmente no tiene acceso a los datos de pfxeles proyectados.

La etapa 410 proporciona una subtrama sincronizada usando luz pulsada seguida de luz continua. En esta subtrama, los impulsos son enviados por el proyector y una imagen sincronizada es detectada por el sensor, se permite por ejemplo que el sensor detecte la luz solo durante intervalos limitados que corresponden a cada impulso transmitido. El proyector proporciona un modo de iluminacion continua despues de que se ha utilizado la iluminacion pulsada. La subtrama sincronizada puede producir valores de intensidad de luz que se correlacionan con los datos de profundidad de uno o mas objetos en el campo de vision.

La etapa 412 proporciona una subtrama no sincronizada usando luz pulsada seguida de luz continua. En esta subtrama, los impulsos son enviados de nuevo por el proyector, pero una imagen no sincronizada es detectada por el sensor. Usualmente, en el modo no sincronizado el sensor se comporta de manera similar a en el modo sincronizado, siendo la diferencia principal el tiempo que el obturador se abre y se cierra. En cualquier caso, para aumentar la robustez a la luz ambiente, el sensor esta abierto en intervalos de tiempo que corresponden a cada impulso transmitido. La subtrama no sincronizada puede producir datos de reflectividad de uno o mas objetos en el campo de vision.

La etapa 414 proporciona una subtrama de fondo utilizando nada de luz seguida de luz continua. En esta subtrama, inicialmente no es enviada luz por el proyector, de manera que la luz de fondo es detectada por el sensor. Posteriormente, es proporcionada luz continua por el proyector. La subtrama de fondo puede producir datos con respecto a la luz de fondo en el campo de vision. La luz de fondo no se origina desde el dispositivo proyector de video y puede proceder de fuentes artificiales o naturales.

La etapa 416 proporciona una subtrama de color opcional usando luz continua. En esta subtrama, el sensor actua como una camara mediante la deteccion y almacenamiento de datos de color del campo de vision. Los datos de color podnan ser una imagen RGB estandar, por ejemplo. En la subtrama de color, la luz puede ser accionada en un modo continuo mientras que el sensor esta activo.

Hay que tener en cuenta que el orden de las subtramas puede variar. En un enfoque, se proporciona la subtrama sincronizada, seguida de la subtrama no sincronizada, seguida por la subtrama de fondo, seguida por la subtrama de color. Sin embargo, no se requiere este orden. Por otra parte, las diferentes subtramas pueden ser proporcionadas con diferentes frecuencias de ocurrencia. Por ejemplo, la subtrama sincronizada puede ser proporcionada cada n1 > 1 tramas, la subtrama no sincronizada puede ser proporcionada cada n2 > 1 tramas, la subtrama de fondo se puede proporcionar cada n3 > 1 tramas, y la subtrama de color se puede proporcionar cada n4 > 1 tramas, si son utilizadas; n1, n2, n3 y n4 son numeros enteros positivos. Por ejemplo, se supone que es suficiente proporcionar datos de profundidad para cada dos tramas, por lo que n1 = n2 = n3 = 2 y n4 = 1. Cuando una o mas subtramas no estan previstas en una trama, las porciones restantes de la trama pueden ser extendidas para llenar el periodo de trama. Por ejemplo, para una trama que incluya solo la subtrama de color, la subtrama de color es extendida a los 33 ms completos. O bien, la duracion de la trama puede ser acortada. En un enfoque, el resto del tiempo de la trama puede ser utilizado para la proyeccion continua con el fin de aumentar el contraste del

5

10

15

20

25

30

35

40

45

50

55

60

video proyectado. Para detectar la profundidad no es deseable extender el tiempo de exposicion. Para el color, por otro lado, podna ser deseable en escenas con poca luz.

En otro ejemplo, si no necesitamos datos de color, puede estar prevista una segunda deteccion de fondo en la que una trama incluye una subtrama de fondo, una subtrama sincronizada, una subtrama no sincronizada y una subtrama de fondo, en ese orden.

La Fig. 4C representa otro ejemplo de un proceso que implica subtramas que pueden ser utilizadas en la etapa 400 de la Fig. 4A. En este caso se lleva a cabo solo deteccion de profundidad sin proyeccion continua en el campo de vision. La etapa 420 incluye proporcionar una subtrama sincronizada utilizando luz pulsada, que no es seguida por luz continua. La etapa 422 incluye proporcionar una subtrama no sincronizada usando luz pulsada, que de nuevo no es seguida por luz continua. La luz visible pulsada generalmente no sera perceptible por el ojo humano, puesto que el penodo de iluminacion es muy corto. Tambien puede sertomada una imagen de fondo (una imagen sin impulsos) (etapa 424). En este caso, la imagen de fondo y la imagen de color pueden ser la misma imagen ya que no hay diferencia en las condiciones de iluminacion. Puede tambien ser proporcionada una subtrama de color (etapa 426), que es la misma que la subtrama de fondo. Una ventaja de detectar profundidad sin proyeccion continua es que el consumo de energfa se reduce. Se hace referencia a las Figs. 8A y 8B para mas detalles.

La Fig. 5A representa un ejemplo de un proceso para proporcionar una subtrama sincronizada como se establece en la etapa 410 de la Fig. 4B. La etapa 500 comienza con una subtrama sincronizada que utiliza luz pulsada seguida de luz continua desde el proyector. Las etapas 502 y 503 pueden producirse simultaneamente, al menos en parte. En un enfoque, la fuente de luz emite continuamente luz visible. En la etapa 502, la fuente de luz del proyector es accionada en un modo pulsado, de manera que es emitida luz visible pulsada en el campo de vision. Las Figs. 9A y 10A proporcionan ejemplos de formas de onda para la luz pulsada. Vease tambien el tiempo de 0 a 2 ms en la Fig. 7A. En la etapa 503, el sensor es operado en un modo sincronizado, mientras que son detectados impulsos reflejados (asf como luz de fondo). Las Figs. 9B y 10B proporcionan ejemplos de formas de onda para la luz detectada. Vease tambien el tiempo de 0 a 2 ms en la Fig. 7B.

Las etapas 504 y 505 pueden producirse simultaneamente, al menos en parte. En la etapa 504, la fuente de luz es accionada en un modo continuo, de modo que es emitida luz visible continua en el campo de vision. Vease el tiempo de 2-8 ms en la Fig. 7A. En la etapa 505, el sensor es lefdo para obtener valores de intensidad de luz. Vease el tiempo de 2-8 ms en la Fig. 7B. Durante este periodo de lectura, no es detectada luz adicional por el sensor. Los valores de intensidad de luz pueden ser almacenados para su uso posterior en la determinacion de valores de profundidad. Por ejemplo, los valores de intensidad de luz pueden ser normalizados en base a los valores de intensidad de luz que son obtenidos en la subtrama no sincronizada. Esta normalizacion se realiza despues de restar la subtrama de fondo de ambas subtramas, sincronizada y no sincronizada. Los valores de intensidad de luz normalizados pueden entonces ser utilizados para determinar valores de profundidad.

La Fig. 5B representa un ejemplo de un proceso para proporcionar una subtrama no sincronizada como se establece en la etapa 412 de la Fig. 4B. La etapa 510 comienza con una subtrama no sincronizada que utiliza luz pulsada seguida de luz continua desde el proyector. Las etapas 512 y 513 pueden producirse simultaneamente, al menos en parte. En la etapa 512, la fuente de luz es accionada en un modo pulsado, de manera que es emitida luz visible pulsada en el campo de vision. Las Figs. 9A y 10A proporcionan ejemplos de formas de onda para la luz pulsada. Vease tambien el tiempo 8 a 10 ms en la Fig. 7a. En la etapa 513, el sensor es operado en un modo no sincronizado mientras que son detectados impulsos reflejados (asf como luz de fondo). Las Figs. 9B y 10B proporcionan ejemplos de formas de onda para la luz detectada. Vease tambien el tiempo de 8 a 10 ms en la Fig. 7B.

Las etapas 514 y 515 pueden producirse simultaneamente, al menos en parte. En la etapa 514, la fuente de luz es accionada en un modo continuo, de modo que es emitida luz visible continua en el campo de vision. Vease el tiempo 10-16 ms en la Fig. 7A. En la etapa 515, el sensor es lefdo para obtener valores de intensidad de luz que indican reflectividad. Vease el tiempo 10-16 ms en la Fig. 7B. En la etapa 516, los valores de intensidad de luz que fueron determinados en la etapa 505 de la Fig. 5A son ajustados, por ejemplo normalizados, en base a los valores de intensidad de luz de la etapa 515. En general, varias propiedades afectan a la cantidad de luz que alcanza cada pixel del sensor, incluyendo la distancia que recorre la luz, la reflectividad del objeto, y la direccion normal del objeto que la luz refleja de el. Este ajuste tiene en cuenta la reflectividad y la direccion normal. Durante la subtrama no sincronizada, para cada impulso, se cierra el obturador para el sensor en un tiempo espedfico, despues de devolver toda la luz que es proyectada en el campo de vision y reflejada de vuelta al sensor. Por el contrario, con la imagen sincronizada, no esperamos a que todos los impulsos de luz se reflejen de nuevo al sensor. Si una cantidad relativamente alta de luz se refleja de nuevo debido a la reflectividad y/o las direcciones normales, se tendra un valor relativamente alto de intensidad de luz no sincronizada. Los valores de intensidad de luz de la etapa 505 pueden ser normalizados para crear valores de profundidad dividiendo por los valores de intensidad de luz correspondientes de la etapa 515.

La Fig. 5C representa un ejemplo de un proceso para proporcionar una subtrama de fondo como se establece en la etapa 414 de la Fig. 4B. La etapa 520 comienza con una subtrama de fondo que utiliza nada de luz seguida de luz continua desde el proyector. Las etapas 522 y 523 pueden ocurrir simultaneamente, al menos en parte. En la etapa 522, la fuente de luz no es accionada de manera que nada de luz visible sea emitida en el campo de vision. Vease el

5

10

15

20

25

30

35

40

45

50

55

tiempo 16-18 ms en la Fig. 7A. En la etapa 523, el sensor es operado en un modo sincronizado mientras que es detectada luz de fondo. La luz de fondo tambien podna ser detectada en un modo no sincronizado. Un modo sincronizado "simula" la forma en que la luz de fondo es recibida durante las fases de iluminacion activa. Vease el tiempo 16-18 ms en la Fig. 7B.

Las etapas 525 y 526 pueden producirse simultaneamente, al menos en parte. En la etapa 525, la fuente de luz es accionada en un modo continuo, de modo que es emitida luz visible continua en el campo de vision. Vease el tiempo 18-24 ms en la Fig. 7A. En la etapa 526, el sensor es lefdo para obtener valores de intensidad de luz que indican una cantidad de luz de fondo. Vease el tiempo 18-24 ms en la Fig. 7B. En la etapa 527, los valores de intensidad de luz que fueron determinados en la etapa 505 de la Fig. 5A o en la etapa 516 de la Fig. 5B son ajustados en base a los valores de intensidad de luz de la etapa 526. El ajuste puede implicar restar los valores de intensidad de la luz de fondo. Hay que tener en cuenta que el ajuste de la reflectividad debena hacerse despues del ajuste de la luz de fondo. La normalizacion de la imagen sincronizada por la imagen no sincronizada es utilizada para proporcionar datos de profundidad. La normalizacion usando la imagen de fondo puede ser omitida, por ejemplo cuando se opera el proyector en la oscuridad. En la etapa 528, los valores de profundidad son determinados en base a los valores de intensidad de luz ajustada.

La Fig. 5D representa un ejemplo de un proceso para proporcionar una subtrama de color como se establece en la etapa 416 de la Fig. 4B. La etapa 530 comienza una trama de color que utiliza luz continua desde el proyector. Las etapas 532 y 533 pueden producirse simultaneamente, al menos en parte. En la etapa 532, la fuente de luz del proyector es accionada en un modo continuo, de modo que es emitida luz visible continua en el campo de vision. Vease el tiempo 24-26 ms en la Fig. 7A. En la etapa 533, el sensor es operado en un modo de deteccion de color, que es un modo de deteccion de camara digital estandar, mientras que es detectada la luz reflejada (asf como la luz de fondo). Vease el tiempo 24-26 ms en la Fig. 7B. En la etapa 534, el sensor es lefdo para obtener valores de intensidad de luz que indican datos de color.

La Fig. 6A representa un ejemplo de un proceso para proporcionar una subtrama sincronizada como se establece en la etapa 420 de la Fig. 4C. La etapa 600 comienza una subtrama sincronizada que utiliza luz pulsada. Las etapas 602 y 603 pueden producirse simultaneamente, al menos en parte. En la etapa 602, la fuente de luz del proyector es accionada en un modo pulsado, de manera que es emitida luz visible pulsada en el campo de vision. Las Figs. 9A y 10A proporcionan ejemplos de formas de onda para la luz pulsada. Vease tambien el tiempo 0-2 ms en la Fig. 8A. En la etapa 603, el sensor es operado en un modo sincronizado mientras que son detectados impulsos reflejados (asf como luz de fondo). Las Figs. 9B y 10B proporcionan ejemplos de formas de onda para la luz detectada. Vease tambien el tiempo 0-2 ms en la Fig. 8B.

Las etapas 605 y 606 pueden producirse simultaneamente, al menos en parte. En la etapa 605, la fuente de luz no es accionada, por lo que no es emitida luz visible. Vease el tiempo 2-8 ms en la Fig. 8A. En la etapa 606, el sensor es lefdo para obtener valores de intensidad de luz. Vease el tiempo 2-8 ms en la Fig. 8B. Los valores de intensidad de luz pueden ser almacenados para su posterior uso en la determinacion de valores de profundidad. Por ejemplo, los valores de intensidad de la luz pueden ser ajustados en base a los valores de intensidad de luz que son obtenidos en la subtrama no sincronizada y, opcionalmente, la subtrama de fondo. Los valores de intensidad de luz ajustados pueden ser usados a continuacion para determinar los valores de profundidad.

La Fig. 6B representa un ejemplo de un proceso para proporcionar una subtrama no sincronizada como se establece en la etapa 422 de la Fig. 4C. La etapa 610 comienza una subtrama no sincronizada que utiliza luz pulsada. Las etapas 612 y 613 pueden producirse simultaneamente, al menos en parte. En la etapa 612, la fuente de luz es accionada en un modo pulsado, de manera que se emite luz visible pulsada en el campo de vision. Las Figs. 9A y 10A proporcionan ejemplos de formas de onda para la luz pulsada. Vease tambien el tiempo 8-10 ms en la Fig. 8A. En la etapa 613, el sensor es operado en un modo no sincronizado mientras que son detectados impulsos reflejados (asf como la luz de fondo). Las Figs. 9B y 10B proporcionan ejemplos de formas de onda para la luz detectada. Vease tambien el tiempo 8-10 ms en la Fig. 8B.

Las etapas 615 y 616 pueden ocurrir simultaneamente, al menos en parte. En la etapa 615, la fuente de luz no esta accionada. Como resultado, no es emitida luz visible. Vease el tiempo 10-16 ms en la Fig. 8A. En la etapa 616, el sensor es lefdo para obtener valores de intensidad de luz que indiquen reflectividad. Vease el tiempo 10-16 ms en la Fig. 8B. En la etapa 617, los valores de intensidad de luz que fueron determinados en la etapa 606 de la Fig. 6A son ajustados en base a los valores de intensidad de luz de la etapa 616. En la etapa 618, los valores de profundidad son determinados en base a los valores de intensidad de luz ajustados.

El ejemplo de implementacion de las Figs. 7A y 7B, tratado a continuacion, es para un modo QQVGA que incluye un periodo de trama de 33 ms que esta dividido en cuatro secciones o subtramas. Este es un ejemplo de una trama que incluye deteccion de la profundidad, deteccion del color y proyeccion. Son posibles muchas otras implementaciones. Por otra parte, como se ha mencionado, pueden ser usadas subtramas diferentes en tramas diferentes. Por ejemplo, algunas subtramas pueden ser usadas menos frecuentemente que en todas las tramas, mientras que otras subtramas son utilizadas en todas las tramas.

5

10

15

20

25

30

35

40

45

50

55

60

La Fig. 7A representa una salida de un proyector que corresponde al proceso de la Fig. 4B. En un periodo de trama de ejemplo de 33 ms estan previstas cuatro subtramas. Una subtrama temporizada se extiende desde 0-8 ms. De 0 a 2 ms el proyector emite una luz visible pulsada. De 2-8 ms el proyector emite una luz visible continua que tiene una amplitud I2. Una subtrama no sincronizada se extiende de 8-16 ms. De 8 a 10 ms el proyector emite luz visible pulsada. De 10-16 ms el proyector emite una luz visible continua. Una subtrama de fondo se extiende de 16-24 ms. De 16 a 18 ms el proyector no emite luz visible. De 18-24 ms el proyector emite una luz visible continua. Una subtrama de color se eXtiende de 24-33 ms. De 24-26 ms el proyector emite una luz visible continua. De 26-33 ms el proyector continua emitiendo una luz visible continua.

La lmea 700 representa una intensidad de luz I1 de una trama en la que el proyector proporciona una salida continua y no se produce deteccion, en una trama de no deteccion de profundidad. En un enfoque, es utilizada una intensidad o potencia de salida inferior, de tal manera que I1 < I2. Proporcionar una mayor salida de luz durante una trama de deteccion de profundidad, en comparacion con una trama de no deteccion de profundidad, puede ser util para mejorar el contraste de color de la imagen proyectada, mediante la compensacion de los penodos en los que es usada luz pulsante o ninguna salida de luz. Otra opcion, que puede ser utilizada adicional o alternativamente, es proporcionar un periodo de trama mas largo (representado por el penodo de trama FP en la Fig. 7C ) para la trama de no deteccion de profundidad en comparacion con la trama de deteccion de profundidad. Por ejemplo FP > 33 ms, donde 33 ms es el periodo de trama de la trama de deteccion de profundidad. Cualquiera de los enfoques aumenta la cantidad de luz que es emitida por el proyector por unidad de tiempo. Al ajustar selectivamente la intensidad de la luz y/o el periodo de trama, el consumo de energfa y la calidad de la imagen proyectada son optimizadas. Veanse las Figs. 7D y 7E para mas detalles.

La Fig. 7B representa una entrada a un sensor basada en la salida de proyector de la Fig. 7A. Cada subtrama incluye una integracion o penodo de deteccion activa, en el que es generada carga por cada pixel en el sensor en proporcion a la cantidad de luz detectada, seguido de un periodo de lectura o sobrecarga, en el que se lee la cantidad de carga acumulada de todos los pfxeles. Durante la lectura, puede ser lefda una porcion de un pixel al que se hace referencia como un acumulador y el acumulador puesto a cero para la deteccion posterior. En la subtrama sincronizada, de 0-2 ms, el sensor integra o acumula carga mientras que el proyector es pulsado, y de 2-8 ms es lefda la carga acumulada. En la subtrama no sincronizada, de 8-10 ms el sensor integra carga, mientras que el proyector es pulsado, y de 10-16 ms es lefda la carga acumulada. En la subtrama de fondo, de 16-18 de ms el sensor integra carga mientras el proyector no emite ninguna luz y de 18-24 ms es lefda la carga acumulada. En la subtrama de color, de 24-26 ms, el sensor integra carga mientras que la salida del proyector es continua, y de 26-33 ms es lefda la carga acumulada.

FIG. 7D representa un ejemplo de secuencia de trama que proporciona alternativamente una trama de no deteccion de profundidad utilizando una menor intensidad de luz I1, tal como en las etapas 720 y 724, y una trama de deteccion de profundidad usando una mayor intensidad de luz 12, tal como en las etapas 722 y 726. Aqrn, al menos un circuito de control proporciona, en diferentes momentos: (a) una trama de deteccion de profundidad (etapas 722 y 726) en la que el al menos un circuito de control deriva datos de profundidad con respecto al por lo menos un objeto en el campo de vision en base a los valores de intensidad de luz que son lefdos desde el sensor utilizando un principio de tiempo de vuelo, y (b) una trama de no deteccion de profundidad (etapas 720 y 724), en la que el por lo menos un circuito de control no deriva datos de profundidad con respecto al por lo menos un objeto en el campo de vision. Por otra parte, el por lo menos un circuito de control hace que la fuente de luz emita luz visible a una potencia de iluminacion superior durante la trama de deteccion de profundidad que durante la trama de no deteccion de profundidad.

Otra opcion implica diferentes modos de deteccion de profundidad. En general, al menos un circuito de control puede ser controlado para funcionar selectivamente en un primer modo, en el que el al menos un circuito de control utiliza un numero limitado de una o mas tramas para obtener datos de profundidad con respecto al por lo menos un objeto en el campo de vision, y en un segundo modo, en el que el al menos un circuito de control obtiene continuamente datos de profundidad con respecto al por lo menos un objeto en el campo de vision. Por ejemplo, el numero limitado de una o mas tramas para obtener datos de profundidad en el primer modo puede ser una sola trama, o un pequeno numero de tramas en un periodo de hasta, por ejemplo, un segundo. Esto se puede utilizar para proporcionar un modo de deteccion de profundidad de instantanea en el que se obtienen datos de profundidad para un objeto en el campo de vision, tal como un objeto estatico, en base a un comando de usuario. Por ejemplo, los datos de profundidad pueden ser obtenidos para un objeto de interes. En el segundo modo, los datos de profundidad son obtenidos continuamente para un objeto de interes, tal como un objeto en movimiento. Como se ha mencionado, no tiene que ser usado el modo de proyector cuando se obtienen datos de profundidad.

La Fig. 7E representa un ejemplo de secuencia de trama que proporciona alternativamente una trama de no deteccion de profundidad usando un periodo de trama/duracion mas corto, tal como en las etapas 730 y 734, y una trama de deteccion de profundidad utilizando un periodo de trama mas largo, como en las etapas 732 y 736.

El ejemplo de implementacion de las Figs. 8A y 8B, descrito a continuacion, es para un modo QQVGA que incluye un periodo de trama de 33 ms que se divide en dos subtramas, en las que solo se realiza deteccion. Este es un ejemplo de una trama de deteccion de profundidad y una trama de no proyeccion.

5

10

15

20

25

30

35

40

45

50

55

La Fig. 8A representa una salida de un proyector que corresponde al proceso de la Fig. 4C. Una subtrama sincronizada se extiende de 0-8 ms. De 0 a 2 ms el proyector emite una luz visible pulsada. De 2-8 ms el proyector no emite luz visible. Un subtrama no sincronizada se extiende de 8-16 ms. De 8 a 10 ms el proyector emite una luz visible pulsada. De 10-16 ms el proyector no emite luz visible. De modo similar, en un resto de la trama de 16 a 33 ms, el proyector no emite luz visible. En este modo, la imagen de fondo es obtenida de la imagen de color, de 16-33 ms, puesto que son esencialmente identicas.

La Fig. 8B representa una entrada a un sensor en base a la salida de proyector de la Fig. 8A. En la subtrama sincronizada, de 0-2 ms el sensor integra carga mientras que el proyector es pulsado, y de 2-8 ms es lefda la carga acumulada. En la trama no sincronizada, de 8-10 ms el sensor integra carga mientras que el proyector es pulsado, y de 10-16 ms es lefda la carga acumulada. En un resto de la trama, de 16-33 ms, pueden ser detectadas una subtrama de fondo y una subtrama de color, que son esencialmente la misma. Como se ha mencionado, este modo permite que el dispositivo proyector de video opere en un modo de solo deteccion, en el que no se produce proyeccion, de manera que se reduce el consumo de energfa. No es emitida luz visible en un momento que no sea durante la subtrama sincronizada y la subtrama no sincronizada. Por ejemplo, la fuente de luz puede ser apagada para reducir el consumo de energfa.

La Fig. 9A representa la luz pulsada que es emitida desde un proyector usando formas de onda cuadradas. Los principios de tiempo de vuelo permiten que sea determinada la profundidad de un punto en un objeto en un campo de vision en base al tiempo transcurrido para que la luz viaje desde el proyector hasta el punto y sea reflejada de nuevo al sensor. Por otra parte, es utilizada una cantidad de luz registrada por un pixel en la superficie fotosensible del sensor durante el penodo sincronizado para determinar la distancia a un elemento de superficie de la escena captada en el pixel. Un ejemplo de frecuencia de impulsos es 44 Mhz. A lo largo del eje x, que representa el tiempo, At1 representa una duracion de impulso de impulsos de ejemplo 900 y 920, y At2 representa un periodo entre el inicio de cada pulso. A lo largo del eje y, que representa la intensidad de luz proyectada, cada pulso es elevado y tiene esencialmente una forma de onda cuadrada en esta implementacion. En un enfoque, cada impulso aumenta desde un nivel de intensidad esencialmente cero a un nivel maximo. En otro enfoque, cada impulso aumenta desde un nivel de intensidad distinto de cero a un nivel maximo. En otro enfoque, la intensidad proyectada sigue una modulacion de onda continua, tal como una onda sinusoidal, en lugar de proporcionar impulsos de luz separados. En este caso, es medida la diferencia de fase entre las senales enviadas y recibidas, en lugar de medir directamente el tiempo total del viaje de un impulso de luz particular. Como la frecuencia de modulacion es conocida, esta fase medida se corresponde directamente con el tiempo de vuelo. Una fuente de luz pulsada puede obtenerse accionando la fuente de luz de forma correspondiente.

La Fig. 9B representa la luz pulsada, que es la entrada a un sensor en base a la salida de proyector de la Fig. 9A. El eje x de Fig. 9B esta alineado en el tiempo con el eje x de la Fig. 9A. Cuando el sensor esta en un modo sincronizado, es definido un penodo sincronizado At3 en el que se puede producir deteccion. La luz detectada esta representada por los impulsos 910 y 930. Tfpicamente, At3 > At1, de modo que son proporcionados margenes de tiempo At4f y At4b en la parte delantera y trasera, respectivamente, de cada penodo sincronizado. Se ilustra el tiempo de vuelo (TOF) representado por los impulsos 900 y 910. Los impulsos detectados 910 y 930 corresponden a los impulsos proyectados 900 y 920, respectivamente. Esta representado que durante toda la deteccion existe una luz detectada ambiente o a nivel del suelo.

La Fig. 10A representa la luz pulsada que se emite desde un proyector usando formas de onda triangulares. Una forma de onda triangular puede ser considerada como un impulso que tiene al menos uno de: (a) un flanco ascendente que pasa a alto a una velocidad que esta por debajo de una velocidad de subida del modulador, y (b) un flanco descendente que pasa a bajo a una velocidad que esta por debajo de una velocidad de bajada del modulador. Es decir, el flanco ascendente es controlado para pasar a alto a una velocidad que es mas lenta que una velocidad maxima posible, que es una subida inmediata, y/o el flanco descendente es controlado para pasar a bajo a una velocidad que es mas lenta que una velocidad maxima posible, que es un descenso inmediato. Como forma de onda puede tener flancos ascendentes y flancos descendentes simetricos o no simetricos. En una opcion, la forma de onda alcanza una amplitud maxima y permanece en ese nivel durante algun tiempo, de modo que la forma de onda tiene una forma trapezoidal, tal como en los ejemplos de formas de onda 1000 y 1010. La forma de onda 1000 incluye un flanco ascendente 1002, una amplitud maxima 1004 y un flanco descendente 1006. En otra opcion, la forma de onda es un triangulo que tiene un pico afilado.

La Fig. 10B representa la luz pulsada, que es la entrada a un sensor en base a la salida proyectada de la Fig. 10A. Las formas de onda detectadas 1020 y 1030 corresponden a las formas de onda proyectadas de los impulsos 1000 y 1010, respectivamente.

La descripcion detallada anterior de la tecnologfa en el presente documento ha sido presentada con propositos de ilustracion y descripcion. No se pretende que sea exhaustiva o limitar la tecnologfa a la forma precisa descrita. Muchas modificaciones y variaciones son posibles a la luz de las ensenanzas anteriores. Las realizaciones descritas fueron elegidas para explicar mejor los principios de la tecnologfa y su aplicacion practica para permitir de ese modo que otros expertos en la tecnica utilicen de la mejor forma posible la tecnologfa en varias realizaciones y con varias

modificaciones que sean adecuadas al uso particular contemplado. Se pretende que el alcance de la tecnolog^a sea definido por las reivindicaciones adjuntas a la misma.

Claims (11)

1. 5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   55

   REIVINDICACIONES

   1. Dispositivo proyector de v^deo (100, 300), que comprende: una fuente de luz (318) que emite luz visible; un controlador (316) que acciona la fuente de luz (318); al menos un componente optico (322) que proyecta la luz visible en un campo de vision; un sensor (350) que detecta la luz visible, incluyendo la luz visible que es reflejada desde al menos un objeto en el campo de vision, comprendiendo el sensor (350) una pluralidad de pfxeles; y al menos un circuito de control (310, 340) que proporciona una subtrama sincronizada, en la que la fuente de luz (318) es accionada en un modo pulsado mientras que el sensor (350) es operado en un modo sincronizado, despues de lo cual la fuente de luz (318) es accionada en un modo continuo mientras que es lefdo el sensor (350) para obtener valores de intensidad de luz, en el que el al menos un circuito de control (310, 340) deriva datos de profundidad con respecto al por lo menos un objeto en el campo de vision en base a los valores de intensidad de luz utilizando un principio de tiempo de vuelo, y la fuente de luz (318) y el componente optico (322) son usados para la proyeccion de video y para la medicion de tiempo de vuelo, en el que el al menos un circuito de control (310, 340) proporciona una subtrama no sincronizada, en la que la fuente de luz (318) es accionada en el modo pulsado mientras que el sensor (350) es operado en un modo no sincronizado, despues de lo cual la fuente de luz (318) es accionada en el modo continuo mientras que es lefdo el sensor (350) para obtener valores de intensidad de luz, en el que el al menos un circuito de control (310, 340) ajusta los valores de intensidad de luz obtenidos durante la subtrama sincronizada en base a los valores de intensidad de luz obtenidos durante la subtrama no sincronizada, para compensar la reflectividad del al menos un objeto en el campo de vision.
2. 2. Dispositivo proyector de video (100, 300) segun la reivindicacion 1, en el que el al menos un circuito de control (310, 340) proporciona al menos una subtrama de fondo en la que no es emitida luz visible mientras que el sensor (350) es operado en un modo sincronizado, despues de lo cual la fuente de luz (318) es accionada en el modo continuo mientras que es lefdo el sensor (350) para obtener valores de intensidad de luz, en el que el al menos un circuito de control (310, 340) ajusta los valores de intensidad de luz obtenidos durante la subtrama sincronizada en base a los valores de intensidad de luz obtenidos durante la subtrama de fondo, para compensar la luz de fondo en el campo de vision.
3. 3. Dispositivo proyector de video (100, 300) segun la reivindicacion 1, en el que el al menos un circuito de control (310, 340) proporciona dos de las subtramas de fondo en una trama.
4. 4. Dispositivo proyector de video (100, 300) segun una cualquiera de las reivindicaciones anteriores, en el que: el al menos un circuito de control (310, 340) proporciona una subtrama de color en la que la fuente de luz (318) es accionada en el modo continuo mientras que el sensor (350) es operado en un modo de deteccion de color estandar, despues de lo cual la fuente de luz (318) es accionada en el modo continuo mientras que es lefdo el sensor (350) para obtener valores de intensidad de luz que incluyen datos de color del campo de vision.
5. 5. Dispositivo proyector de video (100, 300) segun una cualquiera de las reivindicaciones anteriores, en el que el al menos un circuito de control (310, 340) proporciona una subtrama en la que la fuente de luz (318) es accionada en el modo continuo mientras que el sensor (350) esta activo.
6. 6. Dispositivo proyector de video (100, 300) segun una cualquiera de las reivindicaciones anteriores, en el que el al menos un circuito de control (310, 340) acciona la fuente de luz (318) utilizando impulsos con forma triangular durante la subtrama sincronizada.
7. 7. Dispositivo proyector de video (300) segun una cualquiera de las reivindicaciones anteriores, en el que el al menos un circuito de control (310, 340) acciona la fuente de luz (318) utilizando impulsos que tienen cada uno al menos uno de: (a) un flanco ascendente, que pasa a alto a una velocidad que esta por debajo de una velocidad de subida de la fuente de luz (318) y (b) un flanco descendente que pasa a bajo a una velocidad que esta por debajo de una velocidad de descenso de la fuente de luz (318).
8. 8. Dispositivo proyector de video (100, 300) segun una cualquiera de las reivindicaciones anteriores, en el que la fuente de luz (318), al menos un componente optico (322), el al menos un circuito de control (310, 340) y el sensor (350) estan previstos en una carcasa comun.
9. 9. Dispositivo proyector de video (100, 300) segun una cualquiera de las reivindicaciones anteriores, que comprende ademas al menos un panel LCD (320) transmisor de luz que codifica informacion de video sobre la luz visible, comprendiendo el al menos un panel LCD (320) transmisor de luz una pluralidad de pfxeles.
10. 10. Dispositivo proyector de video (100, 300) segun una cualquiera de las reivindicaciones anteriores, en el que el al menos un circuito de control (310, 340) enfoca el al menos un componente optico (322) en base a los datos de profundidad.
11. 11. Dispositivo proyector de video (100, 300) segun la reivindicacion 10, en el que el al menos un circuito de control (310, 340) proporciona una subtrama no sincronizada en la que la fuente de luz (318) es accionada en el modo pulsado mientras que el sensor (350) es operado en un modo no sincronizado, y no es emitida luz no visible en una trama en otro momento que no sea durante la subtrama sincronizada y la subtrama no sincronizada.