ES2354985T3 - Sistema y metodo para su funcionamiento en el espacio virtual 3d. - Google Patents

Sistema y metodo para su funcionamiento en el espacio virtual 3d. Download PDF

Info

Publication number
ES2354985T3
ES2354985T3 ES05748262T ES05748262T ES2354985T3 ES 2354985 T3 ES2354985 T3 ES 2354985T3 ES 05748262 T ES05748262 T ES 05748262T ES 05748262 T ES05748262 T ES 05748262T ES 2354985 T3 ES2354985 T3 ES 2354985T3
Authority
ES
Spain
Prior art keywords
virtual
dimensional space
space
image sensors
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES05748262T
Other languages
English (en)
Inventor
Daniel Ratai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3D For All Szamitastechnikai Fejleszto Kft
Original Assignee
3D For All Szamitastechnikai Fejleszto Kft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3D For All Szamitastechnikai Fejleszto Kft filed Critical 3D For All Szamitastechnikai Fejleszto Kft
Application granted granted Critical
Publication of ES2354985T3 publication Critical patent/ES2354985T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Semiconductor Memories (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Sistema para la realización de una operación en un espacio tridimensional virtual, comprendiendo el - un sistema de visualización (18) para visualizar el espacio tridimensional virtual; - un sistema (12) de seguimiento de la posición en 3D para indicar en el espacio tridimensional real (10) la posición (P1) de la operación a realizar en el espacio tridimensional virtual (16), comprendiendo dicho sistema (12) de seguimiento de la posición en 3D unos medios de posicionamiento (135) dotados, por lo menos, de una fuente de señales (130), por lo menos, de dos sensores de imágenes (110) para detectar las señales emitidas por la, por lo menos una, fuente de señales (130) de los medios de posicionamiento (135) y unos primeros medios (W1) para determinar la posición (P1) en el espacio real de los medios de posicionamiento (135) con respecto a los sensores de imagen (110), en base a las señales generadas por los sensores de imagen (110) y a la localización espacial de los sensores de imagen (110) uno con respecto al otro, y - medios (W0) para indicar la posición (P1) del espacio tridimensional real (10) en el espacio tridimensional virtual (16) y realizar la operación en la posición indicada (P*1), caracterizado porque el sistema de visualización (18) para visualizar el espacio tridimensional virtual comprende: - medios para reproducir imágenes tridimensionales; - por lo menos, dos fuentes de señales luminosas (140) dispuestas en una posición fija con respecto a los ojos del usuario; - por lo menos, dos sensores de imágenes (110) para detectar las señales emitidas por las fuentes de señales (140); - unos segundos medios (W2) para determinar las posiciones en el espacio real (P2L, P2R) de los ojos del usuario en base a las señales generadas por los sensores de imágenes (110) del sistema de visualización (18); y - unos terceros medios (W3) para determinar el punto de visión (V*) del espacio tridimensional virtual en base a las posiciones (P2L, P2R) proporcionadas por los segundos medios (W2) y que generan para cada ojo una imagen correspondiente a una coincidencia del espacio tridimensional real (10) y el espacio tridimensional virtual (16).

Description

La presente invención se refiere a un sistema y a un método para realizar operaciones en un espacio 3D virtual.
Los ordenadores personales ampliamente difundidos, utilizados corrientemente, están equipados con un dispositivo de visualización que proporciona imágenes en dos dimensiones. Sin embargo, los ordenadores del futuro 5 están enfrentados a un gran desafío en lo que se refiere a la visualización de imágenes tridimensionales. Actualmente existen ya en el mercado dispositivos de visualización para ordenadores capaces de visualizar un espacio tridimensional virtual. Entre éstos están los dispositivos de visualización que comprenden una pantalla fabricada mediante tecnología de alto nivel, que permiten detectar imágenes tridimensionales sin ningún dispositivo auxiliar, aunque existen asimismo dispositivos de visualización mucho más económicos que proporcionan la visión tridimensional, habitualmente mediante 10 la utilización de gafas especiales. Teniendo en cuenta que el objetivo de la aplicación de un ordenador es no solamente la visualización de la información sino también la introducción y el procesamiento de la información, en relación con los ordenadores adaptados a la visualización de imágenes tridimensionales, ha surgido la necesidad de introducir y procesar información espacial, es decir, para llevar a cabo operaciones en el espacio virtual tridimensional. Aunque hoy en día diversas compañías ofrecen sistemas informáticos diseñados para visualizar un espacio tridimensional virtual, 15 dichos sistemas informáticos disponibles principalmente para su utilización diaria en el hogar, las tecnologías 3D aplicadas a los mismos tienen una capacidad muy limitada o son muy costosas, y éste es el motivo por el que no han sido utilizadas con una difusión amplia hasta el momento actual. A continuación, se presentan brevemente algunos de los dispositivos y sistemas de la técnica anterior que son capaces de visualizar un espacio tridimensional virtual y permiten realizar operaciones en el mismo. 20
En lo que antecede y en la parte siguiente de la descripción se utiliza la expresión “espacio 3D” para un segmento bien definido del espacio, esto es, la expresión “espacio 3D real” significa un segmento del espacio real para localizar la posición de una operación a realizar mediante el desplazamiento de un dispositivo de posicionamiento, mientras que la expresión “espacio 3D virtual” significa un segmento de un espacio visualizado mediante unos medios de visualización en 3D. 25
El documento DE 10106850 A1 da a conocer un sistema de seguimiento de la posición para aplicaciones informáticas en 3D, en el que el sistema de seguimiento de la posición comprende un dispositivo de posicionamiento que puede desplazarse en el espacio, cuyo movimiento está indicado en el espacio tridimensional virtual. El dispositivo de posicionamiento está acoplado mediante resortes a carriles lineales dispuestos ortogonalmente cada uno con respecto a los otros, representando dichos carriles un sistema espacial de coordenadas. La localización 30 espacial del dispositivo de posicionamiento se detecta mediante un sistema potenciométrico. En este sistema de seguimiento de la posición, una posición espacial se detecta por medio de un conjunto mecánico que hace más difícil el accionamiento del dispositivo de posicionamiento y limita considerablemente las dimensiones del segmento de espacio disponible para localizar la posición de una operación.
En el documento GB 2388418 A se da a conocer un sistema de seguimiento de la posición todavía 35 más flexible en el que el sistema de seguimiento de la posición, cuyo funcionamiento se basa en principios ópticos, comprende un objeto tridimensional, por ejemplo, un cubo o una bola como dispositivo de posicionamiento, estando adaptado dicho objeto para poder ser desplazado libremente mediante las manos. Por medio de una cámara se graba la imagen del objeto. Los cambios en la posición espacial y en la orientación del dispositivo de posicionamiento se determinan a partir de las imágenes en dos dimensiones grabadas por la cámara. Aunque en este documento se 40 menciona asimismo la utilización de una segunda cámara, la función de esta cámara adicional está simplemente limitada a obtener información suplementaria de las partes ocultas o iluminadas con dificultad del dispositivo de posicionamiento. Un inconveniente adicional de este sistema es que el espacio virtual no está corregido con respecto al espacio real y, por consiguiente, el dispositivo de posicionamiento solamente puede ser utilizado para localizar posiciones relativas. 45
En el documento WO 03/079179 A1 se presenta una solución similar que da a conocer un dispositivo de posicionamiento como una realización de un ratón convencional de ordenador que puede desplazarse en el espacio. Dicho ratón espacial, así denominado, está dotado de una serie de fuentes luminosas y de una serie de microconmutadores, en el que las fuentes luminosas pueden tener colores, tamaños o formas diferentes, de manera que la cámara puede detectar el desplazamiento o la rotación del ratón espacial en cualquier dirección del espacio. Aunque 50 el ratón espacial anterior permite un posicionamiento muy flexible, su coste de fabricación es bastante elevado.
En el documento EP 1 335 317 A se da a conocer otro sistema de seguimiento de la posición.
El propósito de la visualización tridimensional es proporcionar la capacidad de detectar formas espaciales como una realidad, por parte de los seres humanos. El efecto espacial puede ser conseguido mediante la transmisión de imágenes diferentes al ojo izquierdo y al ojo derecho, ya que los ojos detectan por sí mismos las formas 55 espaciales desde posiciones diferentes. Para generar y detectar dicha imagen doble o estereoscópica, se han desarrollado diversas tecnologías. En el caso más sencillo, la imagen estereoscópica para los dos ojos se visualiza en una pantalla convencional de forma simultánea, y el efecto espacial puede ser detectado por medio de gafas especiales.
No obstante, existen dispositivos de visualización sofisticados y asimismo muy costosos que no precisan la utilización de dichas gafas o de cualquier otro dispositivo auxiliar, dado que la propia pantalla proporciona la visión estereoscópica.
Una de las soluciones más sencillas y más difundidas se basa en la separación de dos imágenes presentadas en el mismo lugar. En dichos sistemas, las imágenes para el ojo izquierdo y para el ojo derecho son visualizadas al mismo tiempo en la pantalla, y las dos imágenes son separadas por medio de gafas 3D especiales, de 5 tal forma que solamente se permite el paso de las imágenes para el ojo izquierdo a través de la lente de la izquierda, mientras que solamente se permite el paso de las imágenes para el ojo derecho a través de la lente de la derecha. A continuación, se presentarán algunos de los sistemas que funcionan en base a la separación de imágenes.
La idea central de la visualización 3D en base a la separación de colores, es que se generan dos imágenes de color diferente para el ojo izquierdo y para el ojo derecho y las dos imágenes de color diferente son 10 separadas por medio de lentes coloreadas. Con este objeto, generalmente se utiliza una lente roja y una lente cian. A través de la lente roja, solamente puede pasar la luz roja, mientras que a través de la lente cian, solamente puede pasar la luz cian. La ventaja de un sistema de separación de colores es su bajo precio, sin embargo, un inconveniente del mismo es que puede ser dañino para los ojos después de una utilización de 10 a 15 minutos, y otro inconveniente es que no está disponible para proporcionar una imagen tridimensional en color. 15
La idea central de los sistemas de polarización de la luz es que se generan imágenes polarizadas diferentes para el ojo izquierdo y para el ojo derecho, y las dos imágenes de polaridad distinta son separadas por medio de lentes de polarización. A diferencia de los sistemas de separación de colores, en un sistema de polarización de la luz pueden reproducirse imágenes en color totalmente realistas. Aunque los costes de fabricación de dichas lentes de polarización son relativamente reducidos, el dispositivo de visualización para reproducir la imagen estereoscópica 20 consistente en imágenes polarizadas en dos direcciones es muy costoso, sin embargo, esta solución es la más utilizada en las películas en 3D.
Los sistemas que utilizan las denominadas gafas de obturación funcionan de una manera en que las imágenes respectivas para el ojo izquierdo y para el ojo derecho son visualizadas de forma alternativa, y un par de gafas de obturación realizan la función de ocultar alternativamente un ojo tras otro, de forma sincronizada con el 25 dispositivo de visualización. Las gafas de obturación tienen lentes adaptadas para cambiar con una frecuencia elevada entre un estado de opacidad y un estado de transparencia. De manera similar a un sistema de polarización de la luz, está también disponible un sistema de obturación para reproducir imágenes en color y totalmente realistas. Dicho sistema es ventajoso debido a su precio relativamente reducido y al hecho de que, a diferencia del sistema de polarización de la luz, para su utilización es suficiente un dispositivo de visualización convencional para ordenadores. 30
Un tema común de los sistemas 3D de visualización mencionados anteriormente es que no pueden detectar la posición de los ojos, es decir, del punto de visión del usuario y por tanto no pueden seguirla. En consecuencia, si uno se aleja de la posición óptima que proporciona el efecto tridimensional, los objetos virtuales se desplazarán en el espacio virtual y aparecerán con mayor o menor distorsión, lo que conduce a una degradación de la impresión de realidad de la imagen tridimensional. Este problema puede evitarse utilizando un dispositivo de 35 visualización montado en la cabeza (HMD).
Un dispositivo de visualización HMD consiste en un par de gafas especiales que comprende dos dispositivos de visualización de tamaño reducido en vez de lentes, reproduciendo dichos dispositivos de visualización directamente las imágenes respectivas para los dos ojos. Los dispositivos de visualización HMD están dotados de sensores magnéticos y de gravedad para detectar cualquier movimiento de la cabeza y, por consiguiente, pueden 40 reproducir imágenes sin distorsión incluso si el usuario se está moviendo y, además, están adaptados para funcionar incluso con un giro del usuario de 360 grados. Los inconvenientes de los dispositivos de visualización HMD incluyen su precio elevado debido a los sensores especiales y su limitada capacidad de visualizar solamente un ángulo de visión reducido, aproximadamente de 30 a 40 grados.
Los sistemas para realizar operaciones en el espacio tridimensional virtual están encaminados a 45 permitir al usuario diversas actividades en el espacio virtual, de manera que las operaciones se realizan en localizaciones en el espacio virtual que se corresponden con localizaciones seleccionadas en el espacio real, y además las operaciones o el resultado de las mismas puede ser detectado como una realidad con efecto tridimensional. Un objetivo común de dichos sistemas es permitir la realización de operaciones dentro del espacio tridimensional virtual además de visualizarlo. 50
Uno de los sistemas más conocidos de manipulación virtual en 3D actualmente en el mercado, es el “Reachin Core” de Reachin Technologies AB, que comprende un interfaz especial de programación a nivel de aplicación y un seguimiento integrado de la posición en 3D y un sistema de visualización en 3D. Para las operaciones espaciales, el Rachin Core utiliza un indicador tridimensional desarrollado por SensAble Inc., la posición del cual es seguida por ordenador mediante un sistema mecánico. El indicador está fijado al extremo de unos brazos mecánicos y la posición 55 del indicador se determina a partir de los ángulos de inclinación de las uniones articuladas de los brazos. Asimismo, en el indicador está dispuesto un pulsador la función del cual es similar a la de la tecla de un ratón. Una de las ventajas de este tipo de indicador es que cualquier operación puede ser realizada libremente en tres dimensiones, de la misma manera que un ratón de ordenador convencional en dos dimensiones. Además, el indicador está dotado de un
mecanismo con una cierta fuerza de reacción y de este modo los objetos virtuales resultan de hecho tangibles. Dicho sistema virtual de manipulación en 3D permite hacer coincidir el lugar de la operación espacial real y el lugar de su apariencia virtual tridimensional. La imagen tridimensional puede ser detectada mediante la utilización de un par de gafas de obturación y un espejo, en el que aparece la imagen tridimensional por detrás del espejo. El indicador es utilizado asimismo por detrás del espejo y de este modo el lugar de la actividad y el lugar de la imagen reproducida son 5 los mismos. Un inconveniente de este sistema es que el espacio real y el espacio virtual no coinciden totalmente ya que no se está siguiendo la posición de las gafas de obturación y, por consiguiente, la imagen reproducida no puede ser orientada de forma adecuada con respecto a la posición de los ojos, es decir, al punto de vista del usuario. El mismo problema surge en todos los demás sistemas de manipulación 3D virtuales que existen actualmente en el mercado.
La patente USA Nº 5.227.985 da a conocer un sistema de detección para controlar la posición y la 10 orientación de un objeto rígido. En la superficie del objeto están montadas, por lo menos, 4 fuentes luminosas puntuales en una disposición no coplanaria. Una única cámara electrónica captura imágenes de las fuentes luminosas puntuales. El objeto está sostenido por un operador para un control con un cursor tridimensional y para la interacción con escenas de realidad virtual en dispositivos de visualización para ordenador, y para un control remoto interactivo de mecanismos accionados a distancia. El sistema no proporciona compensación por los cambios del punto de visión del usuario. 15
Un objetivo de la presente invención es dar a conocer un sistema para llevar a cabo operaciones en el espacio virtual 3D, en el que la localización de la operación es seleccionada en el espacio 3D real, y el espacio 3D virtual es visualizado sin distorsiones con una orientación correspondiente al punto de vista instantáneo del usuario.
Otro objetivo de la presente invención es dar a conocer un sistema de manipulación virtual en 3D que es substancialmente más económico que cualquier otro de las soluciones similares de la técnica anterior y que permite 20 utilizar un segmento de espacio de tamaño arbitrario para el seguimiento de la posición, y en el que el segmento del espacio tridimensional real para el seguimiento de la posición y el segmento del espacio tridimensional visualizado son totalmente coincidentes.
Otro objetivo de la presente invención es dar a conocer un método para el funcionamiento del sistema anterior. 25
Finalmente, otro objetivo de la presente invención es dar a conocer un sistema para seleccionar, a través de un sistema de visualización, una operación a realizar en la que se utiliza el principio del seguimiento de la posición en el proceso de selección.
Estos y otros objetivos se consiguen en la presente invención mediante un sistema para realizar una operación en el espacio tridimensional virtual, según la reivindicación 1. 30
Los objetivos anteriores se consiguen además en la presente invención mediante un método, según la reivindicación 22.
Los medios de posicionamiento están formados preferentemente como una varilla dispuesta, por lo menos, con una fuente de señales en su extremo. La varilla puede comprender un pulsador para indicar la posición.
Preferentemente, por lo menos, la única fuente de señales de los medios de posicionamiento es una 35 fuente luminosa que emite luz visible o infrarroja. Preferentemente, la intensidad de las fuentes luminosas es regulable.
Los sensores de imágenes son preferentemente cámaras que graban imágenes en 2D, en los que las cámaras pueden estar dotadas de una unidad hermética a la luz para impedir la incidencia de la luz ambiental difusa.
Los primeros medios pueden estar adaptados para determinar tanto la posición en el espacio real como la orientación en el espacio real de los medios de posicionamiento con respecto a los sensores de imágenes. 40
Es particularmente beneficioso que coincidan la posición de la operación en el espacio real y la posición de la operación en el espacio virtual.
Los medios para la reproducción de imágenes tridimensionales comprenden preferentemente un dispositivo de visualización que reproduce imágenes diferentes para el ojo izquierdo y el ojo derecho del usuario y el par de gafas correspondientes para la separación de imágenes. Las fuentes de señales están fijadas preferentemente a 45 dicho par de gafas. Las gafas pueden incluir cristales que separen los diferentes colores de la pantalla, cristales que separen las diferentes imágenes polarizadas de la pantalla y las denominadas gafas de obturación.
En el caso en que estén fijadas tres fuentes de señales a las gafas del sistema de visualización tridimensional, el sistema global puede comprender además unos cuartos medios para indicar el desplazamiento de la tercera fuente de señales de dicho par de gafas con respecto al dispositivo de visualización en una instrucción de 50 funcionamiento, siendo detectado dicho desplazamiento mediante los sensores de imágenes. La instrucción de funcionamiento es preferentemente un movimiento a realizar en el espacio tridimensional virtual.
En el sistema de manipulación virtual en 3D, los mismos sensores de imágenes son utilizados en el sistema 3D de seguimiento de la posición y en el sistema para la visualización del espacio tridimensional virtual.
Los medios de posicionamiento, así como las gafas, pueden comprender una unidad de vibración que sea puesta en funcionamiento por medio de unos sextos medios cuando los medios de posicionamiento llegan a una posición predeterminada. 5
El sistema de visualización puede estar adaptado para visualizar imágenes en dos o tres dimensiones. La imagen puede contener imágenes puntuales de dos dimensiones y en el caso de imágenes en 3D, campos activables de forma tridimensional.
El sistema de visualización puede estar situado a distancia con respecto a los medios de posicionamiento y a los sensores de imágenes. 10
Se describirán objetivos y ventajas adicionales de la presente invención con más detalle mediante realizaciones preferentes, haciendo referencia a los dibujos adjuntos, en los que:
la figura 1 es un diagrama funcional de bloques del sistema de manipulación virtual en 3D, según la presente invención;
la figura 2 es una vista en planta de la disposición del sistema, según una realización de la presente invención; 15
las figuras 3A y 3B muestran varios medios de posicionamiento del sistema en forma de varillas, según realizaciones diferentes de la presente invención;
las figuras 4A y 4B muestran diversas gafas 3D utilizadas en el sistema según realizaciones diferentes de la presente invención; y
la figura 5 muestra una imagen tridimensional virtual con campos activables visualizados mediante el sistema de 20 la invención y unos medios de posicionamiento en forma de una varilla, indicando precisamente dicha varilla un campo activable, según una realización de la presente invención.
En la figura 1 se muestra el diagrama funcional de bloques del sistema de manipulación virtual en 3D, según la invención. La localización de la operación a realizar en el espacio virtual se indica en el espacio tridimensional real -10- mediante unos medios de posicionamiento. La posición de los medios de posicionamiento -12- está controlada 25 por medio de un sistema -12- de seguimiento de la posición, y en la instrucción correspondiente se graba la posición -P1- en el espacio real, es decir la localización espacial y, si es necesario, mediante el sistema -12- de seguimiento de la posición, la orientación -O1- de los medios de posicionamiento en el espacio real. La posición en el espacio real y la orientación de los medios de posicionamiento puede ser representada mediante las coordenadas de un sistema arbitrario de coordenadas tal como un sistema de coordenadas ortogonales o un sistema de coordenadas polares. Por 30 posición de los medios de posicionamiento se entiende siempre un punto preferente de los medios de posicionamiento, que habitualmente es uno de sus puntos extremos, y por orientación de los medios de posicionamiento se entiende siempre una dirección espacial determinada, por lo menos, mediante tres puntos preferentes de los medios de posicionamiento. En el caso de que la localización de la realización de una operación no sea puntual, el desplazamiento de los medios de posicionamiento en el espacio real -10- puede ser seguido y grabado de forma continua por medio del 35 sistema -12- de seguimiento de la posición, y de este modo puede asignarse una sección espacial o pista a la operación a realizar, en la que la información sobre la posición y, si es necesario, la información sobre la orientación están asociadas con cada punto de dicha sección o pista. El seguimiento operativo puede ser representado tanto mediante una sección continua como mediante una sección de puntos discontinuos. Con el objeto de complementarla, en la parte siguiente de la descripción se supone que además de la información sobre la posición se graba asimismo información 40 sobre la orientación. El sistema -12- de seguimiento de la posición calcula la posición -P1- en el espacio real y la orientación -O1- de los medios de posicionamiento mediante unos medios de procesamiento -W1- en base a las señales emitidas por las fuentes de señales fijadas a los medios de posicionamiento y detectadas por los sensores de imágenes.
La posición -P1- y la orientación -O1- de los medios de posicionamiento son enviadas por el sistema -12- de seguimiento de la posición a unos medios de procesamiento -W0- que indican la posición -P1- y la orientación 45 -O1- en el espacio real, del espacio real -10- en una posición -P*1- y una orientación -O*1- del espacio tridimensional virtual -16-. Si el espacio real -10- y el espacio virtual -16- coinciden, es decir, el espacio virtual -16- está corregido con respecto al espacio real -10-, la posición -P1- será idéntica a la posición -P*1-, mientras que la orientación -O1- será idéntica a la orientación -O*1-; de este modo se puede trabajar en el espacio virtual -16- de la misma forma como se haría en el espacio real -10-. 50
En el sistema virtual de manipulación en 3D, según la invención, el espacio virtual -16- se visualiza de una forma realista y sin distorsiones mediante un sistema de visualización tridimensional -18- que rastrea continuamente las posiciones -P2L- y -P2R- de los ojos del usuario en el espacio tridimensional real, de tal forma que determina las posiciones -P2L- y -P2R- de los ojos en el espacio tridimensional real mediante la utilización de unos medios de procesamiento -W2- basados en señales emitidas por las fuentes de señales fijadas a la cabeza del usuario y 55 detectadas mediante los sensores de imágenes y, a continuación, estos valores calculados son enviados a unos medios
de procesamiento -W3-. De acuerdo con las posiciones -P2L- y -P2R- de los ojos, los medios de procesamiento -W3- determinan el punto de visión instantáneo -V*- del espacio virtual -16- y generan una imagen estereoscópica -Ist- del espacio virtual -16-. La imagen estereoscópica -Ist- consiste en dos imágenes diferentes, mostrando cada una de ellas de esta manera los objetos del espacio tridimensional virtual -16- tal como pueden ser vistos desde las posiciones -P2L- y -P2R- respectivas de los dos ojos. Esta imagen estereoscópica -Ist- es reproducida por medio del sistema de 5 visualización -18-. Si las posiciones -P2L- y -P2R- de los ojos cambian, el punto de visión -V*- del espacio virtual -16- se ajustará mediante los medios de procesamiento -W3-, de tal manera que la imagen -Ist- reproducida por el sistema de visualización -18- proporcionará siempre un efecto tridimensional realista y sin distorsiones. Esto significa que si el observador se desplaza, por ejemplo hacia la derecha, podrá ver los objetos en el espacio virtual -16- desde la derecha, mientras que si se desplaza, por ejemplo hacia arriba, podrá ver los objetos en el espacio virtual -16- desde encima. 10
Dado que las posiciones -P2L- y -P2R- de los ojos pueden variar, una con respecto a la otra, en el caso de usuarios diferentes debido a sus características anatómicas diferentes, el sistema, según la presente invención, permite ajustar preferentemente el valor utilizado por el sistema para la distancia entre los dos ojos. De este modo, puede hacerse que el espacio tridimensional virtual y el espacio tridimensional real coincidan perfectamente para cada usuario. 15
Tal como se muestra en la figura 1, el sistema virtual de manipulación en 3D puede comprender medios adicionales de procesamiento -Wi- que son utilizados para proporcionar otras funciones opcionales introducidas posteriormente. En lo que antecede y en la parte siguiente de la descripción, los medios de procesamiento -Wi- representan una secuencia de operaciones ejecutada mediante una unidad de procesamiento que habitualmente es un programa informático ejecutado por un procesamientor. No obstante, los medios de procesamiento -Wi- implican 20 asimismo de forma implícita unos medios de equipos para la ejecución de la secuencia de operaciones, por ejemplo, una unidad de procesamiento en la que funciona el programa informático. Debe tenerse en cuenta que ciertos medios de procesamiento -Wi- del sistema pueden estar asociados con la misma unidad de procesamiento.
La idea central del sistema virtual de manipulación en 3D, según la invención, es que la determinación de la localización de puntos en el espacio tridimensional se basa en la teoría de la reconstrucción tridimensional del 25 espacio a partir de imágenes estereoscópicas. Esto significa que tanto la localización espacial de la operación como el punto de visión del usuario están indicados mediante la utilización de una o varias fuentes de señales y que las señales emitidas por las fuentes de señales son detectadas, por lo menos, mediante dos sensores de imágenes dispuestos en lugares diferentes. La localización espacial de las fuentes de señales se determina mediante el procesamiento de las señales detectadas. Mediante la aplicación de más de dos sensores de imágenes puede incrementarse la fiabilidad del 30 sistema global para la determinación espacial de cada fuente de señales, porque puede obtenerse suficiente información espacial sobre las fuentes de señales que quedan ocultas durante la utilización del sistema consiguiendo de este modo un posicionamiento preciso. Para los expertos en la materia es evidente que puede extenderse la reconstrucción del espacio tridimensional basada en una imagen estereoscópica a un posicionamiento tridimensional basado en una serie de imágenes estereoscópicas con la utilización de más de dos sensores de imágenes. 35
En consecuencia, el sistema virtual de manipulación en 3D según la invención, comprende un sistema de seguimiento de la posición en 3D para indicar, en el espacio tridimensional real, la localización de una operación a realizar en el espacio tridimensional virtual, medios para indicar la posición seleccionada en el especio tridimensional real en el espacio virtual, y la realización de la operación en el espacio tridimensional virtual, y un sistema de visualización para visualizar el espacio virtual en 3D. El sistema de seguimiento de la posición en 3D comprende unos 40 medios de posicionamiento dotados, por lo menos, de una fuente de señales, una serie de sensores de imágenes para detectar las señales emitidas, por lo menos, por una de las fuentes de señales de los medios de posicionamiento, y unos medios de procesamiento para determinar la localización en el espacio real de los medios de posicionamiento con respecto a los sensores de imágenes basados en las señales generadas por los sensores de imágenes y la posición de los sensores de imágenes entre sí. La localización espacial de los medios de posicionamiento se determina mediante 45 las señales proporcionadas por los sensores de imágenes en base a la teoría de la reconstrucción tridimensional del espacio a partir de imágenes estereoscópicas. El tipo de la operación a realizar puede ser especificado (seleccionado) de cualquier forma, por ejemplo, mediante su selección en un menú, activando en la pantalla un campo activable, activando un campo activable o un segmento de espacio visualizado en el espacio virtual en 3D, utilizando el teclado, dando instrucciones mediante la voz, etc. La selección de la operación puede ser llevada a cabo antes o después del 50 posicionamiento de la operación. En una realización preferente del sistema según la invención, se selecciona en primer lugar el tipo de operación mediante el desplazamiento de los medios de posicionamiento a una posición determinada, y solo después que se ha indicado la posición de la operación. En otra realización preferente del sistema según la invención, el tipo de operación se especifica desplazando los medios de posicionamiento de una forma predeterminada. En el último caso, los medios de posicionamiento están fijados en el espacio virtual al objeto sometido a una operación y 55 el objeto virtual es manipulado moviéndolo de forma adecuada, por ejemplo, arrastrando, girando, etc., los medios de posicionamiento.
En el sistema virtual de manipulación en 3D según la invención, se utilizan preferentemente fuentes luminosas como fuentes de señales, y como sensores de imágenes se utilizan preferentemente cámaras que graban imágenes en dos dimensiones. Con el objeto de reducir los costes de realización, se utilizan las mismas cámaras en el 60 sistema de seguimiento de la posición y en el sistema de visualización en 3D. No obstante, para los expertos en la
materia es evidente que el sistema de seguimiento de la posición y el sistema de visualización en 3D pueden utilizar sus propias cámaras, y en vez de fuentes luminosas y de cámaras en 2D, se puede utilizar cualquier otro tipo de fuentes de señales y los sensores correspondientes, que sean capaces de determinar la localización exacta de los puntos espaciales. En consecuencia, las señales no están limitadas a señales luminosas, por ejemplo a señales de luz visible o infrarroja, sino que pueden incluir señales de radiofrecuencia, señales de microondas, señales ultrasónicas, etc., aunque 5 la generación y la detección de dichas señales, requiere dispositivos mucho más costosos que los de las señales luminosas.
En caso de utilizar una serie de elementos de posicionamiento al mismo tiempo, en los medios de posicionamiento se utilizan preferentemente fuentes de señales con características diferentes, por ejemplo, fuentes luminosas con colores diferentes. Puede mejorarse substancialmente la fiabilidad del seguimiento de la posición si se 10 utilizan más de dos sensores de imágenes (por ejemplo, cámaras), dado que en dicha configuración, una o varias fuentes de señales ocultas detrás de uno de los sensores de imagen, debido a su ocultación, pueden ser detectadas por todos los demás sensores de imágenes que pueden obtener información espacial suficiente sobre la o las fuentes de señales ocultas para conseguir un posicionamiento preciso.
En la figura 2 se muestra una realización preferente y de bajo coste del sistema virtual -100- de 15 manipulación en 3D según la invención, la cual muestra una vista esquemática, en planta, de la configuración del sistema. El sistema -100- comprende dos cámaras 2D -110-, un dispositivo de visualización -120-, unos medios de posicionamiento -135- equipados con una fuente luminosa -130-, un par de gafas -145- equipadas con fuentes luminosas -140- y un procesamientor (no mostrado) utilizado para el seguimiento de la posición de los medios de posicionamiento para el seguimiento de la posición del punto de visión y como información de retorno al sistema 3D de 20 visualización y, en general, para el funcionamiento de todos los programas informáticos necesarios para la manipulación virtual en 3D. Según la realización mostrada en la figura 1, en el sistema -100- las mismas cámaras -110- son utilizadas para el seguimiento de la posición de la operación y para el seguimiento del punto de visión del usuario. Las cámaras -110- están dispuestas de tal modo que cada una de ellas está fuera del campo de visión de la otra. En este caso, esto significa que las cámaras -110- están por encima del dispositivo de visualización -120- y que están orientadas en 25 sentido transversal hacia abajo hacia el segmento (efectivo) del espacio del usuario. Tal como se muestra por separado en la figura 3A, los medios de posicionamiento -135- están diseñados preferentemente como una varilla con una fuente luminosa -130- dispuesta en un extremo de la misma. La varilla tiene asimismo un pulsador -132- que tiene una función de control. El usuario trabaja con los medios de posicionamiento -135- justo delante de él, en el segmento de espacio entre sus gafas -145- y el dispositivo de visualización -120-. Cada cámara está montada preferentemente sobre un 30 armazón -112- que comprende articulaciones y que está adaptado para trasladarse y girar en direcciones diferentes. Debido a esta construcción, las cámaras -110- pueden estar siempre fijadas en una localización óptima. Las cámaras -110- están dispuestas preferentemente de tal modo que el plano de la pantalla del dispositivo de visualización -120-, las dos fuentes luminosas -140- montadas en las gafas -145- y la fuente luminosa -130- montada en los medios de posicionamiento -135- caen dentro del campo de visión -114- de las mismas. Aunque no se muestra en los dibujos, el 35 sistema -100- comprende asimismo conmutadores y unidades de control del brillo (para ajustar el brillo óptimo) de las fuentes luminosas -130-, -140- así como adaptadores para suministrarles energía desde la red de suministro.
Una realización particularmente preferente del sistema virtual de manipulación en 3D según la invención (no mostrado) comprende cuatro cámaras de gran apertura dispuestas en las cuatro esquinas del dispositivo de visualización, preferentemente integradas en el armazón de la pantalla. 40
En el sistema -100-, mostrado en la figura 2, la posición de las fuentes luminosas está determinada en base a los diferentes fragmentos de información de la imagen proporcionados por las dos cámaras -110- que están adecuadamente situadas y corregidas mediante unos medios de procesamiento -W1- mostrados en la figura 1. Durante este proceso, el campo de visión -114- capturado por las cámaras -110- está representado en un sistema tridimensional de coordenadas ortogonales, asignando de este modo tres coordenadas espaciales a cada punto del espacio 45 tridimensional real. Tal como se ha mencionado anteriormente, además de la localización o posición, un vector de dirección (información sobre la orientación) o cualquier otra información (por ejemplo, un fenómeno, un movimiento, etc.) detectado por las cámaras -110- puede ser asignado también a cada punto del espacio tridimensional real. Dado que solamente se desea detectar las señales luminosas de las fuentes luminosas -130-, -140-, dado que otras señales luminosas del entorno, en particular la luz difusa, producen interferencias, es preferente colocar una unidad hermética a 50 la luz delante del objetivo de cada cámara -110- para filtrar dichas interferencias. La unidad hermética a la luz puede incluir un cristal oscuro, una lámina oscurecida o incluso un complicado dispositivo opto-electrónico o cualquier otro dispositivo adaptado para dejar pasar las señales luminosas de las fuentes de luz -130-, -140-, filtrando sin embargo cualesquiera otras señales que puedan existir en circunstancias naturales. Como alternativa, las cámaras -110- pueden tener un ajuste por defecto para detectar únicamente las señales luminosas de las fuentes de luz -130-, -140-. En este 55 caso, los medios de procesamiento -W1- reciben información solamente sobre la localización de las fuentes luminosas -130-, -140- desde los diferentes puntos de visión de las cámaras -110-. Debido a la utilización de las unidades herméticas a la luz, las imágenes grabadas por las cámaras -110- contienen puntos blancos para las fuentes luminosas, mientras que el fondo es negro. Como la luz emitida por las fuentes luminosas -130-, -140- se difunde en un cierto grado, los contornos de las fuentes luminosas -130-, -140- están algo difuminados en las imágenes grabadas por las 60 cámaras -110-, lo que permite que el programa de procesamiento en base a los diferentes niveles de brillo de los píxeles del contorno, determine la localización de las fuentes luminosas -130-, -140- con mayor precisión que la
resolución real de las cámaras -110-. De este modo, unas cámaras -110- con una resolución incluso de 160 x 120 píxeles son prácticamente adecuadas para determinar una posición con una precisión aceptable.
En una realización alternativa del sistema, según la invención, los medios de posicionamiento comprenden una unidad de vibración que hace vibrar los medios de posicionamiento sostenidos por el usuario en su mano cuando se indica una cierta posición. En esta realización, el sistema comprende asimismo unos medios de 5 procesamiento -W6- (mostrados en la figura 1) que controlan el movimiento de los medios de posicionamiento y, cuando dichos medios de posicionamiento alcanzan una posición predeterminada, pone en funcionamiento la unidad de vibración de los medios de posicionamiento. De manera similar a los medios de posicionamiento, las gafas utilizadas para la visualización en 3D pueden estar también equipadas con dicha unidad vibratoria, cuyo funcionamiento se controla mediante unos medios de procesamiento -W7- (mostrados en la figura 1) de la misma forma que se ha 10 mencionado anteriormente. Los medios vibratorios de posicionamiento son particularmente ventajosos para las personas ciegas y con visión parcial, dado que dichos medios de posicionamiento hacen que los objetos del espacio virtual sean detectables por ellas. Por otra parte, las gafas vibratorias pueden ser útiles, por ejemplo, en juegos virtuales.
Con el objeto de hacer que el espacio tridimensional virtual visualizado mediante el sistema de visualización en 3D sea exactamente coincidente con el espacio tridimensional real utilizado para localizar la operación, 15 debe corregirse el sistema de visualización en 3D. El procedimiento de corrección se lleva a cabo de la forma siguiente. En primer lugar, se ajustan las cámaras -110- de modo que la pantalla del dispositivo de visualización -120- caiga dentro de su campo de visión -114-. A continuación, se desconectan las fuentes luminosas -140- de las gafas -145- y solamente se activa una de las fuentes luminosas -130- de los medios de posicionamiento -135-, preferentemente la que está dispuesta en el extremo de la varilla. En la etapa siguiente, se indican uno tras otro en una secuencia 20 predeterminada una serie de puntos de referencia, por ejemplo las esquinas del dispositivo de visualización -120-, mediante la utilización de los medios de posicionamiento -135-. A continuación se ejecuta un programa informático de corrección para determinar el estado (posición y orientación) de las cámaras -110- con respecto a los puntos de referencia. Después del procedimiento de corrección, se activan todas las fuentes luminosas -130-, -140- y, en base a las dos imágenes grabadas por medio de las dos cámaras -110- y a la posición de las cámaras -110- una con respecto 25 a la otra y con respecto al dispositivo de visualización -120-, los medios de procesamiento -W1- y -W2- (mostrados en la figura 1) calculan la localización espacial de las fuentes luminosas -130-, -140- con el objeto de determinar la posición de los medios de posicionamiento -135- y de las gafas -145- en el espacio tridimensional real. Los valores corregidos asociados con los puntos de referencia son almacenados preferentemente en una memoria no volátil y de este modo el procedimiento de corrección solamente deberá repetirse si la posición y/o la orientación de las cámaras -110- o del 30 dispositivo de visualización -120-, cambian por algún motivo.
En la realización preferente del sistema virtual de manipulación en 3D según la invención, el procedimiento de corrección comprende además las etapas de grabar la disposición espacial de cualesquiera otras fuentes luminosas, en particular las fuentes luminosas de iluminación en el interior del campo de visión de las cámaras -110- y de reproducción de los objetos en el espacio virtual tridimensional, según las condiciones reales de iluminación, 35 mejorando de esta forma todavía más el efecto de realidad.
Mediante el montaje de más de una fuente luminosa en un dispositivo, como en el caso de las gafas -145-, puede determinarse asimismo la orientación de dicho dispositivo. En consecuencia, en una realización alternativa del sistema -100- según la invención, tal como se muestra en la figura 3B, los medios de posicionamiento -135- son utilizados en forma de una varilla con una serie de fuentes luminosas -130- dispuestas en un extremo de la misma. 40 Preferentemente, se utilizan cuatro fuentes luminosas -130- que están dispuestas en los cuatro vértices de un tetraedro imaginario. Mediante la utilización de unos medios de posicionamiento -135- de este tipo, no solamente puede indicarse la posición espacial, sino también la orientación de la operación a realizar dependiendo del tipo de operación. Por ejemplo, si se debe hacer girar un cubo en el espacio tridimensional virtual mediante el desplazamiento de una de sus esquinas, después de seleccionar la esquina puede fijarse la dirección de rotación mediante la alineación de la varilla 45 utilizada como medio de posicionamiento -135- en la dirección deseada.
El dispositivo de visualización -120- del sistema -100- es un dispositivo de visualización que reproduce dos imágenes diferentes, es decir, una imagen estereoscópica para los dos ojos en su pantalla. Para detectar el efecto espacial se necesitan unas gafas especiales -145- para la separación de imágenes, cuyo tipo está básicamente definido por el método de generación de imágenes. En el caso en que en la pantalla se visualicen dos imágenes de color 50 diferente para los dos ojos de forma simultánea, debe utilizarse un par de gafas -145- que separen los diferentes colores de la pantalla para el ojo izquierdo y para el ojo derecho. Sin embargo, si en la pantalla se visualizan dos imágenes de polaridad distinta para los dos ojos de forma simultánea, debe utilizarse un par de gafas -145- que separen las imágenes de la pantalla, polarizadas de una forma diferente para el ojo izquierdo y para el ojo derecho. Además, el dispositivo de visualización puede reproducir las imágenes de forma alternativa para el ojo izquierdo y para el ojo 55 derecho a una frecuencia predeterminada, en cuyo caso un par de gafas -145- obtura de forma alternativa un ojo tras otro de forma sincronizada con la alternancia de las imágenes. Son las denominadas gafas de obturación).
Cuando se utiliza cualquiera de las gafas -145- mencionadas anteriormente para la visualización en 3D, las dos fuentes luminosas -140- están montadas preferentemente sobre las gafas -145-, de manera que estén a la misma distancia de un eje central -146- de las gafas -145-, tal como se muestra en la figura 4A. En este caso las 60
posiciones de los ojos se determinan en base a las posiciones de las fuentes luminosas -140- en el espacio tridimensional real. Para calcular la localización exacta del punto de visión del espacio virtual, es preferente que las dos fuentes luminosas -140- estén fijadas a las gafas -145- de tal modo que estén situadas sobre una línea recta imaginaria que conecta los dos ojos (más concretamente, las dos pupilas). Tal como se muestra en la figura 4A, las fuentes luminosas -140- de las gafas -145- están montadas en elementos salientes de soporte con el objeto de evitar que estén 5 en un estado de ocultación con respecto a las cámaras -110- cuando el usuario gira un poco la cabeza.
Tal como se muestra en la figura 4B, en las gafas -145- puede montarse una tercera fuente luminosa -141- a lo largo del eje central -146- de la gafas -145-. La aplicación de la tercera fuente luminosa -141- permite detectar, mediante los sensores de imagen (por ejemplo, mediante las cámaras -110-), la rotación de las gafas -145- alrededor de un eje definido por las dos fuentes luminosas -140- y dicho movimiento de rotación puede ser interpretado 10 como una instrucción mediante unos medios de procesamiento -W4- (mostrados en la figura 1). Por ejemplo, si se inclina antes la cabeza, es decir, se desplaza la fuente luminosa -141- manteniendo las otras dos fuentes luminosas -140- en posición, este movimiento puede ser interpretado como un tipo de movimiento a realizar en el espacio tridimensional virtual. Dicho movimiento puede ser, por ejemplo, ir hacia adelante o girar hacia abajo. En el caso en que el movimiento de la fuente luminosa -141- represente un tipo de movimiento en el espacio tridimensional virtual, los 15 medios de procesamiento -W4- envían una instrucción a los medios de procesamiento -W3- para cambiar la imagen a visualizar en la pantalla según dicho tipo de movimiento, permitiendo de este modo la navegación en el espacio tridimensional virtual. Tal como se muestra en la figura 4B, cuando se aplican tres fuentes luminosas -140-, -141-, no es necesario disponer las fuentes luminosas marginales -140- a una cierta distancia de las gafas -145-, dado que, por lo menos, dos de las tres fuentes luminosas -140-, -141- son casi siempre visibles para las dos cámaras -110-. En 20 consecuencia, las dos fuentes luminosas marginales -140- no tienen que estar situadas sobre la línea recta imaginaria que conecta las pupilas, es decir, pueden estar montadas directamente sobre las gafas -145- delante de las pupilas, más próximas a la pantalla, o incluso por encima o por debajo de las pupilas. En dichas configuraciones, las tres fuentes luminosas -140-, -141- montadas en las gafas -145- determinan la localización, es decir, la posición y la orientación de las gafas -145- de una forma sin ambigüedades y por consiguiente, puede calcularse la localización real de las pupilas a 25 partir de la localización y la forma de las gafas -145-.
Si el espacio tridimensional virtual y el espacio tridimensional real coinciden en el sistema virtual de manipulación en 3D, según la invención, será posible seleccionar la operación deseada mediante el sistema de visualización. Con el objeto de poner en práctica dicho sistema, la imagen visualizada por el sistema de visualización debería contener campos activables, teniendo cada uno de ellos una función predeterminada. Como el sistema de 30 visualización es capaz de visualizar imágenes tridimensionales, la operación a realizar puede ser seleccionada mediante una indicación (por ejemplo, acercando, tocando, cruzando, etc.) un campo puntual, de dos dimensiones o de tres dimensiones en el espacio tridimensional virtual. En consecuencia, el sistema para seleccionar una operación mediante el sistema de visualización comprende un sistema para visualizar imágenes que tiene campos activables con unas funciones predeterminadas y un sistema de seguimiento de la posición que comprende medios de posicionamiento 35 dotados, por lo menos, de una fuente luminosa, una serie de sensores de imagen para detectar las señales luminosas emitidas, por lo menos, por la única fuente luminosa de los medios de posicionamiento, y unos medios de procesamiento -W1- (mostrados en la figura 1) para determinar la posición en el espacio real de los medios de posicionamiento con respecto a los sensores de imagen en base a las señales generadas por los sensores de imagen y la posición de los sensores de imagen, los unos con respecto a los otros. El sistema para seleccionar una operación 40 comprende además unos medios de procesamiento -W5- (mostrados en la figura 1) para activar el campo asociado con la posición indicada en la imagen visualizada por medio del sistema de visualización, en el que la expresión “activación de un campo” representa la realización de la operación asignada a dicho campo. Los medios de procesamiento -W1- y -W5- son preferentemente programas informáticos que funcionan en el mismo procesamientor. Por medio del sistema presentado anteriormente, puede crearse una “pantalla táctil” espacial que, utilizando un sistema de visualización en 3D, 45 permite definir uno o varios planos o segmentos de espacio en el espacio tridimensional virtual, teniendo cada uno de ellos uno o varios campos activables puntuales, y/o de dos dimensiones, y/o de tres dimensiones, teniendo cada campo una función predeterminada asignada al mismo. Por ejemplo, la figura 5 muestra una pantalla táctil tridimensional -200- que visualiza varios interfases de usuario -210- en forma de planos en el espacio tridimensional virtual, en el que los interfases de usuario -210- comprenden campos activables -220- en su periferia (sombreados en gris claro en la figura 50 5). El campo -222- indicado, asociado con la operación o función seleccionada (sombreado en gris oscuro en la figura 5) puede ser activado aproximándose o tocando el espacio tridimensional virtual con los medios de posicionamiento -135-.
Cuando el sistema de visualización está adaptado para visualizar imágenes idénticas en 2D para los dos ojos y los medios de procesamiento -W5- están adaptados para activar un campo únicamente cuando los medios de posicionamiento están en una posición próxima a la pantalla, el sistema de selección puede ser utilizado como una 55 pantalla táctil convencional de 2D sin necesidad de hacer que la propia pantalla sea sensible al tacto físico. Dicha pantalla táctil substancialmente plana requiere una configuración sencilla del equipo consistente en un dispositivo convencional de visualización, dos cámaras sencillas de ordenador (cámaras web) y unos medios de posicionamiento preferentemente en forma de varilla con una fuente luminosa. En dicha configuración no hay necesidad de gafas 3D.
En una realización preferente de la pantalla táctil de 2D, los medios de procesamiento -W5- controlan 60 asimismo la distancia entre los medios de posicionamiento y la pantalla. Si los medios de posicionamiento se acercan a más de una distancia predeterminada de la pantalla, el cursor de la pantalla saltará al campo activable correspondiente
a la posición de los medios de posicionamiento. Además, si los medios de posicionamiento se aproximan a la pantalla todavía más cerca que la distancia predeterminada mencionada anteriormente, los medios de procesamiento -W5- activarán el campo respectivo y realizarán la operación asignada a dicho campo. En una realización alternativa de la pantalla táctil de 2D, los campos activables adicionales pueden ser definidos en el espacio exterior a la pantalla. Por ejemplo, desplazando los medios de posicionamiento por encima y/o hacia el lado derecho de la pantalla, puede salirse 5 de una aplicación, por ejemplo, Windows, mientras que desplazando los medios de posicionamiento hacia abajo y/o hacia el lado izquierdo de la pantalla, puede solicitarse un menú para el reglaje de la pantalla táctil de 2D.
La pantalla táctil virtual en 3D presentada anteriormente (o la pantalla táctil en 2D en un caso especial) permite indicar el campo activable de la imagen visualizada mediante los medios de posicionamiento, no solo en el propio emplazamiento o en un entorno próximo a la visualización, sino también en un lugar alejado. Dichas realizaciones 10 no forman parte de la invención pero representan unos antecedentes técnicos que son útiles para una mejor comprensión de la invención. Es evidente que en dicha situación, el espacio tridimensional real utilizado para el seguimiento de la posición y el lugar de visualización de las imágenes en 3D o en 2D son físicamente separables. Para activar a distancia los campos activables de una imagen, los medios de posicionamiento comprenden una serie de fuentes luminosas, preferentemente cuatro fuentes luminosas, por motivos de una detección de una imagen fiable. Los 15 medios de procesamiento -W1- calculan tanto la posición en el espacio real como la orientación en el espacio real de los medios de posicionamiento con respecto a los sensores de imagen, y los medios de procesamiento -W5- activan el campo de la imagen correspondiente a dicha posición y orientación. Dicha indicación a distancia hace posible, por ejemplo, manipular una imagen proyectada para la audiencia de una presentación desde una cierta distancia, o manipular una imagen visualizada en un emplazamiento distante a través de Internet. Debe tenerse en cuenta que, en el 20 caso de la indicación a distancia es forzosamente necesario corregir el sistema de visualización, durante el cual deben asignarse puntos de referencia seleccionados del sistema de visualización a los respectivos puntos de referencia del espacio utilizado para el seguimiento de la posición.
El sistema virtual de manipulación en 3D, según la invención, es particularmente ventajoso debido al hecho de que puede ser utilizado prácticamente en todos los campos en los que se necesitan o se prefieren 25 operaciones en el espacio virtual, por ejemplo, en el arte, la ciencia, la educación, el ocio, etc., así como en el diseño, la conformación posterior o el torneado de objetos. En el espacio tridimensional virtual, puede conformarse libremente cualquier tipo de superficie plana o espacial, puede seleccionarse el material virtual de una superficie en la que el material puede incluir madera, piedra, plastilina, yeso, metal, etc., e incluso puede cambiarse el material virtual durante el proceso de conformación. Otra ventaja del sistema, según la invención, es el coste notablemente reducido y la 30 manera fácil de su puesta en práctica y de su funcionamiento. El sistema virtual de manipulación en 3D, según la invención, permite, por ejemplo, la animación de formas, la medición de formas, la realización de ensayos, etc. Además, puede iniciarse de forma inmediata un trabajo creativo creando espacialmente la forma deseada sin necesidad de preparar un esquema en un plano y transformarlo luego en tridimensional. De este modo el trabajo creativo requiere substancialmente un tiempo y unos costes menores. En general, el sistema, según la invención, es ventajoso en todos 35 los campos en los que es beneficiosa la realización de operaciones en el espacio virtual.
Es particularmente ventajoso utilizar el sistema virtual de manipulación en 3D, según la invención, junto con un sistema real de manipulación en 3D, como un brazo robotizado, un aparato automático, una máquina herramienta, etc. utilizados en un proceso tecnológico, o un manipulador quirúrgico. En estas aplicaciones, una operación a realizar en el espacio real puede ser realizada primero en el espacio virtual, y si el resultado en el espacio 40 virtual es satisfactorio, el dispositivo de accionamiento del sistema real de manipulación en 3D puede ser instruido para realizar la operación en la realidad. Por ejemplo, si una pieza debe ser torneada para obtener una forma óptima, pueden prepararse varias formas tridimensionales y ser ensayadas mediante un programa de simulación en el espacio virtual, y cuando se encuentra la forma óptima, puede fabricarse inmediatamente en un torno la pieza real con la forma óptima al enviarle las instrucciones correspondientes para hacerlo. 45
El sistema para seleccionar una operación mediante un sistema de visualización, según la presente invención, es particularmente ventajoso, porque comprende dispositivos de un coste excepcionalmente reducido y permite evitar la utilización de costosas pantallas sensibles al tacto. Además, permite indicar un campo con una función incluso en el espacio tridimensional virtual. Otra ventaja de este sistema es que el emplazamiento de la visualización puede estar alejado del emplazamiento de seguimiento de la posición y los campos activables de la imagen remota 50 pueden ser activados asimismo vía Internet.

Claims (31)

  1. REIVINDICACIONES
  2. 1. Sistema para la realización de una operación en un espacio tridimensional virtual, comprendiendo el sistema
    - un sistema de visualización (18) para visualizar el espacio tridimensional virtual;
    - un sistema (12) de seguimiento de la posición en 3D para indicar en el espacio tridimensional real (10) la 5 posición (P1) de la operación a realizar en el espacio tridimensional virtual (16), comprendiendo dicho sistema (12) de seguimiento de la posición en 3D unos medios de posicionamiento (135) dotados, por lo menos, de una fuente de señales (130), por lo menos, de dos sensores de imágenes (110) para detectar las señales emitidas por la, por lo menos una, fuente de señales (130) de los medios de posicionamiento (135) y unos primeros medios (W1) para determinar la posición (P1) en el espacio real de los medios de posicionamiento (135) con 10 respecto a los sensores de imagen (110), en base a las señales generadas por los sensores de imagen (110) y a la localización espacial de los sensores de imagen (110) uno con respecto al otro, y
    - medios (W0) para indicar la posición (P1) del espacio tridimensional real (10) en el espacio tridimensional virtual (16) y realizar la operación en la posición indicada (P*1), caracterizado porque el sistema de visualización (18) para visualizar el espacio tridimensional virtual comprende: 15
    - medios para reproducir imágenes tridimensionales;
    - por lo menos, dos fuentes de señales luminosas (140) dispuestas en una posición fija con respecto a los ojos del usuario;
    - por lo menos, dos sensores de imágenes (110) para detectar las señales emitidas por las fuentes de señales (140); 20
    - unos segundos medios (W2) para determinar las posiciones en el espacio real (P2L, P2R) de los ojos del usuario en base a las señales generadas por los sensores de imágenes (110) del sistema de visualización (18); y
    - unos terceros medios (W3) para determinar el punto de visión (V*) del espacio tridimensional virtual en base a las posiciones (P2L, P2R) proporcionadas por los segundos medios (W2) y que generan para cada ojo una imagen correspondiente a una coincidencia del espacio tridimensional real (10) y el espacio tridimensional virtual (16). 25
  3. 2. Sistema, según la reivindicación 1, en el que los medios de posicionamiento (135) tienen la forma de una varilla con una fuente de señales dispuesta, por lo menos, en su extremo.
  4. 3. Sistema, según la reivindicación 1 ó 2, en el que los medios de posicionamiento (135) comprenden un pulsador (132) para indicar la posición.
  5. 4. Sistema, según cualquiera de las reivindicaciones 1 a 3, en el que los medios de posicionamiento 30 (135) comprenden cuatro fuentes de señales.
  6. 5. Sistema, según cualquiera de las reivindicaciones 1 a 4, en el que
    - los medios para la reproducción de imágenes tridimensionales comprenden un dispositivo de visualización que reproduce imágenes diferentes (Ist) para el ojo izquierdo y para el ojo derecho del usuario y el correspondiente par de gafas (145) para la separación de imágenes; y 35
    - las fuentes de señales dispuestas en una posición fija con respecto a los ojos del usuario están fijadas a dicho par de gafas (145).
  7. 6. Sistema, según la reivindicación 5, en el que dos fuentes de señales están fijadas a dicho par de gafas (145), estando situadas dichas fuentes de señales en una línea recta imaginaria que conecta las pupilas, a la misma distancia de un eje central (146) de dicho par de gafas (145). 40
  8. 7. Sistema, según la reivindicación 5, en el que una tercera fuente de señales está fijada adicionalmente a dicho par de gafas (145), a lo largo del eje central (146) de dicho par de gafas (145).
  9. 8. Sistema, según cualquiera de las reivindicaciones 5 a 7, en el que el sistema comprende además unos cuartos medios (W4) para indicar la posición y/o la orientación de dicho par de gafas (145) y/o cambios en las mismas en una instrucción operativa. 45
  10. 9. Sistema, según la reivindicación 8, en el que la instrucción operativa es un movimiento a realizar en el espacio tridimensional virtual (16).
  11. 10. Sistema, según cualquiera de las reivindicaciones 1 a 9, en el que las fuentes de señales son fuentes luminosas (130, 140, 141) que emiten luz visible.
  12. 11. Sistema, según cualquiera de las reivindicaciones 1 a 9, en el que las fuentes de señales son fuentes luminosas (130, 140, 141) que emiten luz infrarroja.
  13. 12. Sistema, según las reivindicaciones 10 ó 11, en el que la intensidad de las fuentes luminosas (130, 140, 141) es regulable.
  14. 13. Sistema, según cualquiera de las reivindicaciones 1 a 12, en el que se utilizan los mismos 5 sensores de imágenes (110) en el sistema de seguimiento (12) de la posición en 3D y en el sistema (18) para la visualización del espacio virtual en 3D.
  15. 14. Sistema, según cualquiera de las reivindicaciones 1 a 13, en el que los sensores de imágenes son cámaras (110) que graban imágenes en 2D.
  16. 15. Sistema, según la reivindicación 14, en el que cada cámara (110) comprende una unidad 10 hermética a la luz para impedir la incidencia de la luz difusa del entorno.
  17. 16. Sistema, según la reivindicación 4, en el que los primeros medios (W1) están adaptados para determinar tanto la posición en el espacio real (P1) como la orientación en el espacio real (O1) de los medios de posicionamiento (135) con respecto a los sensores de imágenes.
  18. 17. Sistema, según la reivindicación 5, en el que 15
    - el dispositivo de visualización está adaptado para reproducir imágenes de colores diferentes para ambos ojos de forma simultánea; y
    - dicho par de gafas (145) está adaptado para separar los colores diferentes visualizados para el ojo izquierdo y para el ojo derecho del usuario.
  19. 18. Sistema, según la reivindicación 5, en el que 20
    - el dispositivo de visualización está adaptado para reproducir imágenes de polaridad diferente para ambos ojos de forma simultánea; y
    - dicho par de gafas (145) está adaptado para separar las imágenes polarizadas de forma diferente para el ojo izquierdo y para el ojo derecho del usuario.
  20. 19. Sistema, según la reivindicación 5, en el que 25
    - el dispositivo de visualización está adaptado para reproducir imágenes diferentes para ambos ojos de forma alternativa con una frecuencia predeterminada; y
    - dicho par de gafas (145) está adaptado para hacer pasar las imágenes alternativas del dispositivo de visualización, de forma alternativa para el ojo izquierdo y para el ojo derecho del usuario de una forma sincronizada. 30
  21. 20. Sistema, según cualquiera de las reivindicaciones 1 a 19, en el que
    - los medios de posicionamiento (135) comprenden además una unidad de vibración; y
    - el sistema comprende además unos sextos medios (W6) para poner en funcionamiento la unidad de vibración de los medios de posicionamiento (135) cuando los medios de posicionamiento (135) llegan a una posición predeterminada (P1). 35
  22. 21. Sistema, según cualquiera de las reivindicaciones 5 a 20, en el que
    - dicho par de gafas (145) comprende además una unidad de vibración; y
    - el sistema comprende además unos séptimos medios (W7) para poner en funcionamiento la unidad de vibración de dicho par de gafas (145) cuando los medios de posicionamiento (135) llegan a una posición predeterminada (P2). 40
  23. 22. Método para llevar a cabo una operación en un espacio tridimensional virtual, comprendiendo el método las etapas de:
    - visualizar un espacio tridimensional virtual (16);
    - indicar, mediante el posicionamiento en el espacio tridimensional real (10), la posición (P1) de la operación a realizar en el espacio tridimensional virtual (16), en el que dicho posicionamiento comprende las etapas de 45 desplazar, por lo menos, una fuente de señales (130) fijada a unos medios de posicionamiento (135) a una posición seleccionada (P1) del espacio tridimensional real (10), detectando las señales emitidas, por lo menos,
    por una fuente de señales (130), estando en la posición seleccionada (P1) mediante la utilización, por lo menos, de dos sensores de imágenes (110) y determinando la posición en el espacio real (P1) de los medios de posicionamiento (135) con respecto a los sensores de imágenes (110) en base a las señales generadas por los sensores de imágenes (110) y a la posición espacial de los sensores de imágenes (110), uno con respecto al otro; 5
    - indicar la posición (P1) del espacio tridimensional real (10) en una posición (P*1) del espacio tridimensional virtual (16); y
    - realizar la operación en el espacio tridimensional virtual (16) en la posición indicada (P*1);
    caracterizado porque el espacio tridimensional (16) se visualiza mediante un sistema de visualización que comprende:
    - medios para reproducir imágenes tridimensionales; 10
    - por lo menos, dos fuentes de señales (140) dispuestas en una posición fija con respecto a los ojos del usuario;
    - por lo menos, dos sensores de imágenes (110) para detectar las señales emitidas por las fuentes de señales (140);
    - unos segundos medios (W2) para determinar las posiciones en el espacio real (P2L, P2R) de los ojos del usuario en base a las señales generadas mediante los sensores de imágenes (110) del sistema de visualización (18); y 15
    - unos terceros medios (W3) para determinar el punto de visión (V*) del espacio tridimensional virtual en base a las posiciones (P2L, P2R) proporcionadas por los segundos medios (W2) y produciendo para cada ojo una imagen correspondiente a la coincidencia del espacio tridimensional real (10) y el espacio tridimensional virtual (16).
  24. 23. Método, según la reivindicación 22, en el que como fuente de señales se utiliza una fuente luminosa (130) que emite luz visible. 20
  25. 24. Método, según la reivindicación 22, en el que como fuente de señales se utiliza una fuente luminosa que emite luz infrarroja.
  26. 25. Método, según cualquiera de las reivindicaciones 22 a 24, en el que como sensores de imágenes se utilizan cámaras (110) que graban imágenes en 2D.
  27. 26. Método, según cualquiera de las reivindicaciones 22 a 25, en el que los medios de 25 posicionamiento (135) está dotados, por lo menos, de dos fuentes de señales y se determinan tanto la posición en el espacio real (P1) como la orientación (O1) de los medios de posicionamiento (135) con respecto a los sensores de imágenes.
  28. 27. Método, según la reivindicación 26, en el que los medios de posicionamiento (135) están dotados de cuatro fuentes luminosas (130). 30
  29. 28. Método, según cualquiera de las reivindicaciones 22 a 27, en el que se utilizan los mismos sensores de imágenes para visualizar el espacio tridimensional virtual (16) y para el posicionamiento.
  30. 29. Método, según cualquiera de las reivindicaciones 22 a 28, en el que la etapa de posicionamiento comprende la indicación de una posición puntual en el espacio tridimensional real (10).
  31. 30. Método, según cualquiera de las reivindicaciones 22 a 29, en el que la etapa de posicionamiento 35 comprende la indicación de una sección continua en el espacio tridimensional real (10).
ES05748262T 2004-05-24 2005-05-24 Sistema y metodo para su funcionamiento en el espacio virtual 3d. Expired - Lifetime ES2354985T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
HU0401034 2004-05-24
HU0401034A HU0401034D0 (en) 2004-05-24 2004-05-24 System of three dimension induting computer technology, and method of executing spatial processes

Publications (1)

Publication Number Publication Date
ES2354985T3 true ES2354985T3 (es) 2011-03-21

Family

ID=89982238

Family Applications (1)

Application Number Title Priority Date Filing Date
ES05748262T Expired - Lifetime ES2354985T3 (es) 2004-05-24 2005-05-24 Sistema y metodo para su funcionamiento en el espacio virtual 3d.

Country Status (8)

Country Link
US (1) US8094120B2 (es)
EP (1) EP1763731B1 (es)
JP (1) JP4871270B2 (es)
AT (1) ATE485556T1 (es)
DE (1) DE602005024268D1 (es)
ES (1) ES2354985T3 (es)
HU (1) HU0401034D0 (es)
WO (1) WO2005116809A2 (es)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150094A1 (en) * 2005-12-23 2007-06-28 Qingfeng Huang System and method for planning and indirectly guiding robotic actions based on external factor tracking and analysis
DE102006015349A1 (de) * 2006-04-03 2007-10-11 Siemens Ag Medizinisches Navigations- und Ortungssystem enthaltend ein Bediensystem und Verfahren zur Bedienung
US8848044B2 (en) * 2007-01-26 2014-09-30 Nec Corporation Image processing apparatus, method, program and display
JP2008219788A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
US8159458B2 (en) * 2007-12-13 2012-04-17 Apple Inc. Motion tracking user interface
US7554564B1 (en) 2008-07-30 2009-06-30 International Business Machines Corporation Method of utilizing a 2-dimensional display screen as a 3-dimensional multi-way rocker for pivoting an image displayed thereon and for revealing a hidden panel in relation to the image displayed thereon
US7567220B1 (en) 2008-07-30 2009-07-28 International Business Machines Corporation Method of using a video conferencing system including at least two 2-dimensional display screens to implement a common virtual surface
US7577913B1 (en) 2008-07-30 2009-08-18 International Business Machines Corporation Method of using a fovea type pointer in a video conferencing system including at least two 2-dimensional display screens forming a common virtual surface
HUP0800490A2 (en) * 2008-08-01 2010-05-28 Elipszilon Kulturalis Szolgalt System and method for detecting spatial position
JP5262681B2 (ja) * 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US8271888B2 (en) * 2009-01-23 2012-09-18 International Business Machines Corporation Three-dimensional virtual world accessible for the blind
HUP0900109A2 (en) * 2009-02-24 2010-08-30 3D For All Szamitastechnikai F 3d marker for computer system
US8552980B2 (en) 2009-04-30 2013-10-08 Gregory A. Shaver Computer input devices and associated computing devices, software, and methods
TW201041392A (en) * 2009-05-05 2010-11-16 Unique Instr Co Ltd Multi-view 3D video conference device
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
KR101624505B1 (ko) * 2009-09-24 2016-05-26 삼성전자주식회사 3-ｄ 포인팅 감지 장치 및 방법
KR101313797B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
TWI406694B (zh) * 2010-02-01 2013-09-01 Pixart Imaging Inc 應用於３ｄ互動系統之互動模組及其方法
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
EP2558924B1 (en) * 2010-04-13 2021-06-09 Nokia Technologies Oy Apparatus, method and computer program for user input using a camera
JP5704833B2 (ja) 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
EP2615526A4 (en) * 2010-09-06 2015-03-04 Sharp Kk DISPLAY SYSTEM AND DETECTION METHOD
JP4951102B2 (ja) * 2010-09-08 2012-06-13 株式会社東芝 通知システム、シャッターメガネ、及び通知方法
JP5336665B2 (ja) * 2010-10-07 2013-11-06 株式会社ソニー・コンピュータエンタテインメント ３−ｄメガネと、カメラベースの頭部トラッキング
JP5512485B2 (ja) * 2010-10-12 2014-06-04 シャープ株式会社 ３ｄ表示装置、３ｄメガネ、及び３ｄ表示装置の映像伝達方法
US9354718B2 (en) 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
US8879830B2 (en) * 2011-01-18 2014-11-04 Hisense Hiview Tech Co., Ltd. Control method and apparatus for stereoscopic display
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
WO2013098567A1 (en) 2011-12-28 2013-07-04 Femtonics Kft. Method for the 3-dimensional measurement of a sample with a measuring system comprising a laser scanning microscope and such measuring system
WO2014141504A1 (ja) 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
WO2014162762A1 (ja) * 2013-04-02 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
US10652525B2 (en) 2013-10-31 2020-05-12 3Di Llc Quad view display system
US9986228B2 (en) * 2016-03-24 2018-05-29 3Di Llc Trackable glasses system that provides multiple views of a shared display
US9883173B2 (en) 2013-12-25 2018-01-30 3Di Llc Stereoscopic display
US11343487B2 (en) * 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US10303242B2 (en) 2014-01-06 2019-05-28 Avegant Corp. Media chair apparatus, system, and method
US10409079B2 (en) 2014-01-06 2019-09-10 Avegant Corp. Apparatus, system, and method for displaying an image using a plate
EP3242274B1 (en) * 2014-12-31 2020-04-15 Alt Limited Liability Company Method and device for displaying three-dimensional objects
US9823474B2 (en) 2015-04-02 2017-11-21 Avegant Corp. System, apparatus, and method for displaying an image with a wider field of view
US9995857B2 (en) 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
EP3163358B1 (de) * 2015-10-29 2018-03-28 X-Rite Switzerland GmbH Visualisierungsvorrichtung
KR101855778B1 (ko) 2016-12-06 2018-05-09 현대자동차 주식회사 가상 마킹을 이용한 차체 결함 제거 방법, 및 시스템
JP2022126206A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20230349690A1 (en) * 2022-04-29 2023-11-02 Inuitive Ltd. Portable Device Comprising an Optical Depth Sensor
CN115657601B (zh) * 2022-11-11 2025-01-07 上海交通大学 基于空间位置的加工状态信息融合系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986643A (en) * 1987-03-24 1999-11-16 Sun Microsystems, Inc. Tactile feedback mechanism for a data processing system
US5821989A (en) * 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JP3017353B2 (ja) * 1992-02-14 2000-03-06 株式会社データストリーム コンピュータ多次元位置データ入力装置
US6037914A (en) * 1997-08-25 2000-03-14 Hewlett-Packard Company Method and apparatus for augmented reality using a see-through head-mounted display
JPH11195131A (ja) * 1997-12-26 1999-07-21 Canon Inc 仮想現実方法及び装置並びに記憶媒体
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6801637B2 (en) * 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
JP2000102036A (ja) 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2000182058A (ja) * 1998-12-18 2000-06-30 Canon Inc 三次元運動入力方法及び三次元運動入力システム
JP2000271342A (ja) * 1999-03-26 2000-10-03 Sony Corp 位置情報発信装置およびこれを使用した仮想空間映像表示装置
US6424410B1 (en) * 1999-08-27 2002-07-23 Maui Innovative Peripherals, Inc. 3D navigation system using complementary head-mounted and stationary infrared beam detection units
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
DE10106850A1 (de) 2001-02-14 2002-09-05 Moritz Muenchmeyer Steuerungseinheit für räumliche Anwendungen am Computer
JP2002318652A (ja) * 2001-04-20 2002-10-31 Foundation For Nara Institute Of Science & Technology 仮想入力装置およびプログラム
US6975304B1 (en) * 2001-06-11 2005-12-13 Handspring, Inc. Interface for processing of an alternate symbol in a computer device
US6597443B2 (en) * 2001-06-27 2003-07-22 Duane Boman Spatial tracking system
JP3805231B2 (ja) * 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
DE10203992A1 (de) 2002-01-31 2003-08-14 Deutsch Zentr Luft & Raumfahrt Eingabeeinrichtung
KR20030075399A (ko) 2002-03-18 2003-09-26 주식회사 소프트로닉스 모션마우스 시스템 및 방법
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera

Also Published As

Publication number Publication date
EP1763731B1 (en) 2010-10-20
ATE485556T1 (de) 2010-11-15
JP2008500624A (ja) 2008-01-10
US8094120B2 (en) 2012-01-10
WO2005116809A2 (en) 2005-12-08
DE602005024268D1 (de) 2010-12-02
WO2005116809A3 (en) 2006-04-06
HU0401034D0 (en) 2004-08-30
US20070252832A1 (en) 2007-11-01
EP1763731A2 (en) 2007-03-21
JP4871270B2 (ja) 2012-02-08

Similar Documents

Publication Publication Date Title
ES2354985T3 (es) Sistema y metodo para su funcionamiento en el espacio virtual 3d.
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
ES2343145T3 (es) Aparato de visualizacion de imagenes y procedimiento de correccion de distorsion de imagen para el mismo.
JP3900446B2 (ja) 画像表示方法及び装置
JP6824279B2 (ja) インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
ES2802536T3 (es) Filtro de opacidad para pantalla transparente montada en la cabeza
JP7847139B2 (ja) 再帰反射を利用した空中イメージング
JP3575622B2 (ja) 正確な立体三次元画像を発生する装置および方法
JP3247126B2 (ja) 可搬型可視表示装置を提供する方法並びに装置
JP6165170B2 (ja) ３次元ディスプレイシステム
JP4901539B2 (ja) 立体映像表示システム
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US20100309097A1 (en) Head mounted 3d display
CN111399633B (zh) 针对眼球追踪应用的校正方法
ES2746448T3 (es) Realidad mediada
JPH05127809A (ja) 三次元空間座標入力装置
CN113227884A (zh) 用于游乐乘坐设施的增强现实系统
CN108541323A (zh) 图像显示装置
JP4413203B2 (ja) 画像呈示装置
WO2005124450A1 (ja) 展示装置
JP4715719B2 (ja) 映像表示システム
TWI710250B (zh) 針對眼球追蹤應用之校正方法
CN120217714B (zh) 一种飞行模拟混合现实显示系统
JP6944921B2 (ja) リアルタイムに外見上の変化を生じる構造体
JP2001318664A (ja) 映像表示システム