ES2716012B2 - Sistema y metodo de interaccion en entornos virtuales utilizando dispositivos hapticos - Google Patents
Sistema y metodo de interaccion en entornos virtuales utilizando dispositivos hapticos Download PDFInfo
- Publication number
- ES2716012B2 ES2716012B2 ES201830941A ES201830941A ES2716012B2 ES 2716012 B2 ES2716012 B2 ES 2716012B2 ES 201830941 A ES201830941 A ES 201830941A ES 201830941 A ES201830941 A ES 201830941A ES 2716012 B2 ES2716012 B2 ES 2716012B2
- Authority
- ES
- Spain
- Prior art keywords
- zoom
- scene
- virtual scene
- virtual
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Description
DESCRIPCIÓN
SISTEMA Y MÉTODO DE INTERACCIÓN EN ENTORNOS VIRTUALES UTILIZANDO
DISPOSITIVOS HÁPTICOS
CAMPO DE LA INVENCIÓN
El objeto de la invención se enmarca en el campo de la informática, más concretamente en el de los dispositivos hápticos y la simulación virtual.
ANTECEDENTES DE LA INVENCIÓN
Las técnicas diseñadas para controlar la interacción mediante dispositivos hápticos se pueden clasificar en tres grupos atendiendo a su modo de funcionamiento: basadas en control de posición, basadas en control de velocidad y técnicas híbridas. En primer lugar, las técnicas basadas en el control de posición se sirven de la posición del efector final del dispositivo háptico -dentro del espacio de trabajo físico- para, consecuentemente, situar su avatar virtual. En segundo lugar, las técnicas basadas en control de velocidad desplazan el avatar virtual en concordancia a la desviación del efector final y con respecto al centro del espacio de trabajo, como si de un joystick se tratara. Por último, las técnicas híbridas combinan el control de posición y el control de velocidad en una misma, añadiendo algún mecanismo que permite intercambiarlas.
Dentro de las técnicas de interacción basadas en control de posición se encuentran el clutching [1] y el mapeado directo o escalado [2]. El clutching es una adaptación a los dispositivos hápticos de la técnica utilizada en los ratones de escritorio. Consiste en levantar el ratón y volverlo a posar en una posición más cómoda cuando con un solo movimiento no es posible alcanzar un área de interés. Aplicado a los dispositivos hápticos, consiste en desacoplar el movimiento del efector final del movimiento del avatar virtual mientras se presione, por ejemplo, un botón. De esta manera, es posible realizar repetidas veces tal maniobra y alcanzar así cualquier parte de la escena virtual con un dispositivo háptico que tenga un espacio de trabajo limitado. El mapeado directo o escalado, realiza una correspondencia entre el espacio de trabajo del dispositivo háptico y toda la escena virtual, estableciendo un factor de escala lo que implica que en escenas grandes un movimiento pequeño del dispositivo háptico produzca un gran movimiento en el avatar virtual, penalizando seriamente la precisión.
Otra de las técnicas basadas en control de posición es la presentada por Conti & Khatib [3], consistente en recolocar continuamente el efector final hacia el centro del espacio de trabajo sin actualizar la realimentación visual. En otras palabras, mientras se está interaccionando con un objeto virtual, el efector final se va desplazando gradualmente—y con movimientos suaves— hacia el centro del espacio de trabajo físico, sin que ello repercuta de ninguna manera en su aspecto visual, y por ende, sin que el usuario se percate.
Las técnicas híbridas comprenden dos modos de funcionamiento: uno basado en control de posición y otro en control de velocidad. Estas técnicas se centran en resolver el problema del cambio de modo, como es el caso de la propuesta de Liu et al. [4]. En ella, se propone mantener un área neutra alrededor del centro del espacio de trabajo del dispositivo háptico. Así, al ejecutar el cambio de modo no se perturba la posición deseada por el usuario, ya que dicho cambio está asociado a la pulsación de un botón— lo que puede repercutir en un movimiento no deseado del efector final.
Por último, la denominada técnica de la burbuja también se encuadra dentro de las técnicas de interacción híbridas y consiste en dividir virtualmente el espacio de trabajo del dispositivo háptico en dos secciones: una burbuja interior y el resto del área de trabajo exterior. Se representa visualmente una burbuja semitransparente en el entorno virtual y, dentro de la burbuja, se consigue una buena precisión gracias a un mapeado 1:1; mientras que para poder alcanzar cualquier parte del entorno es necesario mover la burbuja. Para ello, realizando fuerza con el avatar virtual hacia afuera de la misma, ésta se moverá en la dirección del avatar, a mayor o menor velocidad dependiendo de la magnitud aplicada [5].
Referencias bibliográficas
[1] Dominjon, L., Perret, J., & Lécuyer, A. (2007). Novel devices and interaction techniques for human-scale haptics. The Visual Computer, 23(4), 257-266.
[2] Hirzinger, G., Brunner, B., Dietrich, J., & Heindl, J. (1993). Sensor-based space robotics-ROTEX and its telerobotic features. IEEE Transactions on robotics and automation, 9(5), 649 663.
[3] Conti, F., & Khatib, O. (2005, March). Spanning large workspaces using small haptic devices. In Eurohaptics Conference, 2005 and Symposium on Haptic Interfaces for Virtual
Environment and Teleoperator Systems, 2005. World Haptics 2005. First Joint (pp. 183-188). IEEE.
[4] Liu, L., Liu, G., Zhang, Y., & Wang, D. (2014, August). A modified motion mapping method for haptic device based space teleoperation. In Robot and Human Interactive Communication, 2014 RO-MAN: The 23rd IEEE International Symposium on (pp. 449-453). IEEE.
[5] Dominjon, L., Lecuyer, A., Burkhardt, J. M., Andrade-Barroso, G., & Richir, S. (2005, March). The" Bubble" technique: interacting with large virtual environments using haptic devices with limited workspace. In Eurohaptics Conference, 2005 and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, 2005. World Haptics 2005. First Joint (pp. 639-640). IEEE.
DESCRIPCIÓN DE LA INVENCIÓN
La invención se refiere a un método y sistema de interacción en entornos virtuales utilizando dispositivos hápticos. La invención propone un nuevo modelo de interacción para dispositivos hápticos que soluciona el principal problema de los mismos, su espacio de trabajo limitado, permitiendo utilizar este tipo de dispositivos con un área de trabajo limitada como principales elementos de interacción, consiguiendo un alto nivel de movilidad y precisión.
La presente invención permite utilizar los dispositivos hápticos para una interacción natural y precisa con escenas virtuales. El modelo de interacción está basado en la realización de ampliaciones sobre una escena virtual inicial utilizando un dispositivo háptico (por lo que la ampliación realizada se puede denominar “zoom háptico”), lo que permite al operador realizar una primera fase de aproximación al área de interés de la escena para posteriormente activar el zoom háptico y disponer de una mayor precisión. Por tanto, dada una escena virtual en la que se utilice un dispositivo háptico, el zoom háptico consiste en realizar una o varias ampliaciones de la misma para conseguir un mayor nivel de precisión háptica.
En cada una de las escenas ampliadas, el espacio de trabajo disponible para el avatar virtual del dispositivo háptico se mapea directamente con el espacio que representa la escena virtual, permitiendo de esta manera que el avatar alcance cualquier lugar de la escena. Si el usuario requiere un mayor nivel de precisión sobre alguna zona de la escena, se activa el zoom háptico. Este hecho repercute en la realización de un zoom visual sobre el área de interés, dando lugar a una segunda escena. Con la nueva escena ya determinada, se mapea de nuevo
el espacio de trabajo del dispositivo háptico con el espacio que representa la nueva escena, permitiendo una vez más que el avatar virtual alcance cualquier zona.
El método de interacción en entornos virtuales de acuerdo a la presente invención comprende las siguientes etapas:
- Detectar una orden de zoom de una escena virtual inicial.
- Generar, por parte de una unidad de procesamiento gráfico, una nueva escena virtual a partir de la escena virtual inicial con un nivel de ampliación modificado en función de la orden de zoom detectada.
- Mapear el espacio de trabajo de un dispositivo háptico con el espacio que representa la nueva escena virtual.
- Representar la nueva escena virtual en un dispositivo de visualización, preferentemente en un visor de realidad virtual (aunque también podría representarse en una pantalla).
La orden de zoom puede ser una instrucción que permite modificar progresivamente el nivel de ampliación de la escena virtual inicial o modificar puntualmente el nivel de ampliación de la escena virtual inicial según un determinado valor predefinido.
La detección de la orden de zoom la puede realizar el propio dispositivo háptico, preferentemente mediante la detección de la pulsación de un botón del dispositivo háptico. En este caso, el método comprende enviar la orden de zoom detectada a la unidad de procesamiento gráfico. Adicionalmente, o alternativamente, la detección de la orden de zoom se puede llevar a cabo mediante el reconocimiento de un comando de voz. Para este caso la detección la puede realizar directamente la unidad de procesamiento gráfico mediante el análisis de la señal capturada por un micrófono.
Un segundo aspecto de la presente invención se refiere a un sistema de interacción en entornos virtuales que implementa el método anteriormente descrito. El sistema comprende un dispositivo háptico para interactuar con un entorno virtual, una unidad de procesamiento gráfico encargada de generar escenas del entorno virtual, y un dispositivo de visualización para representar las escenas virtuales generadas. La unidad de procesamiento gráfico está configurada para recibir una orden de zoom de una escena virtual inicial; generar, a partir de la escena virtual inicial, una nueva escena virtual con un nivel de ampliación modificado en
función de la orden de zoom recibida; y mapear el espacio de trabajo del dispositivo háptico con el espacio que representa la nueva escena virtual.
Existen también diferentes maneras de aplicar el zoom háptico atendiendo a la localización de la ampliación y a la del avatar virtual.
• Zoom centrado en el avatar virtual. En este modo de zoom se tomará la posición del avatar virtual como el centro de la escena tras la ampliación. Este modo de zoom implica la recolocación física del efector final del dispositivo háptico hacia el centro del espacio de trabajo para que concuerde con la representación en pantalla del mismo. Al realizar una ampliación de la escena centrada en el avatar virtual (puntero háptico), en la escena resultante el avatar virtual estará en el centro de la misma. Para hacer corresponder la escena con el dispositivo físico (efector), se debe recolocar el mismo automáticamente en el centro del espacio de trabajo, de tal forma que tanto el avatar virtual esté en el centro de la escena como el efector esté en el centro del espacio de trabajo. Esta correspondencia permitirá que con los movimientos permitidos por el espacio de trabajo (limitado) se alcance cualquier punto de la escena virtual. La recolocación automática se lleva a cabo mediante la aplicación de fuerzas del dispositivo háptico hacia el centro de su espacio de trabajo.
• Zoom manteniendo las proporciones. En este modo de zoom se realiza un aumento en la escena manteniendo el avatar virtual a las mismas distancias en porcentaje de los bordes de la escena, por lo que no será necesaria una recolocación física del efector final.
La presente invención soluciona un problema inherente a los dispositivos hápticos, su pequeño espacio de trabajo. Aplicar el modelo descrito por la invención en los dispositivos hápticos permite utilizarlos de una manera más natural y precisa como principales dispositivos de interacción en diferentes tipos de simulaciones de diferentes campos técnicos (sector médico, industria automovilística, industria aeroespacial, etc.).
BREVE DESCRIPCIÓN DE LOS DIBUJOS
A continuación, se describen de manera muy breve una serie de figuras que ayudan a comprender mejor la invención y que se relacionan expresamente con una realización de dicha invención que se presenta como un ejemplo no limitativo de ésta.
Las Figuras 1A y 1B representan un diagrama de flujo del método de interacción en entornos
virtuales de acuerdo a dos posibles realizaciones de la presente invención.
Las Figuras 2A y 2B muestran, de acuerdo a una posible realización, el sistema de interacción en entornos virtuales en funcionamiento, cuando el usuario realiza un zoom háptico.
La Figura 3 representa la relación entre las imágenes por segundo (trames) y el nivel de zoom aplicado.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
La presente invención se refiere a un método y sistema de interacción en entornos virtuales utilizando dispositivos hápticos.
La Figura 1A representa un esquema principal del método de interacción en entornos virtuales de acuerdo a la presente invención, a través del cual se realiza un zoom (ya sea de acercamiento o de alejamiento de la imagen) utilizando un dispositivo háptico. Este tipo de zoom habilitado por un dispositivo háptico se puede denominar “zoom háptico”.
Un usuario realiza una acción que genera una orden de zoom 102 para ampliar o reducir una escena virtual inicial, que es la imagen mostrada al usuario a través de un visor de realidad virtual. La acción puede consistir, por ejemplo, en la pulsación de un botón de un dispositivo háptico. La orden de zoom es detectada 104 por el dispositivo háptico, el cual envía 106 la orden de zoom detectada a una unidad de procesamiento gráfico.
A continuación, la unidad de procesamiento gráfico genera 108 una nueva escena virtual a partir de la escena virtual inicial con un nivel de ampliación modificado en función de la orden de zoom recibida, y mapea 110 el espacio de trabajo del dispositivo háptico con el espacio que representa la nueva escena virtual. Finalmente, la nueva escena virtual se representa 112 en un visor de realidad virtual (el cual estará normalmente portado por el mismo usuario).
La orden de zoom incluye al menos la información indicativa de si hay que realizar una ampliación o una reducción de la imagen inicial. Además, la orden de zoom puede contener información del nivel de zoom a aplicar sobre la escena virtual inicial, si bien dicha información está preferentemente prefijada en la unidad de procesamiento gráfico (e.g. mediante una variable almacenada en memoria y modificable por el usuario utilizando una aplicación). La orden de zoom también puede incluir información relativa a si se trata de un zoom puntual o
un zoom continuo o progresivo que hay que aplicar a la escena virtual inicial. En el caso de zoom progresivo, la orden se envía preferentemente de manera continuada mientras el dispositivo háptico detecte la actuación del usuario (e.g. mientras el usuario mantenga apretado un botón). De esta forma, la unidad de procesamiento gráfico generará, según una tasa determinada de refresco, sucesivas imágenes (i.e. “frames”) ampliadas o reducidas a partir de la escena virtual inicial, según un nivel de ampliación entre imágenes sucesivas determinado, hasta que deje de recibir la orden de zoom. Debido al uso de una alta tasa de refresco (e.g. 30, 60 o 90 frames por segundo) y el cómputo acelerado de las imágenes sucesivas, el usuario percibe de manera fluida un zoom de la escena virtual inicial mientras realice la acción de orden de zoom (e.g. mientras mantenga un botón pulsado).
La Figura 1B representa un esquema del método de interacción en entornos virtuales de acuerdo a otra posible realización. Esta realización difiere de la realización anterior en el modo de detección de la orden de zoom. En el caso de la Figura 1A, la detección 104 es realizada por el dispositivo háptico, mediante la detección de la pulsación de un botón del dispositivo háptico. En la realización de la Figura 1B la detección 105 la realiza la unidad de procesamiento gráfico mediante la detección de un comando de voz del usuario capturado por un micrófono.
En la Figura 2A se muestran los distintos elementos del sistema de interacción en entornos virtuales de acuerdo a una posible realización de la presente invención. En particular, el sistema comprende un dispositivo háptico 204 para que el usuario interactúe con un entorno virtual, una unidad de procesamiento gráfico 206 encargada de generar escenas del entorno virtual, y un dispositivo de visualización 208 para representar las escenas virtuales generadas. De acuerdo a la realización mostrada en la Figura 2A, el dispositivo de visualización es un visor de realidad virtual 208, si bien puede ser también una pantalla normal (e.g. un monitor, un televisor).
Según la realización de la Figura 2A, la unidad de procesamiento gráfico 206 es una entidad separada e independiente del visor de realidad virtual 208. Dicha unidad de procesamiento gráfico se puede implementar, por ejemplo, mediante un ordenador conectado por cable 210 (o por conexión inalámbrica a alta frecuencia según las recientes tecnologías, e.g. WiGig) al visor de realidad virtual 208. Sin embargo, en otra realización (no mostrada en las figuras) la unidad de procesamiento gráfico 206 y el visor de realidad virtual 208 pueden ser la misma entidad, esto es, la unidad de procesamiento gráfico 206 puede estar integrada en el propio
visor de realidad virtual 208 autónomo (e.g. Oculus Go). En otra realización, la unidad de procesamiento gráfico 206 y el dispositivo de visualización pueden estar implementados en un teléfono móvil inteligente que se acopla a un soporte (e.g. casco de realidad virtual Samsung Gear VR) para su correcta utilización.
El dispositivo háptico 204 está configurado para detectar una orden de zoom para ampliar o reducir una escena virtual inicial 212, representada a modo de ejemplo en la figura. La orden de zoom puede ser detectada por el dispositivo háptico 204 mediante la detección de la pulsación, realizada por un usuario 202, de un botón 205 del dispositivo háptico 204. El dispositivo háptico 204 envía 106, preferentemente de manera inalámbrica, la orden de zoom detectada (y convenientemente procesada) a la unidad de procesamiento gráfico 206.
Según se muestra en la Figura 2B, la unidad de procesamiento gráfico 206 genera, a partir de la escena virtual inicial 212, una nueva escena virtual 216 con un nivel de ampliación modificado en función de la orden de zoom recibida (en el ejemplo, la orden de zoom es de ampliación, pero podría ser en su lugar de reducción). Tal y como se ha indicado anteriormente, el nivel de ampliación o reducción a aplicar (e.g. 1.5x, 2x, 4x,...) puede estar predeterminado por la unidad de procesamiento gráfico 206 (e.g. un dato almacenado en memoria) o puede ser un dato incluido en la propia orden de zoom enviada 106. El zoom a realizar puede ser puntual o progresivo, en función de la orden de zoom enviada 106 (por ejemplo, la orden de zoom puede incluir un campo que determina el tipo de zoom a aplicar, si puntual o progresivo). A partir de entonces, la unidad de procesamiento gráfico 206 mapea el espacio de trabajo del dispositivo háptico 204 (las coordenadas espaciales donde se mueve el dispositivo háptico) con el espacio que representa la nueva escena virtual 216.
De acuerdo a una realización, la unidad de procesamiento gráfico 206 puede estar configurada para efectuar un zoom en la escena virtual inicial 212 centrado en un avatar virtual, recolocando el dispositivo háptico 204 hacia el centro del espacio de trabajo.
En otra realización, se aplica un zoom en el que se mantienen las proporciones desde un avatar virtual a los bordes de la escena. En esta realización la unidad de procesamiento gráfico 206 efectúa un zoom en la escena virtual inicial manteniendo a un avatar virtual 214 (representado con un aspa) a la misma distancia (Dx, Dy) de los bordes de la escena virtual, tal y como se representa en el ejemplo de las Figuras 2A y 2B, donde las líneas punteadas representan la distancia en porcentaje desde el avatar 214 a los bordes de la escena. Tras la
activación del zoom háptico, se comprueba cómo el avatar 214 se mantiene a la misma distancia en porcentaje de los bordes de la escena, lo que representa que tanto el efector final (i.e. el dispositivo físico que maneja el usuario con la mano) como el puntero háptico (i.e. la representación del efector final en el entorno virtual) del dispositivo háptico mantienen su posición.
En función de la orden de zoom recibida o de la configuración de la unidad de procesamiento gráfico 206, el zoom háptico ejecutado puede ser un zoom puntual, de forma que cada pulsación del botón 205 del dispositivo háptico 204 conlleva la realización de un zoom en la escena con un determinado valor predefinido, o un zoom continuo, donde al mantener pulsado el botón 205 del dispositivo háptico 204 se aplicará un zoom progresivo sobre la escena hasta que el usuario deje de presionar el botón, momento en el que se considera alcanzado el nivel de ampliación deseado.
La Figura 3 muestra, para la ejecución de un zoom continuo, el cálculo del nivel de ampliación sobre la escena original que debe tener cada trame durante 1 segundo, tanto a 30 trames por segundo (parte superior de la Figura 3) como a 60 trames por segundo (parte inferior de la Figura 3).
Dada una escena inicial eo y una posición del avatar virtual p medida en porcentaje a los bordes de la escena, el zoom háptico se activa cuando el usuario mantenga presionado uno de los botones 205 del dispositivo háptico 204. Para conseguir un nivel aceptable de fluidez en la ampliación se realizan como mínimo 30 pequeñas ampliaciones del zoom en cada segundo, siendo 60 el número de actualizaciones por segundo deseadas. Partiendo de la escena inicial eo con un valor de ampliación 1.0 y una tasa de refresco de 30 ampliaciones por segundo, el valor que debe tomar el zoom en la escena posterior, escena ei, es:
a x zoom(e0)
zoom(e1) = zoom(e0) ----------—--------
La fórmula general para el cálculo del nivel de zoom para una escena genérica e, a partir de la escena anterior e-i, es:
a x zoom(ei_1)
zoom(ei) = zoom(ei_1) +
fps
En la fórmula anterior a es una constante y fps es la tasa de refresco (en frames por segundo). En una realización preferida a =0,3. Al aplicar dicha fórmula consecutivamente durante 30 iteraciones (un segundo) sobre la escena inicial, con nivel de zoom inicial de 1.0 ( zoom(e0) = 1.0), se obtiene un nivel de zoom final de 1.3478, por lo que la escena inicial eo en un segundo habrá experimentado un nivel de ampliación del 34.78% ( zoom(e30) = 1.3478). Para el ejemplo de 60 fps, el zoom final es de 34.88% ( zoom(e60) = 1.3488).
Una vez calculado el valor del zoom de cada escena e¡, se aplicará ese nivel de zoom sobre la escena anterior en, de tal manera que la escena resultante e¡conserve el avatar virtual a la misma distancia en porcentaje de los bordes de la escena que la escena anterior e¡-i.
Existen diferentes maneras de activar el zoom háptico atendiendo a las posibilidades físicas (e.g. botones) de los que disponga el dispositivo háptico en cuestión. Dada la diferente disponibilidad de botones en los diferentes dispositivos hápticos de escritorio presentes en el mercado, la activación del zoom háptico (ya sea en modo de zoom puntual o en modo de zoom continuo) se puede realizar de varias maneras:
- Dispositivos hápticos con un único botón:
• Zoom puntual (niveles constantes de zoom): Cada pulsación del botón del dispositivo háptico conlleva la realización de un zoom en la escena con un determinado valor predefinido. Deshacer un nivel de zoom podrá llevarse a cabo con una doble pulsación rápida del botón.
• Zoom continuo: Manteniendo pulsado el botón del dispositivo háptico se aplicará un zoom progresivo sobre la escena hasta que el usuario deje de presionar el botón, momento en el que se considera alcanzado el nivel de ampliación deseado. La acción que activará el zoom reverso será una doble pulsación del botón del dispositivo háptico manteniendo pulsado el botón tras la segunda pulsación.
- Dispositivos hápticos con al menos dos botones:
• Zoom puntual (niveles constantes de zoom): Cada pulsación de uno de los botones del dispositivo háptico conllevará la realización de un zoom en la escena con un determinado valor predefinido. Deshacer un nivel de zoom podrá realizarse con una pulsación sobre el otro de los botones.
• Zoom continuo: Manteniendo pulsado uno de los botones del dispositivo háptico se aplicará un zoom progresivo sobre la escena hasta que el usuario deje de presionar el botón, que será cuando se haya alcanzado el nivel de ampliación
deseado. La acción que activará el zoom reverso será el mantener pulsado el otro botón del dispositivo háptico.
- Dispositivos hápticos sin botones: Mediante órdenes de voz el usuario puede aplicar, de forma constante o continua, tanto aumentos como decrementos al nivel de zoom. Las órdenes de voz son capturadas a través de un micrófono conectado a la unidad de procesamiento gráfico 206 (e.g. un ordenador o el propio visor de realidad virtual) encargada de representar el entorno virtual. La unidad de procesamiento gráfico 206 recibe, analiza y ejecuta los comandos de voz, aplicando la acción correspondiente sobre la escena virtual (i.e. activando el zoom háptico en la representación virtual).
La implementación del zoom háptico más adecuada es aquella en la que se utiliza un dispositivo háptico de escritorio con al menos dos botones como método de interacción aplicando un zoom continuo en el que se mantienen las proporciones desde el avatar a los bordes de la escena.
Claims (20)
1. Método de interacción en entornos virtuales, caracterizado por que comprende:
detectar (104, 105) una orden de zoom de una escena virtual inicial (212);
generar (108), por parte de una unidad de procesamiento gráfico (206), una nueva escena virtual (216) a partir de la escena virtual inicial (212) con un nivel de ampliación modificado en función de la orden de zoom detectada;
mapear (110) el espacio de trabajo de un dispositivo háptico (204) de realimentación de fuerzas con el espacio que representa la nueva escena virtual (216);
representar (112) la nueva escena virtual (216).
2. Método según la reivindicación 1, caracterizado por que la orden de zoom es una instrucción para modificar puntualmente el nivel de ampliación de la escena virtual inicial (212) según un determinado valor predefinido.
3. Método según la reivindicación 1, caracterizado por que la orden de zoom es una instrucción para modificar progresivamente el nivel de ampliación de la escena virtual inicial (212),
donde el nivel de zoom aplicado a una escena ei se calcula a partir del nivel de zoom aplicado en una escena anterior e ^ según la siguiente fórmula:
a x zoom{ei_1)
zoom(ei) = zoom{ei_1) -------------------------
donde
zoom (e) es el nivel de zoom de la escena e¡,
zoom (e¡-i) es el nivel de zoom de la escena anterior e-i,
a es una constante,
fps es la tasa de refresco.
4. Método según cualquiera de las reivindicaciones anteriores, caracterizado por que la detección (104) de la orden de zoom se realiza por parte del dispositivo háptico (204);
donde el método comprende enviar (106) la orden de zoom detectada a la unidad de procesamiento gráfico (206).
5. Método según la reivindicación 4, caracterizado por que la detección (104) de la orden de zoom comprende la detección de la pulsación de un botón (205) del dispositivo háptico (204).
6. Método según cualquiera de las reivindicaciones 1 a 3, caracterizado por que la detección (105) de la orden de zoom comprende la detección de un comando de voz.
7. Método según cualquiera de las reivindicaciones 1 a 6, caracterizado por que el zoom efectuado en la escena virtual inicial (212) está centrado en un avatar virtual (214), donde el método comprende la recolocación del dispositivo háptico hacia el centro del espacio de trabajo.
8. Método según cualquiera de las reivindicaciones 1 a 6, caracterizado por que el zoom efectuado en la escena virtual inicial (212) mantiene a un avatar virtual (214) a la misma distancia en porcentaje de los bordes de la escena virtual.
9. Método según cualquiera de las reivindicaciones anteriores, caracterizado por que la nueva escena virtual (216) se representa (112) en un visor de realidad virtual (208).
10. Método según cualquiera de las reivindicaciones anteriores, caracterizado por que la nueva escena virtual (216) se representa (112) en una pantalla.
11. Sistema de interacción en entornos virtuales, que comprende:
un dispositivo háptico (204) de realimentación de fuerzas para interactuar con un entorno virtual,
una unidad de procesamiento gráfico (206) encargada de generar escenas del entorno virtual,
un dispositivo de visualización para representar las escenas virtuales generadas,
caracterizado por que la unidad de procesamiento gráfico (206) está configurada para:
recibir una orden de zoom de una escena virtual inicial (212);
generar, a partir de la escena virtual inicial (212), una nueva escena virtual (216) con un nivel de ampliación modificado en función de la orden de zoom recibida;
mapear el espacio de trabajo del dispositivo háptico (204) con el espacio que representa la nueva escena virtual (216).
12. Sistema según la reivindicación 11, caracterizado por que la orden de zoom es una instrucción para modificar puntualmente el nivel de ampliación de la escena virtual inicial (212),
donde la unidad de procesamiento gráfico (206) está configurada para ampliar o reducir, en función de la orden de zoom, la escena virtual inicial (212) con un nivel de ampliación predefinido.
13. Sistema según la reivindicación 11, caracterizado por que la orden de zoom es una instrucción para modificar progresivamente el nivel de ampliación de la escena virtual inicial (212),
donde la unidad de procesamiento gráfico (206) está configurada para ampliar o reducir, en función de la orden de zoom, de forma progresiva la escena virtual inicial (212) según una tasa de refresco determinada,
y donde la unidad de procesamiento gráfico (206) está configurada para calcular el nivel de zoom aplicado a una escena ei a partir del nivel de zoom aplicado en una escena anterior ei_1 según la siguiente fórmula:
a x zoom(ei_1)
zoom(ei ) = zoom(ei_1) -----------------------
donde
zoom (e) es el nivel de zoom de la escena e¡,
zoom (e¡-i) es el nivel de zoom de la escena anterior e-i,
a es una constante,
fps es la tasa de refresco.
14. Sistema según cualquiera de las reivindicaciones 11 a 13, caracterizado por que el dispositivo háptico (204) está configurado para detectar (104) una orden de zoom de una escena virtual inicial (212) y enviar (106) la orden de zoom a la unidad de procesamiento gráfico (206).
15. Sistema según la reivindicación 14, caracterizado por que el dispositivo háptico (204) está configurado para detectar (104) la orden de zoom mediante la detección de la pulsación de un botón (205) del dispositivo háptico (204).
16. Sistema según cualquiera de las reivindicaciones 11 a 13, caracterizado por que la unidad de procesamiento gráfico (206) está configurada para detectar (105) la orden de zoom mediante la detección de un comando de voz capturado por un micrófono.
17. Sistemas según cualquiera de las reivindicaciones 11 a 16, caracterizado por que la unidad de procesamiento gráfico (206) está configurada para:
efectuar un zoom en la escena virtual inicial centrado en un avatar virtual (214), y recolocar del dispositivo háptico (204) hacia el centro del espacio de trabajo.
18. Sistema según cualquiera de las reivindicaciones 11 a 16, caracterizado por que la unidad de procesamiento gráfico (206) está configurada para efectuar un zoom en la escena virtual inicial manteniendo a un avatar virtual (214) a la misma distancia en porcentaje de los bordes de la escena virtual.
19. Sistema según cualquiera de las reivindicaciones 11 a 18, caracterizado por que el dispositivo de visualización es un visor de realidad virtual (208).
20. Sistema según cualquiera de las reivindicaciones 11 a 18, caracterizado por que el dispositivo de visualización es una pantalla.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201830941A ES2716012B2 (es) | 2018-09-28 | 2018-09-28 | Sistema y metodo de interaccion en entornos virtuales utilizando dispositivos hapticos |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201830941A ES2716012B2 (es) | 2018-09-28 | 2018-09-28 | Sistema y metodo de interaccion en entornos virtuales utilizando dispositivos hapticos |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2716012A1 ES2716012A1 (es) | 2019-06-07 |
| ES2716012B2 true ES2716012B2 (es) | 2020-07-22 |
Family
ID=66676931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201830941A Active ES2716012B2 (es) | 2018-09-28 | 2018-09-28 | Sistema y metodo de interaccion en entornos virtuales utilizando dispositivos hapticos |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2716012B2 (es) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2807674B2 (es) * | 2020-10-29 | 2021-09-29 | Univ Leon | Metodo, sistema y producto de programa para interaccion en entornos de realidad virtual mediante dispositivo haptico de realimentacion de fuerzas de escritorio |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5129478B2 (ja) * | 2006-03-24 | 2013-01-30 | 株式会社デンソーアイティーラボラトリ | 画面表示装置 |
| US8662900B2 (en) * | 2009-06-04 | 2014-03-04 | Zimmer Dental Inc. | Dental implant surgical training simulation system |
| WO2012037157A2 (en) * | 2010-09-13 | 2012-03-22 | Alt Software (Us) Llc | System and method for displaying data having spatial coordinates |
| KR102438052B1 (ko) * | 2016-03-31 | 2022-08-29 | 매직 립, 인코포레이티드 | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들 |
| US10754416B2 (en) * | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for a peripheral-centric augmented/virtual reality environment |
-
2018
- 2018-09-28 ES ES201830941A patent/ES2716012B2/es active Active
Also Published As
| Publication number | Publication date |
|---|---|
| ES2716012A1 (es) | 2019-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7575160B2 (ja) | オブジェクトの選択の方法及びシステム | |
| US12257011B2 (en) | Association processes and related systems for manipulators | |
| JP7283506B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
| US10384348B2 (en) | Robot apparatus, method for controlling the same, and computer program | |
| EP2755194B1 (en) | 3d virtual training system and method | |
| JP6150429B2 (ja) | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 | |
| JP2014203463A5 (es) | ||
| KR102666191B1 (ko) | 무게 중심 이동 힘 인가 장치 | |
| US10606342B2 (en) | Handsfree user input method for controlling an immersive virtual environment application | |
| CN105094635A (zh) | 用于通过体图像进行导航的设备和方法 | |
| JP6174646B2 (ja) | 仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラム | |
| ES2716012B2 (es) | Sistema y metodo de interaccion en entornos virtuales utilizando dispositivos hapticos | |
| JPWO2018074054A1 (ja) | 表示制御装置、表示制御方法及びプログラム | |
| WO2021166717A1 (ja) | 表示制御装置、表示制御方法及び記録媒体 | |
| WO2021073733A1 (en) | Method for controlling a device by a human | |
| KR20100024631A (ko) | 내비게이션 시스템에 특화된 3차원 제어시스템 및 그 방법 | |
| CN205889192U (zh) | 一种智能室内导航机器人 | |
| WO2024232255A1 (ja) | 情報処理装置、情報処理方法、記録媒体 | |
| KR20150100364A (ko) | 3차원의 볼륨 영역 선택 방법 및 장치, 그리고 이를 이용하는 3차원 의료 영상 장치 | |
| CN120891927A (zh) | 手势追踪方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BA2A | Patent application published |
Ref document number: 2716012 Country of ref document: ES Kind code of ref document: A1 Effective date: 20190607 |
|
| FG2A | Definitive protection |
Ref document number: 2716012 Country of ref document: ES Kind code of ref document: B2 Effective date: 20200722 |