ES3042332A1 - Metodo y sistema para generar una retransmision de video virtual colaborativo - Google Patents
Metodo y sistema para generar una retransmision de video virtual colaborativoInfo
- Publication number
- ES3042332A1 ES3042332A1 ES202430395A ES202430395A ES3042332A1 ES 3042332 A1 ES3042332 A1 ES 3042332A1 ES 202430395 A ES202430395 A ES 202430395A ES 202430395 A ES202430395 A ES 202430395A ES 3042332 A1 ES3042332 A1 ES 3042332A1
- Authority
- ES
- Spain
- Prior art keywords
- virtual
- virtual reality
- user
- video
- processor module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
Método y sistema para generar una retransmisión de video virtual colaborativo. Un método y sistema colaborativo e interactivo para generar una retransmisión de video virtual que comprende: capturar, por un dispositivo de captura de video integrado en un dispositivo de realidad virtual, un video en tiempo real desde el punto de vista de un primer usuario, donde el video capturado comprende al menos una imagen de un segundo usuario; extraer, por un módulo procesador, una silueta del segundo usuario del video capturado; integrar la silueta extraída del segundo usuario sobre un escenario virtual almacenado previamente y generar una retransmisión de video virtual colaborativo en tiempo real visualizada a través del dispositivo de captura del primer usuario, que incluye la silueta del segundo usuario integrada en el escenario virtual, desde el punto de vista del primer usuario.
Description
[0001] DESCRIPCIÓN
[0004] MÉTODO Y SISTEMA PARA GENERAR UNA RETRANSMISIÓN DE VIDEO VIRTUAL
[0005] COLABORATIVO
[0007] OBJETO DE LA INVENCIÓN
[0008] La invención pertenece al sector de las tecnologías audiovisuales, incluyendo las tecnologías de realidad virtual y aumentada. Se enmarca en el ámbito de la realidad virtual (VR) colaborativa, específicamente en el desarrollo y aplicación de sistemas VR para la creación de entornos inmersivos. Uno de los objetivos de la presente invención es facilitar la interacción de múltiples usuarios entre sí y con elementos digitales tridimensionales dentro de un espacio virtual simulado.
[0010] ANTECEDENTES DE LA INVENCIÓN
[0011] En los últimos años, las tecnologías y sistemas de realidad virtual (VR) colaborativa e interactiva han avanzado significativamente, impulsadas por mejoras en hardware, software y técnicas de procesamiento de imágenes. Estos avances han ampliado las aplicaciones de la VR, mejorando la inmersión, la interactividad y la colaboración en entornos virtuales.
[0013] En cuanto al hardware, los dispositivos VR han experimentado mejoras significativas en cuanto a la comodidad, mayor resolución de pantalla o la incorporación de mejores sensores y sistemas de seguimiento, lo que permite realizar capturas más precisas de los movimientos y la posición del usuario dentro de espacios virtuales. Además, se han desarrollado diversos accesorios de interacción, como guantes hápticos, trajes de captura de movimiento y plataformas omnidireccionales, que permiten una interacción más natural y detallada con el entorno virtual. Por otro lado, las mejoras en los motores gráficos, como Unreal Engine y Unity, ofrecen capacidades avanzadas de renderizado en tiempo real, creando entornos virtuales cada vez más realistas y complejos. Esto incluye la simulación de iluminación natural, efectos de partículas y texturas de alta calidad.
[0015] Otro de los avances más relevantes en este campo es la integración de realidad virtual con realidad aumentada, lo cual ha permitido crear experiencias híbridas, donde los objetos virtuales pueden interactuar de manera coherente con el mundo real, abriendo nuevas posibilidades para la colaboración remota y la visualización de datos.
[0016] Gracias a estos avances, han emergido plataformas que permiten a los usuarios reunirse, interactuar y colaborar en espacios virtuales compartidos. Estas plataformas son utilizadas para reuniones sociales, eventos, conferencias o educación a distancia, entre otros campos. Algunos ejemplos de las plataformas más utilizadas son Horizon Workroom (plataforma de Meta para reuniones y colaboraciones remotas VR en la que los usuarios ingresan a la reunión como avatares o a través de una videollamada desde el ordenador) o Spatial (que apuesta por el desarrollo de entornos donde las reuniones virtuales tridimensionales permiten tener interacciones entre objetos y usuarios).
[0018] A pesar de estos avances, también persisten ciertos desafíos que limitan la adopción masiva de la VR colaborativa, como son la latencia y rendimiento requerido para una experiencia colaborativa fluida, lo que requiere infraestructura de red de alta velocidad y hardware potente. Aunque el costo de los dispositivos VR ha disminuido, el acceso a equipos de alta gama sigue siendo una barrera para muchos usuarios y organizaciones.
[0020] El campo de la VR colaborativa continúa evolucionando, con investigaciones centradas en mejorar la interacción natural en entornos virtuales, reducir el costo y la complejidad de los sistemas VR, y ampliar las aplicaciones prácticas de esta tecnología. La convergencia de la VR con tecnologías emergentes como la inteligencia artificial (IA) y el Internet de las cosas (IoT) promete crear experiencias aún más ricas y personalizadas, marcando el camino hacia una integración más profunda de la realidad virtual en nuestra vida cotidiana y laboral.
[0022] En el estado de la técnica se conocen sistemas colaborativos e interactivos para cascos de realidad virtual en los que los usuarios pueden ver al resto de usuarios e interactuar con ellos en diferentes escenarios virtuales. Sin embargo, la integración de los usuarios en los escenarios virtuales no logra el efecto deseado de inmersión total debido principalmente a la integración y visualización de los mismos a través de avatares, modelos 3D o formato videollamada.
[0024] Por lo tanto, el estado del arte echa en falta soluciones de inmersión total que logren una integración realista de los usuarios en un escenario virtual colaborativo, lo que significaría un avance notorio en el campo técnico de la realidad virtual y abriría un gran abanico de nuevas aplicaciones en la industria.
[0025] DESCRIPCIÓN DE LA INVENCIÓN
[0026] Con el fin de alcanzar los objetivos y evitar los inconvenientes mencionados anteriormente, la presente invención describe, en un primer aspecto un método para generar una retransmisión de video virtual colaborativo e inmersivo, que comprende los siguientes pasos:
[0027] - capturar, por un dispositivo de captura de video (como una cámara), integrado en un dispositivo de realidad virtual portado por un primer usuario, un video en tiempo real desde el punto de vista del primer usuario, donde el video capturado comprende al menos una imagen de un segundo usuario sobre un fondo;
[0028] - extraer, por un módulo procesador, una silueta del segundo usuario del video capturado, basado en una técnica de extracción de siluetas;
[0029] - integrar, por el módulo procesador, la silueta extraída del segundo usuario sobre un escenario virtual almacenado previamente en el módulo procesador;
[0030] - generar, por el módulo procesador, una retransmisión de video virtual colaborativo en tiempo real que comprende la silueta del segundo usuario integrada en el escenario virtual, desde el punto de vista del primer usuario; y
[0031] - reproducir la retransmisión de video virtual colaborativo generada en el dispositivo de realidad virtual portado por el primer usuario.
[0033] Adicionalmente, una realización de la presente invención contempla integrar un elemento tridimensional virtual en el escenario virtual.
[0035] Extraer la silueta del segundo usuario comprende, de acuerdo con una de las realizaciones de la invención, proporcionar un escenario de fondo de un color uniforme seleccionado y extraer el color uniforme seleccionado del video capturado. Alternativamente, en otras realizaciones de la invención, se contempla extraer la silueta del segundo usuario aplicando un modelo de segmentación de video entrenado para identificar píxeles de un mismo objeto al vídeo capturado.
[0037] En una de las realizaciones de la invención, donde se busque trabajar con avatares virtual en vez de extracciones convencionales por ejemplo en caso de añadir usuarios remotos a la experiencia, el paso de integrar la silueta extraída del segundo usuario sobre un escenario virtual comprende: obtener, por un módulo de seguimiento integrado en el dispositivo de realidad virtual, unos datos de posición y orientación del dispositivo de realidad virtual; e integrar, por el módulo procesador, la silueta extraída del segundo usuario sobre el escenario
virtual, basado en los datos de posición y orientación obtenidos.
[0039] Un segundo aspecto de la invención se refiere a un sistema para generar una retransmisión de video virtual colaborativo que comprende: al menos un dispositivo de realidad virtual portable por un primer usuario; un dispositivo de captura de video integrado en el dispositivo de realidad virtual; y un módulo procesador, en comunicación con el dispositivo de realidad virtual y el dispositivo de captura de video; donde el dispositivo de realidad virtual, el dispositivo de captura de video y el módulo procesador están configurados para llevar a cabo el método de cualquiera de las realizaciones anteriores.
[0041] En una de las realizaciones de la invención, el sistema comprende además un módulo de seguimiento integrado en el dispositivo de realidad virtual, configurado para obtener datos de posición y orientación del dispositivo de realidad virtual. Así, ventajosamente, se podrían incluir en la experiencia usuarios remotos que no estén presentes en la sala donde se está aplicando la técnica en formato de avatares virtuales.
[0043] Específicamente, en una realización de la invención, el dispositivo de realidad virtual se contempla que sea seleccionado entre un casco de realidad virtual y unas gafas de realidad virtual.
[0045] El módulo procesador, de acuerdo con una realización distribuida de la presente invención, es un módulo procesador distribuido que comprende un procesador local dispuesto en cada dispositivo de realidad virtual.
[0047] El dispositivo de realidad virtual además comprende un módulo de comunicaciones inalámbricas configurado para establecer una comunicación inalámbrica con otros dispositivos de realidad virtual. Así, ventajosamente, cada usuario monta sus propias gafas de realidad virtual con todos los elementos integrados, capaces de comunicarse entre sí y de generar y reproducir de forma local las retransmisiones de vídeo virtual colaborativo desde el punto de vista de cada usuario. En el caso de que todos los dispositivos de realidad virtual utilicen el mismo sistema de referencia, puede prescindirse del módulo de comunicaciones para el funcionamiento del sistema.
[0049] El módulo procesador, de acuerdo a una realización centralizada de la presente invención es un módulo procesador central, alojado por ejemplo en un PC externo, configurado para
comunicarse inalámbricamente con una pluralidad de dispositivos de realidad virtual y enviar, a cada uno de los dispositivos de realidad virtual, una retransmisión de video virtual colaborativa en tiempo real que integra las siluetas del resto de usuarios visibles dentro de un escenario virtual, visto desde el punto de vista de cada usuario. En este caso, el módulo de comunicaciones inalámbricas de cada dispositivo de realidad virtual está configurado para establecer una comunicación inalámbrica con el módulo procesador central. Así, ventajosamente, se reducen los requisitos técnicos de los dispositivos de realidad virtual de los usuarios y se concentran los recursos de computación en un único módulo procesador central, el cual puede ser instalado en un entorno de grabación fijo.
[0051] En una realización de la invención, el módulo procesador comprende una memoria, un procesador y un motor gráfico.
[0053] En una de las realizaciones de la invención, se contempla un escenario de fondo de un color uniforme, configurado para proporcionar un entorno colaborativo a un grupo de dos o más usuarios. Así, ventajosamente se facilitan las tareas de extracción de siluetas de usuarios mediante la supresión del color de fondo uniforme o la aplicación de técnicas de segmentación de imagen entrenadas con inteligencia artificial.
[0055] De acuerdo con todo lo anterior, la presente invención ofrece un ventajoso método y sistema colaborativo e interactivo de realidad virtual en el que dos o más usuarios se pueden mover libremente, colaborar e interactuar en una sala que simula un set virtual, al cubrir sus paredes y suelo con croma, cualquier color uniforme o condicionada de tal forma que ayude a la realización de una extracción de la silueta. El techo no es necesario tenerlo en cuenta como parte del set virtual ya que no presenta siluetas a extraer y únicamente funciona como soporte para las luces de iluminación de la sala, por lo que la sustitución de su fondo por el escenario virtual se realiza aplicando directamente una máscara de imagen.
[0057] Así, una de las realizaciones de la invención comprende el uso de, al menos, dos gafas de realidad virtual que integran el resto de los elementos necesarios de la invención, las cuales comparten un mismo sistema de referencia y un set virtual compuesto por cuatro paredes y suelo. Las gafas de realidad virtual se encargan de capturar la escena y al resto de usuarios del sistema, gracias a sus cámaras integradas. El motor gráfico de cada una de las gafas de realidad virtual se encarga de extraer la silueta de los usuarios y sustituir el fondo de la sala capturado por cualquier escenario virtual de los disponibles almacenados en la memoria,
exactamente de la misma forma que se realizaría una extracción de una silueta de una imagen normal. Además, el sistema es capaz de añadir a la imagen generada, cualquier tipo de elemento o gráfico tridimensional que adoptan la sensación de flotar en el espacio de la escena. Ventajosamente, dos o más personas pueden así colaborar o interactuar viéndose entre sí al mismo tiempo que están inmersos en un entorno virtual con elementos 3D interactivos.
[0059] En caso de que el usuario quiera interactuar con la escena, es necesario que el sistema obtenga su posición y orientación mediante un módulo de seguimiento integrado en el dispositivo de realidad virtual para su interacción, pero el resto de los usuarios solo necesitan ver el resultado de esa interacción en el escenario, no necesitan conocer la posición del otro usuario pues lo ven integrado gracias a la extracción de silueta que se ha realizado previamente.
[0061] Una de las ventajas de la presente invención es que los usuarios pueden verse unos a otros al mismo tiempo que están inmersos dentro de un escenario virtual y acompañados de elementos interactivos. Este sistema tiene una gran variedad de potenciales aplicaciones, desde la generación de salas de juego interactivas, hasta la realización de reuniones de trabajo o clases virtuales para educación.
[0063] En una de las realizaciones particulares de la presente invención, el módulo procesador implementa una estación gráfica, la cual comprende una memoria en la que se almacenan todos los elementos necesarios, desde los escenarios virtuales hasta los objetos tridimensionales que se deseen usar. Adicionalmente, la estación gráfica comprende un motor gráfico que, al recibir la escena real que capturan los dispositivos de captura de video (por ejemplo, una cámara) integrados en las gafas o cascos de realidad virtual, se encarga de extraer la silueta del usuario de la imagen con fondo e insertarla sobre un fondo virtual. La estación gráfica está configurada de tal forma que todos los dispositivos de realidad virtual transmiten de forma remota el vídeo que está siendo capturado por sus cámaras y reciben la retransmisión de video virtual generada en tiempo real para ser visualizada a través de ellos.
[0065] La retransmisión de video virtual colaborativa generada y adaptada al punto de vista de cada uno de los usuarios, permite a los participantes visualizar al resto de usuarios inmersos en el escenario virtual como si fueran objetos de realidad aumentada. Así, ventajosamente, se consiguen experiencias inmersivas e interactivas donde los usuarios pueden interactuar de
forma más realista al estar visualizando de forma natural al resto de participantes del sistema y no representados por avatares en su misma posición.
[0067] BREVE DESCRIPCIÓN DE LAS FIGURAS
[0069] Con objeto de ayudar a una mejor comprensión de las características de la invención y para complementar esta descripción, se acompañan como parte integrante de la misma las siguientes figuras, cuyo carácter es ilustrativo y no limitativo:
[0071] Lafigura 1muestra un ejemplo del sistema de la presente invención, en la que se representa una sala virtual junto con tres participantes haciendo uso de cascos de realidad virtual. Cada casco de realidad virtual muestra un diagrama sencillo del proceso de captura de la imagen, su procesado y el resultado que está visualizando cada participante.
[0073] Lafigura 2muestra los diferentes puntos de vista de cada uno de los participantes antes y después de realizar la extracción de la silueta y la inserción del escenario virtual en tiempo real. El lado izquierdo muestra a los participantes visualizándose entre sí sobre el fondo de la sala virtual y el lado derecho de la imagen muestra a los participantes viéndose entre sí inmersos dentro de un escenario virtual.
[0075] Listado de referencias:
[0076] 1. - Sistema interactivo y colaborativo para dispositivos de realidad virtual
[0077] 2. - Casco de realidad virtual
[0078] 21. - Cámara
[0079] 22. - Módulo de comunicaciones inalámbricas
[0080] 23. - Módulo procesador
[0081] 231. - Memoria
[0082] 232. - Procesador
[0083] 233. - Motor gráfico
[0084] 24. - Módulo de seguimiento de la posición
[0085] 3. - Escenario virtual
[0086] 4. (No utilizada)
[0087] 5. - Imagen capturada inicial
[0088] 6. - Extracción de la silueta
[0089] 7. - Imagen final
[0090] 8.- Sala virtual
[0092] DESCRIPCIÓN DETALLADA DE LA PRESENTE INVENCIÓN
[0093] De acuerdo con las figuras que acompañan esta descripción y las referencias numéricas listadas anteriormente, se describe en detalle un ejemplo de realización de la presente invención en el que se hace uso de varios dispositivos de realidad virtual, cascos de realidad virtual concretamente, dentro de una sala virtual para la generación de una retransmisión de video virtual colaborativo e interactivo para los usuarios.
[0095] Una de las funcionalidades de la presente invención consiste en realizar una extracción de la silueta6de un participante en tiempo real a la imagen capturada inicial5que está capturando otro participante con una cámara21integrada en su casco de realidad virtual2dentro de la sala virtual8, la cual está condicionada de forma que se pueda aplicar sobre ella cualquier método de extracción de siluetas de personas contra un fondo, como una llave de color “chromakey” o una segmentación por inteligencia artificial.
[0097] En lafigura 1se representa el escenario completo de una realización de la presente invención con tres participantes. A partir de los cascos de realidad virtual2(uno por cada participante) y la sala virtual8, se genera un sistema interactivo y colaborativo para cualquier tipo de experiencias virtuales, donde todos los participantes se pueden ver entre sí en tiempo real.
[0099] Para que la visualización entre los participantes sea posible, se requiere de un proceso de captura de la imagen5que se realiza a través de las cámaras21integradas en los cascos de realidad virtual2. Este proceso lo realizan todos los cascos de realidad virtual2de cada participante simultáneamente y en tiempo real.
[0101] Tras la captura inicial de la imagen5, la cual incluye el fondo de la sala virtual8, con o sin participantes en el plano, los propios cascos de realidad virtual2ejecutan una extracción de la silueta del participante6y una sustitución del fondo capturado por un escenario virtual3cualquiera a través de su módulo procesador23integrado, el cual incluye una memoria231, un procesador232y un motor gráfico233.
[0103] Adicionalmente, en una de las realizaciones de la invención los cascos de realidad virtual2integran un módulo de seguimiento de la posición24que registra información de su posición y orientación en tiempo real para transmitirla de forma inalámbrica al módulo procesador23de los cascos de realidad virtual2a través de un módulo de comunicaciones inalámbricas22integrado. La información de posición y orientación que proporciona el módulo de seguimiento contribuye a que los participantes puedan interactuar con el escenario virtual a su alrededor consiguiendo unas experiencias más atractivas para el público.
[0105] Tras la extracción de la silueta6y su incrustación dentro de un escenario virtual3, cada uno de los cascos de realidad virtual obtiene una imagen final7que comprende el mismo punto de vista capturado por cada usuario de la sala virtual8, pero que ahora incluye la visualización de un escenario virtual3con uno o más participantes integrados dentro de él. Gracias a esta integración, los participantes pueden interactuar entre ellos visualizándose entre sí inmersos en un escenario virtual, sin necesidad de representaciones de avatares que complican la interacción al requerir datos de posición y orientación para colocarlos dentro del escenario.
[0107] En lafigura 2se representa de forma resumida el flujo principal de la invención, donde las imágenes capturadas inicialmente5por cada uno de los tres usuarios sufren un proceso de extracción de la silueta6dentro de los propios cascos de realidad virtual2y vuelven a ser transmitidas a cada usuario con el fondo de la sala virtual8sustituido por un escenario virtual3y sus participantes correctamente integrados, lo cual compone la imagen final7que visualiza cada usuario en la retransmisión de video virtual colaborativo que recibe en su casco de realidad virtual2.
[0109] Este proceso se realiza de forma automática y en tiempo real durante toda la sesión interactiva, por lo que los participantes pueden moverse por toda la sala, interactuar con el escenario y entre ellos de una forma natural y al mismo tiempo muy atractiva.
[0111] Adicionalmente, en una de las realizaciones de la invención se utilizan elementos gráficos tridimensionales, los cuales se insertan dentro del escenario virtual. Estos elementos producen una ilusión óptica que simula que flotan en el espacio del escenario. Los efectos son más pronunciados gracias a este sistema, ya que los usuarios pueden moverse por toda la sala y visualizar los elementos tridimensionales desde diferentes puntos de vista.
[0113] De acuerdo con una realización alternativa de la presente invención, el sistema interactivo y colaborativo para dispositivos de realidad virtual comprende una estación gráfica centralizada como módulo procesador23. Esta realización es más ventajosa en los casos en que los dispositivos de realidad virtual disponibles no tienen suficiente capacidad computacional para
procesar ciertas operaciones, principalmente la extracción de siluetas de las personas contra el fondo del escenario.
[0115] En este caso, los cascos de realidad virtual2de todos los participantes se conectan de forma inalámbrica con la estación gráfica centralizada. La estación gráfica centralizada se encarga de realizar tanto el almacenamiento de los escenarios virtuales3en su memoria231como la extracción de la silueta6a través de su procesador232y la inserción del participante en el escenario virtual3a través del motor gráfico233.
[0117] Finalmente, la estación gráfica centralizada envía de vuelta una retransmisión de video virtual colaborativo con la imagen final7de la escena a visualizar en tiempo real, a los cascos de realidad virtual2de cada participante, haciendo uso del módulo de comunicaciones inalámbricas22.
[0119] Por lo tanto, el método y sistema de la presente invención implementa, tanto en una configuración distribuida como en una configuración centralizada, experiencias interactivas y colaborativas para dos o más usuarios con dispositivos de realidad virtual, como cascos o gafas de realidad virtual, de forma que permite que los usuarios se visualicen entre sí integrados dentro de un escenario virtual, que además puede incluir objetos 3D interactivos.
[0121] La presente invención no debe verse limitada a la forma de realización aquí descrita. Otras configuraciones pueden ser realizadas por los expertos en la materia a la vista de la presente descripción. En consecuencia, el ámbito de la invención queda definido por las siguientes reivindicaciones.
Claims (15)
1. REIVINDICACIONES
1. Método para generar una retransmisión de video virtual colaborativo caracterizado por que comprende los siguientes pasos:
- capturar, por un dispositivo de captura de video, integrado en un dispositivo de realidad virtual portado por un primer usuario, un video en tiempo real desde el punto de vista del primer usuario, donde el video capturado comprende al menos una imagen de un segundo usuario;
- extraer, por un módulo procesador, una silueta del segundo usuario del video capturado; - integrar, por el módulo procesador, la silueta extraída del segundo usuario sobre un escenario virtual almacenado previamente en el módulo procesador;
- generar, por el módulo procesador, una retransmisión de video virtual colaborativo en tiempo real, que comprende la silueta del segundo usuario integrada en el escenario virtual, desde el punto de vista del primer usuario; y
- reproducir la retransmisión de video virtual colaborativo generada en el dispositivo de realidad virtual portado por el primer usuario.
2. Método de acuerdo con la reivindicación 1 donde, generar la retransmisión de video virtual colaborativo, además comprende integrar un elemento tridimensional virtual en el escenario virtual.
3. Método de acuerdo con cualquiera de las reivindicaciones anteriores donde extraer la silueta del segundo usuario comprende:
- proporcionar un escenario de fondo de un color uniforme seleccionado; y
- extraer el color uniforme seleccionado del video capturado.
4. Método de acuerdo con cualquiera de las reivindicaciones anteriores donde extraer la silueta del segundo usuario comprende aplicar un modelo de segmentación de video, entrenado para identificar píxeles de un mismo objeto, al vídeo capturado.
5. Método de acuerdo con cualquiera de las reivindicaciones anteriores, que además comprende:
- obtener, por un módulo de seguimiento integrado en el dispositivo de realidad virtual, unos datos de posición y orientación del dispositivo de realidad virtual.
6. Método de acuerdo con la reivindicación 5 que además comprende:
- integrar, por el módulo procesador, un usuario remoto en formato de avatar dentro del escenario virtual, basado en los datos de posición y orientación obtenidos por el módulo de seguimiento.
7. Sistema para generar una retransmisión de video virtual colaborativo caracterizado por que comprende:
- un dispositivo de realidad virtual portable por un primer usuario;
- un dispositivo de captura de video integrado en el dispositivo de realidad virtual;
- un módulo procesador, en comunicación con el dispositivo de captura de video y el dispositivo de realidad virtual;
donde el dispositivo de realidad virtual, el dispositivo de captura de video y el módulo procesador están configurados para llevar a cabo el método de cualquiera de las reivindicaciones 1 a 6.
8. Sistema de acuerdo con la reivindicación 7 que además comprende un módulo de seguimiento integrado en el dispositivo de realidad virtual, configurado para obtener datos de posición y orientación del dispositivo de realidad virtual.
9. Sistema de acuerdo con cualquiera de las reivindicaciones 7-8, donde el dispositivo de realidad virtual se selecciona entre un casco de realidad virtual y unas gafas de realidad virtual.
10. Sistema de acuerdo con cualquiera de las reivindicaciones 7-9, donde el módulo procesador es un módulo procesador distribuido que comprende un procesador local dispuesto en cada dispositivo de realidad virtual.
11. Sistema de acuerdo con la reivindicación 10, donde el dispositivo de realidad virtual además comprende un módulo de comunicaciones inalámbricas configurado para establecer una comunicación inalámbrica con otros dispositivos de realidad virtual.
12. Sistema de acuerdo con cualquiera de las reivindicaciones 7-9, donde el módulo procesador es un módulo procesador central configurado para comunicarse inalámbricamente con una pluralidad de dispositivos de realidad virtual y enviar, a cada uno de los dispositivos
de realidad virtual, una retransmisión de video virtual colaborativa en tiempo real que integra las siluetas del resto de usuarios visibles desde el punto de vista de cada usuario.
13. Sistema de acuerdo con la reivindicación 12, donde el dispositivo de realidad virtual además comprende un módulo de comunicaciones inalámbricas configurado para establecer una comunicación inalámbrica con el módulo procesador central.
14. Sistema de acuerdo con cualquiera de las reivindicaciones 7-13 donde el módulo procesador comprende una memoria, un procesador y un motor gráfico.
15. Sistema de acuerdo con cualquiera de las reivindicaciones 7-14 que además comprende un escenario de fondo de un color uniforme, configurado para permitir la extracción, por el módulo procesador, de al menos la silueta del segundo usuario y de proporcionar un entorno colaborativo a un grupo de dos o más usuarios.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202430395A ES3042332A1 (es) | 2024-05-17 | 2024-05-17 | Metodo y sistema para generar una retransmision de video virtual colaborativo |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES202430395A ES3042332A1 (es) | 2024-05-17 | 2024-05-17 | Metodo y sistema para generar una retransmision de video virtual colaborativo |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES3042332A1 true ES3042332A1 (es) | 2025-11-19 |
Family
ID=97718353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES202430395A Withdrawn ES3042332A1 (es) | 2024-05-17 | 2024-05-17 | Metodo y sistema para generar una retransmision de video virtual colaborativo |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES3042332A1 (es) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004012141A2 (en) * | 2002-07-26 | 2004-02-05 | Zaxel Systems, Inc. | Virtual reality immersion system |
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| EP2525573A1 (en) * | 2011-05-17 | 2012-11-21 | Alcatel Lucent | Method and system for conducting a video conference |
| US20150304531A1 (en) * | 2012-11-26 | 2015-10-22 | Brainstorm Multimedia, S.L. | A method for obtaining and inserting in real time a virtual object within a virtual scene from a physical object |
| US20230259194A1 (en) * | 2022-02-16 | 2023-08-17 | Meta Platforms Technologies, Llc | Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments |
| US20230290081A1 (en) * | 2020-08-06 | 2023-09-14 | Maxell, Ltd. | Virtual reality sharing method and system |
| US20230343041A1 (en) * | 2022-04-22 | 2023-10-26 | Kenneth Perlin | Multi-Person Mixed Reality Experience, Method and Apparatus |
| US20230419619A1 (en) * | 2022-06-27 | 2023-12-28 | Kenneth Perlin | Implementing Shared Mixed Reality |
| US20240013483A1 (en) * | 2022-02-07 | 2024-01-11 | Kenneth Perlin | Enabling Multiple Virtual Reality Participants to See Each Other |
-
2024
- 2024-05-17 ES ES202430395A patent/ES3042332A1/es not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| WO2004012141A2 (en) * | 2002-07-26 | 2004-02-05 | Zaxel Systems, Inc. | Virtual reality immersion system |
| EP2525573A1 (en) * | 2011-05-17 | 2012-11-21 | Alcatel Lucent | Method and system for conducting a video conference |
| US20150304531A1 (en) * | 2012-11-26 | 2015-10-22 | Brainstorm Multimedia, S.L. | A method for obtaining and inserting in real time a virtual object within a virtual scene from a physical object |
| US20230290081A1 (en) * | 2020-08-06 | 2023-09-14 | Maxell, Ltd. | Virtual reality sharing method and system |
| US20240013483A1 (en) * | 2022-02-07 | 2024-01-11 | Kenneth Perlin | Enabling Multiple Virtual Reality Participants to See Each Other |
| US20230259194A1 (en) * | 2022-02-16 | 2023-08-17 | Meta Platforms Technologies, Llc | Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments |
| US20230343041A1 (en) * | 2022-04-22 | 2023-10-26 | Kenneth Perlin | Multi-Person Mixed Reality Experience, Method and Apparatus |
| US20230419619A1 (en) * | 2022-06-27 | 2023-12-28 | Kenneth Perlin | Implementing Shared Mixed Reality |
Non-Patent Citations (1)
| Title |
|---|
| MATTHEW KORBAN ET AL. A Survey on Applications of Digital Human Avatars toward Virtual Co-presence. arXiv.org. Cornell University Library. , 11/01/2022, Todo el documento * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4059513B2 (ja) | 没入型仮想環境において注視を伝達する方法およびシステム | |
| US9332222B2 (en) | Controlled three-dimensional communication endpoint | |
| US20040104935A1 (en) | Virtual reality immersion system | |
| CN106157359A (zh) | 一种虚拟场景体验系统的设计方法 | |
| KR102492985B1 (ko) | 디지털 트윈 기반의 메타버스를 제공하는 디지털 테마파크 구현 시스템 | |
| WO2010102288A2 (en) | Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people | |
| Nguyen et al. | Real-time 3D human capture system for mixed-reality art and entertainment | |
| WO2004012141A2 (en) | Virtual reality immersion system | |
| Prince et al. | 3-D live: real time interaction for mixed reality | |
| Andreadis et al. | Real-time motion capture technology on a live theatrical performance with computer generated scenery | |
| Malinchi et al. | A mobile exploration solution for virtual libraries in higher education | |
| Lee et al. | A mixed reality tele-presence platform to exchange emotion and sensory information based on MPEG-V standard | |
| JP7465737B2 (ja) | 授業システム、視聴端末、情報処理方法及びプログラム | |
| ES3042332A1 (es) | Metodo y sistema para generar una retransmision de video virtual colaborativo | |
| KR102492989B1 (ko) | 디지털 트윈 기반의 메타버스를 제공하는 디지털 테마파크의 시뮬레이션 수행 장치 | |
| Lee et al. | Real-time 3D video avatar in mixed reality: An implementation for immersive telecommunication | |
| CN111651048B (zh) | 多虚拟对象排列展示方法、装置、电子设备及存储介质 | |
| Lalioti et al. | Virtual meeting in cyberstage | |
| Tanikawa et al. | Mixed reality digital museum project | |
| Dittrich et al. | An Immersive and Collaborative Virtual Theater Experiences | |
| Lee et al. | Toward immersive telecommunication: 3D video avatar with physical interaction | |
| Courchesne et al. | Posture platform and the drawing room: virtual teleportation in cyberspace | |
| Kenderdine | Avatars at the Flying Palace Stereographic panoramas of Angkor Cambodia | |
| Handa et al. | Immersive Media for Connecting with Remote Family and Friends: Development of Space-Sharing Content Viewing System | |
| JP2023134089A (ja) | 通信装置、通信システム、表示方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BA2A | Patent application published |
Ref document number: 3042332 Country of ref document: ES Kind code of ref document: A1 Effective date: 20251119 |
|
| FA2A | Application withdrawn |
Effective date: 20260306 |