ES3029133T3 - Method and device for displaying data for monitoring an event - Google Patents

Abstract

La invención se refiere a un método de realidad aumentada (100) que comprende los siguientes pasos: adquisición (110) de varias imágenes mediante un dispositivo de adquisición de imágenes que cubren al menos parcialmente un espacio con al menos dos puntos de referencia; determinación de la posición y orientación tridimensionales del espacio con respecto al dispositivo de adquisición de imágenes; recepción (140) de la posición instantánea, dentro del sistema de referencia del espacio, de un elemento móvil que se mueve en él; visualización de al menos una imagen adquirida en la pantalla; superposición (160) sobre la imagen mostrada de una superposición a una distancia predeterminada con respecto a la posición del elemento móvil en la imagen. La invención también se refiere a un dispositivo electrónico portátil que implementa el método. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Método y dispositivo de visualización de datos para el seguimiento de un evento

Campo técnico de la invención

El campo de la invención es el del procesamiento de datos digitales.

Más específicamente, la invención se refiere a un método y dispositivo de visualización de datos para el seguimiento de un evento.

La invención encuentra aplicaciones en particular para el seguimiento en directo de un acontecimiento deportivo, tal como un partido de fútbol, rugby, baloncesto, tenis, etc., en una grada de una instalación deportiva tal como un estadio o una sala. La invención también encuentra aplicaciones en el campo del entretenimiento, por ejemplo, para seguir un partido, un espectáculo en vivo o un concierto.

Estado de la técnica

Estos se conocen en el arte anterior de las técnicas que permiten seguir un acontecimiento mediante la visualización, en particular en tiempo real, de datos tales como estadísticas relativas a un individuo o a un grupo de individuos participantes en el acontecimiento, como por ejemplo el número de goles marcados por un jugador durante un partido de fútbol, el número de saques ganadores o de faltas directos de un jugador durante un partido de tenis, la tasa de acierto en tiros de tres puntos de un jugador durante un partido de baloncesto, etc.

Estos datos suelen mostrarse en la pantalla del equipo en el que se desarrolla el evento.

El principal inconveniente de estas técnicas es que no son muy intuitivas para un individuo que sigue el evento desde una grada del equipo. Además, estas técnicas tienden a distraer al individuo que tiene que girar la cabeza para mirar una pantalla en el equipo.

Ninguno de los sistemas actuales puede satisfacer simultáneamente todas las necesidades requeridas, es decir, ofrecer una técnica que permita a un individuo seguir un evento mostrando intuitivamente datos asociados con los actores del evento sin distraer la atención del individuo.

La patente US 2010/026801 (WILLIAMS MICHAEL JOHN [GB]ET AL) divulga un método y un aparato para generar un registro de eventos que ocurren durante un evento deportivo. En particular, el método divulga la reproducción de incrustaciones de elementos informativos sobre los jugadores en un vídeo adquirido desde un campo deportivo, utilizando una cámara fija.

El artículo titulado "A Vision-Based Mobile Augmented Reality System for Baseball Games", SEONG-OH LEE ET AL, (9 de julio de 2011), CONFERENCIA INTERNACIONAL SOBRE ANÁLISIS INFORMÁTICO DE IMÁGENES Y PATRONES, PÁGINAS 61-68, presenta un sistema portátil de realidad aumentada para juegos de béisbol, y divulga un método para realizar incrustaciones de elementos en una imagen adquirida de un campo de béisbol, la incrustación representa información asociada con un jugador, donde la información es obtenida por el sistema a través de comunicación inalámbrica con un sistema externo de gestión de información.

Divulgación de la invención

La presente invención tiene por objeto solucionar total o parcialmente los inconvenientes del estado de la técnica citado anteriormente.

Para ello, la invención se refiere a un método de realidad aumentada en tiempo real, que comprende las etapas de:

- adquisición de una pluralidad de imágenes mediante un dispositivo de adquisición de imágenes que cubre al menos una parte de un espacio, teniendo el espacio al menos dos puntos de referencia, estando asociado el dispositivo de adquisición de imágenes a una referencia bidimensional, denominada referencia de imagen, estando incluido el dispositivo de adquisición de imágenes en un dispositivo electrónico portátil que comprende también una pantalla;

- detección de al menos dos puntos de referencia espaciales en al menos una imagen, estando el espacio asociado a una referencia tridimensional, denominada referencia espacial;

- determinación de una posición y una orientación tridimensionales del espacio con respecto al dispositivo de adquisición de imágenes utilizando los puntos de referencia detectados;

- recepción de la posición instantánea, en la referencia espacial, de un elemento móvil que se mueve en el espacio;

- cálculo de la posición del elemento móvil en la referencia de imagen a partir de los parámetros de transformación entre la referencia espacial y la referencia de imagen, calculándose dichos parámetros de transformación a partir de la posición y la orientación tridimensional del espacio con respecto al dispositivo de adquisición de imágenes;

- visualización en tiempo real

- de al menos una imagen adquirida en la pantalla;

- superposición en tiempo real

- sobre la imagen mostrada en la pantalla de al menos una incrustación a

una distancia predeterminada con respecto a la posición del elemento móvil en la referencia de imagen.

Así, conociendo la transformación entre la referencia espacial y la referencia de imagen, es posible mostrar los datos asociados a dicho elemento móvil participando en un evento en vivo tal como un partido deportivo, un espectáculo o un concierto, en la incrustación mostrada cerca de la imagen del elemento móvil en la pantalla retransmitiendo la imagen adquirida por el dispositivo de adquisición de imágenes.

El espacio puede incluir, por ejemplo, un campo de juego o un escenario de una sala de espectáculos. El espacio está generalmente delimitado para permitir a los espectadores seguir en directo el acontecimiento que se desarrolla en el espacio, por ejemplo, desde al menos una grada cercana al campo o al plató.

El elemento en movimiento suele ser un actor que participa en el evento en vivo, como un jugador que participa en un partido de un deporte que se desarrolla en el campo, un actor en un espectáculo o un músico en un concierto. El elemento móvil también puede ser un accesorio como por ejemplo un accesorio de juego disputado por los jugadores durante un partido. Un accesorio de juego suele ser una pelota, un balón, un disco o un volante.

Cabe señalar que la incrustación permite mostrar datos, una imagen estática o animada, un vídeo o cualquier otro elemento que mejore la imagen del evento mostrado en pantalla.

Los parámetros de transformación entre la referencia espacial, que es tridimensional, y la referencia de imagen, que es bidimensional, se calculan generalmente a partir de la posición tridimensional del espacio con respecto al dispositivo de adquisición de imágenes y de la orientación tridimensional del espacio con respecto al dispositivo de adquisición de imágenes, que puede ser una cámara.

Cabe destacar que el dispositivo de adquisición de imágenes puede representarse en la referencia espacial. Esta representación generalmente incluye las coordenadas tridimensionales del dispositivo de adquisición de imágenes en la referencia espacial y los tres ángulos utilizados para orientar el dispositivo de adquisición de imágenes en la referencia espacial.

La transformación entre la referencia espacial y la referencia de imagen generalmente incluye al menos una traslación, al menos una rotación y una proyección.

Se debe destacar que la determinación de la posición y orientación tridimensionales del espacio con respecto al dispositivo de adquisición de imágenes, en una referencia asociada al dispositivo de adquisición de imágenes o directamente en la referencia espacial, se realiza mediante la detección de puntos de referencia en una imagen que cubre al menos parcialmente el espacio y no mediante el uso de una cámara de profundidad de campo. De hecho, dada la distancia generalmente muy importante entre el dispositivo de adquisición de imágenes y el espacio, una cámara de profundidad de campo no sería adecuada porque induciría demasiadas imprecisiones en la posición y orientación del espacio.

Ventajosamente, se elige un punto de referencia entre:

- una línea de marcaje de un campo o de un plató incluida en el espacio;

- un arco de círculo de un marcaje de un campo o de un plató incluido en el espacio;

- una intersección entre dos líneas de un marcaje de un campo o de un plató incluida en el espacio;

- un elemento que se encuentra sustancialmente perpendicular a la superficie de un campo o de un plató incluido en el espacio;

- un elemento característico de una estructura que rodea la superficie de un campo o de un plató incluido en el espacio;

- un logotipo;

- un marcador.

Preferiblemente, se detectan cuatro puntos de referencia y se utilizan para determinar la posición tridimensional y la orientación del espacio en relación con el dispositivo de adquisición de imágenes.

En realizaciones particulares de la invención, el método de realidad aumentada también comprende una etapa de reconocimiento automático del tipo de campo incluido en el espacio.

Esta etapa de reconocimiento automático del tipo de campo se basa generalmente en la detección de puntos característicos vinculados a la forma del campo deportivo reconocido que puede ser de cualquier tipo: fútbol, baloncesto, balonmano, rugby, tenis, hockey, béisbol, etc. Estos puntos característicos pueden confundirse con los puntos de referencia detectados. Es importante destacar que esta etapa de reconocimiento no es específica de ningún deporte en particular, sino que permite el reconocimiento de cualquier ámbito deportivo cuyos puntos característicos típicos se conozcan. Los puntos característicos son generalmente la forma general del campo, la posición relativa de las líneas en relación con el campo, la presencia y posición relativa de arcos circulares en relación con el campo, etc.

Ventajosamente, el reconocimiento automático del tipo de campo se realiza mediante un método de aprendizaje profundo entrenado en una pluralidad de imágenes de campo.

De este modo, esto permite reconocer rápidamente cualquier tipo de campo, independientemente de su orientación o ángulo de visión.

Además, gracias a este método de aprendizaje profundo, también llamado con el término inglés "Deep Learning", es posible reconocer un campo a partir de una imagen parcial del campo, es decir, sin necesidad de ver el campo en su totalidad.

En realizaciones particulares de la invención, el método de realidad aumentada también comprende las etapas de:

- adquisición de un movimiento instantáneo del dispositivo de adquisición de imágenes, en rotación y traslación con respecto al espacio;

- actualización de la posición y orientación del campo deportivo con respecto al dispositivo de adquisición de imágenes a partir de la posición y orientación anteriores del espacio con respecto al dispositivo de adquisición de imágenes y del movimiento instantáneo del dispositivo de adquisición de imágenes.

Esto hace que la incrustación de datos en las imágenes mostradas en la pantalla sea más estable. Además, estas etapas adicionales permiten obtener un proceso de realidad aumentada que consume menos tiempo de cálculo y por tanto menos energía eléctrica. De hecho, una vez que se conocen la posición tridimensional y la orientación del espacio con respecto al dispositivo de adquisición de imágenes, es fácil actualizarlas conociendo los movimientos del dispositivo de adquisición de imágenes. Un método que se puede utilizar para evaluar estos movimientos es, por ejemplo, el SLAm (acrónimo del término inglés "Simultaneous Localization And Mapping).

En realizaciones particulares de la invención, la etapa de determinar la posición y orientación tridimensional del espacio con respecto al dispositivo de adquisición de imágenes comprende una subetapa de generación de parámetros de un algoritmo informático de aprendizaje automático a partir de una pluralidad de imágenes registradas en una base de datos, representando cada imagen de la base de datos la totalidad o parte de un espacio cuya posición y orientación con respecto al dispositivo de adquisición de imágenes que ha adquirido dicha imagen son conocidas.

De esta forma, la determinación de la posición y orientación tridimensional del campo con respecto al dispositivo de adquisición de imágenes se puede realizar de forma rápida y precisa utilizando los parámetros generados en las imágenes adquiridas para determinar la posición y orientación tridimensional del espacio.

En realizaciones particulares de la invención, la etapa de determinar una posición y orientación tridimensional del espacio con respecto al dispositivo de adquisición de imágenes comprende una subetapa de superposición de un modelo tridimensional del espacio sobre al menos una de las imágenes adquiridas por el dispositivo de adquisición de imágenes.

De esta manera, la referencia espacial se puede posicionar y orientar en el espacio virtual con respecto al dispositivo de adquisición de imágenes.

En realizaciones particulares de la invención, el método de realidad aumentada también comprende una etapa de corrección de la posición instantánea del elemento móvil en función de una velocidad instantánea del elemento móvil y/o una aceleración instantánea del elemento móvil.

Esto permite mejorar la posición de la incrustación en las imágenes, particularmente cuando hay una latencia significativa entre la adquisición y la visualización de esta. En efecto, el uso de la velocidad instantánea del elemento móvil y/o de la aceleración instantánea de este último permite predecir una posición del elemento móvil en un intervalo de tiempo cercano.

La superposición de la incrustación sobre la imagen mostrada en pantalla de al menos un dato asociado a dicho elemento móvil se realiza en tiempo real.

Cabe señalar que los datos incrustados en la imagen normalmente los transmite un proveedor de datos. Ventajosamente, la incrustación incluye al menos un dato elegido entre:

- el nombre de un jugador;

- una estadística asociada al jugador, como por ejemplo un número de goles, un número de intentos, un número de canastas, un número de puntos anotados, un número de pases exitosos;

- un nombre de un equipo;

- un posicionamiento de un grupo de jugadores en relación con otros jugadores;

- una formación del equipo o grupo de jugadores;

- una distancia entre un punto del campo y un jugador;

- una distancia entre dos puntos del campo;

y/o un elemento gráfico tal como una línea, un círculo, una elipse, una curva, un cuadrado o un triángulo; y/o una imagen fija o en movimiento;

y/o un vídeo.

Una animación puede, por ejemplo, estar vinculada a la celebración de un marcaje durante un partido.

En realizaciones particulares de la invención, el método de realidad aumentada comprende una etapa de determinación de un encuadre de un elemento móvil, generando el encuadre una oclusión para al menos una incrustación superpuesta a la imagen mostrada en pantalla.

De esta forma, es posible obtener una representación mucho más realista ocultando una parte de la incrustación mostrada a nivel de un elemento en movimiento, y en particular a nivel de un jugador. Este es particularmente el caso cuando la incrustación incluye un elemento gráfico como una línea virtual en el campo, que corresponde por ejemplo a una línea de fuera de juego en fútbol o rugby.

En realizaciones particulares de la invención, el método de realidad aumentada también comprende una etapa de selección de un elemento móvil y visualización de información relacionada con el elemento móvil en una incrustación cerca del elemento móvil.

La invención también se refiere a un dispositivo electrónico portátil que comprende una cámara y una pantalla, implementando el método de realidad aumentada según cualquiera de las realizaciones anteriores.

El dispositivo electrónico portátil generalmente también incluye un procesador y una memoria de ordenador que almacena instrucciones para un programa informático que implementa el método de realidad aumentada. Preferiblemente, el dispositivo electrónico portátil es un teléfono móvil inteligente, también conocido con el término inglés "smartphone", unas gafas de realidad aumentada o un casco de realidad aumentada.

El dispositivo electrónico portátil puede incluir un marco y una pantalla montada en el marco que está destinado a ser usado en la cara de una persona.

En otras palabras, el dispositivo electrónico portátil puede incluir cualquier medio para reproducir una imagen que pueda mostrarse frente al ojo de un individuo, incluida una lente de contacto para reproducir una imagen. En realizaciones particulares de la invención, el dispositivo electrónico portátil también comprende al menos un acelerómetro y/o un giroscopio.

De este modo, el dispositivo incluye medios para evaluar los movimientos de traslación y rotación de la cámara con respecto al espacio.

Cabe señalar que parte del proceso podría ser implementado por un servidor remoto, incluidas las etapas de: - detección de al menos dos puntos de referencia del campo en al menos una imagen, estando asociado el espacio a una referencia tridimensional, denominada referencia espacial; y de

- determinación de una posición y orientación tridimensionales del espacio con respecto al dispositivo de adquisición de imágenes utilizando los puntos de referencia detectados.

En este caso, la etapa de actualizar la posición y orientación tridimensional del espacio a partir de la evaluación de los movimientos de la cámara con respecto al espacio se implementa mediante el dispositivo electrónico portátil.

Breve descripción de las figuras

Otras ventajas, objetivos y características particulares de la presente invención se desprenderán de la siguiente descripción no limitativa de al menos una realización particular de los dispositivos y métodos objeto de la presente invención, con referencia a los dibujos adjuntos, en los que:

[Figura 1] La Figura 1 es un diagrama de bloques de un método de realidad aumentada según la invención;

[Figura 2] La Figura 2 es una vista de un dispositivo electrónico portátil que implementa el método de realidad aumentada de la Figura 1.

Descripción detallada de realizaciones de la invención

La presente descripción se da sin limitación alguna, pudiendo cada característica de una realización combinarse con cualquier otra característica de cualquier otra característica de cualquier otra realización de manera ventajosa.

Se toma nota, ahora, de que las figuras no están a escala.

Ejemplo de una realización particular de la invención

La Figura 1 ilustra un diagrama de bloques de un método 100 de realidad aumentada según la invención implementado por un dispositivo electrónico portátil 200 ilustrado en la Figura 2.

El dispositivo electrónico portátil 200 es aquí un teléfono móvil inteligente sostenido por un individuo (no mostrado) instalado en una grada de un espacio 202 que es una sala en la que se está disputando un partido de baloncesto entre dos equipos compuestos cada uno por cinco jugadores 230. Los dos equipos compiten por un objeto de juego que es una pelota de baloncesto (no se muestra). El juego se desarrolla en un campo 220 de baloncesto, que comprende un marcaje de 221. La sala 202 corresponde en este caso a un espacio, comprendiendo el espacio el campo 220 y estructuras como la grada y dos canastas 203 de baloncesto (sólo una mostrada en la Figura 2).

En el presente ejemplo, el individuo utiliza el teléfono móvil 200 y ve en una pantalla 250 del teléfono móvil 200 la imagen adquirida en tiempo real adquirida por un dispositivo 210 de adquisición de imágenes que es una cámara. La cámara 210 captura aquí una parte del espacio 202, incluyendo en particular una parte del campo 220 de baloncesto. En la situación ilustrada en la Figura 2, los jugadores 230 de los dos equipos están situados en una mitad del campo, uno de los dos equipos, representado por las rayas horizontales está atacando mientras que el otro equipo, representado por las rayas verticales está defendiendo, es decir impidiendo a los jugadores 2301 del equipo en posición de ataque que envíen el balón de baloncesto a la canasta 203 de baloncesto.

El método 100 comprende así una primera etapa 110 de adquisición de una pluralidad de imágenes por la cámara. Se debe tener en cuenta que las imágenes adquiridas generalmente forman un flujo de vídeo.

En el campo de la cámara 210, durante la segunda etapa 120 del método se detectan cuatro puntos de referencia 222. Los cuatro puntos de referencia 222 son una esquina 2221 del campo, la canasta 203 de baloncesto, un arco de círculo 2223 representando la línea de tres puntos y un arco de círculo 2224 rodeando una línea de tiros libres. Cabe señalar que la esquina 2221, el arco de círculo 2223 y el arco de círculo 2224 son parte del marcaje 221 de las canchas de baloncesto.

Opcionalmente, el método 100 puede comprender una etapa 115 previa o concomitante con la etapa 120 de detección de los puntos de referencia 222, durante la cual se reconoce el tipo de campo mediante un algoritmo de reconocimiento de campo basado en aprendizaje profundo ("Deep learning") entrenados en una pluralidad de imágenes de campos deportivos. El algoritmo puede, en particular, reconocer si se trata de una cancha de baloncesto, un campo de fútbol, un campo de rugby, un campo de hockey, una cancha de tenis o cualquier otro campo que comprenda una pluralidad de puntos de referencia. Cabe señalar que los puntos de referencia detectados durante la etapa 120 son generalmente una función del tipo de campo detectado.

Gracias a los puntos de referencia 222 detectados en el espacio 202, durante una tercera etapa 130 del método de realidad aumentada se determina una posición y una orientación tridimensionales del espacio 202 con respecto a la cámara 210.

La determinación de la posición y orientación tridimensionales se puede realizar ya sea superponiendo sobre la imagen un modelo del espacio 202 utilizando los puntos de referencia 222, o bien utilizando parámetros de un algoritmo informático de aprendizaje automático también llamado con el término inglés "machine learning".

El modelo del espacio 202 incluye generalmente un modelo del campo 220 y del marcaje 221, o incluso un modelo de elementos singulares que pueden actuar como puntos de referencia como, por ejemplo, las canastas de baloncesto 203. Para superponer los puntos de referencia 222 detectados en la imagen y los puntos de referencia presentes en el modelo, puede ser utilizado un método de homografía o un método del tipo "Perspectiva y punto".

Cuando se utiliza un algoritmo de aprendizaje automático, el método generalmente comprende una etapa adicional de generación de parámetros del algoritmo a partir de imágenes del espacio 202 previamente registradas en una base de datos, registrándose cada imagen con la posición y orientación tridimensionales de un dispositivo de adquisición de imágenes que haya adquirido dicha imagen. Esta etapa de aprendizaje, que requiere mucho tiempo de cálculo, generalmente lo lleva a cabo un servidor remoto. Se debe tener en cuenta que esta etapa de aprendizaje generalmente se realiza solo una vez.

Además, la posición del espacio 202 con respecto a la cámara 210 se calcula generalmente en una referencia que está asociada con la cámara 210 o con el espacio 202. La transición de la referencia de la cámara a la referencia espacial se realiza generalmente de forma sencilla mediante una traslación y una rotación, siendo estas dos referencias tridimensionales.

Se calculan parámetros de transformación entre la referencia espacial y una referencia bidimensional asociada a la cámara 210, denominada referencia de imagen, para transformar las coordenadas obtenidas en la referencia espacial en la referencia de las imágenes obtenidas por la cámara 210. Cabe destacar que la referencia de imagen es distinta de la referencia de la cámara en el sentido de que la referencia de imagen es una referencia bidimensional y la referencia de la cámara es una referencia tridimensional. Generalmente, una proyección permite moverse desde la referencia de la cámara a la referencia de imagen.

La posición instantánea de un elemento móvil 235 en la referencia espacial se recibe luego durante la cuarta etapa 140 del método 100 de realidad aumentada. El elemento móvil 235 es aquí uno de los cinco jugadores 230 de uno de los dos equipos que se enfrentan durante el partido de baloncesto. El elemento móvil también puede ser el accesorio de juego disputado por los dos equipos, es decir, el balón de baloncesto (no mostrado en la figura 2).

Durante la quinta etapa 150 del método 100 de realidad aumentada se realiza un cálculo de la posición del elemento móvil 235 en la referencia de imagen.

Como la posición del elemento móvil 235 es conocida en la referencia de imagen, es posible superponer sobre la imagen mostrada en la pantalla 250 una incrustación 240 cerca de la posición del elemento móvil durante una sexta etapa 160 del método 100. Generalmente, la posición de la incrustación 240 se realiza a una distancia predeterminada de la posición instantánea del elemento móvil 235 en la imagen. En el presente ejemplo no limitativo de la invención, la incrustación 240 se superpone verticalmente con respecto a la posición del elemento móvil 235 de tal manera que aparece por encima del elemento móvil 235 en la imagen mostrada.

Cabe destacar que es posible, como en la figura 2, repetir las etapas 140 a 160 para mostrar las incrustaciones 240 para una pluralidad de elementos móviles presentes en el espacio 202, aquí para los cinco jugadores 2301 del equipo que está en la fase de ataque.

La incrustación de 240 para cada jugador 2301 puede incluir uno o más datos, como el nombre del jugador y el número de puntos anotados desde el comienzo del partido. Cualquier otro dato estadístico útil para el seguimiento del partido se puede mostrar mediante este método 100. La incrustación 240 también puede incluir una animación que se muestra tan pronto como el elemento móvil 235 ha marcado, enviando el balón la canasta de baloncesto del equipo contrario.

Así el individuo en una grada puede ver el partido de baloncesto mientras consulta los datos de los jugadores 2301 en la pantalla de su teléfono 200. Cabe destacar que la imagen mostrada en la pantalla 250 de su teléfono 200 puede superponerse ventajosamente al campo visto por el individuo, de modo que este pueda seguir el partido sin pérdida de atención. Además, no se requiere que el individuo gire la cabeza para mirar una pantalla (no se muestra en la Figura 2) presente en la habitación 202.

Además, con datos mostrados directamente cerca de los jugadores 230, el seguimiento es más intuitivo. Utilizando la pantalla 250, normalmente táctil, el individuo también puede seleccionar el tipo de datos que desea ver, como por ejemplo una estadística particular de un jugador.

Cabe destacar que la incrustación de datos durante el proceso 100 se realiza en tiempo real respecto a la imagen adquirida. En otras palabras, el tiempo de cálculo entre la adquisición de la imagen y la visualización de la misma con las incrustaciones 240 se realiza en un período de tiempo muy corto, generalmente menos de un milisegundo, de manera que el individuo pueda ver las imágenes adquiridas del evento casi simultáneamente con una visión directa del evento.

Para este fin, las etapas 120 y 130, que requieren un gran esfuerzo computacional, se pueden llevar a cabo de forma ventajosa en un servidor remoto (no se muestra en la Figura 2). De esta forma, al menos una imagen adquirida se transmite al servidor remoto a través de medios de telecomunicaciones (no mostrados en la figura 2) incluidos en el teléfono 200.

Para reducir la latencia, la transmisión de datos entre el teléfono 200 y el servidor remoto puede realizarse mediante una red de telecomunicaciones configurada según el estándar 5G. Además, la latencia también se puede reducir utilizando un servidor informático cerca de una antena de la red de telecomunicaciones, actuando entonces el servidor informático como servidor remoto que realiza los cálculos de las etapas 120 y 130. En este caso, este tipo de arquitectura se conoce con el nombre en inglés de "Edge Computing".

A partir de la posición y orientación tridimensional del campo con respecto a la cámara 210 calculadas por el servidor remoto para una imagen dada, el método 100 actualiza esta posición y esta orientación en función de los movimientos de la cámara 210 en el espacio tridimensional durante una etapa 170 que sustituye a las etapas 120 y 130, utilizando por ejemplo un método SLAM (siglas del término inglés "Simultaneous Localization And Mapping").

Estos movimientos son adquiridos por ejemplo por un acelerómetro de tres ejes 260 incluido en el teléfono 200 durante una etapa 175 realizada antes de la etapa 170.

De esta forma, al ser el tiempo de cálculo más rápido, la visualización de los datos asociados a los jugadores es más estable con respecto a la posición instantánea de los elementos móviles 230.

Además, con el fin de mejorar la posición de la incrustación 240 de los datos, en particular para dar la impresión de que el elemento móvil 235 está siendo seguido por el método 100, el método 100 puede comprender una etapa opcional 180 incluida antes de la etapa 160 para corregir la posición instantánea del elemento móvil 230 en la referencia espacial en función de una velocidad instantánea y/o una aceleración instantánea del elemento móvil 230. Esta velocidad instantánea y esta aceleración instantánea, proporcionadas por ejemplo con los datos asociados a los elementos móviles o calculadas a partir de posiciones instantáneas sucesivas, permiten predecir la posición del elemento móvil 230 en un intervalo de tiempo corto.

Esta etapa 180 permite en particular superar las latencias que pueden producirse durante la transmisión de datos hacia el teléfono 200.

Para mejorar el realismo de la visualización, en particular cuando se muestra al menos un elemento gráfico tal como una línea, un círculo, un triángulo, el método puede comprender una etapa 190 durante la cual se calcula una oclusión a partir de un encuadre de un elemento móvil, tal como un jugador. Esta oclusión permite eliminar una parte del elemento gráfico incrustado en la pantalla o evitar que la incrustación de esta parte del elemento gráfico se superponga al elemento móvil. La etapa de oclusión 190 puede realizarse antes o después de la etapa de incrustación 160.

Conociendo la posición de un elemento móvil en un momento dado de la imagen, el encuadre puede realizarse mediante una detección de un contorno de este elemento o mediante cualquier otra técnica conocida por el experto en la materia. Otra técnica de encuadre consiste en una estimación de la posición de un modelo representativo de un elemento móvil, tal como un jugador. Así, conociendo el tamaño habitual de un jugador, se puede realizar una estimación de la postura global del jugador analizando la parte visible de este jugador en una imagen o en una secuencia de imágenes, detectando en particular puntos característicos de la estructura del jugador, generalmente puntos de articulación del esqueleto del jugador. Al estimar la postura general del jugador, podemos definir una estimación del volumen total ocupado por el jugador, así como su posición en el espacio.

A partir de la posición del campo y de los elementos móviles en la imagen, es posible seleccionar, durante una etapa opcional 195, un elemento móvil particular haciendo clic o tocando una zona de la pantalla, denominada zona de interacción, cerca de la imagen del elemento móvil. A partir de las coordenadas de la zona de interacción con la pantalla, es posible mostrar en una incrustación las estadísticas del jugador más cercano a las coordenadas de la zona de interacción.

Claims (14)

1. REIVINDICACIONES

   i. Método (100) de realidad aumentada en tiempo real, que comprende las etapas de:

   - adquisición (110) de una pluralidad de imágenes por un dispositivo de adquisición de imágenes (210) que cubre al menos parcialmente un espacio (202), teniendo el espacio al menos dos puntos de referencia (222), estando asociado el dispositivo de adquisición de imágenes a una referencia bidimensional, denominada referencia de imagen, estando incluido el dispositivo de adquisición de imágenes en un dispositivo electrónico portátil (200) que comprende también una pantalla (250); - detección (120) de al menos dos puntos de referencia (222) del espacio en al menos una imagen, estando asociado el espacio a una referencia tridimensional, denominada referencia espacial;

   - determinación (130) de una posición y una orientación tridimensionales del espacio con respecto al dispositivo de adquisición de imágenes utilizando los puntos de referencia detectados;

   - recepción (140) de la posición instantánea, en la referencia espacial, de un elemento móvil (230) que se mueve en el espacio;

   - cálculo (150) de la posición del elemento móvil (235) en la referencia de imagen a partir de los parámetros de transformación entre la referencia espacial y la referencia de imagen, calculándose dichos parámetros de transformación a partir de la posición y la orientación tridimensional del espacio con respecto al dispositivo de adquisición de imágenes;

   - visualización en tiempo real de al menos una imagen adquirida en la pantalla (250);

   - superposición (160) en tiempo real sobre la imagen mostrada en pantalla de al menos una incrustación (240) a una distancia predeterminada con respecto a la posición del elemento móvil (235) en la referencia de imagen.
2. 2. Método de realidad aumentada según la reivindicación 1, en el que se elige un punto de referencia (222) entre:

   - una línea de marcaje de un campo o de un plató incluido en el espacio;

   - un arco de círculo de un marcaje de un campo o un plató incluido en el espacio;

   - una intersección entre dos líneas de un marcaje de un campo o de un plató incluido en el espacio; - un elemento que se encuentra sustancialmente perpendicular a la superficie de un campo o un de un plató incluido en el espacio;

   - un elemento característico de una estructura que rodea la superficie de un campo o un plató incluido en el espacio;

   - un logotipo;

   - un marcador.
3. 3. Método de realidad aumentada según cualquiera de las reivindicaciones 1 a 2, que comprende además una etapa (115) de reconocimiento automático del tipo de campo incluido en el espacio.
4. 4. Método de realidad aumentada según la reivindicación 3, en el que el reconocimiento automático del tipo de campo se realiza a través de un método de aprendizaje profundo entrenado con una pluralidad de imágenes de campo.
5. 5. Método de realidad aumentada según cualquiera de las reivindicaciones 1 a 4, que comprende además las etapas de:

   - adquisición (175) de un movimiento instantáneo del dispositivo de adquisición de imágenes, en rotación y en traslación respecto al espacio;

   - actualización (170) de la posición y orientación del espacio con respecto al dispositivo de adquisición de imágenes a partir de la posición y orientación anteriores del espacio con respecto al dispositivo de adquisición de imágenes y del movimiento instantáneo del dispositivo de adquisición de imágenes.
6. 6. Método de realidad aumentada según cualquiera de las reivindicaciones 1 a 5, en el que la etapa de determinación de la posición y orientación tridimensional del espacio con respecto al dispositivo de adquisición de imágenes comprende una subetapa de generación de parámetros de un algoritmo informático de aprendizaje automático a partir de una pluralidad de imágenes registradas en una base de datos, representando cada imagen de la base de datos la totalidad o parte de un espacio cuya posición y orientación con respecto al dispositivo de adquisición de imágenes que ha adquirido dicha imagen sean conocidas.
7. 7. Método de realidad aumentada según cualquiera de las reivindicaciones 1 a 6, en el que la etapa de determinación de una posición y orientación tridimensional del espacio con respecto al dispositivo de adquisición de imágenes comprende una subetapa de superposición de un modelo del espacio sobre al menos una de las imágenes adquiridas por el dispositivo de adquisición de imágenes.
8. 8. Método de realidad aumentada según cualquiera de las reivindicaciones 1 a 7, que comprende además una etapa (180) de corrección de la posición instantánea del elemento móvil en función de una velocidad instantánea del elemento móvil y/o de una aceleración instantánea del elemento móvil.
9. 9. Método de realidad aumentada según cualquiera de las reivindicaciones 1 a 8, en el que la incrustación (240) comprende al menos un dato seleccionado entre:

   - el nombre de un jugador;

   - una estadística asociada al jugador, como, por ejemplo, un número de goles, un número de intentos, un número de canastas, un número de puntos anotados, un número de pases exitosos;

   - el nombre de un equipo;

   - un posicionamiento de un grupo de jugadores en relación con otros jugadores;

   - un entrenamiento del equipo o de un grupo de jugadores;

   - una distancia entre un punto en el campo y un jugador;

   - una distancia entre dos puntos del campo;

   y/o un elemento gráfico como una línea, un círculo, un cuadrado o un triángulo;

   y/o una imagen fija o en movimiento;

   y/o un vídeo.
10. 10. Método de realidad aumentada según cualquiera de las reivindicaciones 1 a 9, que comprende una etapa de determinación de un encuadre de un elemento móvil, generando el encuadre una oclusión para al menos una incrustación superpuesta sobre la imagen mostrada en la pantalla.
11. 11. Método de realidad aumentada según cualquiera de las reivindicaciones 1 a 10, que comprende además una etapa de selección de un elemento móvil y visualización de información relativa al elemento móvil en una incrustación cerca del elemento móvil.
12. 12. Dispositivo electrónico portátil (200) que comprende una cámara (210) y una pantalla (250), que implementa el método de realidad aumentada según cualquiera de las reivindicaciones 1 a 11.
13. 13. Dispositivo electrónico portátil según la reivindicación 12, caracterizado porque se trata de un teléfono móvil inteligente, unas gafas de realidad aumentada o un casco de realidad aumentada.
14. 14. Un dispositivo electrónico portátil según cualquiera de las reivindicaciones 12 a 13, que comprende además al menos un acelerómetro (260) y/o un giroscopio.