ES2790885T3 - Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos - Google Patents
Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos Download PDFInfo
- Publication number
- ES2790885T3 ES2790885T3 ES06728192T ES06728192T ES2790885T3 ES 2790885 T3 ES2790885 T3 ES 2790885T3 ES 06728192 T ES06728192 T ES 06728192T ES 06728192 T ES06728192 T ES 06728192T ES 2790885 T3 ES2790885 T3 ES 2790885T3
- Authority
- ES
- Spain
- Prior art keywords
- objects
- location
- operative
- player
- playing field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Un sistema (200) para localización de objetos en tiempo real, y seguimiento e identificación de objetos en un evento deportivo que comprende: a. una pluralidad de cámaras (202a-n) operativas para capturar video de un campo de juego deportivo que incluye objetos ubicados en el mismo; b. una unidad (204) de procesamiento de imagen operativa para automáticamente: recibir fotogramas de video de cada cámara (202a-n) y detectar al menos algunos de los objetos en al menos algunos de los fotogramas y segmentar imágenes de primer plano correspondientes a los objetos, a partir de imágenes de fondo de al menos algunos de los fotogramas, asociando píxeles a partir de las imágenes en primer plano para definir blobs; analizar cada blob con criterios visuales predefinidos para asignar el objeto correspondiente al blob a un grupo de identidad involucrado en el evento deportivo en el campo de juego; y, determinar la ubicación del objeto correspondiente al blob en base a la ubicación del blob en el campo de visión de la cámara (310); y, c. un servidor (206) central operativo para proporcionar información de localización y seguimiento en tiempo real sobre los objetos detectados en base a las ubicaciones determinadas de cada uno de los objetos detectados; en el que las cámaras (202a-n) incluyen cámaras fijas, cada cámara es colocada en una sola ubicación con respecto a dicho campo de juego deportivo, por lo que juntas las cámaras (202a-n) están viendo sustancialmente todo el campo de juego deportivo. caracterizado porque la unidad de procesamiento de imágenes está operativa para asignar un grupo de identidad a cada blob en base a un recuento con respecto a otros blobs y un análisis de la ubicación del blob en el campo de juego deportivo del fondo.
Description
DESCRIPCIÓN
Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
Campo de la invención
La presente invención se refiere en general al seguimiento de objetos en tiempo real y la captura de movimiento en eventos deportivos y, en particular, a un sistema “no intrusivo” para la localización de objetos en tiempo real de acuerdo con el preámbulo de la reivindicación 1 y un procedimiento “no intrusivo” para seguir, identificar y capturar el movimiento de atletas y objetos como pelotas y coches utilizando equipos periféricos de acuerdo con el preámbulo del procedimiento de la reivindicación 9.
Antecedentes de la invención
Los sistemas actuales de monitorización de objetos y captura de movimiento en eventos deportivos utilizan dispositivos eléctricos u ópticos montados en conjunto con transceptores desplegados en el estadio para el seguimiento en vivo e identificación o procedimientos “pasivos” en base al procesamiento de imágenes para el análisis de partidos en tiempo no real y repeticiones retrasadas. Los sistemas de seguimiento existentes se utilizan principalmente para generar bases de datos de rendimiento de atletas/animales/jugadores y datos estadísticos de eventos principalmente para aplicaciones de entrenamiento. Los sistemas y procedimientos ejemplares se divulgan en las patentes de los Estados Unidos No. 5,363,897, 5,513,854, 6,124,862 y 6,483,511. Además, los documentos EP 1480450A2 y EP 0847201A1 tratan con cámaras ubicadas alrededor de un campo deportivo. También el documento EP 1757087 divulga un sistema y un procedimiento de acuerdo con los preámbulos de la reivindicación 1 del dispositivo y la reivindicación 9 del procedimiento.
Los procedimientos actuales de captura de movimiento utilizan múltiples sensores electromagnéticos o dispositivos ópticos montados en las articulaciones de los actores para medir la ubicación tridimensional (3D) de los órganos del cuerpo (también denominada en el presente documento como secciones, articulaciones o partes del cuerpo). Los “órganos” se refieren a la cabeza, el torso, las extremidades y otras partes del cuerpo segmentables. Algunos órganos pueden incluir una o más articulaciones. Los procedimientos de captura de movimiento se han aplicado en el pasado a actores aislados (únicos) vistos por cámaras de televisión dedicadas y utilizando algoritmos de reconocimiento de patrones para identificar, ubicar y capturar el movimiento de las partes del cuerpo.
La principal desventaja de todos los sistemas y procedimientos conocidos es que ninguno proporciona una forma “no intrusiva” para seguir, identificar y capturar el movimiento completo de atletas, jugadores y otros objetos en el campo de juego en tiempo real. Todavía no existe la captura de movimiento no intrusiva (y datos relacionados) en tiempo real de múltiples entidades, tales como jugadores en eventos deportivos. En consecuencia, hasta la fecha, dichos datos no se han utilizado en juegos de ordenador para mostrar la representación en 3D de un juego real en tiempo real.
Por lo tanto, es necesario para, y sería ventajoso tener un sistema periférico “no intrusivo” y procedimientos para seguir, identificar y capturar el movimiento completo de atletas, jugadores y otros objetos en el campo de juego en tiempo real. Además, sería ventajoso tener el movimiento capturado y otros atributos del juego real que sean transferibles en tiempo real a un juego de ordenador, con el fin de proporcionar juegos deportivos de ordenador mucho más realistas y de mayor fidelidad.
Sumario de la invención
La presente invención divulga sistemas y procedimientos periféricos “no intrusivos” para seguir, identificar diversas entidades de actuación y capturar el movimiento completo de estas entidades (también denominadas “objetos”) en un evento deportivo. En el contexto de la presente invención, “entidades” se refieren a cualquier figura humana involucrada en una actividad deportiva (por ejemplo, atletas, jugadores, porteros, árbitros, etc.), objetos motorizados (coches, motocicletas, etc.) y otros objetos innatos (por ejemplo, pelotas) en el campo de juego. La presente invención divulga además la captura de movimiento en tiempo real de más de un jugador implementado con procedimientos de procesamiento de imágenes. De acuerdo con la invención y exclusivo de la presente invención, los datos de órganos corporales capturados se pueden utilizar para generar una visualización en 3D del evento deportivo real utilizando gráficos de juegos de ordenador.
El seguimiento e identificación en tiempo real de diversas entidades actuantes y la captura de su movimiento completo se logra utilizando múltiples cámaras de televisión (ya sea estacionarias o cámaras de panorámica/inclinación/ampliación) desplegadas periféricamente en el estadio deportivo. Esto se hace de tal manera que cualquier punto dado en el campo de juego está cubierto por al menos una cámara y una unidad de procesamiento que realiza la segmentación de objetos, análisis de blobs y localización y seguimiento de objetos en 3D. Los algoritmos necesarios para realizar estas acciones son bien conocidos y se describen, por ejemplo, en J. Pers y S. Kovacic, “A system for tracking players in sports games by computer vision”, Revisión Electrotécnica 67(5): 281-288, 2000, y en papel T. Matsuyama y N. Ukita, “Real time multi target tracking by a cooperative distributed vision system”, Departamento de Ciencia y Tecnología Inteligente, Universidad de Kyoto, Japón, y referencias en este.
Aunque la invención divulgada en el presente documento puede aplicarse a una diversidad de eventos deportivos, con el fin de facilitar su comprensión, se describirá en detalle con respecto a los juegos de fútbol.
La mayoría de las aplicaciones de seguimiento en tiempo real requieren identificación continua en vivo de todos los jugadores y otros objetos en el campo de juego. La identificación continua se logra “manualmente” utilizando el seguimiento del jugador después de una identificación (ID) manual inicial y una observación manual mediante un operador cuando se pierde la identificación del jugador, o automáticamente mediante el uso de reglas y lógicas generales del juego, el reconocimiento de patrones para la identificación de la pelota y especialmente - identificación de los números de camiseta (camisa) de los jugadores u otras texturas que aparecen en sus uniformes. A diferencia de la técnica anterior, las nuevas características proporcionadas en el presente documento con respecto a la identificación de objetos incluyen:
(1) En una realización en la cual la identificación es realizada manualmente por un operador, se proporciona a un operador una imagen de buena calidad y gran aumento de un “jugador perdido” para realizar la observación de la identificación (ID) del jugador. La provisión es hecha por una cámara robótica que puede apuntar automáticamente a la última ubicación conocida o una ubicación predicha del jugador perdido. Se asume que el jugador no podría alejarse demasiado de la última ubicación, ya que el cálculo se realiza en cada fotograma, es decir, en un período de tiempo muy corto. La cámara robótica es operada para ampliar el jugador.
(2) En una identificación automática, la realización sin operador, extrae automáticamente la identificación del jugador perdido al capturar su número de camiseta u otro patrón en su atuendo. Esto se hace a través del uso de una pluralidad de cámaras robóticas que apuntan a la última ubicación anterior. En este caso, se necesita más de una cámara robótica debido a que el número en general se encuentra en la parte posterior de la camisa del jugador. El “bloqueo” en el número, la captura y el reconocimiento pueden realizarse mediante procedimientos de reconocimiento de patrones bien conocidos, por ejemplo, los descritos en la Patente de Estados Unidos No. 5353392 a Luquet y Rebuffet y la Patente de Estados Unidos No. 5264933 a Rosser et al.
(3) En otra identificación automática, la realización sin operador, asigna una identificación automática mediante el uso de múltiples cámaras fijas de alta resolución (las mismas cámaras utilizadas para la captura de movimiento) y procedimientos de reconocimiento de patrones para reconocer los números de la camiseta de los jugadores como antes.
Estas características, solas o en combinación, aparecen en diferentes realizaciones de los procedimientos divulgados en el presente documento.
Está dentro del alcance de la presente invención identificar y ubicar los diferentes órganos del cuerpo de los jugadores en tiempo real utilizando imágenes de alta resolución y procedimientos de reconocimiento de patrones. Se conocen algoritmos para determinar la pose del cuerpo y el seguimiento en tiempo real de la cabeza, las manos y otros órganos, así como el reconocimiento de gestos de una imagen de video humana aislada, véase por ejemplo C. Wren et al. “Pfinder: real time tracking of the human body”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7):780-785, 1997 y A. Aagarwal y B. Triggs “3D human pose from silhouettes by relevance vector regression”, International Conference on Computer Vision & Pattern Recognition, páginas II 882-888, 2004 y las referencias en estas. La presente invención divulga ventajosamente algoritmos para la segmentación automática de todos los jugadores en el campo de juego, seguido por la determinación de pose de todos los jugadores segmentados en tiempo real. Puede entonces obtenerse un movimiento del cuerpo suave y dinámico a partir de secuencias de múltiples vistas bidimensionales (2D) utilizando algoritmos conocidos, véase por ejemplo H. Sidenbladh, M. Black y D. Fleet, “Stochastic tracking of 3D human figures using 2D image motion” in Proc. of the European Conference On Computer Vision, páginas 702-718, 2000.
También está dentro del alcance de la presente invención crear automáticamente un patrón en 3D que represente la pose del jugador y asignar un comportamiento dinámico a cada jugador en base a la ubicación en 2D (a partir de un punto de vista de cámara dado) de algunos de los órganos de su cuerpo o en base a la ubicación en 3D de estos órganos. La ubicación se calcula por triangulación cuando el mismo órgano se identifica por dos cámaras de televisión superpuestas.
Además, está dentro del alcance de la presente invención utilizar los datos de captura de movimiento extraídos en tiempo real para generar repeticiones gráficas en 3D instantáneas que se pueden entregar a todos los medios relevantes (televisión, Internet, dispositivos celulares) donde los jugadores son reemplazados por sus patrones gráficos a los cuales se asignan el comportamiento dinámico y la pose del jugador real. En estas repeticiones gráficas, la ubicación en 3D de la cámara virtual de captura se puede cambiar dinámicamente.
Los jugadores y las ubicaciones de las pelotas y los datos de captura de movimiento también se pueden transferir a través de una red de telecomunicaciones tal como la Internet (en tiempo real o como una transmisión retrasada) a usuarios de juegos deportivos de ordenador conocidos tales como “FIFA 2006” de Electronic Arts (PO Box 9025, Redwood City, CA 94063), con el fin de generar en tiempo real una representación gráfica en 3D dinámica del partido
“real” que se está jugando actualmente, con los jugadores del juego de ordenador y los modelos de estadios. Una ventaja principal de dicha representación sobre una transmisión de televisión regular es que es en 3D e interactiva. La representación gráfica de las ubicaciones del jugador y la pelota y los datos de captura de movimiento realizados de forma retrasada y no automática (en contraste al procedimiento descrito en el presente documento), se describen en la solicitud de patente WO9846029 por Sharir et al.
También inventivo para la solicitud de patente actual es la representación en tiempo real automática de un evento deportivo real en el ordenador de un usuario utilizando patrones gráficos y de comportamiento de juegos de ordenador. El usuario puede, por ejemplo, elegir su punto de vista y observar todo el partido en vivo a partir de los ojos de su jugador favorito. La presente invención también proporciona un nuevo y novedoso género de juegos de ordenador en base a la realidad, lo que permite a los usuarios adivinar las acciones continuas del jugador comenzando con escenarios de partidos reales.
Además, está dentro del alcance de la presente invención utilizar los datos de ubicaciones de jugador/pelota extraídos en tiempo real para una diversidad de aplicaciones de la siguiente manera:
(1) Indexación, almacenamiento y recuperación del video del evento (semiautomático) en base al contenido (por ejemplo, indexación automática y recuperación del video del juego de acuerdo con los jugadores que poseen la pelota, etc.). El video se puede almacenar en el archivo del difusor, el servidor de internet o en la Grabadora de Video Personal del televidente.
(2) Representaciones gráficas en vivo de patrones en 3D o en 2D rígidos (o repeticiones instantáneas)
(3) Esclavizar un micrófono direccional al seguidor automático para “escuchar” a un atleta (o árbitro) específicos y generar una “reproducción de audio” instantánea.
(4) Esclavizar una cámara robótica en un jugador identificado y seguirlo para generar videoclips de un solo jugador.
(5) Generación de un “clip telestrator” con gráficos automáticos “vinculados a objetos” para el comentarista del partido.
(6) Creación automática de la base de datos del rendimiento de los equipos y los jugadores para desarrolladores de juegos de ordenador deportivos y para “juegos de fantasía”, para aumentar la fidelidad del juego a través del uso de datos reales recopilados en partidos reales.
De acuerdo con la presente invención, se proporciona un sistema para localización y seguimiento de objetos en tiempo real en un evento deportivo que comprende una pluralidad de cámaras fijas ubicadas en una sola ubicación con respecto a un campo de juego deportivo y operativo para capturar el video del campo de juego que incluye objetos ubicados en el mismo, una unidad de procesamiento de imágenes operativa para recibir fotogramas de video a partir de cada cámara y para detectar y segmentar al menos alguno de los objetos en al menos alguno de los fotogramas utilizando algoritmos de procesamiento de imágenes, proporcionando así información de objetos procesados; y un servidor central operativo para proporcionar información de localización y seguimiento en tiempo real sobre los objetos detectados en base a la información respectiva del objeto procesado.
En una realización, el sistema comprende además un servidor de superposición gráfica acoplado al servidor central y operativo para generar una visualización gráfica del evento deportivo en base a la información de localización y seguimiento.
En una realización, el sistema comprende además un servidor de estadísticas acoplado al servidor central y operativo para calcular funciones estadísticas relacionadas con el evento en base a la información de localización y seguimiento.
De acuerdo con la presente invención, se proporciona un sistema para localización de objetos en tiempo real, seguimiento e identificación personal de jugadores en un evento deportivo como se define en la reivindicación 1.
En algunas realizaciones, el sistema incluye una pluralidad de cámaras robóticas, el objeto de interés es un jugador que tiene un detalle de camisa identificable, y el sistema es operativo para identificar automáticamente al jugador a partir de al menos una vista detallada que captura y proporciona la identificación del elemento de la camisa.
En una realización, al menos una cámara robótica puede ser esclavizada en un jugador identificado y seguido para generar videoclips de un solo jugador.
En una realización, el sistema comprende además un servidor de superposición gráfica acoplado al servidor central y operativo para generar una plantilla del campo de juego esquemática con iconos que representan los objetos.
En una realización, el sistema comprende además un servidor de estadísticas acoplado al servidor central y operativo para calcular funciones estadísticas relacionadas con el evento deportivo en base a la información de localización y seguimiento.
En una realización, el sistema comprende además un primer servidor de aplicaciones operativo para proporcionar indexación, almacenamiento y recuperación automáticos o semiautomáticos de un video del evento deportivo.
En una realización, el sistema comprende además un primer servidor de aplicaciones y un segundo servidor de aplicaciones operativos para proporcionar un patrón rígido de representaciones gráficas bidimensionales (2D) o tridimensionales (3D) de jugadas en el evento deportivo.
En una realización, el sistema es operativo para generar un clip telestrator con gráficos automáticos vinculados a objetos para un comentarista de un partido.
En una realización, el sistema es operativo para crear automáticamente bases de datos de rendimiento del equipo y jugador para desarrolladores de juegos de ordenador deportivos y para juegos de fantasía, por lo que la fidelidad del juego de ordenador se incrementa mediante el uso de datos reales recopilados en partidos reales.
En una realización, el sistema comprende además un servidor de superposición gráfica acoplado al servidor central y operativo para generar una plantilla del campo de juego esquemática con iconos que representan los objetos;
En una realización, el sistema comprende además un servidor de estadísticas acoplado al servidor central y operativo para calcular funciones estadísticas relacionadas con el evento en base a la información de localización y seguimiento. En una realización, el sistema comprende además un servidor de aplicaciones gráficas tridimensionales (3D) operativo para generar una representación gráfica tridimensional (3D) del evento deportivo para utilizarse en un evento transmitido.
De acuerdo con la presente invención, se proporciona, en un evento deportivo que tiene lugar en un campo de juego, un procedimiento para ubicar, seguir y asignar objetos al grupo de identidad respectivo en tiempo real, como se define en la reivindicación 9.
Breve descripción de los dibujos
Para una mejor comprensión de la presente invención y para mostrar más claramente cómo podría aplicarse, ahora se hará referencia, solo a modo de ejemplo, a los dibujos adjuntos en los cuales:
La Figura 1 muestra las diversas entidades y objetos que aparecen en un juego de fútbol ejemplar;
La Figura 2a muestra un diagrama de bloques general de un sistema para el seguimiento de objetos en tiempo real y la captura de movimiento en eventos deportivos de acuerdo con la presente invención;
La Figura 2b muestra una plantilla esquemática del campo de juego con iconos de jugador.
La Figura 3 muestra un diagrama de flujo de un procedimiento para ubicar y seguir jugadores en un equipo y asignar cada jugador a un equipo en particular en tiempo real;
La Figura 4 muestra un diagrama de flujo de las etapas de configuración del sistema automático;
La Figura 5a muestra un diagrama de bloques del sistema de seguimiento de objetos y captura de movimiento con una sola cámara robótica adicional utilizada para la identificación manual de los jugadores;
La Figura 5b muestra un diagrama de flujo de un procedimiento para la identificación de jugadores, utilizando el sistema de la Figura 5a;
La Figura 6a muestra un diagrama de bloques del sistema de seguimiento de objetos y captura de movimiento que incluye medios para la identificación automática de jugadores utilizando cámaras robóticas adicionales y una Unidad de Procesamiento de Identificación dedicada.
La Figura 6b muestra un diagrama de flujo de un procedimiento para la identificación individual de jugadores, utilizando el sistema de la Figura 6a;
La Figura 7a muestra un diagrama de bloques del sistema de seguimiento de objetos y captura de movimiento que incluye medios para la identificación automática de jugadores utilizando únicamente cámaras fijas de alta resolución (no cámaras robóticas);
La Figura 7b muestra esquemáticamente detalles de una Unidad de Procesamiento de imagen e Identificación del Jugador utilizada en el sistema de la Figura 7a;
La Figura 7c muestra el procedimiento de captura de movimiento completo de un jugador;
La Figura 8 muestra una realización de un sistema de la presente invención utilizado para generar un efecto de tipo “vuelo de cámara virtual”;
La Figura 9 muestra esquemáticamente la generación de un clip de vuelo de cámara virtual;
La Figura 10 muestra un diagrama de flujo de un procedimiento de sintetización del fotograma de vuelo de cámara virtual;
Descripción detallada de las realizaciones preferidas
La siguiente descripción se centra en el fútbol como un evento deportivo ejemplar. La Figura 1 muestra diversas entidades (también denominadas como “objetos”) que aparecen en un juego de fútbol ejemplar: porteros y jugadores, local y visitante (o “primero y segundo” o “A y B”), uno o más árbitros y la pelota. Los equipos están separados e identificables en función de sus atuendos (también denominados en el presente documento como “camisetas” o “camisas”).
La Figura 2a muestra un diagrama de bloques general de un sistema 200 para el seguimiento de objetos en tiempo real y la captura de movimiento en eventos deportivos de acuerdo con la presente invención. El sistema 200 comprende una pluralidad de cámaras 202a-n (siendo n cualquier número entero mayor que 1) dispuestas en una relación espacial para un campo de juego deportivo (no se muestra). Las cámaras son operativas para proporcionar cobertura de video de todo el campo de juego, además cada cámara es operativa para proporcionar una alimentación de video (es decir, una transmisión de video que incluye fotogramas) a una unidad de procesamiento de imagen (IPU) 204. En algunas realizaciones, la IPU 204 puede incluir funciones agregadas y pueden nombrarse unidad de procesamiento de imágenes e identificación del jugador (IPPIU). La IPU 204 se comunica a través de una red de área local (LAN) Ethernet o similar con un servidor 206 central, el cual está operativo para tomar decisiones a “nivel de sistema” donde se requiere información a partir de más que de una sola cámara, como la decisión sobre un “jugador perdido”, la localización y seguimiento en 3D, las consideraciones del historial de objetos, etc.; con un servidor 208 de superposición gráfica el cual está operativo para generar una visualización gráfica tal como una vista superior del campo de juego con iconos de jugador (también denominado en el presente documento como una “plantilla esquemática”); con un servidor 210 de estadísticas del equipo/jugador el cual está operativo para calcular funciones estadísticas del equipo o el jugador como perfiles de velocidad o distancias acumuladas en base a información de ubicación del objeto; y con una pluralidad de otros servidores 212 de aplicaciones los cuales están operativos para realizar otras aplicaciones como se enumeran en el Sumario a continuación. Por ejemplo, se puede implementar un “servidor 212 de gráficos en 3D” utilizando un DVG (Gráficos de Video Digital), un hardware de renderizado en base a un clúster de PC con 3Designer, un módulo de software en el aire de Orad Hi-Tech Systems de Kfar-Saba, Israel.
Una salida del servidor 208 de superposición gráfica alimenta una señal de video en al menos una estación de difusión y se visualiza en los televisores de los televidentes. Las salidas del servidor 210 de estadísticas del equipo/jugador se envían a un sitio de internet o a una estación de difusión.
En una primera realización utilizada para la asignación de jugadores a equipos y la generación de una plantilla esquemática, las cámaras 202 son cámaras fijas desplegadas en conjunto en una sola ubicación física (“ implementación de una sola ubicación”) en relación con el estadio deportivo de tal modo que juntas vean el estadio entero. Cada cámara cubre una sección del campo de juego. Cada sección cubierta puede definirse como el campo de visión de las cámaras. Los campos de visión de cualquiera de las dos cámaras pueden superponerse hasta cierto grado. En una segunda realización, las cámaras se implementan en al menos dos ubicaciones diferentes (“ implementación de ubicación múltiple”) de modo que cada punto en el estadio deportivo esté cubierto por al menos una cámara a partir de cada ubicación. Esto permite el cálculo de las ubicaciones en 3D de los objetos que no están confinados al campo de juego plano (como la pelota en un partido de fútbol) a través de triangulación. Preferiblemente, en esta segunda realización, los jugadores son identificados individualmente por un operador con la ayuda de una cámara panorámica/inclinación/ampliación adicional controlada remotamente (“cámara robótica”). La cámara robótica apunta automáticamente a la ubicación prevista de un jugador “perdido” por el sistema (es decir, que el sistema no puede identificar más) y proporciona una vista en gran aumento del jugador al operador. En una tercera realización, las cámaras robóticas están ubicadas en múltiples ubicaciones (además de las cámaras fijas que se utilizan para el seguimiento de objetos y la captura de movimiento). Las cámaras robóticas se utilizan para bloquear automáticamente a un “jugador perdido”, para ampliar y para proporcionar vistas de gran aumento del jugador a partir de múltiples direcciones. Estas vistas se proporcionan a un procesador de identificación adicional (o a una función adicional en la IPU) que captura y reconoce el número de camiseta del jugador (u otro patrón en su atuendo) a partir de al menos una vista. En una cuarta realización, todas las cámaras son cámaras fijas de alta resolución, lo que permite la segmentación automática en tiempo real y la localización de los órganos del cuerpo de cada jugador y la extracción de un movimiento completo del jugador en 3D. Preferiblemente, en esta cuarta realización, la identificación del jugador se realiza automáticamente a través de un procesador de “ identificación del jugador” que recibe entradas de video a partir de todas las cámaras fijas. Por lo tanto, no se requieren cámaras robóticas adicionales. En una quinta realización, utilizada para la generación de un efecto de “vuelo de cámara virtual” (VCF), las salidas de múltiples cámaras de alta resolución desplegadas en múltiples ubicaciones (típicamente una sola cámara en cada ubicación) se graban continuamente en una grabadora de video multicanal. Se utiliza un procesador dedicado para crear un clip de vuelo de cámara virtual y mostrarlo como una reproducción instantánea.
Localización y seguimiento del jugador utilizando cámaras desplegadas en una sola ubicación
En una realización, el sistema 200 se utiliza para ubicar y seguir jugadores en un equipo y asignar cada objeto a un equipo particular en tiempo real. La asignación se realiza sin utilizar ninguna identificación (ID) personal. El procedimiento sigue las etapas que se muestran en la Figura 3. El fondo dinámico del campo de juego se calcula por IPU 204 en la etapa 302. La imagen de fondo dinámica se requiere en vista de los frecuentes cambios de iluminación esperados en el estadio deportivo. Esto se logra a través del procesamiento de filtro mediano (u otros procedimientos apropiados) utilizados para impedir la inclusión de objetos en movimiento en la imagen de fondo que se genera. La IPU 204 sustrae el fondo calculado del fotograma de video para crear una imagen de primer plano en la etapa 304. La separación de los objetos de primer plano requeridos (jugadores, pelota, árbitros, etc.) de la escena de fondo se puede hacer utilizando un procedimiento de llave de color para casos donde el campo de juego tiene un color más o menos uniforme (como el césped en un campo de fútbol típico), sustrayendo una “ imagen de fondo” actualizada dinámicamente a partir del fotograma en vivo para el caso de cámaras fijas, o mediante una combinación de ambos procedimientos. La etapa de separación en primer plano/fondo es seguido por umbrales, binarización, procesos de limpieza de ruido morfológico y análisis de conexión (conectando píxeles aislados en la imagen de primer plano generada a grupos) para especificar “blobs” representados en objetos en primer plano. La IPU 204 realiza esto en la etapa 306. Cada IPU 204 analiza cada blob segmentado en la etapa 308 para asignar el objeto respectivo a un grupo de identidad. De manera ejemplar, en un partido de fútbol hay 6 grupos de identidad: primer equipo, segundo equipo, árbitros, pelota, primer portero, segundo portero. El análisis de blobs se implementa correlacionando ya sea el color vertical y/o los perfiles de intensidad o solo el contenido de color del blob (preferiblemente todos los atributos) con plantillas predefinidas que representan los diversos equipos de identidad. Otro tipo de análisis de blobs es la asignación de un blob dado a otros blobs en fotogramas anteriores y a blobs identificados en cámaras vecinas, utilizando procedimientos como la coincidencia de bloque y el flujo óptico. Este análisis es especialmente necesario en casos de colisiones y/u oclusiones de jugadores cuando un “blob conjunto” de dos o más jugadores necesita segmentarse en sus “componentes”, también conocidos como jugadores individuales. La última etapa en el análisis de blobs es la determinación de la ubicación del objeto en el campo de visión de la cámara. Esto se hace en la etapa 310.
Una vez que finaliza la etapa de asignación, el sistema 200 puede realizar tareas adicionales. A modo ejemplar, las estadísticas del equipo (por ejemplo, la velocidad promedio de los jugadores del equipo, la distancia acumulada por todos los jugadores desde el comienzo del partido y los mapas de cobertura del campo) pueden calcularse a partir de los datos de ubicación de todos los jugadores proporcionados por la IPU en la etapa 312. Las estadísticas del equipo se calculan después de asignar primero los jugadores a los respectivos equipos. La plantilla esquemática (que se muestra en la Figura 2b) puede crearse a partir de las entradas de datos de asignación de localización/equipos por el servidor 208 de superposición gráfica en la etapa 314.
Otra tarea que puede realizar el sistema 200 incluye mostrar el campo de visión de la cámara de transmisión “en el aire” actual en la plantilla esquemática. El procedimiento descrito ejemplarmente en la Figura 3 continúa de la siguiente manera. El conocimiento de las lecturas de panorámica, inclinación y ampliación de la cámara “en el aire” actual permite el cálculo geométrico y la visualización (por el servidor 206 del sistema u otro procesador) del campo de visión momentáneo de la cámara “en el aire” en el campo de juego esquemático en la etapa 316. El campo de visión de la cámara de transmisión “en el aire” se muestra entonces en la plantilla en la etapa 318.
Aún una tarea que puede realizar el sistema 200 incluye un procedimiento de configuración automática del sistema, como se describe a modo ejemplar en la Figura 4. El servidor 206 del sistema puede aprender automáticamente “quién es quién” de acuerdo con las reglas del juego, la ubicación y el número de objetos que llevan el mismo atuendo, etc. En la etapa de preparación del juego, no es necesario que un operador proporcione al sistema ninguna indicación del tipo “este es el portero A, este es el árbitro, etc”. El primer procedimiento de configuración como se describe en la etapa 400 incluye el cálculo automático de los parámetros de la cámara intrínsecos (distancia focal, centro de imagen en coordenadas de píxeles, tamaño efectivo de píxeles y coeficiente de distorsión radial del lente) y extrínsecos (matriz de rotación y vector de traducción) utilizando bibliotecas de software conocidas tales como el paquete OpenCV de Intel. Las etapas 402, 404 y 406 son idénticas con las etapas 302, 304 y 306 en la Figura 3. En la etapa 408, la IPU analiza los colores y/o texturas de los uniformes del equipo en base a las ubicaciones de cada objeto segmentado y su recuento. Por ejemplo, el arquero del equipo 1 se especifica por (a) que es un solo objeto y (b) una ubicación cerca de la meta 1. Los histogramas de color e intensidad, así como sus distribuciones verticales, se almacenan en la IPU para luego ser utilizadas para la etapa de asignación de blobs a equipos.
Localización, seguimiento e identificación de jugadores y pelota utilizando cámaras desplegadas en múltiples ubicaciones
La Figura 5a muestra un diagrama de bloques de un sistema 500 de seguimiento en el cual se despliegan cámaras en al menos dos ubicaciones diferentes alrededor del campo deportivo con el fin de detectar y ubicar un objeto no confinado en el campo de juego plano (por ejemplo, una pelota) mediante triangulación (medición de direcciones a partir de 2 ubicaciones separadas). El sistema 500 comprende además de los elementos del sistema 200 una cámara 502 de video robótica con un mecanismo de ampliación controlado a distancia, la cámara montada en una unidad motorizada de panorámica e inclinación controlada de manera remota. Dichas cámaras robóticas son bien conocidas en la técnica y fabricadas, por ejemplo, por Vinten Inc., 709 Executive Blvd, Valley Cottage, NY 10989, EE. UU. El sistema 500 comprende además una pantalla 504 conectada a la cámara 502 robótica y visualizada por un operador 506. La cámara 502 y la pantalla 504 forman un subsistema 505 de identificación.
La pelota se segmenta a partir de los otros objetos en base de su tamaño, velocidad y forma y luego se clasifica como poseída, volando o rodando en el campo de juego. Cuando está poseída por un jugador, no es probable que el sistema detecte y reconozca la pelota y tiene que adivinar, en base al historial, cual jugador posee ahora la pelota. Una pelota rodando está situada en el campo y su localización puede estimarse a partir de una sola cámara. La ubicación en 3D de una pelota volando se puede calcular triangulando 2 cámaras que la han detectado en un fotograma dado. La zona de búsqueda de la pelota en un fotograma dado se puede determinar en base a su ubicación en fotogramas anteriores y cálculos balísticos. Preferiblemente, en esta realización, los jugadores son identificados personalmente por un operador para generar una base de datos estadística individual del jugador.
La Figura 5b muestra un diagrama de flujo de un procedimiento para la identificación individual del jugador implementada por el subsistema 505, utilizando una identificación manual proporcionada por el operador con la ayuda de la cámara robótica. El sistema de seguimiento proporciona una alerta de que un jugador seguido está “perdido” (es decir, el jugador no es detectado por ninguna cámara) o que su identificación es baja en la etapa 520. Esto último puede ocurrir, por ejemplo, si el jugador es detectado pero su identificación está en duda debido a una colisión entre dos jugadores. La cámara robótica se bloquea automáticamente en la ubicación predicha de este jugador (es decir, la ubicación donde se suponía que el jugador debe estar en base a su historial de movimiento) y se acerca para proporcionar una transmisión de video de gran aumento en la etapa 522. El operador identifica el jugador “perdido” utilizando la transmisión de video de la cámara robótica (mostrada en un monitor) e indica la identidad del jugador al sistema en la etapa 524. Como resultado, el sistema ahora conoce la identificación del jugador y puede continuar la acumulación de estadísticas personales para este jugador, así como el desempeño de diversas funciones relacionadas.
Se tiene en cuenta que el sistema conoce la ubicación de un jugador en fotogramas anteriores, y asume que un jugador no puede moverse mucho durante un período de fotograma (o incluso durante unos pocos períodos de fotograma). El campo de visión de la cámara robótica está adaptado a esta incertidumbre, de modo que el jugador siempre estará en su fotograma.
La Figura 6a muestra un sistema 600 automático de seguimiento de jugadores/pelota y captura de movimiento en base a múltiples (típicamente 2-3) cámaras 604 a...n robóticas de panorámica/inclinación/ampliación para la identificación automática de jugadores individuales. La Figura 6b muestra un diagrama de flujo de un procedimiento de uso. El sistema en la Figura 6a comprende además de los elementos del sistema 200 una Unidad 602 de Procesamiento de Identificación (IDPU) conectada a través de una conexión preferiblemente de Ethernet al servidor 206 del sistema y operativa para recibir transmisiones de video a partir de múltiples cámaras 604 robóticas.
En uso, como se muestra en la Figura 6b, el procedimiento comienza con la etapa 620, la cual es esencialmente idéntica a la etapa 520 anterior. La etapa 622 es similar a la etapa 522, excepto que se utilizan múltiples cámaras robóticas (en general 2-3) en lugar de una sola. En la etapa 624, las múltiples transmisiones de video se introducen en la IDPU 602 y cada transmisión se procesa para identificar a un jugador al reconocer automáticamente el número de su camisa u otro patrón único en su atuendo. La suposición es que el número o patrón único están expuestos por al menos una de las transmisiones de video, preferiblemente originadas a partir de diferentes puntos de vista. La identificación del jugador reconocido se transmite entonces al servidor (206) del sistema en la etapa 626.
La Figura 7a muestra un sistema 700 automático de seguimiento de objetos y captura de movimiento en base a múltiples cámaras 702a...702n fijas de alta resolución. El sistema 710 comprende los elementos del sistema 200, excepto que las cámaras 702 están acopladas a y operativas para alimentar transmisiones de video a una unidad 704 de procesamiento de imágenes e identificación del jugador (IPPIU), la cual reemplaza a la IPU 204 en la Figura 2a. Alternativamente, las funciones añadidas de IPPIU 704 pueden implementarse en la IPU 204. La Figura 7b muestra detalles esquemáticamente de la IPPIU 704. La IPPIU 704 comprende una captura 720 de fotogramas acoplado a un procesador 722 de imagen y a una unidad 724 de reconocimiento de número/patrón de la camiseta (o por simple “reconocimiento”). En uso, la captura 720 de fotogramas recibe todos los fotogramas en las transmisiones de video proporcionadas por las cámaras 702 y proporciona dos transmisiones de fotograma digital, uno a la unidad 722 y otro a la unidad 724. La unidad 722 realiza las acciones de segmentación de objeto, conectividad, análisis de blob, etc. y proporciona ubicaciones de objeto en el campo de juego como se describe anteriormente. La unidad 722 también puede proporcionar datos de captura de movimiento completos compuestos de ubicaciones en 3D de todas las partes del cuerpo de los jugadores. La unidad 724 de reconocimiento utiliza algoritmos de reconocimiento de patrones para extraer y leer el número de camiseta del jugador u otro patrón de identificación y proporciona la identificación del jugador al servidor del sistema. Este procedimiento es factible cuando se elige la resolución de las cámaras 702 para permitir el reconocimiento del número/patrón de la camiseta.
En contraste con las realizaciones anteriores, el sistema 700 no utiliza cámaras robóticas para la identificación del jugador. Las cámaras 702a...702n de alta resolución fijas se utilizan tanto para el seguimiento/captura de movimiento como para la identificación de jugadores individuales
Generación de una representación gráfica en 3D del partido real en tiempo real en un juego de ordenador
La información obtenida por el sistema 700 se puede utilizar para generar una representación gráfica en 3D del partido real en tiempo real en un juego de ordenador. La resolución de las cámaras que se muestran en la Figura 7a se puede
elegir de tal manera que permita una resolución espacial de al menos 1 cm en cada punto del campo de juego. Dicha resolución permite la captura de movimiento completo del jugador como se muestra en 7c. El video de alta resolución a partir de cada cámara se captura primero en la etapa 730 por la captura 720 de fotograma. El video se separa entonces en objetos de primer plano y un campo de juego vacío en la etapa 732 como se explica en las etapas 302 y 304 en la Figura 3 por la IPPIU 704. La segmentación automática de blobs en primer plano en la cabeza, el torso, las manos y las piernas del jugador se realiza luego en la etapa 734 por la IPPIU 704 utilizando algoritmos de reconocimiento de patrones que son bien conocidos en la técnica (véase, por ejemplo, JM Buades et al, “Face and hands segmentation in color images and initial matching”, Proc. International Workshop on Computer Vision and Image Analysis, Palmas de Gran Canaria, Diciembre de 2003, páginas 43 - 48). Las direcciones de los órganos o articulaciones del jugador a partir del punto de vista de cada cámara se extraen en la etapa 736 por la IPPIU 704. Las articulaciones u órganos específicos del jugador detectados por diferentes cámaras se coinciden entre sí en base a sus ubicaciones en el campo de juego y en algunos datos cinemáticos (conocimiento morfológico general del cuerpo humano) en la etapa 738 por el servidor 206 central. El servidor 206 central también realiza entones un cálculo en base a la triangulación de las ubicaciones de todos los órganos del cuerpo de todos los jugadores en la etapa 738.
Una selección automática del comportamiento dinámico (temporal) de un jugador que probablemente se ajusta a las ubicaciones de las articulaciones de su cuerpo durante un período de tiempo se realiza entonces en la etapa 740 utilizando menos cuadrados o técnicas similares por el servidor 212 de aplicaciones de gráficos en 3D. Este procedimiento se puede hacer localmente en el lado del servidor 212 de aplicaciones o de manera remota en el extremo del usuario. En este último caso, los datos de las posiciones de las articulaciones pueden distribuirse a los usuarios utilizando cualquier enlace de comunicación conocido, preferiblemente a través de la Red Mundial.
En la etapa 742, se puede crear un entorno gráfico dinámico en el ordenador del usuario. Este entorno está compuesto por patrones de jugadores específicos en 3D que tienen comportamientos temporales seleccionados en la etapa 740, compuestos en un patrón gráfico en 3D del estadio o en el campo de juego real separado en la etapa 732. En la etapa 744, el usuario puede seleccionar un punto de vista estático o dinámico para ver el juego. Por ejemplo, él/ella puede decidir querervertodo el partido a partir de los ojos de un jugador en particular. El entorno en 3D generado se entrega dinámicamente en la etapa 746 para visualizar el evento a partir del punto de vista elegido. Este procedimiento se repite para cada fotograma de video, lo que lleva a una generación de una representación gráfica en 3D del partido real en tiempo real.
Vuelo de cámara virtual
La Figura 8 muestra una realización de un sistema 800 de la presente invención utilizado para generar un efecto de tipo “vuelo de cámara virtual” (muy similar a los efectos visuales que se muestran en la película “The Matrix”) para un evento deportivo. El efecto incluye la generación de un “clip de vuelo virtual” (VFC). El sistema 800 comprende una pluralidad de cámaras 802a-n fijas de alta resolución dispuestas en grupos alrededor de un estadio 804 deportivo. Cada grupo incluye al menos una cámara. Todas las cámaras están conectadas a una grabadora 806 de video de alta resolución. Las cámaras pueden capturar cualquier evento en un juego en el campo de juego a partir de múltiples direcciones en una resolución espacial muy alta (~1cm). Todas las salidas de video de todas las cámaras se graban continuamente en la grabadora 806. Luego se utiliza un procesador 808 VFC para seleccionar fotogramas “reales” grabados selectivamente de diversas cámaras, crear fotogramas intermedios sintetizados, organizar todos los fotogramas reales y sintetizados en un orden correcto y generar el clip de vuelo virtual destinado a imitar el efecto en la película “The Matrix” como una repetición instantánea en eventos deportivos. El nuevo videoclip está compuesto de los fotogramas reales tomados de las cámaras vecinas (ya sea simultáneamente, si “congelamos” la acción, o en períodos de tiempo progresivos cuando dejamos que la acción se mueva lentamente), así como muchos fotogramas sintetizados (interpolados) insertados entre los reales.
En otra realización, el sistema 800 puede comprender los elementos del sistema 700 más la grabadora 806 de video y el procesador 808 VFC y sus respectivas funcionalidades añadidas.
El procedimiento se describe esquemáticamente en la Figura 9. Tres representaciones simbólicas de secuencias de fotogramas grabadas de 3 cámaras consecutivas, CAMi, CAMi+1 y CAMi+2 se muestran como 902, 904 y 906, respectivamente. El procesador VFC primero recibe un requerimiento de producción en cuanto a la dinámica temporal con la cual se reproducirá el evento del juego. Luego, el procesador VFC calcula la identidad de los fotogramas reales que deben seleccionarse de cámaras reales consecutivas (fotogramas j, k y m a partir de las cámaras i, i+1 y i+2 respectivamente en este ejemplo) para crear las secuencias de fotogramas intermedios sintetizados, 908 y 910 respectivamente, para generar el clip de vuelo de la cámara virtual representada simbólicamente como 920.
La Figura 10 muestra un diagrama de flujo funcional del procedimiento de la Figura 9. Se genera un campo de juego “vacío” como se describe en la etapa 302 anterior, utilizando una secuencia de fotogramas de video de al menos una de las cámaras en la etapa 1002. Los objetos en primer plano se segmentan en la etapa 1004. Los fotogramas a partir de CAMi y CAMi+1 se correlacionan espacialmente utilizando procedimientos de procesamiento de imágenes conocidos, como la coincidencia de bloque, y se realiza un análisis de vector de movimiento utilizando algoritmos de flujo óptico en la etapa 1006. Ambos tipos de algoritmos son bien conocidos en la técnica. Una cámara virtual que tiene las mismas características ópticas que las reales inicia entonces un vuelo virtual entre las ubicaciones de las cámaras reales CAMi y CAMi+ 1. Tanto la ubicación de la cámara virtual (en el tiempo exacto del fotograma de video)
como la imagen de primer plano pronosticada para esa ubicación se calculan en la etapa 1008 utilizando el análisis de vector de movimiento de píxeles y la ubicación de la cámara virtual determinada de acuerdo con el vuelo pre programado de la cámara virtual. El “campo vacío” de fondo de la cámara virtual se calcula a partir del mismo punto de vista en la etapa 1010 y las porciones de primer plano y de fondo sintetizadas se componen entonces en la etapa 1012. n dichos fotogramas sintetizados se generan entre los fotogramas reales de CAMi y CAMi+1. Ahora se repite el mismo procedimiento entre CAMi+1 real y CAMi+2 y así sucesivamente. En la etapa 1014, se genera un videoclip compuesto de dichos fotogramas múltiples sintetizados entre los reales y se muestra a los televidentes como una reproducción instantánea que muestra el juego como si hubiera sido capturado continuamente por una cámara real de vuelo.
Además, la cita o identificación de cualquier referencia en esta solicitud no se interpretará como una admisión de que dicha referencia está disponible como técnica anterior a la presente invención.
Aunque la invención se ha descrito con respecto a un número limitado de realizaciones, se apreciará que se pueden hacer diversas variaciones, modificaciones y otras aplicaciones de la invención, siempre que estén cubiertas por las reivindicaciones adjuntas.
Claims (15)
1. Un sistema (200) para localización de objetos en tiempo real, y seguimiento e identificación de objetos en un evento deportivo que comprende:
a. una pluralidad de cámaras (202a-n) operativas para capturar video de un campo de juego deportivo que incluye objetos ubicados en el mismo;
b. una unidad (204) de procesamiento de imagen operativa para automáticamente:
recibir fotogramas de video de cada cámara (202a-n) y detectar al menos algunos de los objetos en al menos algunos de los fotogramas y segmentar imágenes de primer plano correspondientes a los objetos, a partir de imágenes de fondo de al menos algunos de los fotogramas, asociando píxeles a partir de las imágenes en primer plano para definir blobs;
analizar cada blob con criterios visuales predefinidos para asignar el objeto correspondiente al blob a un grupo de identidad involucrado en el evento deportivo en el campo de juego; y, determinar la ubicación del objeto correspondiente al blob en base a la ubicación del blob en el campo de visión de la cámara (310); y,
c. un servidor (206) central operativo para proporcionar información de localización y seguimiento en tiempo real sobre los objetos detectados en base a las ubicaciones determinadas de cada uno de los objetos detectados;
en el que las cámaras (202a-n) incluyen cámaras fijas, cada cámara es colocada en una sola ubicación con respecto a dicho campo de juego deportivo, por lo que juntas las cámaras (202a-n) están viendo sustancialmente todo el campo de juego deportivo.
caracterizado porque la unidad de procesamiento de imágenes está operativa para asignar un grupo de identidad a cada blob en base a un recuento con respecto a otros blobs y un análisis de la ubicación del blob en el campo de juego deportivo del fondo.
2. El sistema de la reivindicación 1, en el que el objeto detectado es un jugador, en el que el grupo de identidad es un equipo, y en el que la asignación del jugador a un equipo es automática (308), sin necesidad de que un operador marque al jugador.
3. El sistema de la reivindicación 1, en el que el servidor (206) central está operativo adicionalmente para realizar un procedimiento automático de configuración y calibración, sin necesidad de que un operador marque al jugador durante una etapa preparatoria.
4. El sistema de la reivindicación 2, que comprende además:
d. un servidor (208) de superposición gráfica acoplado al servidor (206) central y operativo para generar una visualización gráfica del evento deportivo en base a la información de localización y seguimiento.
5. El sistema de la reivindicación 4, en el que la visualización gráfica incluye una plantilla esquemática del campo de juego con iconos (iconos de jugador del equipo A, iconos del jugador del Equipo B) que representan los objetos asignados a los equipos (A, B).
6. El sistema de la reivindicación 2, que comprende además
d. un servidor (210) de estadísticas acoplado al servidor (206) central y operativo para calcular funciones (308) estadísticas relacionadas con el evento en base a la información de localización y seguimiento.
7. El sistema de la reivindicación 4, operativo para transmitir una representación gráfica dinámica de la plantilla esquemática del campo de juego y los objetos impuestos al mismo para un usuario externo.
8. El sistema de la reivindicación 5, en el que el servidor (206) central está adicionalmente operativo para visualizar un campo de visión de cámara de transmisión en el aire actual en la plantilla (318) esquemática del campo de juego.
9. En un evento deportivo que tiene lugar en un campo de juego, un procedimiento para ubicar, seguir y asignar objetos al grupo de identidad respectivo en tiempo real comprende las etapas de:
a. proporcionar una pluralidad de cámaras (202a-n) operativas para capturar una porción del campo de juego y los objetos ubicados en el mismo;
b. proporcionar una unidad (204) de procesamiento de imágenes operativa automáticamente para:
- recibir fotogramas de video de cada cámara (202a-n) y detectar al menos algunos de los objetos en al menos algunos de los fotogramas y segmentar imágenes de primer plano correspondientes a los objetos, a partir de imágenes de fondo de al menos algunos de los fotogramas, asociando píxeles a partir de las imágenes de primer plano para definir blobs;
- analizar cada blob con criterios visuales predefinidos para asignar el objeto correspondiente al blob a un grupo de identidad involucrado en el evento deportivo en el campo de juego; y, - determinar la ubicación del objeto correspondiente al blob en base a la ubicación del blob en el campo de visión de la cámara (310); y,
c. proporcionar un servidor (206) central operativo para proporcionar información de localización y seguimiento en tiempo real de cada jugador detectado en base a ubicaciones determinadas de cada uno de los objetos detectados; y
en el que las cámaras (202a-n) incluyen cámaras (202a-n) fijas, estando cada cámara posicionada en una sola ubicación en relación con dicho campo de juego deportivo, en conjunto las cámaras (202a-n) están visualizando sustancialmente todo el campo de juego deportivo.
caracterizado porque la etapa de proporcionar un servidor central incluye proporcionar un servidor central además operativo para asignar cada objeto a un grupo de identidad respectivo sin utilizar ninguna identificación personal.
10. El procedimiento de la reivindicación 9, en el que el objeto es un jugador, en el que el grupo de identidad es un equipo respectivo el cual está asignado el jugador.
11. El procedimiento de la reivindicación 9, en el que la asignación incluye:
i. calcular una imagen (302) de fondo dinámica,
ii. sustraer la imagen de fondo dinámica para crear una imagen (304) de primer plano,
iii. separar los objetos en primer plano en la imagen (732) en primer plano,
iv. especificar blobs que representan cada objeto (734) de primer plano separado, y
v. asignar cada blob representativo al grupo de identidad respectivo.
12. El procedimiento de la reivindicación 10, que comprende además la etapa de
d. proporcionar un servidor (208) de superposición gráfica acoplado al servidor (206) central y operativo para generar una visualización gráfica del evento deportivo en base a la información de localización y seguimiento.
13. El procedimiento de la reivindicación 12, en el que la visualización gráfica incluye una plantilla esquemática del campo de juego con iconos de jugador superpuestos.
14. El procedimiento de la reivindicación 10, que comprende además la etapa de:
d. proporcionar un servidor (210) de estadísticas acoplado al servidor (206) central y operativo para calcular funciones estadísticas relacionadas con el evento en base a la información de localización y seguimiento.
15. El procedimiento de la reivindicación 13, que comprende además la etapa de mostrar un campo de visión actual de cámara de transmisión en el aire en la plantilla (318) esquemática.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US66646805P | 2005-03-29 | 2005-03-29 | |
| PCT/IL2006/000388 WO2006103662A2 (en) | 2005-03-29 | 2006-03-29 | Real-time objects tracking and motion capture in sports events |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2790885T3 true ES2790885T3 (es) | 2020-10-29 |
Family
ID=37053780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES06728192T Expired - Lifetime ES2790885T3 (es) | 2005-03-29 | 2006-03-29 | Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20080192116A1 (es) |
| EP (1) | EP1864505B1 (es) |
| ES (1) | ES2790885T3 (es) |
| PT (1) | PT1864505T (es) |
| WO (1) | WO2006103662A2 (es) |
Families Citing this family (163)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2348353A1 (en) | 2001-05-22 | 2002-11-22 | Marc Arseneau | Local broadcast system |
| US7620466B2 (en) * | 2004-02-23 | 2009-11-17 | Wellspring Software | Sporting event statistics tracking and computation system and method |
| US8723956B2 (en) * | 2004-08-30 | 2014-05-13 | Trace Optic Technologies Pty Ltd | Method and apparatus of camera control |
| WO2007009225A1 (en) | 2005-07-22 | 2007-01-25 | Kangaroo Media Inc. | System and methods for enhancing the experience of spectators attending a live sporting event |
| US8042140B2 (en) | 2005-07-22 | 2011-10-18 | Kangaroo Media, Inc. | Buffering content on a handheld electronic device |
| US20080301182A1 (en) * | 2005-11-03 | 2008-12-04 | Koninklijke Philips Electronics, N.V. | Object-Based Real-Time Information Management Method and Apparatus |
| US20070250898A1 (en) * | 2006-03-28 | 2007-10-25 | Object Video, Inc. | Automatic extraction of secondary video streams |
| DE102006062688A1 (de) | 2006-04-07 | 2007-10-11 | Medicon Eg, Chirurgiemechaniker-Genossenschaft | Lagerungssystem für chirurgische Instrumente, Implantate und Schraubenverpackungen |
| US20080043038A1 (en) * | 2006-08-16 | 2008-02-21 | Frydman Jacques P | Systems and methods for incorporating three-dimensional objects into real-time video feeds |
| US20080068463A1 (en) * | 2006-09-15 | 2008-03-20 | Fabien Claveau | system and method for graphically enhancing the visibility of an object/person in broadcasting |
| US8558883B2 (en) * | 2007-07-27 | 2013-10-15 | Sportvision, Inc. | Providing graphics in images depicting aerodynamic flows and forces |
| US9782660B2 (en) | 2007-11-30 | 2017-10-10 | Nike, Inc. | Athletic training system and method |
| US8206222B2 (en) | 2008-01-29 | 2012-06-26 | Gary Stephen Shuster | Entertainment system for performing human intelligence tasks |
| GB0804274D0 (en) | 2008-03-07 | 2008-04-16 | Virtually Live Ltd | A media sysyem and method |
| US9576330B2 (en) | 2008-03-07 | 2017-02-21 | Virtually Live (Switzerland) Gmbh | Media system and method |
| US9019381B2 (en) * | 2008-05-09 | 2015-04-28 | Intuvision Inc. | Video tracking systems and methods employing cognitive vision |
| US20100030350A1 (en) * | 2008-07-29 | 2010-02-04 | Pvi Virtual Media Services, Llc | System and Method for Analyzing Data From Athletic Events |
| EP2150057A3 (en) * | 2008-07-29 | 2013-12-11 | Gerald Curry | Camera-based tracking and position determination for sporting events |
| WO2010083238A1 (en) * | 2009-01-13 | 2010-07-22 | Futurewei Technologies, Inc. | Method and system for image processing to classify an object in an image |
| US9137495B2 (en) | 2009-01-30 | 2015-09-15 | Yinzcam, Inc. | Systems and methods for providing interactive video services |
| US9462030B2 (en) | 2009-03-04 | 2016-10-04 | Jacquelynn R. Lueth | System and method for providing a real-time three-dimensional digital impact virtual audience |
| JP5299018B2 (ja) * | 2009-03-26 | 2013-09-25 | ソニー株式会社 | 情報処理装置、コンテンツ処理方法及びプログラム |
| US8639046B2 (en) * | 2009-05-04 | 2014-01-28 | Mamigo Inc | Method and system for scalable multi-user interactive visualization |
| US9186548B2 (en) * | 2009-07-20 | 2015-11-17 | Disney Enterprises, Inc. | Play sequence visualization and analysis |
| US8817078B2 (en) * | 2009-11-30 | 2014-08-26 | Disney Enterprises, Inc. | Augmented reality videogame broadcast programming |
| US8803951B2 (en) * | 2010-01-04 | 2014-08-12 | Disney Enterprises, Inc. | Video capture system control using virtual cameras for augmented reality |
| ES2973043T3 (es) | 2010-01-05 | 2024-06-18 | Isolynx Llc | Sistemas y métodos para analizar datos de eventos |
| FR2956229B1 (fr) * | 2010-02-10 | 2016-02-19 | Movea Sa | Systeme et procede de determination en temps reel d'un parametre d'un mouvement de forme repetitive |
| US9600760B2 (en) * | 2010-03-30 | 2017-03-21 | Disney Enterprises, Inc. | System and method for utilizing motion fields to predict evolution in dynamic scenes |
| US9053562B1 (en) | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
| US8885023B2 (en) * | 2010-09-01 | 2014-11-11 | Disney Enterprises, Inc. | System and method for virtual camera control using motion control systems for augmented three dimensional reality |
| NZ750597A (en) * | 2010-11-19 | 2019-09-27 | Isolynx Llc | Associative object tracking systems and method |
| US20120141046A1 (en) * | 2010-12-01 | 2012-06-07 | Microsoft Corporation | Map with media icons |
| US9007432B2 (en) | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
| US9036001B2 (en) | 2010-12-16 | 2015-05-19 | Massachusetts Institute Of Technology | Imaging system for immersive surveillance |
| US9007463B2 (en) | 2010-12-22 | 2015-04-14 | Sportsvision, Inc. | Video tracking of baseball players which identifies merged participants based on participant roles |
| US8659663B2 (en) | 2010-12-22 | 2014-02-25 | Sportvision, Inc. | Video tracking of baseball players to determine the start and end of a half-inning |
| DE102011009952A1 (de) * | 2011-02-01 | 2012-08-02 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Bestimmen der Position und Lage eines Astronauten |
| US10631712B2 (en) * | 2011-02-10 | 2020-04-28 | Karl Storz Imaging, Inc. | Surgeon's aid for medical display |
| US11412998B2 (en) | 2011-02-10 | 2022-08-16 | Karl Storz Imaging, Inc. | Multi-source medical display |
| US10674968B2 (en) * | 2011-02-10 | 2020-06-09 | Karl Storz Imaging, Inc. | Adjustable overlay patterns for medical display |
| US9141759B2 (en) | 2011-03-31 | 2015-09-22 | Adidas Ag | Group performance monitoring system and method |
| US9317660B2 (en) | 2011-03-31 | 2016-04-19 | Adidas Ag | Group performance monitoring system and method |
| JP5725953B2 (ja) * | 2011-04-13 | 2015-05-27 | キヤノン株式会社 | 撮像装置及びその制御方法、並びに情報処理装置 |
| TR201103856A1 (tr) | 2011-04-20 | 2012-11-21 | Krea İçeri̇k Hi̇zmetleri̇ Ve Prodüksi̇yon Anoni̇m Şi̇rketi̇ | Bir müsabaka takip sistemi. |
| EP2740120A4 (en) | 2011-08-05 | 2015-03-11 | Fox Sports Productions Inc | SELECTIVE CAPTURE AND PRESENTATION OF PARTS OF NATIVE IMAGES |
| US11039109B2 (en) | 2011-08-05 | 2021-06-15 | Fox Sports Productions, Llc | System and method for adjusting an image for a vehicle mounted camera |
| US9292963B2 (en) * | 2011-09-28 | 2016-03-22 | Qualcomm Incorporated | Three-dimensional object model determination using a beacon |
| US10118078B2 (en) * | 2011-11-02 | 2018-11-06 | Toca Football, Inc. | System, apparatus and method for ball throwing machine and intelligent goal |
| US20130128050A1 (en) * | 2011-11-22 | 2013-05-23 | Farzin Aghdasi | Geographic map based control |
| CA2798298C (en) | 2011-12-09 | 2016-08-23 | W-Ideas Network Inc. | Systems and methods for video processing |
| US8704904B2 (en) | 2011-12-23 | 2014-04-22 | H4 Engineering, Inc. | Portable system for high quality video recording |
| US8941561B1 (en) | 2012-01-06 | 2015-01-27 | Google Inc. | Image capture |
| US9197864B1 (en) | 2012-01-06 | 2015-11-24 | Google Inc. | Zoom and image capture based on features of interest |
| US8836508B2 (en) | 2012-02-03 | 2014-09-16 | H4 Engineering, Inc. | Apparatus and method for securing a portable electronic device |
| US9999825B2 (en) | 2012-02-23 | 2018-06-19 | Playsight Interactive Ltd. | Smart-court system and method for providing real-time debriefing and training services of sport games |
| JP6250568B2 (ja) * | 2012-03-01 | 2017-12-20 | エイチ4 エンジニアリング, インコーポレイテッドH4 Engineering, Inc. | 自動ビデオ記録用の装置及び方法 |
| CA2866131A1 (en) | 2012-03-02 | 2013-06-09 | H4 Engineering, Inc. | Multifunction automatic video recording device |
| US9723192B1 (en) | 2012-03-02 | 2017-08-01 | H4 Engineering, Inc. | Application dependent video recording device architecture |
| GB2501145A (en) * | 2012-04-12 | 2013-10-16 | Supercell Oy | Rendering and modifying objects on a graphical user interface |
| WO2013166456A2 (en) * | 2012-05-04 | 2013-11-07 | Mocap Analytics, Inc. | Methods, systems and software programs for enhanced sports analytics and applications |
| US9202526B2 (en) | 2012-05-14 | 2015-12-01 | Sstatzz Oy | System and method for viewing videos and statistics of sports events |
| US9007476B2 (en) | 2012-07-06 | 2015-04-14 | H4 Engineering, Inc. | Remotely controlled automatic camera tracking system |
| DE102012020376A1 (de) * | 2012-10-18 | 2014-04-24 | Goalcontrol Gmbh | Torerkennungssystem, und Verfahren zum Erkennen eines Tors |
| US8874139B2 (en) | 2012-10-25 | 2014-10-28 | Sstatzz Oy | Position location system and method |
| US9265991B2 (en) | 2012-10-25 | 2016-02-23 | Sstatzz Oy | Method and system for monitoring movement of a sport projectile |
| US9079090B2 (en) | 2012-10-25 | 2015-07-14 | Sstatzz Oy | Sports apparatus and method |
| DE102012021893A1 (de) * | 2012-11-09 | 2014-05-15 | Goalcontrol Gmbh | Verfahren zur Aufnahme und Wiedergabe einer Abfolge von Ereignissen |
| US8968100B2 (en) * | 2013-02-14 | 2015-03-03 | Sstatzz Oy | Sports training apparatus and method |
| CN103211577A (zh) * | 2013-03-20 | 2013-07-24 | 上海理工大学 | 一种上肢舒适性的检测装置及其检测方法 |
| EP2787741A1 (en) * | 2013-04-05 | 2014-10-08 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Video processing system and method |
| US10405065B2 (en) | 2013-04-05 | 2019-09-03 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Video processing system and method |
| US9881206B2 (en) | 2013-04-09 | 2018-01-30 | Sstatzz Oy | Sports monitoring system and method |
| US9552630B2 (en) * | 2013-04-09 | 2017-01-24 | Honeywell International Inc. | Motion deblurring |
| KR20150011943A (ko) * | 2013-07-24 | 2015-02-03 | 삼성전자주식회사 | 방송 제공 장치, 방송 제공 시스템 및 이들의 방송 제공 방법 |
| US9742974B2 (en) * | 2013-08-10 | 2017-08-22 | Hai Yu | Local positioning and motion estimation based camera viewing system and methods |
| US9412031B2 (en) * | 2013-10-16 | 2016-08-09 | Xerox Corporation | Delayed vehicle identification for privacy enforcement |
| US9589207B2 (en) | 2013-11-21 | 2017-03-07 | Mo' Motion Ventures | Jump shot and athletic activity analysis system |
| US10664690B2 (en) | 2013-11-21 | 2020-05-26 | Mo' Motion Ventures | Jump shot and athletic activity analysis system |
| KR101468159B1 (ko) * | 2014-03-05 | 2014-12-05 | (주)리얼허브 | 스포츠 중계를 위한 3차원 미니맵 서비스 제공 장치 |
| NZ725422A (en) * | 2014-03-24 | 2020-06-26 | Carmel Leslie | A lawn bowls scoring and game monitoring arrangement |
| WO2015167739A1 (en) | 2014-04-30 | 2015-11-05 | Replay Technologies Inc. | System for and method of generating user-selectable novel views on a viewing device |
| US9655027B1 (en) | 2014-07-11 | 2017-05-16 | ProSports Technologies, LLC | Event data transmission to eventgoer devices |
| US9760572B1 (en) | 2014-07-11 | 2017-09-12 | ProSports Technologies, LLC | Event-based content collection for network-based distribution |
| US9571903B2 (en) | 2014-07-11 | 2017-02-14 | ProSports Technologies, LLC | Ball tracker snippets |
| US9591336B2 (en) | 2014-07-11 | 2017-03-07 | ProSports Technologies, LLC | Camera feed distribution from event venue virtual seat cameras |
| US9498678B2 (en) | 2014-07-11 | 2016-11-22 | ProSports Technologies, LLC | Ball tracker camera |
| US9729644B1 (en) | 2014-07-28 | 2017-08-08 | ProSports Technologies, LLC | Event and fantasy league data transmission to eventgoer devices |
| US9628529B2 (en) * | 2014-08-18 | 2017-04-18 | Cisco Technology, Inc. | Region on interest selection |
| JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
| US9699523B1 (en) | 2014-09-08 | 2017-07-04 | ProSports Technologies, LLC | Automated clip creation |
| KR102232517B1 (ko) | 2014-09-15 | 2021-03-26 | 삼성전자주식회사 | 이미지 촬영 방법 및 이미지 촬영 장치 |
| US9646387B2 (en) | 2014-10-15 | 2017-05-09 | Comcast Cable Communications, Llc | Generation of event video frames for content |
| US11758238B2 (en) | 2014-12-13 | 2023-09-12 | Fox Sports Productions, Llc | Systems and methods for displaying wind characteristics and effects within a broadcast |
| US11159854B2 (en) | 2014-12-13 | 2021-10-26 | Fox Sports Productions, Llc | Systems and methods for tracking and tagging objects within a broadcast |
| WO2016149751A1 (en) | 2015-03-23 | 2016-09-29 | Repono Pty Ltd | Muscle activity monitoring |
| RU2599699C1 (ru) * | 2015-04-20 | 2016-10-10 | государственное бюджетное образовательное учреждение высшего профессионального образования "Омская государственная медицинская академия" Министерства здравоохранения Российской Федерации (ГБОУ ВПО ОмГМА Минздрава России) | Способ регистрации и анализа соревновательных игровых действий спортсменов |
| US10791285B2 (en) * | 2015-10-05 | 2020-09-29 | Woncheol Choi | Virtual flying camera system |
| US10063790B2 (en) * | 2015-10-05 | 2018-08-28 | Woncheol Choi | Virtual flying camera system |
| US10471304B2 (en) | 2016-03-08 | 2019-11-12 | Sportsmedia Technology Corporation | Systems and methods for integrated automated sports data collection and analytics platform |
| US10086231B2 (en) | 2016-03-08 | 2018-10-02 | Sportsmedia Technology Corporation | Systems and methods for integrated automated sports data collection and analytics platform |
| US10071306B2 (en) | 2016-03-25 | 2018-09-11 | Zero Latency PTY LTD | System and method for determining orientation using tracking cameras and inertial measurements |
| US10421012B2 (en) | 2016-03-25 | 2019-09-24 | Zero Latency PTY LTD | System and method for tracking using multiple slave servers and a master server |
| US10486061B2 (en) | 2016-03-25 | 2019-11-26 | Zero Latency Pty Ltd. | Interference damping for continuous game play |
| US10717001B2 (en) | 2016-03-25 | 2020-07-21 | Zero Latency PTY LTD | System and method for saving tracked data in the game server for replay, review and training |
| US9916496B2 (en) | 2016-03-25 | 2018-03-13 | Zero Latency PTY LTD | Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects |
| US10751609B2 (en) | 2016-08-12 | 2020-08-25 | Zero Latency PTY LTD | Mapping arena movements into a 3-D virtual world |
| US10223060B2 (en) * | 2016-08-22 | 2019-03-05 | Google Llc | Interactive video multi-screen experience on mobile phones |
| US10249047B2 (en) | 2016-09-13 | 2019-04-02 | Intelligent Fusion Technology, Inc. | System and method for detecting and tracking multiple moving targets based on wide-area motion imagery |
| US9940724B2 (en) * | 2016-09-13 | 2018-04-10 | Intelligent Fusion Technology, Inc. | Method and system for detecting multiple moving objects from real-time aerial images |
| CN106492455B (zh) * | 2016-09-30 | 2019-12-27 | 深圳前海万动体育智能科技有限公司 | 一种足球电子互动系统 |
| WO2018094443A1 (en) * | 2016-11-22 | 2018-05-31 | Brennan Broadcast Group Pty Ltd | Multiple video camera system |
| US11551441B2 (en) * | 2016-12-06 | 2023-01-10 | Enviropedia, Inc. | Systems and methods for a chronological-based search engine |
| US10389935B2 (en) | 2016-12-13 | 2019-08-20 | Canon Kabushiki Kaisha | Method, system and apparatus for configuring a virtual camera |
| US9972122B1 (en) | 2016-12-20 | 2018-05-15 | Canon Kabushiki Kaisha | Method and system for rendering an object in a virtual view |
| US11665308B2 (en) | 2017-01-31 | 2023-05-30 | Tetavi, Ltd. | System and method for rendering free viewpoint video for sport applications |
| JP6482580B2 (ja) * | 2017-02-10 | 2019-03-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP7159057B2 (ja) * | 2017-02-10 | 2022-10-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
| JP6922369B2 (ja) * | 2017-04-14 | 2021-08-18 | 富士通株式会社 | 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置 |
| WO2018224870A1 (en) * | 2017-06-05 | 2018-12-13 | Zero Latency PTY LTD | System and method for saving tracked data in the game server for replay, review and training |
| US11348255B2 (en) * | 2017-06-05 | 2022-05-31 | Track160, Ltd. | Techniques for object tracking |
| EP3646610B1 (en) * | 2017-06-27 | 2025-06-18 | Pixellot Ltd. | Method and system for fusing user specific content into a video production |
| WO2019050916A1 (en) * | 2017-09-11 | 2019-03-14 | Track160, Ltd. | TECHNIQUES FOR RENDERING THREE-DIMENSIONAL ANIMATED GRAPHICS FROM A VIDEO |
| US10838506B2 (en) * | 2017-10-12 | 2020-11-17 | Motorola Mobility Llc | Gesture based object identification apparatus and method in a real time locating system |
| US10832055B2 (en) | 2018-01-31 | 2020-11-10 | Sportsmedia Technology Corporation | Systems and methods for providing video presentation and video analytics for live sporting events |
| US10719712B2 (en) * | 2018-02-26 | 2020-07-21 | Canon Kabushiki Kaisha | Classify actions in video segments using play state information |
| TWI779029B (zh) * | 2018-05-04 | 2022-10-01 | 大猩猩科技股份有限公司 | 一種分佈式的物件追蹤系統 |
| CN110826361A (zh) * | 2018-08-09 | 2020-02-21 | 北京优酷科技有限公司 | 体育比赛的解说方法及装置 |
| KR102238085B1 (ko) * | 2018-08-23 | 2021-04-08 | 한국전자기술연구원 | 동작분석 장치 및 방법 |
| WO2020061986A1 (en) * | 2018-09-28 | 2020-04-02 | Intel Corporation | Multi-cam ball location method and apparatus |
| GB2578783A (en) * | 2018-11-09 | 2020-05-27 | Sony Corp | A method, apparatus and computer program for feature identification in an image |
| US10937185B2 (en) * | 2018-12-03 | 2021-03-02 | Everseen Limited | System and method to detect articulate body pose |
| GB2579816B (en) * | 2018-12-14 | 2021-11-10 | Sony Interactive Entertainment Inc | Player identification system and method |
| US10818077B2 (en) | 2018-12-14 | 2020-10-27 | Canon Kabushiki Kaisha | Method, system and apparatus for controlling a virtual camera |
| EP3672233B1 (en) | 2018-12-21 | 2024-10-23 | Axis AB | Method for carrying out a health check of cameras and a camera system |
| PT3912089T (pt) | 2019-02-28 | 2025-07-21 | Stats Llc | Sistema e método para a reidentificação de jogadores em transmissões de vídeo |
| US12046038B2 (en) * | 2019-03-22 | 2024-07-23 | The Regents Of The University Of California | System and method for generating visual analytics and player statistics |
| US12118775B2 (en) * | 2019-04-12 | 2024-10-15 | Intel Corporation | Technology to automatically identify the frontal body orientation of individuals in real-time multi-camera video feeds |
| RU2725682C1 (ru) * | 2019-04-29 | 2020-07-03 | Кэнон Кабусики Кайся | Устройство обработки информации, способ обработки информации и носитель данных |
| US11373318B1 (en) * | 2019-05-14 | 2022-06-28 | Vulcan Inc. | Impact detection |
| JP2020191598A (ja) * | 2019-05-23 | 2020-11-26 | キヤノン株式会社 | 画像処理システム |
| TR201910049A2 (tr) * | 2019-07-05 | 2021-01-21 | Karinca Teknoloji Ve Ilet San Tic Ltd Sti | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
| KR102880729B1 (ko) * | 2019-07-31 | 2025-11-04 | 인텔 코포레이션 | 다중 카메라 플레이어 추적을 통한 플레이어 궤적 생성 |
| EP3793184A1 (en) * | 2019-09-11 | 2021-03-17 | EVS Broadcast Equipment SA | Method for operating a robotic camera and automatic camera system |
| JP7467074B2 (ja) * | 2019-11-05 | 2024-04-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US11207582B2 (en) * | 2019-11-15 | 2021-12-28 | Toca Football, Inc. | System and method for a user adaptive training and gaming platform |
| KR102427358B1 (ko) * | 2020-02-15 | 2022-08-01 | 주식회사 리티브 | 스포츠 동영상 기반 플랫폼 서비스를 제공하는 서버의 동작 방법 |
| US11688079B2 (en) | 2020-03-31 | 2023-06-27 | Nant Holdings Ip, Llc | Digital representation of multi-sensor data stream |
| US12462563B2 (en) * | 2020-06-12 | 2025-11-04 | Intel Corporation | Systems and methods for virtual camera highlight creation |
| US11640713B2 (en) | 2020-07-29 | 2023-05-02 | Optima Sports Systems S.L. | Computing system and a computer-implemented method for sensing gameplay events and augmentation of video feed with overlay |
| EP4475012A3 (en) | 2020-07-29 | 2025-01-22 | Optima Sports Systems S.L. | A computing system and a computer-implemented method for sensing events from geospatial data |
| US11514590B2 (en) | 2020-08-13 | 2022-11-29 | Toca Football, Inc. | System and method for object tracking |
| US11710316B2 (en) | 2020-08-13 | 2023-07-25 | Toca Football, Inc. | System and method for object tracking and metric generation |
| CN112070795A (zh) * | 2020-09-14 | 2020-12-11 | 北京首钢建设投资有限公司 | 运动员跟踪方法及系统 |
| RU2763127C1 (ru) * | 2020-09-28 | 2021-12-27 | Общество с ограниченной ответственностью «Спорт Автоматика» | Способ выявления технических ошибок спортсмена и система для его осуществления |
| RU2763270C1 (ru) * | 2020-09-28 | 2021-12-28 | Общество с ограниченной ответственностью «Спорт Автоматика» | Способ автоматического восстановления 3d сцены происходящего на спортивном сооружении и система для осуществления способа |
| EP4109893A1 (en) * | 2021-06-23 | 2022-12-28 | Swiss Timing Ltd | System and method of recording a video of a moving object |
| EP4360051A4 (en) | 2021-09-09 | 2025-04-02 | Stats Llc | ESTIMATING MISSING PLAYER LOCATIONS IN BROADCAST VIDEO STREAMS |
| US11941841B2 (en) | 2021-09-22 | 2024-03-26 | International Business Machines Corporation | Determination of a locational position for a camera to capture a collision of two or more actors |
| US11704892B2 (en) * | 2021-09-22 | 2023-07-18 | Proposal Pickleball Inc. | Apparatus and method for image classification |
| CN113947753B (zh) * | 2021-10-15 | 2022-11-22 | 深圳市参数领航科技有限公司 | 云端操作式现场物品投放平台 |
| US12412392B2 (en) | 2021-10-28 | 2025-09-09 | Stats Llc | Sports neural network codec |
| US20240020856A1 (en) * | 2022-07-12 | 2024-01-18 | Genius Sports Ss, Llc | Smartphone motion tracking system |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2661061B1 (fr) * | 1990-04-11 | 1992-08-07 | Multi Media Tech | Procede et dispositif de modification de zone d'images. |
| JP3166173B2 (ja) * | 1991-07-19 | 2001-05-14 | プリンストン エレクトロニック ビルボード，インコーポレイテッド | 選択および挿入された標章を有するテレビ表示 |
| US5363897A (en) | 1993-03-16 | 1994-11-15 | Branch Gary E | Tubeless tire demounting tools |
| US5513854A (en) * | 1993-04-19 | 1996-05-07 | Daver; Gil J. G. | System used for real time acquistion of data pertaining to persons in motion |
| WO1995010915A1 (en) * | 1993-10-12 | 1995-04-20 | Orad, Inc. | Sports event video |
| FR2757002B1 (fr) | 1996-12-06 | 1999-01-22 | David Antoine | Systeme de suivi de mobiles en temps reel sur un terrain de sports |
| US6124862A (en) | 1997-06-13 | 2000-09-26 | Anivision, Inc. | Method and apparatus for generating virtual views of sporting events |
| WO1999017250A1 (en) * | 1997-10-01 | 1999-04-08 | Island Graphics Corporation | Image comparing system |
| WO2005099423A2 (en) * | 2004-04-16 | 2005-10-27 | Aman James A | Automatic event videoing, tracking and content generation system |
| US6483511B1 (en) | 1998-12-31 | 2002-11-19 | Richard D. Snyder | Event simulator, and methods of constructing and utilizing same |
| US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
| WO2002096096A1 (en) * | 2001-05-16 | 2002-11-28 | Zaxel Systems, Inc. | 3d instant replay system and method |
| EP1396818B1 (en) * | 2001-06-15 | 2012-10-03 | Sony Corporation | Image processing apparatus and method and image pickup apparatus |
| DE60216693T2 (de) * | 2001-09-07 | 2007-10-25 | Matsushita Electric Industrial Co., Ltd., Kadoma | Gerät zum Verteilen von Video und Gerät zum Empfangen von Video |
| BE1014748A6 (fr) * | 2002-04-05 | 2004-03-02 | Lange Philippe | Procede et methode d'analyse qui consiste a determiner, a partir d'une image fixe, les references d'un point situe dans un plan et dont l'image contient au moins deux points dont les coordonnees sont connues par rapport a la position de la source qui capte l'image. le procede permet, par exemple, d'obtenir des informations de position, de distance et/ou de vitesse d'elements choisis dans des images d'activites sportives. |
| US8540575B2 (en) * | 2002-10-08 | 2013-09-24 | White Knuckle Gaming, Llc | Method and system for increased realism in video games |
| US7643054B2 (en) * | 2002-12-09 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Directed guidance of viewing devices |
| GB2413720B (en) * | 2003-03-14 | 2006-08-02 | British Broadcasting Corp | Video processing |
| GB2402011B (en) | 2003-05-20 | 2006-11-29 | British Broadcasting Corp | Automated video production |
-
2006
- 2006-03-29 ES ES06728192T patent/ES2790885T3/es not_active Expired - Lifetime
- 2006-03-29 PT PT67281923T patent/PT1864505T/pt unknown
- 2006-03-29 US US11/909,080 patent/US20080192116A1/en not_active Abandoned
- 2006-03-29 EP EP06728192.3A patent/EP1864505B1/en not_active Expired - Lifetime
- 2006-03-29 WO PCT/IL2006/000388 patent/WO2006103662A2/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| EP1864505A4 (en) | 2010-04-28 |
| WO2006103662A2 (en) | 2006-10-05 |
| EP1864505B1 (en) | 2020-01-15 |
| PT1864505T (pt) | 2020-05-18 |
| WO2006103662A3 (en) | 2009-04-09 |
| EP1864505A2 (en) | 2007-12-12 |
| US20080192116A1 (en) | 2008-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2790885T3 (es) | Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos | |
| US10922879B2 (en) | Method and system for generating an image | |
| US8805007B2 (en) | Integrated background and foreground tracking | |
| JP6715441B2 (ja) | 拡張現実表示システム、端末装置および拡張現実表示方法 | |
| US20230008567A1 (en) | Real-time system for generating 4d spatio-temporal model of a real world environment | |
| US7796155B1 (en) | Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events | |
| US9094615B2 (en) | Automatic event videoing, tracking and content generation | |
| JP6580045B2 (ja) | 映像制作物を作るための方法及びシステム | |
| US20150297949A1 (en) | Automatic sports broadcasting system | |
| US20180137363A1 (en) | System for the automated analisys of a sporting match | |
| RU2387011C2 (ru) | Основанное на анализе изображений отслеживание перемещения | |
| WO2019050916A1 (en) | TECHNIQUES FOR RENDERING THREE-DIMENSIONAL ANIMATED GRAPHICS FROM A VIDEO | |
| US9087380B2 (en) | Method and system for creating event data and making same available to be served | |
| CN101639354A (zh) | 对象跟踪的设备和方法 | |
| US20080291272A1 (en) | Method and system for remote estimation of motion parameters | |
| US20090015678A1 (en) | Method and system for automatic pose and trajectory tracking in video | |
| US20250319380A1 (en) | Automated offside detection and visualization for sports | |
| CN119090972B (zh) | 针对隔网球类运动的技战术能力监测、分析系统和方法 | |
| Thomas | Sports TV applications of computer vision | |
| US20240144613A1 (en) | Augmented reality method for monitoring an event in a space comprising an event field in real time | |
| JP7799758B1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CA2633197A1 (en) | Method and system for creating event data and making same available to be served | |
| KR20080097403A (ko) | 이벤트 데이터를 생성하고 이벤트 데이터가 제공될 수 있게하는 방법 및 시스템 | |
| Tan | Virtual imaging in sports broadcasting: an overview |