ES2845933T3

ES2845933T3 - Método y sistema de producción automática de televisión

Info

Publication number: ES2845933T3
Application number: ES15772324T
Authority: ES
Inventors: Miki Tamir; Gal Oz; Tal Ridnik
Original assignee: Pixellot Ltd
Current assignee: Pixellot Ltd
Priority date: 2014-04-03
Filing date: 2015-03-31
Publication date: 2021-07-28
Anticipated expiration: 2035-03-31
Also published as: IL247879A0; WO2015151095A1; US10262692B2; US20170178687A1; EP3127321A4; CN113873174A; JP2017513385A; EP3127321B1; EP3127321A1; CN106165393A; IL247879B; JP7123523B2

Abstract

Un método implementado por computadora para producir y reproducir de forma autónoma flujos de marcos en un formato adecuado para transmitir una escena de video que cubre un juego deportivo, que comprende: (a) recibir (215), desde una o más cámaras de video (110 - 112), un flujo de imágenes de video de la escena, y combinar los citados flujos recibidos para capturar una vista panorámica de la escena; (b) proporcionar (225) una pluralidad de conjuntos de parámetros que definen una pluralidad respectiva de flujos de marcos, en los que los flujos de marcos son registros de datos asociados con vistas respectivas y definen la ubicación, el zoom y el tiempo de una parte fija o variable de la vista panorámica de la citada escena de video durante una duración temporal especificada; (c) seleccionar (330) un flujo de marcos como flujo de marcos activo inicial de acuerdo con una regla predeterminada; (d) renderizar (230) el citado flujo de marcos activos con imágenes correspondientes a una parte respectiva de la citada vista panorámica de acuerdo con el conjunto de parámetros respectivos del flujo de marcos activo inicial seleccionado; (e) analizar (350) el citado flujo de imágenes de video para identificar un evento, incluyendo el análisis identificar un objeto primario en el flujo de imágenes de video, rastrear el citado objeto primario e identificar al menos un objeto secundario asociado con el citado objeto primario; (f) conmutar (360) entre el flujo de marcos activo y un flujo de marcos diferente seleccionado de la citada pluralidad de flujos de marcos tras la detección de un evento, en base al citado análisis; (g) reemplazar (360) el citado flujo de marcos activo por el citado flujo de marcos diferente; y (h) renderizar (230) el citado flujo de marcos diferente con imágenes correspondientes a una porción respectiva de la citada vista panorámica de acuerdo con el conjunto de parámetros respectivo del flujo de marcos diferente seleccionado en el que el método comprende, además: (i) estimar (265), al perder el citado objeto primario, una región que ocupa el citado objeto primario de acuerdo con la ubicación previa del objeto primario; (j) modificar (270) el flujo de marcos activo para incluir la citada región que ocupa el citado objeto primario; y (k) validar la identificación del citado objeto primario en un momento determinado en una ubicación determinada estimando una probabilidad de presencia del objeto primario del mismo en vista de la órbita del objeto primario antes del citado momento determinado.

Description

DESCRIPCIÓN

Método y sistema de producción automática de televisión

Antecedentes de la invención

Campo de la invención

La presente materia objeto que se describe se refiere a métodos y sistemas para producciones automáticas de televi sión al aire libre. En especial, la divulgación se refiere a la producción televisiva de eventos deportivos.

Descripción de la técnica relacionada

La cobertura televisiva de los deportes se está extendiendo a eventos deportivos que en el pasado no estaban cubier tos. Una producción de televisión tradicional se basa en varias cámaras en el campo de juego, operadas por varios camarógrafos y un director que selecciona una cámara para verla en cualquier momento. Sin embargo, el costo de una producción tan completa en un escenario que incluye un equipo grande y varias cámaras prohíbe una cobertura de alta calidad. Por otro lado, los televidentes domésticos esperan una cobertura 20 televisiva completa que incluya repeticiones de partes del evento. El costo de producción puede reducirse reemplazando algunos o todos los procesos manuales involucrados en la producción por procesos automáticos.

El documento EP 1480450 (British Broadcasting Corp), con fecha del 24 de noviembre de 2004, divulga un método para producir cobertura de video de un evento, cambiando automáticamente entre las vistas de cámara disponibles sobre la base de los datos recopilados del evento. La invención es particularmente aplicable en el terreno de la cober tura por televisión de deportes.

El documento US 5.745.126 (Jain et al), con fecha del 28 de abril de 1998 divulga un método para presentar una imagen de vídeo bidimensional de una escena tridimensional con palabras reales a un espectador. El espectador del video es su propio editor proactivo de la escena, que tiene la capacidad de dictar y seleccionar interactivamente, antes del desarrollo de la escena y por medio de comandos de alto nivel, una perspectiva particular mediante la cual se representará la escena, cómo y cuando se desarrolla la escena.

El documento US 2012/057852 (Devleeschouwer et al) describe un método y un sistema para la producción autónoma de un video editado a partir de múltiples flujos de video capturados por una pluralidad de cámaras distribuidas alrede dor de una escena de interés, con una resolución de visualización limitada.

Breve sumario de la invención

La presente invención se basa en el funcionamiento completamente automático de cámaras mediante un servidor desplegado en o cerca del terreno. Varias cámaras capturan una vista panorámica del terreno de juego. El servidor usa las imágenes capturadas para operar la cámara virtual, por ejemplo la cámara principal "cámara 1", reemplazando así a los camarógrafos. El servidor también conmuta entre cámaras virtuales. Además, el servidor utiliza sensores dirigidos que también están desplegados en el terreno.

La presente invención proporciona un método implementado por ordenador como se define en la reivindicación inde pendiente 1 adjunta.

Las realizaciones ventajosas se definen en las reivindicaciones dependientes adjuntas.

Breve descripción de los dibujos

La materia objeto considerada como la invención se señala en particular y se reivindica claramente en la parte de conclusiones de la memoria descriptiva. Sin embargo, la invención, tanto en la organización del sistema como en el método de operación, junto con las características y ventajas de la misma, se puede entender mejor haciendo refe rencia a la descripción detallada que sigue cuando se lea con los dibujos que se acompañan, en los que:

la figura 1a es un diagrama de bloques de un sistema automático de producción de televisión.

la figura 1b ilustra un terreno de juego de fútbol equipado con varios sensores que capturan imágenes y señales de audio para la producción automática de televisión.

la figura 2a es un diagrama de flujo de un método para la producción automática de televisión.

la figura 2b es un diagrama de flujo de las etapas del objeto en un método para la producción automática de televisión.

la figura 3 es un diagrama de flujo de un método para la conmutación automática entre flujos de imágenes en la producción automática de televisión. y,

la figura 4 es un diagrama de flujo de un método para mejorar la producción automática de televisión mediante sensores dirigidos.

Descripción detallada de la invención

La presente invención se describirá ahora en términos de realizaciones de ejemplos específicos. Se debe entender que la invención no se limita a los ejemplos de realizaciones descritos. También se debe entender que no todas las características de los métodos y sistemas son necesarias para implementar la invención de acuerdo con lo que se reivindica en cualquiera de las reivindicaciones adjuntas. Se describen varios elementos y características de los dis positivos para habilitar completamente la invención. También se debe entender que a lo largo de esta descripción, cuando se muestra o describe un método, las etapas del método se pueden realizar en cualquier orden o simultánea mente, a menos que esté claro por el contexto que una etapa depende de que en primer lugar se realice otra.

Antes de explicar varias realizaciones de la invención en detalle, se debe entender que la invención no está limitada en su aplicación a los detalles de construcción y disposición de los componentes expuestos en la siguiente descripción o ilustrados en los dibujos. La invención es capaz de poner en práctica o llevar a cabo otras realizaciones de diversas formas. Además, se debe entender que la fraseología y la terminología empleadas en la presente memoria descriptiva son para fines descriptivos y no deben considerarse limitantes.

A menos que se defina de otra manera, todos los términos técnicos y científicos usados en la presente memoria descriptiva tienen el mismo significado que el que entenderá comúnmente un experto en la técnica a la que pertenece esta invención. Los sistemas, métodos y ejemplos proporcionados en la presente memoria descriptiva son solo ilus trativos y no pretenden ser limitativos.

En la descripción y las reivindicaciones de la presente solicitud, cada uno de los verbos "comprender", "incluir". y "tener", y sus conjugados, se utilizan para indicar que el objeto u objetos del verbo no son necesariamente una lista completa de miembros, componentes, elementos o partes del sujeto o sujetos del verbo.

Definiciones

- Los términos campo de visión, en la presente memoria descriptiva y en lo que sigue FOV, y región de interés se utilizan a lo largo de esta descripción para describir una región deseada en la escena de interés potencial para los espectadores del programa de televisión producido.

- una vista panorámica es un campo de visión de ángulo amplio que abarca una escena completa del terreno de juego y la audiencia.

- una imagen es un rectángulo que define una región de interés deseada para la transmisión, como una parte de la vista panorámica.

- un flujo de marcos es un registro de datos que define datos de ubicación y datos temporales de una parte fija o variable de una vista panorámica durante una duración temporal limitada o ilimitada. Un flujo de marcos suele estar vacío de imágenes mientras no está en el aire o activo. Así. el tamaño de la memoria de una computadora necesaria para almacenar un flujo de marcos es pequeño en relación con un flujo de imágenes respectivas de un marco activo.

- un flujo de imágenes es proporcionada por una o más cámaras reales o por una cámara virtual.

- una cámara virtual es un flujo de marcos que, tras la activación, se renderiza con imágenes de una parte de una vista panorámica.

La presente divulgación es complementaria a la invención de producción de video proxy remota descrita en el número de publicación internacional WO 2014/191990 titulado "MÉTODO Y SISTEMA DE PRODUCCIÓN DE TELEVISIÓN A BAJO COSTO".

Haciendo referencia a continuación a la figura 1a, se describe un sistema 100 para producción de televisión automática de bajo coste, que incluye un servidor de datos 115 en un espacio 105, varios sensores que capturan una vista pano rámica de un terreno de juego de un juego deportivo, e instalaciones para transmitir la producción de TV. A continua ción, se describe un método automático para operar una cámara virtual, por ejemplo, la cámara principal "cámara 1", reemplazando así a un camarógrafo. A continuación, se describe un método automático para cambiar entre cámaras virtuales. Finalmente, se describe un método mejorado para la producción automática de TV usando sensores dirigi dos.

Operación automática de una cámara virtual (figuras 1a, 1b, 2a, 2b)

Un sistema para la producción automática de TV se ilustra en el espacio 105 de la figura 1a y una escena 155 de la figura 1b. En una escena 155, tres cámaras fijas 110, 111 y 112 se combinan para capturar una vista panorá mica 131 de una ubicación seleccionada, por ejemplo, un terreno de juego, tal como un campo de fútbol 160. Además, una cámara 116 con control de movimiento horizontal, vertical y zoom (en adelante PTZ) puede ser dirigida a una región de interés (ROI) en el terreno, ROI 180 por ejemplo, desde una dirección diferente. Por lo tanto, la cámara PTZ 116 puede proporcionar un primer plano real de un evento que ocurre en el terreno. Además, un micrófono dirigido 117 puede alinearse con una ROI en el terreno, la ROI 180 en el ejemplo de la figura 1 b, para capturar la señal de audio generada por la misma, tal como gritos de jugadores 176 y 178.

Las cámaras 110, 111, y 112 están sincronizadas en marcos. Cada cámara está capturando imágenes de video de una determinada zona de la escena 155. Se ajusta una lente para cada cámara con el fin de cubrir completamente la zona. Opcionalmente, se puede utilizar un método de cobertura óptima del espacio compuesto por lentes con una variedad de distancias focales y cámaras con diferentes números y tamaños de píxeles horizontales y verticales me diante técnicas de simulación de empaquetamiento. Típicamente, las cámaras vecinas (adyacentes) tienen zonas de cobertura superpuestas.

Las cámaras 110, 111, y 112 pueden ser cámaras GMOS (semiconductor de óxido metálico complementario) o CCD (dispositivos de carga acoplada de semiconductores). Cada cámara puede estar compuesta por uno o varios, por ejemplo, tres generadores de imágenes. Preferiblemente, las cámaras son de calidad industrial. El formato de salida de datos de las cámaras puede ser GigE, USB 3.0, Camera Link. HD - SD1 o cualquier otro formato disponible para tales cámaras.

Una única cámara de gran angular 111 puede proporcionar una vista panorámica, a pesar de ser el único sensor que captura la escena.

Como se muestra en la figura 1 a, los sensores 110 - 112, 116 y 117 están comunicando con una interfaz de sen sor 120 del servidor de espacios 115, que a su vez, alimenta una instalación de radiodifusión 142 o una instalación de transmisión por la red 145 por medio de un módulo de formato de salida 135. La transmisión de datos de las cáma ras 110 - 112 al servidor de datos 115 se puede realizar por medio de un cable óptico o cualquier otro sistema de comunicación por cable o inalámbrico. En una realización preferida, las cámaras 110 - 112 tienen salida GigE y un conmutador de red con cable de fibra óptica utilizado para transferir los datos al servidor de datos 115. Los datos de las cámaras también se pueden transferir a través de la red mundial.

El servidor del espacio 115 incluye los siguientes módulos:

- Una interfaz de sensor 120 para capturar y procesar inicialmente los datos de la cámara. Este procesamiento inicial puede estar compuesto por cámaras de calibración fotométrica y geométrica, y procesos de transformación y mejora de imagen tales como filtrado de paso alto y corrección de color. El proceso de calibración fotométrica se repite preferiblemente con frecuencia durante la coincidencia. Por lo general, se repite cada pocos segundos, pero en principio se puede hacer en cada imagen o no hacerlo durante todo un partido. Este procesamiento inicial también puede realizarse con cámaras 110 - 112 o en el módulo de llenado de marco activo 130.

- Una grabadora de imágenes 122 almacena al menos una parte de los datos adquiridos por la interfaz de sen sor 120. La grabadora 122 se compone de discos duros, módulos de memoria flash o cualquier otro medio para el almacenamiento de datos masivo y rápido. La grabadora 122 almacena los datos para la producción en vivo, para las repeticiones, para la postproducción y para otras aplicaciones.

- Un módulo de análisis 125 analiza las imágenes recibidas de la interfaz de sensor 120 para "interpretar" la coin cidencia capturada, alinear los flujos de marcos alimentando la base de datos de flujos de marcos 140, determinar el flujo de imágenes activo y conmutar a las señales capturadas por los sensores dirigidos 116 y 117 como se describe más adelante. El módulo 125 también calibra los sensores 110 - 112, 116 y 117 y almacena datos de calibración en una base de datos de calibración de sensores 150.

- Una base de datos de flujo de marcos 140 almacena conjuntos de parámetros o registros de datos, cada uno de los cuales define un flujo de marcos por parámetros relacionados con la ubicación, el zoom y el tiempo. La base de datos 140 es un equivalente virtual de una pantalla dividida o una matriz de monitores de video utilizada por el director real para supervisar, controlar y cambiar entre cámaras principales, cámaras fijas, máquinas de repro ducción, etc. Un conjunto de parámetros define suficientemente el flujo de marcos, de tal manera que una vez que el módulo de análisis 125 decide lanzar el flujo de marcos respectivo al aire, el módulo 130 es capaz de llenarlo de imágenes.

- Un módulo de llenado de flujo de marcos activo 130 recupera los datos requeridos del grabador de imáge nes 122 y realiza operaciones de píxeles en los datos adquiridos, tales como alineación de imagen geométrica, corrección de aberraciones, corrección de viñeteado, alineación, combinación de zonas de costura, dibujo de líneas de costura de "diferencia mínima" y una variedad de operaciones de filtro de imagen. El módulo 130 trans mite la matriz de píxeles que llena el marco del flujo de marcos activo de acuerdo con lo determinado por un módulo de análisis 125. Este proceso se realiza para cada marco. Los marcos de imágenes renderizadas se caracterizan por límites no perceptibles o sin fisuras entre las imágenes en bruto vecinas. Por ese motivo, las líneas de costura se transforman de coordenadas mundiales a coordenadas de cámara para especificar las líneas en el marco o próximas al mismo. A continuación, los píxeles que pertenecen a las cámaras de video vecinas se alinean geométricamente usando parámetros de calibración. Además, los pares de píxeles en las zonas de cos tura que pertenecen a cámaras de vídeo vecinas se combinan de acuerdo con una distancia desde una línea de costura. Además, se corrigen las intensidades de color de los píxeles que pertenecen a diferentes cámaras de video y se ajusta el tono, la saturación, la intensidad y el valor gamma de todo el marco de la imagen.

- Un módulo de formato de salida 135 formatea un flujo de marcos de imagen en el estándar de video requerido y lo transmite al estudio de la estación de TV 142 o directamente a los televidentes mediante satélite, cable o cual quier otro método de transmisión de difusión. Un destino adicional con una popularidad creciente en la actualidad es un medio de transmisión por la web 145 permitiendo a los usuarios ver la presentación transmitida a través de Internet. La señal también se puede dirigir a un cliente web individual, un usuario doméstico, directamente o por medio de un servidor en la nube.

Haciendo referencia a continuación al diagrama de flujo de la figura 2a, el mismo describe un método 200 para una producción de video automática. Previo al partido, en una etapa 210, el servidor 115 calibra las cámaras de video 110 - 112, así como la cámara PTZ 116 usando puntos en el terreno de juego 160. Los puntos ejemplares son las esqui nas 162 y 164 del terreno de de futbol 160, los cruces de dos líneas de terreno 172, el punto de lanzamiento de pe nalti 183 a 11 m, puntos de baliza desplegados en el terreno de juego y con ubicaciones determinadas por dispositivos geodésicos, y un punto relacionado con el banquillo. Los datos de calibración se almacenan en una base de datos 150 de calibración del sensor.

Los datos de calibración de las cámaras y el cálculo geométrico, conocidos en la técnica, se utilizan para dos tareas. En primer lugar, las imágenes recibidas de las cámaras se asocian unas con las otras para definir la vista panorámica. En segundo lugar, los datos de ubicación de un flujo de marcos son relacionados con las coordenadas angulares o cartesianas de la vista panorámica.

El servidor 115 utiliza flujos de marcos como cámaras virtuales, equivalentes a las cámaras reales en una producción televisiva tradicional de juegos deportivos. Los flujos de marcos se almacenan en conjuntos de parámetros respectivos o registros de datos en una base de datos de flujos de marcos 140. Un conjunto de parámetros define un flujo de marcos por parámetros relacionados con la ubicación, el zoom y el tiempo.

Los parámetros de ubicación típicos son un ángulo izquierdo, un ángulo recto, un ángulo inferior, un ángulo superior, una coordenada angular central, una coordenada de ubicación central, una relación de aspecto, un ancho de imagen y un parámetro de resolución. La relación de aspecto puede tener un valor fijo de 16:9.

Los parámetros de zoom típicos son un parámetro de zoom fijo, los parámetros de una ecuación que define la depen dencia de un parámetro de zoom en una marca de tiempo y los valores en una tabla de parámetros de zoom con respecto a una marca de tiempo. El valor de zoom se utiliza para el zoom digital de la vista panorámica utilizando las imágenes capturadas por las cámaras 110 - 112 que pueden ser cámaras fijas sin ninguna capacidad de zoom real.

Los parámetros temporales típicos son una marca de tiempo actual, una marca de tiempo de inicio, una marca de tiempo final y una velocidad de marcos. Una marca de tiempo actual positiva indica que el flujo de marcos sigue el tiempo real tanto como sea posible.

El ancho del marco puede ser un ancho fijo predeterminado para cámaras fijas tales como una cámara de portería o de canasta,. Para otros flujos de marcos, el ancho de marco cumple una cierta condición. Una condición ejemplar es que un número predeterminado de jugadores esté presente en el marco. Otra condición ejemplar es que el marco no exceda los límites del terreno de juego. Una tercera condición ejemplar es que un objeto estático clave tal como una portería 170 o una canasta esté incluida en el marco.

En una etapa 215, la interfaz de sensor 120 recibe desde las cámaras de video 110 - 112 un flujo de imágenes de video del terreno de juego 160, capturando así una vista panorámica del mismo. En la etapa 220, un módulo de aná lisis 125 analiza el flujo de imágenes de video para permitir la definición de varios flujos de marcos. En consecuencia, en la etapa 225, el módulo de análisis 125 determina la ubicación, el zoom y los parámetros de tiempo de los flujos de marcos y los almacena en la base de datos de flujos de marcos 140. En la etapa 230, un módulo 130 renderiza un flujo de marcos activo con imágenes correspondientes a una parte respectiva de la vista panorámica de la escena.

El flujo de marcos activo puede ser el único flujo de marcos, una contraparte de "una cámara 1", por ejemplo. En tal caso, la producción resultante es la misma que tener un solo camarógrafo real capturando la escena 155 en un partido de liga secundaria. En otros casos, una cámara virtual principal ("cámara 1") normalmente genera un campo de visión amplio que generalmente comprende un tercio del terreno de juego. El flujo de marcos de la "cámara 2" proporciona una vista más estrecha del espacio próximo al balón. Hay otras cámaras virtuales que proporcionan vistas de cerca de grupos de jugadores o jugadores individuales. Por consiguiente, hay varios flujos de marcos y el análisis ejecutado determina el conjunto de parámetros para la mayoría de los flujos de marcos, mientras que solo uno es un flujo de marcos activo que tiene imágenes renderizadas. La selección de un flujo de marcos activo y la conmutación entre flujos de marcos se explican con más detalle en la siguiente sección.

El módulo de llenado de marcos activo 130 ajusta el color y el brillo de las imágenes capturadas por las cámaras 110 - 112, que contribuyen a renderizar el flujo de marcos activo y transforma las imágenes originadas en diferentes cámaras desde coordenadas mundiales a coordenadas de cámara. Además, el módulo 130 combina los píxeles en las zonas de costura que abarcan las líneas de costura y alinea geométricamente las salidas de las diferentes cáma ras 110 - 112 utilizando uno de los métodos conocidos en la técnica anterior para calibrar y alinear imágenes captura das por varias cámaras.

En la etapa 235, el módulo de formato de salida 135 formatea el flujo de marcos de imagen renderizada para su emi sión o difusión por Internet y comunica los flujos de resultados a una instalación de difusión 142 o a una instalación de transmisión de contenido web 145.

Haciendo referencia a continuación a la figura 2b, se presenta un método 250 para acciones relacionadas con objetos en un terreno de juego 160. El método incluye una etapa 255 de identificar un objeto principal, tal como un ba lón 172, una etapa 258 de rastrear el objeto 172, una etapa 260 de identificar jugadores 176 y 178 asociados con el balón 172, y una etapa 265 de estimar una región que ocupa el balón cuando se pierde.

En otras palabras, el balón 172 y los jugadores 176 y 178 son detectados y rastreados a lo largo del juego mediante la substracción dinámica de fondo para crear manchas que representan a los jugadores respectivos. El seguimiento automático del balón en los juegos deportivos se describe, por ejemplo, en la Publicación US número 2008/03 12010 a Marty et al, y en la Publicación US número 2011/0267461 a Bimboim et al. La identificación del jugador se divulga, por ejemplo, en la Publicación US número 2012/0013711 a Tamir and Wilf. La detección de eventos y el seguimiento de bolas se tratan en "Multimedia" editada por K. Nishi, 2010, Capítulo 10 por Ariki y Takiguchi titulado "Trabajo de cámara digital para la producción de videos de fútbol con detección de eventos y seguimiento preciso del balón me diante el cambio de método de búsqueda", La órbita o trayectoria del balón puede ser bidimensional si el balón se captura desde una sola dirección, o tridimensional si el balón se captura desde dos direcciones.

En una etapa 270, el módulo de análisis 125 modifica el flujo de marcos de tal manera que una imagen de "cámara 1" incluya la región que ocupa el balón. Preferiblemente, se puede determinar un centro del marco de manera que siga la ubicación de un balón o siga un centro de masa de las ubicaciones de los jugadores. En la etapa 275, para evitar movimientos bruscos del centro del marco, el módulo de análisis 125 suaviza la órbita de un balón. En consecuencia, en la etapa 280, módulo 125 determina una imagen central de acuerdo con la órbita suavizada del balón.

Preferiblemente, en una etapa 285, el módulo 125 valida la identificación del balón 172 en un momento determinado en una ubicación determinada estimando una probabilidad de que el balón 172 esté presente en la misma a la vista de la órbita del balón antes de un cierto tiempo.

Las etapas 283, 285 y 290 se pueden ejecutar siempre que el juego capturado sea baloncesto. En primer lugar, el módulo 125 identifica un contraataque, a continuación estima la velocidad de la pelota 172, y finalmente selecciona una ubicación de una imagen que bloquea a un grupo de jugadores que están jugando con la pelota 172 dependiendo de la velocidad de la pelota. Se selecciona un lado delantero del contraataque en el caso de una pelota rápida, y un lado trasero del mismo en el caso de una pelota lenta.

En la etapa 295, el módulo 125 determina el conjunto de parámetros de un flujo de marcos bloqueando una parte predeterminada de los reproductores 176 y 178 por un rectángulo. Preferiblemente, en ciertos juegos, la mayor parte de los jugadores 176 o todos ellos están incluidos en un flujo de marcos de "cámara 1". A veces, al menos tres o cinco jugadores 178 se incluyen en un flujo de marcos.

Realización de director automático (figuras 1a, 1b, 3)

La figura 3 describe un diagrama de flujo de un método. 300 para el cambio automático entre flujos de marcos en una producción televisiva automática de una competición deportiva. Como se ha mencionado más arriba, el servi dor 115 utiliza flujos de marcos como cámaras virtuales, equivalentes a las cámaras reales en una producción televi siva tradicional de juegos deportivos. Los flujos de marcos se almacenan en conjuntos de parámetros respectivos o registros de datos en una base de datos de flujos de marcos 140. Un conjunto de parámetros define un flujo de marcos por parámetros relacionados con la ubicación, el zoom y el tiempo, como se ha detallado más arriba. Inicialmente, en la etapa 320, los valores predeterminados o preliminares se almacenan en la base de datos de flujo de mar cos 140 para varios flujos de marcos. Por ejemplo, el centro de un flujo de marcos de la "cámara 1" puede establecerse inicialmente en la posición del balón cuando comienza un partido.

Los flujos de marcos están asociados a vistas respectivas. Ejemplos de vistas son una "cámara 1" de una vista del balón amplia, una "cámara 2" de una vista del balón estrecha, dos vistas de portería fija, dos vistas de canasta fija, varias vistas de audiencia fija, varias vistas de repetición y una vista de cámara en movimiento.

En una etapa 215, la interfaz de sensor 120 recibe desde las cámaras de video 110 - 112 un flujo de imágenes de video del terreno de juego 160, capturando así una vista panorámica del mismo.

En la etapa 330, el módulo 125 selecciona un marco activo inicial de acuerdo con una regla predeterminada. Una regla ejemplar es que el flujo de marcos inicial es un flujo de marcos de la "cámara 1". En la etapa 230, el módulo 130 renderiza el flujo de marcos activo con imágenes que representan una parte respectiva de la vista panorámica de la escena 155.

En la etapa 350, el módulo de análisis 125 analiza el flujo de imágenes de video, tratando de identificar un evento que activa el cambio entre el flujo de marcos activo y un flujo de marcos diferente. La identificación de eventos se basa en la identificación del jugador y el balón y en la familiaridad con situaciones típicas del juego. En el fútbol, por ejemplo, un evento de saque se identifica como una situación en la que un jugador está parado en una línea de banda con un balón sobre su cabeza. En consecuencia, en la etapa 360, el módulo 125 reemplaza el flujo de marcos activo por un flujo de marcos diferente. El módulo 125 también utiliza reglas de fotografía de tipo deportivo, como cambiar de "cá mara 1" a "cámara 2", si el balón 172 se encuentra actualmente en el área de portería o si el balón 172 se mueve lentamente y los jugadores 176 y 178 están agrupados alrededor del balón 172. El módulo 125 también puede decidir cambiar de "cámara 1" o "cámara 2" a una vista en primer plano si el balón está parado y hay un solo jugador cerca.

Dejando aparte el flujo de marcos activo, todos los flujos de marcos no tienen imágenes renderizadas. Sin embargo, una transición entre los flujos de marcos puede ocurrir gradualmente, de modo que dos flujos de marcos se presenten simultáneamente y el antiguo se desvanezca mientras que el nuevo toma el control. También son posibles otros efec tos de transición tales como el barrido. El módulo 125 puede seleccionar la transición deseada de acuerdo con un procedimiento predeterminado. Durante la corta duración de la transición, se pueden renderizar dos flujos de marcos con imágenes simultáneamente.

Los eventos ejemplares identificados por el módulo 125 son un inicio de partido, un final de partido, un descanso de partido, un inicio de tiempo muerto, un final de tiempo muerto, un tiro de penalti de 11 metros, un final de descanso, un fuera de juego, un saque de esquina, un tiro libre y un saque de banda. El evento identificado puede ser un evento que está ocurriendo o un evento que se espera que ocurra.

Por ejemplo, un flujo de marcos de la "cámara 1" es reemplazado por un flujo de marcos de la "cámara 2" una vez que se produce una disminución de la velocidad del balón a una velocidad por debajo de un valor predeterminado durante al menos un período de tiempo predeterminado. Los valores de velocidad predeterminados típicos son 5, 8, 10, 12 y 15 km por hora. Los períodos de tiempo predeterminados típicos son 4, 6, 7 y 10 segundos. Alternativamente, el módulo 125 identifica que el balón 172 está completamente estático en preparación para una situación de partido identificada como un saque de esquina.

Una vez que se identifica un evento importante tal como un gol, el módulo 125 conmuta el flujo de marcos activo a un flujo de marcos de reproducción para presentar una repetición lenta de cerca del evento identificado, después de lo cual el flujo de marcos activo se conmuta de nuevo al flujo de marcos de la "cámara 1". En tal caso, la marca de tiempo de inicio del flujo de marcos de repetición es varios segundos antes del saque de meta, y la marca de tiempo final es varios segundos después del gol, mientras que la frecuencia de marcos es un tercio de la frecuencia normal, por ejemplo.

La transición entre flujos de marcos activos se produce en momentos arbitrarios. Por lo general, una vez que se selecciona un flujo de marcos activo, permanece en el aire hasta que se realice una nueva selección. A veces, como en el caso de un flujo de marcos de reproducción, termina de acuerdo con una marca de tiempo final y se selecciona otro flujo de marcos para que sea el activo de acuerdo con una regla predeterminada. Por ejemplo, una regla puede determinar que al final de una repetición, el flujo de marcos de la "cámara 1" vuelva a ser el activo.

Producción de TV automática con sensor dirigido (figuras 1a, 1b, 4)

Los productores de eventos deportivos deben capturar el evento desde más de una perspectiva. Con solamente una única serie de cámaras, el sistema propuesto puede tener solamente una única perspectiva. Por supuesto, es posible utilizar varios conjuntos de cámaras, cada uno ubicado en su ubicación única en el espacio. Por ejemplo, en un partido de fútbol, el equipo de producción puede decidir utilizar tres bloques de cámaras y desplegar el primero en una posición de medio terreno y los otros dos detrás de las dos porterías respectivas para cubrir al portero respectivo. Una mejor realización de la configuración de múltiples perspectivas se basa en un solo bloque de cámara o una matriz de cámaras compuesta por múltiples cámaras fijas que cubren el terreno de juego y una cámara con un objetivo zoom automático controlado remotamente montado en una unidad de giro e inclinación controlados remotamente. Hay muchas cámaras comerciales de giro / inclinación / zoom (PTZ) que se pueden utilizar para esta aplicación, solo como ejemplo la cámara de red Panasonic WV - SC385 PTZ.

Un dispositivo de captura de sonido automático también puede cubrir el juego. Con ese fin, un micrófono direccional 117 está montado en una unidad de giro e inclinación controlados a distancia. El micrófono 117 puede ser escla vizado por las coordenadas FOV compatibles con un determinado flujo de marcos para cubrir a un jugador o grupo de jugadores relacionados con una situación en la que la captura de sonido podría ser beneficiosa. Tales situaciones pueden ser, por ejemplo, dos jugadores en disputa o un árbitro gritándole a uno de los jugadores. Ejemplos de micró fonos direccionales son los micrófonos parabólicos, los micrófonos de dirección plana, los micrófonos con onda desplazable y micrófonos de gradiente. Estos micrófonos son conocidos en la técnica por proporcionar direccionalidad y sensibilidad para capturar la señal de audio generada en partes del terreno de juego.

Con referencia a continuación a la figura 4, se describe un diagrama de flujo de un método 400 para un servidor computarizado que produce de forma autónoma un programa de televisión de un partido de un deporte en una escena, mientras que el método es mejorado mediante el uso de sensores dirigidos además de cámaras de video fijas.

El servidor 115 controla una cámara de giro, inclinación y zoom (PTZ) 116 y un micrófono dirigido 117 usando la in terfaz de sensor 120. El micrófono dirigido 117 está dispuesto sobre una base alineable de dos ejes. Antes de que comience el partido, en una etapa 210, el módulo de análisis 125 calibra la cámara de video PTZ 116 en referencia a la escena para permitir su dirección a la región de interés de acuerdo con los datos de ubicación de un flujo de marcos. Preferiblemente, los ángulos de giro e inclinación de la cámara PTZ apuntan a varios puntos de la escena, y los datos de calibración se almacenan en una base de datos 150 de calibración del sensor. Los datos de calibración almacena dos se utilizan para alinear la cámara PTZ 116 de acuerdo con los datos de ubicación de un flujo de marcos.

Más adelante, en una etapa 215, la interfaz de sensor 120 recibe de las cámaras de video 110 - 112 un flujo de imá genes de video del terreno de juego 160, capturando así una vista panorámica del mismo. En consecuencia, en la etapa 225, el módulo de análisis 125 determina la ubicación, el zoom y los parámetros de tiempo de los flujos de marcos y los almacena en la base de datos de flujos de marcos 140. En la etapa 330, el módulo 125 selecciona un marco activo inicial de acuerdo con una regla predeterminada y de acuerdo con un análisis de las imágenes. En la etapa 230, el módulo 130 renderiza el flujo de marcos activo con imágenes que representan una parte respectiva de la vista panorámica de la escena 155, y en la etapa 235 se transmite el flujo de imágenes renderizado,

En la etapa 430, el módulo 125 dirige el sensor dirigido 116 o 117 a una región de interés de acuerdo con los datos de ubicación del flujo de marcos activo. Además, en la etapa 350, el módulo 125 analiza el flujo de imágenes de vídeo de acuerdo con criterios predeterminados que caracterizan situaciones que ocurren en la escena. De esta manera, en la etapa 440, el módulo 125 identifica una situación que ocurre en la región de interés como caracterizada por un criterio apropiado y desencadena acciones relacionadas con el sensor dirigido. En una acción 450, el sensor diri gido 116 o 117 captura una señal y en una acción 460, el servidor 115 emite la señal capturada.

Es decir, el módulo 125 dirige la cámara de video PTZ 116 a la región de interés para capturar una señal de video de la misma, y de acuerdo con una situación identificada, el flujo de marcos activo es reemplazado en el aire durante un tiempo por la señal capturada. Por ejemplo, si la situación identificada requiere un zoom mayor que el disponible digitalmente usando una capacidad de zoom digital de un flujo de marcos, entonces la cámara PTZ dirigida 116 puede proporcionar la capacidad de alojamiento real ampliada deseada,

El módulo 125 puede dirigir el micrófono direccional 117 a la región de interés para grabar una señal de audio gene rada en la misma. El módulo 125 puede seleccionar esa señal de audio para su transmisión como una señal de audio de un flujo de imágenes visuales transmitidas al flujo de marcos activo.

Aunque la invención ha sido descrita junto con realizaciones específicas de la misma, es evidente que muchas alter nativas, modificaciones y variaciones serán evidentes para los expertos en la técnica. En particular, la presente inven ción no está limitada de ninguna manera por los ejemplos descritos. La presente invención solo está limitada por el alcance de las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Un método implementado por computadora para producir y reproducir de forma autónoma flujos de marcos en un formato adecuado para transmitir una escena de video que cubre un juego deportivo, que comprende:

(a) recibir (215), desde una o más cámaras de video (110 - 112), un flujo de imágenes de video de la escena, y combinar los citados flujos recibidos para capturar una vista panorámica de la escena;

(b) proporcionar (225) una pluralidad de conjuntos de parámetros que definen una pluralidad respectiva de flujos de marcos, en los que los flujos de marcos son registros de datos asociados con vistas respectivas y definen la ubicación, el zoom y el tiempo de una parte fija o variable de la vista panorámica de la citada escena de video durante una duración temporal especificada;

(c) seleccionar (330) un flujo de marcos como flujo de marcos activo inicial de acuerdo con una regla pre determinada;

(d) renderizar (230) el citado flujo de marcos activos con imágenes correspondientes a una parte respectiva de la citada vista panorámica de acuerdo con el conjunto de parámetros respectivos del flujo de marcos activo inicial seleccionado;

(e) analizar (350) el citado flujo de imágenes de video para identificar un evento, incluyendo el análisis iden tificar un objeto primario en el flujo de imágenes de video, rastrear el citado objeto primario e identificar al menos un objeto secundario asociado con el citado objeto primario;

(f) conmutar (360) entre el flujo de marcos activo y un flujo de marcos diferente seleccionado de la citada pluralidad de flujos de marcos tras la detección de un evento, en base al citado análisis;

(g) reemplazar (360) el citado flujo de marcos activo por el citado flujo de marcos diferente; y

(h) renderizar (230) el citado flujo de marcos diferente con imágenes correspondientes a una porción res pectiva de la citada vista panorámica de acuerdo con el conjunto de parámetros respectivo del flujo de marcos diferente seleccionado

en el que el método comprende, además:

(i) estimar (265), al perder el citado objeto primario, una región que ocupa el citado objeto primario de acuerdo con la ubicación previa del objeto primario;

(j) modificar (270) el flujo de marcos activo para incluir la citada región que ocupa el citado objeto primario;

y

(k) validar la identificación del citado objeto primario en un momento determinado en una ubicación deter minada estimando una probabilidad de presencia del objeto primario del mismo en vista de la órbita del objeto primario antes del citado momento determinado.

2. El método de la reivindicación 1, que comprende adicionalmente transmitir para difundir el citado flujo renderizado correspondiente a la citada porción respectiva de la citada vista panorámica.

3. El método de la reivindicación 1, que comprende adicionalmente calibrar la citada una o más cámaras usando puntos en un terreno de juego en la escena de video, siendo seleccionados los citados puntos de un grupo de puntos que incluyen al menos uno de:

(i) esquinas del terreno de juego;

(ii) cruces de dos líneas de terreno;

(iii) punto de lanzamiento de penalti de 11 m;

(iv) balizas desplegadas en el terreno de juego y con ubicaciones determinadas por uno o más dispositivos geodésicos; y

(v) un punto relacionado con el banquillo.

4. El método de la reivindicación 3, en el que un conjunto de parámetros define un flujo de marcos de los citados uno o más flujos de marcos por tres o más parámetros seleccionados de un grupo de parámetros que consisten en un ángulo izquierdo del terreno de juego, un ángulo recto del terreno de juego, un ángulo inferior del terreno de juego, un ángulo superior del terreno de juego, una coordenada angular central del terreno de juego, una coordenada de ubicación central del terreno de juego, una relación de aspecto, un ancho de imagen, una marca de tiempo actual, una marca de tiempo de inicio, una marca de tiempo final, una velocidad de marcos, un parámetro de resolución; un parámetro de zoom fijo, una ecuación que define una dependencia de un parámetro de zoom en una marca de tiempo y una tabla de parámetro de zoom con respecto a una marca de tiempo.

5. El método de la reivindicación 1, que comprende adicionalmente determinar un centro de imagen de acuerdo con al menos una variable seleccionada de un grupo de variables que consiste en una ubicación de objeto de juego y un centro de masa de ubicaciones de los jugadores.

6. El método de la reivindicación 1, en el que el método incluye:

(I) identificar un contraataque en un partido de baloncesto;

(II) estimar la velocidad de un objeto primario; y

(III) determinar la ubicación del marco de bloqueo de un grupo de jugadores en un lado delantero del contraataque o en el lado trasero del contraataque del mismo de acuerdo con la citada velocidad del objeto principal.

7. El método de la reivindicación 1, en el que, al menos una vista respectiva se selecciona de un grupo de vistas que consiste en una vista amplia del objeto de juego, una vista estrecha del objeto de juego, dos vistas de portería fija, dos vistas de canasta fija, una o más vistas de audiencia fija, una o más vistas de repetición y una vista de cámara en movimiento.

8. El método de acuerdo con la reivindicación 1, en el que el método incluye además suavizar la órbita de un objeto de juego y determinar una imagen central de acuerdo con la órbita suavizada del objeto de juego, para evitar movimientos bruscos de la órbita del centro del marco.