ES2675802T3 - Procedimiento y aparato para transmitir y recibir un flujo de video panorámico - Google Patents
Procedimiento y aparato para transmitir y recibir un flujo de video panorámico Download PDFInfo
- Publication number
- ES2675802T3 ES2675802T3 ES11305172.6T ES11305172T ES2675802T3 ES 2675802 T3 ES2675802 T3 ES 2675802T3 ES 11305172 T ES11305172 T ES 11305172T ES 2675802 T3 ES2675802 T3 ES 2675802T3
- Authority
- ES
- Spain
- Prior art keywords
- video stream
- video
- omnidirectional
- feed
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004044 response Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Un procedimiento de transmisión de un flujo de video panorámico desde un aparato (200) servidor a un aparato (400) de cliente a través de una red (300), comprendiendo el procedimiento en el aparato (200) servidor: - transmitir un primer flujo (625) de video, comprendiendo dicho primer flujo de video una proyección de una alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular; y - transmitir un segundo flujo (635) de video, comprendiendo dicho segundo flujo de video una alimentación de video direccional que representa sustancialmente de forma síncrona una parte de dicha alimentación de video omnidireccional; en el que un aspecto de la calidad de imagen de dicho segundo flujo de video excede el mismo aspecto de calidad de imagen de dicho primer flujo de video; caracterizado porque dicha alimentación de video omnidireccional es recibida (610) desde una disposición (100) de cámaras; y porque dicho procedimiento comprende además transmitir información de coordenadas que designa dicha parte de dicha alimentación de video omnidireccional representada por dicha alimentación de video direccional.
Description
5
10
15
20
25
30
35
40
45
50
DESCRIPCION
Procedimiento y aparato para transmitir y recibir un flujo de video panorámico
La presente invención se refiere a transmisión de video omnidireccional, más particularmente a transmisión eficiente de flujos omnidireccionales en una red.
Antecedentes
Los procedimientos de entrega conocidos para flujos de video omnidireccionales sufren de baja calidad y/o lenta interactividad.
Sumario
Es un objeto de las realizaciones de la presente invención permitir a los usuarios finales navegar con baja latencia percibida a través de un escenario de video omnidireccional capturado de forma remota. Se desea además proporcionar la representación de la ventana gráfica seleccionada con la mejor resolución posible, es decir, la mejor resolución disponible por el sensor de la cámara, al tiempo que se minimiza la utilización del ancho de banda total en el enlace de acceso del usuario final.
De acuerdo con un primer aspecto de la presente invención, de acuerdo con la reivindicación 1, se proporciona un procedimiento de transmisión de un flujo de video panorámico desde un aparato servidor a un aparato cliente a través de una red. En una realización del procedimiento de acuerdo con la presente invención, dicho aspecto de la calidad de imagen es una resolución espacial.
En una realización del procedimiento de acuerdo con la presente invención, dicho aspecto de la calidad de imagen es una resolución temporal.
En una realización, el procedimiento según la presente invención comprende, además: recibir en el aparato servidor una instrucción del aparato cliente; y modificar dicha parte de dicha alimentación de video omnidireccional en respuesta a dicha instrucción.
De acuerdo con otro aspecto de la presente invención, se proporciona un procedimiento de representación de un flujo de video panorámico recibido desde un aparato servidor en un aparato cliente, comprendiendo el procedimiento en el aparato cliente: recibir un primer flujo de video, dicho primer flujo de video que comprende una proyección de una alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular; recibir un segundo flujo de video, comprendiendo dicho segundo flujo de video una alimentación de video direccional que representa sustancialmente sincrónicamente una parte de dicha alimentación de video omnidireccional; recibir información de coordenadas que designa dicha parte de dicha alimentación de video omnidireccional representada por dicha alimentación de video direccional; y usar al menos parte de dicho primer flujo de video y al menos parte de dicho segundo flujo de video para reproducir una imagen de video correspondiente a una posición de visualización y un ángulo de visión, en donde un aspecto de calidad de imagen de dicho segundo flujo de video excede el mismo aspecto de la calidad de imagen de dicho primer flujo de video, y en el que las regiones espaciales cubiertas por dicho primer flujo de video y dicho segundo flujo de video se representan sobre la base del contenido de dicho segundo flujo de video.
En una realización, el procedimiento de acuerdo con la presente invención comprende, además: modificar dicha posición de visualización y/o dicho ángulo de visión en respuesta a una acción por parte de un usuario.
En una realización, el procedimiento de acuerdo con la presente invención comprende, además: transmitir una instrucción a dicho aparato de servidor perteneciente a dicha modificación de dicha posición de visualización y/o dicho ángulo de visión.
De acuerdo con un aspecto de la presente invención, se proporciona un programa informático para llevar a cabo cualquiera de los procedimientos descritos anteriormente.
De acuerdo con un aspecto adicional de la presente invención, se proporciona un aparato servidor para transmitir un flujo de video panorámico a un aparato cliente, comprendiendo el aparato servidor: un primer receptor para recibir una pluralidad de alimentaciones de video; primeros medios de generación de flujo, acoplados operativamente a dicho primer receptor, para generar un primer flujo de video, comprendiendo dicho primer flujo de video una proyección de una alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular; segundos medios generadores de video, acoplados operativamente a dicho primer receptor, para generar al menos un segundo flujo de video, dicho al menos un segundo flujo de video que comprende una alimentación de video direccional que representa sustancialmente sincrónicamente una parte de dicha alimentación de video omnidireccional; y un transmisor adaptado para transmitir dicho primer flujo de video, dicha al menos un segundo flujo de video, e información de coordenadas que designa dicha parte de dicha alimentación de video omnidireccional representada por dicha al menos una alimentación de video direccional; en el que un aspecto de la calidad de imagen de dicha al menos un segundo flujo de video excede el mismo aspecto de calidad de imagen de
5
10
15
20
25
30
35
40
45
50
dicho primer flujo de video.
En una realización del aparato de la presente invención, dicho aspecto de la calidad de imagen es una resolución espacial.
En una realización del aparato de la presente invención, dicho aspecto de la calidad de imagen es una resolución temporal.
En una realización, el aparato de la presente invención comprende, además: un segundo receptor adaptado para recibir una instrucción de dicho aparato cliente, acoplado operativamente a dichos segundos medios de generación de video para modificar dicha parte de dicha alimentación de video omnidireccional en respuesta a dicha instrucción.
De acuerdo con otro aspecto más de la presente invención, se proporciona un aparato cliente para reproducir un flujo de video panorámico recibida desde un aparato servidor, comprendiendo el aparato cliente: un receptor adaptado para recibir un primer flujo de video, al menos un segundo flujo de video, e información de coordenadas, dicho primer flujo de video comprende una proyección de una alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular, comprendiendo dicho segundo flujo de video una alimentación de video direccional que representa sustancialmente sincrónicamente una parte de dicha alimentación de video omnidireccional; y dicha información de coordenadas que designa dicha parte de dicha alimentación de video omnidireccional representada por dicha al menos una alimentación de video direccional; un agente de selección para determinar una posición de visualización y un ángulo de visión; un procesador adaptado para usar al menos parte de dicho primer flujo de video y al menos parte de dicho segundo flujo de video para reproducir una imagen de video correspondiente a dicha posición de visualización y dicho ángulo de visión, en donde un aspecto de calidad de imagen de dicho segundo flujo de video excede el mismo aspecto de la calidad de imagen de dicho primer flujo de video, y en el que las regiones espaciales cubiertas por dicho primer flujo de video y dicho segundo flujo de video se representan sobre la base del contenido de dicho segundo flujo de video.
En una realización del aparato cliente de la presente invención, dicho agente de selección comprende una interfaz de usuario adaptada para recibir un comando perteneciente a dicha posición de visualización y/o dicho ángulo de visión de un usuario, estando adaptado dicho reproductor para modificar dicha porción reproducida en respuesta a dicha instrucción.
En una realización, el aparato cliente de acuerdo con la presente invención comprende además un transmisor adaptado para transmitir una instrucción perteneciente a dicho comando a dicho aparato servidor.
Breve descripción de los dibujos
Algunas realizaciones de aparatos y/o procedimientos de acuerdo con las realizaciones de la presente invención se describen ahora, a modo de ejemplo solamente, y con referencia a los dibujos adjuntos, en los que
La figura 1 es una representación esquemática en vista de sistema de realizaciones de diversos aspectos de la presente invención;
La figura 2 es un diagrama de flujo de una realización del procedimiento de transmisión de un flujo de video panorámico de acuerdo con la presente invención; y
La figura 3 es un diagrama de flujo de una realización del procedimiento de representación de un flujo de video panorámico de acuerdo con la presente invención.
Descripción de las realizaciones
El escenario de video panorámico teóricamente requiere una imagen de video esférica. En realidad, consiste en información de imagen capturada por una pluralidad de cámaras o sensores dispuestos judicialmente, cuyas salidas se combinan digitalmente para formar un panorama. El panorama se proyecta en una cuadrícula de píxeles rectangulares, para facilitar su transmisión bajo la forma de un flujo de video regular desde la fuente hasta el equipo del usuario final.
Con referencia a la figura 1, el usuario final típicamente consume contenido de video panorámico a través de un dispositivo 400 de cliente con un medio 500 de visualización rectangular tal como un monitor o un proyector, que muestra una pequeña porción del escenario de video panorámico completo. La porción se define por una determinada posición de visualización y ángulo de visión cubierto por una cámara virtual, y se denominará ventana gráfica.
Las realizaciones de la presente invención se basan en la idea de que para asegurar una calidad suficientemente alta de la ventana gráfica representada en una experiencia de video panorámica altamente interactiva, basta con transmitir un flujo de alta calidad de un subconjunto seleccionado juiciosamente del paisaje panorámico de video para el cliente 400, mientras que también transmite un flujo de video panorámico completo de menor calidad. Las realizaciones de la presente invención también se basan en la idea de que la transmisión de información de coordenadas adecuada que indica claramente dónde encaja la corriente de alta calidad en el panorama permitirá
5
10
15
20
25
30
35
40
45
50
55
que el dispositivo 400 de cliente superponga las imágenes de alta calidad al fondo panorámico.
En el contexto de la presente invención, "alta calidad" y "baja calidad" pueden referirse a aspectos cualitativos tales como resolución espacial y/o resolución temporal. La imagen de mayor calidad también se puede obtener aumentando la fidelidad de la codificación con respecto a la alimentación original (medida por una métrica como PSNR u otras) con la misma resolución. Cuando se usan términos como "alta resolución" y "baja resolución" en la siguiente descripción, estos deben entenderse como ejemplos no limitantes de aspectos de "alta calidad" y "baja calidad", a menos que se especifique lo contrario.
De acuerdo con las realizaciones de la presente invención, la entrada de la cámara de 360° o disposición 100 de cámara se convierte en una panorámica de baja resolución y una serie de mosaicos de alta resolución. La ubicación y el tamaño de los mosaicos se pueden determinar en función de cualquier información disponible con respecto a la ventana gráfica seleccionada por el usuario final, que incluye, por ejemplo, una señal de retroalimentación desde el dispositivo 400 de cliente sobre el estado actual de la ventana gráfica. Los mosaicos de las secciones estadísticamente más populares del escenario se pueden proporcionar opcionalmente de forma continua, independientemente de la ventana gráfica actual del usuario final. Cuando hay información disponible sobre un estrechamiento de la ventana gráfica, es decir, cuando el usuario final intenta acercarse a una parte del escenario, los mosaicos pueden redefinirse para cubrir de manera más adecuada y/o eficiente el área que se muestra en la ventana gráfica actualizada.
El cliente 400 asigna el panorama de baja resolución y los mosaicos de alta resolución en dos esferas distintas. El panorama de baja resolución se asigna a la esfera exterior y los mosaicos disponibles de alta resolución se asignan a la esfera interna.
La cámara virtual del reproductor se encuentra en el centro de estas esferas, los mosaicos de alta resolución siempre ocluyen el área correspondiente en el panorama de baja resolución. Ahora, el cliente 400 tiene al menos el panorama de baja resolución para mostrar, incluso en el caso de solicitudes de navegación muy rápidas. En caso de que una ventana gráfica sea estable, se muestran mosaicos de alta calidad.
De acuerdo con lo anterior, la figura 1 ilustra un sistema ejemplar que consiste en un servidor 200 y un cliente 400, dispuestos para comunicarse entre sí a través de una red 300, que puede ser una red pública tal como Internet o cualquier otro medio de comunicación adecuado. Una disposición 100 de cámara proporciona imágenes, preferiblemente imágenes HD. Sin pérdida de generalidad, se muestra una disposición 100 de ocho cámaras.
En términos generales, el servidor 200 será responsable de realizar las siguientes tareas:
- Crear un descriptor 3D;
- Componer una vista panorámica de baja resolución (esta resolución puede ser SD para todo el panorama o incluso menos) y codificar esto en un flujo de red panorámico;
- Crear mosaicos de alta resolución y codificarlos en un flujo de red;
- Manejar los comandos de cambio de ventana gráfica recibidos desde el cliente 400.
En el caso más simple, un mosaico puede corresponder a una de las entradas de cámara individuales proporcionadas por la disposición 100 de cámara. El sistema tendrá un mejor rendimiento en el cliente 400 (en términos de ancho de banda) si se utilizan varios mosaicos por entrada de cámara. Cada entrada de la cámara puede, por ejemplo, dividirse en 4 mosaicos. Los mosaicos se pueden superponer opcionalmente entre sí, para suavizar las transiciones entre diferentes mosaicos. En cualquier momento, la ventana gráfica puede estar compuesta por uno o más mosaicos.
Las etapas listadas son repetidas por el servidor 200 para cada cuadro recibida de la disposición 100 de cámara. Para un flujo de video típico, las acciones indicadas tienen lugar 24 veces por segundo (para videos de 24 fps).
Dependiendo de la ventana gráfica de los clientes 400, se transmiten diferentes flujos de mosaicos junto con el flujo panorámico. El flujo panorámico se transmite en cualquier momento. Los flujos de mosaico son dinámicos y normalmente no se transmiten cuando están fuera de la ventana gráfica del cliente 200.
Para evitar tener que cambiar los flujos de mosaico para cada cambio de ventana pequeña, es ventajoso que el sistema use un número pequeño de mosaicos suficientemente grandes. Dependiendo del rango de tamaño de la ventana gráfica del cliente 200, se espera que una realización que utilice entre 1 y 8 flujos de mosaico, preferiblemente de 2 a 6 flujos de mosaico, y lo más preferiblemente 4 flujos de mosaico, proporcione buenos resultados.
En términos generales, el cliente 400 será responsable de realizar las siguientes tareas:
- Obtener el descriptor 3D;
- Obtener el flujo panorámico;
- Obtener el número de flujos de mosaico (solo los mosaicos que se encuentran actualmente en la ventana gráfica del cliente);
5
10
15
20
25
30
35
40
45
50
55
- Hacer mosaicos en una esfera virtual con radio R, y representar el panorama en una esfera virtual con radio R + e;
- Enviar comandos de cambio de ventana al servidor 200.
Para que el cliente 400 pueda asignar los mosaicos correctamente con respecto a la panorámica, el servidor 200 crea un descriptor 3D, que indica dónde debe ubicarse cada mosaico en el espacio 3D circundante. El descriptor 3D proporciona así una referencia en el espacio de coordenadas del panorama, y en lo sucesivo también se denominará "información de coordenadas".
El formato del descriptor 3D puede variar. El siguiente documento X3D se proporciona como un formato ejemplar compatible con XML, que se puede usar con HTML 5.
<X3D profile="Immersive" version="3.2" ...>
<Scene>
<Shape DEF="panorama">
<Sphere radius="21" />
</Shape>
<Group DEF="tiles">
<Shape DEF="tile0">
<IndexedTriangleStripSet index="...">
<Coordinate point="..." />
</IndexedTriangleStripSet>
</Shape>
<Shape DEF="tile1">
</Group>
</Scene>
</X3D>
En esta realización, el descriptor 3D es estático y debería transmitirse solo una vez (en el momento de la configuración) desde el servidor 200 al cliente 400.
El panorama se representa en una esfera que es ligeramente más grande que la esfera utilizada para la representación de mosaicos. La esfera de mosaico es transparente si no hay mosaico de imagen disponible. En ese caso, vemos la imagen panorámica detrás de ella. Si hay disponible una imagen de mosaico, esa imagen no será transparente y reemplazará el panorama de baja resolución con la imagen de mosaico de alta resolución. Se puede realizar una mezcla alfa para suavizar el límite entre la versión de alta resolución y la de baja resolución.
A la vista de la representación descrita anteriormente del escenario de video panorámico y los mosaicos asociados sobre un conjunto de esferas concéntricas, es natural emplear coordenadas esféricas en el descriptor 3D. El experto comprenderá que esta representación es simplemente una construcción matemática utilizada para dilucidar el proceso de fusión, y que otras combinaciones de construcciones geométricas y sistemas de coordenadas pueden usarse para el mismo efecto.
La presente invención no depende del códec utilizado para codificar el panorama o los mosaicos.
Para una ventana gráfica dada, la interactividad (es decir, los comandos de cambio de ventana) del usuario final puede incluir hacer una panorámica y la inclinación de la cámara. Esto da como resultado la selección de diferentes flujos de mosaico. Como tenemos los mosaicos de imágenes de alta resolución disponibles, el usuario final siempre verá una imagen de alta calidad.
La interactividad del usuario final también puede incluir el acercamiento. Si el usuario final amplía, la ventana gráfica se vuelve más pequeña, es decir, más estrecha. En el contexto de la presente invención, esto daría como resultado una necesidad de menos flujos de mosaicos. Si hay un nivel de mosaicos de alta resolución, la calidad o el nivel de detalle siempre permanecerán iguales, independientemente del nivel de acercamiento que se aplique. En una realización particular, se proporcionan múltiples niveles de flujos de mosaicos de mayor resolución. Cada nivel se representará en su esfera propia con un radio más pequeño que la esfera panorámica. Los mosaicos de imágenes con la resolución más alta se mostrarán en la esfera con el radio más pequeño.
El cliente 400 puede adaptarse para garantizar que en cualquier nivel de acercamiento haya un número máximo de mosaicos en la ventana gráfica. En una situación ejemplar, hay tres niveles disponibles: panorama, calidad media y alta calidad; y el número máximo de mosaicos en la ventana gráfica está establecido en ocho. La ventana gráfica actual incluye cuatro mosaicos de calidad media y cubriría dieciséis mosaicos de alta calidad. Como resultado, el cliente 400 solo solicitaría los mosaicos de calidad media. Cuando el usuario final hace un acercamiento, la cantidad de mosaicos de alta calidad a la vista disminuirá (a medida que la ventana se vuelva más pequeña). Cuando no se necesitan más de ocho mosaicos de alta calidad para construir la ventana gráfica, el cliente 400 solicita los mosaicos de alta calidad apropiados y descarta los mosaicos de calidad media.
5
10
15
20
25
30
35
40
45
50
55
Con referencia a la figura 1, el servidor 200 incluye un primer receptor 210 para recibir una pluralidad de alimentaciones de video desde la disposición 100 de cámara. Los flujos de video recibidos se envían a un primer medio 220 de generación de flujo para generar un primer flujo de video, que comprende una proyección de una alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular. La pluralidad de flujos de video también se envía a un segundo medio 230 de generación de video para generar al menos un segundo flujo de video, que comprende una alimentación de video direccional, que representa un mosaico, es decir, una parte de dicho suministro de video omnidireccional.
El servidor 200 incluye además un transmisor 240 para transmitir dicho primer flujo de video y dicha al menos un segundo flujo de video, e información de coordinación que designa la parte de la alimentación de video omnidireccional representada por uno o más mosaicos. La calidad de imagen de uno o más mosaicos, en algún aspecto, es mejor que la calidad de imagen del primer flujo de video, es decir, los mosaicos presentan una resolución espacial o temporal más alta que el flujo omnidireccional original. Por esta razón, es ventajoso que el cliente 400 reemplace partes del escenario de video omnidireccional para el que los mosaicos están disponibles con los mosaicos correspondientes.
El servidor 200 ilustrado también comprende un segundo receptor 250, adaptado para recibir una instrucción del cliente 400, que pertenece a un cambio en la ventana gráfica mostrada en el cliente 400. En respuesta a tal instrucción, el segundo codificador 230 modifica la parte de la alimentación de video omnidireccional que se está convirtiendo en un mosaico de alta calidad. El servidor 200 comprende un transmisor 240 a través del cual el flujo de video omnidireccional resultante, y uno o más mosaicos, se transmiten al cliente 400 a través de cualquier infraestructura de red 300 adecuada. Las instrucciones mencionadas anteriormente del cliente 400 son recibidas por el receptor 250 a través de cualquier infraestructura de red adecuada, preferiblemente la misma infraestructura de red 300 utilizada para la transmisión de los flujos de video.
El cliente 400 se ilustra como conectado a un monitor 500 externo y a un teclado 470. Una persona experta apreciará inmediatamente que se pueden usar otros medios de salida y entrada en lugar de los ilustrados, y que dichos medios de salida o entrada pueden ser internos o externos al dispositivo 400 de cliente.
El dispositivo 400 de cliente incluye un receptor 440 para recibir los flujos de video generados por el servidor 200. Estos flujos de video y la información de coordenadas correspondiente se envían desde el receptor 440 al reproductor 420. El envío de los flujos de video antes mencionados y la información de coordenadas se muestran esquemáticamente como un número de flechas que van desde el receptor 440 hasta el procesador 420. El experto en la materia apreciará que puede usarse cualquier medio adecuado para transportar la información de una parte del sistema a la otra, dependiendo de las elecciones de implementación realizadas en la implementación del aparato cliente. Dichos medios de comunicación pueden incluir enlaces directos entre componentes de hardware, llamadas de API, conexiones físicas de red, etc. Además, se muestra que el dispositivo 400 de cliente incluye un agente 460 de selección, conectado opcionalmente a la interfaz 470 de usuario mencionada anteriormente, que agente de selección es responsable de determinar la ventana para la cual el reproductor 420 debe reproducir una imagen. Es la imagen reproducida correspondiente a esta ventana gráfica seleccionada la que finalmente se mostrará en el monitor 500. El agente 460 de selección transfiere la información que designa la ventana gráfica seleccionada al transmisor 450, que se comunica por medios apropiados con el receptor 250 del servidor 200 como se describió anteriormente.
La figura 2 ilustra una realización ejemplar de un procedimiento según la presente invención, en particular un procedimiento de transmisión de un flujo de video omnidireccional. Aunque las etapas de este procedimiento se ilustran, y se describirán a continuación, en un orden particular, la invención no se limita a realizaciones en las que estas etapas se realizan en ese orden particular, a menos que sea evidente a partir de la descripción que una etapa particular no puede tener lugar antes de completar una etapa anterior.
En una primera etapa 610, el servidor 200 recibe una pluralidad de alimentaciones de video, preferiblemente alimentaciones de video en vivo, desde una disposición 100 de cámaras para producir un flujo de video omnidireccional. El flujo de video omnidireccional se codifica en el servidor 200 en la etapa 620 mientras que uno o más flujos de video direccionales o mosaicos con preferiblemente una resolución espacial más alta también se codifican en la etapa 630. El flujo de video omnidireccional y los flujos de video direccionales se transmiten a un dispositivo 400 de cliente en las respectivas etapas 625 y 635. Sustancialmente al mismo tiempo, la información de coordenadas que relaciona los mosaicos con regiones particulares dentro del escenario de video omnidireccional se transmite al dispositivo 400 de cliente en la etapa 639.
El dispositivo de cliente puede estar equipado para enviar instrucciones pertenecientes a los mosaicos deseadas al dispositivo 200 servidor, que recibe dichas instrucciones en la etapa 640. Dado que tanto el cliente como el servidor pueden tener conocimiento del modelo tridimensional, estas instrucciones podrían ser coordenadas tridimensionales puras, o podrían haberse traducido a los mosaicos deseados, dependiendo de qué entidad haga la traducción. Posteriormente, el servidor modificará los parámetros de codificación o selección en la etapa 650, influyendo así en el funcionamiento del codificador de flujo de vídeo direccional en la etapa 630.
5
10
15
20
25
30
35
40
En el caso en el que todos los flujos de video direccionales posibles se codifican en cualquier momento, la etapa 650 puede comprender especificar el subconjunto de flujos de video direccionales que deben transmitirse.
La figura 3 ilustra una realización a modo de ejemplo de un procedimiento de acuerdo con la presente invención para generar un flujo de video omnidireccional. Para resaltar el paralelismo entre el procedimiento de transmisión, descrito anteriormente, y el procedimiento de representación, descrito en la actualidad, el presente procedimiento se ha ilustrado desde la parte inferior del diagrama hacia la parte superior del diagrama.
Inicialmente, el dispositivo 400 de cliente recibe un flujo de video omnidireccional, una o más flujos de video direccionales o mosaicos e información de coordenadas en las respectivas etapas 725, 735 y 739. El flujo de video omnidireccional puede decodificarse y representarse como un escenario de video esférico en la etapa 720, mientras que los mosaicos se procesan en sus posiciones relativas apropiadas de acuerdo con la información de coordenadas recibida en la etapa 730. La representación en la etapa 730 está bajo control de los parámetros de representación que determinan la ventana gráfica seleccionada. Los parámetros de representación pueden modificarse en cualquier momento en la etapa 750 bajo la influencia de instrucciones recibidas del usuario en la etapa 740 a través de la interfaz 470 de usuario comprendida en el dispositivo 400 de cliente. Como etapa final hacia la creación de las imágenes de video para mostrar en el monitor 500, el escenario omnidireccional creado en la etapa 720 y los mosaicos de alta calidad creados en la etapa 730 se combinan visualmente, opcionalmente con una técnica de suavizado, como fusión alfa, en la etapa 710.
Después de modificar los parámetros de representación (o actualizar la ventana gráfica), el cliente puede notificar al servidor en consecuencia en la etapa 760.
El sistema como se describió anteriormente se puede combinar con un reproductor dentro de la red. En consecuencia, los elementos del servidor 200 descrito pueden moverse a un elemento de red separado que resida topológicamente entre el servidor 200 y el cliente 400, sin apartarse de los principios de la presente invención. Tal realización tiene el beneficio de que puede escalarse más fácilmente con la cantidad de clientes.
Por lo tanto, las realizaciones de la invención proporcionan soluciones óptimas de ancho de banda para video omnidireccional que aún ofrece la mejor experiencia de usuario posible.
Una persona experta en la técnica reconocerá fácilmente que las etapas de los diversos procedimientos descritos anteriormente pueden ser realizadas por ordenadores programados. Aquí, algunas realizaciones también pretenden cubrir dispositivos de almacenamiento de programas, por ejemplo, medios de almacenamiento de datos digitales, que son legibles por máquina o por ordenador y codifican programas de instrucciones ejecutables por máquina o ejecutables por ordenador, donde dichas instrucciones realizan algunas o todas las etapas de dichos procedimientos descritos anteriormente.
Los dispositivos de almacenamiento de programas pueden ser, por ejemplo, memorias digitales, medios de almacenamiento magnéticos tales como discos magnéticos y cintas magnéticas, discos duros o medios de almacenamiento de datos digitales legibles ópticamente. Las realizaciones también pretenden cubrir ordenadores programados para realizar dichas etapas de los procedimientos descritos anteriormente.
La descripción y los dibujos ilustran los principios de la invención. De este modo, se apreciará que los expertos en la técnica serán capaces de diseñar diversas disposiciones que incorporen los principios de la invención.
Claims (15)
10
15
20
25
30
35
40
45
REIVINDICACIONES
1. Un procedimiento de transmisión de un flujo de video panorámico desde un aparato (200) servidor a un aparato (400) de cliente a través de una red (300), comprendiendo el procedimiento en el aparato (200) servidor:
- transmitir un primer flujo (625) de video, comprendiendo dicho primer flujo de video una proyección de una alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular; y
- transmitir un segundo flujo (635) de video, comprendiendo dicho segundo flujo de video una alimentación de video direccional que representa sustancialmente de forma síncrona una parte de dicha alimentación de video omnidireccional;
en el que un aspecto de la calidad de imagen de dicho segundo flujo de video excede el mismo aspecto de calidad de imagen de dicho primer flujo de video;
caracterizado porque dicha alimentación de video omnidireccional es recibida (610) desde una disposición (100) de cámaras; y porque dicho procedimiento comprende además transmitir información de coordenadas que designa dicha parte de dicha alimentación de video omnidireccional representada por dicha alimentación de video direccional.
2. El procedimiento de la reivindicación 1, en el que dicho aspecto de calidad de imagen es una resolución espacial.
3. El procedimiento de la reivindicación 1, en el que dicho aspecto de calidad de imagen es una resolución temporal.
4. El procedimiento de cualquiera de las reivindicaciones anteriores, que comprende, además:
- recibir (640) en el aparato servidor una instrucción del aparato cliente;
- modificar (650) dicha parte de dicha alimentación de video omnidireccional en respuesta a dicha instrucción.
5. Un procedimiento de representación de un flujo de video panorámico recibido desde un aparato (200) servidor en un aparato (400) de cliente a través de una red (300), comprendiendo el procedimiento en el aparato (400) de cliente:
- recibir un primer flujo (725) de video, comprendiendo dicho primer flujo de video una proyección de una alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular;
- recibir un segundo flujo de video, comprendiendo dicho segundo flujo de video una alimentación de video direccional que representa sustancialmente de forma síncrona una parte de dicha alimentación (735) de video omnidireccional; y
- usar al menos parte de dicho primer flujo de video y al menos parte de dicho segundo flujo de video para reproducir una imagen de video correspondiente a una posición de visualización y a un ángulo de visión (710, 720, 730),
en el que un aspecto de calidad de imagen de dicho segundo flujo de video excede el mismo aspecto de calidad de imagen de dicho primer flujo de video, y en el que las regiones espaciales cubiertas por dicho primer flujo de video y dicho segundo flujo de video se representan en base al contenido de dicho segundo flujo de video; caracterizado porque dicho procedimiento comprende además recibir información de coordenadas que designa dicha parte de dicha alimentación de video omnidireccional representada por dicha alimentación (739) de video direccional;
y porque dicha parte de dicho segundo flujo de video se representa (730) en su posición relativa apropiada de acuerdo con la información de coordenadas recibida.
6. El procedimiento de la reivindicación 5, que además comprende:
- modificar (750) dicha posición de visualización y/o dicho ángulo de visión en respuesta a una acción por parte de un usuario.
7. El procedimiento de la reivindicación 6, que además comprende:
- transmitir (760) una instrucción a dicho aparato (200) servidor perteneciente a dicha modificación de dicha posición de visualización y/o dicho ángulo de visión.
8. Un programa de ordenador para llevar a cabo el procedimiento de cualquiera de las reivindicaciones 1-7 en un ordenador.
9. Un aparato (200) servidor para transmitir un flujo de video panorámico a un aparato (400) de cliente a través de una red (300), comprendiendo el aparato (200) servidor:
- un primer receptor (210) para recibir una pluralidad de alimentaciones de video desde una disposición (100) de cámaras;
- primeros medios (220) de generación de flujo de video, acoplados operativamente a dicho primer receptor (210), para generar un primer flujo de video, comprendiendo dicho primer flujo de video una proyección de una
5
10
15
20
25
30
35
40
alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular;
- segundos medios (230) de generación de flujo de video, acoplados operativamente a dicho primer receptor (210), para generar al menos un segundo flujo de video, comprendiendo al menos un segundo flujo de video una alimentación de video direccional que representa de forma sustancialmente sincrónica una parte de dicha alimentación de video omnidireccional; y
- un transmisor (240) adaptado para transmitir dicho primer flujo de video, dicho al menos un segundo flujo de video, e información de coordenadas que designa dicha parte de dicha alimentación de video omnidireccional representada por dicha al menos una alimentación de video direccional;
en el que un aspecto de la calidad de imagen de dicho al menos un segundo flujo de video excede el mismo aspecto de calidad de imagen de dicho primer flujo de video.
10. El aparato (200) servidor de la reivindicación 9, en el que dicho aspecto de calidad de imagen es una resolución espacial.
11. El aparato (200) servidor de la reivindicación 9, en el que dicho aspecto de calidad de imagen es una resolución temporal.
12. El aparato (200) servidor de cualquiera de las reivindicaciones 9-11, que comprende, además:
- un segundo receptor (250) adaptado para recibir (640) una instrucción de dicho aparato (400) de cliente, acoplado operativamente a dichos segundos medios (230) de generación de flujo de video para modificar (650) dicha parte de dicha alimentación de video omnidireccional en respuesta a dicha instrucción.
13. Un aparato (400) de cliente para representar un flujo de video panorámico recibido desde un aparato (200) servidor a través de una red (300), comprendiendo el aparato (400) de cliente:
- un receptor (440) adaptado para recibir un primer flujo de video, al menos un segundo flujo de video e información de coordenadas, comprendiendo dicho primer flujo de video una proyección de una alimentación de video omnidireccional sobre una cuadrícula de píxeles rectangular, y comprendiendo dicho segundo flujo de video una alimentación de video direccional que representa sustancial y sincrónicamente una parte de dicha alimentación omnidireccional de video, y designando dicha información de coordinación dicha parte de dicha alimentación de video omnidireccional representada por dicha al menos una alimentación de video direccional;
- un agente de selección (460) para determinar una posición de visualización y un ángulo de visión; y
- un reproductor (420) adaptado para usar al menos parte de dicho primer flujo de video y al menos parte de dicho segundo flujo de video para reproducir una imagen de video correspondiente a dicha posición de visualización y dicho ángulo de visión, en el que un aspecto de calidad de imagen de dicho segundo flujo de video excede el mismo aspecto de calidad de imagen de dicho primer flujo de video, y en el que las regiones espaciales cubiertas tanto por dicho primer flujo de video como por dicho segundo flujo de video se representan sobre la base del contenido de dicho segundo flujo de video.
14. El aparato (400) de cliente de la reivindicación 13, en el que dicho agente (460) de selección comprende una interfaz (470) de usuario adaptada para recibir (740) un comando perteneciente a dicha posición de visualización y/o dicho ángulo de visión de un usuario, estando dicho reproductor (420) adaptado para modificar (750) dicha porción reproducida en respuesta a dicha instrucción.
15. El aparato (400) de cliente de la reivindicación 14, que comprende además un transmisor (450) adaptado para transmitir una instrucción perteneciente a dicho comando a dicho aparato (200) servidor.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11305172.6A EP2490179B1 (en) | 2011-02-18 | 2011-02-18 | Method and apparatus for transmitting and receiving a panoramic video stream |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2675802T3 true ES2675802T3 (es) | 2018-07-12 |
Family
ID=44541462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES11305172.6T Active ES2675802T3 (es) | 2011-02-18 | 2011-02-18 | Procedimiento y aparato para transmitir y recibir un flujo de video panorámico |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP2490179B1 (es) |
| ES (1) | ES2675802T3 (es) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3005677A4 (en) * | 2013-05-26 | 2016-04-13 | Pixellot Ltd | METHOD AND SYSTEM FOR COST-EFFECTIVE TV PRODUCTIONS |
| US9258525B2 (en) * | 2014-02-25 | 2016-02-09 | Alcatel Lucent | System and method for reducing latency in video delivery |
| US10291845B2 (en) | 2015-08-17 | 2019-05-14 | Nokia Technologies Oy | Method, apparatus, and computer program product for personalized depth of field omnidirectional video |
| US10187666B2 (en) | 2016-01-26 | 2019-01-22 | Twitter, Inc. | Live video streaming services using one or more external devices |
| WO2017195650A1 (ja) * | 2016-05-13 | 2017-11-16 | ソニー株式会社 | 生成装置および生成方法、並びに、再生装置および再生方法 |
| US11019257B2 (en) | 2016-05-19 | 2021-05-25 | Avago Technologies International Sales Pte. Limited | 360 degree video capture and playback |
| US10848668B2 (en) | 2016-05-19 | 2020-11-24 | Avago Technologies International Sales Pte. Limited | 360 degree video recording and playback with object tracking |
| CN107517385B (zh) * | 2016-06-16 | 2020-02-21 | 华为技术有限公司 | 一种视频图像的编解码方法和装置 |
| CN106385587B (zh) * | 2016-09-14 | 2019-08-02 | 三星电子（中国）研发中心 | 分享虚拟现实视角的方法、装置及系统 |
| JP6884856B2 (ja) | 2016-09-26 | 2021-06-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | コンテンツに基づいた映像データのストリーム分割 |
| DE102017009145B4 (de) | 2016-10-14 | 2026-04-30 | Avago Technologies International Sales Pte. Ltd. | Erfassung und Wiedergabe von 360-Grad-Videos |
| US11140417B2 (en) | 2016-11-01 | 2021-10-05 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
| DE102017009149B4 (de) | 2016-11-04 | 2026-05-07 | Avago Technologies International Sales Pte. Ltd. | Aufzeichnung und Wiedergabe von 360-Grad-Videos mit Objektverfolgung |
| CN112702525B (zh) | 2016-11-17 | 2022-05-06 | 英特尔公司 | 编码器、视频处理方法、系统和装置 |
| CN110073662B (zh) * | 2016-11-17 | 2023-07-18 | 英特尔公司 | 全景视频的建议视口指示方法及装置 |
| US10219009B2 (en) * | 2016-11-18 | 2019-02-26 | Twitter, Inc. | Live interactive video streaming using one or more camera devices |
| CN106651764B (zh) * | 2016-12-29 | 2019-10-15 | 北京奇艺世纪科技有限公司 | 一种全景图压缩方法及装置 |
| PL3346709T3 (pl) | 2017-01-05 | 2022-01-03 | Nokia Technologies Oy | Urządzenie, sposób i program komputerowy do kodowania oraz dekodowania wideo |
| EP3367626A1 (en) * | 2017-02-27 | 2018-08-29 | Nokia Solutions and Networks Oy | Providing content |
| US11172208B2 (en) | 2017-02-28 | 2021-11-09 | Nokia Technologies Oy | Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming |
| DE102018002049B4 (de) | 2017-03-15 | 2022-02-10 | Avago Technologies International Sales Pte. Ltd. | 360-grad-video mit kombiniertem projektionsformat |
| US10887600B2 (en) * | 2017-03-17 | 2021-01-05 | Samsung Electronics Co., Ltd. | Method and apparatus for packaging and streaming of virtual reality (VR) media content |
| CN108933920B (zh) * | 2017-05-25 | 2023-02-17 | 中兴通讯股份有限公司 | 一种视频画面的输出、查看方法及装置 |
| US10009640B1 (en) * | 2017-05-31 | 2018-06-26 | Verizon Patent And Licensing Inc. | Methods and systems for using 2D captured imagery of a scene to provide virtual reality content |
| CN110166764B (zh) * | 2018-02-14 | 2022-03-01 | 阿里巴巴集团控股有限公司 | 虚拟现实vr直播中的视角同步方法及装置 |
| EP3634005A1 (en) * | 2018-10-05 | 2020-04-08 | Nokia Technologies Oy | Client device and method for receiving and rendering video content and server device and method for streaming video content |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2002257442A1 (en) * | 2001-05-14 | 2002-11-25 | Fadi Dornaika | Attentive panoramic visual sensor |
| US7940299B2 (en) * | 2001-08-09 | 2011-05-10 | Technest Holdings, Inc. | Method and apparatus for an omni-directional video surveillance system |
-
2011
- 2011-02-18 ES ES11305172.6T patent/ES2675802T3/es active Active
- 2011-02-18 EP EP11305172.6A patent/EP2490179B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP2490179A1 (en) | 2012-08-22 |
| EP2490179B1 (en) | 2018-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2490179B1 (en) | Method and apparatus for transmitting and receiving a panoramic video stream | |
| US11924394B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
| CN116325769B (zh) | 从多个视点流式传输场景的全景视频 | |
| JP6410918B2 (ja) | パノラマ映像コンテンツの再生に使用するシステム及び方法 | |
| KR102492565B1 (ko) | 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치 | |
| EP3542530B1 (en) | Suggested viewport indication for panoramic video | |
| US10547902B2 (en) | Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system | |
| CN107454468A (zh) | 对沉浸式视频进行格式化的方法、装置和流 | |
| KR20190038664A (ko) | 비디오 데이터의 콘텐츠 기반 스트림 분할 | |
| CN106605407A (zh) | 用于捕获、流传输和/或回放内容的方法和装置 | |
| KR20190018914A (ko) | 서버, 디스플레이장치 및 그 제어방법 | |
| CN107959844A (zh) | 360度视频捕获与回放 | |
| EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| KR20190031943A (ko) | 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치 | |
| KR20220054430A (ko) | 볼류메트릭 비디오 콘텐츠를 전달하기 위한 방법 및 장치들 | |
| CN107197135A (zh) | 一种视频生成方法、播放方法及视频生成装置、播放装置 | |
| GB2566006A (en) | Three-dimensional video processing | |
| JP2020043559A (ja) | ビデオストリーミング方法、ビデオストリーミングシステム、ビデオストリーミング装置およびプログラム | |
| CA3056739A1 (en) | Information processing apparatus and information processing method, and program | |
| CN112088352A (zh) | 用于对表示球面多媒体内容的球体进行分块的方法和网络设备 | |
| US20190052868A1 (en) | Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor | |
| KR20210119476A (ko) | 이미지 특성 픽셀 구조의 생성 및 처리 | |
| BR112018069211B1 (pt) | Método e dispositivo configurado para gerar um fluxo, fluxo portando dados representativos de um vídeo preparados para uma superfície de mapeamento convexa, e método e dispositivo configurado para compor um vídeo a partir de um fluxo portando dados representativos de um vídeo imersivo preparado para uma superfície de mapeamento convexa |