ES2693497T3 - Procedimiento, aparato e instalación para componer una señal de video - Google Patents

Procedimiento, aparato e instalación para componer una señal de video Download PDF

Info

Publication number
ES2693497T3
ES2693497T3 ES15382315.8T ES15382315T ES2693497T3 ES 2693497 T3 ES2693497 T3 ES 2693497T3 ES 15382315 T ES15382315 T ES 15382315T ES 2693497 T3 ES2693497 T3 ES 2693497T3
Authority
ES
Spain
Prior art keywords
input
frames
frame
output
pixel density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15382315.8T
Other languages
English (en)
Inventor
José María ARAGONÉS GAYA
Sergio Andrés BASURCO MANCISIDOR
Manuel MARÍ GÓMEZ
Martín MATILLA SARRATE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coherent Synchro SL
Original Assignee
Coherent Synchro SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coherent Synchro SL filed Critical Coherent Synchro SL
Application granted granted Critical
Publication of ES2693497T3 publication Critical patent/ES2693497T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Procedimiento para componer una señal de video de salida (So), que comprende una secuencia de fotogramas de salida ((So[n]) con un número de píxeles prestablecidos para cada fotograma de salida asociado a una resolución de salida (Ro), a partir de una pluralidad de señales de video de entrada (Si1, Si2, Si3 ... Sim), que comprenden respectivas secuencias de fotogramas de entrada (Si1[n], Si2[n], Si3[n] ... Sim[n]) con un número de píxeles para cada fotograma de entrada asociado a una resolución de entrada (Ri1, Ri2, Ri3 ... Rim), que comprende: una etapa de configuración en la que se determina una superficie espacial sobre un espacio virtual tridimensional (1) formado por un conjunto de puntos con coordenadas tridimensionales (X,Y,Z) asociada a cada píxel (p) de cada fotograma de cada secuencia de fotogramas de entrada (Si1[n], Si2[n], Si3[n] ... Sim[n]); establecer en el espacio virtual tridimensional (1) un punto de visualización (X0,Y0,Z0) y una ventana de visualización (3), que determinan un tronco (4) de visualización en el espacio virtual tridimensional (1), y formar fotogramas de salida (So[n]) a partir de las proyecciones de los fotogramas de entrada (S'i1[n], S'i2[n], S'i3[n] ... S'im[n]) de las secuencias de entrada proyectadas en dicha ventana de visualización; comprendiendo el método, además: calcular una densidad de píxel umbral (d(S'o[n])) asociada a los píxeles en la ventana de visualización (3), a partir de la resolución de salida (Ro) y las dimensiones espaciales asociadas de dicha ventana de visualización (3); determinar combinaciones de fotogramas de entrada cuyas proyecciones (S'i1[n], S'i2[n], S'i3[n], S'i4[n]) quedan al menos parcialmente superpuestas en la ventana de visualización (3) y, para cada combinación de fotogramas, seleccionar el fotograma de cada combinación de fotogramas de entrada que proyectado sobre la ventana de visualización tiene una densidad de píxel (d(S'i1[n]), d(S'i2[n]), d(S'i3[n]), d(S'i4[n]) en toda la parte superpuesta mayor o igual a la densidad de píxel umbral (d(S'o[n])) o, en su defecto, seleccionar el fotograma de entrada que proyectado sobre la ventana de visualización tiene la densidad de píxel más próxima a la densidad de píxel umbral, para formar la parte de fotograma de salida (So[n]) que queda superpuesta.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Procedimiento, aparato e instalacion para componer una senal de video Sector tecnico de la invencion
La presente invencion se refiere a un procedimiento, un aparato y una instalacion para componer una senal de video de salida a partir de una pluralidad de senales de video de entrada.
Antecedentes de la invencion
Son conocidos procedimientos para componer senales de video de salida a partir de una pluralidad de senales de video de entrada, por ejemplo una pluralidad de senales de video de entrada que provienen de diferentes camaras de video y que visualizan partes de una escena. En estos procedimientos, los fotogramas de cada senal de video de entrada se disponen en un espacio virtual, a modo de lienzo, mediante la tecnica conocida como video stitching, de modo que usuarios puedan visualizar dicho lienzo a traves de una ventana de visualizacion. El contenido visualizado por la ventana de visualizacion se codifica convenientemente para formar la senal de salida a la resolucion predeterminada.
No obstante, en los procedimientos conocidos, tal como el descrito en el documento de patente US2007/0076099A1, la senal de salida se obtiene codificando todos los fotogramas de cada senal de video de entrada, siendo necesario decodificar y recodificar todas las senales de video de entrada, con lo que se puede ser necesaria una alta potencia de procesado para decodificar y recodificar senales de entrada de alta resolucion para evitar retrasos en la senal de salida.
El documento EP2037671 presenta un aparato de procesado de video y un metodo para mezclar una pluralidad de fotogramas de entrada en los que se han seleccionado previamente areas en un fotograma de salida. Si areas seleccionadas en los fotogramas de entrada cubren areas que se superponen en el fotograma de salida, la imagen de salida se genera combinando los pfxeles que se superponen.
El documento US6985638 presenta un metodo para componer imagenes que se superponen parcialmente y que contienen al menos un objeto comun tomado desde un numero de posiciones por un dispositivo capturador de imagenes tal como una camara digital o un escaner de imagenes, en una unica imagen para incrementar la resolucion en la captura de un objeto grande. La composicion de las imagenes que se superponen parcialmente en una unica imagen se realiza tras corregir por transformacion de perspectiva las imagenes que se superponen parcialmente segun unos parametros de transformacion de perspectiva que usan estructuras de datos piramidales.
Es por tanto un objetivo de la presente invencion dar a conocer un procedimiento, aparato e instalacion que permita generar senales de video en tiempo real a partir de una pluralidad de senales de video de entrada, y que permita utilizar senales de entrada a alta resolucion sin que necesariamente conlleve acumular retrasos ni requerir de una gran potencia de computacion.
Explicacion de la invencion
El procedimiento para componer una senal de video de salida de la presente invencion, es de los que, a partir de una pluralidad de senales de video de entrada, que comprenden respectivas secuencias de fotogramas de entrada con un numero de pfxeles para cada fotograma de entrada asociado a una resolucion de entrada permite componer una senal de video de salida, comprendiendo la senal de video de salida una secuencia de fotogramas de salida con un numero de pfxeles prestablecidos para cada fotograma de salida asociado a una resolucion de salida. El procedimiento permite ventajosamente que a partir de diferentes senales de video, que por ejemplo representen diferentes partes de una escena, se forme una senal de video de salida a partir de partes de los fotogramas de las senales de entrada.
El procedimiento comprende una etapa de configuracion en la que se determina la superficie espacial sobre un espacio virtual tridimensional formado por un conjunto de puntos con coordenadas tridimensionales asociada a cada pixel de cada fotograma de cada secuencia de fotogramas de entrada, establecer en el espacio virtual tridimensional un punto de visualizacion y una ventana de visualizacion, conocida tambien como ’’viewport”, que determinan un tronco de visualizacion, conocido tambien como “frustrum”, en el espacio virtual tridimensional, formandose fotogramas de salida a partir de las proyecciones de los fotogramas de las secuencias de entrada proyectadas en dicha ventana de visualizacion; calcular una densidad de pixel umbral asociada para los pfxeles en la ventana de visualizacion, a partir de la resolucion de salida y las dimensiones espaciales asociadas de dicha ventana de visualizacion; determinar combinaciones de fotogramas de entrada cuyas proyecciones quedan al menos parcialmente superpuestas en la ventana de visualizacion y, para cada combinacion de fotogramas, seleccionar el fotograma de cada combinacion de fotogramas que proyectado sobre la ventana de visualizacion tiene una densidad de pixel en toda la parte superpuesta mayor o igual a la densidad de pixel umbral o, en su defecto, seleccionar el fotograma que proyectado sobre la ventana de visualizacion tenga una mayor densidad de pixel para formar la parte de fotograma de salida que queda superpuesta. De esta manera, ventajosamente no se tiene que procesar el contenido de las senales de entrada de
5
10
15
20
25
30
35
40
45
50
55
60
65
mayor resolucion que no vayan a ser utilizadas para codificar la senal de salida, puesto que ya existira una senal de entrada de menor resolucion que se podra utilizar para codificar la senal de salida a la resolucion de salida precisada, sin perder calidad.
En otra variante de realizacion, si en alguna de las combinaciones de fotogramas existe una pluralidad de fotogramas que proyectados sobre la ventana de visualizacion tienen una densidad de pixel en toda la parte superpuesta mayor o igual a la densidad de pixel umbral, se selecciona de entre esa pluralidad de fotogramas el fotograma que proyectado sobre la ventana de visualizacion tienen una densidad de pixel mas proxima a la densidad de pixel umbral. De esta manera si hubiera una pluralidad de fotogramas que proporcionaran una resolucion suficiente, solamente se toma aquella inmediatamente superior a la densidad de pixel umbral, que es la que puede procesarse mas facilmente.
Se preve que el punto de visualizacion y el tamano de la ventana de visualizacion y por consiguiente el tronco de visualizacion, puedan modificarse mediante controles, por ejemplo controles PTZ recibidos de un usuario de modo conocido, de modo que la ventana de visualizacion pueda desplazarse y en ella puedan proyectarse otras regiones del espacio virtual tridimensional, actuando asf a modo de camara virtual de visualizacion del espacio virtual tridimensional. Naturalmente, cuando cambien punto de visualizacion del espacio virtual tridimensional, el tamano de ventana o el tronco de visualizacion puede ser necesario tener que volver a seleccionar los fotogramas de las combinaciones de fotogramas para que asf la senal de salida tenga la resolucion adecuada. Tambien se preve que pueda haber mas de una camara virtual de visualizacion del espacio virtual tridimensional, por ejemplo si mas de un usuario tiene que visualizar el espacio virtual tridimensional. En este caso, el procedimiento para componer la senal de video de salida se tendra que realizar para la senal de salida que se enviara a cada usuario.
Segun una variante de realizacion, para formar la parte de fotograma de salida que queda superpuesta se realiza una mezcla entre el fotograma seleccionado de cada combinacion de fotogramas y al menos otro fotograma de la misma combinacion de fotogramas, por ejemplo cuando en la ventana de salida se proyectan dos o mas fotogramas de entrada que solamente quedan parcialmente superpuestos, de modo que se consiga una transicion, por ejemplo en forma de gradiente progresivo o mascara binaria entre los diferentes fotogramas de entrada que formaran el fotograma de salida. Esta transicion puede realizarse solamente en los extremos de la parte que queda superpuesta.
Segun otra variante de realizacion, para formar la parte de fotograma de salida que queda superpuesta se utiliza solamente el fotograma seleccionado de cada combinacion de fotogramas, por ejemplo cuando el fotograma seleccionado de una combinacion de fotogramas cubre toda la ventana de visualizacion, y por tanto no es necesario realizar una transicion.
Segun otra variante de realizacion, la densidad de pixel de cada fotograma proyectado sobre la ventana de visualizacion se calcula a partir de la proyeccion de agrupaciones de pfxeles del fotograma, preferentemente las agrupaciones de pfxeles pueden ser divisiones triangulares de cada fotograma.
Segun otra variante de realizacion, el paso de seleccionar el fotograma de cada combinacion de fotogramas se realiza evaluando progresivamente los fotogramas, empezando primero por el fotograma de menor resolucion de entrada y acabando por el de mayor resolucion de entrada, de modo que se tenga que procesar primero los fotogramas de menor resolucion, que pueden procesarse mas rapidamente.
Segun otra variante de realizacion, las superficies espaciales asociadas a cada pixel de cada fotograma de cada secuencia de fotogramas de entrada en el espacio virtual tridimensional conforman el interior de una esfera, de modo que los fotogramas queden equidistantes del punto de visualizacion.
Segun otra variante de realizacion, al menos una de las senales de video de entrada es una senal de video generada por una camara de video a partir de una escena, de modo que la senal de salida incorpore fotogramas tomados en tiempo real.
Segun otra variante de realizacion, al menos dos de las senales de video estan adaptadas para formar secuencias de fotogramas con al menos parte del mismo contenido a diferentes resoluciones, de modo que si una senal de video representa una vista general de una escena y otra senal de video un detalle de dicha escena a mayor resolucion, cuando se desee que la senal de salida tenga una resolucion similar a la de la vista general de la escena, por ejemplo cuando la ventana de visualizacion sea ancha, no sea necesario procesar la otra senal de video con el detalle. Del mismo modo, cuando se desee visualizar solamente el detalle de dicha escena, ampliandolo, con lo que la ventana de visualizacion sera mas estrecha, sera necesario utilizar la otra senal de video con el detalle para formar la senal de salida.
Segun otra variante de realizacion, al menos dos de las senales de video determinan secuencias de fotogramas con el mismo contenido a diferentes resoluciones, de modo que una senal de video pueda sustituir completamente a la otra para formar la senal de salida.
Segun otra variante de interes, al menos dos senales de video provienen de una misma camara de video, de modo que puedan utilizarse las salidas a diferente resolucion de una camara como senales de entrada.
5
10
15
20
25
30
35
40
45
50
55
60
65
Segun otra variante de realizacion, al menos una de las senales de video esta adaptada para formar fotogramas cuyo contenido es una representacion virtual de al menos parte del contenido del fotograma de otra de las senales de video, de modo que esta representacion virtual pueda generarse a partir de un conjunto de datos, unos elementos vectoriales o un modelo tridimensional, de modo que la resolucion de dicha representacion virtual pueda ser tan alta como se desee. De esta manera, si se conoce que parte del contenido de un fotograma de una senal de video que provenga de la captura de una camara de video tendra una imagen determinada, y esta parte puede ser modelada, esta parte modelada puede ser proporcionada en forma de otra senal de video, de modo que quede dispuesta y sustituir la parte del fotograma con el mismo contenido cuando no permita proporcionar la resolucion de salida. Por ejemplo la representacion virtual puede ser el contenido de una pantalla que se visualiza de forma general en otro fotograma de otra senal de entrada, de modo que si es necesario se pueda remplazar el contenido de la pantalla en la visualizacion general por la representacion virtual.
El procedimiento de la presente invencion se puede codificar en un programa de ordenador, estando dicho programa de ordenador adaptado para realizar el procedimiento cuando se ejecuta en un ordenador.
Se da a conocer tambien un aparato para procesar datos que comprende medios para realizar el procedimiento de la presente invencion, pudiendo formar dicho aparato de una instalacion que comprenda ademas al menos una camara de video, de modo que la salida de la camara de video represente una de las senales de entrada del aparato.
Breve descripcion de los dibujos
Para complementar la descripcion que se esta realizando y con objeto de facilitar la comprension de las caractensticas de la invencion, se acompana a la presente memoria descriptiva un juego de dibujos en los que, con caracter ilustrativo y no limitativo, se ha representado lo siguiente:
La Fig. 1 representa un esquema de funcionamiento de un sistema que implementa el procedimiento de la presente invencion;
la Fig. 2 representa un espacio virtual tridimensional tras la fase de configuracion con una ventana de visualizacion; la Fig. 3 representa el contenido de la ventana de visualizacion de la Fig. 2;
las Figs. 4a y 4b representan la comparacion entre la densidad de pixel umbral y la densidad de pixel de cada fotograma en la ventana de visualizacion de la Fig. 3;
la Fig. 5 representa la composicion del fotograma de salida formado a partir del contenido de la ventana de visualizacion de la Fig. 3;
la Fig. 6 representa la visualizacion mediante otra ventana de visualizacion del espacio virtual tridimensional de la Fig.
2;
la Fig. 7 representa el contenido de la ventana de visualizacion de la Fig. 6;
las Figs. 8a y 8b representan la comparacion entre la densidad de pixel umbral y la densidad de pixel de cada fotograma en la ventana de visualizacion de la Fig. 7;
la Fig. 9 representa la composicion del fotograma de salida formado a partir del contenido de la ventana de visualizacion de la Fig. 7;
la Fig. 10 representa otro espacio virtual tridimensional tras la fase de configuracion con una ventana de visualizacion; la Fig. 11 representa el contenido de la ventana de visualizacion de la Fig. 10; y
la Fig. 12 representa la composicion del fotograma de salida formado a partir del contenido de la ventana de visualizacion de la Fig. 11.
Descripcion detallada de los dibujos
La Fig. 1 muestra un esquema de funcionamiento de un sistema que implementa el procedimiento de la presente invencion, que a partir de una pluralidad de senales de video de entrada Si1, Si2, Si3 ... Sim, que comprenden respectivas secuencias de fotogramas de entrada Sn[n], Si2[n], Si3[n]... Sm[n], en diferentes espacios temporales, con un numero de pfxeles para cada fotograma de entrada asociado a una resolucion de entrada Rn, Ri2, Ri3 ... Rim permite componer una senal de video de salida So, que comprende una secuencia de fotogramas de salida S0[n] con un numero de pfxeles prestablecidos para cada fotograma de salida asociado a una resolucion de salida Ro. Las resoluciones de entrada Rm, Ri2, Ri3 ... Rim pueden ser diferentes a la resolucion de salida Ro.
En el ambito de la invencion, el termino resolucion se considera el numero maximo de pfxeles, normalmente indicados como pfxeles verticales y pfxeles horizontales, que pueden obtenerse de un fotograma de las secuencias de fotogramas de una senal de video.
En funcion de cual sea el numero de pfxeles de un fotograma por unidad de longitud cuando este se represente, por ejemplo en una pantalla, se puede determinar otro parametro, la densidad de pixel. Usualmente, las unidades que se utilizan para designar la densidad de pixel son los pfxeles por pulgada (ppi), aunque cualquier otra medida de longitud real o virtual puede utilizarse. La densidad de pixel sera por tanto inversamente proporcional al tamano de pixel, que serian las unidades de longitud que ocuparia dicho pixel. Naturalmente esta densidad de pixel y tamano de pixel se puede calcular cuando el fotograma se represente en un espacio virtual tridimensional, como se vera mas adelante.
5
10
15
20
25
30
35
40
45
50
55
60
65
En el ejemplo representado, se indican una pluralidad de senales de video de entrada Sii, Si2, Si3 ... Sim, que comprenden respectivas secuencias de fotogramas de entrada Si1[n], Si2[n], Si3[n] ... Sim[n] con un numero de p^xeles para cada fotograma. Naturalmente se contempla que cualquier otro numero de senales de video de entrada podna utilizarse y presentar varias resoluciones.
Mediante el procedimiento de la presente invencion, que se implementa por el sistema mostrado en la Fig. 1, se consigue que partiendo de senales de video de entrada Si1, Si2, Si3 ... Sim, que comprenden respectivas secuencias de fotogramas de entrada Sn[n], Si2[n], Si3[n]... Sim[n] con diferentes resoluciones, se consiga codificar una senal de video de salida So, cuyos fotogramas comprenderan un numero de pfxeles, verticales y horizontales, predeterminados que determinan una resolucion de salida Ro. Esta resolucion de salida Ro puede ser predeterminada por un operador o podna ser seleccionada durante el funcionamiento del sistema. Ejemplos de las posibles resoluciones, tanto de entrada Ri1, Ri2, Ri3 ... Rim como de salida Ro senan las conocidas en el estado de la tecnica, usualmente preparadas para su presentacion en pantallas de misma resolucion, tanto las consideradas como alta o baja definicion, tales como 480i (243*243 pfxeles), 576i (288*288 pfxeles), 480p (720*480 pfxeles), 576p (720 * 576), 720p (1,280 * 720 p^xeles), 1080i o 1080p (1,920 * 1,080 p^xeles), 2160p (3,840 * 2,160 pfxeles) -4K UHD-, 4320p (7,680 * 4,320 pfxeles) -8K UHD- asf como cualquier otra resolucion.
Como se puede observar en la Fig. 2, durante la etapa de configuracion se determina la superficie espacial sobre un espacio virtual tridimensional 1 formado por un conjunto de puntos con coordenadas tridimensionales X,Y,Z asociada a cada pixel de cada fotograma de cada secuencia de fotogramas de entrada. A modo de ejemplo, la superficie espacial que ocupan los fotogramas de las secuencias de fotogramas de entrada mostrados se encuentran dispuestos sobre un plano, para facilitar la explicacion de la invencion. Naturalmente tambien se podnan disponer siguiendo otras formas geometricas, tal y como se vera mas adelante. Esta forma podna por ejemplo reseguir el interior de una esfera, estando el punto de visualizacion dispuesto en el centro de la esfera, o la forma podna venir dad por un modelo virtualizado de un recinto, tal como una habitacion, de modo que si las diferentes senales de video de entrada provienen de partes de dicha habitacion, los fotogramas puedan disponerse sobre las partes de dicha habitacion virtualizadas, de modo que un operario pueda desplazarse a modo de camara virtual por la habitacion virtualizada, ajustandose convenientemente el angulo de visualizacion de cada uno de las secuencias de fotogramas que provengan de las camaras, que habran sido previamente dispuestas sobre el modelo tridimensional en la etapa de configuracion.
Para visualizar el espacio virtual tridimensional, se establecera en el espacio virtual tridimensional un punto de visualizacion (X0,Y0,Zq) y una ventana de visualizacion 3, conocida tambien como viewport, determinando un tronco 4 de visualizacion en el espacio virtual tridimensional, conocido como frustrum, del modo ilustrado en la Fig. 2. De esta manera se formaran los fotogramas de salida a partir de las proyecciones de los fotogramas de las secuencias de entrada proyectadas en dicha ventana de visualizacion 3 en el mismo instante temporal, convenientemente codificadas. En caso que el numero de fotogramas por segundo de las senales de entrada proyectadas en la ventana de visualizacion 3 sea diferente al numero de fotogramas por segundo de la senal de salida, se deberan descartar algunos fotogramas de entrada si estos son mas rapidos que el numero de fotogramas por segundo de la senal de salida o bien mantener por mas de un instante los fotogramas de entrada si son mas rapidos que el numero de fotogramas por segundo de la senal de salida, de modo conocido.
Ventajosamente, el procedimiento permite que solamente se deban decodificar para formar la senal de video de salida las senales de entrada que proporcionen fotogramas cuyas proyecciones SV[n], S2'[n] sean visibles en la ventana de proyeccion. Ademas, si existen combinaciones de fotogramas de entrada cuyas proyecciones queden al menos parcialmente superpuestas en la ventana de visualizacion 3, es posible que no se tengan que procesar, es decir, decodificar, todas las senales de entrada que de los fotogramas superpuestos para recodificar la senal de salida.
Cuando existan combinaciones de fotogramas de entrada, por ejemplo en la ventana de visualizacion 3 ilustrada en la Fig. 3, se debera primeramente calcular una densidad de pixel umbral d(S0[n]) asociada para los pfxeles en la ventana de visualizacion 3, a partir de la resolucion de salida Ro y las dimensiones espaciales asociadas de dicha ventana de visualizacion 3, Esta densidad de pixel umbral, sera en las Figs. 3, 4a y 4b la relacion entre el numeo de pixels que vendra dada por la resolucion de salida y la superficie de la ventana de visualizacion 3, es decir, dividiendo el numero de pfxeles totales equivalentes a la resolucion de salida, entre la superficie que ocupa la ventana de visualizacion 3 en el espacio virtual tridimensional. De esta manera se obtendra una densidad de pixel umbral d(S0[n]) a partir de la cual, si solamente se puede obtener una densidad de pixel mayor de las proyecciones, se tendna que interporlar los pfxeles, con lo que la senal de salida quedana degradada. Por tanto, es muy importante que la densidad de pixel del fotograma proyectado SV[n], S2'[n] que siempre se utilice sea aquel que permita obtener la resolucion de salida deseada. Naturalmente, en otras variantes de realizacion se puede combinar ese fotograma proyectado que siempre se utilice con el resto de fotogramas en la zona solapada, por ejemplo SV[n], S2'[n] para hacer una transicion progresiva entre fotogramas de diferente resolucion en la zona que se solapan en la ventana de visualizacion 3 o en los extremos de la zona solapada, para evitar que el usuario pueda observar transiciones bruscas, aunque de esta manera se tenga que sacrificar parte de la calidad del fotograma de salida en esta zona, ya que se preve que los usuarios toleren mas una perdida de calidad para realizar una transicion progresiva que un salto de calidad que podna ser brusco.
5
10
15
20
25
30
35
40
45
50
55
60
65
No es conveniente para esta zona de la ventana de visualizacion 3 en la que exista combinaciones de fotogramas de entrada tomar siempre el fotograma de mayor resolucion, puesto que, aunque se asegurana que la calidad de los fotogramas de la senal de salida es siempre la mejor que se puede obtener, conllevana un coste de procesado que puede no ser necesario si existe otra senal de entrada cuya densidad de pixel del fotograma proyectado sea mas adecuada.
Por tanto, primeramente sera necesario determinar las combinaciones de fotogramas de entrada cuyas proyecciones quedan al menos parcialmente superpuestas en la ventana de visualizacion 3, como se ilustra en la Fig. 3, para cada combinacion de fotogramas, seleccionar el fotograma de cada combinacion de fotogramas que proyectado sobre la ventana de visualizacion 3 tiene una densidad de pixel d(Sii'[n]), d(S2'[n]), expresada en pfxeles por unidad cuadrada del espacio virtual tridimensional 1, en toda la parte superpuesta mayor o igual a la densidad de pixel umbral d(So'[n]) o, en su defecto, seleccionar el fotograma que proyectado sobre la ventana de visualizacion 3 tiene una mayor densidad de pixel, para formar la parte de fotograma de salida que queda superpuesta.
De los fotogramas superpuestos de la Fig. 3, las Figs. 4a y 4b muestran la comparacion entre la densidad de pixel umbral d(So'[n]) y las densidades de pfxeles de las proyecciones de cada uno de los fotogramas d(Sii'[n]), d(S2'[n]), determinandose que para esta ventana de visualizacion 3, la densidad de pixel proporcionada por la proyeccion del fotograma de la primera senal, d(Sii'[n]) es menor que la densidad de pixel umbral d(So'[n]), tal y como se puede observar visualmente en la Fig. 4a y la densidad de pixel proporcionada por la proyeccion del fotograma de la segunda senal, d(Si2'[n]) es mayor que la densidad de pixel umbral d(So'[n]), tal y como se puede observar visualmente en la Fig. 4b.
Por tanto, sera mas conveniente utilizar la proyeccion del fotograma de la segunda senal de entrada Si2'[n] para formar la porcion en la que las proyecciones quedan parcialmente superpuestas Si2''[n] en el fotograma de salida So[n], ya que la densidad de pixel de esta segunda senal proyectada sera la unica mayor al umbral de las disponibles, mientras que para el resto de la ventana de visualizacion 3, al tener solamente informacion de la primera senal de entrada Si, se deberan formar los pfxeles del correspondiente fotograma de la secuencia de fotogramas de salida a partir de la primera senal de entrada Sii, Sii''[n] tal y como se indica en la Fig. 5.
La Fig. 6 muestra otra visualizacion del mismo espacio virtual tridimensional en el que de la proyeccion en la ventana de visualizacion 3, mostrada en la Fig, 7, se desprende que la densidad de pixel de ninguna de las senales de entrada, comparadas por separado en las Figs. 8a y 8b sera mayor o igual a la densidad de pixel umbral d(S0'[n]), ya que tal y como muestra la Fig. 8a la densidad de pixel proporcionada por la proyeccion del fotograma de la primera senal, d(Sii'[n]), todavfa menor a la densidad de pixel umbral d(S0'[n]), y tal y como muestra la Fig 8b la la densidad de pixel proporcionada por la proyeccion del fotograma de la segunda senal, d(Si2'[n]), sera tambien menor a la densidad de pixel umbral d(S0'[n]).
Por tanto, en este caso, para la combinacion de fotogramas, se seleccionara el fotograma de entre la combinacion de fotogramas proyectados de mayor densidad de pixel, en este caso el de la segunda senal de entrada Si2”.
La densidad de pixel de cada fotograma proyectado sobre la ventana de visualizacion 3 se puede calcular tanto pixel a pixel como a partir de la proyeccion de agrupaciones de pfxeles 4 del fotograma. Naturalmente, cuando se calcula densidad de pixel a pixel el coste computacional es mayor, pero se determina mejor el punto en el que debe utilizarse un fotograma con densidad de pixel mayor o menor. Se ha observado que utilizando agrupaciones de pfxeles 5 en forma de divisiones triangulares se consigue una buena estimacion de la densidad de pixel, por ejemplo como se muestra en el espacio virtual de la Fig. i0 con fotogramas de una tercera y cuarta senal de entrada Si3, Si4, en el que el contenido proyectado en la ventana de visualizacion 3 se ilustra en la Fig. ii. Naturalmente, para este espacio virtual tridimensional i debera tenerse en cuenta la perspectiva que presentara la proyeccion de agrupaciones 5' de pfxeles. Se observa que en ejemplo ilustrado en la Fig. i0 la resolucion de salida Ro mostrado en la ventana de visualizacion 3 en la Fig. ii es muy baja, comportando que la densidad de pixel umbral sea igualmente baja, que sera inferior a las de las proyecciones Si3'[n] y Si4'[n] por lo que al evaluar progresivamente los fotogramas, empezando primero por el fotograma de menor resolucion de entrada y acabando por el de mayor resolucion de entrada, se determinara que el fotograma de la combinacion de fotogramas Si3,Si4 el fotograma Si3 proyectado sobre la ventana de visualizacion 3 tiene una densidad de pixel d(Si3'[n]) en toda la parte superpuesta mayor o igual a la densidad de pixel umbral d(S0[n]). Al ser la densidad de pixel d(Si4'[n]) del otro fotograma todavfa superior, se tomara solamente el fotograma que proyectado sobre la ventana de visualizacion tenga una densidad de pixel mas proxima a la densidad de pixel umbral, es decir, Si3'[n])
Por tanto, los pfxeles del fotograma de la senal de salida S0[n] se formaran solamente a partir de la proyeccion de fotogramas Si3'[n] recodificada a la resolucion de salida Ro, Si3''[n], como se ilustra en la Fig. i2.
Ventajosamente, el procedimiento de la presente invencion se puede utilizar para combinar senales de video de entrada generadas por una o varias camaras de video, en las que se represente al menos parte del mismo contenido, por ejemplo una parte de una escena, a diferentes resoluciones y que queden combinadas formando un video compuesto, tambien conocido como video stitching en el espacio virtual tridimensional. Es tambien posible que senales
de video representen el mismo contenido a diferentes resoluciones y que durante la etapa de configuracion se dispongan en el espacio virtual tridimensional superpuestas.
Se contempla ademas que al menos una de las senales de video puede estar adaptada para formar fotogramas cuyo 5 contenido sea una imagen de smtesis, es decir, formada mediante computador a partir de vectores, datos o de un modelo tridimensional de modo que tenga su densidad de pixel sea infinita a la practica.

Claims (15)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. - Procedimiento para componer una senal de video de salida (So), que comprende una secuencia de fotogramas de salida ((So[n]) con un numero de p^xeles prestablecidos para cada fotograma de salida asociado a una resolucion de salida (Ro), a partir de una pluralidad de senales de video de entrada (Sii, Si2, Si3 ... Sim), que comprenden respectivas secuencias de fotogramas de entrada (Sii[n], Si2[n], Si3[n] ... Sim[n]) con un numero de pfxeles para cada fotograma de entrada asociado a una resolucion de entrada (Rii, Ri2, Ri3 ... Rim), que comprende:
    una etapa de configuracion en la que se determina una superficie espacial sobre un espacio virtual tridimensional (1) formado por un conjunto de puntos con coordenadas tridimensionales (X,Y,Z) asociada a cada pixel (p) de cada fotograma de cada secuencia de fotogramas de entrada (Sii[n], Si2[n], Si3[n] ... Sm[n]);
    establecer en el espacio virtual tridimensional (1) un punto de visualizacion (Xo,Yo,Zo) y una ventana de visualizacion (3), que determinan un tronco (4) de visualizacion en el espacio virtual tridimensional (1), y
    formar fotogramas de salida (S0[n]) a partir de las proyecciones de los fotogramas de entrada (S'n[n], S'i2[n], S'i3[n] ... S'im[n]) de las secuencias de entrada proyectadas en dicha ventana de visualizacion; comprendiendo el metodo, ademas:
    calcular una densidad de pixel umbral (d(S'0[n])) asociada a los p^xeles en la ventana de visualizacion (3), a partir de la resolucion de salida (Ro) y las dimensiones espaciales asociadas de dicha ventana de visualizacion (3);
    determinar combinaciones de fotogramas de entrada cuyas proyecciones (S'n[n], S'i2[n], Si3[n], S'i4[n]) quedan al menos parcialmente superpuestas en la ventana de visualizacion (3) y, para cada combinacion de fotogramas,
    seleccionar el fotograma de cada combinacion de fotogramas de entrada que proyectado sobre la ventana de visualizacion tiene una densidad de pixel (d(S'n[n]), d(S'i2[n]), d(S'i3[n]), d(S'i4[n]) en toda la parte superpuesta mayor o igual a la densidad de pixel umbral (d(S'0[n])) o, en su defecto, seleccionar el fotograma de entrada que proyectado sobre la ventana de visualizacion tiene la densidad de pixel mas proxima a la densidad de pixel umbral, para formar la parte de fotograma de salida (S0[n]) que queda superpuesta.
  2. 2. - Procedimiento segun la reivindicacion anterior, caracterizado por que si en alguna de las combinaciones de fotogramas de entrada existe una pluralidad de fotogramas de entrada que proyectados (S'n[n], S'i2[n], Si3[n], S'i4[n]) sobre la ventana de visualizacion (3) tienen una densidad de pixel (d(S'n[n]), d(S'i2[n]), d(S'i3[n]), d(S'i4[n]) en toda la parte superpuesta mayor o igual a la densidad de pixel umbral (d(S'0[n])), se seleccionan de esa combinacion los fotogramas de entrada que proyectados sobre la ventana de visualizacion tienen una densidad de pixel (d(S'n[n]), d(S'i2[n]), d(S'i3[n]), d(S'i4[n]) mas proxima a la densidad de pixel umbral (d(S'0[n])).
  3. 3. - Procedimiento segun una cualquiera de las reivindicaciones anteriores, caracterizado por que para formar la parte de fotograma de salida (S0[n]) que queda superpuesta se realiza una mezcla entre el fotograma de entrada seleccionado de cada combinacion de fotogramas y al menos otro fotograma de entrada de la misma combinacion de fotogramas de entrada.
  4. 4. - Procedimiento segun una cualquiera de las reivindicaciones 1 a 2, caracterizado por que para formar la parte de fotograma de salida (S0[n]) que queda superpuesta se utiliza solamente el fotograma de entrada seleccionado de cada combinacion de fotogramas de entrada.
  5. 5. - Procedimiento segun una cualquiera de las reivindicaciones anteriores, caracterizado por que la densidad de pixel (d(S'i1[n]), d(S'i2[n]), d(S'i3[n]), d(S'i4[n]) de cada fotograma de entrada proyectado sobre la ventana de visualizacion (3) se calcula a partir de la proyeccion de agrupaciones de pfxeles (5) del fotograma.
  6. 6. - Procedimiento segun una cualquiera de las reivindicaciones anteriores, caracterizado por que el paso de seleccionar el fotograma de entrada de cada combinacion de fotogramas de entrada se realiza evaluando progresivamente los fotogramas de entrada, empezando primero por el fotograma de entrada de menor resolucion y acabando por el fotograma de entrada de mayor resolucion.
  7. 7. - Procedimiento segun una cualquiera de las reivindicaciones anteriores, caracterizado por que las superficies espaciales asociadas a cada pixel de cada fotograma de cada secuencia de fotogramas de entrada en el espacio virtual tridimensional (1) conforman una superficie equivalente al interior de una esfera.
  8. 8. - Procedimiento segun una cualquiera de las reivindicaciones anteriores, caracterizado por que al menos una de las senales de video de entrada (Si1, Si2, Si3... Sim) es una senal de video generada por una camara de video.
  9. 9. - Procedimiento segun una cualquiera de las reivindicaciones anteriores, caracterizado por que al menos dos de las senales de video de entrada (Si1, Si2, Si3 ... Sim) estan adaptadas para formar secuencias de fotogramas con al menos parte del mismo contenido a diferentes resoluciones.
  10. 10. - Procedimiento segun la reivindicacion anterior, caracterizado por que al menos dos de las senales de video estan adaptadas para formar secuencias de fotogramas con el mismo contenido a diferentes resoluciones.
  11. 11. - Procedimiento segun una cualquiera de las reivindicaciones anteriores, caracterizado por que al menos dos 5 senales de video de entrada (Sii, Si2, Si3... Sim) provienen de una misma camara de video.
  12. 12. - Procedimiento segun una cualquiera de las reivindicaciones anteriores, caracterizado por que al menos una de las senales de video de entrada (Si1, Si2, Si3 ... Sim) esta adaptada para formar fotogramas cuyo contenido es una imagen de srntesis de al menos parte del contenido del fotograma de otra de las senales de video de entrada.
    10
  13. 13. - Programa de ordenador adaptado para realizar el procedimiento segun una cualquiera de las reivindicaciones 1 a 12.
  14. 14. - Aparato para procesar datos que comprende medios para realizar el procedimiento segun una cualquiera de las 15 reivindicaciones 1 a 12.
  15. 15. - Instalacion que comprende un aparato segun la reivindicacion anterior y al menos una camara de video conectada al aparato para proporcionar una senal de video de entrada (Si1, Si2, Si3... Sim).
ES15382315.8T 2015-06-15 2015-06-15 Procedimiento, aparato e instalación para componer una señal de video Active ES2693497T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP15382315.8A EP3107279B1 (en) 2015-06-15 2015-06-15 Method, device and installation for composing a video signal

Publications (1)

Publication Number Publication Date
ES2693497T3 true ES2693497T3 (es) 2018-12-12

Family

ID=53724174

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15382315.8T Active ES2693497T3 (es) 2015-06-15 2015-06-15 Procedimiento, aparato e instalación para componer una señal de video

Country Status (13)

Country Link
US (1) US10567676B2 (es)
EP (1) EP3107279B1 (es)
JP (1) JP6655717B2 (es)
KR (1) KR102501127B1 (es)
CN (1) CN107750453B (es)
AU (1) AU2016279846B2 (es)
BR (1) BR112017025856A2 (es)
CA (1) CA2987810C (es)
ES (1) ES2693497T3 (es)
IL (1) IL255870B (es)
RU (1) RU2732989C2 (es)
SG (1) SG11201710326PA (es)
WO (1) WO2016203081A1 (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016224905A1 (de) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Fusionieren von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug
DE102017123452A1 (de) * 2017-10-10 2019-04-11 Connaught Electronics Ltd. Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3867883B2 (ja) * 1999-06-01 2007-01-17 株式会社リコー 画像合成処理方法、画像合成処理装置及び記録媒体
US6924816B2 (en) * 2000-03-17 2005-08-02 Sun Microsystems, Inc. Compensating for the chromatic distortion of displayed images
US7072096B2 (en) * 2001-12-14 2006-07-04 Digital Optics International, Corporation Uniform illumination system
US7051040B2 (en) * 2002-07-23 2006-05-23 Lightsurf Technologies, Inc. Imaging system providing dynamic viewport layering
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
US20070069601A1 (en) * 2003-05-06 2007-03-29 Danfoss Compressors Gmbh Rotor for an electrical motor
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
US20070076099A1 (en) 2005-10-03 2007-04-05 Eyal Eshed Device and method for hybrid resolution video frames
US20070122786A1 (en) * 2005-11-29 2007-05-31 Broadcom Corporation Video karaoke system
US8068700B2 (en) * 2007-05-28 2011-11-29 Sanyo Electric Co., Ltd. Image processing apparatus, image processing method, and electronic appliance
EP2037671A1 (en) * 2007-09-11 2009-03-18 Thomson Licensing Video processing apparatus and method for mixing a plurality of input frames on a pixel-by-pixel basis
JP2009246917A (ja) * 2008-04-01 2009-10-22 Hitachi Ltd 映像表示装置及び映像処理装置
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2010040146A1 (en) * 2008-10-03 2010-04-08 Real D Optimal depth mapping
JP5350488B2 (ja) * 2009-11-27 2013-11-27 キヤノン株式会社 画像処理装置および画像処理方法
RU2479039C1 (ru) * 2012-03-26 2013-04-10 Закрытое акционерное общество "БОУ Лабораториз" Способ улучшения плотной и разреженной карт диспарантности, точности реконструируемой трехмерной модели и устройство для реализации способа
KR101899877B1 (ko) * 2012-04-04 2018-09-19 삼성전자주식회사 확대된 영상의 화질을 개선하기 위한 장치 및 방법
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
US10037592B2 (en) * 2015-06-05 2018-07-31 Mindaptiv LLC Digital quaternion logarithm signal processing system and method for images and other data types

Also Published As

Publication number Publication date
RU2732989C2 (ru) 2020-09-28
WO2016203081A1 (es) 2016-12-22
JP2018519773A (ja) 2018-07-19
US20180191964A1 (en) 2018-07-05
IL255870B (en) 2021-04-29
CA2987810A1 (en) 2016-12-22
CA2987810C (en) 2023-08-01
EP3107279A1 (en) 2016-12-21
JP6655717B2 (ja) 2020-02-26
US10567676B2 (en) 2020-02-18
AU2016279846B2 (en) 2020-10-08
RU2018100833A3 (es) 2020-04-17
KR20180018727A (ko) 2018-02-21
SG11201710326PA (en) 2018-01-30
RU2018100833A (ru) 2019-07-15
IL255870A (en) 2018-01-31
CN107750453B (zh) 2020-08-04
KR102501127B1 (ko) 2023-02-16
AU2016279846A1 (en) 2018-01-18
CN107750453A (zh) 2018-03-02
EP3107279B1 (en) 2018-08-22
BR112017025856A2 (pt) 2018-08-14

Similar Documents

Publication Publication Date Title
EP3534336B1 (en) Panoramic image generating method and apparatus
EP3438919B1 (en) Image displaying method and head-mounted display apparatus
JP6672315B2 (ja) 画像生成装置、及び画像表示制御装置
US20180018807A1 (en) Method and apparatus for generating panoramic image with texture mapping
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
CN107454468A (zh) 对沉浸式视频进行格式化的方法、装置和流
WO2020103040A1 (en) A method for generating and displaying panorama images based on rendering engine and a display apparatus
WO2019080792A1 (zh) 全景视频图像的播放方法、装置、存储介质及电子装置
ES2693497T3 (es) Procedimiento, aparato e instalación para componer una señal de video
JP5986039B2 (ja) 映像表示方法及び映像表示プログラム
CN106412562A (zh) 三维场景中显示立体内容的方法及其系统
WO2018087856A1 (ja) 映像合成装置及び映像合成方法
JP5993423B2 (ja) カラーフレームとオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステム
BR112018002918B1 (pt) Aparelhos para geração de imagem e para controle de exibição de imagem, método para geração de uma imagem, meio de armazenamento legível por computador, e, unidade de armazenamento