ES3035820T3 - Virtual image processing method, image processing system, and storage medium - Google Patents

Virtual image processing method, image processing system, and storage medium

Info

Publication number
ES3035820T3
ES3035820T3 ES18899867T ES18899867T ES3035820T3 ES 3035820 T3 ES3035820 T3 ES 3035820T3 ES 18899867 T ES18899867 T ES 18899867T ES 18899867 T ES18899867 T ES 18899867T ES 3035820 T3 ES3035820 T3 ES 3035820T3
Authority
ES
Spain
Prior art keywords
camera device
virtual
parameter
scene
replaced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18899867T
Other languages
English (en)
Inventor
Hanqu Wu
Sihua Yang
Zhenhang Yan
Mingpu Xie
Zhenzhi Wu
Yu Liu
Xuanzhong Li
Xinghong Sun
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aoto Electronics Co Ltd
Original Assignee
Shenzhen Aoto Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aoto Electronics Co Ltd filed Critical Shenzhen Aoto Electronics Co Ltd
Application granted granted Critical
Publication of ES3035820T3 publication Critical patent/ES3035820T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Vascular Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

La presente invención se refiere a un método de procesamiento de imágenes virtuales, un sistema de procesamiento de imágenes y un medio de almacenamiento. Dicho método se utiliza para virtualizar una imagen capturada y comprende los siguientes pasos: adquirir una posición de referencia y una posición en tiempo real de una cámara; calcular un parámetro de movimiento de la posición en tiempo real con respecto a la posición de referencia; virtualizar, según el parámetro de movimiento, la posición y la postura de la cámara virtual y calcular un parámetro de perspectiva de la escena a reemplazar con respecto a la cámara virtualizada; codificar una escena virtual según el parámetro de perspectiva; y utilizar la escena virtual codificada para reemplazarla. En el método de procesamiento de imágenes virtuales proporcionado por la presente invención, la posición y la postura de la cámara virtual se virtualizan mediante el parámetro de movimiento adquirido para calcular el parámetro de perspectiva de la escena a reemplazar con respecto a la cámara virtual. Posteriormente, la escena virtual se codifica según el parámetro de perspectiva, lo que permite una fusión fluida de la escena virtual codificada y la imagen capturada, lo que resulta adecuado para la visualización virtual de una cámara en movimiento. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Método de procesamiento de imágenes virtuales, sistema de procesamiento de imágenes y medio de almacenamiento
Campo técnico
La presente solicitud se refiere al campo de las tecnologías de procesamiento de imágenes y, de forma particular, hace referencia a un método de procesamiento de imágenes virtuales, un sistema de procesamiento de imágenes y un medio de almacenamiento.
Antecedentes de la invención
La escena real capturada por una cámara se sintetiza con una escena tridimensional virtual renderizada con una estación de trabajo gráfica con el propósito de obtener un contenido visual que es visto finalmente por el público. Este método se puede aplicar en un estudio virtual con el objetivo de lograr una fusión impecable entre una actividad efectuada por el presentador in situ y un fondo virtual generado por la estación de trabajo gráfica; también se puede aplicar en un proceso de transmisión de competencias deportivas, como el fútbol, el baloncesto, etc., o bien para reemplazar el anuncio existente en un estadio mediante el procesamiento de imagen virtual, de manera que el anuncio visto por el público presente en directo y el anuncio visto por el público en TV pueden ser dos anuncios diferentes. Al mismo tiempo, es posible virtualizar diferentes anuncios para la misma competencia deportiva en función de los diferentes países en que se transmite con el fin de aumentar los ingresos de los anunciantes.
Los métodos de procesamiento de imágenes virtuales actuales requieren que el cabezal de la cámara esté fijo en un trípode y no pueda moverse a voluntad y, a continuación, la estación de trabajo gráfica pueda calcular la relación de perspectiva existente entre el contenido visual virtual sintetizado y el contenido visual original mediante la obtención de una pluralidad de parámetros de la cámara, es decir, paneo, inclinación, enfoque y zoom, con el fin de lograr una imagen virtual. No obstante, la posición fija de la cámara limita la flexibilidad de la captura de vídeo, y la cámara solo puede efectuar la captura en una posición fija. Por ejemplo, es difícil rastrear por completo la captura de un jugador que corre rápido o de un coche de carreras que se mueve a gran velocidad, y el sistema requiere ser recalibrado una vez que se mueve la posición de la cámara, lo que consume tiempo y esfuerzo. Por consiguiente, el estado de la técnica presenta defectos que deben mejorarse.
De acuerdo con el documento GB2305051A, se proporciona un aparato para el reemplazo electrónico automático de una valla publicitaria en una imagen de vídeo, que incluye un aparato de medición automática de orientación de cámara, que a su vez incluye medios de medición de movimiento operativos para medir el campo de visión de la cámara de televisión con respecto a una posición de referencia conocida. La valla publicitaria incluye preferiblemente un panel con patrón de croma y la medición de movimiento incluye medición de un paneo, una inclinación, un zoom y un enfoque de cámara con respecto a las posiciones de referencia conocidas. El documento US2016005234A1 divulga un método de mezcla o composición en tiempo real de objetos tridimensionales generados por ordenador y una transmisión de vídeo procedente de una cámara de vídeo, en donde el cuerpo de la cámara de vídeo puede moverse en 3D, y hay sensores incorporados o acoplados a la cámara que proporcionan datos de posicionamiento en tiempo real que definen la posición 3D y la orientación 3D de la cámara o que permiten calcular la posición 3D.
De acuerdo con el documento CN107158695A, se proporcionan un método y un sistema para realizar la visualización híbrida de escenas reales y virtuales. En donde una cámara real fotografía una imagen de desplazamiento de un jugador real y, al mismo tiempo, la información de movimiento de la cámara real se posiciona por medio de un dispositivo de posicionamiento; durante el movimiento, la cámara real fotografía la imagen de desplazamiento del jugador real, y se consiguen la consistencia de la información de movimiento de la cámara real y la información de movimiento de una cámara virtual y la consistencia de las relaciones de posición entre la cámara real y la cámara virtual, y un espacio del jugador mediante el dispositivo de posicionamiento.
Los documentos US2009/102957 A1, CN106412459A y US2017/257648 A1 divulgan fotogramas entrelazados que van a ser mostrados a un público en directo y recibidos por los ojos de un observador, y otros fotogramas que van a ser capturados por una cámara de alta velocidad sincronizada.
Sumario de la invención
Problema técnico
Teniendo este hecho en cuenta, se hace necesario proporcionar un método de procesamiento de imágenes virtuales, un sistema de procesamiento de imágenes y un medio de almacenamiento destinados a solucionar el problema consistente en que el cabezal de la cámara no puede moverse a voluntad.
Soluciones técnicas
Un primer aspecto de la presente solicitud proporciona un método de procesamiento de imágenes virtuales, el método está configurado para llevar a cabo la virtualización de una imagen capturada, y el método comprende los pasos especificados en la reivindicación adjunta 1.
En una de las realizaciones, el dispositivo de cámara está provisto de un giroscopio, y el parámetro de movimiento de la posición en tiempo real del dispositivo de cámara con respecto a la posición de referencia en las tres direcciones X, Y y Z se calcula en tiempo real mediante el giroscopio.
En una de las realizaciones, el paso de virtualizar la posición y la postura del dispositivo de cámara virtual de acuerdo con el parámetro de movimiento incluye:
adquirir un parámetro estático del dispositivo de cámara;
calcular la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con un algoritmo preestablecido;
en donde el parámetro estático del dispositivo de cámara incluye al menos uno de entre un paneo de la cámara, una inclinación de la cámara, un enfoque de una lente y un zoom de la lente.
En una de las realizaciones, el paso de calcular la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con el algoritmo preestablecido incluye:
calcular de forma exhaustiva una posición real del dispositivo de cámara en función de la posición de referencia y el parámetro de movimiento del dispositivo de cámara, y determinar la posición real del dispositivo de cámara como la posición del dispositivo de cámara virtual;
calcular la postura del dispositivo de cámara virtual en función del parámetro estático.
En una de las realizaciones, el paso de calcular la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con un algoritmo preestablecido incluye:
hacer un cálculo exhaustivo en función de la posición de referencia y el parámetro de movimiento del dispositivo de cámara con el fin de obtener la posición real del dispositivo de cámara durante la captura;
calcular y predecir una tendencia de movimiento del dispositivo de cámara en función del parámetro de movimiento;
calcular la posición del dispositivo de cámara virtual mediante la posición real y la tendencia de movimiento del dispositivo de cámara;
calcular la postura del dispositivo de cámara virtual en función del parámetro estático.
En una de las realizaciones, el paso de calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual incluye:
identificar una posición de la escena por reemplazar en la imagen capturada;
calcular el parámetro de perspectiva de la escena por reemplazar de acuerdo con la posición y la postura del dispositivo de cámara virtual;
en donde el parámetro de perspectiva incluye al menos uno de entre posición, tamaño y distorsión.
El método de procesamiento de imágenes virtuales descrito anteriormente virtualiza la posición y la postura del dispositivo de cámara virtual a través del parámetro de movimiento obtenido con el fin de calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual y, a continuación, codifica la escena virtual de acuerdo con el parámetro de perspectiva, de manera que consigue la fusión impecable de la escena virtual codificada y la imagen capturada. Puede aplicarse a la visualización virtual cuando el dispositivo de cámara se está moviendo.
Un segundo aspecto de la presente solicitud proporciona un sistema de procesamiento de imágenes, y el sistema incluye las funciones expuestas en la reivindicación adjunta 7.
En una de las realizaciones, el dispositivo de cámara está provisto de un giroscopio, y un chip del giroscopio se usa como la unidad de cálculo.
En una de las realizaciones, el sistema comprende, además:
una unidad de adquisición de parámetro configurada para adquirir un parámetro estático del dispositivo de cámara.
Un tercer aspecto de la presente solicitud proporciona un medio de almacenamiento legible por ordenador que tiene almacenado en su interior un programa de ordenador, en donde cuando un procesador ejecuta el programa de ordenador, este pone en práctica el método de procesamiento de imágenes virtuales de acuerdo con cualquiera de los aspectos antes mencionados.
Efectos técnicos
El sistema de procesamiento de imágenes descrito anteriormente virtualiza la posición y la postura del dispositivo de cámara virtual a través del parámetro de movimiento obtenido con el fin de calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual y, a continuación, codifica la escena virtual de acuerdo con el parámetro de perspectiva, de manera que logra la fusión impecable de la escena virtual codificada y la imagen capturada. Puede aplicarse a la visualización virtual cuando el dispositivo de cámara se está moviendo.
Breve descripción de los dibujos
La figura 1 es un diagrama de flujo del método de procesamiento de imágenes virtuales de acuerdo con una realización de la presente solicitud.
La figura 2 es un esquema detallado de un flujo parcial del método de procesamiento de imágenes virtuales de acuerdo con una realización de la presente solicitud.
La figura 3 es un esquema detallado de un flujo parcial del método de procesamiento de imágenes virtuales de acuerdo con otra realización de la presente solicitud.
La figura 4 es un proceso de codificación para un contenido visual de visualización de una pantalla de visualización LED.
La figura 5 es un diagrama de flujo del método de procesamiento de imágenes virtuales de acuerdo con otra realización de la presente solicitud.
La figura 6 es un diagrama de bloques estructural del sistema de procesamiento de imágenes de acuerdo con una realización de la presente solicitud.
Realizaciones de la solicitud
Con el fin de clarificar los propósitos, características y ventajas antes mencionados de la presente solicitud, a continuación, se proporciona una descripción detallada de la presente solicitud haciendo referencia a los dibujos adjuntos y a las realizaciones específicas de la misma. Es preciso tener en cuenta que, en caso de que no se produzca conflicto, las realizaciones de la presente solicitud y las características presentes en dichas realizaciones podrán combinarse entre sí.
En la siguiente descripción, se exponen multitud de detalles con el propósito de facilitar la comprensión de la presente solicitud. Las realizaciones descritas son solo una parte de las realizaciones de la presente solicitud, y no todas las realizaciones. Todas las demás realizaciones obtenidas por los expertos en la técnica a partir de las realizaciones de la presente solicitud sin invertir esfuerzos creativos pertenecerán al alcance de protección de la presente solicitud.
A menos que se especifique lo contrario, todos los términos técnicos y científicos usados en la presente invención cuentan con los mismos significados que los que entiende por lo común una persona con habilidades ordinarias en la técnica a la que pertenece la presente solicitud. Los términos utilizados en la memoria descriptiva de la presente solicitud cuentan con el mero objetivo de describir las realizaciones específicas, y no pretenden limitar la presente solicitud.
La figura 1 es un diagrama de flujo del método de procesamiento de imágenes virtuales de acuerdo con algunas realizaciones de la presente solicitud, y el método de procesamiento de imágenes virtuales se puede aplicar a transmisiones en directo, retransmisiones televisivas y a estudios virtuales. Es preciso tener en cuenta que el método de procesamiento de imágenes virtuales de acuerdo con las realizaciones de la presente solicitud no está limitado a los pasos ni al orden descritos en el diagrama de flujo que se muestra en la figura 1, y que se puede añadir o quitar un paso del diagrama de flujo, o se puede modificar el orden de los pasos del diagrama de flujo, en función de las necesidades concretas.
El método de procesamiento de imágenes virtuales de acuerdo con las realizaciones de la presente solicitud toma una imagen capturada por un dispositivo de cámara como un objeto de procesamiento. Durante la captura, el dispositivo de cámara puede disponerse de forma estática en una posición específica o puede moverse dinámicamente para capturar. El método de procesamiento de imágenes virtuales puede reemplazar virtualmente el contenido visual visualizado en un soporte específico dentro del área de captura de acuerdo con la imagen capturada específica con el fin de reemplazar el contenido visual visualizado por una escena virtual, de manera que se pueden ver diferentes escenas virtuales para diferentes regiones. Por ejemplo, durante la transmisión de TV, se consigue que se transmitan diferentes anuncios para diferentes regiones mediante el reemplazo de los anuncios, lo que incrementa los ingresos de la transmisión. El soporte específico suele ser una valla publicitaria o una máquina publicitaria (como una pantalla de visualización LED), y el contenido visual mostrado puede ser un vídeo que se reproduce en la pantalla.
Como se muestra en la figura 1, el método de procesamiento de imágenes virtuales incluye los pasos indicados a continuación.
En el paso S102, se adquiere una posición de referencia y una posición en tiempo real del dispositivo de cámara.
Durante el movimiento y la captura a través del dispositivo de cámara, la forma y el tamaño del soporte específico que visualiza un contenido visual en la imagen capturada por el dispositivo de cámara están en constante cambio. Por consiguiente, para lograr el reemplazo virtual del contenido visual visualizado en la imagen capturada durante el movimiento del dispositivo de cámara, es preciso determinar por adelantado una posición de referencia para el dispositivo de cámara, y se estiman la forma, el tamaño y la distorsión del soporte en función de la posición de referencia durante las capturas del dispositivo de cámara.
En el paso S104, se calcula un parámetro de movimiento de la posición en tiempo real con respecto a la posición de referencia.
En algunas realizaciones, el dispositivo de cámara está provisto de una unidad de cálculo, y la unidad de cálculo calcula el parámetro de movimiento del dispositivo de cámara de acuerdo con la posición en tiempo real del dispositivo de cámara con respecto a la posición de referencia con el fin de proporcionar una referencia para la virtualización de una cámara virtual. En una realización específica, el dispositivo de cámara está provisto de un giroscopio, y el parámetro de movimiento de la posición en tiempo real del dispositivo de cámara con respecto a la posición de referencia en las tres direcciones X, Y y Z se calcula en tiempo real mediante el giroscopio.
En el paso S106, se virtualiza una posición y una postura de un dispositivo de cámara virtual de acuerdo con el parámetro de movimiento y se calcula un parámetro de perspectiva de una escena por reemplazar con respecto al dispositivo de cámara virtual virtualizado.
La escena por reemplazar hace referencia a un contenido visual visualizado capturado por el dispositivo de cámara y visualizada en el soporte específico. La posición y la postura del dispositivo de cámara virtual corresponden a un ángulo de captura de la cámara calculado a partir de una imagen específica. La imagen capturada por el dispositivo de cámara se transmite en la unidad de cuadro. Antes de recibir la imagen del siguiente cuadro, el ángulo de imagen de la imagen que se está procesando en el momento se considera una posición inicial del dispositivo de cámara virtual, y la posición del dispositivo de cámara virtual en la siguiente imagen se virtualiza de acuerdo con la posición inicial del dispositivo de cámara virtual y el parámetro de movimiento del dispositivo de cámara y, a continuación, se virtualiza el ángulo de imagen de la siguiente imagen, de manera que se puede calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual de acuerdo con el cambio del ángulo de imagen. De acuerdo con la eficiencia de procesamiento de los diferentes procesadores, la virtualización de la posición y la postura del dispositivo de cámara virtual puede presentar un cierto retraso. La posición y la postura del dispositivo de cámara virtual del siguiente o los siguientes cuadros pueden virtualizarse de acuerdo con el cuadro actual, y dicho retraso es ajustable. Los expertos en la técnica habrán de entender que, partiendo de la base de que la eficiencia de procesamiento del procesador cumpla una condición, la posición y la postura del dispositivo de cámara virtual del cuadro actual pueden calcularse directamente, y el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual virtualizado se calcula y se usa como un estándar para el ajuste de escenas virtuales.
Haciendo referencia a la figura 2, en algunas realizaciones, el paso de virtualizar la posición y la postura del dispositivo de cámara virtual de acuerdo con el parámetro de movimiento incluye:
en el paso S1061, adquirir un parámetro estático del dispositivo de cámara;
en el paso S1063, calcular la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con un algoritmo preestablecido.
El parámetro estático del dispositivo de cámara incluye al menos uno de entre un paneo de la cámara, una inclinación de la cámara, un enfoque de una lente y un zoom de la lente. Mientras se está moviendo y está capturando, el dispositivo de cámara, por lo general, necesita estar montado en un cabezal con el fin de evitar que la imagen se mueva, de manera que el paneo y la inclinación del dispositivo de cámara pueden obtenerse mediante el cabezal de cámara. El enfoque y el zoom de la lente determinan directamente el tamaño y la nitidez de la imagen capturada, y estos se controlan por lo general mediante un chip de control del dispositivo de cámara, por lo que el enfoque y el zoom de la lente pueden leerse directamente desde el chip de control del dispositivo de cámara.
El cambio de postura del dispositivo de cámara en una posición específica puede determinarse mediante el parámetro estático, y la orientación del movimiento de la cámara puede determinarse mediante la posición de referencia y el parámetro de movimiento, de manera que la posición y la postura del dispositivo de cámara virtual pueden virtualizarse en función de la posición del dispositivo de cámara virtual en el cuadro actual.
En una realización, el paso de calcular la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con un algoritmo preestablecido incluye:
calcular de forma exhaustiva una posición real del dispositivo de cámara en función de la posición de referencia y el parámetro de movimiento del dispositivo de cámara, y determinar la posición real del dispositivo de cámara como la posición del dispositivo de cámara virtual;
calcular la postura del dispositivo de cámara virtual en función del parámetro estático.
Dado que el obturador de la cámara se suele activar durante un período de tiempo muy corto, los cambios virtuales de la posición y la postura del dispositivo de cámara virtual de los cuadros anterior y posterior son pequeños y, sustancialmente, son los mismos, de manera que la posición y la postura del dispositivo de cámara virtual de la imagen anterior puede usarse de forma alternativa como la posición y la postura del dispositivo de cámara virtual de una o más imágenes posteriores. En lo que respecta a la posición y la postura del dispositivo de cámara virtual, por lo general es posible controlar el error dentro de un rango admisible y que no será captado por la visión de un observador.
En otras realizaciones, el paso de calcular la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con un algoritmo preestablecido incluye:
hacer un cálculo exhaustivo en función de la posición de referencia y el parámetro de movimiento del dispositivo de cámara con el fin de obtener la posición real del dispositivo de cámara durante la captura;
calcular y predecir una tendencia de movimiento del dispositivo de cámara en función del parámetro de movimiento;
calcular la posición del dispositivo de cámara virtual mediante la posición real y la tendencia de movimiento del dispositivo de cámara;
calcular la postura del dispositivo de cámara virtual en función del parámetro estático.
Cuando el dispositivo de cámara está provisto de un giroscopio, pueden calcularse las posiciones del dispositivo de cámara en las direcciones X, Y y Z después de un tiempo T en función de los movimientos del dispositivo de cámara en las direcciones X, Y y Z; a continuación, puede predecirse la tendencia de movimiento del dispositivo de cámara en función de la posición del dispositivo de cámara después del tiempo T y de la posición actual del dispositivo de cámara. El resultado de la predicción puede expresarse como un vector de tendencia con el fin de representar la dirección de movimiento del dispositivo de cámara. Por lo general, el tiempo T es inferior o igual al tiempo de apertura del obturador del dispositivo de cámara.
Haciendo referencia a la figura 3, en algunas realizaciones, el paso de calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual virtualizado incluye:
en el paso S 1065, identificar la posición de la escena por reemplazar en la imagen capturada;
en el paso S 1067, calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual de acuerdo con la posición y la postura del dispositivo de cámara virtual.
La identificación de la escena por reemplazar puede lograrse mediante la codificación del contenido visual mostrado en el soporte. En una realización específica, la codificación del contenido visual mostrado en el soporte puede consistir en: insertar un cuadro virtual entre cuadros de visualización normales para que se visualicen periódicamente el cuadro de visualización normal y el cuadro virtual en el soporte (visualización LED). Al controlar la proporción de intervalo de tiempo entre el cuadro de visualización y el cuadro virtual, los contenidos visuales mostrados en la pantalla de visualización LED solo son recibidos como cuadros de visualización por parte de los ojos del observador, mientras que los ojos humanos no pueden capturar los cuadros virtuales, pues el intervalo de tiempo ocupado por los cuadros virtuales es demasiado breve. El tiempo de apertura del obturador del dispositivo de cámara se sincroniza con el tiempo de visualización del cuadro virtual. Es decir, el obturador del dispositivo de cámara solo se abre cuando la pantalla de visualización LED visualiza el cuadro virtual. Por consiguiente, el contenido visual mostrado por la pantalla de visualización LED (es decir, la escena por reemplazar) y capturado por el dispositivo de cámara es solo un cuadro virtual. El cuadro virtual puede ser una imagen de color rojo, verde o azul sólido. Por consiguiente, siempre que se identifique el cuadro virtual, puede identificarse la escena por reemplazar.
Haciendo ahora referencia a la figura 4, la figura 4 muestra de forma ejemplar el proceso de codificación del contenido visual mostrado por el soporte (tomando como ejemplo la pantalla de visualización LED). El soporte está provisto de un procesador, y el cuadro de visualización 100 se visualiza en la pantalla de visualización LED después de que lo haya procesado el procesador. Después de que el procesador haya procesado una pluralidad de cuadros de visualización 100 consecutivos, se inserta un cuadro virtual 200 entre dos cuadros de visualización 100. El cuadro virtual 200 puede transmitirse externamente al procesador o puede ser generado automáticamente por el procesador. Una vez que el procesador ha ajustado la proporción de intervalo de tiempo entre el cuadro de visualización 100 y el cuadro virtual 200, el procesador envía el flujo de datos al LED para la visualización, de manera que se visualizan de forma alternada el cuadro de visualización 100 y el cuadro virtual 200 en la pantalla de visualización LED. Por último, el cuadro de visualización 100 es observado a simple vista, y el cuadro virtual 200 es capturado por el dispositivo de cámara para formar la escena por reemplazar. Por consiguiente, la identificación de la escena por reemplazar solo precisa identificar un área de imagen de color sólido.
Una vez virtualizadas la posición y la postura del dispositivo de cámara virtual, puede virtualizarse el ángulo de imagen del dispositivo de cámara virtual. De acuerdo con el ángulo de imagen actual del dispositivo de cámara virtual y el ángulo de imagen virtual, se puede calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual de acuerdo con el cambio del ángulo de imagen. El parámetro de perspectiva incluye al menos uno de entre posición, tamaño y distorsión.
En un paso S108, se codifica una escena virtual de acuerdo con el parámetro de perspectiva.
Para hacer que la posición de la escena virtual coincida con la posición de la escena por reemplazar de la siguiente imagen, la escena virtual debe ser codificada de acuerdo con el parámetro de perspectiva, de manera que la escena virtual guarde conformidad con la relación de perspectiva existente entre la escena por reemplazar y el dispositivo de cámara virtual, lo que permite lograr la fusión impecable con la imagen capturada. En el paso S110, se reemplaza la escena por reemplazar con la escena virtual codificada.
Una vez codificada la escena virtual, se retira el área de la escena por reemplazar y se reemplaza con la escena virtual. Es decir, se completa la fusión impecable de la escena virtual y la imagen capturada. La imagen fusionada se transmite a un dispositivo de visualización para su visualización. En este momento, el soporte en la imagen visualizada del dispositivo de visualización visualiza la escena virtual, mientras que el soporte que se encuentra en el lugar de captura visualiza un vídeo de visualización compuesto por los cuadros de visualización 100, de manera que se logra la virtualización de la imagen capturada.
Haciendo referencia a la figura 5, en algunas realizaciones, el método de procesamiento de imágenes virtuales incluye, además:
en el paso S112, actualizar la posición en tiempo real del dispositivo de cámara como la posición de referencia del dispositivo de cámara.
Al actualizar la posición de referencia del dispositivo de cámara, es posible mejorar la precisión de cálculo. Por supuesto, en algunas realizaciones, la posición de referencia del dispositivo de cámara también puede ser constante. Se mantiene una posición fija y se usa esta posición como un punto de origen del sistema de coordenadas, y el movimiento del dispositivo de cámara puede considerarse como el movimiento dentro del sistema de coordenadas.
El método de procesamiento de imágenes virtuales descrito anteriormente virtualiza la posición y la postura del dispositivo de cámara virtual a través del parámetro de movimiento obtenido con el fin de calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual y, a continuación, codifica la escena virtual de acuerdo con el parámetro de perspectiva, de manera que consigue la fusión impecable de la escena virtual codificada y la imagen capturada. Puede aplicarse a la visualización virtual cuando el dispositivo de cámara se está moviendo.
Si se observa la figura 6, la presente solicitud proporciona además un sistema de procesamiento de imágenes 10. En algunas realizaciones, el sistema de procesamiento de imágenes 10 incluye un dispositivo de cámara 110, una unidad de adquisición de posición 120, una unidad de cálculo 130, un procesador 140, una unidad de codificación 150 y una unidad de reemplazo 160. Puede entenderse que, en relación con las realizaciones del método de procesamiento de imágenes virtuales antes mencionado, el sistema de procesamiento de imágenes 10 puede incluir una parte o todas las unidades o dispositivos que se muestran en la figura 5, y las funciones de las unidades o dispositivos se presentarán específicamente a continuación. Es preciso tener en cuenta que los mismos sustantivos, los sustantivos relacionados y sus explicaciones específicas en las realizaciones anteriores del método de procesamiento de imágenes virtuales también pueden aplicarse a la siguiente presentación de las funciones de las unidades o dispositivos, por lo que no se repetirán a continuación con el fin de evitar la redundancia.
El dispositivo de cámara 110 está configurado para capturar una imagen.
La unidad de adquisición de posición 120 está configurada para adquirir una posición en tiempo real y una posición de referencia del dispositivo de cámara 110.
La unidad de cálculo 130 está configurada para calcular un parámetro de movimiento de la posición en tiempo real de la cámara con respecto a la posición de referencia.
En otras realizaciones, el dispositivo de cámara 110 puede estar provisto de un giroscopio, y puede usarse un chip del giroscopio como la unidad de cálculo 130, y el parámetro de movimiento de la posición en tiempo real de la cámara con respecto a la posición de referencia se calcula en tiempo real mediante el chip del giroscopio. El procesador 140 está configurado para virtualizar la posición y la postura de un dispositivo de cámara virtual de acuerdo con el parámetro de movimiento y calcular un parámetro de perspectiva de una escena por reemplazar con respecto al dispositivo de cámara virtual.
La escena por reemplazar hace referencia a un contenido visual de visualización visualizada en un soporte específico y capturada por el dispositivo de cámara 110.
En algunas realizaciones, el sistema comprende además una unidad de adquisición de parámetro 170 configurada para adquirir un parámetro estático del dispositivo de cámara 110.
El parámetro estático del dispositivo de cámara 110 incluye al menos uno de entre un paneo de la cámara, una inclinación de la cámara, un enfoque de una lente y un zoom de la lente. La unidad de adquisición de parámetro 170 puede disponerse en el dispositivo de cámara 110.
En una realización, el procesador 140 está además configurado para:
calcular de forma exhaustiva una posición real del dispositivo de cámara en función de la posición de referencia y el parámetro de movimiento del dispositivo de cámara, y determinar la posición real del dispositivo de cámara como la posición del dispositivo de cámara virtual;
calcular la postura del dispositivo de cámara virtual en función del parámetro estático.
En algunas realizaciones, el procesador 140 está además configurado para:
identificar la posición de la escena por reemplazar en la imagen capturada; y
calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual de acuerdo con la posición y la postura del dispositivo de cámara virtual.
La unidad de codificación 150 está configurada para codificar una escena virtual.
La unidad de reemplazo 160 está configurada para reemplazar la escena por reemplazar con la escena virtual.
En algunas realizaciones, el sistema incluye además una unidad de actualización de posición 180 configurada para actualizar la posición de referencia del dispositivo de cámara 110.
Una realización de la presente solicitud proporciona además un medio de almacenamiento legible por ordenador en el que hay almacenado un programa de ordenador, en donde cuando un procesador ejecuta el programa de ordenador, este pone en práctica el método de procesamiento de imágenes virtuales de acuerdo con cualquiera de las realizaciones antes mencionadas.
Cuando los componentes/módulos/unidades integrados en el sistema de imagen/dispositivo de ordenador son implementados en una forma de unidades funcionales de software y se venden o se usan como productos independientes, pueden almacenarse en un medio de almacenamiento legible por ordenador. A partir de esta consideración, todos o parte de los procesos de las realizaciones antes mencionadas que se implementan en la presente solicitud pueden también completarse mediante un programa de ordenador que instruye a un hardware relacionado. El programa de ordenador puede estar almacenado en un medio de almacenamiento legible por ordenador; cuando es ejecutado por un procesador, el programa de ordenador puede implementar los pasos de las realizaciones del método anterior. El programa de ordenador incluye un código de programa de ordenador, y el código de programa de ordenador puede estar presente en forma de un código fuente, un código objeto, un archivo ejecutable o un determinado archivo intermedio. El medio de almacenamiento legible por ordenador puede incluir: cualquier entidad o dispositivo capaz de portar un código de programa de ordenador, un medio de grabación, un disco U, un disco duro móvil, un disco magnético, un disco óptico, una memoria de ordenador, una ROM (memoria de solo lectura), una RAM (memoria de acceso aleatorio), una señal portadora eléctrica, una señal de telecomunicaciones y un medio de distribución de software. Es preciso tener en cuenta que el contenido que contiene el medio legible por ordenador puede añadirse o reducirse de forma apropiada de acuerdo con los requisitos de la legislación y la práctica en materia de patentes de una jurisdicción. Por ejemplo, en algunas jurisdicciones, el medio legible por ordenador excluye la señal portadora eléctrica y la señal de telecomunicaciones de acuerdo con la legislación y la práctica en materia de patentes.
En varias realizaciones específicas proporcionadas por la presente solicitud, debe entenderse que el sistema y el método divulgados pueden implementarse de otras formas. Por ejemplo, las realizaciones del sistema antes descrito son solo esquemáticas. Por ejemplo, la división de las unidades es solo una división lógica de funciones, y puede existir otra forma de división en una implementación real.
Además, los módulos/unidades funcionales de las realizaciones de la presente solicitud pueden integrarse en el mismo módulo/unidad de procesamiento, o cada módulo/unidad de procesamiento puede existir por separado físicamente, o dos o más módulos/unidades pueden integrarse en el mismo modelo/unidad. El módulo/unidad integrada anterior puede implementarse en forma de hardware o en forma de módulos/unidades funcionales de hardware y software.
Para los expertos en la técnica, resultará obvio que las realizaciones de la presente invención no se limitan a los detalles de las realizaciones proporcionadas anteriormente a modo de ejemplos, y las realizaciones de la presente solicitud se pueden implementar en otras formas específicas sin abandonar las características básicas de las realizaciones de la presente solicitud. Por consiguiente, las realizaciones habrán de considerarse como ejemplares y no como realizaciones excluyentes en ningún tipo de aspecto. El alcance de las realizaciones de la presente solicitud queda definido por las reivindicaciones adjuntas más que por la descripción anterior; por consiguiente, todos los cambios que queden dentro del significado y el alcance de las reivindicaciones habrán de incluirse en las realizaciones de la presente solicitud. Ninguno de los signos de referencia que puedan utilizarse en las reivindicaciones deberá interpretarse como limitativo de las reivindicaciones relacionadas. Así pues, debe quedar claro que la palabra «incluir» no excluye otras unidades ni pasos, y que la forma singular no excluye la forma plural. La pluralidad de unidades, módulos o dispositivos mencionada en las reivindicaciones del sistema, dispositivo o terminal también puede ser implementada a través de software o hardware mediante la misma unidad, módulo o dispositivo. Las palabras como «primero/a» y «segundo/a» se utilizan para indicar nombres, pero no indican un orden particular.
Las características técnicas de las realizaciones antes descritas pueden combinarse de forma arbitraria. Con el fin de simplificar la descripción, no se han descrito todas las combinaciones posibles de las características técnicas indicadas en las realizaciones anteriores. No obstante, siempre que no exista contradicción en las combinaciones de estas características técnicas, deberán considerarse dentro del alcance descrito por la presente memoria descriptiva.
Las realizaciones antes mencionadas solo describen algunas implementaciones de la presente solicitud, y sus descripciones son relativamente específicas y detalladas. No obstante, no deberá entenderse que limitan de ningún modo el alcance de protección de patente de la solicitud. Por consiguiente, el alcance de protección de patente de la presente solicitud habrá de estar sujeto a las reivindicaciones adjuntas.

Claims (10)

REIVINDICACIONES
1. Método de procesamiento de imágenes virtuales que está configurado para llevar a cabo la virtualización de una imagen capturada, en donde el método comprende los siguientes pasos:
adquirir (S102) una posición de referencia y una posición en tiempo real de un dispositivo de cámara (110); calcular (S104) un parámetro de movimiento de la posición en tiempo real con respecto a la posición de referencia;
virtualizar (S106) la posición y la postura del dispositivo de cámara virtual de acuerdo con el parámetro de movimiento y calcular un parámetro de perspectiva de una escena por reemplazar con respecto al dispositivo de cámara virtual virtualizado;
codificar (S108) una escena virtual de acuerdo con el parámetro de perspectiva; y
reemplazar (S110) la escena por reemplazar con la escena virtual codificada;
caracterizado por que
el paso de calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual comprende:
identificar (S1065) una posición de la escena por reemplazar en una imagen capturada a través de: insertar cuadros virtuales (200) entre cuadros de visualización normales (100) para que se visualicen periódicamente los cuadros de visualización normales (100) y los cuadros virtuales (200) en un soporte en el que se va a reemplazar la escena; y
configurar un tiempo de obturador del dispositivo de cámara (110) para que esté sincronizado con un tiempo de visualización del cuadro virtual (200), y controlar una proporción de intervalo de tiempo entre los cuadros de visualización normales (100) y los cuadros virtuales (200) con el fin de permitir que los cuadros de visualización normales (100) sean recibidos por los ojos de un observador y solo los cuadros virtuales sean capturados por el dispositivo de cámara (110); y
calcular (S1067) el parámetro de perspectiva de la escena por reemplazar de acuerdo con la posición y la postura del dispositivo de cámara virtual,
en donde la posición y la postura del dispositivo de cámara virtual para una imagen que se está procesando en el momento se consideran como una posición inicial del dispositivo de cámara virtual, y la posición y la postura del dispositivo de cámara virtual para la siguiente o las siguientes imágenes son virtualizadas según la posición inicial del dispositivo de cámara virtual y el parámetro de movimiento del dispositivo de cámara (110).
2. Método de procesamiento de imágenes virtuales de acuerdo con la reivindicación 1, en donde el dispositivo de cámara (110) está provisto de un giroscopio, y el parámetro de movimiento de la posición en tiempo real del dispositivo de cámara (110) con respecto a la posición de referencia en las tres direcciones X, Y y Z se calcula en tiempo real a través del giroscopio.
3. Método de procesamiento de imágenes virtuales de acuerdo con las reivindicaciones 1 o 2, en donde el paso de virtualizar (S106) la posición y la postura del dispositivo de cámara virtual de acuerdo con el parámetro de movimiento comprende:
adquirir (S1061) un parámetro estático del dispositivo de cámara (110);
calcular (S1063) la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con un algoritmo preestablecido;
en donde el parámetro estático del dispositivo de cámara (110) comprende al menos uno de entre una paneo de la cámara, una inclinación de la cámara, una enfoque de una lente y un zoom de la lente.
4. Método de procesamiento de imágenes virtuales de acuerdo con la reivindicación 3, en donde el paso de calcular (S1063) la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con el algoritmo preestablecido comprende: calcular de forma exhaustiva una posición real del dispositivo de cámara (110) en función de la posición de referencia y el parámetro de movimiento del dispositivo de cámara (110), y determinar la posición real del dispositivo de cámara (110) como la posición del dispositivo de cámara virtual;
calcular la postura del dispositivo de cámara virtual en función del parámetro estático.
5. Método de procesamiento de imágenes virtuales de acuerdo con la reivindicación 3, en donde el paso de calcular (S1063) la posición y la postura del dispositivo de cámara virtual mediante la posición de referencia, el parámetro de movimiento y el parámetro estático de acuerdo con el algoritmo preestablecido comprende: hacer un cálculo exhaustivo en función de la posición de referencia y el parámetro de movimiento del dispositivo de cámara (110) con el fin de obtener la posición real del dispositivo de cámara (110) durante la captura; calcular y predecir una tendencia de movimiento del dispositivo de cámara (110) en función del parámetro de movimiento;
calcular la posición del dispositivo de cámara virtual a través de la posición real y la tendencia de movimiento del dispositivo de cámara (110);
calcular la postura del dispositivo de cámara virtual en función del parámetro estático.
6. Método de procesamiento de imágenes virtuales de acuerdo con cualquiera de las reivindicaciones 3-5, en donde el paso de calcular el parámetro de perspectiva de la escena por reemplazar con respecto al dispositivo de cámara virtual comprende:
calcular (S1067) el parámetro de perspectiva de la escena por reemplazar de acuerdo con la posición y la postura del dispositivo de cámara virtual;
en donde el parámetro de perspectiva comprende al menos uno de entre la posición, el tamaño y la distorsión.
7. Sistema de procesamiento de imágenes (10), que comprende:
un dispositivo de cámara (110) configurado para capturar una imagen;
una unidad de adquisición de posición (120) configurada para adquirir una posición en tiempo real y una posición de referencia del dispositivo de cámara (110);
una unidad de cálculo (130) configurada para calcular un parámetro de movimiento de la posición en tiempo real del dispositivo de cámara (110) con respecto a la posición de referencia;
un procesador (140) configurado para virtualizar una posición y una postura de un dispositivo de cámara virtual de acuerdo con el parámetro de movimiento, y para calcular un parámetro de perspectiva de una escena por reemplazar con respecto al dispositivo de cámara virtual;
una unidad de codificación (150) configurada para codificar una escena virtual; y
una unidad de reemplazo (160) configurada para reemplazar la escena por reemplazar con la escena virtual, caracterizado por que
el procesador (140) está configurado para identificar una posición de la escena por reemplazar en una imagen capturada a través de las siguientes operaciones, que comprenden:
insertar cuadros virtuales (200) entre cuadros de visualización normales (100) para que se visualicen periódicamente los cuadros de visualización normales (100) y los cuadros virtuales (200) en un soporte en el que se va a reemplazar la escena; y
configurar un tiempo de obturador del dispositivo de cámara (110) para que esté sincronizado con un tiempo de visualización del cuadro virtual (200), y controlar una proporción de intervalo de tiempo entre los cuadros de visualización normales (100) y los cuadros virtuales (200) con el fin de permitir que los cuadros de visualización normales (100) sean recibidos por los ojos de un observador y solo los cuadros virtuales sean capturados por el dispositivo de cámara (110); y
calcular el parámetro de perspectiva de la escena por reemplazar de acuerdo con la posición y la postura del dispositivo de cámara virtual,
en donde la posición y la postura del dispositivo de cámara virtual para una imagen que se está procesando en el momento se considera una posición inicial del dispositivo de cámara virtual, y la posición y la postura del dispositivo de cámara virtual para la siguiente o las siguientes imágenes pueden ser virtualizadas de acuerdo con una posición inicial del dispositivo de cámara virtual y el parámetro de movimiento del dispositivo de cámara (110).
8. Sistema de procesamiento de imágenes (10) de acuerdo con la reivindicación 7, en donde el dispositivo de cámara (110) está provisto de un giroscopio, y un chip del giroscopio se usa como la unidad de cálculo (130).
9. Sistema de procesamiento de imágenes (10) de acuerdo con las reivindicaciones 7 u 8, en donde el sistema comprende, además: una unidad de adquisición de parámetro (170) configurada para adquirir un parámetro estático del dispositivo de cámara (110).
10. Un medio de almacenamiento legible por ordenador que tiene almacenado en su interior un programa de ordenador, en donde cuando un procesador (140) ejecuta el programa de ordenador, este pone en práctica el método de procesamiento de imágenes virtuales de acuerdo con cualquiera de las reivindicaciones 1-6.
ES18899867T 2018-01-15 2018-07-17 Virtual image processing method, image processing system, and storage medium Active ES3035820T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810033430.1A CN108289220B (zh) 2018-01-15 2018-01-15 虚拟图像处理方法、图像处理系统及存储介质
PCT/CN2018/095890 WO2019136950A1 (zh) 2018-01-15 2018-07-17 虚拟图像处理方法、图像处理系统及存储介质

Publications (1)

Publication Number Publication Date
ES3035820T3 true ES3035820T3 (en) 2025-09-09

Family

ID=62835330

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18899867T Active ES3035820T3 (en) 2018-01-15 2018-07-17 Virtual image processing method, image processing system, and storage medium

Country Status (6)

Country Link
US (1) US11354816B2 (es)
EP (1) EP3745700B1 (es)
JP (1) JP2020534724A (es)
CN (1) CN108289220B (es)
ES (1) ES3035820T3 (es)
WO (1) WO2019136950A1 (es)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170441B2 (ja) * 2018-07-12 2022-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN109045694B (zh) * 2018-08-17 2020-01-10 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、终端及存储介质
CN109040528B (zh) * 2018-09-30 2021-07-23 深圳市励得数码科技有限公司 演播室中摄像机的运动状态确定方法、装置及演播室系统
CN110377861B (zh) * 2019-07-23 2023-11-07 腾讯科技（深圳）有限公司 场景间元素互动方法、装置、存储介质和计算机设备
CN111737518B (zh) * 2020-06-16 2024-07-02 浙江大华技术股份有限公司 基于三维场景模型的图像展示方法、装置及电子设备
CN112312041B (zh) * 2020-10-22 2023-07-25 北京虚拟动点科技有限公司 基于拍摄的图像校正方法、装置、电子设备及存储介质
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
CN113766119B (zh) * 2021-05-11 2023-12-05 腾讯科技（深圳）有限公司 虚拟形象显示方法、装置、终端及存储介质
CN113674172B (zh) 2021-08-17 2023-11-28 上海交通大学 一种图像处理方法、系统、装置及存储介质
CN113923354B (zh) * 2021-09-30 2023-08-01 卡莱特云科技股份有限公司 基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统
CN116546304B (zh) * 2022-05-13 2025-11-07 腾讯数码（深圳）有限公司 一种参数配置方法、装置、设备、存储介质及产品
CN115761114B (zh) * 2022-10-28 2024-04-30 如你所视(北京)科技有限公司 视频生成方法、装置及计算机可读存储介质
CN117119294B (zh) * 2023-08-24 2024-08-20 腾讯科技（深圳）有限公司 虚拟场景的拍摄方法、装置、设备、介质和程序
CN117097878B (zh) * 2023-10-16 2024-07-09 杭州穿石物联科技有限责任公司 一种基于超低延迟视频传输技术的云控交互系统
CN118172471B (zh) * 2024-03-15 2025-11-04 中国传媒大学 虚拟相机行为生成方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5533348A (en) * 1994-08-26 1996-07-09 American Standard Inc. Average air temperature sensor
GB2305051B (en) * 1995-09-08 2000-06-21 Orad Hi Tec Systems Ltd Method and apparatus for automatic electronic replacement of billboards in a video image
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
AU2853099A (en) 1998-03-18 1999-10-11 Nippon Television Network Corporation Image replacing system and method therefor
JP2004227332A (ja) * 2003-01-23 2004-08-12 Hitachi Ltd 情報表示方法
GB2437575A (en) * 2006-04-27 2007-10-31 Andrew Peter Phelan Audience-specific image display
MA34597B1 (fr) * 2010-09-20 2013-10-02 Fraunhofer Ges Forschung Procédé de distinction entre l'arrière-plan et le premier plan d'une scène et procédé de remplacement d'un arrière-plan dans les images d'une scène
GB201208088D0 (en) 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US20140002581A1 (en) 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
CN103841299A (zh) 2012-11-23 2014-06-04 西安天动数字科技有限公司 虚拟演播室系统
CN103226838A (zh) 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN105023294B (zh) * 2015-07-13 2018-01-19 中国传媒大学 结合传感器与Unity3D的定点移动增强现实方法
CN105472399B (zh) * 2015-11-20 2019-04-05 深圳市奥拓电子股份有限公司 一种转播视频与现场显示视频分离方法及装置
CN106296683A (zh) 2016-08-09 2017-01-04 深圳迪乐普数码科技有限公司 一种虚拟屏幕墙的生成方法及终端
CN106412459B (zh) * 2016-09-30 2019-03-08 佛山市青松科技股份有限公司 一种图像显示系统及方法
CN107170047A (zh) * 2017-04-13 2017-09-15 北京小鸟看看科技有限公司 虚拟现实场景的更新方法、设备及虚拟现实设备
CN107231531A (zh) 2017-05-23 2017-10-03 青岛大学 一种网络虚拟现实技术与实拍结合影视制作系统
US10914957B1 (en) * 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
CN107229335A (zh) * 2017-06-01 2017-10-03 北京小鸟看看科技有限公司 一种虚拟现实场景的更换方法、装置和头戴显示设备
CN107158695A (zh) * 2017-06-16 2017-09-15 苏州蜗牛数字科技股份有限公司 一种现实与虚拟场景混合展现的方法及系统
CN107229355A (zh) 2017-06-20 2017-10-03 柳州易农科技有限公司 一种用于家庭使用的无线鼠标

Also Published As

Publication number Publication date
WO2019136950A1 (zh) 2019-07-18
CN108289220B (zh) 2020-11-27
EP3745700B1 (en) 2025-04-23
CN108289220A (zh) 2018-07-17
US20200349734A1 (en) 2020-11-05
JP2020534724A (ja) 2020-11-26
EP3745700A4 (en) 2021-10-13
EP3745700A1 (en) 2020-12-02
US11354816B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
ES3035820T3 (en) Virtual image processing method, image processing system, and storage medium
ES2843477T3 (es) Método y sistema para fusionar flujos de vídeo
US10375382B2 (en) System comprising multiple digital cameras viewing a large scene
ES2306724T3 (es) Procedimiento y sistema para medir la duracion de un area incluida en un flujo de imagen.
US7468778B2 (en) Virtual studio system
US9325934B2 (en) Image processing system and method
ES2743491T3 (es) Superposición digital de una imagen con otra imagen
US7385600B2 (en) Three dimensional display method, system and apparatus
ES2759561T3 (es) Método y aparato para la manipulación dinámica de contenido de imagen
CN109074681A (zh) 信息处理装置、信息处理方法和程序
WO2016108720A1 (ru) Способ и устройство для отображения трехмерных объектов
Berning et al. A study of depth perception in hand-held augmented reality using autostereoscopic displays
CN113692734A (zh) 用于采集和投影图像的系统和方法，以及该系统的应用
CN101999139A (zh) 用于产生和/或更新背景对象模型的纹理的方法、用于实施所述方法的视频监视系统以及计算机程序
CN2667827Y (zh) 一种准全景环绕式影视播放系统
TW201227159A (en) Method of taking pictures for generating three-dimensional image data
CN106773080A (zh) 立体显示装置及显示方法
CN108509173A (zh) 图像展示系统及方法、存储介质、处理器
US20200387740A1 (en) Method and apparatus for fusing object into panoramic video
US20080231763A1 (en) System and method for displaying and capturing images
JP2017151100A (ja) ビリヤードテーブル照明及びゲームプレイモニタ
US20210306611A1 (en) Multiview Image Capture and Display System
CN108280882B (zh) 一种在虚拟显示空间植入ar前景物品位置的方法及系统
Routhier Virtually perfect: factors affecting the quality of a VR experience and the need for a VR content quality standard
KR102652371B1 (ko) 동작 배우기 동영상 제작 시스템