ES2843876T3 - Sistema para producir imágenes aumentadas - Google Patents

Sistema para producir imágenes aumentadas Download PDF

Info

Publication number
ES2843876T3
ES2843876T3 ES17786883T ES17786883T ES2843876T3 ES 2843876 T3 ES2843876 T3 ES 2843876T3 ES 17786883 T ES17786883 T ES 17786883T ES 17786883 T ES17786883 T ES 17786883T ES 2843876 T3 ES2843876 T3 ES 2843876T3
Authority
ES
Spain
Prior art keywords
module
animation
data
control data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17786883T
Other languages
English (en)
Inventor
Ralf Dragon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uniqfeed AG
Original Assignee
Uniqfeed AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uniqfeed AG filed Critical Uniqfeed AG
Application granted granted Critical
Publication of ES2843876T3 publication Critical patent/ES2843876T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—Two-dimensional [2D] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Sistema (10) para la generación de imágenes enriquecidas, que comprende: al menos un dispositivo (12) de captación de imágenes, al menos un modulo (14) de análisis conectado con el dispositivo (12) de captación de imágenes, al menos un dispositivo (18) de visualización conectado con el modulo (14) de análisis, estando el dispositivo (12) de captación de imágenes configurado para transferir imágenes, en particular, datos de imagen, al modulo (14) de análisis, y estando el modulo (14) de análisis configurado para transferir datos (S2) de control al dispositivo (18) de visualización, comprendiendo los datos (S2) de control los datos de imagen y datos de instrucción para la visualización de al menos un enriquecimiento en una imagen, estando el dispositivo (18) de visualización configurado para, en base a los datos (S2) de control, reproducir una imagen captada y un enriquecimiento asociado, comprendiendo el sistema (10) además un modulo (16) de ampliación, el cual está dispuesto entre el modulo (14) de análisis y el dispositivo (18) de visualización en la ruta de transmisión, estando el modulo (14) de análisis configurado además para generar al menos una información (R2) de fiabilidad para cada una de las imágenes, incluyendo la información (R2) de fiabilidad datos acerca de un componente del sistema, el cual detecta y/o calcula la relación geométrica o radiométrica entre el dispositivo (12) de captación de imágenes y el entorno, y estando el modulo (16) de ampliación configurado para recibir los datos (S2) de control y la información (R2) de fiabilidad desde el modulo (14) de análisis y, en base a los datos (S2) de control y la información (R2) de fiabilidad, generar datos (S2b) de control modificados y transferirlos al dispositivo (18) de visualización, presentando el modulo (16) de ampliación un modulo (20) de estado y un modulo (22) de animación, estando el modulo (20) de estado configurado para recibir la información (R2) de fiabilidad, para seleccionar una información (Z) de estado de varias, en particular, cuatro, informaciones de estado y transmitir la información (Z) de estado seleccionada al modulo(22) de animación.

Description

DESCRIPCIÓN
Sistema para producir imágenes aumentadas
La presente invención se refiere a un sistema para crear imágenes enriquecidas, que comprende al menos un dispositivo de captación de imágenes, al menos un modulo de análisis conectado con el dispositivo de captación de imágenes, al menos un dispositivo de visualización conectado con el modulo de análisis, estando el dispositivo de captación de imágenes configurado para transferir imágenes, en particular, datos de imagen, al modulo de análisis, y estando el modulo de análisis configurado para transferir datos de control al dispositivo de visualización, comprendiendo los datos de control los datos de imagen y datos de instrucción para la visualización de al menos un enriquecimiento en una imagen, estando el dispositivo de visualización configurado para, en base a los datos de control, reproducir una imagen capturada y un enriquecimiento asociado.
Los sistemas de este tipo entran en aplicación, en particular, en denominados sistemas de realidad aumentada. Estos comprenden, por lo general, una cámara (dispositivo de captación de imágenes), una unidad de procesamiento (modulo de análisis) y una pantalla (dispositivo de visualización). La unidad de procesamiento determina informaciones acerca de la relación geométrica y radiométrica entre cámara y entorno, de modo que ésta, a continuación, puede insertar objetos con aspecto realista en la escena. La relación geométrica, es decir, la posición de la cámara en el espacio, puede, por ejemplo, determinarse mediante seguidores de infrarrojos externos, mediante marcadores visibles en la escena o mediante sensores de aceleración o sensores de pasos. La relación radiométrica, es decir, la diferencia de iluminación entre el entorno captado y una imagen generada artificialmente, puede, por ejemplo, determinarse mediante comparaciones de intensidad entre una plantilla y la captación actual. Sin embargo, en caso de que en un sistema conocido de este tipo se produzcan dificultades en un componente, que detecta o bien calcula la relación geométrica o radiométrica entre cámara y entorno, o no se puede generar una foto realista por otro motivo, normalmente, se genera una imagen que no parece realista, o una imagen en la que no se superpone una realidad aumentada. En ambos casos, resulta un resultado insuficiente, es decir, en las imágenes representadas mediante el dispositivo de visualización. "BRIDGING THE GAPS: HYBRID TRACKING FOR ADAPTIVE MOBILE AUGMENTED REALITY" de DREXEL HALLAWAY et al, da a conocer un sistema de realidad aumentada, el cual visualiza diferentes datos virtuales dependiendo de la precisión del seguimiento de posición del usuario.
La misión de la invención es proporcionar un sistema para el enriquecimiento de imágenes, que posibilite evitar las desventajas de arriba. La invención se define mediante las reivindicaciones independientes.
Para la solución de esta misión se propone que el sistema comprenda, además, un modulo de ampliación, el cual está dispuesto entre el modulo de análisis y el dispositivo de visualización en la ruta de transferencia, que el modulo de análisis está además configurado para generar al menos una información de fiabilidad para cada una de las imágenes, que el modulo de ampliación está configurado para recibir los datos de control y la información de fiabilidad desde el modulo de análisis y, en base a los datos de control y la información de fiabilidad, generar datos de control y transmitirlos al dispositivo de visualización.
El modulo de ampliación posibilita, en este caso, por medio de la información de fiabilidad, tener en cuenta o determinar, por ejemplo, tolerancias de medición de sensores, en qué estado está un sistema de sensores (fallo/en funcionamiento o similares). De manera correspondiente, por medio del modulo de ampliación, los datos de control que normalmente se transmiten directamente al dispositivo de visualización, pueden adaptarse en caso necesario y cambiarse o bien modificarse, de modo que al dispositivo de visualización pueden transferirse datos de control modificados y visualizarse allí, los cuales representan una representación con buen resultado, en particular, en relación al enriquecimiento en las imágenes captadas por el dispositivo de captación de imágenes y reproducidas por medio del dispositivo de visualización.
El término "enriquecimiento" aquí utilizado debe designar una especie de mejora o bien cambio del reflejo de la realidad. Se piensa, por ejemplo, en una superposición de un mensaje publicitario redactado en la realidad en lengua inglesa en una banda de un campo de deporte con una publicidad igual o diferente en otra lengua. El término "enriquecimiento" aquí utilizado, en la jerga técnica también es conocido como "aumentación", que se orienta al término "augment" inglés para mejorar, intensificar, enriquecer.
El módulo de ampliación presenta un modulo de estado y un modulo de animación, estando el modulo de estado configurado para recibir la información de fiabilidad, seleccionar una información de estado de varias, en particular, cuatro, informaciones de estado y trasmitir la información de estado seleccionada al modulo de animación. En este caso, el modulo de animación puede estar configurado para recibir los datos de control y, en base a la información de estado, generar los datos de control modificados
El modulo de animación puede estar además configurado para, en función de la información de estado, transferir los datos de imagen y datos de instrucción para el enriquecimiento como datos de control modificados, lo que corresponde a un estado activado para enriquecimientos, o transferir solo los datos de imagen como datos de control modificados, lo que corresponde a un estado desactivado para enriquecimientos,
o transferir una animación de transición como parte de los datos de control modificados, seleccionándose la animación de transición al cambiar entre el estado activado y el estado desactivado.
Preferiblemente, la animación de transición se obtiene de manera que los datos reales captados mediante el dispositivo de captación de imágenes y los datos de un enriquecimiento a ser mostrado se procesan y se visualizan de forma integrada. De manera correspondiente, mediante la integración de la realidad en una animación de transición se puede alcanzar un grado de realismo, en el cual para un observador del dispositivo de visualización no es reconocible si el sistema visualiza actualmente un enriquecimiento o representa imágenes reales sin enriquecimiento.
El modulo de animación puede presentar un modulo de realización, que está configurado para crear un animación de transición, la cual presenta una determinada cantidad de imágenes, y almacenarla en un búfer de animación. Además, el modulo de animación puede presentar una memoria de animación, la cual está configurada para almacenar animaciones de transición predeterminadas en forma de instrucciones legibles por computadora. Por lo tanto, en la memoria de animación pueden proporcionarse animaciones de transición preestablecidas o bien programadas listas. Estas animaciones de transición almacenadas pueden leerse, en función de los datos de control, en particular, la información de fiabilidad y la información de estado, desde la memoria de animación y combinarse con datos de control, de modo que los datos de control modificados incluyen la animación de transición seleccionada para posibilitar un cambio entre estado activado y estado desactivado.
El modulo de animación puede estar además configurado para, en el estado desactivado, eliminar de los datos de control proporcionados por el modulo de análisis, datos de instrucción para un enriquecimiento y transferir solo los datos de imagen como datos de control modificados al dispositivo de visualización.
Además, el modulo de animación puede estar configurado para modificar las señales de control del modulo de análisis conforme a la información de estado, de manera que con un cambio entre el estado activado y el estado desactivado se inserta de forma fluida una animación de transición.
La animación de transición puede estar realizada como banda rotativa virtual o como ventana virtual o similares. Hay que señalar que el cambio arriba descrito entre estado activado y estado desactivado comprende un cambio en ambas direcciones, por tanto, desde el estado activado al estado desactivado y desde el estado desactivado al estado activado.
La invención se refiere además también a la utilización de un sistema arriba descrito en un sistema de transmisión de televisión o/y en un sistema de visualización de publicidad virtual o/y en un sistema de realidad aumentada. Para la utilización de un sistema aquí descrito en el marco de un sistema de transmisión de televisión, se hace referencia a la solicitud paralela, presentada el mismo día, con el título "Fernsehübertragungssystem zur Erzeugung angereicherter Bilder" de la misma solicitante. En particular, se hace referencia al modulo de multiplicación y al modulo de control descritos ahí con referencia a las Figuras 4 a 6, en los cuales puede estar integrado un sistema de acuerdo con la presente solicitud.
A continuación, la invención se describe a modo de ejemplo y no limitante con referencia a las figuras adjuntas. La Fig. 1 muestra una representación simplificada y esquemática de un sistema para la generación de imágenes enriquecidas.
La Fig. 2 muestra de forma esquemática y simplificada un modulo de ampliación del sistema.
La Fig. 3 muestra de forma esquemática y simplificada posibles estados y transiciones de estado asociadas.
La Fig. 4 muestra de forma esquemática y simplificada el modo de funcionamiento de un modulo de animación del modulo de ampliación.
La Fig. 5 muestra de forma esquemática y simplificada el transcurso de una animación de transición mediante una banda rotativa virtual.
La Fig. 1 muestra de forma simplificada y esquemática un diagrama de un sistema 10 para la generación de imágenes enriquecidas. El sistema comprende un dispositivo de captación de imágenes o bien cámara 12, un modulo 14 de análisis, un modulo 16 de ampliación y un dispositivo de visualización o bien pantalla 18. El dispositivo 12 de captación de imágenes transmite imágenes de cámara (y, dado el caso, también datos de sensor adicionales) como datos S1 de cámara al modulo 14 de análisis. El modulo 14 de análisis procesa estos datos S1 de cámara y genera a partir de ellos datos S2 de control o bien instrucciones S2 de control. Los datos de control o bien instrucciones S2 de control de este tipo pueden ser, por ejemplo, instrucciones de OpenGL y texturas de OpenGL. Los datos S2 de control se envían al modulo 16 de ampliación. El modulo 16 de ampliación está configurado para modificar los datos S2 de control. Se amplían los datos de sensor o bien datos S1 de cámara por el modulo 14 de análisis con informaciones R2 de fiabilidad, por ejemplo, tolerancias de medición de sensores. El modulo 16 de ampliación genera, a partir de los datos S2 de control y las informaciones R2 de fiabilidad, datos S2b de control modificados para controlar el dispositivo 18 de visualización.
Con referencia a la Fig. 2, a continuación, se describe el modulo 16 de ampliación. El modulo 16 de ampliación comprende un componente V, el cual está configurado para transformar la información R2 de fiabilidad o bien una señal R2 de fiabilidad en una señal OK(t) binaria. En este caso, la transformación puede basarse, por ejemplo, en una comparación de valor umbral, para decidir qué valor binario se concede para la señal OK. La señal OK(t) indica, si los datos S2(t) de control son adecuados para ser visualizados. La señal OK se transmite por el componente V a un modulo 20 de estado, el cual también puede denominarse gestor de estados.
El modulo 20 de estados selecciona uno de varios, en el presente ejemplo de cuatro, posibles estados Z(t) y transmite este estado Z(t) a un modulo 22 de animación, el cual también puede denominarse gestor de animaciones. La selección de un estado Z(t) se basa, en este caso, en estados anteriores, como, por ejemplo, un estado Z(t-N). Estados anteriores, como, por ejemplo, Z(t-N), Z(t-N+1), etc., están almacenados en el búfer PZ de estados y pueden, dado el caso, consultarse por el modulo 20.
El modulo 22 de animación recibe los datos S2 de control, los cuales pueden retrasarse o bien haber sido retrasados mediante un búfer PS en hasta N ciclos. Además, el modulo 22 de animación recibe el estado Z(t) como magnitud de entrada o bien entrada, es decir, el estado que debe alcanzarse en N ciclos.
El modulo 20 de estado determina el estado del modulo 22 de animación. En el presente ejemplo se diferencia cuatros estado Z(t), los cuales influyen sobre la salida de datos S2b(t) de control modificados del modulo 22 de animación.
Los estados pueden describirse, en este caso, mediante dos variables EN y TR, siendo EN una representación, de si están activados o desactivados enriquecimientos, y siendo TR una representación, si debe reproducirse una animación de transición al cambiar entre un estado activado y un estado desactivado.
Los estados son
Z = 1, siendo EN = 1 y TR = 0, y el modulo 22 de animación debe emitir datos S2(t-N) de control sin modificar, es decir, los enriquecimientos (aumentos) están activados (estado activado);
Z = 2, siendo EN = 0 y TR = 0, y el modulo 22 de animación debe emitir imágenes originales a partir de los datos S2(t-N) de control como datos S2b de control modificados, sin superposición de enriquecimientos, es decir, los enriquecimientos (aumentos) están desactivados (estado desactivado);
Z = 3, siendo EN = 1 y TR = 1, y el modulo 22 de animación debe reproducir una animación de transición partiendo de un estado (Z = 1) activado a un estado (Z = 2) activado; y
Z = 4, siendo EN = 0 y TR = 1, y el modulo 22 de animación debe reproducir una animación de transición partiendo de un estado (Z = 2) desactivado a un estado (Z = 1) activado.
Los estados Z(t) = 1 a 4 y sus transiciones están representados en la Fig. 3 a modo de ejemplo como diagrama. La desactivación de la visualización de enriquecimientos es, en este caso, una transición que dura N ciclos desde Z = 1 y OK = 0 (datos S2(t) no son adecuados para la visualización), a través de Z = 3 a Z = 2. La activación de la visualización de enriquecimientos es una transición que dura N ciclos desde Z = 2 y OK = 1 (datos S2(t) son adecuados para la visualización), a través de Z = 4 a Z = 1.
En la Fig. 4 está representado esquemáticamente un diagrama para el modo de funcionamiento del modulo 22 de animación. La tarea del modulo 22 de animación es modificar las señales S2 de control en función de o bien conforme al estado Z(t), de modo que en este cambio de estado se pueden insertar animaciones de transición de forma fluida y que el dispositivo 18 de visualización, en el estado Z = 2 (estado desactivado), visualiza las imágenes originales captadas por el dispositivo 12 de captación.
Las animaciones de transición, en este caso, no están configuradas o bien realizadas solo de manera que un enriquecimiento se superpone o bien oculta lentamente más y más. Más bien, mediante el modulo 16 de ampliación, en particular, mediante el modulo 22 de animación, se pueden modificar instrucciones de control. A causa de esto, se pueden crear animaciones de transición selectivas, de modo que para un observador del dispositivo 18 de visualización no es reconocible si actualmente se visualiza la realidad (imágenes originales) o imágenes enriquecidas (con enriquecimientos/aumentaciones).
El estado Z(t) selecciona, si S2(t-N) debe emitirse sin modificarse, es decir, si el enriquecimiento o bien aumentación debe eliminarse de los datos S2 de control mediante un modulo 24, o si debe reproducirse una animación A de transición.
En caso de un cambio de estado o bien un cambio de Z = 1 a Z = 3 (desactivación) y Z = 2 a Z = 4 (activación), mediante un modulo 26 de realización se genera una animación A de N imágenes de longitud y se almacena en el búfer PA de animación. A continuación, se transmite la animación A de transición en lugar de S2 como datos S2b de control modificados al dispositivo 18 de visualización.
A(1) designa la primera imagen generada mediante el dispositivo 18 de visualización de la animación A de transición, A(N) la última. Para una animación de transición-desactivación fluida, la imagen A(N) representada debe corresponder a la imagen S2(t) (sin enriquecimiento/aumentación). Análogo a esto, una animación A(1) de transición-activación debe corresponder a la imagen S2(t-N) (sin enriquecimiento/aumentación).
El modulo 22 de animación comprende además un base 28 de datos de animaciones (memoria de animación). En la base 28 de datos de animaciones se encuentran las animaciones A de transición en forma de instrucciones de código de programa, las cuales se utilización para transformar los datos S2 de control en animaciones A de transición. Las instrucciones pueden utilizar, por ejemplo, texturas, las cuales no se reemplazan hasta el tiempo de ejecución mediante partes de S2(t) a S2(t-N). Esto tiene lugar de forma similar como, por ejemplo, en la definición de animaciones en programas de procesamiento de video no lineales conocidos para la post producción (p. ej., Adobe After Effects, Adobe Premiere, Davinci Resolve, Nuke). No obstante, estos programas conocidos no se pueden utilizar en directo y los efectos generados por estos programas no se vinculan con informaciones de control, sino que se aplican a videoclips completos.
En el punto temporal, en el cual debe generarse la animación de transición, en el modulo 22 de animación están presentes con los datos S2(t) a S2(t-N) todas las informaciones de cómo y dónde se representaría un enriquecimiento/aumentación en el estado Z = 1. La base 28 de datos de efectos incluida en el modulo 22 de animación define cómo deben modificarse datos S2 de control en la realización del efecto en el modulo 26 de realización, para crear una animación A de transición y archivarla en el búfer PA de animación.
Por ejemplo, mediante el modulo 26 de realización pueden ejecutarse informaciones de coordenadas de OpenGL de datos S2 de control, para lograr un desplazamiento 2D o 3D o una rotación, o pueden generarse texturas de OpenGL mediante las imágenes incluidas en S2 e integrarse en la animación A de transición.
La Fig. 5 muestra, puramente a modo de ejemplo y simplificada, una animación de transición de una denominada banda rotativa virtual. La transición desde el estado Z = 2 (estado desactivado, sin enriquecimiento) en la primera imagen (izquierda) tiene lugar a través del estado Z = 4 (animación de transición) en las imágenes 2 a 4 (desde la izquierda) al estado Z = 1 (estado activado, se visualiza o bien superpone enriquecimiento). En este caso, la zona punteada o bien la superficie representada punteada, muestra la zona que se enriqueció en el estado Z = 1, la cual solo a partir de la quinta imagen (tras reproducir la animación de transición en las imágenes 2-4), se enriquece o bien aumenta completamente.
La animación de transición tiene lugar aquí, puramente a modo de ejemplo, a través de N= 5 ciclos. En aplicaciones concretas, las animaciones de transición requerirán más bien más ciclos para una transición continua o bien fluida. La realización de la animación de transición puede realizarse como sigue:
La textura "realidad" se extrae de la imagen original en S2(t-N) en aquel punto donde se superpuso el enriquecimiento/aumentación.
Se genera una nueva textura T, al unirse verticalmente entre sí "realidad" y "aumento". Las instrucciones de control se adaptan correspondientemente en la animación A de transición, de modo que en lugar de una visualización directa (sin transiciones) de "aumento" se visualiza la nueva textura T, la cual representa una combinación de "realidad" y "aumento".
El movimiento rotativo vertical pude generarse, por ejemplo, mediante un operador de región de interés (ROI), el cual se aplica sobre la textura T. En A(1) éste selecciona la mitad superior (es decir, realidad), luego en A(2) a A(4) ROI siempre más profundos, hasta que en A(5) selecciona justamente la textura "aumento", la cual también se representa después de la animación, dado que se ha alcanzado el estado Z = 1.
Las instrucciones de control para la realización se integran en la animación A de transición, se emiten como datos S2b(t) de control modificados y, por último, se emiten mediante el dispositivo 18 de visualización, como ya se ha explicado arriba.
El sistema aquí presentado posibilita, por tanto, mediante integración de la realidad en una animación de transición de activación o de desactivación de un enriquecimiento (objeto virtual), un grado de realismo, en el cual no puede reconocerse, si el sistema, en relación a la visualización o bien superposición de enriquecimientos activa (estado activado) o desactiva (estado desactivado).

Claims (10)

REIVINDICACIONES
1. Sistema (10) para la generación de imágenes enriquecidas, que comprende:
al menos un dispositivo (12) de captación de imágenes,
al menos un modulo (14) de análisis conectado con el dispositivo (12) de captación de imágenes, al menos un dispositivo (18) de visualización conectado con el modulo (14) de análisis, estando el dispositivo (12) de captación de imágenes configurado para transferir imágenes, en particular, datos de imagen, al modulo (14) de análisis, y estando el modulo (14) de análisis configurado para transferir datos (S2) de control al dispositivo (18) de visualización, comprendiendo los datos (S2) de control los datos de imagen y datos de instrucción para la visualización de al menos un enriquecimiento en una imagen,
estando el dispositivo (18) de visualización configurado para, en base a los datos (S2) de control, reproducir una imagen captada y un enriquecimiento asociado,
comprendiendo el sistema (10) además un modulo (16) de ampliación, el cual está dispuesto entre el modulo (14) de análisis y el dispositivo (18) de visualización en la ruta de transmisión,
estando el modulo (14) de análisis configurado además para generar al menos una información (R2) de fiabilidad para cada una de las imágenes, incluyendo la información (R2) de fiabilidad datos acerca de un componente del sistema, el cual detecta y/o calcula la relación geométrica o radiométrica entre el dispositivo (12) de captación de imágenes y el entorno, y
estando el modulo (16) de ampliación configurado para recibir los datos (S2) de control y la información (R2) de fiabilidad desde el modulo (14) de análisis y, en base a los datos (S2) de control y la información (R2) de fiabilidad, generar datos (S2b) de control modificados y transferirlos al dispositivo (18) de visualización, presentando el modulo (16) de ampliación un modulo (20) de estado y un modulo (22) de animación, estando el modulo (20) de estado configurado para recibir la información (R2) de fiabilidad, para seleccionar una información (Z) de estado de varias, en particular, cuatro, informaciones de estado y transmitir la información (Z) de estado seleccionada al modulo(22) de animación.
2. Sistema según la reivindicación 1, caracterizado por que el modulo (22) de animación está configurado para recibir los datos (S2) de control y, en base a la información (Z) de estado, generar los datos (S2b) de control modificados.
3. Sistema según la reivindicación 1 o 2, caracterizado por que el modulo (22) de animación está además configurado para, en función de la información (Z) de estado
trasferir los datos de imagen y datos de instrucción para el enriquecimiento como datos (S2b) de control modificados, lo que corresponde a un estado (Z = 1) activado para enriquecimientos
o
transferir solo los datos de imagen como datos (S2b) de control modificados, lo que corresponde a un estado (Z = 2) desactivado para enriquecimientos,
o
transferir una animación (A) de transición como parte de los datos (S2b) de control modificados, seleccionándose la animación (A) de transición al cambiar entre el estado (Z = 1) activado y el estado (Z = 2) desactivado.
4. Sistema según la reivindicación 3, caracterizado por que la animación (A) de transición se obtiene de manera que mediante el dispositivo (12) de captación de imágenes se procesan y se visualizan de forma integrada datos reales captados y datos de un enriquecimiento a ser visualizados.
5. Sistema según la reivindicación 3 o 4, caracterizado por que el modulo (22) de animación presenta un modulo (26) de realización, el cual está configurado para generar una animación (A) de transición, la cual presenta una determinada cantidad (N) de imágenes, y almacenarla en un búfer (PA) de animación.
6. Sistema según una de las reivindicaciones 3 a 5, caracterizado por que el modulo (22) de animación presenta una memoria (28) de animación, la cual está configurada para almacenar animaciones (A) de transición predeterminadas en forma de instrucciones legibles por computadora.
7. Sistema según una de las reivindicaciones 3 a 6, caracterizado por que el modulo (22) de animación está configurado para, en el estado (Z = 2) desactivado, eliminar de los datos (S2) de control proporcionados por el modulo (14) de análisis, datos de instrucción para un enriquecimiento y transferir solo los datos de imagen como datos (S2b) de control modificados al dispositivo (18) de visualización.
8. Sistema según una de las reivindicaciones 3 a 7, caracterizado por que, el modulo (22) de animación está configurado para modificar las señales de control del modulo (14) de análisis conforme a la información (Z) de estado, de manera que en caso de un cambio entre el estado (Z = 1) activado y el estado (Z = 2) desactivado se inserta de forma fluida una animación (A) de transición.
9. Sistema según una de las reivindicaciones 3 a 7, caracterizado por que la animación (A) de transición está realizada como banda rotativa virtual o como ventana virtual o similares.
10. Utilización de un sistema según una de las reivindicaciones anteriores en un sistema de transmisión de televisión o/y en un sistema de visualización de publicidad virtual o/y en un sistema de realidad aumentada.
ES17786883T 2016-10-14 2017-10-09 Sistema para producir imágenes aumentadas Active ES2843876T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016119640.1A DE102016119640A1 (de) 2016-10-14 2016-10-14 System zur Erzeugung angereicherter Bilder
PCT/EP2017/075625 WO2018069220A1 (de) 2016-10-14 2017-10-09 System zur erzeugung angereicherter bilder

Publications (1)

Publication Number Publication Date
ES2843876T3 true ES2843876T3 (es) 2021-07-20

Family

ID=60138360

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17786883T Active ES2843876T3 (es) 2016-10-14 2017-10-09 Sistema para producir imágenes aumentadas

Country Status (20)

Country Link
US (1) US10805558B2 (es)
EP (1) EP3526773B1 (es)
JP (1) JP7125410B2 (es)
KR (1) KR102186691B1 (es)
CN (1) CN109804412B (es)
CA (1) CA3039747C (es)
CY (1) CY1123711T1 (es)
DE (1) DE102016119640A1 (es)
DK (1) DK3526773T3 (es)
ES (1) ES2843876T3 (es)
HR (1) HRP20202061T1 (es)
HU (1) HUE053189T2 (es)
LT (1) LT3526773T (es)
PL (1) PL3526773T3 (es)
PT (1) PT3526773T (es)
RS (1) RS61265B1 (es)
SG (1) SG11201903218VA (es)
SI (1) SI3526773T1 (es)
SM (1) SMT202100090T1 (es)
WO (1) WO2018069220A1 (es)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567106A (zh) * 2018-06-05 2019-12-13 珠海格力电器股份有限公司 一种房间空气质量显示及控制系统和方法
US12020481B2 (en) 2021-10-21 2024-06-25 Industrial Technology Research Institute Method and system for sport game video processing
US11979620B2 (en) 2021-12-17 2024-05-07 Industrial Technology Research Institute System, non-transitory computer readable storage medium and method for automatically placing virtual advertisements in sports videos
DE102022101086A1 (de) * 2022-01-18 2023-07-20 Uniqfeed Ag Videoverbreitungssystem mit Umschalteinrichtung für das Umschalten zwischen mehreren angereicherten Regiebildabfolgen eines aufgenommenen realen Ereignisses
DE102023129941A1 (de) 2023-10-30 2025-04-30 Uniqfeed Ag Videoverarbeitungssystem für eine nicht wahrnehmbare Überblendung von Objekten mit einem Videopatch

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0683961B1 (en) 1993-02-14 2000-05-03 Orad, Inc. Apparatus and method for detecting, identifying and incorporating advertisements in a video
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
IL115288A (en) * 1995-09-13 1999-06-20 Scidel Technologies Ltd Method and apparatus for implanting images into a video sequence
US6381362B1 (en) 1999-04-08 2002-04-30 Tata America International Corporation Method and apparatus for including virtual ads in video presentations
EP1071278B1 (en) 1999-07-19 2006-05-17 Leo Vision Multi-camera, multi-feed and interactive virtual insertion systems and methods
CA2398116C (en) 2000-01-31 2010-12-21 Oy Virtual Advertising Systems Vas Ltd. Method for modifying a visible object shot with a television camera
GB2394611A (en) 2002-10-21 2004-04-28 Sony Uk Ltd Metadata generation providing a quasi-unique reference value
DE10314105A1 (de) 2003-03-28 2004-01-08 Bts Media Solutions Gmbh Verfahren zur Steuerung einer Einrichtung zur Verteilung und Bearbeitung von Videosignalen
GB2408164A (en) 2003-11-12 2005-05-18 Alastair Breward Controlling a dynamic display apparatus
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
WO2007017598A2 (fr) * 2005-08-09 2007-02-15 Total Immersion Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
EP2561505A4 (en) 2010-04-22 2013-11-13 Martin Professional As ELECTRONIC SUNSHADE FOR BAND APPLICATIONS
FR2959339A1 (fr) 2010-04-26 2011-10-28 Citiled Procede de commande d'au moins un panneau d'affichage d'images variables dans un lieu tel qu'un stade
EP2463821A1 (en) 2010-12-08 2012-06-13 Alcatel Lucent Method and system for segmenting an image
EP2498488A1 (en) 2011-03-09 2012-09-12 Thomson Licensing Method and system digital for processing digital content according to a workflow
US9058687B2 (en) 2011-06-08 2015-06-16 Empire Technology Development Llc Two-dimensional image capture for an augmented reality representation
KR101343609B1 (ko) 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
KR101887548B1 (ko) * 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
GB2502986B (en) 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
US20150206349A1 (en) * 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
CN105191287B (zh) 2013-03-08 2019-06-21 迪基特阿雷纳股份公司 替换视频流中的对象的方法及计算机程序
EP2806404B1 (en) 2013-05-23 2018-10-10 AIM Sport AG Image conversion for signage
EP2822287A1 (en) * 2013-07-01 2015-01-07 Thomson Licensing Method and apparatus for frame accurate advertisement insertion
JP5888372B2 (ja) * 2013-08-29 2016-03-22 キヤノンマーケティングジャパン株式会社 情報処理システムとその処理方法及びプログラム
GB2518868B (en) 2013-10-03 2016-08-10 Supponor Oy Method and apparatus for image frame identification
JP2015149032A (ja) * 2014-02-10 2015-08-20 株式会社メガチップス 拡張現実提供システム、プログラムおよび拡張現実提供方法
GB2529182B (en) 2014-08-12 2019-03-27 Supponor Oy Method and apparatus for dynamic image content manipulation
US9847645B2 (en) * 2015-02-03 2017-12-19 King Fahd University Of Petroleum And Minerals Neuro-fuzzy control system for grid-connected photovoltaic systems
US20160373814A1 (en) * 2015-06-19 2016-12-22 Autodesk, Inc. Real-time content filtering and replacement
CN105892639A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技（天津）有限公司 一种对虚拟现实vr设备进行控制的方法及设备
US10169894B2 (en) 2016-10-06 2019-01-01 International Business Machines Corporation Rebuilding images based on historical image data

Also Published As

Publication number Publication date
CN109804412A (zh) 2019-05-24
PL3526773T3 (pl) 2021-08-02
PT3526773T (pt) 2021-01-12
EP3526773A1 (de) 2019-08-21
RS61265B1 (sr) 2021-01-29
JP2019537174A (ja) 2019-12-19
SI3526773T1 (sl) 2021-02-26
SG11201903218VA (en) 2019-05-30
JP7125410B2 (ja) 2022-08-24
DE102016119640A1 (de) 2018-04-19
DK3526773T3 (da) 2021-01-11
CY1123711T1 (el) 2022-03-24
HUE053189T2 (hu) 2021-06-28
US10805558B2 (en) 2020-10-13
LT3526773T (lt) 2021-01-11
SMT202100090T1 (it) 2021-03-15
WO2018069220A1 (de) 2018-04-19
CA3039747C (en) 2021-06-08
KR20190067861A (ko) 2019-06-17
KR102186691B1 (ko) 2020-12-07
HRP20202061T1 (hr) 2021-02-19
CN109804412B (zh) 2023-03-10
US20190327427A1 (en) 2019-10-24
CA3039747A1 (en) 2018-04-19
EP3526773B1 (de) 2020-11-25

Similar Documents

Publication Publication Date Title
ES2843876T3 (es) Sistema para producir imágenes aumentadas
US11962741B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
AU2022200841B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
CN111145330B (zh) 人体模型渲染方法、装置、电子设备及存储介质
EP2791911B1 (en) Display of shadows via see-through display
KR20190129093A (ko) 증강 현실 데이터를 레코딩하기 위한 기술
ES2688643T3 (es) Aparato y método de realidad aumentada
KR20150014988A (ko) 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐
EP4436159A1 (en) Information processing apparatus, image processing method, and program
Broll Augmented reality
US7199807B2 (en) Mixed reality presentation method and mixed reality presentation apparatus
JP2017058625A (ja) 空間像演出装置、空間像演出装置の制御方法および映像システム
JP6403649B2 (ja) 空間像演出装置およびその制御方法
KR102443049B1 (ko) 전자 장치 및 그 동작 방법
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
US20250371796A1 (en) Image processing system, image processing method, and storage medium
KR102087917B1 (ko) 2차원 배경으로의 3차원 움직임 모델 투영 방법 및 장치
JP6403650B2 (ja) 空間像演出装置、その制御方法およびプログラム
US20200302761A1 (en) Indicator modes
CN121883692A (zh) 图像渲染方法、装置、设备和存储介质
Beckhaus et al. Storytelling and content presentation with the virtual showcase in a museum context
Chen et al. Dance of China: A user-centred design case study of a novel animated music video production (AMV)
JP2005165973A (ja) 画像処理方法、画像処理装置