ES2755776T3 - Procedimiento para sustituir contenidos de imágenes - Google Patents
Procedimiento para sustituir contenidos de imágenes Download PDFInfo
- Publication number
- ES2755776T3 ES2755776T3 ES17164241T ES17164241T ES2755776T3 ES 2755776 T3 ES2755776 T3 ES 2755776T3 ES 17164241 T ES17164241 T ES 17164241T ES 17164241 T ES17164241 T ES 17164241T ES 2755776 T3 ES2755776 T3 ES 2755776T3
- Authority
- ES
- Spain
- Prior art keywords
- max
- colors
- image
- calculated
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0261—Targeted advertisements based on user location
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0276—Advertisement creation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Procedimiento para sustituir al menos un contenido gráfico a sustituir por al menos un contenido gráfico sustitutivo en al menos una imagen de un escenario tomada por una cámara, en el que el al menos un contenido gráfico a sustituir es una reproducción de al menos una característica del escenario, en el que un color o colores de la al menos una característica son al menos un color primario, en el que se genera en un primer paso, al menos para cada color primario que es un color de la característica, una respectiva máscara de intensidad, y en un segundo paso se calcula una máscara de escala de gris a partir de todas las máscaras de intensidad generadas en el primer paso, y en el que se sustituye el contenido a sustituir por el contenido sustitutivo de conformidad con la máscara de escala de gris en la imagen tomada por la cámara, en el que se generan en el primer paso las máscaras de intensidad los colores primarios que son colores de la característica, a cuyo fin se calculan para los píxeles de al menos una zona de la imagen unos respectivos valores de intensidad**Fórmula** para los píxeles de al menos una zona de la imagen unos respectivos valores de intensidad Erojo = max/0, R - max(G, B)) Everde = max(0, G - max(R, B)) Eazul = max(0, B - max(R, G)) Ecian = max(0, min(G, B) - R) Emagenta = max(0, min(R, B) - G) Eamarillo = max(0, min(R, G) - B) en donde R es un valor de rojo, G un valor de verde y B un valor de azul de la imagen de la cámara en el píxel correspondiente, en el que se calcula la máscara de escala de gris, a cuyo fin se calcula el escalón de gris para cada uno de los píxeles de la zona de la imagen a partir de los valores de intensidad E = frojo*Erojo + fverde*Everde + fazul*Eazul + fcian*Ecian + fmagenta*Emagenta + famarillo*Eamarillo, en donde frojo, fverde, fazul, fcian, fmagenta, famarillo son factores de ponderación, o en el que se calcula la máscara de escala de gris, a cuyo fin se calcula el escalón de gris para cada uno de los píxeles de la zona de la imagen a partir de los valores de intensidad E = max(frojo*Erojo, fverde*Everde, fazul*Eazul, fcian*Ecian, fmagenta*Emagenta, famarillo*Eamarillo), en donde frojo, fverde, fazul, fcian, fmagenta, famarillo son factores de ponderación.
Description
DESCRIPCIÓN
Procedimiento para sustituir contenidos de imágenes
La invención concierne a un procedimiento para sustituir contenidos gráficos de imágenes en un escenario tomadas por una cámara, en el que el contenido gráfico a sustituir es una reproducción de al menos una característica del escenario, cuyo color son uno o varios colores primarios.
En la transmisión internacional de eventos deportivos u otros tiene una gran potencial de mercado la sustitución virtual de superficies publicitarias existentes por versiones nacionales. Una condición marginal importante es que, según el derecho vigente, no se pueden integrar normalmente superficies publicitarias adicionales. Por tanto, la publicidad virtual solo puede sustituir a una publicidad visible. Esto representa un difícil problema en los contextos corrientes.
En los documentos GB2312348, WO2007/097517 y DE4492448 se divulgan procedimientos para sustituir contenidos en imágenes de vídeo. En el documento WO 2012/038009 se describe una solución conocida para sustituir publicidad de bandas. Se detecta aquí una superficie publicitaria monocolor con ayuda de una codificación en la imagen de la cámara. El contenido sustitutivo puede renderizarse después utilizando las dimensiones de la superficie publicitaria detectada y el contenido renderizado de las bandas puede combinarse con la imagen de la cámara por incrustación croma con un valor cromático medido.
La solución del documento WO 2012/038009 presupone una codificación de la imagen de las bandas.
El problema de la presente invención consiste en indicar un procedimiento para sustituir contenidos gráficos en imágenes de un escenario tomadas por una cámara, que pueda sustituir contenidos gráficos en imágenes tomadas por una cámara sin que estos contenidos necesiten una identificación que vaya más allá del contenido gráfico propiamente dicho.
El problema se resuelve con el procedimiento para sustituir al menos un contenido gráfico a sustituir por al menos un contenido gráfico sustitutivo según la reivindicación 1. Las reivindicaciones subordinadas indican perfeccionamientos ventajosos del procedimiento según la reivindicación 1.
Según la invención, se carga en al menos una imagen de un escenario tomada por una cámara un procedimiento para sustituir al menos un contenido gráfico, que se denominara aquí contenido gráfico a sustituir, por al menos un contenido gráfico que se denominará aquí contenido gráfico sustitutivo. En este caso, la cámara es ventajosamente una cámara electrónica que transforma la luz incidente en su lente en señales eléctricas por medio de un sensor de imagen electrónico, por ejemplo un sensor CCD o un sensor CMOS.
Según la invención, el al menos un contenido gráfico a sustituir es una reproducción de al menos una característica del escenario. La reproducción es aquí la reproducción de la característica del escenario generada por la cámara. La característica del escenario puede ser, por ejemplo, una banda de un estadio, por lo que el contenido gráfico, la reproducción de la banda, es la representación de la banda en la imagen tomada por la cámara.
El procedimiento según la invención parte de la consideración de que la característica del escenario tiene color, siendo sus colores solamente colores primarios, al menos en la zona que debe sustituirse en la imagen de la cámara. La característica puede estar compuesta especialmente de una pluralidad de zonas monocolor, teniendo cada una de las zonas exactamente un color primario. Es verdad que la limitación del contenido a sustituir a colores primarios significa una cierta restricción para la configuración de, por ejemplo, gráficos de bandas, pero, por otro lado, en numerosos países las publicidades de las bandas está limitadas de todos modos a unos poco colores e igualmente muchas especialidades deportivas requieren publicidades de banda con solo unos pocos colores, ya que, en caso contrario, por ejemplo, se vería perjudicada la posibilidad de reconocimiento de la pelota, como, por ejemplo, en el tenis.
Por colores primarios se entienden aquí los colores rojo, verde, azul, cian, magenta y amarillo. Un color puede representarse ventajosamente como una tupla RGB con valores entre 0.0 y 1.0. Los colores primarios son entonces los colores en los que la tripleta RGB contiene dos veces 0.0 y bien una vez 1.0 o bien una vez 0.0 y dos veces 1.0. La limitación a estos seis colores hace posible, en comparación con otros colores, un más fácil reconocimiento en la imagen, ya que éstos se encuentran en los vértices del cubo cromático RGB. Sin embargo, no se dice con esto que la coloración del objeto en la escena tenga que ser, por ejemplo, un color primario puro al cien por cien. Esto depende de las condiciones de iluminación de la escena real y de los ajuste de color de la cámara grabadora (chip de matriz cromática montado, resultados de la igualación cromática antes de la producción, ajustes de diafragma o bien tiempos de exposición empleados durante la producción). En último término, la elección exacta del color deberá aproximarse lo más posible en la imagen grabada a uno de los colores primarios. Asimismo, es imaginable obtener otro cubo cromático que el RGB por sustitución de un chip con otras sensibilidades al color en la cámara y posibilitar así una combinación de otros colores que los seis anteriormente citados. En este caso, estos otros colores se considerarían como colores primarios.
Según la invención, se genera ahora en un primer paso, al menos para los colores primarios que son colores de la característica, una respectiva máscara de intensidad. Por tanto, si la característica presenta uno o varios colores primarios, se genera en el primer paso una máscara de intensidad para cada uno de los colores primarios. La máscara de intensidad puede generarse siempre para los seis colores primarios, pero, en principio, es suficiente generar la máscara de intensidad solamente para los colores primarios que se presentan realmente en la característica, siempre que esto sea conocido con antelación.
En un segundo paso subsiguiente al primer paso se calcula entonces una máscara de escala de gris a partir de todas las máscaras de intensidad generadas en el primer paso. En un caso sencillo, la máscara de escala de gris puede ser, por ejemplo, la suma ponderada de las máscaras de intensidad.
El contenido a sustituir puede ser sustituido por el contenido sustitutivo de conformidad con la máscara de escala de gris en la imagen tomada por la cámara. Existen diferentes posibilidades referentes a cómo puede emplearse la máscara de escala de gris para sustituir el contenido a sustituir por el contenido sustitutivo. En un ejemplo sencillo se puede interpretar la máscara de escala de gris como una máscara de transparencia, con lo que cada máscara de escala de gris se interpreta como una transparencia. El contenido gráfico sustitutivo puede colocarse entonces debajo de la imagen de cámara y esta imagen de cámara puede hacerse transparente de conformidad con la máscara de escala de gris o la máscara de transparencia, con lo que cuanto más alto sea el valor de la transparencia en un píxel determinado tanto mayor será la fracción del contenido gráfico sustitutivo en la imagen correspondiente.
Preferiblemente, la característica puede tener los colores verde y magenta o rojo y azul. Esto se prefiere especialmente cuando el sensor de cámara presenta un patrón de Bayer, ya que en éste de cuatro sensores de color de un píxel dos sensores son verdes, uno es azul y otro es rojo. Si la característica tiene los colores citados verde y magenta o rojo y azul, éstos se registran con la misma intensidad por un sensor de cámara con patrón de Bayer.
Como máscara de intensidad y máscara de escala de gris se denominan aquí unas máscaras en las que cada píxel tiene un valor determinado. Los píxeles de las máscaras corresponden en este caso a los píxeles de la imagen de cámara tomada. Por tanto, las máscaras pueden calcularse por píxeles a partir de los píxeles de la imagen de cámara. En principio, no es necesario que las máscaras se extiendan por toda la la imagen de cámara tomada. Puede ser también suficiente que las máscaras se generen o calculen solamente para las zonas de la imagen de cámara tomada en las que se reproduce realmente o es de esperar la característica. Esto puede conseguirse, por ejemplo, utilizando un rastreo de cámara con cuya ayuda puede predeterminarse hasta cierto grado la reproducción de la característica en la imagen. Sin embargo, las máscaras pueden generarse siempre también para toda la imagen tomada por la cámara.
En un ejecución ventajosa de la invención se pueden generar en el primer paso las máscaras de intensidad para al menos los colores primarios que son colores de la al menos una característica, a cuyo fin se generan para los píxeles de al menos la zona de la imagen de la cámara que debe considerarse unos respectivos valores de intensidad Ecolor, designando el subíndice “color” los colores rojo, verde, azul, cian, magenta o amarillo. En esta ejecución se puede calcular para cada píxel el valor de intensidad siguiente;
Erojo = max/0, R - max(G, B))
Everde = max(0, G - max(R, B))
Eazul = max(0, B - max(R, G))
Ecian = max(0, min(G, B) - R)
Emagenta = max(0, min(R, B) - G)
Eamarillo = max(0, min(R, G) - B).
En estas expresiones R es una fracción de rojo, G una fracción de verde y B una fracción de azul del píxel considerado. Se pueden calcular estas máscaras de intensidad para los seis colores primarios o solamente para los colores primarios que aparecen realmente en la característica.
En una ejecución ventajosa de la invención se puede calcular la máscara de escala de gris a partir de las mascaras de intensidad Ecolor calculadas, en cuyo caso se calcula como sigue un escalón de gris E para cada píxel de la zona considerada de la imagen:
E = frojo Erojo fverde Everde fazul Eazul fcian Ecian fmagenta Emagenta famarillo Eamarillo.
En una ventajosa ejecución alternativa de la invención se puede calcular también la máscara de escala de gris, en cuyo caso se calcula como sigue el escalón de gris E para cada uno de los píxeles de la zona de la imagen a partir de los valores de intensidad Ecolor:
E — maX(frojo Erojo, fverde Everde, fazul Eazul, fcian Ecian, fmagenta Emagenta, famarillo Eamarillo).
En ambas alternativas frojo, fverde, fazul, fcian, fmagenta, famarillo son factores de ponderación por medio de los cuales pueden retirarse de la máscara de escala de gris las contribuciones de aquellos colores de los que se sabe que no aparecen en la característica. Esto puede efectuarse poniendo a cero el factor de ponderación f correspondiente.
En una ejecución ventajosa de la invención se pueden fijar los factores de ponderación fcolor en un paso de calibrado antepuesto. Se puede grabar entonces el escenario con la cámara de modo que la reproducción de la al menos una característica tenga solamente los colores primarios que son colores de la característica. El escenario puede grabarse con iluminación óptima o en condiciones óptimas. Los factores de ponderación pueden fijarse entonces de modo que se distribuyan por igual las intensidades ponderadas que se presentan en la característica.
Uno de los colores primarios puede registrarse de manera menos intensa o menos pura, por ejemplo en comparación con otro color primario, según las condiciones de iluminación en la escena real o los ajustes de la cámara (matriz cromática, igualación cromática, diafragma, etc.) y puede producir así valores más pequeños en la máscara de intensidad, lo que deja tras de sí, entre otros, contornos de las transiciones entre los dos colores primarios en la máscara de escala de gris. El objetivo del calibrado es la compensación de tales diferencias de modo que todos los colores que se presentan en el contenido gráfico a sustituir sean incrustados por igual. En consecuencia, se puede ajustar entonces adicionalmente el incrustador croma por medio de un único regulador para todos los colores primarios juntos.
Se puede efectuar un calibrado, por ejemplo, grabando frontalmente la característica de la escena en la imagen de la cámara, llenando la imagen con todos los colores presentes y utilizando una iluminación uniforme. Los diferentes promedios de intensidad de todos los colores en todos los píxeles que muestran la característica se pueden ponderar entonces de manera correspondientemente inversa para fines de ajuste (es decir, un promedio de intensidad más alto de un color primario en comparación con otro color primario genera un factor de ponderación más pequeño).
En una ejecución ventajosa de la invención se puede emplear la máscara de escala de gris para realizar un reconocimiento de objeto en dicha máscara de escala de gris. Mediante el reconocimiento de objeto se puede determinar qué zona de la imagen tomada por la cámara reproduce la al menos una característica del escenario. Ventajosamente, para cada uno de los colores primarios que se presentan en la característica se puede formar entonces un promedio del color correspondiente en todos los píxeles dentro de la reproducción de la característica. Por tanto, se pueden sumar los valores cromáticos de una parte o de todos los píxeles que están en la reproducción de la característica, y se puede dividir el resultado por el número de estos píxeles. Ventajosamente, se puede emplear entonces el color primario medio así obtenido para sustituir el contenido a sustituir mediante incrustación croma por el contenido sustitutivo independientemente de las condiciones de iluminación o los ajustes de la cámara.
Cuando se utiliza un procedimiento de incrustación croma, por ejemplo como el descrito en [Keith Jack, Video Demystified - A Handbook for the Digital Engineer, Elsevier 2O07, ISBN: 978-0-7506-8395-1], se obtiene así un eje principal ligeramente modificado del color clave. El campo 13 de fondo gris en la figura 3 ilustra todos los tonos de color magenta en el círculo cromático según este procedimiento que conducen a transparencias y, por tanto, a sustituciones. Con el color primario medio se logra una fácil adaptación del eje clave de magenta a magenta'. Todo en la zona 13 se considera como 100% transparente.
Si se ha realizado de esta manera un reconocimiento de objeto para determinar la característica en la imagen de la cámara, se puede limitar ventajosamente la incrustación croma a la zona de la imagen que reproduce la característica o a una zona de la que la reproducción de la característica es una zona parcial. Ventajosamente, se puede emplear entonces una incrustación croma finamente parametrizada que trabaja en el plano de crominancia del espectro cromático YCbCr.
El procedimiento según la invención puede realizarse en imágenes individuales o en imágenes estáticas. Sin embargo, se sustituyen ventajosamente contenidos en secuencias de vídeo. La al menos una imagen tomada por la cámara puede ser entonces un cuadro de tal imagen movida. El procedimiento descrito puede realizarse de nuevo para cada cuadro.
Sin embargo, en una ejecución ventajosa se puede formar también el promedio descrito de los valores cromáticos de los píxeles a través de varios cuadros consecutivos. Por tanto, en este caso se suman los valores cromáticos de los píxeles correspondientes en una pluralidad de cuadros y se divide el resultado por el número de píxeles multiplicado por el número de cuadros considerados. Esta prescripción de cálculo puede desviarse según la situación cuando, por ejemplo, una rápida oscilación de trazado haga que salten demasiado fuertemente los contenidos de imagen en la secuencia.
En lo que sigue se explicará la invención a modo de ejemplo con ayuda de las figuras. Las características descritas en los ejemplos pueden materializarse con independencia del ejemplo específico y combinarse entre los ejemplos.
Muestran:
La figura 1, un ejemplo de desarrollo del procedimiento según la invención hasta el cálculo de una máscara de escala de gris,
La figura 2, un desarrollo del procedimiento según la invención para sustituir un contenido gráfico a sustituir por un contenido gráfico sustitutivo partiendo de la máscara de escala de gris y
La figura 3, una disposición de los colores primarios en un diagrama en el que se ha registrado la paleta cromática. Los 6 vértices corresponden a los colores primarios.
En el ejemplo del procedimiento según la invención mostrado en la figura 1 se toma primeramente por medio de una cámara 2 un imagen o una secuencia de imágenes de un escenario 1. El escenario 1 contiene en este caso al menos una característica 3, aquí una banda 3, cuyos colores son colores primarios.
En lo que sigue se supondrá que la banda 3 muestra unas figuras azules 4a, 4b, 4c sobre una fondo rojo 5. Otras características del escenario, que no deben sustituirse, comprenden, por ejemplo, personas, un campo deportivo y una pelota.
La cámara 2 genera, por ejemplo por medio de un sensor electrónico, una imagen 6 del escenario 1. La imagen de cámara 6 muestra una reproducción 3' de la característica 3 y reproducciones de las demás características del escenario 1. El procedimiento según la invención pretende ahora sustituir la reproducción 3' de la característica 3 como contenido gráfico a sustituir por un contenido gráfico sustitutivo.
Se genera para ello en un primer paso, al menos para cada color primario que es color de la característica, es decir, al menos para rojo y azul en el ejemplo mostrado, una máscara de intensidad 7a y 7b. La máscara de intensidad 7a es la máscara de intensidad para el color rojo del fondo 5 y la máscara de intensidad 7b es la máscara de intensidad para el color azul del primer plano 4a, 4b, 4c. Las máscaras de intensidad 7a, 7b pueden generarse aquí para todos los colores primarios o para aquellos de los que se sable que aparecen en el contenido 3' a sustituir. Los valores de intensidad Ecolor pueden calcularse de acuerdo con las fórmulas siguientes:
Erojo = max/0, R - max(G, B))
Everde = max(0, G - max(R, B))
Eazul = max(0, B - max(R, G))
Ecian = max(0, min(G, B) - R)
Emagenta = max(0, min(R, B) - G)
Eamarillo = max(0, min(R, G) - B).
En estas expresiones R es un valor de rojo, G un valor de verde y B un valor de azul de la imagen 6 de la cámara 2 en el píxel correspondiente. Los valores de intensidad Ecolor pueden determinarse en el ejemplo mostrado para todos los píxeles de la imagen 6. Sin embargo, es posible también limitar esta determinación a una zona parcial de la imagen 6 de la que se sabe que se presenta completa en ella la característica 3' a sustituir. Este conocimiento previo puede generarse, por ejemplo, mediante el uso de un rastreo de cámara.
A partir de las máscaras de intensidad 7a y 7b se puede calcular ahora una máscara de escala de gris 8, a cuyo fin se calcula para cada píxel un valor de gris E como
E = frojo Erojo fverde Everde fazul Eazul fcian Ecian fmagenta Emagenta famarillo Eamarillo
o alternativamente como
E = max(frojo Erojo, fverde Everde, fazul Eazur fcian Ecian fmagenta Emagenta, famarillo Eamarillo),
en donde frojo, fverde, fazul, fcian, fmagenta, famarillo son factores de ponderación para los respectivos colores. En la máscara de escala de gris tienen un valor diferente de cero los píxeles en los que en los que existe en la imagen 6 tomada por la cámara uno de los colores de incrustación, es decir, de los colores primarios que aparecen en la característica. Poniendo a cero los prefactores f se pueden marcar de antemano como no contributivos los colores de los que se sabe que no aparecen en el contenido gráfico a sustituir.
En principio, es posible considerar la máscara de escala de gris 8 como una máscara de transparencia 8 y realizar con ella una incrustación, teniendo los píxeles con altos valores o valores de gris una alta transparencia. El valor de gris puede considerarse como igual al valor de transparencia o proporcional al valor de transparencia. Asimismo, se puede fijar las regiones con transparencia completa y con cubrición completa, así como una transición de ellas. Esto quiere decir que las regiones con transparencia completa o sustitución del 100% se asocian a una intensidad máxima y las regiones sin transparencia o sin sustitución se asocian a una transparencia cero. Entre medias, la
asociación puede hacerse en forma proporcional, preferiblemente con corrección de color. El establecimiento de los respectivos valores límite puede efectuarse, al igual que ya se hace para las funciones de ponderación f, en un paso de calibrado en el que se analice, por ejemplo, la distribución de la frecuencia de las intensidades de un color primario.
Sin embargo, se emplea ventajosamente la máscara de valor de gris 8 como se muestra en la figura 2 para realizar en la máscara de escala de gris 8 un reconocimiento de objeto en la zona de existencia de la reproducción de característica 3' que se ha identificado como 3'' en las figuras 1 y 2. El paso de reconocimiento de objeto 9 para reconocer el objeto 3'' (representado con línea de trazos en el paso 9) en la máscara de escala de gris 8 conduce al conocimiento de los píxeles de la máscara de escala de gris 8 en los que está presente la banda 3' en la imagen 6 tomada por la cámara 2.
Después de realizar el reconocimiento de objeto se puede determinar ahora en el paso 9, para los píxeles que se han identificado como pertenecientes al contenido 3' a sustituir, para los colores primarios que aparecen en el contenido 3', un respectivo valor medio de estos colores primarios. Estos colores primarios medios pueden emplearse luego en el paso 10 para hacer que en la imagen 6 tomada por la cámara el contenido 3' a sustituir sea sustituido mediante incrustación croma por el contenido sustitutivo 11 a fin de generar una imagen de salida 12.
Preferiblemente, se puede transformar para ello el contenido sustitutivo 11 mediante zoom, pan, etc. de la cámara 2 de modo que sus propiedades en perspectiva coincidan con el contenido a sustituir en la imagen de cámara 6 de la escena original. Esta adaptación en perspectiva del contenido sustitutivo puede efectuarse con ayuda de la distorsión en perspectiva del contenido a sustituir en la imagen registrada, con ayuda de valores de sensor de un rastreo de la cámara, con ayuda de una combinación de conocimientos previos sobre el escenario con propiedades reconocidas de la característica en la imagen de la cámara o bien con ayuda de de una combinación de lo anteriormente citado.
Claims (8)
1. Procedimiento para sustituir al menos un contenido gráfico a sustituir por al menos un contenido gráfico sustitutivo en al menos una imagen de un escenario tomada por una cámara, en el que el al menos un contenido gráfico a sustituir es una reproducción de al menos una característica del escenario, en el que un color o colores de la al menos una característica son al menos un color primario,
en el que se genera en un primer paso, al menos para cada color primario que es un color de la característica, una respectiva máscara de intensidad,
y en un segundo paso se calcula una máscara de escala de gris a partir de todas las máscaras de intensidad generadas en el primer paso,
y en el que se sustituye el contenido a sustituir por el contenido sustitutivo de conformidad con la máscara de escala de gris en la imagen tomada por la cámara,
en el que se generan en el primer paso las máscaras de intensidad los colores primarios que son colores de la característica, a cuyo fin se calculan para los píxeles de al menos una zona de la imagen unos respectivos valores de intensidad
Erojo = max/0, R - max(G, B))
Everde = max(0, G - max(R, B))
Eazul = max(0, B - max(R, G))
Ecian = max(0, min(G, B) - R)
Emagenta = max(0, min(R, B) - G)
Eamarillo = max(0, min(R, G) - B)
en donde R es un valor de rojo, G un valor de verde y B un valor de azul de la imagen de la cámara en el píxel correspondiente,
en el que se calcula la máscara de escala de gris, a cuyo fin se calcula el escalón de gris para cada uno de los píxeles de la zona de la imagen a partir de los valores de intensidad
E = frojo Erojo fverde Everde fazul Eazul fcian Ecian fmagenta Emagenta famarillo Eamarillo,
en donde frojo, fverde, fazul, fcian, fmagenta, famarillo son factores de ponderación, o
en el que se calcula la máscara de escala de gris, a cuyo fin se calcula el escalón de gris para cada uno de los píxeles de la zona de la imagen a partir de los valores de intensidad
E = max(frojo Erojo, fverde Everde, fazul Eazur fcian Ecian fmagenta Emagenta, famarillo Eamarillo),
en donde frojo, fverde, fazul, fcian, fmagenta, famarillo son factores de ponderación.
2. Procedimiento según la reivindicación anterior,
en el que la característica tiene los colores verde y magenta o rojo y azul.
3. Procedimiento según cualquiera de las reivindicaciones anteriores,
en el que se hacen iguales a cero los factores de ponderación de los colores que no están presentes en la característica.
4. Procedimiento según cualquiera de las reivindicaciones anteriores,
en el que se fijan los factores de ponderación en un paso de calibrado antepuesto en el que se graba el escenario con la cámara de modo que la reproducción de la al menos una característica tenga solamente los colores primarios que son colores de la característica, y se fijan los factores de ponderación de modo que todos los colores que son colores de la característica tengan, al aplicar el respectivo factor de ponderación, una misma distribución de intensidad.
5. Procedimiento según cualquiera de las reivindicaciones anteriores,
en el que se realiza un reconocimiento de objeto en la máscara de escala de gris, mediante el cual se determina qué zona de la imagen tomada por la cámara reproduce la al menos una característica del escenario, y
se calcula para cada uno los colores primarios que son colores de la característica un promedio del color correspondiente de todos los píxeles que son parte de la zona que reproduce la al menos una característica, y se sustituye el contenido sustitutivo mediante incrustación croma de los promedios calculados de los colores primarios.
6. Procedimiento según la reivindicación anterior,
en el que en el que la incrustación croma se realiza solamente en la zona de la imagen que se ha determinado como perteneciente a la reproducción de la característica.
7. Procedimiento según cualquiera de las reivindicaciones anteriores,
en el que la cámara es una cámara de vídeo que toma una multiplicidad de cuadros, y el procedimiento se realiza para cada uno de los cuadros.
8. Procedimiento según las reivindicaciones 5 a 7,
en el que se calcula el promedio en una pluralidad de cuadros consecutivos.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17154482 | 2017-02-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2755776T3 true ES2755776T3 (es) | 2020-04-23 |
Family
ID=58644773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES17164241T Active ES2755776T3 (es) | 2017-02-02 | 2017-03-31 | Procedimiento para sustituir contenidos de imágenes |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10412322B2 (es) |
| EP (1) | EP3358824B1 (es) |
| ES (1) | ES2755776T3 (es) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019220278A1 (de) * | 2019-12-19 | 2021-06-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Anzeige von Videos |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5093717A (en) * | 1987-08-03 | 1992-03-03 | American Film Technologies, Inc. | System and method for digitally coloring images |
| US5343252A (en) * | 1993-04-15 | 1994-08-30 | Ultimatte Corporation | Method and apparatus for compositing video images |
| US5398075A (en) * | 1993-11-19 | 1995-03-14 | Intel Corporation | Analog chroma keying on color data |
| GB2312348A (en) * | 1996-04-15 | 1997-10-22 | Discreet Logic Inc | Chromakeying with transition colour volumes |
| KR100661528B1 (ko) * | 2006-02-27 | 2006-12-27 | 주식회사 업앤온 | 적응형 크로마키 합성 장치 및 그 방법 |
| US8379048B2 (en) * | 2007-05-04 | 2013-02-19 | Esko Software Bvba | User adjustable gamut mapping and conversion of images from a source color space to a destination color space including primary and redundant colors |
| WO2012038009A1 (de) | 2010-09-20 | 2012-03-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie |
-
2017
- 2017-03-31 ES ES17164241T patent/ES2755776T3/es active Active
- 2017-03-31 EP EP17164241.6A patent/EP3358824B1/de active Active
-
2018
- 2018-02-01 US US15/886,369 patent/US10412322B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US10412322B2 (en) | 2019-09-10 |
| EP3358824A1 (de) | 2018-08-08 |
| US20180220084A1 (en) | 2018-08-02 |
| EP3358824B1 (de) | 2019-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7362336B2 (en) | Four color digital cinema system with extended color gamut and copy protection | |
| US7084907B2 (en) | Image-capturing device | |
| EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
| EP2798831A1 (en) | Spectral image processing | |
| JP2014507856A (ja) | レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法 | |
| JP2004200902A (ja) | 画像処理装置、電子カメラ、及び画像処理プログラム | |
| WO2015079795A1 (ja) | マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 | |
| ES2790852T3 (es) | Método de procesamiento de imágenes y dispositivo y medio de almacenamiento legible por ordenador | |
| CN103647958B (zh) | 图像处理方法、图像处理装置和电子设备 | |
| WO2019019870A1 (zh) | 图像的白平衡处理方法、装置和终端设备 | |
| CN107396079B (zh) | 白平衡调整方法和装置 | |
| CN107317967B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| Moeck et al. | Illuminance analysis from high dynamic range images | |
| CN112532872B (zh) | 调整摄像头参数的方法、装置、存储介质及电子设备 | |
| CN109639959B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| US11683596B2 (en) | Image capture apparatus, electronic apparatus, and chroma suppression program | |
| CN102447914B (zh) | 顺序显示彩色图像的方法 | |
| CN107580205B (zh) | 白平衡调整方法和装置 | |
| JP2016015017A (ja) | 撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラム | |
| JP2003333616A (ja) | ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体 | |
| US7514669B2 (en) | Imaging apparatus and light source estimating device for the imaging apparatus | |
| US10412322B2 (en) | Method of replacing image content | |
| WO2020017638A1 (ja) | 画像生成装置及び撮像装置 | |
| JP2010161453A (ja) | 赤外線照射式撮像装置 | |
| JP2014090410A (ja) | ホワイトバランス調整方法 |