ES2988801T3 - Remapeo de color de vídeo de alto intervalo dinámico mejorado - Google Patents

Remapeo de color de vídeo de alto intervalo dinámico mejorado Download PDF

Info

Publication number
ES2988801T3
ES2988801T3 ES18811314T ES18811314T ES2988801T3 ES 2988801 T3 ES2988801 T3 ES 2988801T3 ES 18811314 T ES18811314 T ES 18811314T ES 18811314 T ES18811314 T ES 18811314T ES 2988801 T3 ES2988801 T3 ES 2988801T3
Authority
ES
Spain
Prior art keywords
luminance
color
image
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18811314T
Other languages
English (en)
Inventor
Johannes Tichelaar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Application granted granted Critical
Publication of ES2988801T3 publication Critical patent/ES2988801T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

Para permitir una mejor determinación de una imagen de un rango dinámico de luminancia diferente (en particular, caracterizado por una luminancia máxima diferente, también conocida como brillo pico) que una imagen de entrada, la presente solicitud enseña varias variantes de un procesador de luminancia (501) dispuesto para calcular una luminancia de salida de un píxel de una imagen de salida (Im_ LDR; Im3000nit) que tiene un segundo rango dinámico de luminancia caracterizado por un segundo brillo pico (PB_ LDR; PB_ MDR) a partir de una luminancia de entrada de un píxel colocado espacialmente de una imagen de entrada (MAST_ HDR) que tiene un primer rango dinámico de luminancia caracterizado por un primer brillo pico (PB_ HDR), caracterizado porque el procesador de luminancia comprende: una unidad de cálculo de ganancia (514) dispuesta para calcular un factor de multiplicación (gL) que es una función de la luminancia de entrada y una función de mapeo de luminancia (FLM); una unidad de cálculo máximo (601) dispuesta para calcular un valor de intensidad (V) que es el máximo de los tres componentes de color rojo, verde y azul del color del píxel de la imagen de entrada, en donde dichos componentes son componentes de color rojo, verde y azul lineales o una potencia de dichos componentes de color rojo, verde y azul lineales; un calculador de desbordamiento (602) dispuesto para calcular una medida de desbordamiento (T) que indica cuán cerca del límite de gama superior está la luminancia de salida; una unidad de modificación de factor de ganancia (603) dispuesta para determinar un factor de ganancia alternativo (Fl(gL)) en caso de que la medida de desbordamiento sea mayor que un umbral (G), y dispuesta para mantener el factor de ganancia original en caso contrario, y dispuesta para emitir uno de ellos como un factor de ganancia final (gF); y un multiplicador (530) para multiplicar el color de entrada (R'G'B'_ nrm) por el factor de ganancia final (gF) para obtener un color de salida (R'G'B'_ HDR) que tiene la luminancia de salida. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Remapeo de color de vídeo de alto intervalo dinámico mejorado
CAMPO DE LA INVENCIÓN
La invención se refiere a procedimientos y aparatos para codificar imágenes de alto intervalo dinámico y, en particular, al cambio de luminancias de píxeles de imagen para convertir la imagen en un intervalo dinámico de luminancia diferente.
ANTECEDENTES DE LA INVENCIÓN
Hace unos 5 años, se introdujeron las novedosas técnicas de codificación de vídeo de alto intervalo dinámico.
Esto contrasta con la codificación de vídeo heredada según la cual todos los vídeos se codificaban hasta entonces, que hoy en día se denomina codificación de vídeo de intervalo dinámico estándar (SDR) (también conocida como codificación de vídeo de bajo intervalo dinámico; LDR). Definición del código de luma del SDR, del Rec. 709, fue capaz de codificar (con lúmenes de 8 o 10 bits) solo alrededor de 1000:1 intervalo dinámico de luminancia (también conocida como función de transferencia optoeléctrica OETF) debido a su forma de función de raíz cuadrada aproximadamente (luma: Y=sqrt(Luminancia L)), que codificó las capacidades de representación típicas de todas las pantallas en ese momento luminancias de aproximadamente entre 0,1 y 100 nit, siendo el último el llamado brillo máximo (PB).
Se introdujo en el mercado un primer códec HDR, el HDR10, que se utiliza, por ejemplo, para crear los nuevos Blu-Rays HDR de cinta negra, que simplemente cambiaron el OETF a una función de cuantificador perceptual de forma más logarítmica estandarizada en SMPTE 2084, que permitió definir lumas para luminancias entre 1/10.000 nit y 10.000 nit, suficiente para la producción práctica de vídeo HDR. Después del cálculo de las lumas, solo se tenía un plano de píxeles de 10 bits (o más bien con los dos planos de crominancia Cb y Cr 3 planos de bits), que podrían tratarse clásicamente más adelante "como si" fueran una imagen SDR matemáticamente, por ejemplo, MPEG comprimido. Por supuesto, el lado receptor ahora debe obtener una imagen HDR en lugar de una imagen SDR, o se producirá una representación incorrecta. Si simplemente se mapea linealmente (imagen codificada máx. blanca, también conocida como codificación de brillo máximo PB_C a brillo máximo de pantalla SDR PB_D), una imagen con PB_C=1000 nits se vería 10 veces demasiado oscura, lo que significaría que las escenas nocturnas se volverían imposibles de ver. Debido a la naturaleza logarítmica del PQ OETF, las imágenes HDR10 son visibles, pero tienen un contraste feo y deteriorado, lo que las hace parecer, entre otras cosas, descoloridas y de brillo incorrecto.
Un problema de una imagen de vídeo HDR tan simple (también conocida como gradación HDR, con la gradación de palabras que indica qué luminancia deben tener los diversos objetos de escena en una representación de imagen con un PB_C de, por ejemplo, 1000 nits (o superior), para hacer que la escena HDR se vea óptima en esa representación) es que solo se mostrará correctamente en una pantalla de idéntico PB_D = 1000 nits, y en condiciones de iluminación envolvente similares, por lo tanto, pronto se descubrió que dichos discos Blu-Ray no siempre se muestran perfectamente, y también en esta situación las escenas nocturnas pueden ser imposibles de ver.
Para ello, los codificadores de vídeo HDR más avanzados codifican dos graduaciones diferentes de una escena HDR: una imagen de mayor intervalo dinámico, por ejemplo, de PB_C = 5000 nit, y una de menor intervalo dinámico, que es típicamente una imagen SDR que tiene PB_C=100 nit, porque luego se puede mostrar inmediatamente en pantallas LDR heredadas.
Las escenas del mundo real (aunque una escena uniformemente iluminada se debe a la relación 100:1 de reflectancias de objetos, solo un intervalo dinámico tan bajo) pueden tener un intervalo dinámico considerablemente alto. Por ejemplo, una cueva con una pequeña abertura al exterior iluminado por el sol, puede en una representación de referencia PB_C de 10.000 nits que contiene una clasificación HDR adecuada de esa escena para ver televisión en el hogar contener luminancias muy por debajo de 1 nit para los píxeles de la cueva, y hasta 10.000 nit para los píxeles al aire libre. Una imagen HDR tan desafiante no se convierte tan trivialmente a un intervalo dinámico considerablemente más bajo (por ejemplo, al menos 100x cuando se va a SDR), especialmente si el creador de contenido desea transmitir un aspecto HDR todavía razonablemente similar también en la representación de SDR, pero como se explica con la Fig. 1, en principio se puede hacer.
Lo que debe entenderse bien aquí es que si estamos hablando de la codificación de las imágenes HDR y las imágenes correspondientes de menor intervalo dinámico, puede haber restricciones. En lugar de comunicar realmente dos imágenes clasificadas por separado (una imagen clasificada HDR y PB_C SDR de 100 nits de la escena original), una típicamente (como se aclarará más adelante con la Fig. 2) comunica solo una imagen clasificada del par de imágenes PB_C clasificadas de manera diferente de punto extremo, y como funciones de metadatos para mapear los colores y en particular su luminancia de los píxeles de la imagen recibida en los colores de la otra imagen clasificada.
Debe entenderse que hay dos clases de codificadores de imágenes: el primero (Modo 1) comunica imágenes HDR a los receptores, al igual que HDR10, por lo que, por ejemplo, se puede reutilizar el PQ OETF para codificar esas imágenes, pero añadiendo metadatos que prescriben cómo degradar la luminancia de esta imagen HDR a un intervalo dinámico más bajo (por ejemplo, calcular la imagen SDR 100 nit PB C a partir de la imagen HDR recibida). La segunda clase (Modo 2) comunica la imagen SDR del par, y las funciones en forma inversa para actualizar a la imagen HDR, que es útil para servir a una gran base instalada de televisores heredados (esto implica más restricciones técnicas para cualquier tecnología complementaria a seguir).
Hay mecanismos técnicos para volver a clasificar a imágenes PB intermedias, llamadas imágenes de intervalo dinámico medio (MDR), por lo que en lugar de convertir la imagen SDR recibida en la original, por ejemplo, una imagen PB_C de 5000 nit que fue creada por el creador de contenido en el lado de creación o transmisión, el receptor (por ejemplo, un decodificador, TV, ordenador, equipo de cine o similar), el receptor puede calcular, por ejemplo, una imagen PB_C de 700 nit. Esta llamada adaptación de pantalla es importante porque no todos tendrán una pantalla de exactamente 5000 nits PB_D, es decir, que coincida naturalmente con el contenido (una llamada pantalla de referencia, para distinguirla de cualquier pantalla real en el lado receptor), por lo que se debe calcular una imagen adecuada (es decir, que transmita de manera más óptima la intención artística realizada en la clasificación HDR de 5000 nits, y la luminancia del lado de la creación o, en general, las funciones de reclasificación de color) para, por ejemplo, la pantalla de 700 nits. Si no es así, el comportamiento de la representación no está definido y, por lo general, las partes más brillantes del contenido no se mostrarán o al menos se mostrarán mal (esto puede hacer que, por ejemplo, una persona de bajo contraste en una niebla brillante desaparezca por completo, lo que significa que algunas personas pueden ver una historia de película totalmente diferente, lo cual es muy indeseable).
Asumiremos de manera no limitativa que las gradaciones de imagen HDR y SDR son creadas por un graduador de color humano (por ejemplo, primero la gradación HDR y, a partir de ahí, una gradación SDR), sin embargo, en alguna aplicación, un sistema automático determina las imágenes graduadas y las funciones de mapeo de color (que, por ejemplo, se prefiere actualmente en la transmisión en tiempo real, en la que la reutilización de los sistemas existentes no es compatible con la gradación humana).
Para la comodidad del lector y para ponerlo al día rápidamente sobre algunos de los aspectos involucrados, la Fig. 1 muestra un par de ejemplos ilustrativos arquetípicos de las muchas escenas HDR posibles que un sistema HDR del futuro (por ejemplo, conectado a una pantalla PB_D de 1000 nits) puede necesitar para poder manejar correctamente, es decir, al representar las luminancias apropiadas para todos los objetos/píxeles en la imagen. Por ejemplo, ImSCN1 es una imagen al aire libre soleada de una película del oeste (que tiene áreas en su mayoría brillantes, que idealmente deberían ser algo más brillantes que en una pantalla de 100 nits, para ofrecer más un aspecto soleado que un aspecto de día lluvioso, por ejemplo, con una luminancia promedio de, por ejemplo, 500 nits), mientras que ImSCN2 es una imagen nocturna.
¿Qué hace que una imagen así sea soleada, en comparación con la otra oscura? No necesariamente las luminancias relativas, al menos no en el paradigma SDR. Lo que hace que la representación de imágenes HDR sea diferente de lo que siempre fue en la era SDR, que terminó hace solo un par de años, es que el SDR tenía un intervalo dinámico tan limitado (aproximadamente PB=100 nit y un nivel de negro de aproximadamente 0,1 a 1 nit), que en su mayoría solo las reflectividades intrínsecas de los objetos podían mostrarse en SDR (que caerían entre el 90 % para el blanco bueno y el 1 % para el negro bueno). Eso sería bueno para reconocer objetos (que tienen una cierta cantidad de brillo de su reflejo, y por supuesto su cromaticidad), bajo iluminación uniforme técnicamente controlada, pero no tanto las hermosas variaciones en la iluminación en sí que uno puede tener en escenas naturales, y qué impacto puede tener en los espectadores. Si la pantalla lo permite, y por lo tanto también debería hacerlo la tecnología de codificación y manejo de imágenes, uno en un paseo por el bosque realmente vería el sol brillar a través de los árboles, es decir, en lugar de solo una impresión algo más amarilla como en una pantalla SDR, uno le gustaría ver ropa brillante y colorida iluminada por el sol cuando la persona camina desde la sombra hacia el sol. Y también el fuego y las explosiones deberían tener un impacto visual óptimo, al menos en la medida en que el PB_D lo permita.
En SDR, uno podría hacer que la imagen nocturna fuera algo más oscura, en el histograma de luma, pero no demasiado, o simplemente representaría una imagen demasiado oscura y fea. Y también en un televisor de 100 nits o en una codificación de 100 nits simplemente no hay espacio disponible para nada demasiado brillante. Así que uno tenía que mostrar los objetos independientemente de su iluminación, y no podía al mismo tiempo mostrar fielmente todas las iluminaciones a veces altamente contrastantes de la escena que podrían suceder. En la práctica, eso significaba que la escena soleada muy brillante tenía que representarse con aproximadamente las mismas luminancias de visualización (0-100 nit) que una escena aburrida de día lluvioso. E incluso las escenas nocturnas no podrían representarse demasiado oscuras, o el espectador no podría discriminar bien las partes más oscuras de la imagen, por lo que, de nuevo, esos brillos nocturnos se representarían abarcando el intervalo entre 0 y 100 nit. Una solución convencional a eso era colorear las escenas nocturnas de azul, para que el espectador entendiera que no estaba mirando una escena diurna. Ahora, por supuesto, en la vida real la visión humana también se adaptaría a la cantidad de luz disponible, pero no tanto (la mayoría de las personas en la vida real reconocen que está oscureciendo, o que están en un ambiente más oscuro o bastante brillante). Por lo tanto, uno quisiera renderizar las imágenes con todos los espectaculares efectos de iluminación locales y también temporales que uno puede diseñar artísticamente, para obtener imágenes renderizadas mucho más realistas al menos si uno tiene una pantalla HDR disponible. ¿Cuál sería exactamente una luminancia apropiada para, por ejemplo, un sable de luz en una habitación oscura? Dejaremos que el graduador de color que crea la(s) dasificación(es) maestra(s) decida, y esta aplicación se centrará en las posibilidades técnicas necesarias para crear y manejar dichas imágenes.
En el eje izquierdo de la Fig. 1 se encuentran las luminancias de objetos como a uno le gustaría verlas en una clasificación HDR maestra de PB de 5000 nits, para una pantalla PB_D de 5000 nits (es decir, el clasificador hace una imagen suponiendo que el televisor HDR de alta calidad típico en el hogar tendrá 5000 nits PB_D, y en realidad puede estar sentado en una representación de dicha sala de visualización doméstica y calificar en dicha pantalla de clasificación). Si uno quiere transmitir no solo una ilusión, sino una sensación real de que el vaquero está en un entorno iluminado por el sol, debe especificar y hacer que esas luminancias de píxeles sean lo suficientemente brillantes (aunque tampoco demasiado brillantes, que es una trampa típica de la creación y manejo de imágenes HDR), alrededor de, por ejemplo, 500 nit. Para la escena nocturna, uno quiere luminancias principalmente oscuras, pero el personaje principal de la motocicleta debe ser bien reconocible, es decir, no demasiado oscuro (por ejemplo, alrededor de 5 nits), y al mismo tiempo puede haber píxeles de luminancia bastante alta, por ejemplo, de las luces de la calle, por ejemplo, alrededor de 3000 nits en una pantalla de 5000 nits, o alrededor del brillo máximo en cualquier pantalla HDR (por ejemplo, 1000 nits). El tercer ejemplo ImSCN3 muestra lo que ahora también es posible en pantallas HDR: se pueden renderizar simultáneamente píxeles muy brillantes y muy oscuros. Se muestra una cueva oscura, con una pequeña abertura a través de la cual se puede ver el soleado exterior. Para esta escena, es posible que se desee hacer que los objetos iluminados por el sol como el árbol sean algo menos brillantes que en una escena que quiere dar la impresión de un paisaje soleado y brillante, por ejemplo, alrededor de 400 nits, que deberían estar más coordinados con el carácter esencialmente oscuro del interior de la cueva. Un graduador de color puede querer coordinar de manera óptima las luminancias de todos los objetos (ya en la imagen HDR maestra PB_HDR =5000 nits), de modo que nada se vea inapropiadamente oscuro o brillante y el contraste sea bueno, por ejemplo, la persona que está en la oscuridad en esta cueva puede codificarse en la imagen graduada HDR maestra alrededor de 0,05 nits (suponiendo que las representaciones HDR no solo puedan representar reflejos brillantes, sino también regiones oscuras).
Por lo tanto, se ve que puede haber varios comportamientos típicos para la reclasificación: por ejemplo, a veces se desea mantener las luminancias sustancialmente iguales en todos los intervalos de luminancias, y a veces se escalan (por ejemplo, se escalan linealmente con la disminución de PB_C). O algunos objetos como el sol siempre se pueden asignar a PB_C.
Hay que entender que en un marco de codificación hay algunas limitaciones. Por ejemplo, en un sistema de modo 1, uno no puede hacer libremente lo que quiera, sino que, por lo general, el mapeo debe ocurrir de acuerdo con un conjunto limitado de funciones de mapeo de luminancia estandarizadas (porque el decodificador necesita comprender lo que se hace en el lado de la creación, y los decodificadores deben cumplir con los requisitos prácticos del mercado, como no ser demasiado complejo y costoso). Por lo tanto, se debe diseñar un conjunto de funciones que se comporten correctamente y suficientemente de acuerdo con lo que desean los usuarios del sistema y los creadores de contenido en particular, que es lo que el solicitante inventó en años anteriores. Para un sistema de modo 2, también se debe garantizar que las funciones sean invertibles y, en particular, que no se pierda demasiada información en la imagen SDR, que nunca podría recuperarse matemáticamente mediante la reclasificación en un receptor que intenta obtener una reconstrucción cercana de la imagen HDR original del lado de la creación.
Las funciones para una reclasificación óptima normalmente dependerán del contenido, por lo que normalmente se comunicarán al menos por toma de imágenes de una misma escena, de aspecto similar y con distribución de luminancia similar.
Solo para ilustrar algunas posibilidades técnicas de codificación de vídeo para la elucidación de algunos componentes que es importante comprender bien, describimos un sistema de codificación de vídeo HDR ejemplar que el solicitante ha diseñado para la imagen HDR y, en particular, la codificación de vídeo HDR (por lo que el lector debe entender que los principios de la invención son aplicables a otros sistemas además del sistema ejemplar para explicación también).
Este sistema de codificación de vídeo no solo puede manejar la comunicación (codificación) de un único vídeo HDR estandarizado (por ejemplo, un cuantificador perceptual de 10 bits utilizado como código de luma que define EOTF para la codificación), para un único tipo típico de pantalla en el campo (por ejemplo, imágenes definidas con PB_C = 1000 nits, bajo el supuesto de que cada espectador final tiene una pantalla PB_D de 1000 nits), sino que al mismo tiempo puede comunicarse y manejar los vídeos que tienen un aspecto/clasificación óptimos para varios otros tipos de pantalla posibles con varios otros brillos máximos en el campo, en particular la imagen SDR para una pantalla SDR PB_D de 100 nits.
Es decir, aunque en dicho sistema de comunicación de vídeo HDR se comunica realmente solo un tipo de imágenes graduadas como imágenes pixeladas transmitidas, típicamente aunque no exclusivamente en este ejemplo, imágenes SDR (o alternativamente las imágenes HDR), debido a que también se agregan en metadatos una o más funciones que definen los colores de píxeles de la imagen HDR y, en particular, luminancias de esas imágenes SDR, al mismo tiempo se ha comunicado que la imagen HDR también busca la escena (sin necesidad real de comunicar imágenes HDR, como en la comunicación de imágenes duales, o al menos una segunda capa de datos de imagen HDR pixelados).
Para ello, se define un conjunto de funciones de transformación de color reversibles apropiadas F_ct, como se ilustra con la Fig. 2. La Fig. 2 muestra de forma no limitada un sistema típico del tipo de comunicación SDR (es decir, modo 2), con el fin de explicar los conceptos básicos. Estas funciones pueden ser definidas por un graduador de color humano, para obtener una imagen SDR de aspecto razonable (Im_LDR) correspondiente a la imagen maestra HDR MAST_HDR, mientras que al mismo tiempo se garantiza que mediante el uso de las funciones inversas IF_ct la imagen maestra original HDR (MAST_HDR) se puede reconstruir con suficiente precisión como una imagen HDR reconstruida (Im RHDR). Las funciones IF_ct se pueden determinar a partir de las funciones de mapeo F_ct hacia adelante, HDR a SDR como se comunican, o, el sistema puede incluso comunicar directamente la(s) función(es) I F_ct.
El transformador de color 202 aplica típicamente el mapeo de luminancia F_ct de las luminancias relativas de los píxeles de la imagen HDR maestra (MAST_HDR), que asumiremos que están normalizados de modo que la luminancia máxima es 1,0. Para comprender los conceptos de la presente invención de una manera simple, se puede suponer por simplicidad que utiliza una función de mapeo de luminancia de 4a potencia (L_out_SDR=potencia(L_in_HDR;%) para derivar las luminancias de salida SDR normalizadas de los píxeles de la imagen de salida SDR PB_C de 100 nit Im_LDR (es decir, el lado derecho de la Fig. 1), es decir, que dicha función da un aspecto razonable para las imágenes correspondientes graduadas SDR a la imagen HDR maestra de la escena (significado razonable para la escena particular de aspectos tales como que un gran porcentaje de las áreas sombrías no se verán oscuras, las lámparas y otros objetos luminosos aparecerán como se desee en virtud de que aún tienen un contraste interregional razonable con las regiones de imagen más oscuras incluso en la imagen SDR, al menos en la medida en que lo permita el intervalo dinámico de luminancia SDR, etc.; para otras imágenes pueden contribuir otros factores, pero dichos detalles no son esenciales ni limitantes para dilucidar los componentes técnicos de la presente invención).
Dado que los receptores deben poder reconstruir la imagen HDR maestra a partir de la imagen SDR correspondiente recibida, o al menos una reconstrucción cercana, pero para algunos artefactos relacionados con la compresión, además de las imágenes pixeladas reales, también las funciones de mapeo de color deben ingresar al codificador de vídeo 203. Sin limitación, podemos suponer que el vídeo se comprime con un compresor de vídeo MPEG HEVC, y las funciones se almacenan en metadatos, por ejemplo, por medio del mecanismo SEI o una técnica similar.
Entonces, después de la acción del aparato de creación de contenido 221, desde la perspectiva de la tecnología de comunicación de imágenes, el codificador de vídeo 203 pretende obtener una imagen SDR normal como entrada y, lo que es más importante: emite lo que técnicamente es una imagen SDR (imagen codificada Im_COD), siguiendo la Rec. 709, especificación de luma SDR estándar. Entonces, la tecnología adicional, por ejemplo, un formateador de transmisión 204 que aplica todas las transformaciones necesarias para formatear los datos para pasar por algún medio de transmisión 205 (por ejemplo, codificación para almacenar en un disco BD, o codificación de frecuencia para transmisión por cable, etc.) puede simplemente aplicar todos los pasos típicos que usó para realizar en el paradigma de codificación SDR.
Posteriormente, los datos de imagen viajan a través de algún medio de transmisión 205, por ejemplo, una transmisión por satélite o cable o Internet, por ejemplo, de acuerdo con ATSC 3.0, o DVB, o cualquier principio de comunicación de señal de vídeo, a uno o más lados de recepción.
En cualquier lado del consumidor o profesional, un receptor sin formato 206, que puede incorporarse en varios aparatos físicos como, por ejemplo, un decodificador, televisión u ordenador, deshace la codificación de canales aplicando un formato y decodificación de canales. A continuación, un decodificador de vídeo 207 aplica, por ejemplo, la decodificación HEVC, para producir una imagen SDR decodificada Im RLDR, y los metadatos de la función de transformación de color F_ct. Luego, se dispone un transformador de color 208 para transformar la imagen SDR en una imagen de cualquier intervalo dinámico que no sea SDR (es decir, de PB_C mayor que 100 nits, y típicamente al menos 6 veces mayor). Por ejemplo, la imagen maestra original de 5000 nit Im_RHDR se puede reconstruir aplicando las transformaciones de color inversas IF_ct de las transformaciones de color F_ct utilizadas en el lado de codificación para hacer el Im_LDR a partir del MAST_HDR. O, se puede comprender un conjunto de adaptación de pantalla 209 que transforma la imagen SDR Im_RLDR a un intervalo dinámico diferente, por ejemplo, el nit Im3000 se clasifica óptimamente en caso de que la pantalla 210 sea una pantalla PB de 3000 nits, o una imagen PB de 1500 nits o 1000 nits, etc. Hemos asumido de forma no limitada que el decodificador de vídeo y el transformador de color están en un único aparato de redeterminación de vídeo 220. El lector experto puede entender que se puede diseñar de manera similar una topología que comunica, por ejemplo, imágenes HDR con PB_C=10,000 nit, y el transformador de color produce imágenes HDR de salida con, por ejemplo, PB_C=2500 nit, para un televisor o monitor correspondiente.
La Figura 3 aclara en un espacio de color teórico cómo sería un mapeo de color HDR a SDR (que comprende, en particular, un mapeo de luminancia).
El espacio de color es de la categoría cilíndrica y tiene como base un plano de cromaticidad. La cromaticidad bidimensional representa la "propia naturaleza" de un color, por ejemplo, si uno tiene un naranja saturado, o más bien un rojo insaturado (es decir, un rosa), independientemente de la iluminación o el brillo de ese color. Como medida de brillo, usamos la luminancia, que es la tercera dimensión vertical del espacio (en realidad, se usa la luminancia relativa, que se supone que se detiene en 1,0 como máximo). Como coordenadas de cromaticidad (Chrom) usamos la saturación (Sat) que es la distancia desde el eje de luminancia acromática en el centro, y el ángulo de tono (H), pero también se podrían usar las coordenadas CIE (u,v), o r=R/(R+G+B) y g= G/(R+G+B) en las que R,G y B son las cantidades lineales de contribución de rojo, verde respectivamente azul al color (cantidad de fotones rojos, etc., se podría decir de manera simplista), etc.
Se calcula un color SDR (Col_out) a partir de un color HDR (Col_in). El lector debe entender que representamos ambos colores de píxeles en un espacio de color normalizado (PB_C=1,0), por lo que, por lo general, el color SDR debe ser más brillante para que aún sea visible (se puede entender esto contemplando la tecnología en la que la luminancia relativa L corresponde a un porcentaje de transmisión LCD de una luz de fondo que es mucho más brillante para una pantalla HDR que para una pantalla SDR, por lo tanto, para tener el mismo color final visto en la parte frontal de la pantalla, la pantalla HDR debe transmitir menos luz y viceversa). Cabe señalar rápidamente que mostrar las luminancias de imagen HDR y SDR en la misma gama normalizada puede ser algo engañoso con respecto a algunos aspectos, porque los colores HDR más brillantes son colores que simplemente son imposibles en SDR, por lo que el artista o el autómata tiene que seleccionar una aproximación razonable para ello, pero esta simple explicación es suficiente para esta solicitud de patente, que se trata de los cálculos técnicos que ocurren en la imagen HDR o la cadena de manejo de vídeo, como la forma de crear una imagen de intervalo dinámico más bajo a partir de una imagen HDR maestra recibida.
La transformación del color se comporta bastante bien como se desea (en particular, ortogonal, lo que significa que un cambio de luminancia no influye en la cromaticidad o viceversa), ya que se puede ver que el brillo relativo de hecho no implica ningún cambio de la cromaticidad (Chrom) del color.
Esto no es tan trivial ab initio. La transformación heredada más típica ilumina las imágenes aplicando una función en los tres canales de color aditivos por separado (por ejemplo, una función de potencia(L; 1/3) iluminará muy bien los colores más oscuros mientras mapea de 1,0 a 1,0 como salida sin producir desbordamiento), lo que introducirá errores de tono, por lo tanto: en lugar de simplemente iluminar los colores de los píxeles, también cambian su tono en toda la gama de colores posibles, debido a la relación de cambio no lineal entre las cantidades relativas de componente de color R,G y B en la mezcla aditiva.
Incluso en el espacio de color teórico todavía hay otra posibilidad de cambiar la cromaticidad, y en particular su saturación.
En la naturaleza, el espacio de todos los colores será un cilindro, porque en realidad se podría iluminar el color amarillo insaturado seleccionado con la luz de una supernova.
Sin embargo, las pantallas tienen limitaciones, y también cualquier codificación real de colores (por eso introdujimos la gama de colores normalizada: aunque PB_C= 1,0 puede corresponder a un PB_C real y absoluto en nit que es bastante alto, como 10.000 nit, todavía existe tal límite): por construcción natural, es para que el color más brillante sea el blanco, y cualquier color cromático como el amarillo brillante debe tener una luminancia menor.
Por lo tanto, incluso en este espacio de color teórico, puede suceder, por ejemplo, cerca de los azules que generalmente son relativamente oscuros (por ejemplo, el 10 % de la luminancia del blanco), que el simple mapeo de brillo se mapee por encima de la gama de colores realizables (GAMU), lo que en la práctica significa que algún componente de color (en este ejemplo el azul), debe recortar a su valor máximo, produciendo un color en el límite superior de la gama que generalmente es demasiado desaturado y, a menudo, de tono incorrecto (por ejemplo, un azul claro).
Sin embargo, el solicitante logró construir un sistema simple que se comportó de acuerdo con todos los deseos: en particular, sin problemas fuera de gama, lo que condujo a la cromaticidad correcta para todos los colores, a costa de quizás una luminancia algo menor de lo que se desearía idealmente. Los principios de esta tecnología de codificación HDR (es decir, la determinación, comunicación y uso de las funciones de metadatos de mapeo de luminancia F_ct de la misma) que se describen en WO2014056679 se reiteran brevemente como los siguientes (para una comprensión posterior de las diferencias con las presentes enseñanzas).
Como muestra su Fig. 5, la transformación de luminancia de brillo (u oscurecimiento) se aplica realmente multiplicando los tres componentes de color por igual con un factor de ganancia determinado g (recuerde que la luminancia es una combinación aditiva lineal de los componentes de color lineales R,G y B, es decir, L= a *R+b*G+c*B; los coeficientes a,b y c dependen de las cromaticidades de los primarios RGB utilizados en la definición de vídeo, por ejemplo, para Rec. 709 son aproximadamente a =0,3; b=0,6; c=0,1), lo que garantiza que su proporcionalidad relativa no cambie, es decir, manteniendo el tono y la saturación del color iguales antes y después del procesamiento de luminancia.
La enseñanza prescribe además que el factor de ganancia se determina para cada color posible en función de cuál de los tres componentes RGB es el más grande, lo que garantiza que el mapeo se escala correctamente con el Lmáx local (crom), es decir, nunca se dan problemas de gama. Por lo tanto, tal encarnación de las matemáticas del color realiza el comportamiento ideal de procesamiento de color/brillo lineal y separado, al tiempo que tiene en cuenta las limitaciones de la gama, la gama de una pantalla en particular.
Sin embargo, por varias razones, uno quiere un procesamiento de color que también pueda funcionar en otras representaciones de color, es decir, otros espacios de color.
Dado que el vídeo analógico (PAL, NTSC) ya existía, se definió el espacio de color YCbCr (o YIQ correspondiente), que resultó bastante útil para la comunicación de vídeo, pero la gente también quería hacer procesamiento de color en él (por ejemplo, con circuitos de televisión analógicos que cambian el brillo regulando en el canal Y, o la saturación variando en los canales Cb y Cr de manera similar).
La Fig. 4 muestra cómo se ve y cuáles son sus propiedades. Para empezar, el cubo RGB (en 0-1,0) se gira sobre su punta, de modo que ahora el eje diagonal donde R=G=B se convierte en el eje de brillo acromático, es decir, incoloro.
Sin embargo, la nueva medida de brillo ahora es la luminancia.
Se define con los mismos coeficientes a,b,c que la luminancia, sin embargo, ahora a partir de los coeficientes RGB no lineales (gamma-precorregidos), que según Rec. 709 son aproximadamente R=sqrt(R _linear), etc. (Téngase en cuenta que en la era HDR se han definido más componentes RGB no lineales, por R_nonlin=OETF_HDRcodec (R_lin), etc.).
Uno tendería a pensar que Potencia(Luma;2) es igual a luminancia, y esto es así en el eje acromático (ya que hay R=G=B tan potencia((a b+c=1)*sqrt(R);2) = potencia(Y;2)=L). Sin embargo, para los colores cromáticos, la luma no está simplemente relacionada unidimensionalmente con la luminancia, sino también con la cromaticidad (o crominancia), que se denomina fuga de luminancia no constante.
Esto tiene algunas consecuencias: si se desea iluminar los colores de la imagen aplicando una función, por ejemplo, Y_out= potencia(Y_in; 1/3), a continuación la luma de entrada Y_in depende de la cromaticidad y, por lo tanto, también lo hace la intensidad del brillo debido a la acción dependiente de Y de la función de potencia de 1/3 (seleccionada como simple de entender). Téngase en cuenta que cualquier función de mapeo de luma de este tipo (ya sea la función de potencia de ejemplo simple, o una función mucho más compleja e interesante con varias pendientes locales más altas o más bajas cuidadosamente seleccionadas que corresponden a luminancias de objetos de interés particular en la escena) en nuestro sistema de la técnica anterior descrito anteriormente corresponde a una ganancia dependiente de luma g(Y) por la cual los componentes RGB (lineales o no lineales en las respectivas realizaciones posibles) se multiplican (porque se puede implementar la multiplicación de componentes también en las redefiniciones de la función de potencia de RGB lineal, como, por ejemplo, YCbCr). Entonces, si se estima la luminancia "incorrecta" para un color (que tiene la misma luminancia teóricamente que algunos grises acromáticos que deben iluminarse) como una luma diferente, dicho color puede obtener el impulso "incorrecto", lo que lleva, entre otras cosas, a un aspecto fluorescente de colores saturados, como un color rojo.
Una tercera diferencia importante con el espacio de color teórico de la Fig. 3 es que los componentes de color CbCr no son cromaticidades, lo que puede verse por el hecho de que (aparte de la limitación de la gama en la parte superior de la mitad superior) este espacio de color es cónico en lugar de cilíndrico.
La saturación no cambia con el aumento de Cb, sino más bien con el ángulo desde el eje de la luma acromática. Esto se puede entender tomando un color primario azul (ColBlu), es decir, de máxima saturación reproducible en este sistema de color dependiente de la pantalla, y aumentando su luminancia hacia el azul más brillante posible (Blu). Siendo este el mismo tipo de color azul saturado, su cromaticidad y, por lo tanto, su saturación no cambiarán, pero su valor Cb aumenta con la luma (o correspondientemente con la luminancia). Esta dependencia de la luminancia es la razón por la que se llama al componente Cb y Cr una Crominancia, la primera parte indica el hecho de que codifica un aspecto de color (el azul de un color), pero la segunda parte indica que esto varía linealmente con la luma no lineal. Sin embargo, se puede cambiar la saturación en tal representación de YCbCr multiplicando las crominancias por igual con un multiplicador de saturación constante (Sm): Cb_out=Sm*Cb_in; Cr_out=Sm*Cr_in. La luma no cambia porque no se ve afectada por este procesamiento, aunque la luminancia del color cambiará debido a la propiedad de no luminancia constante de la luma (que en muchas situaciones no es percibida como problemática por los usuarios de los sistemas de procesamiento de color, pero en algunos escenarios más críticos puede serlo). Sin embargo, cambiar solo la parte de luma no da como resultado un comportamiento de cromaticidad de color constante, porque los componentes de CbCr corresponden a la luminancia "incorrecta", por lo tanto, un color de saturación diferente. Pero esto puede corregirse de manera relativamente fácil contrarregulando los coeficientes de CbCr mediante la diferencia similar en luma (o luminancia en un procesamiento basado en luminancia, por ejemplo, un espacio YCbCr lineal, o las versiones lineales incorporadas en topologías no lineales como se describe a continuación, etc.).
Los problemas de saturación en la parte superior de la gama, debido a su estrechamiento hacia el blanco máximo, todavía existen en cualquier sistema (y pueden conducir a errores de tono), y eso es lo que tratarán las nuevas realizaciones y enseñanzas de la aplicación actual.
Una última cosa que es interesante como información de antecedentes para una comprensión completa de las diversas enseñanzas a continuación se aclara con la Fig. 5.
La Fig. 5 resume el hardware básico del decodificador HDR Technicolor-Philips (también conocido como SLHDR1 y SLHDR2, respectivamente) co-desarrollado por el solicitante (el codificador es el procesamiento espejo). Se puede impulsar de manera similar en dos sabores: el modo 1, en cuyo caso se introduce YCbCr basado en PQ, es decir, que se calcula en función de las coordenadas R 'G' B 'no lineales que se calculan a partir de las lineales con un OETF que es la función del cuantificador perceptual SMPTE 2084, y la versión del modo 2 que aclaramos aquí, en cuyo caso normal (es decir, Rec. 709 decodificable, o aproximado como basado en sqrt-OETF) se introducen los colores de la imagen SDR YCbCr.
Téngase en cuenta que, de manera similar a este ejemplo, nuestras realizaciones se pueden implementar tanto en un cálculo de espacio de color YCbCr lineal (es decir, basado en RGB lineal) como en uno no lineal basado en la ley de potencia, como el ejemplo basado en R'=sqrt(R) que describimos aquí.
Esto se debe a que los cálculos en el espacio lineal se pueden hacer equivalentes a los cálculos basados en la potencia, en particular los cálculos basados en la potencia sqrt, por ejemplo:
tí^ polen cia(a* ■ 5 qrt(R)+b ■* -sqrtl G); 2 )=poien cia(a*- s q rt(k* ■ R}+& * sqrt(k* ■ G>-;2)
Por lo tanto, esto significa que, aunque apliquemos el factor de ganancia común gNL a los componentes RGB normalizados no lineales R'G' B'_nrm, para obtener los colores de píxeles HDR correctamente oscurecidos, en realidad podemos hacer un procesamiento lineal basado en luminancia completamente separado (es decir, evitando los errores de brillo de color fluorescente debido al procesamiento de brillo basado en luminancia no constante).
Esto se puede ver por el hecho de que la parte de procesamiento de luminancia del mapeo de color SDR a HDR total (el movimiento hacia arriba del color de ejemplo en la Fig. 3) por el procesador de luminancia 501 obtiene como entrada la luminancia L del píxel procesado actualmente.
Un convertidor de espacio de color 502 puede manejar esto, al estar dispuesto para convertir la luminancia no constante luma Y en luminancia, lo que se puede hacer de varias maneras (por ejemplo, los valores R 'G' B 'no lineales se convierten en sus valores lineales aplicando el OETF inverso apropiado, el llamado EOTF, y luego la luminancia L se calcula mediante la ecuación de definición lineal apropiada basada en valores de triplete RGB, como se explicó anteriormente).
El factor multiplicativo lineal necesario para los tres componentes de color, gL, se obtiene dividiendo la luminancia de salida normalizada L_out, por la luminancia de entrada normalizada L.
Pero es bastante interesante que, aunque se realiza un procesamiento lineal en la luminancia, se puede especificar (y hacer) el procesamiento en realidad en una versión no lineal de la luminancia (debido al canal de información de solo luminancia dividido, esto se puede formular de manera equivalente).
En este ejemplo mostramos el procesamiento en un dominio perceptualmente uniformado, que puede ser más natural para un graduador humano (o autómata) especificar su desiderata de reclasificación del intervalo dinámico. Un convertidor de dominio 511 convierte las luminancias lineales en lumas perceptuales perceptualmente más uniformes PY (por ejemplo, aplicando el PQ OETF, o la función patentada por Philips en WO2015007505, cuyas enseñanzas se incorporan en el presente documento como posibles enseñanzas de realización de la presente solicitud). El mapeador de luminancia 512 realiza el mapeo de los lúmenes perceptuales de SDR PY a los lúmenes perceptuales de salida de HDR PY_O. Se puede suponer, continuando con la aclaración simplificada anterior, que los lúmenes perceptivos correctos de la imagen HDR se obtienen aplicando una tercera ley de potencia simple: PY _O=potencia(PY;3), pero en general el creador de contenido puede definir cualquier forma de curva más complicada y óptima, que se lee a partir de los metadatos cocomunicados SEI(F_ct) y, por ejemplo, se carga en una<l>U<t>, o similar. Se puede ver (la inversa de lo que se explicó con la Fig. 3 sobre cómo crear luminancias de píxeles de objeto correspondientes (en realidad aquí calculadas como sus lúmenes correspondientes) para una imagen de menor intervalo dinámico y, en particular, el brillo máximo de codificación PB_C que la imagen de entrada) que se necesita atenuar la mayoría de las luminancias relativas para obtener la imagen de aspecto correspondiente correcta de mayor intervalo dinámico (por ejemplo, de PB_C=1000 nit).
A partir de entonces, el convertidor de segundo dominio 513 vuelve a linealizar los lúmenes perceptuales, es decir, obtiene las luminancias HDR correctas L out.
Por lo tanto, esta topología es una manera poderosa de realizar cambios de luminancia pura que conservan la cromaticidad de varias maneras según se desee (al menos eso es: siempre que el factor multiplicativo común no aumente ninguno de los valores R 'G' B 'por encima de su máximo, que sin limitación asumiremos que es 1,0, que es el recorte de gama anterior explicado anteriormente). El resto del circuito es una realización que no es tan crítica para comprender los siguientes aspectos de nuestra presente invención.
Se puede cargar otra LUT de color B(Y) a partir de metadatos (mediante el derivador de procesamiento cromático 520), dando un factor B para cada luma de píxel Y para multiplicar los valores de CbCr recibidos por (por el multiplicador 521), para obtener valores de salida más apropiados CbCr_COR. Esta puede ser una estrategia simple, o una más compleja que también tenga en cuenta el valor V del color, donde V=max(R'G' B'), o V=max(R,G,B) en el escenario lineal. Finalmente, una matriz deriva valores R'G' B' normalizados R'G'B'_nrm. Estos están en la gamma normalizada como se muestra en las Fig. 3 y 4, pero distribuidos por raíz cuadrada porque todavía están en el dominio no lineal de los colores de la imagen de entrada (Y_SDR, Cb,Cr). De hecho, estos son los colores ubicados en sus posiciones SDR (véase la Fig. 3: Col_out(SDR), porque en este ejemplo los colores SDR son los colores de entrada en lugar de los colores de salida). Deberán mapearse adecuadamente para cada píxel el factor gNL correspondiente, de modo que el multiplicador 530 pueda multiplicar los tres componentes de manera similar por ese factor, para obtener los colores HDR normalizados no lineales R'G'B' _HDR.
Entonces, el multiplicador 530 realiza: R'_HDR= gNL*R'_nrm; G'_HDR= gNL*G'_nrm; B'_HDR= gNL*B'_nrm[Ecs. 1].
El mismo cambio de luminancia también se puede implementar alternativamente en otras representaciones de color derivadas basadas en la función de potencia, por ejemplo, Y'_HDR= gNL *Y'_nrm; Cb_HDR= gNL *Cb_nrm; Cr_HDR= gNL *Cr_nrm, por lo que Cb y Cr se definen de acuerdo con su ecuación habitual basada en R'G'B', es decir, en el ejemplo, tales serían crominancias SDR, pero normalizadas a 1. Téngase en cuenta que en este texto el signo prima indicaría que tenemos una cantidad basada en potencia © (es decir, la definición clásica Rec. 709 de la luma no lineal), y la ausencia de la prima típicamente indica componentes de color lineales normales, y una prima doble indica otra posible definición<h>D<r>de los componentes de color, con R" típicamente indicando R" = OETF_PQ(R). El lector experto puede entender en qué sistema definido se definen los Cb y Cr correspondientes.
Finalmente, un acondicionador de pantalla 540 puede acondicionar los colores para una referencia genérica (en caso de almacenamiento, por ejemplo) o una pantalla conectada específica. En el primer ejemplo, el procesamiento puede ser tan simple como para convertir los valores de R'G'B' definidos por gamma 1/(2,0) en lúmenes definidos por PQ OETF R"G"B"_PQ. En el último ejemplo, cualquier algoritmo de adaptación de visualización particular puede ser aplicado por el acondicionador de visualización 540 para obtener en lugar de, por ejemplo, los valores R'G'B' _HDR definidos por PB_C de 5000 nits, por ejemplo, valores R"G"B"optimizados por PB_D de 800 nits (no debe entenderse mal que en otras realizaciones esta adaptación de visualización ya puede ocurrir en el propio procesamiento, en particular en el procesador de luminancia 501). De hecho, el acondicionador de pantalla puede producir cualquier formato de señal deseado por la pantalla conectada, y puede comunicarse para recibir información sobre eso de la pantalla antes de formar los colores de salida deseados y la señal que los codifica (por ejemplo, por cable HDMI o inalámbrico, etc.).
El lector puede ver que esta topología tiene algunas ventajas de varias visiones de procesamiento de color hasta ahora mutuamente excluyentes: tiene una estructura YCbCr, en particular que acepta colores de entrada YCbCr normales, pero también muestra todas las propiedades agradables del procesamiento de color lineal, como la ausencia de cambios de tono de los colores normales (es decir, en imágenes HDR, la mayoría de los colores se encuentran muy por debajo de la parte superior de la gama, ya que esos colores generalmente codifican colores ultrabrillantes como los colores de las lámparas, que a menudo son blancos incoloros, o al menos no molestos si se desaturan). Sin embargo, todavía existe el problema del mapeo de color por encima de la pantalla, ya que existe con cualquier espacio de color cónico superior (ya sea de base cónica o de base cilíndrica). No parece ocurrir en el procesamiento de cubos de color como el mapeo RGB no lineal de canales separados, al menos en tal representación es fácil evitar el desbordamiento, pero como se dijo en tales representaciones, los errores de color pueden volver debido a las proporcionalidades cambiadas de los componentes de color.
La forma en que cualquier función de mapeo de luminancia (por ejemplo, la forma de función deseada y creada por un graduador humano) o algoritmo se puede convertir en un único factor de ganancia multiplicativo mediante el conjunto de cálculo de ganancia 514 es la siguiente: suponga que la luminancia de entrada es, por ejemplo, 0.2 y la aplicación de todas las funciones en el conjunto 501 (que en general puede, entre las dos cajas de punto final que realizan una conversión de dominio, comprender cualquier número de procesamientos que conduzcan a un resultado final) produce una luminancia de salida de 0,4. A continuación, el conjunto de cálculo de ganancia 514 puede ser un divisor simple que produce el factor gL (dominio lineal) como L_out/L.
La luminancia de entrada L corresponderá a los componentes de color de entrada, por ejemplo, el lineal R,G,B. Multiplicar aquellos con el factor gL que en el ejemplo es igual a 2,0, producirá los componentes de color de salida correctos, que también tienen la luminancia de salida deseada correcta. En caso de que los cálculos (es decir, la topología de IC o el software) no ocurran en el dominio lineal, puede ser necesario un convertidor de dominio de factor de ganancia 515, que en este ejemplo en el que el procesamiento ocurre en el dominio clásico de gamma 2,0 SDR debe aplicar una función de raíz cuadrada para obtener el factor de ganancia no lineal final necesario gNL =sqrt(gL). Cuando se formuló que el mapeo de luminancia ocurre con luminancia como entrada, se puede incorporar de manera similar una formulación correspondiente con luma como entrada, para la cual normalmente se usaría la luma gamma 2,0 clásica. (obsérvese que la dependencia V del procesamiento de color del conjunto 520 no se enseña previamente, pero es útil en combinación con la presente invención). Las matemáticas de color aplicadas por el matrizador de color 523 para derivar las coordenadas R 'G' B '_nrm normalizadas de CbCr_COR no deberían ser demasiado difíciles de entender para el experto en tecnología de color, y tampoco son realmente importantes porque nuestras enseñanzas actuales trabajan en varias realizaciones de cálculo de color; es decir, si esa parte está presente o no, siempre que se puedan derivar tres componentes de color que puedan ajustarse por luminancia mediante el factor g común de que parte del procesamiento de color esté suficientemente presente, es decir, aunque mostramos una topología de procesamiento de color del decodificador HDR completo, para las presentes enseñanzas es la parte superior de 501 lo que es interesante.
El documento WO2017/157977 también enseña aspectos del enfoque preferible del presente solicitante para la reclasificación de luminancia de vídeo HDR y, en particular, algunos detalles sobre cómo tratar los colores negros ultraprofundos. Pero en común con la presente discusión, enseña cómo se pueden definir ventajosamente las funciones de mapeo de luminancia, que luego se pueden aplicar como una multiplicación común de un factor g correspondiente por los tres componentes de color de un píxel (lineal o no lineal), por ejemplo, típicamente YCbCr. Lo que esta solicitud de patente no enseña es una solución elegante para cualquier comportamiento consecuente por encima de la gama, en caso de que se encuentre objetable en la práctica (Téngase en cuenta que las imágenes HDR a menudo pueden contener colores relativamente oscuros, que pueden no crear problemas en SDR cuando no se potencian excesivamente, y a menudo algunos reflejos acromáticos, que no plantearían problemas psicovisuales si se recortaran). Lo que el experto podría hacer típicamente a continuación es seleccionar una curva ligeramente menos "agresiva" (es decir, menos aumento de luminancia de HDR a SDR), por ejemplo, elegir una pendiente más adecuada para las luminancias de imagen más brillantes de la función de mapeo de luminancia aplicada por el ajustador de intervalo dinámico (DRA) del documento WO'977 Fig. 12. Cualquier problema que sea de suficiente preocupación generalmente se mitigará lo suficiente, aunque generalmente viene con algún otro efecto de imagen psicovisual (por ejemplo, un cambio de dicha pendiente del segmento lineal superior generalmente también tendrá un impacto en la forma de la función a continuación, debido al desiderátum de continuidad).
Por lo tanto, el inventor previó ofrecer una nueva solución técnica de procesamiento de color de cambio de intervalo dinámico, mientras se mantienen algunas de las buenas propiedades de algunos cálculos de espacio de color existentes, y en particular que se pueden combinar con varias de las topologías prácticas de hardware o software de cambio de intervalo dinámico como se describe a continuación (y anteriormente), y topologías similares. El documento de patente US 2013/342587 describe una pantalla que incluye una sección de cálculo de ganancia que obtiene, de acuerdo con un área de una región de alta luminancia en una imagen de trama, una primera ganancia para cada píxel en la región; una sección de determinación que determina, en función de la primera información de luminancia para cada píxel en la región de alta luminancia y la primera ganancia, la segunda información de luminancia para cada píxel en la región de alta luminancia; y una sección de pantalla que realiza la visualización en función de la segunda información de luminancia.
RESUMEN DE LA INVENCIÓN
Como se dijo, el problema de mapeo de color cerca de la parte superior de la gama de colores (de una pantalla típicamente aunque no exclusivamente) es un problema desagradable, que puede introducir fácilmente, por ejemplo, errores de tono (por ejemplo, un color que se vuelve más verdoso), por lo que la presente solicitud enseña un nuevo procedimiento de dicho procesamiento de color adecuado para el campo recién emergido de manejo de imágenes de alto intervalo dinámico y la derivación correspondiente de imágenes de diferente intervalo dinámico (que se puede suponer por simplicidad que se determinará principalmente por el brillo máximo PB_C), que en particular comprende un procesador de luminancia (501) dispuesto para calcular una luminancia de salida de un píxel de una imagen de salida (Im_LDR; Im3000nit) que tiene un segundo intervalo dinámico de luminancia caracterizado por un segundo brillo máximo (PB_LDR; PB_MDR) a partir de una luminancia de entrada (L) de un color de entrada de un píxel espacialmente colocado de una imagen de entrada (MAST _HDR) que tiene un primer intervalo dinámico de luminancia caracterizado por un primer brillo máximo (PB_HDR), caracterizado por que el procesador de luminancia comprende:
- un conjunto de cálculo de ganancia (514) dispuesto para calcular un factor de multiplicación (gL) cuyo factor de multiplicación se define para la luminancia de entrada de cualquier color de entrada de un píxel de imagen de la imagen de entrada basándose en una función de mapeo de luminancia (FLM) que indica cómo ajustar la luminancia de entrada para convertirse en una luminancia de salida intermedia correspondiente, calculando el factor de multiplicación como la división de una salida de la función de mapeo de luminancia para la luminancia de entrada dividida por esa luminancia de entrada: gL=FLM(L)/L;
- una calculadora de desbordamiento de gama (602) dispuesta para calcular una medida de desbordamiento (T) que es una multiplicación de un máximo de un componente de color rojo, verde y azul lineal del color de entrada por el factor de multiplicación (gL);
- un conjunto de modificación del factor de ganancia (603) dispuesto para determinar un factor de ganancia alternativo inferior (F1(gL)) en caso de que la medida de desbordamiento sea mayor que un umbral (G), y dispuesto para mantener el factor de multiplicación (gL) de otro modo, y dispuesto para emitir como factor de ganancia final (gF) el factor de ganancia alternativo inferior (F1(gL)) en caso de que la medida de desbordamiento sea mayor que el umbral (G) o el factor de multiplicación (gL) de otro modo; y
- un multiplicador (530) para multiplicar los componentes respectivos del color de entrada (R'G'B'_nrm) por el factor de ganancia final (gF) para obtener los componentes respectivos del color de salida (R'G'B'_HDR) que tiene la luminancia de salida.
La imagen de salida puede ser típicamente de un intervalo dinámico menor (es decir, un valor PB_C más bajo), aunque no exclusivamente porque hay escenarios donde el problema de la parte superior de la gama (por lo tanto, su solución) también existe en la actualización del intervalo dinámico, y en cualquier caso se puede aplicar el procesamiento (por ejemplo, el mismo IC) a ambas situaciones, porque como estrategia de protección no se activará si no es necesario (los colores no problemáticos solo se procesan según lo especificado por las funciones de mapeo de color derivadas del lado de la creación de contenido F_ct, o en general las funciones de mapeo de color derivadas de cualquier manera, por ejemplo, por el propio receptor basado en el análisis de imágenes.
El conjunto de cálculo de ganancia determina un factor de ganancia multiplicativo (por ejemplo, gL o un factor relacionado con él), porque el mecanismo generalmente funciona escalando de manera similar la luminancia de los tres componentes de color (que naturalmente son los componentes de color rojo, verde y azul lineales para sistemas de reproducción de color aditivos como un televisor; o funciones de potencia de los mismos, como Y'CbCr que se pueden calcular en función de las raíces cuadradas de los componentes RGB lineales, que es una aproximación bastante buena del vídeo OETF Rec 709 heredado.
La peligrosidad potencial de la situación (porque, por un lado, es más probable que los colores se mapeen por encima del límite de la gama de colores debido, por ejemplo, al cálculo de la imagen HDR a SDR si ya son brillantes, pero también si son colores de un tipo particular, como los azules que siempre tienen bajas luminancias, por lo que cualquier mapeo de luminancia que se base en la luminancia de entrada que tiene el color de píxel es arriesgado para dichos azules) puede, de acuerdo con la visión del inventor, juzgarse bien comenzando con el cálculo de V=max(R,G,B) del color de entrada (o max(R', G', B') que es algo diferente en valor numérico, pero se comporta de manera similar de acuerdo con los principios de este enfoque), y luego definir una medida de desbordamiento basada en esto. Aunque se pueden definir varias medidas de desbordamiento para aplicar los mismos principios técnicos de la invención (corregir dónde y en la medida necesaria), algunas de las cuales no necesitan usar V (como, por ejemplo, a través de una tabla que contiene luminancias de gama superior para cada cromaticidad y calcular una ecuación de distancia), especialmente aplicar el gL al valor de V multiplicando los dos es una manera elegante de incorporar la medida de desbordamiento. Esto no debe ser malinterpretado por el lector como mecanismos que siempre aplican el mapeo de luminancia basado en este valor de intensidad V, es decir, V_out=F_Lt(V_in), como lo que se enseña en el documento WO2014056679. El cálculo de un factor de ganancia multiplicativo para, por ejemplo, los componentes RGB de acuerdo con una especificación de reclasificación que funciona en V en lugar de en la luminancia L de los colores de los píxeles que se procesan consecutivamente, siempre se asigna automáticamente dentro de la gama, por lo que no tiene el problema que satisface la presente solución, pero eso tiene la desventaja de producir imágenes SDR más oscuras, más oscuras de lo que se prefiere potencialmente. Por supuesto, en las realizaciones del presente sistema también se puede hacer una función de mapeo basada en luminancia más oscura más conservadora F_ct (/ inversa de FLM), pero las realizaciones también tienen el potencial de hacer una función más brillante y resolver los problemas de mapeo de luminancia de área de gama superior de otras maneras. Las variantes más básicas también pueden querer recortar algunos de los colores más brillantes a un color en el límite superior de la gama, pero generalmente se garantiza con una cromaticidad (o al menos un tono) que es la misma que la del color de entrada. Esto crea simplemente un brillo diferencial, que se aplica solo a algunos de los colores de la imagen, y para algunas imágenes (y especialmente cuando se va a un intervalo dinámico que no es muy diferente, típicamente más bajo, que el intervalo dinámico de la imagen de entrada), puede haber solo unos pocos píxeles que estén recortados. De hecho, lo que está en el rectángulo discontinuo en la parte inferior derecha de la Fig.6 se puede ver como algún mecanismo de protección. Si realmente es un mecanismo de protección, en el sentido de que produce factores g corregidos a partir de factores g iniciales, depende del tipo de realización. En una primera clase de realizaciones, el autómata o clasificador humano en el lado de creación de contenido determina relajadamente alguna función de mapeo de luminancia de HDR a SDR (que se comporta apropiadamente para la mayoría de los colores de imagen, por ejemplo, proporciona una apariencia brillante muy correctamente de los colores más oscuros de las imágenes de escena actuales, y también para los colores desaturados cerca del eje acromático), y se basa en que el mecanismo resolverá suficientemente los problemas para los (pocos) colores problemáticos, por ejemplo, algunos colores de cielo de puesta de sol rojizos y anaranjados brillantes. Esto tiene la ventaja de que dicho mecanismo puede determinar esta función de forma "rápida y sucia", en lugar de tener que especificar con considerable detalle qué debería suceder exactamente en cuanto al mapeo de colores para esos pocos colores críticos del cielo al atardecer, y eso puede ser útil, por ejemplo, para la codificación de contenido en tiempo real. Dicho mecanismo aún se divide en dos subcategorías adicionales, a saber, una en la que el codificador determina valores razonables para el contenido en sí (o incluso tiene valores prefijados, que funcionan bien en general en la mayoría de los escenarios de color críticos, en el sentido de que esto reduce la gravedad del error de recorte correspondiente a no hacer nada), y una segunda subcategoría donde el propio lado de la creación de contenido determina una estrategia óptima. Por lo tanto, las realizaciones simples pueden usar una variante muy simple, que tiene, por ejemplo, un valor umbral G fijo, por ejemplo, 0,75, y como alternativa, una asignación de ganancia más baja distribuye linealmente las luminancias entre G (por debajo de 1 típicamente) y, por ejemplo, 1,5 (por ejemplo, el color de salida intermedio máximo para esa cromaticidad, o incluso sobre todas las cromaticidades), a [G,1]), o lo mismo con un umbral G variable y optimizable por el creador. Y, por ejemplo, con la Fig. 11, aclaramos cómo, como un segundo paso de corrección a su(s) función(es) de reclasificación inicialmente especificada(s), que es(son) aproximadamente buena(s), es decir, para la mayoría de los píxeles de la imagen y el aspecto de la imagen, el graduador humano, por ejemplo, puede especificar un par de parámetros más que definen el mapeo en las áreas superiores de la gama de colores (el desiderátum típicamente es dejar la reclasificación en las partes inferiores de la gama de salida sola, es decir, como fue especificado por el creador de contenido en la función FLM). De hecho, el umbral G sirve como una determinación optimizable o al menos razonable de un punto en la región superior de la gama de salida donde debería tener lugar mejor la acción correctiva a la reclasificación original.
Pero debe verse que como una alternativa a las realizaciones "correctivas", en las que los parámetros como rho, etc. determinan un recálculo del factor g determinado inicialmente (es decir, por ejemplo, gL basado en la función FLM y la luminancia del color actual), al menos eso es para los colores problemáticos que se mapearían (significativamente) por encima del límite superior de la gama, el codificador también puede convertir todo eso en un conjunto de funciones de procesamiento de color final (o incluso los factores g correspondientes a las mismas) para aplicar en el lado de recepción. Esto se puede hacer en particular si el lado de creación de contenido comunica conjuntamente una función para mapear los colores en las áreas de gama superior (típicamente "diferencialmente" en función del comportamiento normal no corregido). En ese caso, el conjunto de modificación del factor de ganancia realiza la prueba sobre si aplicar el mapeo de luminancia aproximado "estándar", o el más avanzado, exactamente como lo especifica el creador de contenido en su función FADAP (y el lector entiende que el lado receptor, por ejemplo, un televisor, puede incluso hacer algunas ligeras variaciones propias en esta especificación, pero por simplicidad de la enseñanza, asumiremos que solo sigue la sabiduría de reclasificación del lado de creación como se comunica en los diversos parámetros de luminancia de área de gama superior o en el mapeo de color general).
La calculadora de desbordamiento (602) calcula una medida de desbordamiento T, que indica cuán crítica es la situación, es decir, cuán cerca del límite de la gama, por lo tanto, se desborda un color mapeado (es decir, después de aplicar el mapeo de luminancia como su factor g), o especialmente interesante: cuán por encima de la parte superior de la gama está el color mapeado, por lo tanto, cuán seriamente se necesita una corrección (porque como se dijo, la corrección puede consistir simplemente en oscurecimiento, pero esa puede no ser la mejor opción para todos los diferentes tipos de imagen HDR, especialmente si se necesita mucho oscurecimiento, y como se mostrará a continuación, las realizaciones también pueden decidir hacer la corrección de una manera diferente más avanzada, por ejemplo, determinando una cantidad óptima de desaturación de color además de una cantidad menor de oscurecimiento). En particular, las medidas de desbordamiento por debajo del desbordamiento real (por ejemplo, 90 %) son útiles en realizaciones que necesitan dejar espacio para los colores desbordados al reclasificar también algunos colores adyacentes que por sí mismos no son realmente desbordantes, y eso es particularmente interesante en escenarios que necesitan procesamiento de color invertible, como la codificación en modo 2, que codifica las imágenes HDR en realidad como imágenes SDR reclasificadas correspondientes (por lo tanto, ambas imágenes deben contener suficiente detalle para ser mapeables a imágenes HDR de calidad suficiente, por funciones que por sí mismas también deben ser buenas).
Es ventajoso que el procesador de luminancia (501) comprenda un medio de recepción de datos (689) dispuesto para recibir el umbral (G) del creador del contenido a través de una red (690). Otras realizaciones del procesador de luminancia podrían determinar por sí mismas un umbral, por ejemplo, en un receptor de imagen HDR, por ejemplo, mediante el análisis de las propiedades de esa imagen (por ejemplo, mirando qué tipo de efecto HDR hay, como cuántos píxeles, el tipo de estructura en él, por ejemplo, con un caracterizador de textura, etc.). Las versiones más simples pueden incluso funcionar con un valor inicial fijo, o al menos estándar, como, por ejemplo, G=0,9. Sin embargo, puede ser bastante ventajoso si el lado de creación del contenido puede dictar un valor óptimo de G, para una película completa, una toma de N imágenes sucesivas de la misma escena, o incluso por imagen de momento de tiempo único. A continuación no solo se puede emplear un análisis de imagen más complejo en el lado de la creación, sino que también un graduador humano puede especificar su propio mejor valor de G de trabajo, por ejemplo, con la UI como se muestra en la Fig. 11. Con base en un solo valor G, se pueden diseñar estrategias de redeterminación del factor g, por ejemplo, con segmentos de función lineal como se ejemplifica en la Fig. 10.
Es ventajoso si el procesador de luminancia (501) comprende un medio de recepción de datos (689) dispuesto para recibir una función (FADAP) para determinar el factor de ganancia alternativo del creador del contenido a través de una red (690). De tal manera, se podrían crear en el lado de la creación de contenido funciones de redeterminación del factor g bastante complejas, que tengan en cuenta las necesidades específicas del contenido, lo que puede ser útil si hay un contenido muy específico muy crítico en las áreas de gama superior (por ejemplo, un patrón de contraste suave escrito en un tubo TL comercial azul, y luego la función de rederminación podría tener una forma tal que intente mantener una pendiente de contraste de luminancia más alta al menos alrededor de las luminancias de esos caracteres de texto). El clasificador humano (o incluso un autómata) puede, por ejemplo, identificar regiones críticas en las partes más brillantes de la imagen que necesitan suficiente contraste después del mapeo correctivo a los colores de salida finales, y ajustar la forma de la función FADAP, lo que equivale a ajustar cómo los factores g finales distribuirán los colores previstos pero irrealizables de la gama superior. Cuando una parte de una nube comienza a verse demasiado insípida, la forma de dicha función FADAP se puede corregir (o parte de la corrección se puede cambiar al procesamiento de saturación).
Enseñamos aquí los aspectos del marco que permiten la determinación, comunicación y aplicación final de dicha función FADAP, ya que el experto o las enseñanzas pueden imaginar que puede haber muchos aspectos detallados sobre cómo diseñar la forma específica de la función FADAP para cada imagen específica (conjunto de imágenes consecutivas), o clase de imágenes, etc. (por ejemplo, en algunos casos, el creador de contenido puede poner un énfasis importante en el contraste de luminancia de algún subconjunto de luminancias más brillantes, reflejando esto en la forma de la función FADAP que determina la asignación de los colores de entrada sobre la región superior de la gama de salida, con algún objeto de escena específico o colores de región de imagen que toman más del volumen de gama disponible a costa de la precisión de algunos otros colores). Con un simple ejemplo aclaratorio de un cielo nocturno amarillo iluminado por el sol, el lector puede imaginar que si uno necesita reducir parte del contraste local (que define las formas de las nubes a partir de sus valores de gris constituyentes), tal vez por debajo del visible o al menos dando una impresión visual reducida, que cambiar un primer conjunto de valores de gris (suponiendo por simplicidad mapearlos a un solo valor) puede tener un impacto diferente en las formas de las nubes como se ve que afligir a otro subconjunto de luminancias (por ejemplo, porque las primeras luminancias ocurren alrededor de los bordes iluminados de algunas nubes importantes, y las segundas luminancias determinan el aspecto interno de algunas nubes secundarias). Si la realización del FADAP describe al menos una parte superior de una función de luminancia normal que, de manera similar a FLM, puede convertirse en factor g mediante la división, o se define en factores g (g_out= FADAP (g_in)), es un detalle que no importa para los principios de permitir establecer una buena alternativa dentro de las propiedades del presente nuevo marco.
Incluso si se comunica una función, para varias realizaciones (por ejemplo, aquellas que permiten cambiar el mecanismo de redeterminación prescrito en el receptor; o caracterizaciones parciales de la función) aún puede ser útil comunicar también el factor G.
Es ventajoso si el procesador de luminancia (501) comprende un medio de recepción de datos (689) dispuesto para recibir del creador del contenido a través de una red (690) un parámetro de recorte (Vmx) que especifica por encima del cual se permite el recorte de color que conserva el tono, definiéndose el parámetro de recorte como un máximo de un componente de color rojo, verde y azul. En este caso, se puede permitir que algunos de los colores se conviertan finalmente en el mismo color en la imagen de salida, lo que puede ser un buen óptimo para escenarios no reversibles, es decir, que no necesitan volver a determinar los colores originales de lo que se ha convertido en un solo color. Esto puede funcionar con las otras estrategias (por ejemplo, atenuación de luminancia equilibrada con desaturación) por debajo del subconjunto de colores recortados. Idealmente (y ciertamente para algunas aplicaciones), uno no recortaría en absoluto, pero a veces es un buen componente de la reclasificación óptima de la imagen, ya que puede permitir, por ejemplo, menos oscurecimiento o desaturación para algunos otros colores de imagen, lo que puede ser especialmente útil si hay algunas regiones críticas, por ejemplo, en las nubes, que necesitan una atención superior a la media por un gran subvolumen de la región de gama de salida superior.
Dependiendo de cómo se configuren los parámetros, pueden ocurrir una serie de acciones arquetípicas en la imagen, y la gravedad de esto depende del tipo de escena<h>D<r>, por lo que se desea seleccionar de manera óptima entre las opciones.
En el caso más simple, se podría establecer G igual al valor superior de la gama (G=1,0), lo que simplemente significaría un recorte duro para todos aquellos colores que se mapeen por encima de la parte superior de la gama, pero de una manera que preserve el tono y la saturación. Por supuesto, esto puede significar que varios colores que son diferentes inicialmente en la imagen de entrada (por ejemplo, típicamente la imagen HDR) se asignan al mismo color en la imagen de salida de menor intervalo dinámico (típicamente). Eso puede ser bastante aceptable si el único objeto que viola la condición en la pantalla es, por ejemplo, un tubo TL colorido, porque las diferencias en la luminancia probablemente no sean tan significativas semánticamente para seguir la historia de la película o el vídeo de todos modos (en particular si esto es solo una lámpara de decoración en el fondo, y la acción está sucediendo en otro lugar). Sabiendo que uno nunca puede hacer un tubo TL rojo saturado y muy brillante perfecto en SDR de todos modos (por lo que las imágenes HDR tienen un mérito), es para tal escena probablemente mucho más óptima representar todo el tubo TL en SDR como rojo primario de brillo máximo, en lugar de, por ejemplo, desaturar significativamente para conservar algunas diferencias de luminancia dentro de la región del tubo de luz (lo que haría que el tubo tenga un color rosado feo). Para una agradable puesta de sol roja con mucha estructura de las nubes rojo-grisáceas, la decisión óptima puede ser muy diferente. En tal caso, uno no quiere recortar demasiado, destruyendo potencialmente demasiado de la hermosa estructura de la nube. Esto podría manejarse oscureciendo más uniformemente todos los colores de los píxeles de la nube, pero eso puede conducir a un valor G bajo, o introduciendo (también) un poco de desaturación. Pero el parámetro Vmx permite especificar que todavía puede haber un poco de recorte también, incluso cuando se "protege" la mayor parte de la estructura de la nube en la imagen de intervalo dinámico inferior. En caso de que se utilice un procedimiento de manejo de imágenes reversible, como un sistema de comunicación basado en codificación de modo 2 en el que las imágenes HDR deben reconstruirse a partir de imágenes SDR recibidas en cualquier lado de recepción, el valor Vmx típicamente debe ser de modo que solo un par de píxeles se recorten perdiendo la posibilidad de diferenciación (por ejemplo, al interior de una lámpara se le puede dar el mismo valor 1023 en la imagen SDR, y esto aún permitiría una reconstrucción HDR que, aunque matemáticamente no es exactamente idéntica a la imagen HDR maestra en el lado de creación, visualmente da una aproximación lo suficientemente cercana).
Es bastante útil si el procesador de luminancia (501) según una de las reivindicaciones anteriores comprende una calculadora de mapeo parcial (903) dispuesta para determinar una primera fracción de corrección para la multiplicación por el (gL), y dispuesta para determinar una segunda fracción de corrección para determinar un multiplicador de saturación (S) para accionar un cálculo de saturación de color. A partir de nuestro enfoque novedoso como se enseña, el experto puede entender que se debe cubrir una distancia desde el color recalificado original de la gama anterior como se pretende idealmente, hacia el límite de la gama. Al observar la Fig. 8, el experto en la materia puede aprender y comprender que se puede definir una fracción de dicha distancia (por ejemplo, la mitad de ella), y que se podría diseñar un factor g alternativo que mapee a la mitad de dicha distancia, es decir, que no se necesite un oscurecimiento completo para llegar hacia abajo al límite superior de la gama para exactamente la cromaticidad de entrada ((tono, saturación) o (u,v)). Por lo tanto, queda una distancia (o más precisamente un desbordamiento) que debe cubrirse de alguna manera, de lo contrario tal vez el recorte que preserva la cromaticidad pueda activarse como reserva predeterminada, pero eso puede no dar el mejor resultado visual para los objetos tan afectados en esta imagen. La distancia restante hacia el color límite de la gama superior puede cubrirse en la dirección ortogonal, es decir, haciendo un procesamiento de desaturación correspondiente.
El inventor descubrió que la atenuación necesaria A (es decir, el factor de multiplicación correspondiente para gL*V para reducirla lo suficiente como para estar dentro de la gama o en su límite) puede estar compuesta de manera bastante útil por una primera parte Arho y una parte restante Arem, que se definen con un parámetro rho de la siguiente manera: Arho=potencia(A; rho); Arem=potencia(A; 1- rho)[Ecs. 2].
Dicha especificación puede determinarse en función del color del peor de los casos, y los otros colores se tratan de manera similar.
Esto puede relajar considerablemente la complejidad del mapeo descendente de luminancia, es decir, la función para volver a determinar el factor g final gF para obtener una gran cantidad de colores de efecto HDR críticos en el intervalo superior de la imagen de intervalo dinámico inferior, en particular para situaciones que necesitan la inversión de las funciones como la codificación HDR de modo 2, porque a continuación se puede manejar el problema restante, de que el color intermedio aún está por encima del límite de la gama con una operación de desaturación en lugar de un oscurecimiento adicional, o una reducción de contraste más extrema cuando se usa otra forma FADAP de función de redeterminación. Esto permite nuevamente mucha más libertad para seleccionar cada efecto HDR especial, como nubes iluminadas cerca del atardecer, o un hombre ligeramente visible en una niebla brillante (un hombre-sombra), o un exterior iluminado por el sol visto a través de una ventana, o lámparas en una discoteca o feria de lujo, etc., ya sea que sea mejor reducir un poco más el brillo de los colores superiores más oscuros de la gama problemática, o más reducción del contraste de la textura en esas áreas, o algo más reducción de la saturación. Opcionalmente, en lugar de la simple operación global de este algoritmo (que es relativamente simple de realizar por un graduador humano que no necesita pasar demasiado tiempo de calificación costoso, o incluso un autómata), en casos bastante difíciles incluso se puede enviar una serie de conjuntos de parámetros de procesamiento y especificaciones de la región del espacio de color en el que aplicarlos (por ejemplo, un procedimiento diferente para la puesta de sol roja, que para un área de tubo TL azul en el fachada de una casa a contraluz en primer plano).
De nuevo, puede ser bastante ventajoso si el procesador de luminancia (501) comprende un medio de recepción de datos (689) dispuesto para recibir el valor de fracción (rho) de las ecuaciones anteriores del creador del contenido a través de una red (690), en lugar de que un receptor tenga que determinar un valor de rho óptimo en sí mismo, porque a menudo el valor óptimo de un procesamiento técnico en imágenes puede ser de naturaleza artística, es decir, incluso podría ser una cuestión de gusto si para una primera puesta de sol hermosa su creador humano acepta más recortes que para un segundo (algunos graduadores solo quieren colores marcados para su apariencia, y otros quieren patrones más suaves y detallados).
La reivindicación especular técnica de lo que un procesador de luminancia del lado de recepción puede o debe hacer en última instancia para obtener los colores de imagen de intervalo dinámico más bajo, en caso de que los parámetros del algoritmo se reciban desde el lado de creación, es un sistema que hace que esos parámetros, por ejemplo, el umbral G, o la función FADAP, etc. Cualquiera o todos estos parámetros podrían ser establecidos por un humano, o por un autómata (por ejemplo, el autómata sugiere una buena configuración, para ser mejorada por el humano si es necesario, o el humano simplemente especifica cualquier valor sin que esté presente un autómata de análisis de imágenes, etc.). El autómata puede identificar propiedades tales como la coherencia de las regiones (por ejemplo, si hay muchos valores como en una textura detallada como un macizo de flores visto desde la distancia, o pocos), calcular algunos contrastes de ejecución en varias direcciones en varias regiones (por ejemplo, en el centro de la imagen que puede ser visualmente más importante), hacer algún algoritmo de reconocimiento, como que una elipse se puede ajustar fácilmente en un límite de evolución suave con muchos valores de gris a través de un ajuste difuso, frente a más difícil de obtener una buena elipse si dicho límite se posteriza arbitrariamente produciendo un límite irregular, etc.).
Por ejemplo, un codificador de vídeo de alto intervalo dinámico para codificar típicamente los parámetros necesarios en los metadatos que se enviarán u obtendrán junto con las imágenes que representan el vídeo HDR puede comprender:
- una entrada para recibir una imagen de entrada desde una fuente de imagen (1202);
- un codificador para codificar la imagen de entrada como una imagen de salida y para codificar al menos una función de mapeo de luminancia (F_Lt); caracterizado porque el codificador comprende un procesador de evaluación de imágenes (1210) dispuesto para analizar las propiedades de color de una imagen del vídeo, para determinar un umbral (G) a aplicar por un procesador de luminancia como se reivindica en la reivindicación 1 , y el codificador está dispuesto para emitir como metadatos este umbral (G). Un procesador de luminancia de los tipos descritos anteriormente (y a continuación) puede estar comprendido, por ejemplo, para ayudar al humano a ver cómo se verán sus elecciones en el lado del decodificador, pero puede no estar necesariamente comprendido en codificadores automáticos (aunque a menudo puede, porque el análisis automático de imágenes puede ejecutarse en las una o más imágenes resultantes de una o más selecciones candidatas de los parámetros, por ejemplo, un umbral G óptimo, por ejemplo, comparando algunas métricas de calidad de imagen como contrastes, métricas de textura, etc. en la imagen de entrada y salida candidata probada).
En general, un codificador de vídeo de alto intervalo dinámico (1201) puede comprender:
- una entrada para recibir una imagen de entrada desde una fuente de imagen (1202);
un codificador para codificar la imagen de entrada como una imagen de salida y al menos una función de mapeo de luminancia (F_Lt); caracterizado por que el codificador comprende un procesador de evaluación de imagen (1210) dispuesto para analizar las propiedades de color de una imagen del vídeo, para determinar al menos uno de los parámetros que son: a) el umbral (G) de acuerdo con los ejemplos dados para el uso de un umbral óptimo (dónde dejar los colores como están, y dónde comenzar mejor a aplicar el algoritmo de mitigación con sus correspondientes no ideales de color), la función (FADAP), el parámetro de recorte (Vmx) y el valor de fracción (rho) que indica la división y la cantidad de corrección que se manejará mediante atenuación frente a desaturación, y el codificador está dispuesto para emitir como metadatos tal como al menos uno de los parámetros, de modo que cualquier procesador de luminancia del receptor pueda aplicar la reclasificación correspondiente.
Una vez más, dependiendo de la realización, tal vez solo se determine y comunique un parámetro, como, por ejemplo, Vmx, en cuyo caso el lado receptor solo puede determinar un mapeo que realiza la reasignación de los colores en un intervalo de luminancias cercano a la parte superior de la gama para los colores que corresponden a un valor de intensidad V<=Vmx. Pero si se comunican tres o más parámetros, se pueden usar ecuaciones de equilibrio más complejas en el lado receptor. Mantener el número de parámetros limitado a algunos de los más importantes tiene, por supuesto, ventajas tales como que el graduador humano con unas pocas diapositivas de un control deslizante o una bola de seguimiento puede establecer los valores de situación que tienen más impacto en la calidad del resultado final. Sin embargo, los sistemas más simples tendrán un autómata para determinar el al menos un parámetro, porque en algunos escenarios uno no tiene la mano de obra para hacer esto, o al menos no quiere molestar al equipo de producción con él. Dicho autómata puede realizar análisis de imágenes, por ejemplo, detectar si el área de colores más brillantes (verificación de L alta y especialmente V alta) tiene una estructura de variación de luminancia espacial significativa, por ejemplo, mediante el empleo de analizadores de textura. También varias realizaciones pragmáticas pueden funcionar con una evaluación de la calidad del deterioro de la imagen. Esto puede ser tan simple como contar la cantidad o la distribución espacial de los píxeles recortados en algunos escenarios, o calcular medidas como, por ejemplo, una medida de contraste en ejecución sobre las variaciones de luminancia de las nubes antes frente a después del procesamiento correctivo del factor g redeterminado.
Por supuesto, es especialmente interesante si este lado de creación tiene un sistema de codificación de vídeo de alto intervalo dinámico que comprende un codificador de vídeo de alto intervalo dinámico como se describe, que está conectado a un medio de interfaz de usuario (1203) que permite que un graduador de color humano (1204) especifique al menos uno de los parámetros (G, rho o los parámetros que especifican la función de redeterminación del factor g más compleja para nosotros, etc.) como salida del procesador de evaluación de imágenes (1210), donde el codificador de vídeo de alto intervalo dinámico comprende un procesador de luminancia (501) dispuesto para calcular una imagen de salida (Im_LDR; Im3000nit) que se puede inspeccionar en una pantalla conectada (1220). El experto entiende que esto puede realizarse de varias maneras, por ejemplo, en una determinación semiautomática puede ser ventajoso si el procesador de evaluación de imágenes ya viene con una propuesta para rho, G, etc., pero que el humano puede ajustarlos, o en algunas operaciones incluso puede querer omitir por completo la evaluación y establecer los valores en los canales de salida él mismo, etc. En estos casos, el procesador de luminancia estará dentro del codificador para permitir que el humano vea lo que realmente hará la acción, en el lado receptor, y corrija otros parámetros si funcionan mejor en la escena actual. La pantalla 1220 puede ser una pantalla de referencia de PB_D alto, por ejemplo, 10.000 nits, de modo que pueda mostrar imágenes SDR resultantes, así como muchas imágenes MDR resultantes posibles, por ejemplo, en el caso de PB_MDR= 3000 nits, puede mostrar luminancias de píxeles de hasta 3000 nits.
Realizaciones ventajosas adicionales son, entre otras:
Un decodificador de vídeo de alto intervalo dinámico (1300) que comprende:
- una entrada para recibir una imagen de entrada y una función de mapeo de luminancia (FLM);
- una segunda entrada dispuesta para recibir un valor de un umbral (G);
- un procesador de luminancia (501) según una cualquiera de las reivindicaciones 1 a 7, dispuesto para calcular una imagen de salida, utilizando la función de mapeo de luminancia (FLM) y el umbral (G) para cambiar las luminancias de los píxeles de la imagen de entrada para producir una imagen de salida; y
- una salida para emitir la imagen de salida.
Un decodificador de vídeo de alto intervalo dinámico (1300) que comprende un procesador de luminancia (501) según cualquiera de las realizaciones de procesador de luminancia enseñadas.
Un procedimiento de procesamiento de luminancia para calcular una luminancia de salida de un píxel de una imagen de salida (Im_LDR; Im3000nit) que tiene un segundo intervalo dinámico de luminancia caracterizado por un segundo brillo máximo (PB_LDR; PB_MDR) a partir de una luminancia de entrada de un color de entrada de un píxel colocado espacialmente de una imagen de entrada (MAST _HDR) que tiene un primer intervalo dinámico de luminancia caracterizado por un primer brillo máximo (PB HDR), que comprende:
- calcular un factor de multiplicación (gL) cuyo factor de multiplicación se define para la luminancia de entrada de cualquier color de entrada de un píxel de imagen de la imagen de entrada en función de una función de mapeo de luminancia (FLM) que indica cómo ajustar la luminancia de entrada para convertirse en una luminancia de salida intermedia, calculando el factor de multiplicación como la división de una salida de la función de mapeo de luminancia para la luminancia de entrada dividida por esa luminancia de entrada: gL=FLM(L)/L;
- calcular una medida de desbordamiento (T) que es una multiplicación de un máximo de un componente de color rojo, verde y azul lineal del color de entrada por el factor de multiplicación (gL);
- determinar un factor de ganancia alternativo más bajo (F1 (gL)) en caso de que la medida de desbordamiento sea mayor que un umbral (G), y mantener el factor de multiplicación (gL) de lo contrario, y generar como factor de ganancia final (gF) el factor de ganancia alternativo más bajo (F1(gL)) en caso de que la medida de desbordamiento sea mayor que el umbral (G) o el factor de multiplicación (gL) de lo contrario; y
- multiplicar los componentes respectivos del color de entrada (R'G'B' nrm) por el factor de ganancia final (gF) para obtener los componentes respectivos de un color de salida (R' G'B' HDR) que tiene la luminancia de salida.
Un procedimiento de procesamiento de luminancia que comprende recibir del creador del contenido a través de cualquier red conectada al menos uno de los parámetros enseñados que son: a) el umbral (G) por encima del cual comienza el procesamiento de re-determinación, y donde los colores re-determinados deben comprimirse en la gama de salida, b) la codificación paramétrica de la forma de la función específica (FADAP) deseada para realizar la determinación del factor g (o cualquier equivalente de la misma, como una función del valor de intensidad V), c) el parámetro de recorte (Vmx) que permite aún una cierta cantidad de recorte para los colores más violatorios, es decir, aquellos colores que caen más lejos por encima de la parte superior de la gama, por lo tanto, son los más difíciles de re-mapear en la gama, y d) el valor de fracción (rho) que permite la especificación de la división en dos estrategias de re-mapeo parcial, una que recalcula las luminancias de píxeles, y una que recalcula las saturaciones de píxeles, y aplica dicho al menos un parámetro en el cálculo de luminancia.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Estos y otros aspectos del procedimiento y aparato según la invención serán evidentes y se dilucidarán con referencia a las implementaciones y realizaciones descritas a continuación, y con referencia a los dibujos adjuntos, que sirven simplemente como ilustraciones específicas no limitantes que ejemplifican la forma más general. conceptos, y en los que los guiones se utilizan para indicar que un componente es opcional, y los componentes sin guiones no son necesariamente esenciales. Los guiones también se pueden usar para indicar que elementos, que se explican como esenciales, pero ocultos en el interior de un objeto, o para cosas intangibles como, por ejemplo, selecciones de objetos/regiones (y cómo se pueden mostrar en una pantalla).
En los dibujos:
La Fig. 1 ilustra esquemáticamente una serie de transformaciones de color típicas que ocurren cuando se mapea de manera óptima una imagen de alto intervalo dinámico a un color correspondiente graduado de manera óptima y de aspecto similar (tan similar como se desee y sea factible dadas las diferencias en el primer y segundo intervalos dinámicos DR_1 resp. DR_2) imagen de intervalo dinámico inferior, por ejemplo, una imagen de intervalo dinámico estándar de brillo máximo de 100 nits, que en caso de reversibilidad (modo 2) también correspondería a un mapeo de una imagen SDR tal como se recibió que realmente codifica la escena HDR, a una imagen HDR reconstruida de esa escena;
La Fig. 2 ilustra esquemáticamente un ejemplo de vista de satélite de una tecnología para codificar imágenes de alto intervalo dinámico, es decir, imágenes capaces de tener luminancias de al menos 700 nit (es decir, al menos 7x el PB_C de la imagen SDR) típicamente o más (típicamente 1000 nit o más), que el solicitante desarrolló recientemente, que en realidad puede comunicar la(s) imagen(es) HDR como una imagen SDR más funciones de transformación de color de codificación de metadatos que comprenden al menos una transformación de luminancia determinada apropiada para los colores de píxeles, para ser utilizada por el decodificador para convertir la(s) imagen(es) SDR recibida(s) en imágenes HDR que son una reconstrucción fiel de la(s) imagen(es) HDR maestra(s) original(es) creada(s) en el lado de creación de la imagen;
La Fig. 3 muestra cómo se produce típicamente un mero cambio de luminancia (es decir, sin cambios de cromaticidad no deseados) de las transformaciones del intervalo dinámico que ocurren en dicha decodificación (o codificación) y manejo HDR, por ejemplo, cuando se determina una imagen de intervalo dinámico más bajo que la imagen de entrada, como se muestra en un espacio de color teórico, con un plano de cromaticidad y un eje de luminancia ortogonal L;
La Fig. 4 aclara esquemáticamente cómo se comportan los colores y el procesamiento del color en otro tipo de espacio de color (con otra geometría), espacio que es el espacio de codificación de color típico del vídeo: YCbCr (donde la Y puede ser, en principio, la luminancia lineal L, o la gamma no lineal 2,0 luma Y', o incluso alguna otra luma definida con otro OET<f>, como la luma basada en PQ Y").
La Fig. 5 (no pretende ser limitativa) muestra un ejemplo más detallado de cómo al solicitante normalmente le gusta realizar la transformación de color del conjunto 202 o 208 de la Fig. 2;
La Fig. 6 muestra una aclaración genérica de nivel superior de un aspecto primario que la presente invención añade al procesamiento de luminancia de sistemas como, por ejemplo, el que se muestra en las Figs. 2 y 5; La Fig. 7 muestra parte del comportamiento de dicho sistema y, en particular, lo que haría la Fig. 5 sin los elementos correctores de la Fig. 6, en un espacio de color de cromaticidad-luminancia;
La Fig. 8 muestra el comportamiento de una realización avanzada, que resuelve el problema del mapeo correctivo cerca de la parte superior de la gama de colores del espacio de color de salida parcialmente por medio de una operación de desaturación;
La Fig. 9 muestra genérica y esquemáticamente un ejemplo de un procesador de luminancia que forma parte de un procesador de color que también tiene un procesador de saturación;
La Fig. 10 muestra esquemáticamente algunos ejemplos para determinar una estrategia de mapeo de color correctivo para colores en una parte superior de la gama de colores, y las funciones correspondientes basadas en un valor de intensidad V que se define como el máximo de los componentes rojo, verde y azul de un color, que puede, de acuerdo con las presentes enseñanzas, formularse como un factor de ganancia correspondiente gF, en particular, que puede ser un factor de ganancia resultante que es una desviación de un factor de ganancia inicial, para colores cerca de la parte superior de la gama solamente;
La Fig. 11 muestra una interfaz de usuario que permite a un graduador humano en un lado de creación de contenido especificar un par de parámetros simples pero potentes que guían o especifican aproximadamente la luminancia y, en general, el procesamiento de color de los colores brillantes cercanos a la gama superior mediante un procesador de luminancia del lado receptor de cualquiera de las variantes según las enseñanzas de la presente invención; y
La Fig. 12 muestra esquemáticamente un ejemplo de posibles codificadores automáticos, semiautomáticos o manuales que producen los parámetros necesarios para las variaciones del procesador de luminancia del lado de decodificación de acuerdo con las realizaciones enseñadas.
La Fig. 13 ilustra un decodificador de modo 2 según los principios de la presente invención correspondientes al codificador de la figura 9.
DESCRIPCIÓN DETALLADA DE LAS REALIZACIONES
La elucidación de nuestras diversas realizaciones ahora se centra en la parte del procesador de luminancia (501) de la Fig. 5, que se redibuja en una configuración más elaborada para elucidar los nuevos principios de la presente invención en la Fig. 6.
En primer lugar, aunque aclararemos suponiendo que el procesamiento ocurre en la luminancia lineal, es decir, la luminancia L entra y sale (L_out), aunque dentro de esa rama el procesamiento puede convertirse a otro dominio de luma como PQ, lo mismo también se puede hacer en otros dominios de luma, por ejemplo, típicamente con el Rec 709 clásico luma, es decir, sqrt(L) luma Y' (es decir, el mapeo de luminancia de la conversión de intervalo dinámico por el mapeador de luminancia 512 puede en tal escenario especificarse directamente como Y'_out=FLM*(Y'_in)).
Sin embargo, en tal situación, se debe tener cuidado de que en lugar de la luminancia de no luminancia constante se calcule una luminancia constante correspondiente (para asegurarse de que el procesamiento de luminancia se comporte correctamente como un procesamiento de luminancia lineal aunque se implemente en el dominio de la raíz cuadrada, y no se produzcan errores debido a la mala estimación de la luminancia en la luminancia no constante incorrecta, como las capas rojas fluorescentes, etc.).
Recordemos que la definición estándar de luma es
Y'= a *sqrt(R)+b*sqrt(G)+c*sqrt(B), mientras que la definición de luminancia-luma constante es Y'_CL=sqrt(L), con L= a *R+b*G+c*B.
Típicamente, el procesador de luminancia de un decodificador de vídeo obtiene una entrada YCbCr, por lo tanto, los componentes de color derivados naturalmente de esto son R'G'B' no lineales. Una forma de derivar la luminancia-luma constante es hacer que el convertidor de espacio de color 502 calcule primero los componentes RGB lineales aplicando el EOTF apropiado (es decir, R=EOTF_rec709(R')=potencia(R';2), etc.), luego calcule L, y luego Y'_CL=sqrt(L).
Debido a que el área de hardware o el costo de procesamiento (/potencia) no es ilimitado, puede haber atajos, por ejemplo:
Sqrt(potencra< K;2)+potenáa(L;2)=■ aproximadamente máx. {K, L) s i m áx. [K, LJ>4*m¡ n(K, L)
y ■=-a proxi mada mente (7/S)*-max( K, max(K, L) de ■ lo ■ contrari o, -p ara cualqu ier nü m ero ■ K y ■ L.
Por lo tanto, se puede usar esto para calcular directamente el Y_CL a partir de los valores R'G'B'.
Aunque V es una cantidad que crece con la luminancia L (o en la representación de potencia cuadrada con luma Y'), no está trivialmente relacionada con ella, pero tiene la propiedad útil de que es una medida de cercanía al límite superior de la gama y, en particular, que todos los colores en el límite superior de la gama tienen un valor de intensidad máxima V=1,0 (yendo por encima de ese límite en caso de brillo, el más grande de los componentes de color, por ejemplo, el azul, tendría que ir más allá de su máximo normalizado, por ejemplo, B=1.1, que es matemáticamente posible, pero físicamente imposible). Los componentes numerados en los 500 son similares a los de la Fig. 5, es decir, entre otras cosas, hacen el brillo de color "normal", es decir, como se especifica en la función de procesamiento de luminancia FLM, y con el mecanismo de manejo del área de gama superior de la determinación del factor g aún no activado.
Supongamos que el procesador de luminancia de la Fig. 6 está en un decodificador HDR, que obtiene 5000 nit PB_C HDR codificado con colores de píxeles YCbCr como entrada (si están codificados en base a PQ, a continuación el convertidor hace las matemáticas correctas para convertir a luminancia, y RGB lineal en el ejemplo), y deriva, por ejemplo, una imagen MDR de 900 nit y sus luminancias. También se calcula el valor de intensidad V y aclaremos con el ejemplo donde se utilizan los componentes de color lineales, por lo tanto V=max(R,G,B).
Ahora, curiosamente, el inventor se dio cuenta de que, aunque se supone que el FLM de mapeo determinado por el lado de la creación se aplica a la luminancia L del color del píxel (o un procesamiento de color de naturaleza equivalente se realiza realmente como multiplicar los componentes RGB lineales con el mismo factor g de cambio de luminancia gL), es interesante aplicarlo al valor de intensidad V, porque a continuación con cada cromaticidad de color se puede ver si se mapeará por encima del límite de la gama.
Esto se puede observar en la Fig. 7. Se supone que un mapeo de luminancia mapea los colores en función de su luminancia, independientemente de sus cromaticidades, por lo que podemos verificar si hay colores acromáticos en el eje de luminancia. Supongamos que tenemos un cierto color de una luminancia promedio Col_in de la imagen de entrada HDR, que se ilumina a Col_out (por ejemplo, para crear una imagen SDR o MDR) porque todos los colores deben iluminarse, especialmente los más oscuros para poder ver razonablemente lo que está sucediendo allí en la película en las representaciones de intervalo dinámico más bajo, pero esos colores iluminados también empujarán todos los colores más luminosos hacia arriba, debido a la necesidad de mantener la relación de luminancia en las dos gradaciones, es decir, la imagen de salida frente a la imagen de entrada.
Este brillo no es problemático para los colores grises acromáticos, ya que Col_out parece estar todavía dentro de la gama de colores. Sin embargo, si dibujamos líneas horizontales de equiluminancia, vemos que mapear un ColBluH de color azul de la misma luminancia que los colores HDR grises Col_in a su ColBluL equivalente de LDR, mapearíamos por encima de la gama de colores, por lo que algo tendría que suceder en nuestro procesamiento, o el recortador recortará automáticamente al menos un componente de color a 1,0, lo que normalmente implicaría errores de cromaticidad considerables, incluidos errores de tono potencialmente desagradables.
Sin embargo, al dibujar líneas equi-V (en guiones gruesos) se puede ver esta situación, el color azul de entrada ColBluH todavía está bien en la gama (por ejemplo, V=0,8), pero el color de salida ColBluL tiene, por ejemplo, V=1,2 por lo tanto, está por encima de 1,0.
Ahora, curiosamente, la medida lineal V se comporta de manera similar proporcionalmente como L, por lo que se puede ver que se transforma por el mismo factor g:
Si ■R_out=gL±RJn;G_out=gLí GJn;B_OLjt=gL*BJn.acont¡nuac¡ónmax[R_out1G-c>ut1B_out)=gL,:V_¡n.
Por lo tanto, es realmente el valor de gL* el valor (de entrada) de V que se calcula mediante 502 en la Fig. 6 el criterio a observar, y esto se calcula en la realización ejemplar mediante el multiplicador 602, y el resultado se denomina valor de prueba T.
Posteriormente, el conjunto de modificación del factor de ganancia 603 utiliza este valor en una prueba para modificar el valor de ganancia inicial derivado de la función de calificación FLM según lo determinado localmente por el receptor, o recibido desde el lado de creación de contenido típicamente junto con las imágenes recibidas reales de acuerdo con algún formalismo de codificación de metadatos de imagen.
En la realización más simple, el umbral G es igual a 1,0 (por ejemplo, fijo en el procesador de luminancia).
Luego, si los colores se asignan a T=gL(color)*V(color)<= 1,0, en realidad se asignan dentro de la gama, y no hay problema, por lo tanto, el mapeo es bueno como estaba, y las ganancias iniciales gL se pasan sin modificar como ganancias finales gF para hacer el cambio de color real de HDR a MDR en los componentes RGB. Téngase en cuenta que sumamos (color), para enfatizar que tanto el factor gL calculado como el valor V dependen de los valores del componente de color del color del píxel actual.
Sin embargo, si T>G=1,0, a continuación tenemos un problema de desbordamiento de gama, por ejemplo, cuando gL*V es igual a 1.8.
En este caso, se debe aplicar una función F1(gL) que garantice que el color mapeado (y simultáneamente su valor V) se mapee dentro de la gama, al menos para la mayoría de los colores (excepto potencialmente si se determinó un valor Vmx, los pocos colores que todavía se permiten recortar).
Una función simple que puede ser determinada por el decodificador (por ejemplo, fijada en su software o circuitos del procesador de luminancia) puede ser la siguiente para cada posible mapeo fuera de gama gL(color)*V(color):
SiT>G=1.0,■ a■ conlinilacióngF=gL*{5/T}-[Eq. 3]
En este caso, se ve que si para algún color el valor T cuando se asigna con el factor gL original para el color de salida es, por ejemplo, 1.3, a continuación asignar el mismo color de entrada (y su valor V) con un gF diferente que es gL/1,3 se asignará exactamente a uno (y aplicando gF/1,8 para otro color que se asigna a 1,8 hará lo mismo, etc.).
Por supuesto, aunque conserva la cromaticidad, esta es una estrategia bastante cruda (pero fácil para comenzar la explicación) pero incluso adecuada en algunas situaciones, pero no tan óptimamente trabajando en tipos más críticos de imagen HDR.
Para ello, puede ser ventajoso utilizar una estrategia de mapeo más compleja que aún conserve la diferenciabilidad de las diferencias de luminancia originales para todos los colores que inicialmente se mapearon por encima del límite de gama, introduciendo (al menos) un valor umbral G. Este valor umbral puede ser determinado nuevamente por el procesador de luminancia del lado de recepción, o, ventajosamente recibido y comunicado a el conjunto de modificación del factor de ganancia 603 por medios de recepción de datos (689) dispuestos para recibir el umbral (G) del creador del contenido a través de una red (690), que el lector experto puede entender que es cualquier sistema de entrega de imágenes o datos presente o futuro, por ejemplo, un canal de televisión por satélite, Internet, o para el almacenamiento empaquetado prefijado, los valores G para imágenes de vídeo consecutivas pueden incluso almacenarse, por ejemplo, en un disco de rayos azules y accederse a través de un lector BD, etc.
La forma en que se pueden incorporar las diversas estrategias/funciones de redeterminación de gL se aclara con la Figura 10. En la Figura 10A mostramos un ejemplo donde el umbral G se establece en 0.9, y un mapeo lineal hasta Vmx. En realidad, puede haber un par de colores (tal vez solo unas pocas decenas de píxeles) que tengan un valor de gL*V que se vuelva más alto que Vmx hasta el más alto en la imagen, o una serie de imágenes sucesivas VmaxSCN, pero se pueden recortar a un color en el límite superior de la gama con la misma cromaticidad que el color de entrada HDR.
T_in es el valor V del color mapeado con el factor gL inicial, y deberíamos tener un mapeo final con gF que produzca valores T_out de hasta 1,0, correspondientes al límite de la gama. Por debajo de 0,9, el factor de ganancia no cambia, por lo tanto, el valor T_out también será idéntico al valor T_in (SEGPSS). El remapeo entre G y Vmx puede formularse de muchas maneras y puede ser tan simple como un segmento lineal (SEGADPT). El factor de atenuación A se puede calcular fácilmente a partir de una representación en este sistema de ejes, por ejemplo, si el color 2,5 tiene que asignarse a 1,0, debemos dividir gL por 2,5, etc.
Un ejemplo de ecuación de cálculo para la atenuación A (la atenuación total en la dirección de luminancia únicamente) es:
A(T)=(T>G?>'l/{K[(Vmx-l)/(Vmx-G)]*(T-e)}:-1 „[Eq. 4]
Se puede observar que si T= Vmx, a continuación A(T) se convierte en 1/Vmx, etc.
Curiosamente, la Fig. 10B muestra la situación en la que parte del problema de la gama anterior se resuelve mediante desaturación. En ese caso, los colores que se asignan inicialmente a Vmx pueden asignarse a y.x>1,0, por ejemplo, 1.9 (probablemente no demasiado lejos por encima del límite de la gama para no necesitar demasiada desaturación), porque ese resto de desbordamiento se muestra en la dirección de saturación.
Esto se muestra en el gráfico de gama de colores de la Fig. 8. La atenuación total A llevaría un color mapeado al límite de la gama. Sin embargo, al definir el parámetro rho como se indica anteriormente, se puede asignar a una posición intermedia y luego cambiar horizontalmente a ColOut desaturando.
El parámetro rho se puede ponderar para que sea una cantidad óptima entre el efecto perjudicial del oscurecimiento frente al efecto perjudicial de la desaturación, por ejemplo, mediante la posición del clasificador humano, el deslizador 1101 en su posición preferida entre 0 y 1. O algunas realizaciones pueden tener un ajuste fijo, por ejemplo, rho=1/2, etc.
El parámetro multiplicativo necesario en la desaturación se puede calcular de la siguiente manera:
S= (Vntemi1 Areníi-Yy(Vinte rm ■ -Y)=(l-Y)i/(Vi ntemi-Y) ■
[Eq- 5]
donde Vinterm es la altura aún por encima del límite de la gama después de hacer la parte de atenuación de luminancia, e Y es, por ejemplo, la luminancia intermedia en el ejemplo lineal (es decir, Li en la Fig. 9). Por supuesto, se pueden utilizar estrategias de desaturación más complejas si se desea (con S no constante, es decir, una desaturación que puede variar en el espacio de color), especialmente si se comunican al lado receptor (al menos los sistemas reversibles como el modo 2 HDR-as-SDR comunicación debe saber todo para reconstruir).
Un ejemplo de una arquitectura de procesamiento (y una realización de procesador de luminancia avanzada conectada a un conjunto de saturación) en un codificador capaz de implementar dicha estrategia de corrección se muestra en la Fig. 9. En principio, se puede optar por realizar el procesamiento de saturación y el procesamiento de luminancia en orden opuesto según se desee, pero para el orden elegido, el decodificador debe invertir el orden (por lo que si el codificador primero realiza el mapeo de luminancia y luego la desaturación, el decodificador invertido primero hará la resaturación correspondiente y luego el mapeo de luminancia). Téngase en cuenta que si uno conoce Vinterm e Y, uno conoce la S (ya sea para desaturación o resaturación) si uno conoce Arem, que se comunica, por ejemplo, desde el lado de la creación por medio del parámetro rho.
La atenuación A(T) en el lado del decodificador se puede calcular como:
A(T)=-(T>G}?-{l-[(Vmx-l)/[Vníix-G)]IG}/{H(Vnnx-MVTiix-G)]xT}-: 1 ■
[Eq. 6]
La calculadora de mapeo parcial 903 ahora determina un factor de atenuación Arho para multiplicar por gL en el multiplicador 902 para obtener el gF final apropiado para la atenuación de luminancia parcial, realizada por el multiplicador 910 en el trío RGB junto con la luminancia que debe convertirse en la luminancia intermedia Li para la etapa de desaturación posterior por el desaturador 911. El conjunto de determinación del factor de saturación 901 puede determinar el factor de saturación necesario S(V,Y, Arem), por ejemplo, de acuerdo con la Ec. 5, para que el procesador de saturación 911 lo aplique, en una desaturación que preserve la luminancia de acuerdo conlas ecuaciones 7:
Esos componentes de color de salida son a continuación los componentes de color correctos para, por ejemplo, el color SDR (o color MDR) derivado de los colores de imagen de entrada HDR.
Téngase en cuenta que el lector debe entender que al degradar tanto en el codificador como en el decodificador (es decir, la situación de modo i en la que en realidad la propia imagen HDR se comunica a los receptores, típicamente con valores R"G" B no lineales PQ-OETF-ed, o típicamente porque la codificación de vídeo pasará por el estándar, por ejemplo, compresión HEVC, los componentes de color YCbCr correspondientes), tanto el codificador como el decodificador transformarán los colores en la misma dirección de degradación, por lo que no habrá inversión del orden de procesamiento de color en el decodificador (uno puede imaginar que el codificador en este caso solo realice la transformación para verificar el comportamiento posterior del decodificador, con opciones de parámetros seleccionadas).
Sin embargo, en la codificación de imagen o vídeo HDR reversible, es decir, el modo 2 que codifica las imágenes como imágenes SDR, donde el codificador las crea mediante la degradación, el decodificador recrea una aproximación cercana de las imágenes HDR maestras mediante la actualización, es decir, en la dirección opuesta.
A continuación, el decodificador cambia un poco, como se explica en la Fig. 13.
Téngase en cuenta el orden opuesto de la saturación (911) y el brillo (multiplicador 910), que ahora sucede con 1/gF, pero es el mismo factor g parcial que redujo el color inicial de la gama anterior ColBluL a la luminancia intermedia del color final ColOut, que será el resultado intermedio para el aumento de luminancia por ese mismo factor nuevamente. Ahora hemos utilizado el sufijo s para indicar que en este escenario los colores de entrada RsGsBs y Ls de luminancia son colores SDR, y los colores de salida RoH, GoH, BoH son de la imagen HDR reconstruida (de acuerdo con el novedoso tratamiento óptimo de los colores críticos de la parte superior de la gama cercana). Obsérvese también el multiplicador adicional 1301, porque la posición intermedia de la luminancia no es la posición inicial, y ahora se utiliza en la ruta de determinación del factor g.
La Fig. 11 muestra un ejemplo de una interfaz de usuario que se puede usar para que un graduador humano cree los parámetros, que pueden ser tan simples como solo tres valores G, rho y Vmx. Rho puede establecerse, por ejemplo, mediante un control deslizante, por ejemplo, el autómata de un procedimiento semiautomático determinó que un ajuste de 0,25 era óptimo, pero al usuario le gusta más 0,2 o 0,3.
También tiene otros dos desplazadores, 1103 resp. 1103 para establecer el valor de Vmx y G, por ejemplo, en un gráfico de gama de colores. También puede haber una vista 1110 de la imagen que se está procesando, por ejemplo, una imagen representativa de la escena HDR representada en una toma de imágenes de vídeo sucesivas, en la que puede haber indicadores generados automáticamente 1111 para captar rápidamente la atención del graduador. Por ejemplo, el autómata ha calculado que en esta región (las nubes iluminadas por el sol) se está produciendo una reducción significativa del contraste de la textura (tal vez incluso un recorte fuerte), y la interfaz de usuario puede, por ejemplo, mostrar un límite rojo parpadeante alrededor de esa región.
La Fig. 12 muestra un ejemplo de un sistema de codificación con codificador 1201 (que puede codificar imágenes HDR según cualquier modo descrito anteriormente, pero también determinar una salida de los nuevos parámetros presentes rho, G, Vmx o una función para volver a determinar en un lado de recepción los factores g), en el que el graduador de color de creación de contenido 1204 puede hacer su trabajo de clasificación, al menos la determinación de un parámetro según la presente invención, por ejemplo, G o rho. Puede verificar en la pantalla 1220 lo que está sucediendo, porque el procesador de luminancia 501 aplica el procesamiento (es decir, la degradación directa en el modo 1 y, por lo general, toda la cadena de codificación+decodificación que comprende la actualización inversa en el modo 2) para mostrar el resultado de la elección del clasificador de, por ejemplo, rho a través del medio de interfaz de usuario 1203, que normalmente puede ser un panel de clasificación y un software que asigna, por ejemplo, el cambio de rho a una bola de seguimiento. Las imágenes provienen de cualquier almacenamiento de imágenes 1202, por ejemplo, un disco duro en un servidor, etc., o en algunos casos incluso una transmisión en tiempo real. El procesador de evaluación de imágenes 1210 puede hacer todo tipo de análisis de imágenes para llegar a propuestas de rho, G, etc., y en realizaciones automáticas esta será la única conjunto que determine esos parámetros.
Un codificador de vídeo de alto intervalo dinámico (1201) puede usar el procesador de luminancia para ayudar al graduador de color humano a determinar valores adecuados para los diversos parámetros que controlan cualquier realización de su algoritmo de cambio de luminancia (por ejemplo, cuando está comprendido en un decodificador que recibe esos parámetros como parámetros de control en metadatos a través de algunos datos o conexión de vídeo). Para comunicar cualquiera de dichos parámetros de control, el codificador de vídeo HDR puede comprender:
- una entrada para recibir una imagen de entrada desde una fuente de imagen (1202);
- un codificador para codificar la imagen de entrada como una imagen de salida y al menos una función de mapeo de luminancia (F_Lt);
- un procesador de evaluación de imágenes (1210) dispuesto para analizar las propiedades de color de una imagen del vídeo, para determinar al menos uno de los parámetros que son: a) el umbral (G) que indica por encima del cual se debe usar alguna ganancia final alternativa gF, y por debajo del cual la ganancia original correspondiente a la función de mapeo de luminancia FLM adecuada para la reclasificación del intervalo dinámico de la imagen presente dados sus detalles de distribución de luminancia de objeto o píxel, b) la función (FADAP) utilizable para determinar una ganancia alternativa para los colores más brillantes de la imagen que se va a procesar, c) el parámetro de recorte (Vmx) que indica a partir de qué luminancia de entrada (después de la reclasificación de luminancia) se permite el recorte, pero el recorte que conserva la cromaticidad (en caso de que se desee dicho efecto) y d) el valor de fracción (rho) que determina la división del intervalo de corrección hacia la gama que se va a manejar por oscurecimiento frente a desaturación, por ejemplo, el 40 % de la distancia de luminancia restante después de aplicar el gF final y que se va a procesar por desaturación, para garantizar al menos la conservación del tono de los píxeles color de entrada, y el codificador está dispuesto para emitir como metadatos este al menos uno de los parámetros. El experto puede, a partir de todas nuestras enseñanzas actuales, entender cómo, de manera similar a, por ejemplo, determinar un valor G adecuado, por encima del cual se debe aplicar alguna corrección al cambio de luminancia determinado por el factor g basado en FLM original (ya sea conservando completamente el tono o con algún recorte de error de tono restante, pero típicamente pequeño y mucho menor que cuando no se aplican los presentes principios de corrección de la gama anterior), por ejemplo, por un ser humano que mira cuánto de un cielo nocturno iluminado por el sol con nubes se puede deteriorar de la manera establecida (por ejemplo, con una estrategia simple acordada previamente que el lado de codificación sabe que el lado de decodificación se aplicará en caso de que no se comunique un mejor FADAP), también se pueden determinar los otros parámetros. Por ejemplo, el graduador de color humano puede usar la UI para dibujar una forma de la parte superior de la función FADAP para usarla para determinar los valores de gF para los colores más brillantes, de modo que, por ejemplo, no oscurezcan demasiado al menos algunos colores de imagen o no reduzcan al menos algunas luminancias que algunos píxeles en algunas partes de las nubes tienen de una manera que deteriore demasiado la textura visible de dicha nube, etc. También un autómata puede juzgar aplicar algún recorte, basado en el cálculo, por ejemplo, de contrastes sobre varios conjuntos de píxeles conectados en una región estimada interesante o crítica, tal como dichas nubes (que pueden identificarse basándose, por ejemplo, en otras medidas de textura, tales como una medida de bajo negocio, que indica que los gradientes suaves en el cielo pueden mostrar más fácilmente artefactos que las regiones de textura multicolor de alta frecuencia, tales como un macizo de flores visto desde la distancia, etc.).Pero en caso de que el codificador utilice puramente algoritmos automáticos de análisis de imágenes, no es necesario que comprenda un procesador de luminancia para mostrar realmente cualquier resultado elegido al humano que crea el contenido de vídeo.
De manera similar, un procedimiento de procesamiento de luminancia puede comprender recibir del creador del contenido a través de cualquier red conectada (siendo claramente utilizable la red en el sentido más amplio) al menos uno de los parámetros que son: a) el umbral (G), la función (FADAP), el parámetro de recorte (Vmx) y el valor de fracción (rho) separados o en cualquier combinación de parámetros dependiendo de las necesidades de la realización específica de cambio de luminancia, y aplicar dicho al menos un parámetro en su cálculo de luminancia.
Los componentes algorítmicos descritos en este texto pueden (total o parcialmente) realizarse en la práctica como hardware (por ejemplo, partes de un IC específico de la solicitud) o como software que se ejecuta en un procesador de señales digitales especial, o un procesador genérico, etc.
Debe ser comprensible para el experto a partir de nuestra presentación qué componentes pueden ser mejoras opcionales y se pueden realizar en combinación con otros componentes, y cómo las etapas (opcionales) de los procedimientos corresponden a los respectivos medios de los aparatos, y viceversa. La palabra "aparato" en esta solicitud se usa en su sentido más amplio, a saber, un grupo de medios que permiten la realización de un objetivo particular y, por lo tanto, puede ser, por ejemplo, (una pequeña parte de circuito de) un IC, o un aparato dedicado (como un aparato con una pantalla), o parte de un sistema en red, etc. "Disposición" también está destinada a ser utilizada en el sentido más amplio, por lo que puede comprender, entre otros, un solo aparato, una parte de un aparato, una colección de (partes de) aparatos cooperantes, etc.
Debe entenderse que la denotación de producto de programa informático abarca cualquier realización física de una colección de comandos que permita a un procesador genérico o de propósito especial, después de una serie de etapas de carga (que pueden incluir etapas de conversión intermedias, como la traducción a un lenguaje intermedio y un lenguaje de procesador final) introducir los comandos en el procesador y ejecutar cualquiera de las funciones características de una invención. En particular, el producto de programa de ordenador puede realizarse como datos en un soporte tal como, por ejemplo, un disco o cinta, datos presentes en una memoria, datos que viajan a través de una conexión de red, por cable o inalámbrica, o código de programa en papel. Además del código de programa, los datos característicos requeridos para el programa también pueden incorporarse como un producto de programa informático.
Es posible que algunas de las etapas necesarias para el funcionamiento del procedimiento ya estén presentes en la funcionalidad del procesador en lugar de estar descritos en el producto de programa informático, como los etapas de entrada y salida de datos.
Cabe señalar que las realizaciones mencionadas anteriormente ilustran la invención en lugar de limitarla. Cuando el experto en la materia puede realizar fácilmente un mapeo de los ejemplos presentados a otras regiones de las reivindicaciones, para mayor concisión no hemos mencionado todas estas opciones en profundidad. Aparte de las combinaciones de elementos de la invención como se combinan en las reivindicaciones, son posibles otras combinaciones de los elementos. Cualquier combinación de elementos se puede realizar en un solo elemento dedicado.
Cualquier signo de referencia entre paréntesis en la reivindicación no pretende limitar la reivindicación. La frase "que comprende" no excluye la presencia de elementos o aspectos no enumerados en una reivindicación. El artículo «un» o «una» que precede a un elemento no excluye la presencia de una pluralidad de dichos elementos.

Claims (12)

REIVINDICACIONES
1. Un procesador de luminancia (501) dispuesto para calcular una luminancia de salida de un píxel de una imagen de salida (Im_LDR; Im3000nit) que tiene un segundo intervalo dinámico de luminanciacaracterizado porun segundo brillo máximo (PB_LDR; PB_MDR) a partir de una luminancia de entrada (L) de un color de entrada de un píxel colocado espacialmente de una imagen de entrada (MAST _HDR) que tiene un primer intervalo dinámico de luminanciacaracterizado porun primer brillo máximo (PB HDR),caracterizado porqueel procesador de luminancia comprende:
- un conjunto de cálculo de ganancia (514) dispuesto para calcular un factor de multiplicación (gL) cuyo factor de multiplicación se define para la luminancia de entrada de cualquier color de entrada de un píxel de imagen de la imagen de entrada basándose en una función de mapeo de luminancia (FLM) que indica cómo ajustar la luminancia de entrada para convertirse en una luminancia de salida intermedia correspondiente, calculando el factor de multiplicación como la división de una salida de la función de mapeo de luminancia para la luminancia de entrada dividida por esa luminancia de entrada: gL=FLM(L)/L;
- una calculadora de desbordamiento de gama (602) dispuesta para calcular una medida de desbordamiento (T) que es una multiplicación de un máximo de un componente de color rojo, verde y azul lineal del color de entrada por el factor de multiplicación (gL);
- un conjunto de modificación del factor de ganancia (603) dispuesto para determinar un factor de ganancia alternativo inferior (F1(gL)) en caso de que la medida de desbordamiento sea mayor que un umbral (G), y dispuesto para mantener el factor de multiplicación (gL) de otro modo, y dispuesto para emitir como factor de ganancia final (gF) el factor de ganancia alternativo inferior (F1(gL)) en caso de que la medida de desbordamiento sea mayor que el umbral (G) o el factor de multiplicación (gL) de otro modo; y
- un multiplicador (530) para multiplicar los componentes respectivos del color de entrada (R'G'B'_nrm) por el factor de ganancia final (gF) para obtener los componentes respectivos del color de salida (R'G'B'_HDR) que tiene la luminancia de salida.
2. Un procesador de luminancia (501) según la reivindicación 1, que comprende un medio de recepción de datos (689) dispuesto para recibir el umbral (G) del creador del contenido a través de una red (690).
3. Un procesador de luminancia (501) según la reivindicación 1 o 2, que comprende un medio de recepción de datos (689) dispuesto para recibir una función (FADAP) para determinar el factor de ganancia alternativo del creador del contenido a través de una red (690).
4. Un procesador de luminancia (501) según una de las reivindicaciones anteriores, que comprende un medio de recepción de datos (689) dispuesto para recibir del creador del contenido a través de una red (690) un parámetro de recorte (Vmx), que indica cuán por encima de un límite superior de gama se encuentra un color, definiéndose el parámetro de recorte como el máximo de los componentes de color rojo, verde y azul de dicho color, especificando que para las luminancias de color que caen por encima de este parámetro de recorte, se permite el recorte de color que conserva el tono.
5. Un procesador de luminancia (501) según una de las reivindicaciones anteriores, que comprende una calculadora de mapeo parcial (903) dispuesta para determinar una primera fracción de corrección del color de entrada hacia el límite de gama necesario para llegar a un color dentro de la gama realizable, cuya primera fracción de corrección debe manejarse mediante multiplicación por el factor de multiplicación final (gF), y dispuesta para determinar una segunda fracción de corrección restante para determinar un multiplicador de saturación (S) para accionar un cálculo de saturación de color.
6. Un procesador de luminancia (501) según la reivindicación 5, que comprende un medio de recepción de datos (689) dispuesto para recibir un valor de fracción (rho) del creador del contenido a través de una red (690), que determina la primera y segunda fracción de corrección.
7. Un codificador de vídeo de alto intervalo dinámico (1201) que comprende:
- una entrada para recibir una imagen de entrada desde una fuente de imagen (1202);
- un codificador para codificar la imagen de entrada como una imagen de salida y para codificar al menos una función de mapeo de luminancia (F_Lt);caracterizado porqueel codificador comprende un procesador de evaluación de imágenes (1210) dispuesto para analizar las propiedades de color de una imagen del vídeo, para determinar un umbral (G) a aplicar por un procesador de luminancia como se reivindica en la reivindicación 1 , y el codificador está dispuesto para emitir como metadatos este umbral (G).
8. Un sistema de codificación de vídeo de alto intervalo dinámico que comprende:
- una interfaz de usuario (1203) que permite que un graduador de color humano (1204) especifique un valor del umbral (G) según la reivindicación 1;
- un procesador de luminancia (501) según la reivindicación 1, dispuesto además para recibir y usar el valor del umbral (G) especificado por el graduador de color humano, y conectado a una pantalla (1220) para mostrar la imagen de salida del procesador de luminancia; y el sistema de codificación de vídeo de alto intervalo dinámico que comprende además un codificador dispuesto para codificar y emitir el umbral (G).
9. Un decodificador de vídeo de alto intervalo dinámico (1300) que comprende:
- una entrada para recibir una imagen de entrada y una función de mapeo de luminancia (FLM);
- una segunda entrada dispuesta para recibir un valor de un umbral (G);
- un procesador de luminancia (501) según cualquiera de las reivindicaciones 1 a 6, dispuesto para calcular una imagen de salida, mediante el uso de la función de mapeo de luminancia (FLM) y el umbral (G) para cambiar las luminancias de los píxeles de la imagen de entrada para producir una imagen de salida; y
- una salida para emitir la imagen de salida.
10. Un procedimiento de procesamiento de luminancia para calcular una luminancia de salida de un píxel de una imagen de salida (Im_LDR; Im3000nit) que tiene un segundo intervalo dinámico de luminanciacaracterizado porun segundo brillo máximo (PB_LDR; PB_MDR) a partir de una luminancia de entrada de un color de entrada de un píxel colocado espacialmente de una imagen de entrada (MAST _HDR) que tiene un primer intervalo dinámico de luminanciacaracterizado porun primer brillo máximo (PB HDR), que comprende:
- calcular un factor de multiplicación (gL) cuyo factor de multiplicación se define para la luminancia de entrada de cualquier color de entrada de un píxel de imagen de la imagen de entrada en función de una función de mapeo de luminancia (FLM) que indica cómo ajustar la luminancia de entrada para convertirse en una luminancia de salida intermedia, calculando el factor de multiplicación como la división de una salida de la función de mapeo de luminancia para la luminancia de entrada dividida por esa luminancia de entrada: gL=FLM(L)/L;
- calcular una medida de desbordamiento (T) que es una multiplicación de un máximo de un componente de color rojo, verde y azul lineal del color de entrada por el factor de multiplicación (gL);
- determinar un factor de ganancia alternativo más bajo (F1(gL)) en caso de que la medida de desbordamiento sea mayor que un umbral (G), y mantener el factor de multiplicación (gL) de lo contrario, y generar como factor de ganancia final (gF) el factor de ganancia alternativo más bajo (F1(gL)) en caso de que la medida de desbordamiento sea mayor que el umbral (G) o el factor de multiplicación (gL) de lo contrario; y
- multiplicar los componentes respectivos del color de entrada (R'G'B' nrm) por el factor de ganancia final (gF) para obtener los componentes respectivos de un color de salida (R' G'B' HDR) que tiene la luminancia de salida.
11. Un procedimiento de procesamiento de luminancia según la reivindicación 10, que comprende recibir del creador del contenido a través de cualquier red conectada el umbral (G) para aplicarlo en el cálculo del color de salida.
12. Un procedimiento de procesamiento de luminancia según la reivindicación 10 u 11, que comprende recibir del creador del contenido a través de cualquier red conectada una función (FADAP) para determinar el factor de ganancia alternativo.
ES18811314T 2017-12-08 2018-12-06 Remapeo de color de vídeo de alto intervalo dinámico mejorado Active ES2988801T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17206169.9A EP3496028A1 (en) 2017-12-08 2017-12-08 Improved high dynamic range video color remapping
PCT/EP2018/083856 WO2019110752A1 (en) 2017-12-08 2018-12-06 Improved high dynamic range video color remapping

Publications (1)

Publication Number Publication Date
ES2988801T3 true ES2988801T3 (es) 2024-11-21

Family

ID=60629574

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18811314T Active ES2988801T3 (es) 2017-12-08 2018-12-06 Remapeo de color de vídeo de alto intervalo dinámico mejorado

Country Status (9)

Country Link
US (2) US11170478B2 (es)
EP (2) EP3496028A1 (es)
JP (1) JP7381463B2 (es)
KR (1) KR102614452B1 (es)
CN (1) CN111699507B (es)
BR (1) BR112020011172A2 (es)
ES (1) ES2988801T3 (es)
MX (1) MX2020005813A (es)
WO (1) WO2019110752A1 (es)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645358B2 (en) * 2018-02-20 2020-05-05 Gopro, Inc. Saturation management for luminance gains in image processing
US10970828B2 (en) * 2018-12-21 2021-04-06 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and recording medium
DE102019134799B3 (de) * 2019-12-17 2021-03-25 Schölly Fiberoptic GmbH Bildaufnahmeverfahren unter Verwendung einer Farbtransformation sowie zugehöriges medizinisches Bildaufnahmesystem
US11232607B2 (en) * 2020-01-24 2022-01-25 Adobe Inc. Adding color to digital images
EP3873096A1 (en) 2020-02-25 2021-09-01 Koninklijke Philips N.V. Improved hdr color processing for saturated colors
US11651472B2 (en) 2020-10-16 2023-05-16 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
US20230394636A1 (en) * 2020-10-21 2023-12-07 Interdigital Ce Patent Holdings, Sas Method, device and apparatus for avoiding chroma clipping in a tone mapper while maintaining saturation and preserving hue
CN113271449B (zh) * 2021-07-21 2021-09-28 北京小鸟科技股份有限公司 多种hdr视频的转换系统、方法、设备
EP4283459A1 (en) * 2022-05-24 2023-11-29 Koninklijke Philips N.V. Mixing secondary graphics elements in hdr images
CN116029914B (zh) * 2022-07-27 2023-10-20 荣耀终端有限公司 图像处理方法与电子设备
CN119071405B (zh) * 2024-08-05 2025-09-09 维沃移动通信有限公司 色彩矫正方法、装置、设备和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1265338C (zh) * 2001-11-21 2006-07-19 佳能株式会社 显示装置、其图像信号处理装置及驱动控制装置
US7773158B2 (en) * 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
TWI314424B (en) * 2006-06-23 2009-09-01 Marketech Int Corp System and method for image signal contrast adjustment and overflow compensation
US9417479B2 (en) * 2011-05-13 2016-08-16 Samsung Display Co., Ltd. Method for reducing simultaneous contrast error
US8896641B2 (en) * 2011-06-01 2014-11-25 Lg Display Co., Ltd. Organic light emitting diode display device and method of driving the same
JP5966658B2 (ja) * 2012-06-22 2016-08-10 ソニー株式会社 表示装置、画像処理装置、および表示方法
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
ES2641371T3 (es) 2012-10-08 2017-11-08 Koninklijke Philips N.V. Procesamiento de imágenes con cambio de luminancia con restricciones de color
RU2670782C9 (ru) 2013-07-18 2018-11-23 Конинклейке Филипс Н.В. Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений
EP3324629B1 (en) 2014-05-28 2019-06-19 Koninklijke Philips N.V. Methods and apparatuses for encoding an hdr images, and methods and apparatuses for use of such encoded images
CN107005716B (zh) * 2014-10-10 2020-06-23 皇家飞利浦有限公司 图像编码的方法、图像解码的方法、图像编码器、图像解码器以及显示装置
JP6619813B2 (ja) * 2014-12-11 2019-12-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 特定のディスプレイに対する高ダイナミックレンジ画像の最適化
US10609395B2 (en) * 2015-07-28 2020-03-31 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
PL3235236T3 (pl) * 2015-12-17 2018-11-30 Koninklijke Philips N.V. Kodowanie zakresu dynamicznego dla obrazów i wideo
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
EP3430806B1 (en) * 2016-03-18 2023-06-07 Koninklijke Philips N.V. Encoding and decoding hdr videos
JP6637396B2 (ja) * 2016-08-31 2020-01-29 株式会社ジャパンディスプレイ 表示装置、電子機器及び表示装置の駆動方法
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control

Also Published As

Publication number Publication date
EP3496028A1 (en) 2019-06-12
KR20200097307A (ko) 2020-08-18
KR102614452B1 (ko) 2023-12-14
MX2020005813A (es) 2020-08-20
BR112020011172A2 (pt) 2020-11-17
RU2020122004A (ru) 2022-01-10
US12125183B2 (en) 2024-10-22
EP3721405C0 (en) 2024-03-06
US11170478B2 (en) 2021-11-09
WO2019110752A1 (en) 2019-06-13
CN111699507B (zh) 2024-06-18
EP3721405B1 (en) 2024-03-06
EP3721405A1 (en) 2020-10-14
US20200357100A1 (en) 2020-11-12
US20220124293A1 (en) 2022-04-21
CN111699507A (zh) 2020-09-22
JP7381463B2 (ja) 2023-11-15
JP2021506001A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
ES2988801T3 (es) Remapeo de color de vídeo de alto intervalo dinámico mejorado
ES2641371T3 (es) Procesamiento de imágenes con cambio de luminancia con restricciones de color
ES2694858T3 (es) Métodos y aparatos para codificar imágenes de HDR, y métodos y aparatos para el uso de tales imágenes codificadas
ES2825699T3 (es) Optimización e imágenes de alto rango dinámico para pantallas particulares
ES3033067T3 (en) Apparatus and method for dynamic range transforming of images
JP6495552B2 (ja) 画像及びビデオのためのダイナミックレンジ符号化
ES2808177T3 (es) Optimización de imágenes de alto rango dinámico para pantallas particulares
US10902567B2 (en) Handling multiple HDR image sources
ES2703517T3 (es) Modulación de luz basada en la gestión de presentación global
JP7705843B2 (ja) Hdr画像のための表示最適化挙動の調節
ES2979319T3 (es) Manejo de múltiples fuentes de imágenes HDR
RU2782432C2 (ru) Улучшенное повторное отображение цвета видео с высоким динамическим диапазоном
ES2993730T3 (en) Mixing secondary graphics elements in hdr images
EP4607918A1 (en) Improved encoding and decoding for images
EP4567783A1 (en) Image display improvement in brightened viewing environments
EP4636683A1 (en) Improved luma and chroma mapping for images
ES2728053T3 (es) Métodos y aparatos para crear funciones de mapeo de códigos para codificar una imagen HDR, y métodos y aparatos para el uso de tales imágenes codificadas
WO2025176560A1 (en) Encoding and decoding for images
CN120660341A (zh) Hdr色域外调整的色调映射
BR112017002313B1 (pt) Codificador para codificar um vídeo de entrada de alto alcance dinâmico, método para codificar um vídeo de entrada de alto alcance dinâmico, decodificador de vídeo para decodificar um vídeo de alto alcance dinâmico, decodificador de vídeo para decodificar um conjunto de imagens de vídeo de alto alcance dinâmico e método de decodificação de vídeo de um conjunto de imagens de vídeo de alto alcance dinâmico
BR112018010367B1 (pt) Aparelho para combinar duas imagens ou dois vídeos de imagens, e método para combinar duas imagens ou dois vídeos de imagens
BR112017016037B1 (pt) Decodificador e codificador de vídeo em hdr; método de decodificação de vídeo; método para codificação de vídeo em hdr; e memória legível por computador