BRPI0719548A2 - Método para aumentar, aparelho para expandir e método para melhorar a gama dinâmica dos dados de imagem originais. - Google Patents

Método para aumentar, aparelho para expandir e método para melhorar a gama dinâmica dos dados de imagem originais. Download PDF

Info

Publication number
BRPI0719548A2
BRPI0719548A2 BRPI0719548-6A BRPI0719548A BRPI0719548A2 BR PI0719548 A2 BRPI0719548 A2 BR PI0719548A2 BR PI0719548 A BRPI0719548 A BR PI0719548A BR PI0719548 A2 BRPI0719548 A2 BR PI0719548A2
Authority
BR
Brazil
Prior art keywords
image data
original image
pixel
data
dynamic range
Prior art date
Application number
BRPI0719548-6A
Other languages
English (en)
Inventor
Francesco Banterle
Patrick Ledda
Kurt Debattista
Alan Chalmers
Original Assignee
Dolby Lab Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39468493&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=BRPI0719548(A2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Dolby Lab Licensing Corp filed Critical Dolby Lab Licensing Corp
Publication of BRPI0719548A2 publication Critical patent/BRPI0719548A2/pt
Publication of BRPI0719548B1 publication Critical patent/BRPI0719548B1/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

"MÉTODO PARA AUMENTAR, APARELHO PARA EXPANDIR E MÉTODO PARA MELHORAR A GAMA DINÂMICA DOS DADOS DE IMAGEM ORIGINAIS"
Referência Cruzada para os Pedidos Relacionados
Este pedido reivindica o benefício de Pedido Provisório da U.S. número de série 60/867.325 depositado em 27 de novembro de 2006, e com o título APPARATUS AND METHODS FOR BOOSTING DYNAMIC RANGE IN DIGITAL IMAGES que é aqui incorporado em sua totalidade para referência. Campo técnico
Esta invenção se refere ao tratamento de imagem digital. A invenção se refere especificamente aos métodos e aparelho para aumentar a gama dinâmica de imagens digitais. Fundamentos
O olho humano é sensitivo à luz sobre uma muito ampla gama de intensidades. Imagens precisam ter altas gamas dinâmicas para precisamente reproduzir cenas reais. Sensores de imagem de alto desempenho, tais como arranjos de CCD de alto desempenho são capazes de adquirir imagens tendo altas gamas dinâmicas. Há mostradores, tais como os mostradores disponíveis da Dolby Canada Corporation que são capazes de exibir imagens de alta gama dinâmica. Contudo, muitos mostradores de computadores, televisores e o similar têm gamas dinâmicas limitadas e são incapazes de exibir tais imagens de alta gama dinâmica.
Alguns dados de imagem tem baixa gama dinâmica por causa da maneira que os dados de imagem são adquiridos ou gerados. Em outros casos, a gama dinâmica dos dados de imagem pode ser reduzida para coincidir com as características de exibição nas quais a imagem dos dados de imagem serão reproduzidos. Um operador de mapeamento de tom pode ser aplicado aos dados de imagem de mais alta gama dinâmica para reduzir a gama dinâmica dos dados de imagem. Isto pode ser feito, por exemplo, para fornecer dados de imagem que coincidem com a gama dinâmica de um tipo de mostrador ou um particular formato de dados de imagem formato.
Há uma vasta quantidade dados de imagem existentes que tem uma gama dinâmica que é mais baixa do que a gama dinâmica que pode ser exibida por mostradores de alta gama dinâmica e/ou apreciada pelo olho humano.
Há uma necessidade métodos e aparelhos que podem expandir a gama dinâmica dos dados de imagem de mais baixa gama dinâmica. Sumário
As seguintes modalidades e aspectos delas são descritas e ilustradas em conjunto com sistemas, ferramentas e métodos que se destinam a serem exemplares e ilustrativos, não limitando em escopo. Em várias modalidades, um ou mais dos problemas descritos acima foram reduzidos ou eliminados, enquanto outras modalidades são direcionadas a outros melhoramentos.
Um aspecto da invenção fornece um método para aumentar a gama dinâmica de dados de imagem originais representando uma imagem. O método compreende, em qualquer ordem: aplicar uma função de expansão para gerar, a partir dos dados de imagem originais, dados expandidos tendo uma gama dinâmica maior do que aquela dos dados de imagem originais; e, obter uma mapa de expansão compreendendo dados indicativos de um grau de luminância das regiões associadas aos pixéis na imagem. O método combina os dados de imagem originais e os dados expandidos de acordo com o mapa de expansão para produzir dados de imagem melhorados.
Um outro aspecto da invenção fornece aparelho para expandir a gama dinâmica de dados de imagem originais. O aparelho compreende: um expansor de gama dinâmica conectado para receber dados de imagem originais e para emitir dados expandidos tendo uma gama dinâmica maior do que aquela dos dados de imagem originais; um analisador de distribuição de luminância configurado para gerar um mapa de expansão indicativo da luminânica das regiões associadas aos pixéis na imagem dos dados de imagem originais; e um combinadores de imagem configurado para combinar os dados de imagem originais com os dados expandidos a partir de um expansor de gama dinâmica de acordo com o mapa de expansão para produzir dados de imagem melhorados.
Um outro aspecto da invenção fornece um método para melhorar a gama dinâmica dos dados de imagem originais, o método compreendendo processar valores de luminância para os pixéis dos dados de imagem originais de acordo com to operador de mapeamento de tom inverso, dado por:
a1 T? / \ oc
J - Tl ^ ^ " t τ
IJ t J j*
Ιτϊΐκ o W
ou um equivalente matemático do mesmo, onde a, Lbranc03 e Lw são parâmetros e Ld é um valor de luminância correspondendo a um pixel nos dados de imagem originais.
Em adição aos aspectos e modalidades exemplares descritos acima, aspectos e modalidades adicionais serão descritos abaixo e/ou se tornarão aparente através da referência aos desenhos e através do estudo da descrição detalhada a seguir. Descrição Breve dos Desenhos
Os desenho anexos que ilustram modalidades não limitantes da
invenção.
Figura 1 é um fluxograma ilustrando um método de acordo com uma modalidade da invenção. Figura 2 é um diagrama em bloco de um aparelho de acordo
com a invenção.
Figura 3 é um diagrama em bloco de um aparelho de acordo
Ld(x,y))Lw(x,y) - Ld(x, y) = 0 com uma outra modalidade da invenção. Descrição
Ao longo da seguinte descrição, detalhes específicos são estabelecidos de modo a fornecer um mais aprofundado entendimento para as pessoas com qualificação na técnica. Contudo, elementos bem conhecidos podem não ter sido mostrados ou descritos em detalhes, para evitar desnecessariamente obscurecer a divulgação. Conseqüentemente, a descrição e os desenhos são para serem considerados em um sentido ilustrativo, mais propriamente do que um sentido restritivo.
Esta invenção fornece métodos e aparelho para expandir uma gama dinâmica de dados de imagem. Os métodos e aparelho podem ser aplicados, por exemplo, para aumentar a gama dinâmica de imagens legadas (que podem ser imagens fixas ou de vídeo, por exemplo) para exibir em mostradores de alta gama dinâmica.
Figura 1 mostra um método 20 de acordo com uma modalidade da invenção. O método 20 atua nos dados de imagem originais 23 obtidos no bloco 24 para expandir a gama dinâmica dos dados de imagem 23. No bloco 26, o método 20 expande os dados de imagem originais 23 para obter dados expandidos de imagem 25. A expansão mapeia os valores de luminosidade do pixel a partir da primeira gama para a segunda gama. A segunda gama fornece mais valores possíveis do que a primeira gama. Por exemplo, a primeira gama pode permitir valores no intervalo de 0 a 255 enquanto a segunda gama expandida, pode permitir valores no intervalo de 0 a 1023 ou valores no intervalo de 0,00 a 1,00 para alguma precisão especificada. Em algumas modalidades, o valor da luminosidade um pixel nos dados expandidos de imagem 25 é uma função do valor da luminosidade do correspondente pixel nos dados de imagem originais 23.
A expansão pode envolver qualquer de: escalonamento linear, escalonamento não linear ou aplicar uma função mais complicada de expansão tal como o inverso de uma função de mapeamento de tom. Onde o bloco 26 aplica uma função de mapeamento de tom inversa, a função de mapeamento de tom inversa aplicada no bloco 26 não é necessariamente o inverso de qualquer particular função de mapeamento de tom usada na criação dos dados de imagem originais 23. De fato, em alguns casos, os dados de imagem originais 23 podem ter sido obtidos sem a aplicação de uma função de mapeamento de tom ou através da aplicação de uma função de mapeamento de tom diferente a partir do inverso da função de mapeamento de tom aplicada no bloco 26. Um exemplo de função de mapeamento de tom é a
Photographic Tone Reproduction descrita em Reinhard et al., Photographie tone reprodeetion for digital imagens, ACM Trans. Graph., 21, 3, 267-276 (2002). Outras funções de mapeamento de tom são descritas, por exemplo, em Smith et al, Beyond tone mapping: Enhaneed depiction of tone mapped HDR imagens.
Computador Graphics Forum 25, 3 (2006); e Ledda et al. Evaluation of tone mapping operators using a high dynamic range display, ACM Trans. Graph., 24, 3, 640-648 (2005).
O operador de mapeamento de tom por redução de tom fotográfico escalona valores de luminosidade de pixel com base em uma média geométrica, que é ou se aproxima do principal da cena e então comprime os valores resultantes. O escalonamento pode ser dado por:
Lm(XyV)=S-Lm(X^y)
onde Lm é o valor escalonado, α é um parâmetro de usuário, Lw é a luminosidade do pixel nos dados de imagem originais 23. Se dados de imagem originais 23 estão em um formato de RGB então Lw pode ser dado por:
Lw = 0.213RW + 0.715G„ + 0.0 IlByt (2) onde Rw, Gw e Bw são respectivamente os valores do pixel do vermelho, verde, e azul para o pixel o espaço de cor de RGB. Lw é a média geométrica definida por:
f I >
onde δ é um valor pequeno não negativo e N é um número de pixéis na imagem.
A compressão pode ser fornecida através de uma função que
pega os valores de entrada dentro de uma primeira gama e produz os valores de saída dentro de uma segunda gama mais estreita. Por exemplo, compressão poderia ser fornecida por:
It(Xty)=JsjiliL (4,
onde Ld é o valor comprimido para o pixel em (x, y). Em uma modalidade mais flexível, a compressão é fornecida por:
( 4, (*■·>■)! 2„(Λ·,.ν) l + (5)
τ / \ feraruo /
Ld f.t, v)=-—--
onde Lbranco é um parâmetro que corresponde ao menor valor de luminância dos dados não comprimidos que serão mapeados para branco no dados comprimidos.
Equação (5) pode ser invertida resolvendo a equação
quadrática:
+ 4,(χ·, νχι - Lj(Xiy)) - Ld(x,y)=O <«
hramxo
Na equação (5), Lm pode ser substituída pelo valor da equação
(1) para fornecer: 2
CX OC'
—_(1- Ld(x,y))L„(x,y}- L<{x,y)=0 Π)
brannci "lí W
Equação (7) pode ser resolvido para Lw usando a fórmula quadrática para obter uma solução positiva maior avaliada. Isto pode ser efetuado para cada pixel em uma imagem para obter dados expandidos de imagem 25.
Para aplicar a solução da equação (7) para mapeamento de tom inverso alguém precisa atribuir valores para os parâmetros a, Lbranco, Ld e a média geométrica Lw. Ao menos que alguém conheça que operador de mapeamento de tom ( se qualquer) foi aplicado para obter a imagem de mais baixa gama dinâmica sendo trabalhada, esses parâmetros não serão conhecidos. Em métodos de acordo com algumas modalidades, um usuário pode estabelecer valores para esses parâmetros. Em algumas modalidades, os parâmetros podem ser automaticamente estabelecidos ou predeterminados. Em algumas modalidades, alguns ou todos os parâmetros são estabelecidos automaticamente para valores iniciais e um usuário pode variar os valores dos parâmetros a partir daqueles valores iniciais, se desejado.
Uma maneira de atribuir Lw é usar a luminância média geométrica da imagem de mais baixa gama dinâmica sendo processada. Tem sido encontrado que a luminância média geométrica de uma imagem de mais alta e mais baixa gama dinâmica da mesma cena são tipicamente bastante similares (ao menos que a imagem de mais baixa gama dinâmica seja, de forma significativa, sobre ou sub-exposta). Determinados operadores de mapeamento de tom tendem a mudar a luminância. Onde tais operadores de mapeamento de tom foram usados na geração de dados de imagem originais 23, pode ser desejável usar uma função da luminância média geométrica da imagem de mais baixa gama dinâmica sendo processada para Lw. A função pode ser escolhida com base no conhecimento do operador de mapeamento de tom usado para gerar os dados de imagem originais 23 ou pode ser determinado empiricamente.
Uma maneira de atribuir um valor para o parâmetro Ld (x,y) é realizar que Ld é a luminância da imagem de mais baixa gama dinâmica sendo processada. Os parâmetros α e Lbranco pode ser estabelecido pelo usuário. O significado do parâmetro a é um pouco enigmático. Por conseguinte, os inventores preferem definir um parâmetro Lmax' tal que:
L L
f _ ^ branco ^gJ
ORMC
a
Lmax' é o valor máximo de luminância esperada na imagem mapeada de tom inversa. Lbranco afeta a expansão dos valores originais de luminância baixa e média. Se Lbranco é muito alta, aqueles valores são mapeados para valores de luminância muito baixa. Se Lbranco é muito baixa, a imagem mapeada de tom inversa vai ter valores de luminância similares àqueles na imagem original de gama dinâmica mais baixa escalonada pelo fator Lmax'. Em aplicações típicas, estabelecendo Lbranco e Lmax' para terem valores que são iguais ou da mesma ordem tendem a produzir resultados razoáveis.
A função de expansão aplicada no bloco 26 pode produzir uma imagem expandida que não é completamente aceitável. Se a função de expansão produz os valores de luminância de saída que são altos então a imagem resultante pode ser "bloqueada" na aparência.
O método 20 obtém uma imagem de saída 33 combinando a imagem expandida 25 com a imagem original 23 de acordo com um mapa de expansão 29 gerado no bloco 28. O mapa de expansão 29 identifica áreas de maior luminância e menor luminância da imagem original 23. Usando o mapa de expansão 29, o método 20 baseia a imagem de saída 33 mais pesadamente na imagem expandida 25 em áreas de maior luminância e baseia a imagem de saída 33 mais pesadamente na imagem original 23 em áreas de menor luminância. Bloco 28 pode usar qualquer método adequado para avaliar o nível de luminância de uma área para o qual cada pixel pertence. Por exemplo, o bloco 28 pode computar uma luminância média ou luminância média ponderada dos pixéis em uma área a qual cada pixel pertence. O mapa de expansão 29 inclui pesos associados com cada pixel. Os pesos indicam o grau relativo para aquela imagem original 23 e a imagem expandida 25 contribui para o valor para aquele pixel na imagem melhorada 33.
Na modalidade ilustrada, o bloco 28 aplica um algoritmo de corte mediano no bloco 28 A. O algoritmo de corte mediano é descrito, por exemplo, em Debevec, P., A median cut algorithm for light probe sampling, ACM Siggraph 2005 posters (2005). O algoritmo de corte mediano identifica um conjunto de ponto de fontes de luz que são aglomeradas perto de área de alta luminância em uma imagem. Em algumas modalidades, o número e intensidade tais fontes de luz na vizinhança de um pixel são usados para criar o mapa de expansão 29.
O algoritmo de corte mediano divide uma imagem em 2n regiões de energia de luz similar. Essas áreas podem ser identificadas sub- dividindo a imagem ao longo da dimensão mais longa tal que a luminância é igualmente repartida entre as regiões resultantes. O processo é repetido para as regiões resultantes. A fonte de luz é colocada no centróide cada uma das 2n regiões obtidas através da iteração do processo de dividir a imagem nas regiões η vezes. A cor de cada fonte de luz é estabelecida para um valor médio através da região (por exemplo, a cor pode ser estabelecida para igualar uma soma de valores de pixel dentro da região. Em algumas modalidades da invenção η é pelo menos, 9
(correspondendo a 512 fontes de luz). Em algumas modalidades η é 10 ou mais.
Em algumas implementações, as fontes de ponto de luz pode ser armazenada em uma estrutura de dados compreendendo uma árvore de 2D para facilitar pesquisas de vizinhos mais próximos que podem ser efetuados na criação do mapa de expansão 29.
Não é obrigatório que a imagem original 23 seja usado para identificação de áreas de maior e menor luminância. A distribuição das áreas de maior ou menor luminância será similar em dados de imagem originais 23 e dados expandidos de imagem 25. O algoritmo de corte mediano pode ser efetuado nos dados expandidos de imagem 25.
Uma maneira de obter um conjunto de pesos a partir das fontes de luz identificadas pelo algoritmo de corte mediano efetuado no bloco 28A é determinar, para cada pixel (x,y), a densidade fontes de luz dentro de uma área envolvendo o pixel. A área pode convenientemente compreender, por exemplo, uma área circular tendo alguns raios r. Outras formas de área poderiam também ser usadas. A estimativa de densidade é descrita em Duda et al. Pattern Classification 2a Edição, Wiley Interscience (2001).
Uma fórmula básica que pode ser usada para a estimativa de
densidade é:
T Ψ
A (Xs)=IikJL W
'"««χ
onde: A é a densidade; X é a localização (x.y) na imagem; Ψρ é o valor de luminância para uma fonte de luz no ponto p\ e, P é o conjunto de pontos dentro da área (um círculo tendo raio r e centrado no X neste exemplo,) que corresponde às fontes de luz identificadas pelo algoritmo de corte mediano, r
A estimativa de densidade pode ser melhorada em um número de maneiras incluindo:
• fazer iteração do algoritmo de corte mediano para obter um maior número de fontes de luz (i. e. tornando η maior);
• aplicar um filtro de retificação aos resultados da estimativa
de densidade;
• requerer que pelo menos, um número limite de fontes de luz (por exemplo, onde há 1024 ou mais fontes de luz - η = 10, o número limite poderia ser 4 ou mais - em alguns casos 4-6 fontes de luz) esteja dentro de uma região de influência de um pixel (e. g. dentro de um raio r do pixel) antes atribuindo uma densidade A não zero ao pixel.
Um filtro de retificação pode compreender um filtro Gaussiano de retificação. Por exemplo, uma modalidade protótipo aplicado a um filtro
Gaussian definido pelo peso de kernel dado por:
-fi-
^ = Y
l-e
2 ri
2
RSX
1 - e
•β
(10)
onde: wpg é o kernel; γ e β são parâmetros. Isto filtro é descrito, por exemplo in Pavicic, Convenient Anti-Aliasing Filters that Minimize Bumpy Sampling, Morgan Kaufmann, (1990). Valores exemplos para γ e β são γ = 0,918 e β = 1,953. Este filtro é normalizado e pode ser aplicado graduando as luminâncias de wpg quando computando a estimativa de densidade como descrito acima. Pode ser visto que este filtro pondera fontes de luz que estão mais próximas do pixel mais pesadamente do que fontes de luz que estão mais longe do pixel.
No bloco 30, os dados originais 23 e dados expandidos 25 são combinados usando o mapa de expansão 29 para produzir dados melhorados 33. Em um exemplo ilustrativo, o mapa de expansão 29 fornece um valor no intervalo para cada pixel. Este valor pode ser usado como pesos para uma interpolação linear entre os dados originais 23 e os dados expandidos 25. Por exemplo:
£*-(*·>) = A(.y,,V)ÍJ.Y,.V) + (1 - A(x,y))4(.v, y) OD
onde: Lfinai é um valor de luminância do pixel em dados melhorados 33 para um pixel em localização (x,y); Lw é um valor de luminância para o pixel em dados expandidos 25; Ld é um valor de luminância para o pixel nos dados originais 23; e A é um peso para o pixel no intervalo [0,1] do mapa de expansão 29.
Bloco 30 poderia opcionalmente combinar os dados originais 23 e os dados expandidos 25 em outras maneiras. Por exemplo, a interpolação poderia ser não linear. Os métodos descritos aqui podem, por exemplo, ser aplicados para melhorar um gama dinâmica de imagens fixas ou vídeo digitais. Dados melhorados 33 podem ser salvos, como indicado no bloco 34 ou exibidos em um mostrador, como indicado no bloco 36.
O operador de mapeamento de tom inverso descrito acima com
referência as equações (6) e (7) tem aplicação fora do método 20. Por exemplo, o operador de mapeamento de tom inverso poderia ser aplicado diretamente para aumentar a gama dinâmica dos quadros em um vídeo. Em tais modalidades, a imagem de cada quadro do vídeo pode ser processada pelo operador de mapeamento de tom inverso para obter um quadro expandido. Os quadros expandidos podem ser armazenados e/ou reproduzidos para fornecer vídeo tendo uma gama dinâmica maior do que aquela do vídeo original.
Imagens típicas contém centenas de milhares de pixéis e, mais tipicamente, milhões de pixéis. Os métodos descritos aqui são efetuados usando aparelho automatizado, tal como hardware especializado e/ou sistemas de computador programado.
Figura 2 mostra, de forma esquemática, o aparelho 40 para produzir imagens tendo gamas dinâmicas expandidas a partir dos dados de imagem originais 23. O aparelho 40 compreende um expansor de gama dinâmica 44 que processa os dados de imagem originais 23 para produzir dados expandidos 25. Em algumas modalidades, o expansor de gama dinâmica 44 compreende um módulo de software que pega os dados de imagem originais 23 e aplica uma função de expansão de gama dinâmica para cada valor de luminância nos dados de imagem originais 23 para produzir os dados expandidos 25.
O aparelho 40 compreende um analisador de distribuição de luminância 46 que processa os dados de imagem originais 23 (ou opcionalmente os dados expandidos 25) para produzir o mapa de expansão 29. O analisador de distribuição de luminância 46 determines o grau para o qual os pixéis nos dados de imagem originais 23 pertencem para áreas de alta luminância e baixa luminância da imagem representada pelos dados de imagem originais 23.
O combinador 48 combina os dados de imagem originais 23 e os dados expandidos 25 para produzir os dados melhorados 33. O grau relativo, para o qual cada pixel dos dados melhorados 33 é baseado no valor para o correspondente pixel dos dados de imagem originais 23 e dos dados expandidos 25, dependem do valor do correspondente pixel no mapa de expansão 29.
Cada expansor de gama dinâmica 44, analisador de distribuição de luminância 46 e combinador 48 pode compreender um módulo de hardware, uma combinação de hardware e software, ou hardware configurável, tal como uma ou mais arranjos de portas programáveis pelo utilizador configuradas adequadamente (FPGAs). Em algumas modalidades, o aparelho 40 é fornecido em um sistema de exibição eletrônico de alta gama dinâmica capaz de exibir imagens fixas e/ou vídeo. Em tais modalidades, o aparelho 40 pode ser ativado para melhorar imagens legadas e/ou imagens de vídeo tendo gamas dinâmicas mais baixas do que uma gama dinâmica que o sistema de exibição é capaz de reproduzir.
Figura 3 ilustra o aparelho 50 de acordo com uma outra modalidade da invenção. O aparelho 50 tem uma interface de usuário 52 que permite a um usuário controlar os valores de parâmetros 31 em um armazenamento de dados 54. Os parâmetros 31 controlam a operação de um sistema de expansão de gama dinâmica 56 que processa dados de imagem originais 23 para obter dados de imagem melhorados 33 como aqui descrito. Dados de imagem melhorados 33 são exibidos em um mostrador 60 controlado por um mecanismo de mostrador de alta gama dinâmica 58. Na modalidade ilustrada, um usuário pode ver o efeito de um particular conjunto de parâmetros 31 na imagem exibida no mostrador 60 e então alterar os valores de um ou mais parâmetros 31 por meio da interface de usuário 52 para alcançar uma aparência desejada da imagem. O usuário pode então salvar os dados de imagem melhorados 33 para posterior exibição no mostrador 60 ou em outros mostradores de alta gama dinâmica.
Certas implementações da invenção compreendem
processadores de computador que executam instruções de software que forçam os processadores a efetuar um método da invenção. Por exemplo, um ou mais processadores em um sistema de exibição de imagem ou de processamento de imagem pode implementar os métodos da Figura 1 executando as instruções de software em uma memória de programa acessível aos processadores. A invenção também pode ser fornecida na forma de um produto de programa. O produto de programa pode compreender qualquer meio que carregue um conjunto de sinais legíveis de computador compreendendo instruções que, quando executados por um processador de dados, força o processador de dados a executar um método da invenção. Os produtos de programa de acordo com a invenção podem ser em qualquer de uma ampla variedade formas. O produto de programa pode compreender, por exemplo, mídia física tal como mídia de armazenamento de dados magnéticos incluindo disquetes flexíveis, discos rígidos, mídia de armazenamento de dados óptica incluindo CD ROMs, DVDs, mídia de armazenamento de dados eletrônicos incluindo ROMs, RAM temporária, ou o similar. Os sinais legíveis de computador no produto de programa pode opcionalmente ser comprimido ou criptografado.
Onde um componente (e. g. um módulo de software, processador, montagem, dispositivo, circuito, etc.) é referido acima, ao menos que ao contrário indicado, referência àquele componente (incluindo uma referência a um "meios") deve ser interpretado como incluindo como equivalente daquele componente qualquer componente que efetua a função do componente descrito (i. e., isto é funcionalmente equivalente), incluindo componentes que não são estruturalmente equivalente para a estrutura divulgada que efetua a função nas modalidades da invenção exemplares.
Enquanto um número de aspectos e modalidades exemplares foi discutido acima, aqueles com qualificação na técnica vão reconhecer certas modificações, permutações, adições e combinações secundárias deles. Por exemplo:
• Aplicação da invenção não é limitado a qualquer particular formato para representar dados de imagem ou para qualquer particular espaço de cor. Embora os valores de luminância sejam processados, não é necessário que os dados de imagem originais 23 ou os dados de imagem melhorados 33 estejam em um LUV ou outro formato no qual os valores de luminância são explicitamente representados. A invenção pode ser praticada com outros formatos de imagem que contém informação a partir dos valores de luminância pode ser derivada. Por exemplo, onde os dados de imagem são representados em um formato de RGB, os valores de luminância podem ser derivados através da aplicação da equação (2) ou outra relação adequada que produz um valor relacionado à luminância a partir dos valores para cores individuais na imagem.
Por conseguinte, é pretendido que as seguintes reivindicações anexas e reivindicações daqui em diante introduzidas são interpretadas para incluir todas tais modificações, permutações, adições e combinações secundárias conforme esteja dentro de seu verdadeiro espírito e escopo.

Claims (26)

1. Método para aumentar a gama dinâmica dos dados de imagem originais representando uma imagem, caracterizado pelo fato de compreender: em qualquer ordem: - aplicar uma função de expansão para gerar, a partir dos dados de imagem originais, dados expandidos tendo uma gama dinâmica maior do que aquela dos dados de imagem originais; e, - obter um mapa de expansão compreendendo dados indicativos de um grau de luminância das regiões associadas aos pixéis na imagem; e, combinar os dados de imagem originais e os dados expandidos de acordo com o mapa de expansão para produzir dados de imagem melhorados.
2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que obter o mapa de expansão compreende efetuar um algoritmo de corte mediano nos dados representando a imagem.
3. Método de acordo com a reivindicação 2, caracterizado pelo fato de que os dados representando a imagem compreendem os dados da imagem originais.
4. Método de acordo com a reivindicação 2, caracterizado pelo fato de que os dados representando a imagem compreendem os dados expandidos.
5. Método de acordo com qualquer uma das reivindicações 2 a4, caracterizado pelo fato de que obter o mapa de expansão compreende estimar uma densidade de fontes de luz identificada pelo algoritmo de corte mediano nas regiões associadas aos pixéis.
6. Método de acordo com a reivindicação 5, caracterizado pelo fato de que as regiões associadas aos pixéis compreendem regiões circulares centradas nos pixéis.
7. Método de acordo com a reivindicação 6, caracterizado pelo fato de que as regiões circulares têm raios no intervalo de 10 a 20 pixéis.
8. Método de acordo com qualquer uma das reivindicações 5 a7, caracterizado pelo fato de que estimar a densidade compreende ponderar as fontes de luz de acordo com uma função de retificação.
9. Método de acordo com a reivindicação 8, caracterizado pelo fato de que a função de retificação compreende computar uma exponencial de um valor negativo que é uma função de uma distância da fonte de luz do pixel.
10. Método de acordo com qualquer uma das reivindicações 5 a 7, caracterizado pelo fato de que estimar a densidade para um pixel compreende ponderar as fontes de luz de acordo com sua distância do pixel com fontes de luz mais perto do pixel ponderado mais pesadamente do que as fontes de luz mais longe do pixel.
11. Método de acordo com qualquer uma das reivindicações 2 a 7, caracterizado pelo fato de compreender efetuar o algoritmo de corte mediano para obter pelo menos, 2n"esima fontes de luz, em que η é pelo menos, 9.
12. Método de acordo com a reivindicação 11, caracterizado pelo fato de compreender estabelecer um valor do pixel no mapa de expansão para um valor predeterminado se não há, pelo menos, um número limite de fontes de luz na região associada ao pixel.
13. Método de acordo com a reivindicação 12, caracterizado pelo fato de que o limite é pelo menos 4.
14. Método de acordo com a reivindicação 13, caracterizado pelo fato de que o limite está no intervalo de 4 a 6.
15. Método de acordo com qualquer uma das reivindicações 1 a 14, caracterizado pelo fato de que aplicar a função de expansão compreende aplicar um operador de mapeamento de tom inverso.
16. Método de acordo com qualquer uma das reivindicações 1 a 14, caracterizado pelo fato de que aplicar a função de expansão compreende escalonar linearmente os valores de luminosidade do pixel dos dados de imagem originais.
17. Método de acordo com qualquer uma das reivindicações 1 a 14, caracterizado pelo fato de que aplicar a função de expansão compreende escalonar não linearmente os valores de luminosidade do pixel dos dados de imagem originais.
18. Método de acordo com qualquer uma das reivindicações 1 a 14, caracterizado pelo fato de que aplicar a função de expansão compreende resolver para Lw na equação quadrática: <formula>formula see original document page 19</formula> ou um equivalente matemático dela, onde a, Lbranco e Lw são parâmetros e Ld é um valor de luminância correspondendo a um pixel nos dados de imagem originais.
19. Método de acordo com a reivindicação 18, caracterizado pelo fato de compreender estabelecer Lw igual a uma luminância média geométrica dos dados de imagem originais.
20. Método de acordo com a reivindicação 18 ou 19, caracterizado pelo fato de compreender estabelecer Lw e Lbranco para ter valores que são da mesma ordem de magnitude.
21. Método de acordo com qualquer uma das reivindicações 1 a 20, caracterizado pelo fato de que combinar os dados de imagem originais e os dados expandidos compreende computar médias ponderadas dos valores de luminância de pixel dos dados de imagem originais e dos dados expandidos com valores de ponderação determinados a partir do mapa de expansão.
22. Método de acordo com qualquer uma das reivindicações 1 a 20, caracterizado pelo fato de que combinar os dados de imagem originais e os dados expandidos compreende interpolar os valores de luminância de pixel dos dados de imagem originais e dos dados expandidos com valores de ponderação determinados a partir do mapa de expansão.
23. Aparelho para expandir a gama dinâmica de dados de imagem originais, caracterizado pelo fato de compreender: - um expansor de gama dinâmica conectado para receber dados de imagem originais e dados de saída expandidos tendo uma gama dinâmica maior do que aquela dos dados de imagem originais; - um analisador de distribuição de luminância configurado para gerar um mapa de expansão indicativo da luminância de regiões associadas com pixéis na imagem dos dados de imagem originais; - um combinadores de imagem configurado para combinar os dados de imagem originais com os dados expandidos a partir de um expansor de gama dinâmica de acordo com o mapa de expansão para produzir os dados de imagem melhorados.
24. Aparelho de acordo com a reivindicação 23, caracterizado pelo fato de que o analisador de distribuição de luminância é configurado para efetuar um algoritmo de corte mediano.
25. Aparelho de acordo com a reivindicação 24, caracterizado pelo fato de que o analisador de distribuição de luminância é configurado para gerar pelo menos, 512 fontes de luz aplicando o algoritmo de corte mediano.
26. Método para melhorar a gama dinâmica dos dados de imagem originais, caracterizado pelo fato de compreender processar os valores de luminância para pixéis dos dados de imagem originais de acordo com o operador de mapeamento de tom inverso dado por: <formula>formula see original document page 20</formula> ou um equivalente matemático do mesmo, onde a, Lbranco e Lw são parâmetros e Ld é um valor de luminância correspondendo a um pixel nos dados de imagem originais.
BRPI0719548A 2006-11-27 2007-11-27 método, executado por um ou mais processadores, para aumentar a gama dinâmica dos dados de imagem originais, e, aparelho para expandir a gama dinâmica de dados de imagem originais BRPI0719548B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US86732506P 2006-11-27 2006-11-27
US60/867325 2006-11-27
PCT/US2007/024498 WO2008066840A2 (en) 2006-11-27 2007-11-27 Apparatus and methods for boosting dynamic range in digital images

Publications (2)

Publication Number Publication Date
BRPI0719548A2 true BRPI0719548A2 (pt) 2014-01-21
BRPI0719548B1 BRPI0719548B1 (pt) 2020-02-04

Family

ID=39468493

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0719548A BRPI0719548B1 (pt) 2006-11-27 2007-11-27 método, executado por um ou mais processadores, para aumentar a gama dinâmica dos dados de imagem originais, e, aparelho para expandir a gama dinâmica de dados de imagem originais

Country Status (15)

Country Link
US (1) US8289412B2 (pt)
EP (1) EP2098060B1 (pt)
JP (1) JP5411706B2 (pt)
KR (1) KR101466596B1 (pt)
CN (1) CN101595719B (pt)
AU (1) AU2007325737B2 (pt)
BR (1) BRPI0719548B1 (pt)
CA (1) CA2669028C (pt)
IL (1) IL198599A (pt)
MX (1) MX2009005564A (pt)
MY (1) MY147417A (pt)
NO (1) NO338509B1 (pt)
RU (1) RU2444786C2 (pt)
UA (1) UA99449C2 (pt)
WO (1) WO2008066840A2 (pt)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467735B2 (en) 2015-08-25 2019-11-05 Interdigital Vc Holdings, Inc. Inverse tone mapping based on luminance zones

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH069075B2 (ja) 1985-09-10 1994-02-02 オムロン株式会社 多車線対応形車両感知器
DE602007009730D1 (de) * 2007-06-29 2010-11-18 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert-verfeinerungsskalierbarkeit unterstützt
DK2835976T3 (en) * 2008-04-16 2016-12-05 Ge Video Compression Llc Bit depth scalability
CN101578855B (zh) * 2008-08-28 2015-07-29 香港应用科技研究院有限公司 数字图像增强
JP2010271480A (ja) * 2009-05-20 2010-12-02 Sharp Corp 表示装置
WO2011042229A1 (en) * 2009-10-08 2011-04-14 International Business Machines Corporation Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image
WO2012012446A2 (en) 2010-07-22 2012-01-26 Dolby Laboratories Licensing Corporation System, apparatus and methods for mapping between video ranges of image data and display
TWI463862B (zh) * 2010-12-31 2014-12-01 Wt Microelectronics Co Ltd 寬動態範圍影像處理裝置及寬動態範圍影像處理方法
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
HUE046186T2 (hu) 2011-04-14 2020-02-28 Dolby Laboratories Licensing Corp Több színcsatornás több regressziós prediktor
JP5877693B2 (ja) * 2011-11-18 2016-03-08 株式会社キーエンス 画像処理センサ、画像処理方法及びコンピュータプログラム
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
US9819974B2 (en) 2012-02-29 2017-11-14 Dolby Laboratories Licensing Corporation Image metadata creation for improved image processing and content delivery
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
CN104541301B (zh) * 2012-03-26 2017-11-03 皇家飞利浦有限公司 用于hdr图像编码和解码的基于视亮度区域的装置和方法
CN103024328B (zh) * 2012-12-28 2015-11-25 北京汉邦高科数字技术股份有限公司 一种提高数字视频录像机抓图质量的方法
US9432589B2 (en) 2013-08-15 2016-08-30 Omnivision Technologies, Inc. Systems and methods for generating high dynamic range images
EP2869260A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating from a quantised image having a first bit depth a corresponding image having a second bit depth
US9607364B2 (en) 2013-11-22 2017-03-28 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
CN105850114B (zh) * 2013-12-27 2019-05-21 汤姆逊许可公司 用于图像的逆色调映射的方法
RU2669431C2 (ru) 2014-05-15 2018-10-12 Сони Корпорейшн Устройство связи, способ связи и компьютерная программа
RU2578799C1 (ru) * 2015-03-13 2016-03-27 Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук Способ получения изображений с увеличенным динамическим диапазоном
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
US11100888B2 (en) 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
EP3503019A1 (en) * 2017-12-21 2019-06-26 Thomson Licensing Improved inverse tone mapping method and corresponding device
CN113518185B (zh) * 2020-12-30 2022-08-05 腾讯科技(深圳)有限公司 视频转换处理方法、装置、计算机可读介质及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005419A (en) * 1988-06-16 1991-04-09 General Electric Company Method and apparatus for coherent imaging system
JP3068628B2 (ja) * 1990-03-22 2000-07-24 キヤノン株式会社 画像処理装置およびその方法
JPH05316446A (ja) * 1992-05-08 1993-11-26 Matsushita Electric Ind Co Ltd 階調補正装置
JP3452212B2 (ja) * 1994-07-07 2003-09-29 富士ゼロックス株式会社 減色処理を行なうカラー画像処理装置
US5761070A (en) * 1995-11-02 1998-06-02 Virginia Tech Intellectual Properties, Inc. Automatic color and grain sorting of materials
US5822452A (en) * 1996-04-30 1998-10-13 3Dfx Interactive, Inc. System and method for narrow channel compression
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JPH1042182A (ja) * 1996-07-26 1998-02-13 Canon Inc 撮像装置
KR100200363B1 (ko) * 1996-10-10 1999-06-15 윤종용 영상의 다이나믹 레인지 확대 장치
US5978518A (en) * 1997-02-25 1999-11-02 Eastman Kodak Company Image enhancement in digital image processing
JPH1132201A (ja) * 1997-07-09 1999-02-02 Matsushita Electric Ind Co Ltd 画像処理装置
EP0933924B1 (en) * 1998-01-28 2004-03-24 Konica Corporation Image processing apparatus
JP3484982B2 (ja) * 1998-07-17 2004-01-06 富士通株式会社 物体別ダイナミックレンジ拡張表示方式
JP4127603B2 (ja) * 2001-03-29 2008-07-30 株式会社リコー 画像読み取り装置、画像形成装置及び読み取り画像データ処理方法
GB0110748D0 (en) * 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
EP1393296A4 (en) * 2001-06-08 2008-09-03 Univ Southern California PICTURE EDITING WITH BIG DYNAMIC CIRCUMFERENCE
US7068841B2 (en) * 2001-06-29 2006-06-27 Hewlett-Packard Development Company, L.P. Automatic digital image enhancement
JP2004056573A (ja) * 2002-07-22 2004-02-19 Sony Corp 映像信号処理方法、処理回路、及び撮像装置の駆動方法
JP2004140692A (ja) * 2002-10-18 2004-05-13 Matsushita Electric Ind Co Ltd 画像補正装置および画像補正方法
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
JP3950842B2 (ja) * 2003-11-18 2007-08-01 キヤノン株式会社 画像処理方法及び装置
CN1696975A (zh) * 2004-05-14 2005-11-16 蒲恬 一种数字图像增强方法
JP2006173671A (ja) * 2004-12-10 2006-06-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467735B2 (en) 2015-08-25 2019-11-05 Interdigital Vc Holdings, Inc. Inverse tone mapping based on luminance zones

Also Published As

Publication number Publication date
CN101595719B (zh) 2012-06-13
HK1135543A1 (en) 2010-06-04
BRPI0719548B1 (pt) 2020-02-04
CA2669028A1 (en) 2008-06-05
WO2008066840A2 (en) 2008-06-05
AU2007325737B2 (en) 2011-02-10
EP2098060B1 (en) 2012-10-24
AU2007325737A1 (en) 2008-06-05
US8289412B2 (en) 2012-10-16
WO2008066840A3 (en) 2009-04-16
EP2098060A2 (en) 2009-09-09
MX2009005564A (es) 2009-08-13
EP2098060A4 (en) 2011-09-28
MY147417A (en) 2012-12-14
US20100208143A1 (en) 2010-08-19
JP2010511326A (ja) 2010-04-08
JP5411706B2 (ja) 2014-02-12
NO338509B1 (no) 2016-08-29
CA2669028C (en) 2016-01-12
RU2444786C2 (ru) 2012-03-10
NO20092391L (no) 2009-06-23
IL198599A0 (en) 2010-02-17
RU2009123903A (ru) 2011-01-10
CN101595719A (zh) 2009-12-02
UA99449C2 (ru) 2012-08-27
KR101466596B1 (ko) 2014-11-28
KR20090091207A (ko) 2009-08-26
IL198599A (en) 2015-01-29

Similar Documents

Publication Publication Date Title
BRPI0719548A2 (pt) Método para aumentar, aparelho para expandir e método para melhorar a gama dinâmica dos dados de imagem originais.
US9466098B2 (en) Local definition of global image transformations
US20190005630A1 (en) High Dynamic Range Image Processing Method and Apparatus
US20090003723A1 (en) Method for Noise-Robust Color Changes in Digital Images
US8587606B2 (en) Apparatus and method for processing image, and apparatus for displaying image
Boschetti et al. High dynamic range image tone mapping based on local histogram equalization
KR20240063943A (ko) 톤 매핑 방법, 디바이스 및 시스템
JP7592932B1 (ja) オブジェクト分離を用いた逐次反復的なグラフ・ベースの画像向上
KR102951862B1 (ko) 자동화된 디지털 세포학을 위한 다중 채널 확장 피사계 심도 방법
CN1647505A (zh) 测量锐度增强函数的客观质量的成本函数
Banterle et al. Mixing tone mapping operators on the GPU by differential zone mapping based on psychophysical experiments
Slomp et al. Fast Local Tone Mapping, Summed-Area Tables and Mesopic Vision Simulation
HK1135543B (en) Apparatus and methods for boosting dynamic range in digital images
RU2595615C1 (ru) Способ улучшения цифровых растровых изображений методом локального выравнивания яркости

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06T Formal requirements before examination [chapter 6.20 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: A CLASSIFICACAO ANTERIOR ERA: H04N 1/56

Ipc: H04N 5/20 (1968.09), G06T 5/50 (1995.01)

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 04/02/2020, OBSERVADAS AS CONDICOES LEGAIS.