BRPI0607206A2 - método e aparelho para criar uma imagem - Google Patents

método e aparelho para criar uma imagem Download PDF

Info

Publication number
BRPI0607206A2
BRPI0607206A2 BRPI0607206-2A BRPI0607206A BRPI0607206A2 BR PI0607206 A2 BRPI0607206 A2 BR PI0607206A2 BR PI0607206 A BRPI0607206 A BR PI0607206A BR PI0607206 A2 BRPI0607206 A2 BR PI0607206A2
Authority
BR
Brazil
Prior art keywords
exposure
exposures
data
luminance
memory
Prior art date
Application number
BRPI0607206-2A
Other languages
English (en)
Inventor
Johan Nilehn
Mats Wernersson
Original Assignee
Sony Ericsson Mobile Comm Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Comm Ab filed Critical Sony Ericsson Mobile Comm Ab
Publication of BRPI0607206A2 publication Critical patent/BRPI0607206A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Light Sources And Details Of Projection-Printing Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Projection-Type Copiers In General (AREA)

Abstract

MéTODO E APARELHO PARA CRIAR UMA IMAGEM. A invenção trata de um processo e aparelho para criar imagens e mais especificamente de um processo para criar uma imagem otimizada por intermédio de várias exposições consecutivas. As exposições são combinadas para criar imagens com propriedades otimizadas, especialmente melhor cor e conteúdo luminoso. Luz suficiente é obtida realizando uma série de primeiras exposições juntamente com uma segunda exposição em rápida sucessão. As primeiras exposições são combinadas para proporcionar suficiente luminância e definição. A segunda exposição é efetuada para acumular informações de cor. As primeiras exposições são combinadas com a segunda exposição para proporcionar uma imagem otimizada.

Description

"MÉTODO E APARELHO PARA CRIAR UMA IMAGEM"
Campo da Invenção
A presente invenção trata de um processo para criar imagens emais especificamente a um processo para gerar uma imagem otimizada porintermédio de várias exposições consecutivas. As exposições são combinadaspara gerar imagens com propriedades otimizadas, especialmente melhor cor eteor luminoso.
A invenção trata também de um aparelho empregando oprocesso.
Estado da Técnica
Atualmente câmeras digitais são amplamente utilizadas evendidas em uma faixa ampla que inclui câmeras avançadas dotadas desensores de imagem de alta definição com mais de 10 Mpixéis e câmeras maissimples, e.g. incorporadas em telefones móveis. Genericamente um problemase apresenta na captação de imagens sob condições de baixa luminosidade. Sea velocidade do obturador é demasiadamente curta, a imagem não obtém luzsuficiente (subexposição). Por outro lado, se a velocidade do obturador édemasiadamente longa, a imagem torna-se insatisfatória devido ao tremor damão que segura a câmera ou da matéria objeto mover-se.
Uma solução comum é usar um flash ou foto flash. Todavia,com freqüência utiliza-se de preferência a luz natural disponível. Também,algumas câmeras menores não são adaptadas para flash ou não dispõem deum flash incorporado. Além disso, um flash onera o custo da câmera.
Sumário da Invenção
Na presente invenção luz suficiente é obtida efetuando umasérie de primeiras exposições juntamente com uma segunda exposição emrápida sucessão. As primeiras exposições são combinadas para proporcionarsuficiente luminância e nitidez. A segunda exposição é efetuada para recolherinformações de cor. As primeiras exposições são combinadas com a segundaexposição para proporcionar uma imagem otimizada.
Sob um primeiro aspecto, a invenção apresenta um processopara gerar uma imagem que compreende as etapas de:
expor um sensor fotossensível a uma série de exposições, dasquais um número N é de primeiras exposições que podem ser exposições maiscurtas e das quais uma é uma segúnda exposição tendo uma exposiçãorelativamente maior, na qual dados de luminância (Y) das N primeirasexposições são usados para criar nitidez na imagem acabada, e dados decrominância (UV) da segunda exposição (UV) são usados para criar conteúdode cor na imagem acabada.
Convenientemente, os dados de luminância (Y) das Nprimeiras exposições são armazenados em uma memória.
Em uma modalidade preferencial, o número N de primeirasexposições é maior que 1 e dados de luminância da primeira exposição maisrecente são adicionados aos dados de luminância (Y) existentes na memória.
De preferência, os dados de luminância (Y) são adicionadoscom uma correção para otimização de definição.
Em uma modalidade preferencial, um vetor deslocado ou off-set é calculado, o vetor de desvio representando a diferença resultante dodeslocamento entre a primeira exposição mais recente e o conteúdo damemória, o vetor deslocado sendo usado durante a adição ao se endereçar àmemória.
De preferência, os dados de luminância (Y) são otimizadospara um grande valor de luminância.
Convenientemente, os dados de luminância (Y) são uma somaponderada dos três canais de cor Vermelho (R), Verde (G)3 e Azul (B).
Os pesos dos três canais de cor Vermelho (R), Verde (G) eAzul (B) podem ser iguais (Y = R + G + B).
Convenientemente, os dados de crominância (UV) e os dadosde luminância (Y) são transmitidos para processamento em um processadorde imagem.
Em uma modalidade preferencial, a segunda exposição éefetuada por último, e os dados de crominância (UV) são lidos do sensor e osdados de luminância (Y) são lidos da memória.
Convenientemente, o número N das primeiras exposições variade 2 a 8 (2 < N < 8);
As primeiras exposições podem ter tempos de exposiçãoindividuais mais curtos que a segunda exposição.
Convenientemente, a soma dos tempos de exposição da Nprimeiras exposições é aproximadamente igual ao tempo de exposição dasegunda exposição.
As primeiras exposições podem ser realizadas com umaabertura menor que a segunda exposição.
Convenientemente, a soma das exposições das N primeirasexposições é aproximadamente igual à segunda exposição.
Sob um segundo aspecto, a invenção apresenta um aparelhopara gerar uma imagem, compreendendo um sistema óptico para expor umsensor fotossensível, dispositivos de memória para armazenar dados deimagem, e um processador suscetível de processar dados de imagem.
De acordo com a invenção, o sistema óptico é disposto paraexpor o sensor fotossensível a uma série de exposições, das quais um númeroN são de primeiras exposições que podem ser sub expostas, e das quais uma éuma segunda exposição tendo uma exposição relativamente maior, e oprocessador é arranjado para usar dados de luminância (Y) das N primeirasexposições para criar definição na imagem acabada, e usar dados decrominância (UV) da segunda exposição para criar conteúdo de cor naimagem acabada.
Convenientemente, o processador é arranjado para armazenardados de luminância (Y) das N primeiras exposições na memória.
Em uma modalidade preferencial, o número N de primeirasexposições é maior que Ieo processador é arranjado para adicionar dados deluminância da primeira exposição mais recente aos dados de luminância (Y)existentes na memória.
De preferência, o processador é arranjado para adicionar osdados de luminância (Y) com uma correção para otimização da definição.
Em uma modalidade preferencial, o processador é arranjadopara calcular um vetor de desvio, o vetor de desvio representando a diferençaresultante do deslocamento entre a primeira exposição mais recente e oconteúdo da memória, e utilizar o vetor de desvio durante a adição ao seendereçar à memória.
De preferência, os dados de luminância (Y) são otimizadospara um grande valor de luminância.
Convenientemente, o processador é arranjado para extrair osdados de luminância (Y) como uma soma ponderada dos três canais de corVermelho (R), Verde (G) e Azul (B).
Os pesos dos três canais de cor Vermelho (R), Verde (G) eAzul (B) podem ser iguais (Y = R+G+B).
Convenientemente, o processador é arranjado para receber osdados de crominância (UV) do sensor (3) e dados de luminância (Y) damemória.
Em uma modalidade preferencial, o sistema óptico é arranjadopara realizar a segunda exposição por último, e o processador é arranjado paraler dados de crominância (UV) do sensor e para ler os dados de crominância(Y) da memória.
Convenientemente, o número N das primeiras exposições variade 2 a 8 (2 < N < 8).
As primeiras exposições podem ter temos de exposiçãoindividuais mais curtos que a segunda exposição.
Convenientemente, a soma dos tempos de exposição das Nprimeiras exposições é aproximadamente igual ao tempo de exposição dasegunda exposição.
As primeiras exposições podem ser efetuadas com uma menorabertura que a segunda exposição.
Convenientemente, a soma das exposições das N primeirasexposições é aproximadamente igual à segunda exposição.
Descrição Sucinta dos Desenhos
A invenção será descrita em detalhe abaixo com referência aosdesenhos apensos, de acordo com os quais:
A fig. 1 é uma vista esquemática da partes destacadas de umacâmera de acordo com a invenção;
A fig. 2 é uma vista esquemática de uma série de exposiçõesefetuadas de acordo com o processo da invenção; e
A fig. 3 é um fluxograma de uma modalidade preferencial doprocesso de acordo com a invenção.
Descrição Detalhada de Modalidades Preferenciais
A invenção refere-se a um processo para criar imagens e a umaparelho utilizando o processo, e.g. uma câmera digital, um telefone móvel,etc. Como mencionado na introdução, a invenção é útil tanto em câmerasavançadas assim como em câmeras simples quando é desejado tirar uma fotosob condições de baixa luz usando a luz disponível. Em alguns casos não édesejado fazer uso de um flash e com câmeras mais simples nem sempre épossível.
A figura 1 ilustra partes relevantes de uma câmera de acordocom a invenção. A câmera compreende um sistema óptico incluindo umalente 1 e um obturador 2. O sistema óptico expõe um sensor fotossensível 3 àluz. Uma unidade de controle compreendendo um processador 4 controla asoperações da lente 1 e do obturador 2. O obturador 2 pode ser um obturadormecânico ou o sensor 3 pode ser controlado eletronicamente para obter umtempo de exposição desejado. O processador 4 se comunica com o sensor 3 ecom uma memória 5, na qual dados de imagem podem ser armazenados erecuperados. O processador 4 é suscetível de efetuar os cálculos necessáriopara processamento da imagem.
A lente 1, obturador 2 e sensor 3 podem ser de construçãoconvencional. Uma ampla gama de componentes com qualidade eimagem processando dados de imagem de várias maneiras são previamenteconhecidos. Estes componentes não serão descritos em detalhe no presentepedido. A memória 5 pode ser um espaço funcional de uma memóriaincorporada no dispositivo ou pode existir sobre um cartão de memóriaamovível separado, armazenando dados operacionais ou imagenscompletadas. O processador e a memória podem ser integrados na construçãoda câmera ou residirem externamente ou ser compartilhados com outrasfuncionalidades.
Por conveniência, é descrito o princípio operacional genéricode um sensor fotossensível, tal como o sensor 3. O sensor compreende umnumero de elementos de imagem fotossensíveis, assim denominados depixéis, tipicamente entre IelO Mpixéis (milhão de pixéis) distribuídos sobrea área do sensor. Quando luz incide sobre um pixel, o pixel produz umacorrente que é integrada para obter um valor de intensidade luminosa. Paratornar o sensor sensível a cores, cada pixel é munido de um filtro de cor, quervermelho, quer verde, quer azul, em uma configuração em mosaicopredeterminada sobre o sensor. Cada pixel é alocado um valor de cor de trêscomponentes expresso em componentes de R, G ou B, por interpolaçãomatemática e digitalização de seu próprio e de valores de pixel vizinhos. Istoé convencionalmente realizado por um processador de imagem.Convencionalmente o formato de imagem é separado por transformação emuma parte de luminância e uma parte de crominância. A parte de luminânciaY é um valor de intensidade luminosa e corresponde a uma imagem preto ebranco. Y é calculada como uma soma ponderada dos três canais de cor,normalmente como Y = 0,299R + 0,587G + 0,114B. A parte de crominânciaUV consiste de dois componentes, nos quais U = B- YeV = R-Y. UeVtambém podem ser calculados diretamente a partir dos valores RGB.
Os fatores RGB podem ser ajustados para obter um corretoequilíbrio entre as cores, para que o correto equilíbrio de branco seja obtido.
Isto pode depender da luz disponível tal como luz do dia, lâmpadasincandescentes etc. conforme é conhecido da técnica.
De acordo com a presente invenção, uma nova metodologia éusada para obter luz e cor suficientes na imagem acabada. O princípio básicoé ilustrado na figura 2. Inicialmente, uma série de N primeiras exposições étomada em rápida sucessão. As primeiras exposições são quer tomadas comum curto tempo de exposição e/ou com uma pequena abertura. Um curtotempo de exposição reduzirá a falta de nitidez motivada por ações demovimento, ao passo que uma pequena abertura aumentará a profundidade decampo. Cada primeira exposição é nítida (bem definida) e em princípioexposta a menos, porém, todos os pixéis expostos à luz contribuem com umvalor de luminância Y. Os valores de luminância Yj a Yn são combinadospara obter luminância suficiente na imagem. Os valores de luminância depreferência são combinados de tal maneira que o movimento da imagem entreas primeiras exposições é levado em conta e uma correção é efetuada.
Finalmente, o sensor é exposto a uma segunda exposição. A segundaexposição é tomada com um longo tempo de exposição e/ou com uma grandeabertura resultando em uma maior exposição que as primeiras exposições. Aexposição é suficiente para assegurar que o sensor de luz seja exposto à luzbastante para obter informações de cor satisfatórias. A segunda exposiçãopode ser arranjada para ser menos pronunciada que as outras devido à mãotremer (ou à profundidade de campo decrescida). Receberá, todavia, mais luze contém informações de cor mais valiosas não capturadas pelas primeirasexposições na série. Os dados de cor não devem de preferência serdigitalmente acentuados. Se os dados de cor são digitalmente acentuados podehaver muito ruído, especialmente proveniente do azul. As informações deluminância Y e as informações de crominância UV provenientes dasexposições são conjuntamente combinadas para formar a imagem concluída.
Mesmo se a segunda exposição puder ser trêmula devido aomovimento, isto não deteriorará a imagem pronta de uma maneira perceptível.
É fato conhecido de que o olho humano não é sensível à condição embaçadanas informações de cor. A visão humana é predominantemente sensível àparte de luminância Y para perceber detalhes da imagem.
Antes do processo de invenção se iniciar, a câmera é ajustadaconforme é convencional ajustando o foco da lente, selecionar um tempo deexposição total e graduação de abertura (valor de parada F). Vários programasde exposição podem ser disponíveis. O usuário também pode selecionar pordar um zoom de avanço e de recuo Vários programas de exposição podem serdisponíveis. O usuário pode também selecionar por dar ou sair de um zoomcom o sistema óptico. De acordo com uma modalidade preferencial dainvenção, um numero N de primeiras exposições é selecionado para serconsistente com o tempo de exposição total. N pode ser qualquer número(inclusive 1), porém, convenientemente varia de 2 a 8. As primeirasexposições podem ter o mesmo tempo de exposição ou os primeiros temposde exposição podem variar entre as primeiras exposições de acordo com umprograma pré-defmido. O segundo tempo de exposição é também selecionadopara ser consistente com o tempo de exposição total. Em uma modalidadetípica, o total dos primeiros tempos de exposição é aproximadamente igual aosegundo tempo de exposição. Com um numero N = 8 primeirasexposições,uma primeira exposição seria de aproximadamente um oitavo deuma segunda exposição. 0 tempo de exposição total é a soma das primeirasexposições e da segunda exposição.
O processo é descrito passo a passo com referência aofluxograma da figura 3.
101. A primeira exposição inicial é efetuada.
102. Como é delineado acima, valores RGB são calculadospara todos os pixéis. A informação de luminância Yi é extraída dos três canaisde cor RGB. Todos Os cálculos são efetuados pelo processador 4. Comosomente a informação de luminância é de interesse, um correto equilíbrio debranco é desnecessário. Assim, a luminância Y pode ser calculada como Y =R + B + G com um fator de ponderação atribuído a cada componente.Comumente, esta ponderação é otimizada para satisfatória reprodução de cor.
O fator de ponderação pode, todavia, ser otimizado de tal maneira que ruídoseja minimizado no canal Y resultante sem levar em conta as propriedades decor. É também viável o uso de pesos iguais.
103. A informação de luminância Yj é armazenada namemória 5. Observe-se que a Informação de crominância UV não necessita detodo ser calculada e de preferência não é armazenada na memória.
104. A primeira exposição seguinte η é realizada após umcurto intervalo. O intervalo naturalmente deve ser tão pequeno quantopossível para minimizar qualquer movimento entre as exposições.
105. Mais uma vez, a informação de luminância é extraída dosensor para formar Ytu
106. Em uma modalidade preferencial, a informação deluminância Yn não é armazenada individualmente na memória 5. Em vezdisso, a informação de luminância Yn é adicionada à informação deluminância Ymem já existente na memória 5. Desta maneira somente umasérie completa de dados de luminância Y é armazenada na memória 5.Todavia, a imagem capturada sobre o sensor 3 pode ter se deslocado desde aprimeira exposição, quer devido a deslocamento da inteira câmera querdevido a deslocamento do objeto sendo fotografado. Para um cálculo maissimples é presumido que a inteira câmera foi movida e que o movimento éigual sobre todos os pixéis do sensor. Um vetor de desvio OSV é calculadopara levar em conta o movimento. O vetor de desvio representa a diferençaresultante do deslocamento entre a primeira exposição e o conteúdo damemória 5.
107. A informação de luminância Yn é assim adicionada namemória 5 aos dados de Luminância previamente existentes, e o fator off-set
OSV é usado para se endereçar à memória 5 para que todos os valores depixel sejam adicionados nos sítios corretos.
108. O laço 104 a 107 é repetido N vezes, isto é, η vai de 1 aN. Como é mencionado acima, N pode ser fixo ou pode variar de acordo como tempo de exposição desejado. Após N laços, os dados de luminância total Yexistem na memória 5.
109. Após a série de N primeiras exposições, uma segundaexposição é efetuada. Esta deve ser suficiente para obter dados de cor dosensor sem ter de otimizar os dados de cor digitalmente.
110. Os valores de crominância UV são extraídos dos valoresRGB do sensor 1. Isto pode ser feito primeiramente calculando a luminânciaYea seguir a crominância UV ou, em uma alternativa,a crominância UVdiretamente a partir dos valores RGB, tudo com correto equilibro de branco.(O equilíbrio de branco pode ser ajustável como mencionado acima.). Umavez que esta segunda exposição provavelmente é enevoada, os dados deluminância Y desta segunda exposição não são usados e, não necessitam sercalculados, salvo se é prático de um ponto de vista de programação calcularos dados de UV através da luminância Y.
111. Os valores de crominância UV não são armazenadosconjuntamente com os dados de luminância total Y5 ora existentes namemória. Em vez disso, a luminância Yea crominância UV são transmitidasno ar para o processador 4 para processamento de imagem convencional.
Como é convencional, valores de crominância UV são somente alocados acada segundo pixel para economizar espaço de memória e capacidade deprocessador.
Os valores de crominância UV também podem serarmazenados na memória 5 antes de ser transmitidos juntamente com osdados de luminância Y para adicional processamento de imagem. Deve serobservado que alguma área de memória útil pode ser necessária paraarmazenar os dados de luminância Y mais recentes provenientes de umaprimeira exposição de maneira a calcular o fator off-set comparando asinformações com os dados de luminância Y previamente capturadosarmazenados em outra área de memória. Esta área de memória útil édesnecessária após a captura de todas as primeiras exposições. Assim pode serusada para armazenar os valores de crominância final UV.
Em uma alternativa, um vetor de desvio OSV é formadocomparando os dados de luminância Y da segunda exposição com os dados deluminância Ymem contidos na memória 5. Este vetor de desvio OSV é usadoao combinar os dados de crominância UV da segunda exposição com osdados de luminância total Y.
Em outra alternativa, o último vetor de desvio OSV usado aoadicionar os últimos dados de luminância Yn à memória 5 é também usado aocombinar os dados de crominância UV da segunda exposição com os dadosde luminância total Y. Este processo presume que o vetor de desvio porúltimo calculado seja próprio para calcular o vetor de desvio da segundaexposição. Uma vez que a vista é menos sensível à condição embaçada naimagem de crominância, este fator off-set não é crítico.
E desnecessário que a segunda exposição seja efetuada porúltimo, porém pode ser efetuada antes ou intermediariamente as "primeiras"exposições. Todavia, naquele caso os dados de crominância têm de serarmazenados até a última das primeiras exposições ter sido realizada. Istoexige maior espaço de memória.
No processador 4, processamento de imagem convencionalpode ser realizado, tal como subtração de nível em preto, ajuste de gama,ajuste de contraste, correção de erro de pixéis errôneos, 'nitidez digital', ecompressão JPEG. Isto é realizado sobre a imagem terminada gerada porintermédio da presente invenção e não forma parte integrante da presenteinvenção. Assim, não é descrita aqui em detalhe.
Por intermédio da presente invenção e possível criar umaimagem nítida com correta exposição e informação de cor mesmo sobcondições de luz baixa. A invenção habilita a utilização da luz disponíveltornando um flash redundante em muitas situações. Menos ou nenhumaamplificação elétrica das informações de cor se faz necessária, o que resultaem menos ruído da imagem terminada. A invenção habilita a tomada deimagens nítidas a despeito de longos tempos de exposição. O âmbito dainvenção é somente limitado pelas reivindicações apensas.

Claims (30)

1. Método para criar uma imagem, caracterizado pelo fato deque compreende as etapas de:expor um sensor fotossensível (3) a uma série de exposições,um número N das quais é de primeiras exposições que podemter sido subexpostas, e das qual uma é de uma segunda exposição dotada deuma exposição relativamente maior,e os dados de luminância (Y) das N primeiras exposiçõesserem usados para criar nitidez na imagem acabada, e dados de crominância(UV) da segunda exposição ser usados para criar conteúdo de cor na imagemterminada.
2. Método de acordo com a reivindicação 1, caracterizado pelofato dos dados de luminância (Y) das N primeiras exposições seremarmazenados em uma memória (5).
3. Método de acordo com a reivindicação 2, caracterizado pelofato do número N de primeiras exposições ser maior que 1 e dados deluminância da primeira exposição mais recente serem adicionados aos dadosde luminância (Y) existentes na memória.
4. Método de acordo com a reivindicação 3, caracterizado pelofato dos dados de luminância (Y) serem adicionados com uma correção paraotimização da nitidez.
5. Método de acordo com a reivindicação 4, caracterizado pelofato de um vetor de desvio é calculado, o vetor de desvio representando adiferença resultante do movimento entre a primeira exposição mais recente eo conteúdo da memória (5), o vetor de desvio sendo usado durante a adição aose endereçar à memória (5).
6. Método de acordo com qualquer uma das reivindicações 1 a-5, caracterizado pelo fato dos dados de luminância serem otimizados para umgrande valor de luminância.
7. Método de acordo com a reivindicação 6, caracterizado pelofato dos dados de luminância (Y) serem uma soma ponderada dos três canaisde cor Vermelho (R), Verde (G) e Azul (B).
8. Método de acordo com qualquer uma das reivindicações a 1a 5, caracterizado pelo fato dos pesos dos três canais de cor Vermelho (R)3Verde (G) e Azul (B) serem iguais (Y= R + G + B).
9. Método de acordo com qualquer uma das reivindicaçõesprévias, caracterizado pelo fato dos dados de crominância (UV) e dados deluminância (Y) serem transmitidos para processamento em um processador deimagem (4).
10. Método de acordo com a reivindicação 9 conformedependente de qualquer uma das reivindicações 2 a 8, caracterizado pelo fatoda segunda exposição ser realizada por último, e dos dados de crominância(UV) serem lidos do sensor (3) e os dados de luminância (Y) serem lidos damemória (5).
11. Método de acordo com qualquer uma de acordo com areivindicações prévias, caracterizado pelo fato do número N das primeirasexposições variarem de 2 a 8 (2 < N< 8)
12. Método de acordo com qualquer uma das reivindicações 1a 11, caracterizado pelo fato das primeiras exposição ter tempos de exposiçãoindividuais mais curtos que a segunda exposição.
13. Método de acordo com a reivindicação 12, caracterizadopelo fato da soma dos tempos de exposição das N primeiras exposiçõesaproximadamente igualar o temo de exposição da segunda exposição.
14. Método de acordo com qualquer uma das reivindicações 1a 11, caracterizado pelo fato das primeiras exposições serem efetuadas comuma abertura menor que a segunda exposição.
15. Método de acordo com a reivindicação 14, caracterizadopelo fato da soma das exposições das N primeiras exposiçõesaproximadamente igualar a segunda exposição.
16. Aparelho para criar uma imagem compreendendo umsistema óptico (1, 2) para expor um sensor fotossensivel (3), dispositivos dememória (5) para armazenar dados de imagem, e um processador (4) capaz deprocessar dados de imagem, caracterizado pelo fato de: o sistema óptico (1, 2)ser arranjado para expor o sensor fotossensivel (3) por uma série deexposições, das quais um número N é de primeiras exposições que podem serexpostas a menos, e das quais uma é uma segunda exposição tendo umaexposição relativamente maior; e pelo fato do processador (4) ser arranjadopara usar dados de luminância (Y) das N primeiras exposições para criarnitidez na imagem acabada, e para usar dados de crominância (UV) dasegunda exposição para criar conteúdo de cor na imagem acabada.
17. Aparelho de acordo com a reivindicação 16, caracterizadopelo fato do processador (4) ser arranjado para armazenar dados deluminância (Y) das N primeiras exposições na memória (5).
18. Aparelho de acordo com a reivindicação 17, caracterizadopelo fato do número N de primeiras exposições ser maior que 1 e oprocessador (4) ser arranjado para adicionar dados de luminância da primeiraexposição mais recente aos dados de luminância (Y) existentes na memória(5).
19. Aparelho de acordo com a reivindicação 18, caracterizadopelo fato do processador (4) ser arranjado para adicionar os dados deluminância (Y) com uma correção para otimização da definição.
20. Aparelho de acordo com a reivindicação 19, caracterizadopelo fato do processador (4) ser arranjado para calcular um vetor de desvio, ovetor de desvio representando a diferença resultante do deslocamento entre aprimeira exposição mais recente e o conteúdo da memória (5), e utilizar ovetor de desvio durante a adição ao se endereçar à memória (5).
21. Aparelho de acordo com qualquer uma das reivindicações-16 a 20, caracterizado pelo fato dos dados de luminância (Y) seremotimizados para um grande valor de luminância.
22. Aparelho de acordo com a reivindicação 21, caracterizadopelo fato do processador (4) ser arranjado para extrair os dados de luminância(Y) como uma soma ponderada dos três canais de cor Vermelho (R), Verde(G) e Azul (B).
23. Aparelho de acordo com qualquer uma das reivindicações-16 a 20, caracterizado pelo fato dos pesos dos três canais de cor Vermelho(R), Verde (G) e Azul (B) serem iguais (Y = R + G + B).
24. Aparelho de acordo com qualquer uma das reivindicações-16 a 23, caracterizado pelo fato do processador (4) ser arranjado para receberos dados de crominância (UV) do sensor (3) e os dados de luminância (Y) damemória (5).
25. Aparelho de acordo com a reivindicação 24, conformesubordinado a qualquer uma das reivindicações 17 a 23, caracterizado pelofato do sistema óptico (1,2) ser arranjado para efetuar a segunda exposiçãopor último, e o processador (4) ser arranjado para ler os dados de crominância(UV) do sensor (3) e para ler os dados de luminância (Y) da memória (5).
26. Aparelho de acordo com qualquer uma das reivindicações-16 a 25, caracterizado pelo fato do número N das primeiras exposições variarde 2 a 8 (2 < N < 8).
27. Aparelho de acordo com qualquer uma das reivindicações-16 a 26, caracterizado pelo fato das primeiras exposições serem estabelecidaspara ter tempos de exposição individuais mais curtos que a segundaexposição.
28. Aparelho de acordo com a reivindicação 27, caracterizadopelo fato da soma dos tempos de exposição das N primeiras exposiçõesaproximadamente igualar o tempo de exposição da segunda exposição.
29. Aparelho de acordo com qualquer uma das reivindicações-16a 26, caracterizado pelo fato das primeiras exposições serem estabelecidaspara ser efetuadas com uma menor abertura que a segunda exposição.
30. Aparelho de acordo com a reivindicação 29, caracterizadopelo fato da soma das exposições das N primeiras exposiçõesaproximadamente igualar a segunda exposição.
BRPI0607206-2A 2005-02-03 2006-01-31 método e aparelho para criar uma imagem BRPI0607206A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP05100748.2 2005-02-03
EP05100748A EP1689164B1 (en) 2005-02-03 2005-02-03 Method and device for creating enhanced picture by means of several consecutive exposures
US65359005P 2005-02-16 2005-02-16
US60/653,590 2005-02-16
PCT/EP2006/050559 WO2006082186A1 (en) 2005-02-03 2006-01-31 Method and device for creating high dynamic range pictures from multiple exposures

Publications (1)

Publication Number Publication Date
BRPI0607206A2 true BRPI0607206A2 (pt) 2010-11-03

Family

ID=34938633

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0607206-2A BRPI0607206A2 (pt) 2005-02-03 2006-01-31 método e aparelho para criar uma imagem

Country Status (10)

Country Link
US (1) US7916181B2 (pt)
EP (1) EP1689164B1 (pt)
JP (1) JP2008529435A (pt)
CN (1) CN101116324B (pt)
AT (1) ATE381852T1 (pt)
BR (1) BRPI0607206A2 (pt)
DE (1) DE602005003917T2 (pt)
MX (1) MX2007009328A (pt)
RU (1) RU2397542C2 (pt)
WO (1) WO2006082186A1 (pt)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7978925B1 (en) 2005-04-16 2011-07-12 Apple Inc. Smoothing and/or locking operations in video editing
EP1944732A3 (en) * 2007-01-12 2010-01-27 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
US8896712B2 (en) 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
DE102007045448B4 (de) 2007-09-24 2025-01-30 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
US20090244301A1 (en) * 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture
US8350952B2 (en) 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
JP4748230B2 (ja) * 2009-02-17 2011-08-17 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
CN101873435B (zh) * 2009-04-23 2013-08-14 恩斯迈电子(深圳)有限公司 产生高动态范围图像的方法及其装置
KR101614914B1 (ko) 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US8699821B2 (en) 2010-07-05 2014-04-15 Apple Inc. Aligning images
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
JP5665436B2 (ja) * 2010-09-02 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
KR101746499B1 (ko) 2010-12-23 2017-06-14 한국전자통신연구원 다이내믹 레인지 삼차원 영상 시스템
US8704943B2 (en) 2011-01-21 2014-04-22 Aptina Imaging Corporation Systems for multi-exposure imaging
CN102169575B (zh) * 2011-04-22 2012-12-05 艾民 一种非基色单色光图像数据的处理方法及其处理装置
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2012173571A1 (en) * 2011-06-17 2012-12-20 Nanyang Technological University A method and system for fusing images
JP5784426B2 (ja) * 2011-09-06 2015-09-24 オリンパス株式会社 撮像装置
KR102038533B1 (ko) 2012-06-14 2019-10-31 한국전자통신연구원 레이저 레이더 시스템 및 목표물 영상 획득 방법
WO2014018949A2 (en) * 2012-07-26 2014-01-30 Olive Medical Corporation Wide dynamic range using monochromatic sensor
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
US8994876B2 (en) 2012-12-19 2015-03-31 International Business Machines Corporation Photographic exposure via real time broadcast of lighting parameters
US10222824B2 (en) * 2014-05-12 2019-03-05 Intel Corporation Dual display system
US9646365B1 (en) 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
US9749532B1 (en) 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9787899B1 (en) 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
RU2578799C1 (ru) * 2015-03-13 2016-03-27 Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук Способ получения изображений с увеличенным динамическим диапазоном
CN105657244A (zh) * 2015-11-06 2016-06-08 乐视移动智能信息技术（北京）有限公司 防抖拍照方法、装置及移动终端
CN113205518B (zh) * 2021-07-05 2021-09-07 雅安市人民医院 医疗车图像信息处理方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU781740A1 (ru) 1979-01-12 1980-11-23 Одесское специальное конструкторское бюро полиграфического машиностроения Цифровое устройство дл управлени экспозици ми
JPH04324789A (ja) * 1991-04-24 1992-11-13 Konica Corp 固体撮像装置
JP2970472B2 (ja) * 1995-06-01 1999-11-02 日本電気株式会社 固体撮像装置
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JP2000050160A (ja) * 1998-08-03 2000-02-18 Ricoh Co Ltd 画像合成装置，画像合成方法及び画像合成方法を記憶した記憶媒体
WO2000008586A2 (en) * 1998-08-07 2000-02-17 Korea Institute Of Science And Technology Apparatus and method for detecting a moving object in a sequence of color frame images
JP2002528970A (ja) * 1998-10-19 2002-09-03 ベン−グリオン ユニバーシィティー オブ ザ ネゲブ ダイナミック・レンジを適応的に実時間で拡張する方法を使用する光学撮像装置
JP4284570B2 (ja) * 1999-05-31 2009-06-24 ソニー株式会社 撮像装置及びその方法
US20020135683A1 (en) * 1999-12-20 2002-09-26 Hideo Tamama Digital still camera system and method
JP2002084449A (ja) * 2000-09-08 2002-03-22 Sanyo Electric Co Ltd 固体撮像素子を用いた撮像装置
JP2002232777A (ja) * 2001-02-06 2002-08-16 Olympus Optical Co Ltd 撮像システム
JP2003087647A (ja) * 2001-09-10 2003-03-20 Minolta Co Ltd デジタルスチルカメラ
EP1313066B1 (en) * 2001-11-19 2008-08-27 STMicroelectronics S.r.l. A method for merging digital images to obtain a high dynamic range digital image
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction

Also Published As

Publication number Publication date
EP1689164A1 (en) 2006-08-09
DE602005003917D1 (de) 2008-01-31
ATE381852T1 (de) 2008-01-15
WO2006082186A1 (en) 2006-08-10
DE602005003917T2 (de) 2008-12-04
CN101116324A (zh) 2008-01-30
CN101116324B (zh) 2011-03-09
US20080316354A1 (en) 2008-12-25
JP2008529435A (ja) 2008-07-31
RU2007132891A (ru) 2009-03-10
US7916181B2 (en) 2011-03-29
RU2397542C2 (ru) 2010-08-20
MX2007009328A (es) 2007-09-21
EP1689164B1 (en) 2007-12-19

Similar Documents

Publication Publication Date Title
BRPI0607206A2 (pt) método e aparelho para criar uma imagem
JP4021716B2 (ja) ストロボ調整機能を有するカメラ
CN108156369B (zh) 图像处理方法和装置
JP2005173610A (ja) デジタルカメラおよびその処理方法
KR20080034508A (ko) 적응형 노출 제어
JP2003348438A (ja) 画像撮影方法および装置、画像選択方法および装置並びにプログラム
CN101677368B (zh) 摄影装置及方法
EP3836532A1 (en) Control method and apparatus, electronic device, and computer readable storage medium
JP2003204459A (ja) デジタルカメラ、及び画像再生装置
CN107800971B (zh) 全景拍摄的自动曝光控制处理方法、装置及设备
JP2002354244A (ja) 光バランスの変化を最小としつつディジタル画像を光フォールオフについて補償する方法
CN109831629B (zh) 终端拍照模式的调整方法、装置、终端及存储介质
JP2002258351A (ja) 電子カメラおよび画像処理システム
JP2003299109A (ja) 画像取得方法
JP2002305682A (ja) 電子カメラおよび画像処理システム
Johnston et al. Basic Photographic Concepts
EP1347629A2 (en) Digital camera and image processing apparatus
JP2001211376A (ja) 電子スチルカメラ
JP6721075B2 (ja) 学習方法
JP5120414B2 (ja) 電子カメラおよび画像処理プログラム
JP2005057358A (ja) 電子カメラおよび画像処理プログラム
JP2006191305A (ja) カメラ付き携帯端末装置
JP4539254B2 (ja) 電子カメラおよび画像処理プログラム
JP4938989B2 (ja) 電子カメラ
Freeman The DSLR Field Guide

Legal Events

Date Code Title Description
B06G Technical and formal requirements: other requirements [chapter 6.7 patent gazette]

Free format text: SOLICITA-SE A REGULARIZACAO DA PROCURACAO, UMA VEZ QUE BASEADO NO ARTIGO 216 1O DA LPI, O DOCUMENTO DE PROCURACAO DEVE SER APRESENTADO NO ORIGINAL, TRASLADO OU FOTOCOPIA AUTENTICADA.

B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 8A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2257 DE 08/04/2014.