ES2971863T3 - Atenuación local en visualizadores multi-modulación - Google Patents

Atenuación local en visualizadores multi-modulación Download PDF

Info

Publication number
ES2971863T3
ES2971863T3 ES20198663T ES20198663T ES2971863T3 ES 2971863 T3 ES2971863 T3 ES 2971863T3 ES 20198663 T ES20198663 T ES 20198663T ES 20198663 T ES20198663 T ES 20198663T ES 2971863 T3 ES2971863 T3 ES 2971863T3
Authority
ES
Spain
Prior art keywords
image
psf
light field
halftone
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES20198663T
Other languages
English (en)
Inventor
Jerome D Shields
Martin J Richards
Juan P Pertierra
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Application granted granted Critical
Publication of ES2971863T3 publication Critical patent/ES2971863T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312Driving therefor
    • H04N9/3126Driving therefor for spatial light modulators in series
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B11/00Wrapping, e.g. partially or wholly enclosing, articles or quantities of material, in strips, sheets or blanks, of flexible material
    • B65B11/04Wrapping, e.g. partially or wholly enclosing, articles or quantities of material, in strips, sheets or blanks, of flexible material the articles being rotated
    • B65B11/045Wrapping, e.g. partially or wholly enclosing, articles or quantities of material, in strips, sheets or blanks, of flexible material the articles being rotated by rotating platforms supporting the articles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B11/00Wrapping, e.g. partially or wholly enclosing, articles or quantities of material, in strips, sheets or blanks, of flexible material
    • B65B11/48Enclosing articles, or quantities of material, by folding a wrapper, e.g. a pocketed wrapper, and securing its opposed free margins to enclose contents
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B11/00Wrapping, e.g. partially or wholly enclosing, articles or quantities of material, in strips, sheets or blanks, of flexible material
    • B65B11/58Applying two or more wrappers, e.g. in succession
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B49/00Devices for folding or bending wrappers around contents
    • B65B49/08Reciprocating or oscillating folders
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B51/00Devices for, or methods of, sealing or securing package folds or closures; Devices for gathering or twisting wrappers, or necks of bags
    • B65B51/04Applying separate sealing or securing members, e.g. clips
    • B65B51/06Applying adhesive tape
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B55/00Preserving, protecting or purifying packages or package contents in association with packaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B61/00Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages
    • B65B61/04Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages for severing webs, or for separating joined packages
    • B65B61/06Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages for severing webs, or for separating joined packages by cutting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B61/00Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages
    • B65B61/26Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages for marking or coding completed packages
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/005Projectors using an electronic spatial light modulator but not peculiar thereto
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/13Projectors for producing special effects at the edges of picture, e.g. blurring
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/208Homogenising, shaping of the illumination light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3105Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying all colours simultaneously, e.g. by using two or more electronic spatial light modulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312Driving therefor
    • H04N9/3123Driving therefor using pulse width modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3164Modulator illumination systems using multiple light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B2220/00Specific aspects of the packaging operation
    • B65B2220/16Packaging contents into primary and secondary packaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

Se describen sistemas y técnicas de visualización de proyectores con moduladores múltiples y duales. En una realización, un sistema de visualización de proyector comprende una fuente de luz; un controlador, un primer modulador, que recibe luz de la fuente de luz y genera una imagen de semitonos de dicha imagen de entrada; un sistema óptico de desenfoque que desenfoca dicha imagen de medios tonos con una función de dispersión de puntos (PSF); y un segundo modulador que recibe la imagen de medios tonos borrosa y genera una imagen modulada en ancho de pulso que puede proyectarse para formar la imagen de pantalla deseada. También se describen sistemas y técnicas para formar una imagen binaria de semitonos a partir de la imagen de entrada, corregir la desalineación entre el primer y segundo moduladores y calibrar el sistema de proyector (por ejemplo, con el tiempo) para una mejora continua de la imagen. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Atenuación local en visualizadores multi-modulación
Campo de la técnica
La presente invención se refiere a sistemas de visualización multi-modulación y, en particular, a sistemas y métodos para renderizar datos de imagen y vídeo en sistemas de visualización multi-modulación
Antecedentes
Los sistemas de proyector actualmente presentan una arquitectura con mejoras en el rango dinámico y el uso eficiente de la luz. Los sistemas de visualización de proyector dual y multi-modulador son conocidos en la técnica. Sin embargo, son posibles mejoras adicionales tanto en el renderizado como en el rendimiento de tales sistemas de visualización que se obtienen de un modelado mejorado del procesamiento de la luz en tales sistemas de visualización.
El documento WO 2015/023762 A2, técnica anterior según el art. 54(3) CPE, describe sistemas y técnicas de visualización de proyector dual y multi-modulador. En una realización, un sistema de visualización de proyector comprende una fuente de luz; un controlador; un primer modulador, que recibe luz desde la fuente de luz y que renderiza una imagen de medio tono de dicha imagen de entrada; un sistema óptico de difuminado que difumina dicha imagen de medio tono con una función de dispersión de puntos (PSF); y un segundo modulador que recibe la imagen de medio tono difuminada y que renderiza una imagen modulada por anchura de pulsos que puede proyectarse para formar la imagen de pantalla deseada. También se describen sistemas y técnicas para formar una imagen binaria de medio tono a partir de imagen de entrada, corregir la desalineación entre el primer y el segundo modulador y calibrar el sistema de proyector -p.e. a lo largo del tiempo- para la mejora continua de la imagen.
El documento US2009/225234 A1 describe un sistema de visualización que tiene un primer y segundo moduladores de luz espacial para modular la luz de una fuente luminosa. El primer modulador de luz espacial tiene una pluralidad de elementos que pueden conmutar entre los estados ON y OFF de acuerdo con un patrón que tienen una densidad que varía espacialmente. La óptica de transferencia se difumina y transporta luz modulada por el primer modulador de luz espacial hacia el segundo modulador de luz espacial para obtener un campo de luz en el segundo modulador de luz espacial. El segundo modulador de luz espacial tiene una pluralidad de elementos que pueden conmutar entre los estados ON y OFF para llevar a cabo un fusionado temporal del campo de luz para proporcionar una reconstrucción de la imagen.
El documento EP1443775 A2 describe un método para corregir el color de una imagen proyectada, que incluye proporcionar datos de imagen para una imagen deseada, proyectar la imagen deseada sobre una superficie para producir una imagen reflejada, comparar la imagen reflejada con los datos de imagen para determinar una diferencia observada, y modificar la imagen proyectada para reducir la diferencia observada.
Compendio
La invención está definida por las reivindicaciones adjuntas.
Breve descripción de los dibujos
Se ilustran ejemplos de realización en las figuras con referencias de los dibujos. Se pretende que las realizaciones y figuras descritos en este documento se consideren de manera ilustrativa en lugar de restrictiva.
La Fig. 1 muestra una realización de un sistema y entorno de visualización multi-modulación en el que pueden residir los sistemas, métodos y técnicas de la presente solicitud.
La Fig. 2 muestra una realización de un diagrama de alto nivel del procesamiento óptico/procesamiento de imagen que puede efectuarse mediante el sistema de visualización dual multi-modulador mostrado en la Fig. 1.
La Fig. 3A muestra una realización de un método para producir una imagen de medio tono binaria adecuada.
Las Figs. 3B, 3C y 3D muestran otra realización de un método para producir una imagen de medio tono adecuada. La Fig. 4 muestra una realización de una técnica para generar una imagen de compensación DMD de anchura de pulsos.
La Fig. 5 es una realización de un diagrama de flujo que usa mapas premod-a-principal, modelos de campo de luz y mapas principal-a-premod para producir un campo de luz registrado principal.
La Fig. 6 muestra una matriz de PSFs que pueden ser capturados, modelados y utilizados para calcular un campo de luz coloreado (por ejemplo, rojo, verde o azul).
Las Figs. 7A a 7F muestran un ejemplo de renderizado de una imagen de entrada a través de los varios módulos de procesamiento de la presente solicitud.
Las Figs. 8 y 9 muestran una realización del proceso de renderizado de imagen y un proceso de refinado para una potencial corrección/mejora continua del sistema.
La Fig. 10 muestra un ejemplo de distribución de Función de Dispersión de Puntos (PSF).
Las Figs. 11A-D muestran un ejemplo de imagen que puede ser procesada por una realización de la presente solicitud.
Las Figs. 12A y 12B muestran dos charts de procesamiento de imagen basadas en ejemplos de datos de imagen de entrada.
Descripción detallada
Según se usan en este documento, los términos “controlador”, “sistema”, “interfaz” y similares pretenden hacer referencia a una entidad controlada por ordenador, ya sea hardware, software (por ejemplo, en ejecución), y/o firmware. Por ejemplo, un controlador puede ser un proceso ejecutado en un procesador, un procesador, un objeto, un ejecutable, un programa y/o un ordenador. Un controlador puede comprender un procesador y una memoria de sistema y la memoria puede comprender instrucciones legibles por procesador que, cuando son leídas por el procesador, pueden afectar a uno o más de los métodos y/o técnicas descritos en este documento. Uno o más controladores pueden residir en un proceso y un controlador puede estar localizado en un ordenador/procesador y/o distribuido entre dos o más ordenadores/procesadores. Un controlador también puede hacer referencia a una entidad relacionada con las comunicaciones, ya sea hardware, software (por ejemplo, en ejecución) y/o firmware y puede además comprender suficiente hardware cableado o inalámbrico para afectar a las comunicaciones.
A lo largo de la siguiente descripción, se describen detalles específicos para proporcionar a los expertos en la materia una comprensión más completa. Sin embargo, puede que elementos bien conocidos no se hayan mostrado o descrito con detalle para evitar afectar negativamente a la claridad de la descripción sin necesidad. En consecuencia, la descripción y dibujos deben interpretarse de manera ilustrativa en lugar de restrictiva.
Introducción
En el campo de los proyectores y otros sistemas de visualización, es deseable mejorar tanto el rendimiento del renderizado de la imagen como la eficiencia del sistema. Varias realizaciones de la presente invención describen sistemas, métodos y técnicas para afectar a estas mejoras usando modelado de campo de luz para sistemas de visualización dual o multi-modulación. En una realización, se desarrollan modelos de fuente de luz y se usan para obtener un efecto ventajoso. Pueden evaluarse fotos de cámara de imágenes visualizadas de imágenes de entrada conocidas para mejorar los modelos de luz. En algunas realizaciones, un proceso iterativo puede acumular mejoras. En algunas realizaciones, estas técnicas pueden utilizarse sobre imágenes móviles para hacer ajustes en tiempo real para mejorar el rendimiento del renderizado de las imágenes.
En patentes y solicitudes de patente de cotitularidad se han descrito sistemas de visualización y de proyector con modulación dual, incluyendo:
(1) Patente estadounidense número 8.125.702 de Ward et al., concedida el 28 de febrero de 2012 y titulada “Serial modulation display having binary light modulation stage”.
(2) Solicitud de patente estadounidense 20130148037 de Whitehead et al., publicada el 13 de junio de 2013 y titulada “Projection displays”.
(3) Solicitud de patente estadounidense 20110227900 de Wallener, publicada el 22 de septiembre de 2011 y titulada “Custom PSFs using clustered light sources”.
(4) Solicitud de patente estadounidense 20130106923 de Shields et al., publicada el 2 de mayo de 2013 y titulada “Systems and methods for accurately representing high contrast imagery on high dynamic range display systems”. (5) Solicitud de patentes estadounidense 20110279749 de Erinjippurath et al., publicada el 17 de noviembre de 2011 y titulada “High dynamic range displays using filterless LCD(s) for increasing contrast and resolution”.
(6) Solicitud de patente estadounidense 20120133689 de Kwong, publicada el 31 de mayo de 2012 y titulada “Reflectors with spatially varying reflectance/absorption gradients for color and luminance compensation”.
Ejemplo de arquitectura física
En general, un proyector con un único Dispositivo de Microespejo Digital (DMD, Digital Micromirror Device) puede tender a tener una relación de contraste limitada. Para obtener una mayor relación de contraste, pueden disponerse en serie dos o más DMDs y/u otros reflectores (por ejemplo, MEMS). Como un DMD puede operar como un modulador por división de tiempo o por anchura de pulsos, operar dos o más DMDs y/o reflectores en serie -actuando ambos como moduladores de ancho de pulso- tiende a requerir precisión en la alineación por división de tiempo y en la correspondencia píxel-a-píxel de la secuencia de división de tiempo. Dichos requisitos de alineación y correspondencia pueden ser difíciles en la práctica. Por tanto, en muchas realizaciones de la presente solicitud, los sistemas de proyector y/o visualización pueden emplear diferentes esquemas de modulación dual para afectar al rendimiento deseado.
Como se describirá con mayor detalle en el contexto de un ejemplo de sistema de visualización de proyector, un primer DMD/reflector -denominado “pre-modulador” o “premod modulador”- puede modular espacialmente una fuente luminosa por medio de una imagen de medio tono que puede mantenerse durante un período de tiempo deseado (por ejemplo, un fotograma o una porción del mismo). Esta imagen de medio tono puede ser difuminada para crear un campo visual con un ancho de banda espacialmente reducido que puede aplicarse a un segundo DMD/reflector. El segundo DMD/reflector -denominado modulador principal- puede modular mediante anchura de pulsos el campo de luz difuminada. Esta disposición puede tender a evitar ambos requisitos mencionados anteriormente - por ejemplo, la precisión en la alineación por división de tiempo y/o la correspondencia píxel-a-píxel. En algunas realizaciones, los dos o más DMDs/reflectores pueden presentar alineación de fotograma en el tiempo, y también aproximadamente alineación de fotograma espacial. En algunas realizaciones, el campo de luz difuminada del DMD/reflector premod puede superponerse sustancialmente al DMD/reflector principal. En otras realizaciones, la alineación espacial puede ser conocida y tenida en cuenta - por ejemplo, para ayudar en el rendimiento de renderizado de la imagen.
Aunque la presente solicitud se presenta en el contexto de un sistema de proyección dual multi-modulación, se debe apreciar que las técnicas y métodos de la presente solicitud son aplicables a sistemas de visualización dual multimodulación. Por ejemplo, un sistema de visualización de modulación dual que comprende una luz trasera, un primer modulador (por ejemplo, LCD o similar) y un segundo modulador (por ejemplo, LCD o similar) puede usar componentes ópticos de difuminación adecuados y métodos y técnicas de procesamiento de imágenes para afectar al rendimiento y eficiencias descritos en este documento en el contexto de los sistemas de proyección.
También se debería apreciar que -incluso aunque la Fig. 1 muestra un sistema de visualización de modulador dual o de doble etapa- los métodos y técnicas de la presente solicitud también pueden aplicarse a sistemas de visualización de 3 o más moduladores (multi-modulador). El alcance de la presente solicitud abarca estas varias realizaciones alternativas.
La Fig. 1 es una realización de un sistema 100 de visualización de proyector de modulación dual adecuado para los propósitos de la presente invención. El visualizador 100 comprende una fuente 102 de luz - que puede comprender una fuente de luz (por ejemplo, lámpara o similar) o una pluralidad de fuentes puntuales de luz (por ejemplo, láseres, LEDs o similares). En el contexto de un proyector de películas digitales, la fuente 102 de luz de la Fig. 1 puede comprender una o más fuentes de luz láser (por ejemplo, 102-1, 102-2, 102-3; 102-1', 102-2', 102-3' - donde puede haber una pluralidad de fuentes de luz de color que, cuando se combinan, renderizan una luz blanca - por ejemplo, rojo, verde y azul).
La luz de la fuente 102 puede conducirse hacia la etapa 104 óptica - que puede comprender un combinador 104-1 para combinar la luz de las fuentes de láser RGB y una varilla 104-2 de integración que puede mejorar la uniformidad de la luz. La luz 103 puede a continuación transmitirse a través de un difusor 106 para proporcionar diversidad angular a la luz. El primer modulador/pre-modulador 108 introduce esta luz y -bajo el control del controlador 120- puede proporcionar procesamiento de imágenes pre-modulador, tal como se describe con mayor detalle en este documento.
En una realización (y como se muestra en la Fig. 1), en primer lugar, el pre-modulador 108 puede ser una matriz DMD que - a través de un conjunto de elementos ópticos puede separar canales de color (por ejemplo, 108-1, 108-2 y 108-3 para, por ejemplo, canales rojo, verde y azul). Solo con propósitos ilustrativos, el pre-modulador 108 puede ser un espejo DMD 2K, 1.2'' usando un diseño de prisma estándar. El pre-modulador 108 se controla para visualizar una imagen de medio tono binaria - por ejemplo, cuando los píxeles están completamente ON u OFF (donde la luz en el estado OFF puede volcarse a una luz 105 en estado off). En otros ejemplos, útiles para entender la invención, pueden controlarse adecuadamente Sistemas Mecánicos Micro-Electrónicos (MEMS) analógicos y/u otros reflectores analógicos y/o digitales para redistribuir la luz para formar un tipo de imagen diferente.
Esta imagen 107 de medio tono se transmite a través de una etapa 112 óptica de Función de Dispersión de Puntos (PSF). La etapa óptica PSF puede comprender muchos elementos 110, 114 ópticos diferentes o similares - por ejemplo, lentes, difusores, reflectores o similares. Será suficiente para los propósitos de la presente solicitud que la etapa óptica PSF reciba la imagen de medio tono del pre-modulador 108 y proporcione un desenfocado deseado de la imagen (109) de medio tono al segundo modulador/modulador principal 116. Al igual que con el primer modulador 108, el segundo modulador puede ser una matriz DMD que - a través de un conjunto de elementos ópticos puede procesar canales de color diferentes (por ejemplo, 116-1, 116-2 y 116-3 para, por ejemplo, canales rojo, verde y azul). Solo a modo de ejemplo, el pre-modulador 108 puede ser un espejo DMD 4K de 1.4'' usando un diseño de prisma estándar.
El modulador 116 principal recibe luz 109 y se controla por el controlador 120. El controlador 120 puede utilizar una simulación de campo de luz que estima y/o modela el efecto combinado del procesamiento de medio tono y la PSF para determinar el brillo local en el modulador 116 principal en una base píxel-a-píxel. En otras realizaciones, tales como las que utilizan reflectores MEMS, el controlador 120 puede similarmente modelar la formación de campo de luz. A partir de este modelo, el controlador 120 puede calcular, estimar o de otro modo determinar los valores de píxel para que el modulador 116 principal modifique el campo de luz para producir la imagen final proyectada/renderizada. La luz 113 puede a continuación transmitirse a través de ópticas 118 de proyección para formar una imagen proyectada/renderizada sobre una pantalla de proyector (no mostrada). La luz OFF puede ser volcada a luz 111 en estado off.
En muchas realizaciones, puede producirse una imagen final que es el producto de la imagen de medio tono desenfocada y la imagen de modulador principal. En dicha imagen final, el contraste puede estar en el rango de 15000000:1.
Una realización de procesamiento óptico/procesamiento de imagen
Una vez descrito un ejemplo de sistema de visualización de proyector adecuado para los propósitos de la presente solicitud, ahora se describirán algunos métodos y técnicas para el procesamiento técnico que afectarán a las mejoras en procesamiento de imagen y eficiencias de sistema.
En una realización, el sistema de proyector puede crear una imagen de medio tono binaria que puede ser suavizada mediante componentes ópticos para crear una versión de ancho de banda reducida de la imagen de visualización deseada. La forma del componente óptico PSF puede determinar las propiedades de la función de suavizado. La forma del PSF puede influir en el rendimiento del sistema de visualización y los requisitos computacionales del sistema. En muchas realizaciones, el conformado PSF puede tener uno o más de los siguientes atributos y/o de las siguientes indicaciones:
(1) el PSF puede suavizar el patrón de medio tono más disperso hasta un campo relativamente plano. Esto puede imponer un límite inferior aproximado en el tamaño del PSF.
(2) PSFs más grandes pueden reducir la frecuencia espacial a la que la modulación dual está activa y pueden dar como resultado “halos” más grandes (como se describe con mayor detalle en este documento). Esto puede requerir costes computacionales mayores.
(3) el PSF puede tener ancho de banda limitado y tiempos de subida limitados. Unos tiempos de subida y ancho de banda mayores pueden requerir una mayor precisión de la compensación y limitar las aproximaciones computacionales.
(4) el PSF puede ser compacto y la extensión espacial del PSF puede estar limitada. El PSF puede decaer a cero. Una caída lenta, o “colas” de PSF fuertes, puede limitar el contraste de la imagen y aumentar los requisitos computacionales.
(5) el PSF puede ser sustancialmente radialmente simétrico. Cualquier asimetría puede tenerse en cuenta para los cálculos.
En una realización, el PSF ópticamente difuminado puede asumir sustancialmente la forma de una función gaussiana o un coseno alzado girado, u otra función con pico sustancialmente radialmente simétrico con una extensión espacial limitada o similar. La Fig. 10 muestra un ejemplo (1000) de una distribución PSF - que puede asumir una estructura 1002 de piso similar a una gaussiana que puede decaer gradualmente, como se aprecia en la cola 1004. En muchas realizaciones, el PSF debería asumir una frecuencia espacial limitada, tiempos de subida limitados y/o extensión espacial limitada. Los tiempos de súbita y frecuencia espacial puede estar normalmente correlacionados. Una frecuencia espacial o tiempos de subida excesivos pueden requerir un muestreado más denso y una mayor precisión de modelado, aumentando los requisitos computacionales. Si el PSF varía a lo largo del fotograma de la imagen, puede usarse un conjunto de PSFs, y puede usarse un método de interpolación PSF. PSFs con frecuencias espaciales altas que cambian con la posición PSF pueden requerir un conjunto de modelo más denso para una interpolación adecuada, aumentando los requisitos computacionales y la complejidad de la calibración. Puede no ser deseable tener picos o nervios afilados en el pulso PSF. También puede ser deseable que el PSF decaiga gradualmente en su perímetro en lugar de terminar abruptamente ahí. Una forma suave tendrá unas frecuencias espaciales menores y unos tiempos de subida mayores. La extensión espacial del PSF puede determinar el tamaño de los operadores de computación. PSFs con “colas” de caída amplias pueden incrementar el tamaño del operador y por tanto los requisitos computacionales.
Solo en un ejemplo de realización, el PSF representa la función de difuminado que se aplica a - por ejemplo, un patrón de fusionado 5 x 5. Así, el PSF puede ser lo suficientemente grande como para producir un campo relativamente plano a partir de una imagen de medio tono que comprende una rejilla 5 x 5 de unos, siendo todos los otros píxeles de medio tono cero. Si la función de difuminado tiene una forma sustancialmente gaussiana o similar, entonces su diámetro puede oscilar entre 10 píxeles a 20 píxeles. En este ejemplo, puede especificarse un límite inferior y superior que limita la forma del PSF. El límite inferior puede ser un pulso de coseno alzado y el límite superior puede ser un pulso gaussiano.
Meramente a modo de ejemplo, sea LB el límite inferior y UB el límite superior. Sea “r” la distancia desde el centro del PSF, y N el tamaño del lado del patrón de fusionado, ambos en píxeles. La amplitud de pulso puede entonces ser escalada mediante las constantes K1 y K2 de modo que la energía de cada pulso se normaliza en 1, como sigue:
LB(r) = K1 (1/2 1/2 cos(%r / N)) para r < N
LB(r) = 0 para r > N
UB(r) = K2 exp (-(r/N)A2)
Como puede observarse, el límite inferior decae a cero y el límite superior decae como una gaussiana. La caída es significativa para evitar la acumulación de demasiada luz de las colas PSF. Se apreciará que son posibles muchas otras formas y funciones PSF y que el alcance de la presente solicitud abarca todas las variaciones.
Haciendo referencia a la Fig. 2, la Fig. 2 muestra una realización de un diagrama de flujo 200 de alto nivel para la operación del procesamiento óptico/procesamiento de imagen que puede efectuarse con un sistema de visualización dual multi-modulador, tal como el mostrado en la Fig. 1. Puede introducirse luz 201 uniforme en el sistema de visualización y un primer modulador 202 (por ejemplo, DMD de medio tono u otro modulador) proporciona una imagen de medio tono a la óptica 204 de difuminado. A continuación, la imagen difuminada puede ser recibida por el segundo modulador 206 (por ejemplo, DMD de modulación de pulso u otro modulador) que modula aún más la imagen difuminada para producir la imagen 203 de pantalla. En una realización, el diagrama de flujo 200 sigue un conjunto de instrucciones legibles por procesador que pueden estar almacenadas en una memoria del sistema en un controlador. Un controlador puede recibir datos, producir una imagen de medio tono (por ejemplo, en 202), difumina la imagen de medio tono (por ejemplo, en 204) y modular también la imagen (por ejemplo, en 206) para producir una imagen final.
En el contexto del sistema de visualización de la Fig. 1, las palabras de código para cada dispositivo DMD pueden utilizarse como dos variables disponibles para controlar las imágenes producidas. En una realización, la función de difuminado puede llevarse a cabo por medio de un sistema óptico y puede asumirse que son constantes para todas las imágenes. En varios diseños de sistemas de visualización, el diseño de la función de difuminado y el método de formación y/o codificación de imágenes de medio tono pueden estar relacionados y afectar al rendimiento del visualizador. En uno de tales sistemas de ejemplo, pueden considerarse los siguientes objetivos/suposiciones para determinar una elección adecuada de formación de imágenes y/o codificación de medio tono y función de difuminado:
(1) La relación de contraste del visualizador puede ser mayor que la relación de contraste de cualquier DMD en solitario. Sin embargo, a causa de la función de difuminado y de medio tono, puede no conseguirse todo el contraste del visualizador para componentes espaciales altas de la frecuencia de una imagen. En consecuencia, en las imágenes visualizadas puede haber algo de recorte-claro o recorte-oscuro. Deseablemente puede minimizarse la degradación visual debido a errores de modelado de campo de luz.
(2) Ningún recorte claro: en una realización, el campo de luz difuminado incidente en el modulador principal/DMD puede ser en todas partes mayor que la imagen introducida, la imagen de pantalla deseada. El modulador principal/DMD puede atenuar el campo de luz. En algunas realizaciones, algunas imágenes de píxel que son mayores que el campo de luz difuminado pueden haber sufrido recorte claro. Aunque ningún recorte claro puede ser un objetivo, la imagen de medio tono difuminada puede ser sustancialmente más brillante que la imagen de pantalla deseada casi en todas partes, y puede haber porciones de la imagen de medio tono difuminada que son menos brillantes que la imagen de pantalla deseada y el recorte claro es posible.
(3) Recorte oscuro limitado: En una realización, el campo de luz difuminado puede atenuarse por medio del DMD principal para producir la imagen de pantalla deseada. Como el DMD principal puede tener una relación de contraste limitada, el sistema puede producir solo píxeles de imagen mayores que el campo de luz difuminado dividido por la relación de contraste DMD principal. En algunas realizaciones, píxeles de imagen que son menores que esto pueden sufrir recorte oscuro.
(4) Halo pequeño: Los halos son recortes oscuros alrededor de un objeto claro sobre un fondo oscuro. Dado que un objeto claro pequeño sobre un fondo negro no sufre recorte claro, el campo de luz difuminado en el objeto claro puede ser mayor que el objeto claro. Como el campo de luz puede tener un ancho de banda espacial reducido, puede no ser oscuro muy cerca del objeto claro. El nivel del campo de luz cerca del objeto claro puede ser reducido por el DMD principal lo más posible, aunque todavía puede ser mayor que el nivel de pantalla deseado, provocando recorte oscuro. En algunos casos, el recorte oscuro puede representar niveles elevados por encima del negro real, presentando frecuentemente pérdida de detalle oscuro y pérdida de contraste. Los halos son el artefacto visual principal provocado por el recorte oscuro, aunque el recorte oscuro puede ocurrir en cualquier región local donde el campo de luz difuminado no puede representar un patrón de alta frecuencia y alto contraste. La magnitud espacial de una región local puede venir determinada por el ancho de banda del campo de luz, que puede estar determinado por el tamaño del núcleo de difuminado o PSF.
(5) Contraste local adecuado: El ancho de banda del campo de luz puede estar determinado por el tamaño del PSF de difuminado. Un PSF más pequeño permite un campo de luz de mayor ancho de banda. Pero un PSF más pequeño debe emparejarse con un patrón de medio tono más denso. Un patrón de medio tono más denso puede estar asociado a un tamaño de patrón de fusionado más pequeño; puede tener menos niveles discretos y un primer nivel no cero más alto.
(6) Los objetivos anteriores pueden competir entre ellos. Como tales, son posibles y/o deseables muchas variaciones y/o realizaciones. Esto se describirá con mayor detalle en este documento con relación a relaciones de contraste d Md , el tamaño del PSF y consideraciones de contraste local.
Realizaciones de formación de imágenes de medio tono y modelado de campo de luz
En un visualizador real, el fotograma de campo de luz difuminada creado por el DMD premod puede no estar alineado con el fotograma DMD principal. La imagen de campo de luz puede estar ligeramente rotada, desplazada o escalada para proporcionar un sobre-escaneado en los bordes del fotograma. También puede estar deformada debido a la óptica de difuminación y a otras ópticas. Para tales posibilidades, puede medirse un mapa premod-aprincipal que mapea puntos en el DMD premod con puntos del DMD principal y aplicarse como mapeado - por ejemplo, como una Tabla de Consulta (LUT). En un visualizador real, la alineación premod-a-principal puede desplazarse debido al nivel de la imagen premod promedio. La alineación puede cambiar lentamente en respuesta a un cambio en el nivel de la imagen premod y puede no poder predecirse fácilmente. El DMD principal debería deseablemente compensar el campo de luz difuminado para producir la imagen de pantalla usando un modelo del campo de luz. La precisión del modelo de campo de luz puede depender mucho de la precisión del mapa premod-aprincipal usado para transferir el campo de luz difuminado desde la malla de píxeles premod a la malla de píxeles principal para su compensación. Un mapa poco preciso, sin embargo, puede dar como resultado fuertes artefactos en la imagen de pantalla. El desplazamiento de la alineación premod-a-principal es típicamente una propiedad indeseada del visualizador que influye enormemente en el algoritmo usado para crear la imagen de medio tono.
En una realización, el algoritmo de control usado para formar la imagen de pantalla puede elegir palabras código premod y DMD principal para formar tales imágenes de pantalla deseadas. En esta realización, elegir palabras código DMD premod es parecido a elegir el campo de luz difuminado, y principalmente determina las palabras código DMD principal debido a que éstas deberían deseablemente compensar el campo de luz para producir la imagen de pantalla deseada. El campo de luz difuminado puede ser en todas partes mayor que la imagen de entrada para evitar recorte claro, y -cuando es dividido por la relación de contraste DMD principal- debe ser en todas partes menor que la imagen de entrada para evitar recorte oscuro. Equivalentemente, el campo de luz difuminado debería ser en todas partes mayor que un límite superior limitado por la banda de la imagen de entrada y menor que un límite inferior limitado por la banda multiplicado por la relación de contraste del DMD principal. El requisito de límite de banda es impuesto por la codificación de medio tono y la función de difuminado.
En algunas regiones de la imagen, las características de la imagen pueden ser tales que se satisfacen las condiciones de límite superior y límite inferior. En otras regiones de la imagen, pueden que no se satisfagan ambas. En ambos casos, se presenta una elección del campo de luz. Cuando se pueden satisfacer ambas condiciones, normalmente existe un rango de campos de luz para elegir. Cuando no pueden satisfacerse ambas condiciones, puede elegirse un campo de luz que viola al menos una de las condiciones. En una realización, puede ser preferido normalmente violar el límite inferior, ya que el recorte claro tiende a ser más aparente visualmente que el recorte oscuro, aunque dependiendo de las características de la imagen, puede violarse una o ambas condiciones.
En algunas realizaciones, el campo de forma PSF y el desplazamiento del alineamiento premod-a-principal pueden ambos influir enormemente en la selección del campo de luz. Para una región de la imagen particular, puede existir en el conjunto de campos de luz que satisfacen las condiciones de límite superior e inferior un campo visual que sea sustancialmente constante en la región. También pueden existir campos de luz que varían espacialmente, y algunos más que otros. Un campo de luz que varía puede ser susceptible a errores de modelado causados por un mapa premod-a-principal que no representa de manera precisa la posición del alineamiento o un modelo PSF que puede no representar con precisión la forma PSF. Un campo de luz plano no es relativamente afectado por estos efectos.
En una realización, el algoritmo usado para elegir el campo visual puede estar diseñado para conseguir dos objetivos que compiten entre sí. Un objetivo puede ser evitar errores de imagen debido a recorte claro y oscuro; el otro objetivo puede ser evitar errores de imagen debidos a la descompensación por errores de modelado del campo de luz. Cuando existen campos de luz que no violan las condiciones del límite inferior y superior, el algoritmo puede elegir la que menos varía. Aunque podría elegir un campo de luz que viola las condiciones pero varía mucho menos que esa. Esta elección puede ser mejor debido a que el recorte claro u oscuro resultante es visualmente preferible a errores de imagen que estarían presentes debido a un modelado impreciso del campo visual que varía más.
Para determinar el campo visual, el algoritmo puede proceder de acuerdo con las siguientes reglas:
(1) Para cualquier región de la imagen, ajustar el campo de luz al nivel máximo a no ser que la región de imagen se degrade visualmente en exceso debido a recorte oscuro. Dicha degradación puede determinarse mediante observación, heurísticamente o de cualquier modo adecuado.
(2) Para cualquier región de imagen que requiera un nivel diferente del nivel máximo, ajustar el nivel tan cerca del nivel máximo como sea posible y minimizar la variación del campo de luz tanto como sea posible sin degradar en exceso la región debido a recorte claro o recorte oscuro.
Estas reglas pueden usarse y/o modificarse de acuerdo con las siguientes razones y/o condiciones:
(1) Las regiones de imagen que tienen el campo visual ajustado a un nivel constante no son susceptibles a errores de compensación causados por desalineación premod-a-principal o cambio en forma PSF.
(2) El visualizador puede calibrarse al nivel máximo. Cuando el campo visual se mantiene en este nivel, el mapa premod-a-principal puede representar de manera precisa la alineación y el modelo PSF puede representar de manera precisa la forma PSF. Mantener el campo visual en este nivel tanto como sea posible reduce la desviación de la alineación y el modelo PSF. En regiones de la imagen donde el campo de luz no es constante, pueden limitarse los errores de compensación debido a errores en el modelo del campo de luz. Estos errores tienden a degradar la imagen en exceso.
(3) Muchas regiones de la imagen no tienen un contraste muy alto y pueden conseguirse al máximo nivel con un recorte oscuro insignificante.
(4) Los errores de compensación tienden a ser menos visibles en regiones oscuras. Cuando el campo de luz no puede ajustarse al máximo nivel, la región de la imagen es probablemente muy oscura.
Realizaciones de codificación de DMD de medio tono
En una realización, el DMD pre-modulador/de medio tono puede modular espacialmente el campo de luz uniforme para producir una imagen de medio tono; -- por ejemplo, donde todos los píxeles están ON u OFF durante todo el tiempo de fotograma o una porción del mismo. La imagen de medio tono resultante -adecuadamente difuminadapuede producir niveles de luz suficientes en el DMD principal de modulador/anchura-de-pulso, especialmente si se desea evitar recorte claro. Como el DMD de anchura-de-pulso solo puede reducir los niveles de luz, la imagen de medio tono difuminada debería ser en todas partes mayor que la imagen de pantalla deseada - por ejemplo, la imagen de entrada. En algunas circunstancias, cuando un elemento de la imagen tal como un punto muy claro sobre un fondo negro puede forzar la condición ineludible de elegir entre recorte claro u oscuro, puede permitirse intencionadamente algo de recorte claro y la imagen de medio tono difuminada no sería mayor que la entrada, en particular el punto.
En una realización, para conseguir bajos niveles de luz y para evitar halos, la imagen de medio tono difuminada puede ajustarse de modo que sea ligeramente mayor que la imagen de pantalla deseada. Así, la imagen de medio tono difuminada puede ser sustancialmente un límite superior mínimo limitado por banda sobre la imagen de pantalla deseada - por ejemplo, con el ancho de banda limitado al difuminado óptico. Una realización (como sigue) tiende a producir un límite superior limitado por banda en una imagen. Puede no ser un límite superior mínimo, pero puede tener un funcionamiento similar. Esta relajación puede ser deseable debido a que puede ser más difícil conseguir un verdadero mínimo, aunque posible. En esta realización, puede ser suficiente con preservar sustancialmente la propiedad de “sin recorte claro”.
En esta realización, la imagen de medio tono puede formarse usando un patrón de fusionado espacial. El patrón de fusionado puede definirse en un bloque rectangular de píxeles y puede repetirse a lo largo de todo el fotograma de la imagen mediante un patrón en mosaico. El tamaño del patrón puede estar relacionado con el tamaño de la semilla de difuminado, ya que la semilla suaviza el patrón. El tamaño de la semilla también puede determinar el nivel de luz mínimo no-cero - por ejemplo, un píxel del patrón de fusionado en ON y el resto en OFF puede producir el nivel mínimo.
La Tabla 1 siguiente muestra un ejemplo de patrón 10x10 que muestra los índices de nivel. Para un índice de nivel dado, el píxel numerado y todos los píxeles de menor número están ON mientras que todos los píxeles de mayor número están OFF. Cuando se difumina un patrón de nivel dado, el resultado tiende a no ser plano y el campo modulado puede tener algún mínimo. La Tabla 2 muestra los niveles de luz mínimos normalizados para cada índice de nivel de la Tabla 1 - que muestra el nivel de luz para el índice anterior. Se apreciará que son posibles otros tamaños de patrón y otros patrones de fusionado espacial y que éstos están abarcados por la presente solicitud. T l 1 - E m l r n f n i l
T l 2 - Niv l l z mínim n rm liz r l r n l T l 1
En esta realización, para cualquier píxel de entrada particular, el nivel del correspondiente píxel de la imagen de medio tono difuminada debe ser mayor. Para conseguir el nivel mayor deseado en ese píxel, se evaluarán todos los píxeles cercanos de la imagen de entrada dentro de la extensión espacial de la semilla de difuminado - por ejemplo, todos los píxeles cercanos con un nivel menor que el nivel deseado puede ponerse a ON. Una realización de este método puede verse afectada como sigue:
(1) Para cualquier píxel de entrada particular, elegir un índice de nivel tal que el nivel del campo de luz del fotograma-completo es mayor que el nivel del píxel. Por ejemplo, es posible elegir un índice de nivel -por ejemplo, para todo el fotograma- que crea un patrón de medio tono que, cuando se difumina, excede el nivel del píxel.
(2) Dado este patrón de medio tono de fotograma-completo, todos los píxeles cuyos PSFs no contribuyen luz al píxel particular pueden ponerse a OFF sin afectar al nivel en el píxel particular.
Se debe remarcar que este método puede no producir mosaicos de medio tono con niveles particulares, dando a la imagen de medio tono una apariencia de bloques. En lugar de ello, pueden ponerse a ON y OFF píxeles particulares dependiendo de su índice y su proximidad a los elementos de la imagen. En otras realizaciones, puede ser posible afectar a la difusión del error y/o el ruido azul local - por ejemplo, cuando la malla de medio tono pueda tener umbrales locales por el píxel correspondiente.
Se debería apreciar que, aunque una realización podría estar afectada por un fusionado ordenado, puede estar conectada con una dilatación para conseguir un límite superior. La suavidad puede constituir una preocupación en los niveles más bajos - por ejemplo, tal como solo un píxel encendido para el patrón de fusionado. Puede ser posible aplicar otros métodos, tal como luz azul y/o fusionado-FM, para obtener diferentes efectos de suavizado. Por ejemplo, se puede considerar un objeto brillante pequeño con un brillo menor que completo sobre un fondo negro. En este caso, el halo introducido puede ser más ancho de lo deseado. El área de dilatación puede no estar completamente poblada por unos. Un área más compacta con todo unos puede mostrar menos halo debido a que la anchura del halo del visualizador es mayor que la anchura de resplandor del ojo. Reducir el brillo de los objetos brillantes pequeños puede reducir la anchura del halo, en lugar de simplemente reducir el brillo del halo.
La Fig. 3A muestra una realización de un método para producir una imagen de medio tono binaria adecuada. El módulo 300 de imagen de medio tono puede recibir datos 301 de imagen de entrada y puede dilatar los datos de imagen hasta la extensión de la semilla de difuminado en 302 - para producir x(m, n), la imagen de entrada dilatada. La imagen de medio tono binaria resultante, b(m,n) puede ajustarse a b(m,n) = 1, si x(m,n) > htLevel(m,n) -donde htLevel(m,n) puede estar dada como los valores de la Tabla 2 como el mapa- por ejemplo, en mosaico en todo el fotograma de la imagen. La imagen de medio tono binaria puede devolverse como b(m,n). La realización mostrada en la Fig. 3A puede emplearse si el campo de luz bajo condiciones especializadas y/o simplificadas - por ejemplo, cuando el campo de luz está completamente ON.
En una realización, el operador de dilatación puede utilizarse para conseguir un límite superior cercano al mínimo. Otras realizaciones pueden utilizar filtros no lineales que pueden proporcionar un máximo de elementos bajo la semilla.
Realizaciones que usan límites superior e inferior
En situaciones en las que el campo de luz puede estar en otro estado diferente de completamente ON (por ejemplo, la luz es algún valor en escala de grises menor que completamente ON, por los motivos descritos en este documento), entonces puede ser deseable utilizar límites superior e inferior.
La Fig. 3B muestra un método para determinar una imagen de medio tono binaria de límite superior. La imagen 301 de entrada puede introducirse en el bloque 302 que dilata hasta una extensión de semilla de difuminado. Ese resultado intermedio puede someterse al umbral en 304b - es decir, b(m,n) puede ajustarse a x(m,n), si es mayor que hTLevel(m,n). Este bloque ajustaría la imagen de medio tono binaria de límite superior en 303b.
En una realización, si la imagen de medio tono binaria de límite superior se encuentra por este método, entonces es probable que no haya recorte claro en ningún píxel de la imagen de entrada. Sin embargo, en algunos píxeles puede darse recorte oscuro.
La Fig. 3C muestra un método para determinar una imagen de medio tono binaria de límite inferior. La imagen de medio tono binaria de límite inferior se encuentra de manera similar a la imagen de límite superior. Pueden utilizarse el mismo patrón de fusionado y mapa de umbrales con un desplazamiento de un nivel añadido a cada umbral. En lugar de dilatar la imagen de entrada, puede erosionarse. La erosión es similar a la dilatación, excepto por que la erosión puede producirse alrededor de los píxeles oscuros. Por ejemplo, si el sistema invierte la imagen y luego lleva a cabo dilatación normalmente y luego se re-invierte la imagen resultante, el resultado sería una erosión de la imagen. Para la dilatación, en alguna región cercana a un píxel definido por una forma tal como un disco, es posible ajustar los otros píxeles al nivel de este píxel si es mayor. Para la erosión, es posible hacer lo mismos excepto ajustando los otros píxeles al nivel de este píxel si es menor. La dilatación tiende a ajustar un píxel al máximo en una región local; la erosión tiende a ajustar un píxel al mínimo en una región local. Después de eso, en lugar de encender píxeles de medio tono cuando los píxeles de la imagen dilatada correspondiente son mayores que los umbrales, pueden apagarse si son menores que los umbrales.
En la Fig. 3C, la imagen 301 de entrada se multiplica (en 306) por la relación de contraste del DMD 305 principal para establecer el nivel del campo de luz en el que el DMD principal puede conseguir el límite inferior. La imagen puede erosionarse en 302c y pueden aplicarse umbrales como se muestra en 304c. Este escalado de la imagen de entrada incrementa enormemente los niveles de la imagen y muy frecuentemente en imágenes comunes hace los niveles mayores que el nivel del campo de luz máximo. El campo de luz puede ajustarse al nivel máximo en todos los lugares donde es verdad.
Si se encuentra la imagen de medio tono binaria mediante este método, ningún píxel de la imagen de entrada probablemente sufra recorte oscuro, aunque algunos pueden tener recorte claro.
Combinar límites superior e inferior para formar la imagen de medio tono y el campo de luz
Las imágenes de medio tono binarias de límite inferior y superior se combinan para formar la imagen de medio tono y el campo de luz de acuerdo con las reglas descritas en este documento. Como se muestra en la Fig. 3D, la imagen 303b de límite superior y la imagen 303c de límite inferior pueden combinarse punto a punto según un operador OR (en 302d) de modo que la imagen (303d) de medio tono binaria pueda ser mayor que las imágenes de límite superior y el límite inferior.
Si las imágenes de medio tono binaria de límite superior e inferior se combinan mediante este método, ningún píxel de la imagen de entrada tendrá recorte claro, pero algunos pueden tener recorte oscuro. El nivel del campo de luz difuminada puede ajustarse al nivel mayor permitido por los métodos de límite superior e inferior de modo que no exista recorte claro pero puede existir recorte oscuro debido al ancho de banda espacial limitado del campo de luz. Realizaciones alternativas del método de límite superior/límite inferior
Para realizaciones alternativas, pueden aplicarse numerosas mejoras que pueden mejorar la calidad de la imagen. Por ejemplo, en el método descrito anteriormente, puede crearse una imagen de campo de luz de límite superior estricto. Sin embargo, en algunas regiones de la imagen, puede ser preferido un recorte claro limitado a campo de un menor recorte oscuro para una posible mejora de límite superior. Un ejemplo de característica de imagen es un punto brillante pequeño sobre un fondo muy oscuro de modo que hay un halo visible.
Para algunas mejoras de límite inferior, se debe remarcar que el método descrito anteriormente puede crear una imagen de campo visual de límite inferior estricto. Sin embargo, en la mayoría de las imágenes, no es necesario un límite inferior estricto. Debido a un resplandor de ojo velado, un observador percibirá muchos píxeles de muy bajo nivel como si tuviesen un nivel superior. Frecuentemente, puede percibirse la elevación de algunos píxeles de nivel bajo, aunque ello no degrada apreciablemente la imagen, especialmente píxeles oscuros en áreas claras.
En una región de la imagen, el nivel de píxeles oscuros determina directamente la magnitud del área de la imagen que puede ajustarse al nivel del campo de luz máximo. Visualizar un píxel con un nivel menor que el obtenible solo mediante el DMD principal requiere hacer descender el campo de luz. Puede ser preferido algo de recorte oscuro en lugar de errores en la imagen debido a la alineación premod-a-principal o a un cambio de forma PSF. Intercambiar algo de recorte oscuro a cambio de más área de campo de luz máximo es frecuentemente un intercambio favorable. Otra posible mejora es utilizar una función de resplandor de velado para determinar cuánto puede elevarse el límite inferior de modo que no pueda percibirse el recorte oscuro. Este método tiende a elevar el campo de luz de modo que es máximo para más área de la imagen.
Otra posible mejora es utilizar una “relación de contraste segura” en lugar de un límite inferior estricto. En comparación con el límite inferior estricto, este método tiende a elevar el campo visual de modo que es máximo en más área de la imagen. En lugar de utilizar el límite inferior multiplicado por la relación de contraste DMD principal para determinar el máximo que puede ser el campo visual, se elige que sea suficiente, o “segura”, una relación de contraste para una región local para permitir recorte oscuro suponiendo que no se percibirá visualmente. En lugar del límite inferior multiplicado por el CR principal, el máximo que puede ser el campo de luz es un promedio de una región local multiplicado por la “relación de contraste segura”. El utilizar una “relación de contraste segura” más baja - en lugar de utilizar la relación de contraste DMD principal, puede tender a reducir los errores de imagen de premod a alineación principal o cambio de forma PSF, posiblemente a expensas de un recorte oscuro de alta frecuencia espacial. Además, utilizar un operador de erosión más pequeño puede ser útil para reducir los errores de imagen debido a la alineación premod a principal o cambio de forma PSF.
Modelo de campo de luz y realizaciones de ancho de pulso DMD
El DMD de modulador principal/ancho de pulso modula el campo de luz de imagen de medio tono difuminada para producir una imagen de pantalla deseada. El DMD de ancho de pulso solo puede atenuar la luz - de modo que el campo de luz puede ser un límite superior sobre la imagen de pantalla deseada para evitar el recorte claro. Además, para evitar recorte oscuro, el campo de luz puede ser un límite superior mínimo. El campo de luz de la imagen de medio tono difuminada puede calcularse, estimarse, o de otro modo modelarse usando un modelo del proceso óptico. En una realización, puede suponerse que el proceso óptico es solo el difuminado - por ejemplo, puede ignorarse la alineación de modulador pre-modulador-a-principal. En algunas realizaciones. Este puede ser el error de registro global.
La Fig. 4 muestra una realización de una técnica para generar una imagen de compensación DMD de anchura de pulso. La imagen binaria de medio tono (303, por ejemplo de la Fig. 3) puede introducirse en un modelo 402 de difuminado y puede obtenerse el recíproco en 404. La imagen de compensación DMD de anchura de pulso puede determinarse dividiendo la imagen de entrada por el campo de luz de la imagen de medio tono difuminada modelada - por ejemplo, multiplicando (en 406) la imagen 301 de entrada por el recíproco del campo de luz de imagen de medio tono difuminada.
Realizaciones para acomodar diferentes formas PSF
En el visualizador real, la forma PSF para un píxel premod dado puede depender de su posición en el fotograma premod. La óptica de difuminado puede no difuminar todas las posiciones premod de igual modo. Puede suponerse que el PSF para píxeles en un área local varía poco y puede suponerse que todos los píxeles tienen la misma energía (por ejemplo, dado un campo de luz incidente uniforme en el premod). Sin embargo, en un visualizador real, cada PSF tiende a ser diferente. En una realización, para un fotograma 2K, cada PSF puede modelarse por separado y/o aplicarse a una porción local del área de la imagen - por ejemplo, dando como resultado 2 millones de PSF que pueden capturarse, almacenarse, modelarse y utilizarse computacionalmente. Otras realizaciones pueden proporcionar un modelo simplificado para reducir esta complejidad. Como los PSFs en una región local tienden a ser similares, se usa un único modelo PSF para representar todos los PSFs - por ejemplo, al menos en áreas locales y/o porciones locales del área de la imagen. Así, modelos PSF potencialmente localizados pueden medirse o en cualquier caso modelarse para proporcionar modelos PSF adecuados.
Realizaciones de modelo de campo de luz
El DMD principal compensa el campo de luz difuminado para producir una imagen de pantalla final. En una realización, puede llevarse a cabo una compensación de campo de luz en la malla de píxel d Md principal. Para este proceso de compensación, el campo de luz difuminado puede estar representado en la malla de píxel principal. Sin embargo, el campo de luz se forma difuminando la imagen de medio tono que está en la malla de píxel premod. Además, los moduladores principal y premod pueden no estar alineados. Para llevar a cabo un proceso de compensación adecuado, existen dos posibles realizaciones alternativas entre las que elegir. Una primera realización puede ser modelar el campo visual en la malla premod y luego mapearla en la malla principal. Una segunda realización puede ser modelar el campo de luz en la malla principal mediante el modelado de los PSFs asociados a cada píxel premod en la malla principal. Aunque la presente invención abarca ambas realizaciones alternativas, se describirá ahora la primera realización - es decir, modelar el campo de luz en la malla premod y mapearla con la malla principal. En una realización, puede no ser posible mapear puntos en la malla principal teniendo en cuenta las distorsiones geométricas y/o ópticas.
Esta primera realización pude seleccionarse por los siguientes motivos:
(1) porque el PSF puede mantener sustancialmente su forma en un área local. Por tanto, el campo de luz puede modelarse en el área local en el premod mediante un proceso de convolución estándar en la imagen de medio tono usando un único PSF para todo el área.
(2) Debido a la desalineación premod-a-principal, los PSFs en un área local de la principal pueden tener diferentes fases de muestra y éstas deben ser tenidas en cuenta. En algunas realizaciones, como el premod y principal pueden no estar alineados, puede haber algún desplazamiento de muestra-fase que mueva los modelos PSF inherentemente alineados premod-malla hacia la malla principal.
(3) Si se modela en el principal, incluso aunque la forma PSF no cambie en un área local, puede que sea necesario usar diferentes PSFs cuando se calcula la convolución debido al cambio de fase de muestra.
(4) De manera inherente, los PSFs son referencias premod. Sería necesario modelar y almacenar más PSFs para el principal que para el premod.
(5) El modelado del campo de luz puede tender a ser computacionalmente costoso. Para una implementación práctica, puede tener que submuestrear y aproximar los PSFs. Esto puede ser más simple si se lleva a cabo en la malla premod.
(6) Mapear el campo de luz modelado desde el premod al principal tiene un coste computacional, pero puede ser menor que el coste de modelar el campo de luz en el principal.
(7) Modelar el campo de luz en el premod puede verse afectado por el mapeado del campo de luz modelado desde el premod al principal. Puede ser deseable que este mapeado sea preciso. Para un visualizador particular, la alineación premod-a-principal está fija. Si el mapa tiene errores, pueden ser fijos. Por ejemplo, pueden tenerse en cuenta los errores mediante modificaciones en los PSFs durante el proceso de calibración - por ejemplo, un error de offset en el mapa puede contrarrestarse mediante un offset en el modelo PSF en esta posición de fotograma.
Además, debido a la desalineación premod-a-principal, la imagen de entrada puede mapearse con la malla premod para el proceso de cálculo de la imagen de medio tono. Este proceso puede no requerir tanta precisión como el mapeado del campo de luz con el principal. La Fig. 5 muestra la primera realización anteriormente mencionada. El sistema -bajo dirección del controlador- puede recibir una imagen 301 de entrada. Puede aplicarse un mapeado principal-a-premod 502 antes de calcular la imagen de medio tono en 504. Puede aplicarse un modelo de campo de luz en 506 y luego puede aplicarse un mapa premod-a-principal en 508 para producir un campo 503 de luz registrado principal. En algunas realizaciones, el principal puede tener una resolución (por ejemplo, 4K) y el premod puede tener otra resolución (por ejemplo, 2K); sin embargo, el procesado puede ser capaz de afectar a otros mapeados. Por ejemplo, el procesamiento puede afectar al mapeado 2K/2K - pero el 2K principal puede sufrir conversión ascendente a 4K mediante el sistema de proyector. También son posibles otros mapeados, por supuesto.
Partición de fotograma para cálculo de modelo de campo de luz
Como se ha mencionado anteriormente, como el PSF puede estar sustancialmente sin cambios en un área local, puede usarse el mismo modelo PSF en un área local para calcular el campo de luz. Por tanto, puede particionarse el fotograma de imagen en regiones rectangulares y cada región puede procesarse usando un PSF que mejor representa los PSFs en esa región. Después de modelar cada región, las regiones pueden unirse entre sí para formar el campo de luz de fotograma completo. Si las juntas son visibles, se pueden usar más regiones - o pueden calcularse regiones superpuestas y unirse entre sí. La Fig. 6 muestra una matriz de PSFs que pueden capturarse, modelarse y utilizarse para calcular un campo de luz coloreado (por ejemplo, rojo, verde o azul). El fotograma puede particionarse de modo que los PSFs estén en el centro de cada región.
Patrón de medio tono de reposicionamiento temporal
En una realización, el patrón de fusionado de medio tono puede disponerse en mosaico por todo el fotograma de la imagen. La elección de posición o fase del patrón en el fotograma puede variar en consecuencia. Como la imagen de pantalla puede tener errores debido al modelado del campo de luz u otras causas, el patrón de fusionado puede reposicionarse en cada fotograma - por ejemplo, de modo que se puedan ocultar los errores. Por ejemplo, el patrón de fusionado puede reposicionarse en cada fotograma de acuerdo con los índices de patrón. Como los errores pueden ser periódicos con el tamaño de mosaico de patrón de fusionado, desplazar el patrón de acuerdo con los índices puede afectar a la ocultación satisfactoria de los errores. El patrón de fusionado también puede reposicionarse para ocultar errores de modelado del campo de luz provocados por los patrones de bit de medio tono más dispersos; estos patrones de bit pueden provocar los errores más visibles debido a que, cuando se difuminan, tienden a producir campos de luz que varían más que patrones de bit más densos.
Resumen de ajuste de PSF y calibración de visualizador
En la práctica, un visualizador real puede necesitar tener la forma de su PSF ajustada y puede necesitar ser calibrado. En una realización, el ajuste de PSF puede llevarse a cabo antes de la calibración - por ejemplo, mediante la manipulación de componentes ópticos. Después de un ajuste PSF adecuado, el proceso de calibración puede producirse para cada cana de color para medir y almacenar el mapa premod-a-principal y el conjunto de modelo de PSF. Para la calibración, puede usarse una cámara para tomar fotografías de la pantalla al mismo tiempo que se visualizan imágenes de calibración.
En una realización, para medir el mapa premod-a-principal, pueden tomarse fotografías de dos imágenes de calibración diferentes. La primera imagen de calibración puede ser una imagen de matriz PSF que se forma visualizando una matriz de puntos en el premod con el principal completamente abierto. Las posiciones de píxel del premod de los puntos son conocidas. Esta combinación muestra una imagen de pantalla de una matriz de PSFs, como se muestra en la Fig. 6. La segunda imagen de calibración puede ser una imagen de matriz de puntos que se forma visualizando una matriz de puntos en el principal y todo unos en el premod. Las posiciones de píxel del principal de los puntos son conocidas. Esta combinación muestra una imagen de pantalla de una matriz de puntos. Se pueden tomar fotografías de estas dos imágenes sin mover la cámara. Como las posiciones de píxel del premod y el principal son conocidas, se determinan un mapa cámara-a-premod y cámara-a-principal. Estos dos mapas pueden entonces componerse para formar el mapa premod-a-principal para el canal de color. Si no se desplaza la cámara entre las fotografías adquiridas para cada canal de color, pueden usarse los mapas cámara-a-principal de los diferentes canales de color para alinear los DMDs principales entre sí, alineando los canales de color entre sí. Para encontrar un conjunto de modelo PSF inicial, puede usarse la primera imagen de calibración, como se muestra en la Fig. 6. Puede usarse el mapa cámara-a-premod para mapear los PSFs a la malla de premod, donde se almacenan para formar el conjunto de modelo<p>S<f>. Los modelos están referenciados a la malla premod porque es ahí donde se usan para construir un modelo del campo de luz difuminado. Para construir el campo de luz difuminado, cada PSF del conjunto representa todos los PSFs en la región de procesamiento local. La adquisición de modelos de PSFs de este modo puede fácilmente dar como resultado modelos con errores significativos.
Durante el proceso de calibración, la alineación premod-a-principal y la forma PSF deberían mantenerse preferiblemente constantes. Como el algoritmo intenta mantener la imagen premod al máximo nivel (blanco), se usa una imagen premod blanca para mantener la alineación y el cambio de forma constantes. Antes de comenzar el proceso de calibración, el visualizador está condicionado con la imagen premod blanca. Los patrones de test de puntos pueden no tener premods blancos, de modo que los patrones de puntos solo se visualizan un tiempo suficiente para tomar fotografías y luego la imagen premod blanca se reaplica para mantener condiciones constantes.
Realizaciones de calibración de visualizador adicionales
Como se ha mencionado, la calibración del visualizador puede incluir el proceso de crear un conjunto de modelo PSF. Los PSFs iniciales pueden adquirirse tomando fotografías de PSFs individuales visualizadas en pantalla. Sin embargo, adquirir modelos de PSFs de este modo puede dar como resultado modelos con errores significativos. Como pueden usarse modelos PSF para modelar la incidencia del campo de luz real en el DMD principal, puede ser deseable que representen de manera precisa los PSFs reales. En algunos sistemas de proyector de modulador DMD dual, estos sistemas tienen PSFs relativamente pequeños con pendientes inclinadas, lo que puede requerir de modelos precisos. En una realización, puede ser posible crear un modelo PSF refinado como un proceso para mejorar modelos PSF existentes evaluando los errores producidos cuando los modelos se usan para visualizar imágenes de pantalla.
En una realización, puede capturarse un único PSF mediante la cámara. Esta imagen PSF puede utilizarse como el modelo preliminar del PSF para el píxel de medio tono que la produjo. Como puede no ser una representación perfecta del PSF real, cuando se usa para modelar el campo de luz producido por la imagen de medio tono, el campo de luz puede tener errores.
Para una imagen particular, el campo de luz puede estar formado por la superposición de todos los PSFs producidos por los píxeles de medio tono que están ON. Dichos errores de modelo de PSF pueden producir errores de campo de luz que dependen de la distribución de los píxeles ON en la imagen de medio tono. Algunas imágenes pueden ser más susceptibles a errores PSF que otras. Generalmente, imágenes que producen un campo de luz relativamente plano pueden ser menos susceptibles a errores de modelo PSF, e imágenes que producen un campo de luz variable pueden ser más susceptibles.
Las Figs. 7A a 7F son ejemplos de imágenes para ilustrar refinamientos y modelado PSF. La Fig. 7A muestra un área simple iluminada en una imagen de entrada. La Fig. 7B muestra la imagen de medio tono generada en respuesta a la imagen de entrada de la Fig. 7A, de acuerdo con varias realizaciones descritas en este documento. En este ejemplo, se coloca la imagen de medio tono en una malla 2K de muestra. Se debe remarcar que esta imagen de medio tono es sustancialmente conocida para el sistema de visualización. La Fig. 7C muestra un PSF de píxel único en la malla premod, difuminada por el sistema óptico. La Fig. 7D muestra la imagen de medio tono de la Fig. 7B, difuminada.
La Fig. 7E muestra la imagen de compensación DMD principal. Se debe remarcar que la imagen de entrada estaría representada por la región/punto central brillante - mientras que un halo formaría una región anular que rodea la región/punto central brillante para compensar el campo de luz difuminado. La Fig. 7F muestra la imagen de pantalla resultante después de aplicar la compensación de la Fig. 7E para formar la imagen de pantalla. Se debe remarcar que la imagen de pantalla puede no ser radialmente simétrica, ya que el sistema puede corregir los dos errores tal como se ha mencionado anteriormente en este documento. Idealmente, la imagen de pantalla debería parecer igual que la imagen de entrada, pero muestra un artefacto en la Fig. 7F. En este ejemplo, se asume que la compensación DMD principal es correcta y el artefacto es el resultado de un campo de luz modelado inadecuadamente provocado por un modelo PSF impreciso.
Realización de refinado PSF
Como se ha mencionado, la cámara puede capturar artefactos visibles. Cuando la imagen capturada se registra con el campo de luz premod y la imagen de medio tono, puede usarse para encontrar una corrección del PSF que puede tender a reducir el artefacto. La imagen capturada del artefacto puede también tener errores y no ser una representación perfecta del artefacto real. Usando un PSF mejorado, puede reprocesarse la imagen y la imagen de pantalla debería mostrar un artefacto reducido. Estos pasos se pueden repetir para reducir iterativamente el artefacto hasta que no es visible.
Las Figs. 8 y 9 muestran la realización de un módulo y/o proceso de refinado de modelo PSF. Se puede apreciar que dicho módulo/proceso de refinado de modelo PSF puede utilizarse una vez, múltiples veces - o posiblemente como parte de un proceso de mejora continua que puede mejorar la precisión del renderizado de imágenes deseadas durante el curso de la operación. Cuando el sistema empieza en 802, puede usarse un modelo (813) PSF inicial para visualizar la imagen de pantalla. Siguiendo varias realizaciones descritas en este documento, los datos 801 de imagen de entrada se usan para calcular una imagen 804 de medio tono, lo que da como resultado la imagen 803 de medio tono. Esta imagen de medio tono se usa, conjuntamente con el último modelo 813 PSF - para calcular la imagen 805 de campo de luz. En una realización, dicha imagen de campo de luz puede generarse convolucionando el PSF y la imagen de medio tono. La imagen 805 de campo de luz se usa para calcular la imagen principal (en 808) - para producir la imagen 807 principal. La imagen principal se usa para visualizar una imagen de pantalla (en 810) - para producir una imagen 809 de pantalla.
Una vez la imagen se ha renderizado como imagen de pantalla, se toma una fotografía de cámara en 812 y la imagen de pantalla se registra con la malla de píxel premod (en 812) - para producir una imagen 811 de pantalla registrada. Esta imagen de pantalla registrada se usa para la comparación (en 814) con la imagen de entrada. Un controlador/procesador puede consultar si hay alguna diferencia entre la imagen de pantalla registrada y la imagen de entrada en 816. Estas diferencias pueden someterse a umbrales y/o calcularse para determinar si la diferencia es mayor que una magnitud deseada - por ejemplo, que puede ser visible para observadores de la imagen de pantalla. Alternativamente, las diferencias pueden ser determinadas por observadores humanos. En caso contrario, entonces el proceso puede terminar en 822 - o continuar como un proceso correctivo para ejecutar un proceso continuo, o ejecutarse según períodos de tiempo deseados.
Si hay diferencias detectadas en 816, entonces el sistema calcula una corrección PSF y mejora el modelo PSF en 820. La Fig. 9 es la realización del proceso de cálculo de la corrección PSF. En 902, el proceso/módulo divide la imagen de pantalla registrada mediante la imagen principal. Esto produce una estimación de campo de luz en 805. Esta estimación de campo de luz se compara entonces con la imagen de campo de luz en 904. Esto produce una estimación 901 de error de campo de luz. Esta estimación, junto con la imagen de medio tono, se deconvoluciona para encontrar una corrección PSF adecuada (en 813). Esta corrección PSF forma entonces el nuevo modelo PSF para su uso en la Fig. 8.
En general, imágenes obtenidas de la fotografía de la cámara son estimaciones debido a la incertidumbre del proceso de captura de la cámara. El campo de luz puede producirse por la superposición de los PSFs de todos los píxeles on de la imagen de medio tono. El proceso de deconvolución trata de encontrar una corrección PSF a partir del error de campo de luz estimado asumiendo el mismo PSF para todos los píxeles on que contribuyen al artefacto. Realizaciones alternativas de consideraciones que se oponen entre sí
Como se ha mencionado anteriormente, pueden usarse ciertas suposiciones y objetivos para producir las nuevas técnicas de renderizado de imagen descritas en este documento. Como se ha mencionado, diferentes suposiciones y objetivos pueden conducir a realizaciones alternativas. Tales realizaciones alternativas pueden estar basadas en relaciones de contraste DMD, tamaños PSF y contraste local. Por ejemplo, el primer nivel premod diferente de cero puede conseguirse superponiendo un campo de PSFs para conseguir un campo de luz relativamente plano. El campo relativamente plano puede conseguirse si los PSFs están separados de una manera suficientemente densa -ya que separarlos excesivamente daría como resultado un campo con picos y valles que pueden ser grandes con relación al nivel de campo deseado. Dado un tamaño y forma de PSF, la separación PSF deseada para crear un campo relativamente plano puede determinar la separación de los píxeles de medio tono que pueden encenderse para conseguir el primer nivel premod diferente de cero. Esta separación puede determinar el primer nivel diferente de cero y el número de niveles premod lineales discretos.
Por ejemplo, un PSF que se repite en una malla de 10x10 píxeles, para conseguir un campo relativamente plano, puede requerir el paso a ON de 1 de 100 píxeles premod. El primer nivel diferente de cero será 1/100, el tamaño de mosaico de medio tono será de 10x10, y el número de niveles discretos será 101.
El nombre del primer nivel diferente de cero implica que el primer nivel, cero, es 0/100. Ello puede no ser así en la práctica. A diferencia de todos los niveles diferentes de cero, este nivel puede no estar determinado por la fracción de medio tono, sino por la relación de contraste (CR, contrast ratio) premod DMD. El nivel es 1/premodCR y puede probablemente no estar a un nivel para el mejor funcionamiento.
Para limitar el tamaño del halo en elementos brillantes pequeños, puede elegirse un PSF pequeño y un tamaño de mosaico de medio tono complementario pequeño. Sin embargo, el pequeño tamaño de mosaico limita el número de niveles premod discretos. Esto puede no ser un problema en niveles superiores, pero puede restringir excesivamente el contraste local en niveles bajos, en particular niveles menores que el primer nivel diferente de cero. El uso del nivel cero depende del CR del DMD premod; un CR mayor puede no ser mejor. Además, dependiendo del primer nivel diferente de cero, el nivel cero puede ser necesario para conseguir el CR del sistema completo deseado, conseguir el negro.
Algunos elementos de la imagen pueden tener frecuencias espaciales mayores que las que pueden representarse mediante el campo de luz premod. Para estos elementos de imagen, el campo de luz premod puede ser constante, sin modular. El nivel del campo de luz premod puede determinarse mediante el máximo local del elemento de imagen; el nivel puede ser un nivel premod discreto que es mayor que el máximo local para evitar recorte claro. El DMD principal puede reducir el campo de luz premod para producir todos los niveles del elemento de imagen local. Dependiendo del nivel cero premod (determinado por el CR premod), el primer nivel diferente de cero (determinado por el tamaño del mosaico de medio tono), y el CR DMD principal, el DMD principal puede no tener suficiente contraste para producir los niveles más bajos, limitando el contraste local de ese elemento de imagen suficientemente para afectar a su apariencia.
Ejemplos de imágenes
La Fig. 11A es una imagen 1102 de ejemplo que muestra una imagen de fuente deseada para ser renderizada por el presente sistema y los métodos y/o técnicas descritos en este documento. Como se muestra, la imagen es del interior de una iglesia que tiene regiones oscuras con detalles en las paredes. Además, hay regiones de ventana fuertemente iluminadas que también presentan pérdida de detalle. Las Figs. 11B y 11C muestran la imagen de medio tono de límite superior y la imagen de límite superior difuminada, respectivamente según se describe en este documento. La Fig. 11D muestra la imagen renderizada final tal como es producida por una realización del presente sistema.
Para otro ejemplo de conjunto de figuras, las Figs. 12A y 12B muestran solamente un ejemplo no limitante de algunos de los procesos descritos en este documento. En este caso, se usa una línea horizontal 1-D de un ejemplo de imagen en lugar de superficies de imágenes para mostrar más claramente las cantidades descritas. La luminancia se normaliza a 1, el máximo nivel de campo de luz difuminado. La Fig. 12A muestra la línea de imagen de entrada y su límite inferior y límite superior limitado por banda. El límite inferior se muestra también escalado por la relación de contraste del DMD principal (primaryCR = 1000 aquí); este es el nivel más alto en el que puede estar el campo de luz, de modo que el DMD principal todavía puede conseguir el límite inferior. La Fig. 12B muestra el campo de luz que es el máximo del límite superior y el límite inferior escalado; este valor está limitado a 1 porque es el nivel de campo de luz máximo. Este campo de luz está en su nivel máximo tanto como es posible dadas las reglas utilizadas para este ejemplo.
Ahora hay una descripción detallada de una o más realizaciones de la invención, leída junto con figuras que se acompañan, que ilustran los principios de la invención. El alcance de la invención está limitado por las reivindicaciones adjuntas. Por motivos de claridad, material técnico que es conocido en los campos técnicos relacionados con la invención no se ha descrito con detalle de manera que la invención no se oscurezca innecesariamente.

Claims (12)

REIVINDICACIONES
1. Un método (800) para calibrar un sistema de visualización de proyector (100), comprendiendo dicho sistema de visualización de proyector una fuente de luz (102), un controlador (120), recibiendo dicho controlador datos de imagen de entrada y emitiendo señales de control, un modulador de premod (108) que recibe señales de control de dicho controlador y luz de dicha fuente de luz, un sistema óptico de difuminado (112) que recibe luz de dicho modulador premod, y un modulador principal (116) que recibe señales de control de dicho controlador y luz de dicho sistema óptico de difuminado, comprendiendo el método:
recibir datos de imagen de entrada (801);
calcular (804) una imagen de medio tono (803), en donde una imagen de medio tono de límite superior y una imagen de medio tono de límite inferior se combinan para formar la imagen de medio tono;
usar (806) la imagen de medio tono junto con un modelo de campo de luz para calcular una imagen de campo de luz (805), basado dicho modelo de campo de luz en un modelo de Función de Dispersión de Puntos (PSF) (813) de dicho sistema óptico de difuminado;
calcular (808) una imagen principal (807) para dicho modulador principal;
visualizar (810) una imagen de pantalla (809) de dicho modulador principal;
capturar (812) dicha imagen de pantalla con un dispositivo de captura de imágenes;
registrar la imagen de pantalla capturada (811) con una malla de píxeles premod del modulador premod; comparar (814) dicha imagen de pantalla capturada registrada con dichos datos de imagen de entrada;
si hay diferencias mayores que una cantidad deseada, entonces calcular (820) una corrección a dicho modelo PSF para proporcionar un modelo PSF mejorado; y
aplicar el modelo PSF mejorado para una calibración adicional,
en donde dicho cálculo de una corrección a dicho modelo PSF comprende además:
dividir (902) la imagen de pantalla registrada por la imagen principal para producir una imagen de campo de luz estimada;
comparar (904) la imagen del campo de luz estimada con la imagen de campo de luz;
estimar un error de campo de luz (901); y
deconvolucionar (906) la estimación de error de campo de luz con la imagen de medio tono para calcular la corrección PSF (813).
2. El método de la reivindicación 1, en el que la imagen de campo de luz se genera mediante la convolución de la función de dispersión de puntos del sistema óptico de difuminado y la imagen de medio tono.
3. El método de la reivindicación 1 ó 2, en el que visualizar una imagen en pantalla de dicho modulador principal comprende:
crear una imagen de medio tono difuminada a partir de dicha imagen de medio tono;
crear una imagen modulada por anchura de pulsos a partir de dicha imagen de medio tono difuminada; y proyectar la imagen de pantalla a partir de dicha imagen modulada por anchura de pulsos.
4. El método de la reivindicación 3, en el que dicha imagen de medio tono difuminada es sustancialmente más brillante que dicha imagen de pantalla deseada.
5. El método de una cualquiera de las reivindicaciones 1 a 4, en el que calcular una imagen de medio tono comprende:
crear un patrón de fusionado espacial a partir de dichos datos de imagen de entrada.
6. El método de la reivindicación 5, en el que crear un patrón de fusionado espacial a partir de dichos datos de imagen de entrada comprende:
dilatar dichos datos de imagen de entrada hasta una extensión de semilla de difuminado; y
establecer un umbral para dichos datos de imagen dilatados a un valor binario.
7. El método de la reivindicación 3, en el que crear una imagen de medio tono difuminada a partir de dicha imagen de medio tono comprende:
suavizar dicha imagen de medio tono con la función de dispersión de puntos del sistema óptico de difuminado. 8. El método de la reivindicación 7, en el que dicha PSF comprende uno de un grupo, comprendiendo dicho grupo: una PSF de extensión espacial limitada, una PSF de banda limitada, una PSF sustancialmente radialmente simétrica, una gaussiana, una función de coseno alzado y una función con pico sustancialmente radialmente simétrica con extensión espacial limitada.
9. El método de la reivindicación 3, en el que dicho método comprende además:
compensar cualquier error de alineación del modulador premod al modulador principal.
10. El método de la reivindicación 3, en el que dicho método comprende además:
aplicar un modelo de difuminado a dicha imagen de medio tono;
obtener el recíproco de dicha imagen de medio tono modelada de difuminado; y
multiplicar dicha imagen de medio tono modelada de difuminado con dichos datos de imagen de entrada.
11. El método de la reivindicación 10, en el que aplicar un modelo de difuminado a dicha imagen de medio tono comprende:
aplicar un modelo de difuminado, basado dicho modelo de difuminado en un conjunto de modelos PSF, aplicándose cada modelo PSF a una porción local del área de imagen.
12. El método de la reivindicación 9, en el que compensar cualquier error de alineación del modulador premod al modulador principal comprende:
aplicar un mapeo de alineación de principal a premod a dichos datos de imagen de entrada;
calcular la imagen de medio tono;
utilizar la imagen de medio tono junto con el modelo de campo de luz para calcular la imagen del campo de luz; aplicar un mapeo de alineación premod a principal para producir un campo de luz registrado principal; y enviar el campo de luz registrado principal a dicho modulador principal.
ES20198663T 2013-11-03 2014-10-29 Atenuación local en visualizadores multi-modulación Active ES2971863T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361899280P 2013-11-03 2013-11-03

Publications (1)

Publication Number Publication Date
ES2971863T3 true ES2971863T3 (es) 2024-06-10

Family

ID=53005080

Family Applications (3)

Application Number Title Priority Date Filing Date
ES14858966T Active ES2827450T3 (es) 2013-11-03 2014-10-29 Sistema y método para atenuación local en pantallas multi-modulación
ES20198663T Active ES2971863T3 (es) 2013-11-03 2014-10-29 Atenuación local en visualizadores multi-modulación
ES23174851T Active ES3042207T3 (en) 2013-11-03 2014-10-29 Local dimming in multi-modulation displays

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES14858966T Active ES2827450T3 (es) 2013-11-03 2014-10-29 Sistema y método para atenuación local en pantallas multi-modulación

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES23174851T Active ES3042207T3 (en) 2013-11-03 2014-10-29 Local dimming in multi-modulation displays

Country Status (6)

Country Link
US (5) US9992460B2 (es)
EP (4) EP3790273B1 (es)
JP (4) JP2016539384A (es)
CN (2) CN113766202B (es)
ES (3) ES2827450T3 (es)
WO (1) WO2015066206A1 (es)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6286546B2 (ja) * 2013-07-30 2018-02-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 非機械的ミラービームステアリングを備えたプロジェクタ表示システム
EP3055993B1 (en) 2013-10-10 2020-03-18 Dolby Laboratories Licensing Corp. Displaying dci and other content on an enhanced dynamic range projector
EP3790273B1 (en) * 2013-11-03 2023-11-29 Dolby Laboratories Licensing Corporation Local dimming in multi-modulation displays
US9232172B2 (en) * 2013-11-04 2016-01-05 Christie Digital Systems Usa, Inc. Two-stage light modulation for high dynamic range
WO2016186900A1 (en) 2015-05-15 2016-11-24 Dolby Laboratories Licensing Corporation Control of light spreading with blurring element in projector systems
US10070105B2 (en) * 2016-02-26 2018-09-04 Christie Digital Systems Usa, Inc. OR-function illumination in phased bitplanes in a high dynamic range projector
US20200244937A1 (en) * 2017-02-27 2020-07-30 Sony Corporation Image processing apparatus and method, and program
US11503274B2 (en) * 2019-05-02 2022-11-15 Disney Enterprises, Inc. High speed binary compressive light field projection system
CN114615921A (zh) * 2019-08-26 2022-06-10 艾沃鲁什奥普提克斯有限公司 光场显示器、用于其的经调整的像素渲染方法、以及解决散光或类似状况的使用其的经调整的视力感知系统和方法
JP7562700B2 (ja) * 2020-05-20 2024-10-07 マジック リープ, インコーポレイテッド コヒーレントコンテキストを用いた、ピース毎の漸次的かつ持続的な較正
CA3095177A1 (en) * 2020-10-02 2022-04-02 Mtt Innovation Incorporated Optical projection with combined beams

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5814803A (en) * 1994-12-23 1998-09-29 Spectra-Physics Scanning Systems, Inc. Image reader with multi-focus lens
US6115022A (en) * 1996-12-10 2000-09-05 Metavision Corporation Method and apparatus for adjusting multiple projected raster images
CA2414723C (en) * 2000-07-03 2012-05-15 Imax Corporation Equipment and techniques for increasing the dynamic range of a projection system
US6804406B1 (en) * 2000-08-30 2004-10-12 Honeywell International Inc. Electronic calibration for seamless tiled display using optical function generator
ES2351206T3 (es) 2001-02-27 2011-02-01 Dolby Laboratories Licensing Corporation Dispositivo de visualización de alta relación de contraste dinámico.
KR100566241B1 (ko) * 2001-11-19 2006-03-29 삼성전자주식회사 이동통신시스템에서 연성 심볼 결합 장치 및 방법
WO2003079094A2 (en) 2002-03-17 2003-09-25 Deep Video Imaging Limited Optimising point spread function of spatial filter
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US7184054B2 (en) * 2003-01-21 2007-02-27 Hewlett-Packard Development Company, L.P. Correction of a projected image based on a reflected image
US6850352B1 (en) 2004-01-08 2005-02-01 Hewlett-Packard Development Company, L.P. Method and system for generating color using a low-resolution spatial color modulator and a high-resolution modulator
JP4923383B2 (ja) 2004-03-18 2012-04-25 セイコーエプソン株式会社 光学表示装置、光学表示装置制御プログラム
US20050231651A1 (en) * 2004-04-14 2005-10-20 Myers Timothy F Scanning display system
ES2391095T3 (es) 2004-05-03 2012-11-21 Dolby Laboratories Licensing Corporation Procedimiento para el cómputo eficiente de tramas de imagen, para sistemas de visualización de modulación doble, usando tramas clave
US8251512B2 (en) * 2004-07-08 2012-08-28 Imax Corporation Equipment and methods for the display of high resolution images using multiple projection displays
JP4124193B2 (ja) 2004-10-26 2008-07-23 セイコーエプソン株式会社 画像表示装置、プロジェクタ
US20060082692A1 (en) 2004-10-15 2006-04-20 Seiko Epson Corporation Image display device and projector
US7136210B2 (en) * 2004-10-21 2006-11-14 Hewlett-Packard Development Company, L.P. Light modulator
CN101065705A (zh) * 2004-11-24 2007-10-31 皇家飞利浦电子股份有限公司 高对比度的液晶显示器件
US7404645B2 (en) 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7527381B2 (en) * 2005-07-29 2009-05-05 Hewlett-Packard Development Company, L.P. Optical system architecture
NO20054829D0 (no) * 2005-10-19 2005-10-19 Ignis Photonyx As Diffrakiv teknologibasert dynamisk kontrastmanipulasjon i fremvisningssystemer
CN100517060C (zh) 2006-06-01 2009-07-22 高宏 一种三维人像摄影方法
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
US7891818B2 (en) * 2006-12-12 2011-02-22 Evans & Sutherland Computer Corporation System and method for aligning RGB light in a single modulator projector
US8542408B2 (en) * 2006-12-29 2013-09-24 Texas Instruments Incorporated High dynamic range display systems
WO2008089385A2 (en) * 2007-01-19 2008-07-24 Purdue Research Foundation Method and apparatus for determining the stray-light point-spread function of an imaging system
EP2126787B1 (en) 2007-01-31 2013-04-24 Dolby Laboratories Licensing Corporation Multiple modulator displays and related methods
WO2009008605A2 (en) * 2007-07-10 2009-01-15 Lg Electronics Inc. Maskless exposure method
US8233738B2 (en) * 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8135230B2 (en) 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
GB0719721D0 (en) 2007-10-09 2007-11-21 Seos Ltd Image display apparatus
US7551341B1 (en) * 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
EP2329487B1 (en) * 2008-09-30 2016-05-25 Dolby Laboratories Licensing Corporation Systems and methods for applying adaptive gamma in image processing for high brightness and high dynamic range displays
DK2364458T3 (en) 2008-11-14 2016-07-18 Dolby Laboratories Licensing Corp Custom psf'er operating light in clusters
US8890905B2 (en) 2009-08-18 2014-11-18 Dolby Laboratories Licensing Corporation Reflectors with spatially varying reflectance/absorption gradients for color and luminance compensation
TWI517126B (zh) * 2009-12-16 2016-01-11 杜比實驗室特許公司 使用影像資料區段統計屬性之背光控制方法與系統
WO2011099244A1 (ja) 2010-02-10 2011-08-18 パナソニック株式会社 画像処理装置および画像処理方法
US9864243B2 (en) 2010-05-14 2018-01-09 Dolby Laboratories Licensing Corporation High dynamic range displays using filterless LCD(s) for increasing contrast and resolution
US9135864B2 (en) 2010-05-14 2015-09-15 Dolby Laboratories Licensing Corporation Systems and methods for accurately representing high contrast imagery on high dynamic range display systems
JP2012008388A (ja) * 2010-06-25 2012-01-12 Hitachi Consumer Electronics Co Ltd 液晶表示装置
US9235063B2 (en) 2010-09-09 2016-01-12 Adobe Systems Incorporated Lens modeling
EP2684184A4 (en) 2011-03-09 2014-08-13 Dolby Lab Licensing Corp CONTRASTING GRAY TREAT AND COLOR INDICATORS
US9224320B2 (en) 2011-03-09 2015-12-29 Dolby Laboratories Licensing Corporation Projection display providing additional modulation and related methods
ES2924254T3 (es) 2011-03-14 2022-10-05 Dolby Laboratories Licensing Corp Proyector con dos etapas de modulación, método de accionamiento de un proyector con dos etapas de modulación y medio legible por ordenador
CN103502881B (zh) * 2011-04-28 2016-10-12 杜比实验室特许公司 双lcd显示器、控制器、产生驱动信号的方法
US8860640B2 (en) 2012-05-30 2014-10-14 Christie Digital Systems Usa, Inc. Zonal illumination for high dynamic range projection
CN202975583U (zh) * 2012-10-09 2013-06-05 耿征 真三维图像显示系统
CN107872661B (zh) * 2013-08-16 2020-01-07 杜比实验室特许公司 用于多调制显示器的光场模型化技术的系统和方法
EP3790273B1 (en) * 2013-11-03 2023-11-29 Dolby Laboratories Licensing Corporation Local dimming in multi-modulation displays

Also Published As

Publication number Publication date
US20210047061A1 (en) 2021-02-18
US11838692B2 (en) 2023-12-05
EP3063936A4 (en) 2017-12-27
ES3042207T3 (en) 2025-11-19
JP2021140169A (ja) 2021-09-16
HK1226226A1 (zh) 2017-09-22
US20180295330A1 (en) 2018-10-11
EP4236287B1 (en) 2025-08-06
US11582432B2 (en) 2023-02-14
US20160286178A1 (en) 2016-09-29
CN113766202B (zh) 2024-08-13
EP3790273B1 (en) 2023-11-29
EP4625961A3 (en) 2025-10-29
US20230188686A1 (en) 2023-06-15
JP2022188143A (ja) 2022-12-20
EP3063936A1 (en) 2016-09-07
EP4236287A3 (en) 2023-10-18
US9992460B2 (en) 2018-06-05
EP3790273A1 (en) 2021-03-10
CN105684437A (zh) 2016-06-15
JP2019003223A (ja) 2019-01-10
EP4236287A2 (en) 2023-08-30
JP7150091B2 (ja) 2022-10-07
CN105684437B (zh) 2021-10-29
JP7556923B2 (ja) 2024-09-26
JP2016539384A (ja) 2016-12-15
US20240098229A1 (en) 2024-03-21
EP4625961A2 (en) 2025-10-01
US10694157B2 (en) 2020-06-23
WO2015066206A1 (en) 2015-05-07
EP3063936B1 (en) 2020-09-30
CN113766202A (zh) 2021-12-07
US12207026B2 (en) 2025-01-21
ES2827450T3 (es) 2021-05-21

Similar Documents

Publication Publication Date Title
ES2971863T3 (es) Atenuación local en visualizadores multi-modulación
US9955132B2 (en) Systems and methods for light field modeling techniques for multi-modulation displays
HK1217845B (en) Systems and methods for light field modeling techniques for multi-modulation displays