ES3039207A1 - Matriz de píxeles asíncronos para una imagen con exposición automática (AE) y alto rango dinámico (HDR) en una sola captura - Google Patents

Abstract

Matriz de píxeles asíncronos para una imagen con exposición automática (AE) y alto rango dinámico (HDR) en una sola captura. Un sistema y un método para la captura de imágenes con exposición automática (AE) y alto rango dinámico (HDR) simultáneos en una sola toma, que realiza simultáneamente AE y HDR durante la captura de una imagen; y en donde para cada periodo de fotointegración establecido para producir la imagen, la circuitería de una matriz de píxeles ajusta automáticamente su respuesta a una iluminación media en el momento y adapta un mapa de radiación de la escena dentro de un rango de señal de píxeles disponible.

Description

DESCRIPCIÓN

MATRIZ DE PÍXELES ASÍNCRONOS PARA UNA IMAGEN CON EXPOSICIÓN

AUTOMÁTICA (AE) Y ALTO RANGO DINÁMICO (HDR) EN UNA SOLA CAPTURA

OBJECTO DE LA INVENCIÓN

El objeto de la presente invención es una matriz de píxeles asíncronos para una imagen con exposición automática (AE) y alto rango dinámico (HDR) simultáneos en una sola toma, basada en una estrategia de detección que realiza simultáneamente AE y HDR durante la captura de la imagen.

ANTECEDENTES DE LA INVENCIÓN

Idealmente, se supone que los sensores de imágenes proporcionan una representación fiel de la escena, independientemente de las condiciones de iluminación en el momento de la captura. Este hecho resulta un desafío notable por diversas razones, entre ellas dos son particularmente relevantes en relación con la presente invención: (1) el sensor debe adaptar su respuesta a la iluminación ambiente, la cual no se conoce a priori; y (2) el sensor debe lidiar con el rango dinámico de escenas del mundo real, el cual puede ser extremadamente alto y que tampoco se conoce con antelación.

La Figura 1 ilustra cómo se abordan habitualmente estos puntos (1) y (2) en sensores de imágenes CMOS estándar. En primer lugar, la respuesta del sensor, que es aproximadamente lineal y oscila por lo general entre 60 - 70 dB, se desplaza al intervalo adecuado de acuerdo con algún aspecto particular de la escena (p.ej., en el caso más simple, de acuerdo con la iluminación media). Para este propósito, se emplean habitualmente técnicas de autoexposición (AE). En segundo lugar, si la escena que va a ser representada requiere un mayor rango dinámico que el del sensor - p.ej., una ventana exterior en una habitación con poca iluminación - , se aplica lo que se denomina horquillado obracketingde la exposición: se capturan varias imágenes con diferentes tiempos de exposición y a continuación se combinan para producir una imagen con alto rango dinámico (HDR).

Las anteriores aproximaciones funcionan bien para escenas estáticas. Sin embargo, en escenas que se caracterizan por cambios de luz abruptos o que presentan movimiento, los algoritmos de AE pueden no converger de forma apropiada, estableciéndose parámetros de exposición inadecuados y/o produciéndose un efecto de “flickering” o parpadeo - oscilaciones en el brillo de la imagen - , al tiempo que el horquillado de la exposición da lugar a artefactos de movimiento. Además, ambas aproximaciones prolongan el proceso de formación de la imagen mientras buscan establecer la exposición óptima y mientras realizan el renderizado de la imagen HDR. Esto puede conducir a la pérdida de información crucial sobre la escena cuando se producen variaciones repentinas, por ejemplo, en aplicaciones de vigilancia y seguridad o en la navegación de robots mediante visión artificial.

La AE (o exposición automática) hace referencia al ajuste automático de los parámetros de exposición - habitualmente a su duración - para producir una imagen óptima. No existe una definición exacta del término “óptimo” en este contexto. Es por esto que, en la mayoría de los dispositivos actuales disponibles en el comercio que incluyen la captura de imágenes, por ejemplo, teléfonos móviles, se permite a los usuarios guiar los algoritmos de AE de acuerdo con criterios estéticos personales. Estos algoritmos se apoyan una variedad de métricas y de herramientas estadísticas, tales como el histograma de luminosidad, el gradiente de la imagen, la entropía de la imagen, o la precisión en la detección de objetos, para determinar un tiempo de exposición adecuado a través de un proceso iterativo basado habitualmente en un lazo de retroalimentación. Este lazo requiere algo de tiempo para converger, lo que puede resultar crítico en escenarios en los que deben tomarse decisiones tan rápidamente como sea posible, p.ej., en la navegación de drones o en vehículos autónomos. Además, los constantes cambios en una escena dinámica pueden retrasar adicionalmente la convergencia, o incluso volverla imposible, exacerbando de este modo el problema.

Centrar la respuesta del sensor adecuadamente mediante técnicas de AE no es suficiente en escenarios que se caractericen por un rango de iluminaciones que se extienda bastante más allá del rango dinámico del sensor. En tales escenarios, la aproximación más habitual para evitar regiones sobreexpuestas o con baja exposición en la imagen resultante, es la técnica de horquillado (bracketing) de la exposición mencionada anteriormente. La principal ventaja de esta aproximación es que explota la respuesta lineal de los sensores de imagen CMOS estándar; resulta por tanto una solución no costosa que no requiere hardware extra en el sensor.

Sin embargo, se requieren varias capturas consecutivas para cubrir el rango de iluminación de la escena. Estas capturas deben fusionarse posteriormente para producir la representación HDR. El largo proceso que se necesita para completar esta fusión de imágenes genera una elevada carga computacional y conlleva un elevado consumo de memoria, sin olvidar que conduce a una mala codificación de las escenas dinámicas. Para mitigar estos aspectos, se han propuesto realizaciones de píxeles específicos para HDR. En general, estas realizaciones requieren técnicas de AE específicas para establecer los ajustes de exposición adecuados, aunque hay excepciones. Por ejemplo, los sensores basados en auto-reseteo (conocido en el arte como self-reset) y conteo de eventos de saturación (en el arte saturation count) acumulan información durante el intervalo de fotointegración para posteriormente reconstruir la correspondiente imagen HDR, independientemente de las condiciones de iluminación; sus limitaciones fundamentales en términos de rango dinámico son el ruido, la resolución del contador, y la frecuencia de refresco requerida por la aplicación objetivo. Los sensores HDR basados en píxeles de respuesta logarítmica constituyen otra aproximación que no requiere AE. En este caso, no existe un periodo de integración debido la intensidad luminosa se muestrea de manera continua. También dentro de esta aproximación con píxeles de respuesta logarítmica, los píxeles fotovoltaicos introducen una mejora del rendimiento.

Por el contrario, la presente invención presenta un método que fusiona AE y HDR durante la captura de imagen, para superar algunas de las limitaciones de los métodos anteriores. En contraste con el horquillado de la exposición, con el método propuesto, se requiere una sola captura para proporcionar rápidamente la representación la escena, lista para el análisis posterior. Con respecto a los sensores con auto-reseteo, en nuestro caso no se necesitan circuitos para el conteo del número de saturaciones y renderizar la correspondiente imagen - el principio de operación es completamente diferente - , sino que se ha mantenido, como una ventaja fundamental, una respuesta lineal de los píxeles. Finalmente, aunque los sensores logarítmicos pueden codificar teóricamente cualquier mapa de radiación, no hay una adaptación inherente a las condiciones de iluminación en el momento de la captura. Esto puede conducir al uso deficiente del rango de señal disponible y a la consecuente generación de una imagen con ruido; podría incluso requerirse una etapa extra de mapeo de tonos para permitir el procesamiento visual. En contraste, en la aproximación propuesta, la adaptación implícita a la iluminación media centra automáticamente la respuesta del sensor; y alrededor de esta iluminación de referenciase logran las imágenes de HDR.

RESUMEN DE LA INVENCIÓN

La presente invención se basa en una estrategia de detección que realiza de forma simultánea la captura de alto rango dinámico ó HDR y la exposición automática ó AE. En cada periodo de fotointegración establecido para obtener una imagen, la circuitería de la matriz de píxeles ajusta la respuesta a la iluminación media en cada momento de manera automática y al mismo tiempo ajusta el mapa de intensidad luminosa de la escena dentro del rango de señal de disponible en el píxel. La respuesta del sensor es lineal para bajos niveles de intensidad de luz. Los términos "bajo” y "alto” son relativos a las condiciones globales de iluminación, considerando que se realiza la AE de manera simultánea. No se necesita un tiempo adicional aparte de este intervalo de fotointegración, de modo que se reduce notablemente la posibilidad de perder información y generar artefactos de movimiento. Después de la fotointegración, la imagen de HDR se encuentra inmediatamente preparada para el procesamiento y para una rápida toma de decisiones. Además, la presente invención puede adaptar la operación del sensor a cualquier mapa de intensidades. Esto significa que la limitación fundamental para lograr una representación fiel de la escena es el ruido, independientemente de las condiciones de iluminación. El circuito propuesto opera de forma asíncrona una vez que los píxeles se resetean, de modo que no requiere ningún control externo. Todas estas características se logran a la vez que se mantiene una fototransducción intrínsecamente lineal, incluso aunque se implemente en conjunto una respuesta del sensor no lineal.

El objeto de la invención se completa con el método y el sensor de las reivindicaciones anexas. A lo largo de la descripción y de las reivindicaciones el término "comprende” y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes, o pasos. Para los expertos en la técnica, otros objetos, ventajas, y características de la invención emergerán en parte a partir de la descripción y en parte a partir de la práctica. Los siguientes ejemplos y dibujos se proporcionan a modo de ilustración y no pretenden restringir la presente invención. Adicionalmente, la presente invención abarca todas las posibles combinaciones de realizaciones particulares y preferidas que se indican en el presente documento.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Para complementar la descripción que se está realizando y para ayudar a una mejor comprensión de las características de la invención, se adjunta un juego de dibujos como parte integral de dicha descripción, de acuerdo con un ejemplo preferido de realización práctica de la misma, en donde, con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

La Figura 1 muestra que el rango dinámico de los sensores de imagen CMOS estándar es de aproximadamente entre 60-70 dB. Este rango se explota de forma apropiada mediante técnicas de AE, que adaptan la respuesta del sensor a aspectos específicos de la iluminación ambiente mediante capturas reiteradas. Si el rango dinámico del sensor no es suficiente para construir una representación adecuada de la escena, se toman diversas capturas con diferentes tiempos de exposición - horquillado (bracketting) de la exposición - y a continuación se combinan para producir una imagen de HDR.

La Figura 2 muestra la representación de dos procesos lineales de foto-integración que tienen lugar simultáneamente en un píxel. Uno de estos procesos está representado porVpx(t),que evoluciona de acuerdo con la iluminación(Iph) del píxel hasta el instante de tiempo en el que el segundo proceso, representado porVa(t),cruza con un nivel de tensión de referencia indicada conVre f, estableciendo de este modo la tensión final del píxelVpXp. Hay que señalar queVa(t)evoluciona inicialmente de acuerdo con la iluminación media que impacta sobre los píxeles que conforman la matriz de sensores(Tph). Se representan los dos posibles casos prácticos:

(a)Iph<Iph, lo que significa queVa(t)cruzaVrefen primer lugar; y (b)Iph>Iph, lo que significa queVpx(t),cruzaVrefen primer lugar, de modo que a partir de ese instante(tpx) se ajustaVa(t)para evolucionar de acuerdo con la iluminación del pixel de ahí en adelante.

La Figura 3 muestra dos ejemplos de la salida del píxel, descritos en conjunto con las ecuaciones (3) y (8), representados en una escala semilogarítmica. La traza de la izquierda corresponde a una fotocorriente media deTph= 1fAmientras que la traza de la derecha corresponde a una fotocorriente media deTph= 100fA .Para ambas curvas, se ha establecidoVmax= Vrst =1.8V,Vmin =0V,yVref = 0.9 V.

La Figura 4 muestra el circuito propuesto para la implementación de la operación del píxel básico de acuerdo con la presente invención. El acoplamiento de los dos procesos de foto-integración representados porVpx(t)yVa(t)se implementa mediante las llaves SW1 y SW2 y los inversores INV1 y INV2. La tensiónVav(t)se introduce para mantener una representación fiel de la iluminación media, reproducida enVa(t)durante el intervalo requerido.

La Figura 5 muestra ejemplos de la salida del píxel descrita por la ecuación (11) que se verá a continuación, representada en escala semilogarítmica. Se obtuvieron las tres curvas para la misma fotocorriente media,Tph =10fA ,y las mismas tensiones de reseteo,Vrstl = Vrst2= 1.8V.Se obtuvo la curva central paraVref í = Vref2 = 0.9 V;Se obtuvo la curva de la izquierda paraVrefi =1.3VyVref2 =0.5V;se obtuvo la curva de la derecha paraVrefi =0.8V y Vref2 = 1.3 V.

La Figura 6 muestra el diseño al nivel de los transistores de la realización del píxel propuesta en la figura 4. Los elementos en rojo pueden compartirse entre diversos píxeles para ahorrar área y consumo de área y energía.Vrsti,Vrst2,Vrefi,yVref2son variables de diseño cruciales; estas deben ser ajustadas de forma apropiada para maximizar el rango deVpXpde acuerdo con la ecuación (11) a la vez que aseguran la correcta operación de los diferentes bloques de circuitos, incluyendo la lectura mediante el seguidor de la fuente (SF).

La Figura 7 muestra ejemplos de las dos posibles dinámicas para la realización eléctrica del píxel propuesta en la figura 4:

a) evolución temporal deVpx(t)yVa(t)que conduce a una tensión final de píxel descrita por la ecuación (16); y (b) evolución temporal deVpx(t)yVa(t)que conduce a una tensión de píxel final descrita por la ecuación (19).

REALIZACIONES PREFERIDAS DE LA INVENCIÓN

La presente invención presenta un método de toma de imágenes que integra AE y HDR de forma asíncrona en una sola toma, manteniendo una respuesta lineal de cada uno de los píxeles, y un diseño del sensor que implementa el método.

Modelo Básico

En el modelo básico, se considerará la figura 2, la cual muestra dos procesos lineales de fotointegración que tienen lugar simultáneamente durante la formación de la imagen: (1)vpX(P)representa la evolución de la propia tensión del pixel, que disminuye linealmente a partir de la tensión de reseteoVrstde acuerdo con la corriente fotogenerada localIph; y (2)Va(t)representa la evolución de una tensión auxiliar que inicialmente disminuye linealmente a partir de la tensión de reseteo, de acuerdo con la corriente media fotogenerada sobre toda la matriz de píxeles, indicada comoTph. A continuación, se explicará en detalle cómo se detecta esta fotocorriente global, en referencia a las figuras 4 o 6. Por lo tanto,Vpx(t)yVa(t)evolucionan inicialmente de la siguiente forma:

[Ec. 1]:

donde C es la capacidad de fotointegración, que es la misma (en este modelo básico) para ambos procesos de fotointegración, sin pérdida de generalidad. Los procesos de fotointegración se acoplan a través de una tensión de referenciaVre f, de nuevo común a ambos procesos, sin pérdida de generalidad. Siempre queVa(t)cruzaVre f, el proceso representado porVpx(t)se detiene y el valor final del píxel se establece enVpXp. SiVpx(t)cruzaVrefantes deVa(t),la evolución deVa(t)cambia, disminuyendo linealmente a partir de ese punto de cruce en adelante, de acuerdo con la corriente local fotogenerada.

Este acoplamiento puede modelarse considerando los dos posibles escenarios representados en la figura 2. El escenario más simple se representa en la Fig. 2(a): dado queIph<Iph,Va(t)cruzaVrefen primer lugar. Indicaremos este instante de tiempo comot airef, el cual puede derivarse fácilmente a partir de la Ec. (1) estableciendoVa(t)=Vrefy obteniendo el valor det:

[Ec. 2]:

y sustituyendo este instante de tiempo por la expresiónVpx(t)en la Ec. 1, se obtiene el siguiente valor final del píxel:

[Ec. 3]:

Por lo tanto, de acuerdo con la Ec. (3), los píxeles que presentan una iluminación local por debajo de la iluminación media tendrán un valor final proporcional al de la iluminación local, siempre en términos relativos con respecto a la iluminación media. Este es un punto crucial para realizar la AE. Diferenciando en la ecuación (3), se obtienedVpXF/d Iph = (Vrs t- V ref)/Tph,V Iph <Tphes decir, la tasa de cambio devpXpcon respecto a la iluminación local es constante. Esto significa que la información de la escena se transfiere al plano de la imagen de la misma manera lineal para todos los tonos por debajo de la iluminación media. Ha de señalarse también que siVrefse fija en el punto medio del rango de señal — indicaremos este punto medio comoVmid— , establecerIph= 7ph en la ecuación (3) conduce aVpx(tal) =Vmid; es decir, cuando la iluminación local y la iluminación media coinciden, el valor final del píxel cae en el centro de la respuesta del píxel, independientemente de los valores absolutos de dichas iluminaciones.

A continuación, se analizará el segundo escenario ilustrado en la figura 2(b). En este caso, dado queIph > Tph,Vpx(t)cruzaVrefen primer lugar. Indicaremos este instante de tiempo comotpXref, el cual puede derivarse fácilmente de la Ec. (1) estableciendoVpx(t)=Vrefy obteniendo el valor det:

[Ec. 4]:

Sustituyendo este instante de tiempo en la expresiónVa(t)en la Ec. (1), se ha obtenido el siguiente valor:

[Ec.5]:

Tal como se ha mencionado anteriormente, a partir detpXrefen adelante,Va(t)disminuye linealmente de acuerdo con la corriente local fotogenerada:

[Ec. 6]:

EstableciendoVa(t) = Vrefen la Ec. (6) y obteniendo el valor det,se ha obtenidota2ref, es decir, el instante de tiempo en el queVa(t)cruzaVrefen este segundo escenario:

[Ec. 7]:

Finalmente, sustituyendota2refen la expresiónVpx(t)en la Ec. (1), se ha obtenido el valor final del píxel cuandoIph > Tph:

[Ec. 8]:

Por lo tanto, de acuerdo con la ecuación (8), los píxeles que presentan una iluminación local por encima de la iluminación media, tendrán un valor final inversamente proporcional al de la iluminación local, de nuevo en términos relativos respecto a la iluminación media. En este caso,dVpXp/d Iph = - ( v r s t - V ref)Tph/l%h ,V Ip h >Tph, es decir, la tasa de cambio deVpXpcon respecto a la iluminación local, disminuye de forma cuadrática con la iluminación local. Esto significa que los valores de iluminación por encima de la iluminación media se comprimirán de forma progresiva dentro del rango de señal disponible, hasta el punto de que no se transfiera realmente ninguna información adicional de la escena al plano de la imagen, por causa del ruido o de la resolución del circuito de lectura. Ha de señalarse que para iluminaciones de píxel muy altas - con respecto a la iluminación media, es decir,Iph » Ivh — J ph/ I ph -0. En este caso, se ha obtenido la siguiente ecuación a partir de la ecuación (8):

[Ec. 9]:

Si asumimos nuevamente queVrefse establece en el punto medio del rango de señal, que puede expresarse comoVmid = (Vmax Vmin)/2.Tendremos que, en nuestro caso,Vmax = Vrst. Y también, sustituyendoVref = (Vrst Vmin)/2por la Ec. 9, se obtiene que:

[Ec. 10]:

En definitiva, se ha concluido que, siVref = Vmid = (V max Vmin) /2 y Vmax = Vrst, el esquema de detección propuesto produce una tensión del píxel igual a:

*Vminpara¡ph » Iph;

*vmídparaIph=Tph, nótese que las ecuaciones (3) y (8) convergen enVpXp = VrefenIph Iph;

*VmaxparaIpd ^ Ipd.

De forma notable, esta adaptación ideal de las fotocorrientes en el rango de señal disponible, expresada por las ecuaciones (3) y (8) - lineal para iluminaciones bajas, compresiva para iluminaciones elevadas - tiene lugar independientemente de la magnitud absoluta particular de las fotocorrientes, dado queVpXpdepende deIph/ Í<Vh>,o bien deTph/ I ph. Otro punto a enfatizar es queVpx(t)siempre evoluciona linealmente hasta que se establece la tensión final del píxel, incluso aunqueVpXppresente una relación no lineal conIphparal ph > Iph. Por lo tanto, el acoplamiento propuesto entre los procesos de fotointegración permite que, aunque la detección que ocurre en el píxel sea inherentemente lineal, tenga como resultado una respuesta global del sensor que es no lineal.

La Figura 3 presenta dos ejemplos de la salida del píxel(VpXp) para un barrido de seis órdenes de magnitud enIphasumiendo queTph= 1fA(curva izquierda) yTph= 100fA(curva derecha). Para ambas curvas, se ha establecidoVmax = Vrst =1.8V, Vmin= 0V,yVref = 0.9 V.Por tanto, la fotocorriente media se representa medianteVmiden ambos casos. Ha de señalarse que la estrategia de detección propuesta adapta fotocorrientes que abarcan un intervalo muy amplio alrededor de la iluminación media dentro del rango de señal disponible.

Implementación eléctrica

Tal como se menciona anteriormente, la descripción anterior hace referencia al modelo básico de un píxel de acuerdo con la presente invención. La Figura 4 muestra un circuito de píxeles que implementa el modelo básico presentado en los párrafos anteriores, con algunos atributos adicionales tal como se explicará a continuación.

La tensiónVav( t), evoluciona linealmente a partir deVrst2de acuerdo con la iluminación media, una vez que se termina el periodo de reseteo ent= 0 — este es el punto de partida de la fotointegración con obturador global (global shutter) que conduce a la formación de la imagen. La detección de la iluminación media se logra mediante la interconexión del nodo asociado aVav(t)en cada píxel con los nodos correspondientes de los píxeles vecinos al norte, sur, este y oeste a lo largo y ancho de toda la matriz 2D. Esto da lugar a una rejilla en la que los píxeles se interconectan, y se calcula al mismo tiempo la media de las fotocorrientes generadas en los fotodiodos con un áreaA /na través de una redistribución de la carga en los condensadores con una capacidad igual aC/n.Nótese que el amplificador operacional, conectado en una configuración de buffer, copiaVav(t)enVa(t)hasta queVpx(t)cruza la tensión umbral de INV1, indicada comoVre f l.En este instante de tiempo, la llave SW1, controlada por la salida del inversor INV1, desconecta la salida del amplificador operacional deVa(t),que continúa evolucionando desde ese instante en delante de acuerdo con la corriente generada por el fotodiodo con áreaA/m .

De Igual manera, cuandoVa(t),cruza la tensión umbral de INV2, indicada comoVref2, la llave SW2 desconecta el fotodiodo con áreaAdel condensador de sensado, estableciéndose la tensión final del píxel. El hecho de que se haya considerado dos tensiones de reseteo diferentes —VrstlyVrst2— y dos tensiones de referencia diferentes —vre/1yVref2— hacen que la derivación deVpXpsea ligeramente más evolucionada que en el modo básico descrito anteriormente. En la sección "modelo analítico de la realización de píxeles” se demuestra queVpXppara el circuito propuesto en la figura 4, se expresa de la siguiente forma:

[Ec. 11]:

Nótese que las expresiones en la Ec. (11) convergen en las ecuaciones (3) y (8), respectivamente, siVrsti = VrsÍ2 = VrstyVrefi = Vref2 = Vre f. La disponibilidad devrst1, vrst2, vrefíy E-e/2 como parámetros de diseño dota a la realización del píxel de flexibilidad para darle forma a la respuesta del sensor. La Figura 5 muestra tres curvas de la salida del píxel descritas por la ecuación (11) paraTph= 10fA , Vrsti = Vrst2 =1.8V,y diferentes valores deVrefiyVref2. Resulta interesante que los cambios en estas tensiones de referencia implican una variación significativa en cuanto a cómo las fotocorrientes cercanas a la iluminación media se mapean en el rango de señal disponible.

Como comentario final, se asume que los parámetrosmynen la figura 4 son mayores que la unidad y reflejan el hecho de que, debido a que los procesos de fotointegración asociados aVa(t)yVav(t)son auxiliares en la generación del valor final de píxeles, las áreas de los correspondientes fotodiodos y los condensadores de sensado pueden reducirse proporcionalmente en aras de aumentar el factor de relleno y reducir el tamaño del píxel (pixel pitch), los cuales son dos parámetros fundamentales de los sensores de imagen.

En los sistemas de visión naturales, la retina es un tejido especializado en la parte frontal del sistema que detecta la luz y realiza las primeras tareas de procesamiento antes de enviar un mensaje eléctrico a través del nervio óptico al cerebro, para su posterior procesamiento y completar la percepción visual. La adaptación automática a la luz es una de esas primeras tareas. Aunque el circuito propuesto no implementa ninguna de las vías de señalización extremadamente complejas identificadas en la retina, existen características generales que sí coinciden. En primer lugar, en la retina, al igual que en nuestra aproximación, la adaptación está relacionada con el nivel medio de iluminación y se basa en el ajuste apropiado de la respuesta temporal de los fotoreceptores. El rango de esta respuesta es estrecho en ambos casos y no puede abarcar la gran variedad de iluminaciones que se observan en escenarios reales. En la retina, la iluminación media es calculada por las células horizontales (HC) que promedian la actividad de los conos a través de un acoplamiento eléctrico fuerte. Las HC, que constituyen la retícula de células más cercana que interactúa con los conos, también dotan a los receptores de una retroalimentación altamente “personalizada” para la modulación de su respuesta.

En el circuito propuesto, la iluminación media se obtiene calculando la media de la fotorespuesta local a lo largo de la matriz de píxeles utilizando la redistribución de la carga, es decir, un acoplamiento eléctrico fuerte. Más aún, de forma similar a las HC, los mismos elementos de circuito que detectan la iluminación media proporcionan retroalimentación al proceso de fotointegración de cada píxel para modular de forma adecuada su salida de acuerdo con las condiciones de iluminación ambientales.

Diseño del píxel

La Figura 6 muestra un diseño a nivel de transistor de la realización del píxel propuesta en la figura 4. Se ha implementado en una tecnología estándar de CMOS de 0,18^m 3,3V. Los elementos marcados en rojo pueden compartirse entre diversos píxeles para ahorrar área y consumo de energía, tal como se describirá más adelante. Por ahora, se ha asumido que cada píxel incluye el circuito representado en la figura 6.

De acuerdo con la ecuación (11),VpXpse encuentra en un rango que va desde un valor máximo deVrstlparaIph<<Iphhasta un valor mínimo de{vrefl Vref2 -Vrst2)paraIph » Tph. Para extender el rango de señal del píxel tanto como sea posible en el límite superior, queda claro queVrstidebe establecerse enVDD = 3.3 V.En lo que concierne al mínimo deVpXp,debe establecerse en un valor tal que la salida a través del seguidor de la fuente (SF) pueda realizarse de forma apropiada. Por tanto, se ha diseñado que los inversores para las tensiones umbral seanVrefi = Vref2 =2.15V,permitiendo de este modo queVrst2se establezca enVDD =3.3Vtambién, de manera que el valor mínimo deVpXpsea nominalmente igual a 1 V, lo suficientemente elevado para que el seguidor de la fuente proporcione unVpXoutadecuado. Para establecer de este modoVrsti,Vrst2,VrefiyVref2, la transición entre las dos curvas de respuesta en la ecuación (11) tiene lugar enIph = Tph; en este punto,VpXp = Vmid =2.15V.

Los fotodiodos fueron simulados utilizando un modelo Verilog-AMS. En este modelo, la potencia óptica incidente se establece como un parámetro para simular eléctricamente la respuesta del sensor a escenas HDR en diferentes iluminaciones ambientes, tal como se describirá en la sección "modelo analítico de la realización de píxeles” . Ha de señalarse quem = n =2 en el diseño de píxeles que se muestra en la figura 6. Esta reducción de escala de los fotodiodos auxiliares y de los condensadores de sensado correspondientes podría ser más agresiva. Sin embargo, se ha tomado la decisión de ser conservadores a este respecto para asegurar la funcionalidad establecida como objetivo. Como comentario final, la realización de los condensadores basada en NMOS tiene como objetivo ahorrar área a costa de introducir no linealidades mayores con respecto a otras soluciones, p.ej. condensadores MIM.

Modelo analítico de realización de píxeles

Para la realización de píxeles que se muestra en la Fig. 4, t = 0 establece el final del intervalo de reseteo y el comienzo del proceso de formación de la imagen. Se realiza una obturación global para una detección apropiada de la iluminación ambiente. Después del reseteo,Vpx(t)se establece aVrstiyVav( t)aVrst2. Estas tensiones deben ser mayores queVrefiyVref2, respectivamente. De este modo, la salida de los inversores INV1 y INV2 se establecerá en "0” lógico en t = 0; las llaves SW1 y SW2 deben diseñarse para estar ACTIVADAS (ON) para esta señal de control, estableciendo de este modo una conexión eléctrica entre los correspondientes nodos del circuito. Para SW1, esto significa queVav(t)se copia inicialmente enVa(t);para SW2, significa que la capacidad de sensadoCse conecta inicialmente al fotodiodo de áreaA.Dado que, tal como se menciona en la sección de realización eléctrica,Vav(t)representa la iluminación media que incide sobre la matriz de píxeles 2D,Vpx(t)yVa(t)evolucionan inicialmente de la siguiente forma:

[Ec. 12]:

Las expresiones en la ecuación (12) cambiarán cuandoVpx(t)cruceVrefio bien cuandoVa( t) cruceVref¿, de este modo SW1 o SW2 pasaran a estar DESACTIVADAS (OFF), respectivamente. Se ha asumido, como un primer caso, queVa(t)cruzaVref2en primer lugar en un instante de tiempo que, por analogía con las derivaciones en el modelo básico, se indica comotal. Este instante de tiempo puede obtenerse fácilmente a partir de la ecuación (12) estableciendoVa(t) = Vref2y obteniendot:

[Ec.13]:

Ent = tal, la salida de INV2 cambia a "1” lógico y SW2 queda DESACTIVADA (OFF), estableciendo el valor final del píxelVpXpen la capacidad de sensado C. Antes de sustituir la ecuación (13) por la expresiónVpx(t)en la ecuación (12), debe analizarse la condición que conduce aVa(t)a cruzarVref2antes de queVpx(t)cruceVre fi. De acuerdo con la ecuación (12),Vpx(t)cruzaríaVrefien un instante de tiempotpXref— utilizando nuevamente la notación del modelo básico— expresado de la siguiente forma:

[Ec. 14]:

Por lo tanto, la condición para que este primer caso ocurra es quetaí < tpXref, lo que tras aplicar algunos conceptos de algebra produce:

[Ec.15]:

Finalmente, sustituyendo la ecuación (13) en la expresión deVpx(t)en la ecuación (12), se ha obtenido:

[Ec.16]:

Un ejemplo de esta primera dinámica se representa en la figura 7(a). Nótese que no solamente las posiciones relativas deVrstiyVrsÍ2son relevantes en estas dinámicas, sino que también lo son las deVrefiyVref2, además de la diferencia entre la fotocorriente localIphy la iluminación media codificada porIph. El segundo caso posible tiene lugar cuandotal > t pXref. En este caso, ocurrequéVpx(t)cruzaVrefien primer lugar. De este modo, ent = tpXref, la salida del INV1 cambia a "1” lógico y la llave SW1 queda DESACTIVADA (OFF). Consecuentemente, a partir det = tpXrefen adelante,Va(t)evoluciona de acuerdo aIphde la siguiente forma,

[Ec. 17]:

Llegado el momento,Va(t),siguiendo la dinámica descrita por la ecuación (17), cruzarávref2, estableciendo el valor final del píxel en este segundo caso. De este modo, si hacemosVa(t) = Vref2en la ecuación (17) y calculamostllegamos a que:

[Ec. 18]:

Finalmente, sustituyendot = t a2refen la expresiónVpx(t)descrita por la ecuación (12), se obtiene:

[Ec. 19]:

Un ejemplo de esta segunda dinámica se muestra en la Fig. 7(b). Nótese que, en ambas dinámicas posibles,Vpx(t)evoluciona linealmente hasta que se establece el valor final del píxel. Finalmente, ha de señalarse también que las ecuaciones (16) y (19) convergen en

Claims (5)

REIVINDICACIONES

1. Un método de operación de píxel que comprende dos procesos de fotointegración lineales que tienen lugar simultáneamente durante la formación de una imagen, en donde:

el primer proceso de fotointegración representa la evolución de la tensión del propio píxel (Vpx( t)), que disminuye linealmente a partir de la tensión de reseteo(Vrst)de acuerdo con la corriente fotogenerada(Iph);y

el segundo proceso de fotointegración lineal representa la evolución de una tensión auxiliar(Va(t))que inicialmente disminuye linealmente a partir de la tensión de reseteo(Vrst)de acuerdo con la corriente fotogenerada en promedio por toda la matriz de píxeles (/ph);

caracterizado por que

el primer y el segundo proceso de fotointegración se acoplan a través de una tensión de referencia(Vref) común tanto para el primero como para el segundo proceso de fotointegración, de tal manera que siempre que la tensión auxiliar(Va(t))cruza la tensión de referencia(Vref), el primer proceso lineal de fotointegración se detiene, y se establece un valor final del píxel(VpXp) en el que: (a) si la tensión auxiliar(Va(t))cruza la tensión de referencia(Vref) en primer lugar, consecuentemente la corriente local fotogenerada es menor que la corriente media fotogenerada sobre toda la matriz de píxeles(Iph<Iph), por lo que dicho píxel recibe una iluminación local por debajo de la iluminación media, y la tasa de variación del valor final del píxel(VpXp) con respecto a la iluminación local es constante;

(b) si la tensión del píxel (Vpx( t)) cruza la tensión de referencia(Vref) en primer lugar, consecuentemente la corriente local fotogenerada es mayor que la corriente media fotogenerada sobre toda la matriz de píxeles(Iph>Iph) estableciendo queVa(t)evolucione de acuerdo con la iluminación del píxel desde un instante(tpx) en adelante; dicho pixel presenta una iluminación local por encima de la iluminación media, y la tasa de variación del valor final del píxel(VpXp) con respecto a la iluminación local disminuye de forma cuadrática con la iluminación local.

2. El método de operación del píxel según la reivindicación 1, donde cuando la tasa de variación del valor final del píxel(VpXp) con respecto a la iluminación local es constante, la información de la escena se transfiere al plano de la imagen de la misma forma lineal para todos los tonos por debajo de la iluminación media.

3. El método de operación del píxel según la reivindicación 1 o 2, donde al disminuir la tasa de cambio del valor final del píxel(VpXp) con respecto a la iluminación local de forma cuadrática con la iluminación local, los valores de iluminación por encima de la iluminación media se comprimirán progresivamente en el rango de señal disponible hasta que no se transfiera ninguna información de la escena al plano de la imagen debido al ruido o la resolución del circuito de lectura.

4. Un circuito de matriz de píxeles dispuesto para operar de forma asíncrona una vez que los píxeles se reseteen, sin requerir control externo alguno de acuerdo con el método de operación del píxel según cualquiera de las reivindicaciones 1 a 3, que comprende un primer inversor (INV1) y un segundo inversor (INV2); un amplificador operacional en una configuración de buffer; un primer fotodiodo con un áreaA, un segundo fotodiodo con un áreaA /my un tercer fotodiodo con un áreaA/n,dondenymson parámetros mayores que la unidad, caracterizado por que

la tensión de iluminación media (Vav( t)) evoluciona linealmente a partir de una segunda tensión de reseteo(Vrst2) de acuerdo con la iluminación media una vez que el periodo de reseteo se termina, lo cual supone el punto de partida de la fotointegración con obturación global que conduce a la formación de la imagen; en donde la detección de la iluminación media se logra mediante la interconexión de un nodo asociado a la tensión de iluminación media (Vav( t)) en cada píxel con los nodos correspondientes de píxeles vecinos situados al norte, sur, este, y oeste a lo largo de una matriz 2D, dispuesta en una retícula en la que todos los píxeles quedan interconectados;

en donde se calcula la media de las fotocorrientes generadas en los fotodiodos con un áreaA /nsimultáneamente a través de la redistribución de la carga en un primer condensador(C/n)y el amplificador operacional en una configuración de buffer copia la tensión de iluminación media (Vav( t)) en la tensión auxiliar(Va(t))hasta que la tensión del píxel (Vpx( t)) cruza una primera tensión umbral(Vrefi) del primer inversor (INV1), y en este instante, una primera llave (SW1) que se controla mediante la salida del primer inversor (INV1) desconecta la salida del amplificador operacional conectado como buffer de la tensión auxiliar (Va( t)) que continúa evolucionando a partir de ese instante en adelante, de acuerdo con la fotocorriente local generada por el fotodiodo con un áreaA/m ;y

en donde, cuando la tensión auxiliar(Va(t))cruza la segunda tensión umbral(Vref2) del segundo inversor (INV2), la segunda llave (SW2) desconecta el primer fotodiodo con un áreaAde su condensador de sensado (C), estableciendo la tensión del valor final del píxel(VpXp).

5. Un sistema para una imagen con exposición automática (AE) y alto rango dinámico (HDR) simultáneos en una sola toma,caracterizado por querealiza simultáneamente AE y HDR durante la captura de una imagen; y en donde para cada periodo de fotointegración establecido para producir la imagen, un circuito de una matriz de píxeles según la reivindicación 4, ajusta automáticamente su respuesta a una iluminación media en el momento y adapta un mapa de radiación de la escena dentro de un rango de señal del píxel disponible.