ES2954941T3 - Procedimiento y dispositivo para el procesamiento de señales asíncronas generadas por un sensor de luz basado en eventos - Google Patents

Abstract

Un sensor de luz (10) tiene una matriz de elementos sensores, cada uno de los cuales proporciona una secuencia de señal basada en eventos respectiva que incluye eventos producidos de forma asincrónica en función de las variaciones de la luz que incide sobre el elemento sensor y los valores del nivel de luz asociados respectivamente con al menos algunos de los eventos. . El método genera una imagen que comprende píxeles correspondientes espacialmente a los elementos sensores de la matriz y determina un conjunto de píxeles de borde entre los píxeles de la imagen. Los píxeles se seleccionan en respuesta a eventos incluidos en las secuencias de señales basadas en eventos y para cada píxel seleccionado se evalúa una medida de contraste local para decidir si el píxel seleccionado pertenece o no al conjunto de píxeles de borde. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Procedimiento y dispositivo para el procesamiento de señales asíncronas generadas por un sensor de luz basado en eventos

Sector de la técnica

La presente invención se refiere a procedimientos para el procesamiento de señales asíncronas generadas por sensores de luz basados en eventos. También se refiere a dispositivos, más en particular a dispositivos de estimulación, que implementan dichos procedimientos y a su uso en visión artificial y a la gestión de la recuperación visual en pacientes.

Estado de la técnica

A diferencia de las cámaras convencionales que registran imágenes sucesivas en instantes de muestreo regulares, las retinas biológicas transmiten muy poca información redundante sobre la escena a visualizar y de forma asíncrona. Se han desarrollado sensores de luz basados en eventos que generan señales asíncronas a partir de esa observación en retinas biológicas.

Un sensor de luz basado en eventos que genera señales asíncronas suministra datos digitales comprimidos en forma de eventos. Se puede encontrar una presentación de dichos sensores en "Activity-Driven, Event-Based Vision Sensors", T. Delbriick, et al., Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS), pp. 2426-2429 o en "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel- Level Video Compression and Time-Domain CDS ", Posch et al., 2011, IEEE Journal of Solid-State Circuits, vol. 46, núm. 1, pp. 259-275. Los sensores de visión basados en eventos tienen la ventaja de eliminar la redundancia, reducir el tiempo de latencia y aumentar el rango dinámico con respecto a las cámaras convencionales.

La salida de dicho sensor de luz basado en eventos puede consistir, para cada dirección de píxel, en una secuencia de eventos asíncronos que representan cambios en la reflectancia de la escena en el momento en que se producen. Cada píxel del sensor es independiente y detecta cambios de intensidad superiores a un umbral desde la emisión del último evento (por ejemplo, un contraste del 15 % sobre el logaritmo de la intensidad). Cuando el cambio de intensidad sobrepasa el umbral establecido, el píxel genera un evento de ENCENDIDO o APAGADO según aumente o disminuya la intensidad. Determinados sensores de luz basados en eventos asocian los eventos detectados con mediciones de intensidad luminosa. Dado que el sensor no se muestrea en un reloj como una cámara convencional, puede tener en cuenta la secuencia de eventos con una precisión de tiempo muy grande (por ejemplo, de alrededor de 1 ms). Si se usa un sensor de este tipo para reconstruir una secuencia de imágenes, se puede lograr una velocidad de trama de imagen de varios kilohercios, en comparación con unas pocas decenas de hercios para las cámaras convencionales.

Los sensores de luz basados en eventos tienen perspectivas prometedoras, entre otros, en el campo de la visión artificial y en el campo de la recuperación de la visión (véase, por ej., la publicación internacional WO 2012/153073 A1).

La retina está compuesta por fotorreceptores, que son neuronas altamente especializadas que son responsables de la fotosensibilidad de la retina por fototransducción, es decir, la conversión de la luz en señales eléctricas y químicas que propagan una cascada de eventos dentro del sistema visual, generando en última instancia una representación del mundo. En la retina de los vertebrados, la fototransducción se inicia mediante la activación de la proteína receptora sensible a la luz (proteína fotorreactiva), la rodopsina.

La pérdida o degeneración de fotorreceptores, tales como en el caso de la retinitis pigmentosa (RP) o la degeneración macular (MD), compromete gravemente, si no inhibe por completo, la fototransducción de la información visual dentro de la retina. La pérdida de células fotorreceptoras y/o la pérdida de la función de una célula fotorreceptora son las causas principales de la disminución de la agudeza visual, la disminución de la sensibilidad a la luz y la ceguera.

Actualmente se están desarrollando varios planteamientos terapéuticos dedicados a la recuperación de la visión en pacientes que padecen enfermedades degenerativas de la retina (Scholl et al., 2016, Science Translational Medicine, 8 (368), 368rv6).

Por ejemplo, se han desarrollado sistemas de prótesis visuales que comprenden un implante de retina que son herramientas útiles para restablecer, por lo menos parcialmente, una percepción visual modesta y un sentido de la orientación en usuarios ciegos y con problemas de visión al aprovechar dicho hecho de que, aunque partes del tejido retiniano se han degenerado, la mayor parte de la retina puede permanecer intacta y aún puede ser estimulada directamente por estímulos eléctricos dependientes de la luz. Típicamente, el implante de retina se implanta en el ojo del paciente, lo que provoca la excitación eléctrica de las células neuronales restantes tras la estimulación con luz. Al ser estimuladas, estas células neuronales restantes transmiten los impulsos eléctricos inducidos artificialmente a la parte visual del cerebro a través del nervio óptico.

Los implantes de retina se pueden dividir ampliamente en dos categorías: epi y subretinianos (Lin et al., 2015, Retinal prostheses in degenerative retinal diseases, J Chin Med Assoc.; 78(9):501-5). Los dispositivos epirretinianos se colocan sobre o cerca de la superficie interna de la retina, es decir, el lado de la retina que se expone primero a la luz incidente y a lo largo del cual pasan las fibras nerviosas de las células ganglionares en su camino hacia el nervio óptico. Los implantes epirretinianos típicamente comprenden un chip con elementos que pueden recibir una señal de entrada (p. ej., luz infrarroja) proyectada o enviada por un dispositivo extraocular (típicamente una cámara y un circuito microelectrónico) para convertir dicha señal en estímulos eléctricos mediante una pluralidad de electrodos de estimulación para estimular las células retinianas adyacentes al chip, con el fin de recuperar o mejorar la visión de pacientes ciegos o parcialmente ciegos. Por el contrario, los dispositivos subretinianos se colocan debajo de la retina, entre la retina y el epitelio pigmentario de la retina subyacente u otros tejidos más profundos; si bien estos dispositivos subretinianos se diferencian de los sistemas epirretinianos, también se basan en el uso de elementos que pueden recibir una señal de entrada (p. ej., luz infrarroja) proyectada o enviada por un dispositivo extraocular.

De forma alternativa, se ha propuesto recuperar la fotosensibilidad de la retina de un sujeto mediante el control de la actividad de poblaciones definidas de neuronas mediante tecnología de ingeniería genética y neuroingeniería denominada optogenética. A diferencia de la terapia génica tradicional que intenta sustituir o reparar un gen defectuoso o eludir el defecto genético a través de la corrección de la deficiencia o disfunción de proteínas los planteamientos optogenéticos se pueden usar para dotar a las células normalmente no fotosensibles de la retina con la capacidad de responden a la luz, con lo que se recupera una visión útil para el paciente.

La optogenética (Deisseroth. Nat Methods 8 (1): 26-9, 2011) se refiere a la combinación de genética y óptica para controlar eventos bien definidos dentro de células específicas de tejido vivo. Consiste en (i) modificar genéticamente las células diana (p. ej., las células ganglionares de la retina (CGR) o los fotorreceptores restantes) para hacerlas sensibles a la luz mediante la expresión de proteínas fotorreactivas exógenas (p. ej., opsina), especialmente en la membrana celular, y (ii) proporcionar un dispositivo de iluminación que puede proporcionar luz a dichas proteínas fotorreactivas.

En las publicaciones internacionales WO 2007/024391, WO 2008/022772 o WO 2009/127705 se proporcionan ejemplos de proteínas fotorreactivas exógenas que describen el uso de genes de opsina derivados de plantas y organismos microbianos (p. ej., arqueobacterias, bacterias y hongos) que codifican bombas y canales de iones activados por luz (p. ej., canalrodopsina-2 [ChR2]; halorodopsina [NpHR]), diseñados para la expresión en neuronas de mamíferos y que pueden dirigirse genéticamente a poblaciones neuronales específicas usando vectores virales. Cuando se exponen a la luz con la longitud de onda adecuada, los potenciales de acción pueden activarse en las neuronas que expresan opsina, con lo que confieren sensibilidad a la luz a estas células. De forma similar, la publicación internacional WO 2013/071231 divulga nuevas rodopsinas de canal, Chronos y Chrimson, que tienen espectros de activación diferentes entre sí y del estado de la técnica (p. ej., ChR2/VChR1), y permiten usar múltiples y distintas longitudes de onda de luz para despolarizar diferentes conjuntos de células en el mismo tejido, expresando canales con diferentes espectros de activación expresados genéticamente en diferentes células, y luego iluminando el tejido con diferentes colores de luz.

La optogenética es una herramienta extremadamente potente para la activación/inhibición neuronal selectiva que puede, por ejemplo, usarse para recuperar funciones neuronales en animales vivos, incluidos los humanos (Boyden et al., 2005, Nature Neuroscience 8 (9): 1263-68), particularmente en el ojo (Busskamp et al., 2012, Gene Therapy 19 (2): 169-75). La terapia optogenética alberga la promesa de recuperar la función visual en pacientes afectados por enfermedades degenerativas de la retina, sin embargo, la sensibilidad a la luz de la molécula que media las respuestas a la luz es mucho menor que la de las opsinas endógenas, por lo que se espera una fotoestimulación limitada o nula en condiciones ambientales naturales. Nagel et al. (2003, Proceedings of the National Academy of Sciences 100 (24): 13940-45) o Klapoetke et al. (2014, Nature Methods 11 (3): 338-46) han demostrado que las longitudes de onda de luz seleccionadas deben estar cerca de las longitudes de onda óptimas de las proteínas fotorreactivas y Asrican et al. (2013, Front Neural Circuits, 2013, 7:160; Busskamp et al. 2012, Gene Therapy 19 (2): 169-75) que estas proteínas fotorreactivas tienen una muy baja sensibilidad a la luz. Por lo tanto, para obtener un nivel mínimo de activación de la proteína por la luz, la intensidad de la luz recibida por la célula o proteína diana debe estar por encima de un valor mínimo (Barrett et al., 2014, Visual Neuroscience 31 (4-5): 345- 354). Como consecuencia, es obligatorio un dispositivo externo que proporcione suficiente irradiación en la longitud de onda correcta.

En consecuencia, tanto los implantes de retina como las terapias optogenéticas se basan en dos componentes principales. El primer componente actúa directamente a nivel de la retina, puede recuperar por lo menos parcialmente la sensibilidad a la luz y, por lo tanto, transducir los fotones recibidos (es decir, la señal de entrada) en corrientes neuronales: este primer componente corresponde al implante en los sistemas de prótesis retinianas y a la proteína fotorreactiva introducida genéticamente y expresada en las células de la retina en terapias optogenéticas.

El segundo componente se usa para codificar información visual, normalmente adquirida a través de una cámara o mediante conjuntos de fotodiodos, y traducirla en la señal de entrada que necesita el primer componente. En los implantes de retina, la señal de entrada puede ser una corriente suministrada a la capa de la retina mediante una matriz de electrodos activos (véase, por ej., H. C. Stronks y G. Dagnelie: "The functional performance of the Argus II retinal prosthesis", Expert review of medical devices, vol. 11, n.° 1, pp. 23-30, 2014), o luz, p. ej., pulso de luz, luz infrarroja, que puede activar componentes pasivos (ver, p. ej., A. Asher, et al., "Image processing for a highresolution optoelectronic retinal prosthesis", IEEE Transactions on Biomedical Engineering, vol. 54, n.° 6, pp. 993­ 1004, 2007). Cuando se usa optogenética, la señal de entrada es luz, suministrada a la intensidad y longitud de onda correctas requeridas para activar la proteína fotorreactiva seleccionada. Independientemente del planteamiento usado para recuperar la visión, se necesita un dispositivo de estimulación que pueda codificar información visual en tiempo real y transmitir dicha señal de entrada. Más en particular, cuando dicha señal de entrada es luminosa, puede ser generada por un dispositivo de estimulación que comprende un extremo frontal visual, una unidad de procesamiento de señales y un dispositivo de proyección. Preferiblemente, dicho extremo frontal visual es un sensor de luz basado en eventos que genera señales asíncronas.

Para suministrar la señal de entrada que necesita el primer componente, es deseable proponer procedimientos eficaces de procesamiento de señales aplicables a señales asíncronas. Dichos procedimientos de procesamiento de señales se implementan mediante dicha unidad de procesamiento de señales.

Los algoritmos de estimulación usados para dirigirse específicamente a diferentes poblaciones de células, a fin de imitar sus respuestas características para recuperar correctamente sus funcionalidades, se han descrito para la optogenética (véase, por ejemplo, Galluppi et al., 2017, A stimulation platform for optogenetic and bionic vision restoration, IEEE international symposium on circuits and systems (ISCAS). Estos algoritmos de estimulación que pueden proporcionar estimulación en tiempo real imponen restricciones, en particular cuando la resolución deseada es alta, como en el caso de la optogenética, donde la transfección puede tener como diana a cientos de miles de células. Gracias a los avances tecnológicos en el aumento del número de electrodos implantables, los implantes de retina comparten el mismo problema. Por ejemplo, en el artículo mencionado anteriormente "Image processing for a high-resolution optoelectronic retinal prosthesis", Asher et al. desarrollaron algoritmos diseñados para estimular las células bipolares en la fóvea y lo implementaron en un ordenador estándar. Contemplan como salida una pantalla LCD iluminada con pulsos de luz infrarroja, que luego puede ser recibida por el implante. Para estimular correctamente las células bipolares, implementan algoritmos que mejoran los bordes espaciales y los cambios temporales, y organizan el componente electroluminiscente de su dispositivo de estimulación. Se espera que estos algoritmos funcionen en tiempo real, con una velocidad de trama de 25 Hz, en una alimentación visual proporcionada por una cámara VGA. La mejora de los bordes se realiza imitando la respuesta centro-alrededor de las células bipolares, modelada como un filtro de diferencia gaussiana. Posteriormente, la redundancia de datos se reduce al actualizar los píxeles de salida solo cuando los píxeles de entrada cambian significativamente, según se evalúa al comparar tramas posteriores. Los píxeles de salida también se actualizan solo si su valor sobrepasa un umbral predefinido. Es importante destacar que presentan una compensación en el rendimiento, con un aumento de la velocidad de ejecución para umbrales más grandes, ya que es necesario evaluar menos píxeles de entrada. Esto se traduce sin embargo en un mayor error en la imagen de salida. Finalmente, introdujeron un mapa de filtros temporales para imitar la entrada correcta, en términos de dinámica temporal, para células bipolares. Esto se hace evaluando los valores de los píxeles en un intervalo de tiempo dado; por lo tanto, todas las tramas correspondientes deben mantenerse en la memoria, para que puedan usarse por la capa de filtrado temporal.

No obstante, este planteamiento de la técnica anterior no se adapta bien a las señales asíncronas generadas por sensores de luz basados en eventos. La salida nativa del sensor de luz basado en eventos es una serie de eventos: cada píxel responde con un evento cuando detecta un cambio de luz local [Posch et al., 2011 - supra)]. Este modo de estimulación, cercano al funcionamiento natural de las células de la retina humana, es por lo tanto un candidato natural para tratar las degeneraciones de la retina donde las CGR aún son funcionales o modificadas optogenéticamente. No obstante, una limitación de este sistema es que se requiere movimiento, puesto que, si el sensor no se mueve o si no hay ningún objeto en movimiento en la escena, no se produce ningún evento, los objetos fijos desaparecen, ya que no contienen información novedosa. Si la cabeza está fija, dicho estímulo es adecuado para las células de parasol en la periferia de la retina, que responden de forma transitoria al cambio de luz; pero esto no es adecuado para estimular las células enanas, que presentan una actividad sostenida siempre y cuando exista una diferencia en su campo receptivo. Esto significa que, cuando la cabeza está fija, en lugar de tener un solo evento, los eventos deben producirse incluso cuando un borde no se mueve.

Por lo tanto, se necesita un procedimiento de procesamiento de señales específico que proporcione una estimulación sostenida a las células diana siempre que haya un borde, ya sea que se mueva o no. Este modo de estimulación es particularmente relevante cuando se dirige a las neuronas de la fóvea, en las que el 90 % de las CGR son células enanas [Curcio y Allen, 1990, "Topography of ganglion cells in human retina", The Journal of Comparative Neurology, vol. 300, n.° 1, pp. 5-25], o cuando se dirige a células bipolares [Asher et al., 2007, "Image processing for a high-resolution optoelectronic retinal prosthesis", IEEE Transactions on Biomedical Engineering, vol.

54, n.° 6, pp. 993-1004] Ieng Sio-Hoi et al.: "Asynchronous Neuromorphic Event-Driven Image Filtering" publicado en Proc. del iEe E, vol. 102, n.° 10, el 1 de octubre de 2014, páginas 1485-1499 y Brandli Christian et al: "LiSeD - An event-based line segment detector", publicado en proc. de la 2nd International Conference on Event-Based Control, Communication, and Signal Processing (EBCCSP), del 13 de junio de 2016, en las páginas 1 a 7, se divulgan procedimientos para la detección de bordes en imágenes basadas en eventos. El documento EP 3089111 A1 divulga el mantenimiento de patrones estáticos (borde) para sensores basados en eventos.

Los autores de la invención actualmente han desarrollado un procedimiento para procesar señales asíncronas generadas por un sensor de luz que permite detectar contornos en escenas observadas, especialmente cuando el sensor de luz no se mueve o si no hay ningún objeto en movimiento en la escena. Esta detección de contornos puede tener diversas aplicaciones, por ejemplo, para el reconocimiento de patrones. De particular interés aquí, aunque sin limitación, es la aplicación a la recuperación de la visión.

En consecuencia, un objeto de la presente invención es proponer un procedimiento de procesamiento de señales para detectar contornos en escenas observadas en el campo de visión de un sensor de luz basado en eventos que genera señales asíncronas, que puede ser útil, entre otras, en aplicaciones de recuperación de la visión de los pacientes.

Objeto de la invención

Se divulga un procedimiento de procesamiento de señales asíncronas generadas por un sensor de luz basado en eventos que tiene una matriz de elementos detectores para determinar la representación del contorno en escenas según la reivindicación 1.

En una realización, el conjunto de píxeles del borde se determina repetidamente, y los píxeles seleccionados comprenden cada píxel de la imagen correspondiente a un elemento detector desde el cual la secuencia de señales basada en eventos recibida incluye por lo menos un evento después de la determinación previa del conjunto de píxeles del borde.

Los píxeles seleccionados pueden incluir además los píxeles del conjunto previamente determinado de píxeles del borde. De forma alternativa, los píxeles seleccionados consisten solamente en los píxeles seleccionados en respuesta a eventos incluidos en las respectivas secuencias de señales basadas en eventos recibidas de los elementos detectores.

En una realización, el conjunto de píxeles del borde se determina periódicamente, con un período en un intervalo de 1 a 100 milisegundos, más preferiblemente en un intervalo de 10 a 100 milisegundos.

Una representación del contorno según la invención se puede emitir como una matriz de bits variables en el tiempo. En una representación de este tipo, cada uno de los bits variables en el tiempo de la representación del contorno corresponde espacialmente a un píxel respectivo de la imagen y tiene un primer valor cuando el píxel respectivo de la imagen pertenece al conjunto de píxeles del borde, y un segundo valor cuando el píxel respectivo de la imagen no pertenece al conjunto de píxeles del borde.

En la aplicación a la recuperación de la visión, la representación del contorno puede usarse para controlar un modulador de luz tal como un dispositivo de microespejo digital (DMD). Según una realización preferida, dicho modulador de luz forma parte del dispositivo de proyección de un dispositivo de estimulación como se menciona a continuación. De forma alternativa, puede transmitirse (p. ej., mediante luz infrarroja) a un implante de retina para estimular las células de la retina.

Otro aspecto de la presente invención se refiere a una unidad de procesamiento de señales según la reivindicación 9 que implementa el procedimiento anterior.

Otro aspecto más de la presente invención se refiere a un producto de programa informático según la reivindicación 10 que comprende instrucciones almacenadas para ser ejecutadas en un procesador asociado con un sensor de luz que tiene una matriz de elementos detectores, para llevar a cabo el procedimiento anterior.

Otro aspecto de la presente invención se refiere a un dispositivo de estimulación que comprende un extremo frontal visual, una unidad de procesamiento de señales de la invención y un dispositivo de proyección.

Según una realización preferida, dicho extremo frontal visual consiste en un sensor de luz basado en eventos, más específicamente un sensor de luz basado en eventos que tiene una matriz de elementos detectores. Según una realización especial, es una retina de silicio neuromórfica ATIS (sensor de imágenes asíncrono basado en el tiempo) (Posch et al., 2011, "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time- Domain ^c D^s ," IEEE Journal of Solid-State Circuits, vol. 46, n.° 1, pp. 259-275).

Según una realización preferida, dicha unidad de procesamiento consiste en un sistema Linux integrado basado en ARM que ejecuta una cadena de filtrado basada en eventos. El sistema se comunica con una placa FPGA que maneja la gestión de bajo nivel del ATIS y el DMD a través de un enlace PCI-e y se abstrae en un controlador de Linux. La información recibida del sensor de luz basado en eventos se pasa a través de una canalización de filtrado y luego se envía para controlar un modulador de luz, tal como un dispositivo de microespejo digital (DMD), para su proyección. Esta canalización de filtro maneja la reducción de ruido, el tamaño de la porción de la retina a iluminar y la dinámica del pulso de luz para cada píxel, para cumplir con las propiedades electrofisiológicas de los canales iónicos reactivados en la célula diana. La canalización de filtrado también maneja los procedimientos descritos anteriormente para procesar señales asíncronas generadas por un sensor de luz.

Según una realización preferida, dicho dispositivo de protección comprende una fuente de luz asociada con un proyector que controla dicha fuente de luz (p. ej., un proyector Texas Instrument LightCrafter) y un modulador de luz tal como un dispositivo de microespejo digital (DMD) (p. ej., dispositivo de microespejo digital DLP3000) (Sampsell, 1994, "Digital micromirror device and its application to projection displays", Journal of Vacuum Science and Technology B: Microelectronics and Nanometer Structures, vol. 12, n.° 6, pág. 3242). El DMD comprende una matriz de espejos de 680x604 que puede conmutar cada 0,7 ms entre dos posiciones angulares discretas denominadas ENCENDIDO y APAGADO, y la posición de ENCENDIDO permite reflejar la luz entrante hacia la diana. Los eventos procesados se codifican activando el espejo correspondiente. Según otra realización, dicho dispositivo de proyección es el dispositivo divulgado en la solicitud de patente PCT/EP2017/064827.

La invención se refiere además al uso de un dispositivo de estimulación de la invención en la gestión de la recuperación visual en pacientes que padecen enfermedades degenerativas de la retina. Según una realización especial, el dispositivo de estimulación de la invención comprende además medios que permiten a dicho paciente seleccionar el uso del dispositivo de estimulación según el modo de representación del contorno o el modo de representación de eventos en base a la condición de uso: si el sensor no se mueve o si no hay ningún objeto en movimiento en la escena (p. ej., al leer), el paciente puede seleccionar el modo de representación del contorno y si el sensor se mueve (p. ej., al caminar en un entorno natural) o si existen objetos en movimiento en la escena el paciente puede seleccionar el modo de representación de eventos. Otras características y ventajas del procedimiento divulgado en la presente memoria serán evidentes a partir de la siguiente descripción de realizaciones no limitativas, en referencia a las figuras adjuntas:

Descripción de las figuras

La figura 1 es un diagrama de bloques de un sistema al que se puede aplicar una realización de la invención.

La figura 2 es un diagrama de bloques de un sensor de luz asíncrono del tipo ATIS.

Las figuras 3A, 3B y 3C son imágenes con objeto de ilustrar una salida del procedimiento de procesamiento de señales en una realización ejemplar.

La figura 4 es un diagrama de flujo que ilustra las etapas de una realización del procedimiento para procesar señales asíncronas.

Descripción detallada de la invención

El sistema que se muestra en la figura 1 comprende un sensor 10 de visión asíncrona basado en eventos colocado frente a una escena y que recibe el flujo de luz de la escena a través de una óptica 15 de adquisición que comprende una o más lentes. El sensor 10 se coloca en el plano de imagen de la óptica 15 de adquisición. Comprende un grupo de elementos fotosensibles organizados en una matriz de píxeles. Cada píxel correspondiente a un elemento fotosensible produce eventos sucesivos dependiendo de las variaciones de luz en la escena.

Un procesador 20 procesa la información asíncrona procedente del sensor 10, es decir, las secuencias de eventos ev(p, t) recibidas asíncronamente desde los elementos fotosensibles p, para controlar un dispositivo 30 de salida (p. ej., una unidad de procesamiento de señales). El procesador 20 funciona con señales digitales. Puede implementarse programando un procesador adecuado. También es posible una implementación en hardware del procesador 20 usando circuitos lógicos especializados (ASIC, FPGA, ...). El sistema de la figura 1 se usa para la recuperación de la visión. El dispositivo 30 de salida puede ser un implante de retina (incluidos implantes epi y subretinianos) o un dispositivo de proyección. De forma alternativa, como se ilustra en la figura 1, el dispositivo 30 de salida forma una imagen para proyectarse en el ojo de un paciente a través de una óptica 35 de proyección que comprende una o más lentes.

Preferiblemente, el dispositivo 30 de salida comprende un modulador de luz, por ejemplo, un DMD 30 que aplica modulación espacial a la luz desde una fuente 36 que puede ser una fuente basada en LED. La óptica 35 transmite la luz modulada a las células de la retina En una aplicación del procedimiento, las células de la retina que reciben la luz modulada se han manipulado genéticamente para expresar la proteína fotorreactiva. Así, la recepción de la luz modulada provocará estímulos a través del nervio óptico del paciente para recuperar alguna forma de visión. De forma alternativa, la luz modulada se puede transmitir al implante de retina (incluidos los implantes epi y subretinianos).

El sensor 10 de luz y el dispositivo 30 de salida pueden montarse, junto con el procesador 20 y la óptica 15, 35, en gafas para que las lleve el paciente. Otras arquitecturas son posibles. El procesador 20 puede ser un componente separado o puede formar parte del mismo componente que el sensor 10 y/o el dispositivo 30 de salida. Para cada elemento detector p de la matriz, el sensor 10 genera una secuencia de señales asíncronas basadas en eventos usando las variaciones de luz detectadas por el elemento detector en la escena que aparece en el campo de visión del sensor.

El sensor asíncrono lleva a cabo una adquisición para emitir información que puede ser en forma de una sucesión de instantes t^k (k = 0, 1, 2, ...) en la que se alcanza un umbral de activación Q. Cada vez que esta intensidad aumenta en una cantidad igual al umbral de activación Q comenzando a partir de lo que era en el tiempo t^k, se identifica un nuevo instante t^k+1 y se emite un pico en este instante t^k+1. Simétricamente, cada vez que la intensidad observada por el elemento detector disminuye en la cantidad Q comenzando a partir de lo que era en el tiempo t^k, un se identifica nuevo instante t^k+1 y se emite un pico en este instante t^k+1. La secuencia de señales asíncrona para el elemento detector incluye una sucesión de picos situados a lo largo del tiempo en los instantes t^k dependiendo del perfil de luz para el elemento detector. La salida del sensor 10 tiene entonces la forma de una representación de eventos de dirección (AER).

El umbral de activación Q puede ser fijo o adaptarse en función de la intensidad luminosa. Por ejemplo, el umbral se puede comparar con las variaciones en el logaritmo de la intensidad luminosa para generar eventos cuando se sobrepasa.

Un ejemplo de un sensor asíncrono que se puede usar ventajosamente en el contexto de la presente invención es el sensor de imagen asíncrono basado en el tiempo (ATIS) del cual se da una descripción en el artículo "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS", C. Posch, et al., IEEE Journal of Solid-State Circuits, vol. 46, n.° 1, enero de 2011, pp. 259-275. La figura 2 muestra el principio del ATIS. Un elemento 16 de detección de la matriz que constituye el sensor comprende dos elementos 17a, 17b fotosensibles tales como fotodiodos, asociados respectivamente a circuitos 18a, 18b electrónicos de detección. El sensor 17a y su circuito 18a producen un pico P⁰ cuando la intensidad luminosa recibida por el fotodiodo 17a varía en una cantidad predefinida Q. El pico P⁰ que marca este cambio de intensidad dispara el circuito 18b electrónico asociado al otro fotodiodo 17b. Este circuito 18b genera entonces un primer pico P¹ seguido de un segundo pico P² tan pronto como el fotodiodo 17b recibe una determinada cantidad de luz (número de fotones). La diferencia de tiempo ót entre los picos P¹ y P² es inversamente proporcional a la intensidad luminosa recibida por el elemento 16 de detección justo después de la aparición del pico P⁰.

La información asíncrona que se origina en el ATIS es una forma de representación AER, que comprende dos trenes de picos para cada elemento detector: el primer tren de picos P⁰ indica los eventos, concretamente, los instantes en que la intensidad luminosa ha cambiado más allá del umbral de detección, mientras que el segundo tren comprende los picos P¹ y P² teniendo entre ellos una diferencia de tiempo ót que indica los valores de nivel de luz correspondientes.

La secuencia de señales procedentes de un elemento detector de dirección p en la matriz del ATIS está compuesta por eventos ev(p, t) que comprenden dos tipos de información: la información de tiempo dada por la posición del pico P⁰ , que da el instante t del evento, y la información del nivel de luz dada por la diferencia de tiempo Ót entre los picos P¹ y P² asociados con el pico P⁰.

La información del nivel de luz de los diferentes elementos detectores de la matriz se puede combinar para formar una imagen de la escena que es vista por el sensor 10 de luz. En general, la imagen tiene un píxel p por cada elemento detector de la matriz, y el valor del píxel I(p) viene dado por el valor del nivel de luz (inversamente proporcional a ót) asociado con el más reciente procedente del elemento detector. Sin embargo, si se aplica algún filtrado espacial, la resolución de la imagen puede ser diferente de la de los elementos detectores de luz del sensor 10.

La figura 3A ilustra una imagen en escala de grises (que muestra un abrigo sobre una silla) construida a partir de la señal de salida de un ATIS.

Cuando la escena cambia (por ejemplo, se gira la silla), el sensor genera picos P⁰ que se pueden ver como puntos en una "representación de eventos" como se ilustra en la figura 3B. Los puntos pueden visualizarse activando los microespejos correspondientes del DMD 30 si se usa un dispositivo de salida de este tipo que comprende un modulador de luz. Si el ATIS y el DMD no tienen la misma resolución espacial, se pueden aplicar algunos filtros y/o extrapolaciones antes de visualizar los puntos.

La representación de eventos puede generarse como una matriz [V(p)] de bits variables en el tiempo V(p), cada uno de los cuales corresponde espacialmente a un píxel p respectivo de la imagen. Un bit variable en el tiempo V(p) de la representación de eventos, correspondiente a un píxel p, tiene un primer valor, p. ej., “1”, cuando existe un evento en la secuencia de señales basada en eventos recibida desde el elemento detector del sensor 10 que corresponde al píxel p, y un segundo valor, p. ej., “0” en caso contrario.

Dicha representación de eventos corresponde a la salida nativa de la retina de silicio ATIS como una serie de eventos inspirados por la respuesta al contraste de las células ganglionares de la retina. Estas neuronas responden de forma transitoria (y con baja latencia) al encendido/desplazamiento de la luz o bordes en movimiento. Lo mismo sucede con un elemento detector del ATIS, que responde con un evento (pico) cuando detecta un cambio de luz local. Esta estimulación desencadenada por eventos es, por lo tanto, una candidata natural para tratar las degeneraciones en la periferia de la retina, donde las células ganglionares de parasol son dominantes. Cuando el sensor 10 de luz no se mueve, los objetos fijos en la escena desaparecen del contenido visualizado en la representación de eventos, ya que no llevan información novedosa. Si bien esta es una estimulación adecuada para las células de parasol, no se adapta a la forma en que responden las células enanas, ya que tienen un rendimiento sostenido siempre y cuando haya una diferencia en su campo receptivo. Esto significa que, en lugar de tener un solo evento (o emitir un solo potencial de acción), los estímulos deben producirse incluso cuando los bordes no se mueven.

Para producir una excitación relacionada, adecuada para células enanas, el dispositivo 30 de salida puede controlarse también para visualizar contornos de objetos visibles en la escena en una "representación del contorno". El procedimiento divulgado en la presente memoria es adecuado para determinar una representación del contorno de este tipo a partir de la salida de un sensor de luz basado en eventos asíncronos.

La representación del contorno también se puede generar como una matriz [E(p)] de bits variables en el tiempo E(p), cada uno de los cuales corresponde espacialmente a un píxel p respectivo de la imagen. Un bit variable en el tiempo E(p) de la representación del contorno, correspondiente a un píxel p de la imagen, tiene un primer valor, p. ej., "1", cuando se determina que el píxel p pertenece a un conjunto de píxeles del borde identificados en la escena, y un segundo valor, p. ej., "0" en caso contrario.

La figura 3C, para comparar con las figuras 3A y 3B, muestra los píxeles del borde como puntos que se visualizan en la representación del contorno. Los bordes fijos visibles en la escena (taza en el primer plano, muebles en el segundo plano, marco en la pared, etc.) aparecen en la representación del contorno y no en la representación de eventos. Por otro lado, muchos puntos incluidos en la representación de eventos en áreas de bajo contraste de imagen no están presentes en la representación del contorno.

Para controlar el dispositivo 30 de salida y más en particular el modulador de luz incluido en él, el procesador 20 puede emitir la representación de eventos, la representación del contorno o ambas, dependiendo de qué tipo(s) de células retinianas necesiten ser estimuladas.

El procesamiento de las secuencias de señales producidas a partir de los elementos 16 detectores del sensor 10 de luz puede ser como se ilustra en la figura 4 en el caso de que se visualicen tanto las representaciones de eventos como de contorno. Tras la recepción de un evento ev(p, t) (etapa 40 de la figura 4), p. ej., un pico P⁰ como se muestra en la figura 2, el píxel p correspondiente de la imagen en escala de grises se selecciona en la etapa 41. El valor I(p) del píxel seleccionado en la imagen en escala de grises se actualiza usando el valor del nivel de luz contenido en el evento (etapa 42), codificado como la diferencia de tiempo 6t entre dos picos P¹ y P². El bit variable en el tiempo V(p) correspondiente a ese píxel en la matriz de la representación de eventos se establece en 1 en la etapa 43 para visualizar un punto en la posición del píxel en la representación de eventos.

Si el modulador 30 de luz se acciona de forma asíncrona, el píxel p para el que V(p) = 1 en la etapa 43 puede visualizarse inmediatamente. Si el modulador 30 de luz está sincronizado para recibir una trama de bits de entrada periódicamente, la matriz [V(p)] en la que algunos bits se han establecido en 1 durante un período T es proporcionada por el procesador 20 al final de ese período T (prueba 44), para que se visualice la representación de eventos (etapa 45). A continuación, la matriz [V(p)] se restablece a cero en la etapa 46 para acumular otros eventos en el siguiente período T.

La resolución de tiempo para visualizar la representación del contorno en general será más gruesa que la resolución de tiempo para visualizar la representación de eventos. Dicha condición se cumple si la representación de eventos se proporciona de forma asíncrona al modulador 30 de luz mientras que la representación del contorno se proporciona con alguna periodicidad T'.

Si la representación de eventos se proporciona con un período T, la representación de eventos se proporciona con un período T' > T. Por ejemplo, el período T' puede estar en un intervalo de 1 a 100 milisegundos, más en particular en un intervalo de 10 a 100 milisegundos mientras que el período T está en un intervalo de 1 microsegundo a 10 milisegundos, más en particular en un intervalo de 0,1 a 10 milisegundos. Los valores exactos para los períodos T y T' pueden seleccionarse dependiendo del hardware usado como modulador 30 de luz.

Si tras restablecer la matriz [V(p)] en la etapa 46 no ha transcurrido el período actual T' (prueba 47), el procesador 20 vuelve a esperar el siguiente evento ev(p, t). Cuando ha transcurrido el período actual T', se aplica un procesamiento del contorno, ilustrado como un bucle 48-53 en la figura 4.

Ese bucle 48-53 se realiza sobre los píxeles p que se han seleccionado en las etapas 41 durante el período transcurrido T'. El primer píxel p seleccionado, o el siguiente, se considera en la etapa 48 para la evaluación del contraste local en la etapa 49.

En la etapa 53 se pueden usar diversos tipos de medidas de contraste local C. Típicamente, se define un grupo respectivo de píxeles adyacentes para cada píxel seleccionado de la imagen para la evaluación de la medida de contraste local C. Por ejemplo, los píxeles están dispuestos en una matriz cuadrada, el grupo de píxeles adyacentes de un píxel p dado de posición (x, y) puede consistir en los ocho vecinos más cercanos de la matriz. Una vecindad del píxel p se define entonces como el propio píxel y los de su grupo de píxeles adyacentes. La vecindad está hecha de píxeles en las posiciones (x+a, y+p) donde a e 1-1, 0, 11 y p e 1-1, 0, 11. Un ejemplo de medida de contraste local C es el valor absoluto de la diferencia entre el valor máximo Imáx y el valor de píxel mínimo Imín en la vecindad del píxel: C = | Imáx - Imín |. El valor C anterior puede normalizarse con respecto al valor de píxel promedio en la vecindad.

Se pueden usar diversos otros tipos de fórmulas para evaluar el contraste local, por ejemplo, calculando una aproximación del gradiente local de la intensidad de la imagen. Como es conocido en la técnica del procesamiento de señales de imagen, los kernels de Sobel se pueden usar, por ejemplo, para calcular dichas aproximaciones del gradiente.

En la etapa 50, la medida de contraste local calculada en la etapa 49 se compara con un umbral Th para decidir si el píxel p seleccionado pertenece o no a un borde. El valor del umbral Th puede ajustarse dependiendo del contraste que deban tener los bordes visualizados.

Si se sobrepasa el umbral Th en la etapa 50, el píxel p seleccionado se marca como un píxel de borde en la etapa 51 (el bit E(p) de la representación del contorno se establece en "1"). De lo contrario, se marca como un píxel sin borde en la etapa 52 (el bit E(p) se establece en "0").

Siempre que existan píxeles seleccionados para los que aún no se haya evaluado el contraste local (prueba 53), la siguiente iteración en el bucle se realiza volviendo a la etapa 48. Cuando se han considerado y evaluado todos los píxeles seleccionados, finaliza la actualización del conjunto de píxeles del borde después del período T', y el procesador 20 puede proporcionar la representación del contorno [E(p)] al modulador 30 de luz para visualizar (etapa 54).

Después de la etapa 54 de visualización de la representación del contorno, la matriz [E(p)] no se restablece, de modo que el procesador 20 mantiene en memoria los píxeles que se determina que pertenecen a los bordes de la escena. Estos píxeles se visualizarán nuevamente más tarde como parte de la representación del contorno si no se producen cambios de luminancia para generar eventos en su vecindad (sin actualizaciones en las etapas 51-52). Si se producen nuevos eventos en dicha ubicación de píxel, el píxel se seleccionará nuevamente en la etapa 41 y su contraste local se evaluará en la etapa 49 para determinar si todavía pertenece a un borde o no.

La realización que se muestra en la figura 4 corresponde a un caso en el que los píxeles seleccionados evaluados en el bucle de procesamiento del contorno 48-53 consisten solo en aquellos que se seleccionaron en las etapas 41 en respuesta a eventos incluidos en las secuencias de señales basadas en eventos recibidas del sensor 10.

En un caso de este tipo, una implementación alternativa incluye evaluar los contrastes locales C, compararlos con el umbral Th y decidir si el píxel p es o no un píxel de borde (E(p) = 0 o 1) como parte del procesamiento de eventos, por ejemplo, después de la etapa 42.

De forma alternativa, se pueden seleccionar píxeles adicionales para realizar el procesamiento del contorno 48-53 en cada período T'. Si observamos [S(p)] una matriz binaria de los píxeles seleccionados p, la etapa 41 puede consistir en establecer el bit S(p) a 1. Los píxeles controlados en el bucle 48-53 son aquellos para los que S(p) = 1. En una realización, después de visualizar la representación del contorno en la etapa 54, la matriz binaria [S(p)] se inicializa para el siguiente período T' con el valor de los píxeles del borde que se acaban de visualizar, es decir [S(p)] = [E(p)]. En este caso, los píxeles seleccionados que se evalúan en el bucle de procesamiento del contorno 48-53 consisten en aquellos que se seleccionaron en las etapas 41 y también en los píxeles del conjunto previamente determinado de píxeles del borde visualizado en la etapa 54.

Según otra variante, la matriz binaria [S(p)] se restablece a cero después de la etapa 54 para el período siguiente T'. Al final del siguiente período T', la matriz binaria [S(p)] solamente tiene unos en las posiciones de los píxeles donde se recibieron los eventos (etapa 40) durante ese período T'. Antes de realizar el bucle 48-53 después de la etapa 47, se seleccionan píxeles adicionales, concretamente aquellos que son adyacentes a los píxeles seleccionados en las etapas 41. Por ejemplo, para cada píxel p de posición (x, y) para el cual S(p) = 1, también se toma S(p') = 1 antes del bucle 48-53 para todos los píxeles p' de las posiciones (x+a, y+p) donde a e {-1, 0, 1} y p e {-1, 0, 1}. Esto hace posible comprobar si un cambio de luminancia que se produce en un píxel p cambia el estado de borde/no borde de los píxeles adyacentes p'.

El procedimiento descrito anteriormente típicamente se implementa programando el procesador en cualquier lenguaje informático adecuado. El procesador 20 está cargado con instrucciones de código que controlan la ejecución de las etapas como las que se ilustran en la figura 4.

Se apreciará que las realizaciones descritas anteriormente son ilustrativas de la invención divulgada en la presente memoria y que pueden realizarse diversas modificaciones sin apartarse del alcance definido en las reivindicaciones adjuntas.

En particular, el procedimiento de extracción de contornos de la salida de un sensor de luz basado en eventos asíncronos tiene otras aplicaciones además del campo de recuperación de la visión que se ha analizado anteriormente con fines ilustrativos. Por ejemplo, el procedimiento de la invención tiene aplicaciones en el campo de la adquisición o representación en tiempo real en entornos con baja energía y bajos requisitos de ancho de banda de datos/memoria. Mediante el uso de este procedimiento, un sensor basado en eventos no solo puede captar movimientos y cambios rápidos en el entorno, sino que también puede captar características destacadas y cambios lentos en el entorno con un consumo de energía muy bajo y un ancho de banda de datos y memoria muy bajo. Potencialmente, el sensor y el procedimiento se pueden usar en la protección, vigilancia y monitorización de bosques; siendo el cambio rápido la detección de incendios y el movimiento de animales y humanos; siendo el cambio lento la detección y recuento de animales y humanos, vegetación, en vigilancia y monitorización ambiental, siendo el cambio rápido la detección de intrusión; siendo el cambio lento el crecimiento de la vegetación, la detección de la degradación de edificios y el recuento de personas en una multitud, o una cámara instalada en un vehículo, siendo el cambio rápido la monitorización del entorno mientras el vehículo está en movimiento; siendo el cambio lento la detección de peligros y la monitorización del entorno mientras el vehículo está aparcado.

Claims (10)

REIVINDICACIONES

1. Un procedimiento para procesar señales asíncronas generadas por un sensor de luz, teniendo el sensor (10) de luz una matriz de elementos (16) detectores, comprendiendo el procedimiento:

recibir, desde cada elemento detector de la matriz, una secuencia de señales respectiva basada en eventos que incluye eventos producidos asíncronamente en función de las variaciones de la luz que incide sobre el elemento detector y valores de nivel de luz respectivamente asociados con por lo menos algunos de los eventos; generar una imagen que comprende píxeles correspondientes espacialmente a los elementos detectores de la matriz; y

determinar repetidamente un conjunto de píxeles del borde entre los píxeles de la imagen,

en el que generar la imagen comprende actualizar cada píxel de la imagen en base a un valor de nivel de luz asociado con un evento más reciente en la secuencia de señales basada en eventos recibida del elemento detector correspondiente a dicho píxel de la imagen, en el que determinar el conjunto de píxeles del borde comprende: seleccionar píxeles de la imagen, en la que los píxeles seleccionados comprenden píxeles de la imagen correspondientes a elementos detectores de los cuales las secuencias de señales basadas en eventos recibidas incluyen por lo menos un evento después de una determinación previa del conjunto de píxeles del borde, y píxeles del conjunto previamente determinado de píxeles del borde;

evaluar medidas de contraste locales respectivas con respecto a los píxeles seleccionados de la imagen; y decidir si los píxeles seleccionados pertenecen o no al conjunto de píxeles del borde en base a las medidas de contraste locales evaluadas.

2. El procedimiento de la reivindicación 1, en el que los píxeles seleccionados comprenden cada píxel de la imagen correspondiente a un elemento detector desde el cual la secuencia de señales basada en eventos recibida incluye por lo menos un evento después de la determinación previa del conjunto de píxeles del borde.

3. El procedimiento de la reivindicación 2, en el que los píxeles seleccionados incluyen además cada píxel del conjunto previamente determinado de píxeles del borde.

4. El procedimiento de la reivindicación 2, en el que los píxeles seleccionados consisten solamente en los píxeles seleccionados en respuesta a eventos incluidos en las respectivas secuencias de señales basadas en eventos recibidas de los elementos detectores.

5. El procedimiento de cualquiera de las reivindicaciones anteriores, en el que el conjunto de píxeles del borde se determina periódicamente, con un período en un intervalo de 1 a 100 milisegundos, preferiblemente en un intervalo de 10 a 100 milisegundos.

6. El procedimiento de cualquiera de las reivindicaciones anteriores, que comprende además generar una representación del contorno como una matriz ([E(p)]) de bits variables en el tiempo,

en el que cada uno de los bits variables en el tiempo (E(p)) de la representación del contorno corresponde espacialmente a un píxel respectivo de la imagen y tiene un primer valor cuando el píxel respectivo de la imagen pertenece al conjunto de píxeles del borde, y un segundo valor cuando el píxel respectivo de la imagen no pertenece al conjunto de píxeles del borde.

7. El procedimiento de la reivindicación 6, en el que la representación del contorno se usa para controlar un modulador (30) de luz.

8. El procedimiento de la reivindicación 6, en el que la representación del contorno se transmite a un implante de retina para la estimulación de las células de la retina.

9. Una unidad de procesamiento de señales que comprende:

una interfaz para conectarse a un sensor (10) de luz que tiene una matriz de elementos (16) detectores y recibir, desde cada elemento detector de la matriz, una secuencia de señales respectiva basada en eventos que incluye eventos producidos de forma asíncrona en función de las variaciones de la luz incidente en los valores del elemento detector y del nivel de luz respectivamente asociados con por lo menos algunos de los eventos; y

un procesador (20) para generar una imagen que comprende píxeles correspondientes espacialmente a los elementos detectores de la matriz, y determinar repetidamente un conjunto de píxeles del borde entre los píxeles de la imagen,

en el que el procesador (20) está configurado para actualizar un valor de píxel respectivo de cada píxel de la imagen en base a un valor de nivel de luz asociado con un evento más reciente en la secuencia de señales basada en eventos recibida desde el elemento detector correspondiente a dicho píxel de la imagen, en el que el procesador está configurado para determinar el conjunto de píxeles del borde al:

seleccionar píxeles de la imagen, en el que los píxeles seleccionados comprenden píxeles de la imagen correspondientes a elementos detectores de los cuales las secuencias de señales basadas en eventos recibidas incluyen por lo menos un evento después de una determinación previa del conjunto de píxeles del borde, y píxeles del conjunto previamente determinado de píxeles del borde;

evaluar medidas de contraste locales respectivas con respecto a los píxeles seleccionados de la imagen; y decidir si los píxeles seleccionados pertenecen o no al conjunto de píxeles del borde en base a las medidas de contraste locales evaluadas.

10. Un producto de programa informático que comprende instrucciones almacenadas para ser ejecutadas en un procesador (20) asociado con un sensor (10) de luz que tiene una matriz de elementos (16) detectores, en el que la ejecución de las instrucciones por parte del procesador (20) controla las etapas de:

recibir, desde cada elemento detector de la matriz, una secuencia de señales respectiva basada en eventos que incluye eventos producidos asíncronamente en función de las variaciones de la luz que incide sobre el elemento detector y valores de nivel de luz respectivamente asociados con por lo menos algunos de los eventos; generar una imagen que comprende píxeles correspondientes espacialmente a los elementos detectores de la matriz; y

determinar repetidamente un conjunto de píxeles del borde entre los píxeles de la imagen,

en el que generar la imagen comprende actualizar cada píxel de la imagen en base a un valor de nivel de luz asociado con un evento más reciente en la secuencia de señales basada en eventos recibida del elemento detector correspondiente a dicho píxel de la imagen, en el que determinar el conjunto de píxeles del borde comprende: seleccionar píxeles de la imagen, en el que los píxeles seleccionados comprenden píxeles de la imagen correspondientes a elementos detectores de los cuales las secuencias de señales basadas en eventos recibidas incluyen por lo menos un evento después de una determinación previa del conjunto de píxeles del borde, y píxeles del conjunto previamente determinado de píxeles del borde;

evaluar medidas de contraste locales respectivas con respecto a los píxeles seleccionados de la imagen; y decidir si los píxeles seleccionados pertenecen o no al conjunto de píxeles del borde en base a las medidas de contraste locales evaluadas.