ES2981714T3 - Sistema de sustitución sensorial mediante estimulación táctil asíncrona - Google Patents

Abstract

El sistema de sustitución sensorial comprende una matriz portátil de excitadores (1) que puede ser llevada por un usuario de tal manera que los excitadores (5) se coloquen contra la piel de un usuario, así como un circuito de control (8) para los excitadores de la matriz. Una fuente de señal asincrónica (10) proporciona al circuito de control una señal asincrónica representativa de información visual organizada según una matriz de píxeles. Esta señal asincrónica comprende, para cada píxel, eventos sucesivos asociados de manera asincrónica a dicho píxel. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Sistema de sustitución sensorial mediante estimulación táctil asíncrona

Sector de la técnica

La presente invención se refiere a los sistemas de sustitución sensorial, y en particular a los que proporcionan estímulos táctiles para presentar información visual a los usuarios, en particular, con discapacidad visual.

Estado de la técnica

Las neuroprótesis de retina son sistemas que estimulan el cerebro para compensar la falta de información visual en personas que sufren pérdida de visión.

Estas neuroprótesis se colocan de forma invasiva y estimulan eléctricamente las células de la retina aguas arriba del nervio óptico. Las operaciones necesarias para su colocación y posterior utilización son costosas y pueden poner en peligro la salud de los usuarios, debido a la necesaria presencia de un cuerpo extraño.

Las soluciones por mutación genética para hacer fotosensibles las células de la retina también son invasivas, ya que una vez realizada la mutación no hay vuelta atrás.

Por otro lado, estos dispositivos sólo funcionan si el nervio óptico del usuario está intacto. Por tanto, no pueden ayudar a los pacientes que sufren glaucoma o a los ciegos de nacimiento. Por último, la estimulación cortical aún está poco desarrollada y la investigación necesitará tiempo para perfeccionar este tipo de aplicación, que siempre será invasiva. Estas cuestiones también afectan a las distintas neuroprótesis implantables, como un oído artificial o un sensor táctil para personas con pérdida de sensibilidad y/o amputaciones.

Para superar este problema, Bach y Rita idearon un dispositivo que estimula los receptores naturales de la piel (P. Bach-y-Rita: “Tactile sensory substitution studies”, Annals of the New York Academy of Sciences, n.° 1013, páginas 83-91).

Los dispositivos de sustitución sensorial de este tipo han demostrado su utilidad para que los pacientes recuperen parte de su autonomía. Véase D. Moraru, C.A. Boiangiu: “About Visual Sensory Substitution”, Proceedings of the 3rd International Conference on Acoustics, Speech and Audio Processing (ASAP' 15), Salerno, Italia, junio de 2015, páginas 115-124, o C.C. Pack, S.J. Bensmaia: “Seeing and Feeling Motion: Canonical Computations in Vision and Touch”, PLoS Biology, Vol. 13, n.° 9: e1002271, septiembre de 2015.

Sin embargo, los dispositivos de sustitución sensorial conocidos no satisfacen muy bien las necesidades de las personas ciegas. Suelen ser muy voluminosos y consumen mucha energía, lo que reduce el beneficio derivado de su uso. Véase P. Galambos: “Vibrotactile Feedback for Haptics and Telemanipulation: Survey, Concept and Experiment”, Acta Polytechnica Hungarica, Vol. 9, n.° 1 (2012), páginas 41-65, o S. Maidenbaum, S. Abboud, A. Amedi: “Sensory substitution: Closing the gap between basic research and widespread practical visual rehabilitation”, Neuroscience & Biobehavioral Reviews, Vol. 41 (2014), páginas 3-15. Además, se tarda mucho tiempo en aprenderlos y su eficacia depende en gran medida de cada persona.

Ejemplos de realizaciones anteriores se describen en los documentos WO 2012/153073 A1, US 2007/041600 A1, WO 2013/018090 A1 y WO 2015/100482 A1.

Un objetivo de la presente invención es proponer otra técnica capaz de superar al menos algunas de las dificultades mencionadas.

Objeto de la invención

Se propone un sistema de sustitución sensorial que comprende: una matriz de excitadores, que puede llevar un usuario para que los excitadores interactúen localmente con la piel; un circuito de control de los excitadores de la matriz; y una fuente de señal asíncrona para suministrar al circuito de control una señal asíncrona representativa de la información visual organizada en una matriz de píxeles. La señal asíncrona comprende, para cada píxel, eventos sucesivos asociados de manera asíncrona a dicho píxel.

Tal sistema de sustitución sensorial tiene en cuenta de forma ventajosa el funcionamiento del cerebro humano y las células de la piel. El cuerpo humano es capaz de recibir información asíncrona a intervalos de milisegundos. Esto le permite procesar la información de forma óptima, como demuestran M. J. Berry, D.K. Warland, M. Meister: “The structure and precision of retinal spike trains”, Proceedings of the National Academy of Sciences, Vol. 94, n.° 10 (1997), páginas 5411-5416, y P. Reinagel, R.C. Reid: “Temporal Coding of Visual Information in the Thalamus”, The Journal of Neuroscience, Vol. 20, n.° 14 (2000), páginas 5392-5400.

Gracias a fuentes de señales asíncronas como las cámaras neuromórficas, es posible imitar el funcionamiento del ojo reduciendo drásticamente el procesamiento de la información necesario.

Esto permite una reducción del consumo del sistema de sustitución sensorial por vía táctil y biomimetizar el procesamiento visual.

El sistema propuesto permite superar los principales inconvenientes de los sistemas de sustitución sensorial en cuanto a ergonomía, eficiencia energética y adaptabilidad a la función celular.

En una realización, la fuente de señal asíncrona comprende una cámara neuromórfica que incluye elementos fotosensibles dispuestos en una matriz de píxeles orientados hacia una escena, comprendiendo la señal asíncrona, para cada píxel, sucesivos eventos originados de manera asíncrona desde dicho píxel.

La cámara neuromórfica puede ser, en particular, del tipo DVS (Sensor de Visión Dinámico) o ATIS (“Sensor de Imagen basado en tiempo, asíncrono”).

En otra realización, la fuente de señal asíncrona comprende un sintetizador que proporciona una señal que tiene una representación de dirección-evento (AER).

La fuente de señal asíncrona también puede incluir una memoria de la que se lee la señal asíncrona suministrada al circuito de control.

En una realización, la matriz de excitadores se apoya en una prenda que lleva el usuario. Esta prenda incluye, por ejemplo, un chaleco. Puede estar hecha de un material elástico, comprendida, por ejemplo, de neopreno.

En una realización del sistema de sustitución sensorial, los excitadores de la matriz comprenden accionadores mecánicos.

Alternativamente, también es posible que al menos algunos de los excitadores de la matriz estén dispuestos para interactuar localmente con la piel del usuario utilizando uno de los siguientes estímulos: estimulación eléctrica; variación de calor; inyección de una sustancia; y aplicación de un flujo de aire.

Descripción de las figuras

Otras características y ventajas de la presente invención se desprenderán de la siguiente descripción de realizaciones no limitativas, con referencia a los dibujos adjuntos, en los que:

- la figura 1 es un esquema sinóptico de un sistema de sustitución sensorial según una realización de la invención; - la figura 2A es un diagrama que muestra un ejemplo de perfil de intensidad luminosa en un píxel de una cámara asíncrona;

- la figura 2B muestra un ejemplo de la señal emitida por la cámara asíncrona en respuesta al perfil de intensidad de la figura 2A;

- la figura 2C ilustra la reconstrucción del perfil de intensidad a partir de la señal de la figura 2B;

- las figuras 3A-B son diagramas similares a los de las figuras 2A-B que ilustran un modo de adquisición de luz que puede utilizarse en otro ejemplo de realización del procedimiento;

- la figura 4 es un esquema sinóptico de una cámara asíncrona de tipo ATIS;

- la figura 5 es una vista esquemática de una matriz de excitadores para su uso en ciertas realizaciones de la invención; y

- la figura 6 muestra una prenda equipada con una matriz de excitadores de este tipo.

Descripción detallada de la invención

Con referencia a la figura 1, un sistema de sustitución sensorial comprende una matriz 1 de excitadores destinados a ser colocados contra la piel 2 de un usuario.

Cada excitador 5 de la matriz 1 está colocado para interactuar localmente con la piel del usuario cuando es activado por un circuito 8 de control.

En el ejemplo mostrado, el circuito 8 de control se fabrica utilizando tecnología FPGA (Matriz de Puertas Programables en Campo). Pueden utilizarse otras tecnologías para fabricar el circuito 8 de control, por ejemplo tecnologías de circuitos integrados específicos para aplicaciones (ASIC). El circuito 8 produce las señales de control respectivas para los excitadores 5 en función de una señal asíncrona ev(p, t) recibida de una fuente 10.

La señal asíncrona ev(p, t) suministrada al circuito 8 de control por la fuente 10 es representativa de la información visual organizada en una matriz de píxeles. Consiste en un flujo de eventos, cada uno de los cuales tiene una dirección correspondiente a un píxel p de la matriz y un tiempo t de aparición del evento.

A modo de ejemplo, la fuente 10 de señal asíncrona puede ser una cámara neuromórfica del tipo descrito en el artículo de C. Posch: “Bio-inspired vision”, Journal of Instrumentation, Vol. 7, n.° 1 (2012), C01054.

La figura 1 muestra una cámara 10 neuromórfica de este tipo, que constituye un sensor de visión asíncrono basado en eventos, situada frente a una escena y que recibe el flujo luminoso de la escena a través de una óptica 15 de adquisición que comprende una o varias lentes. La cámara 10 está situada en el plano imagen de la óptica 15 de adquisición. Esta comprende un conjunto de elementos fotosensibles organizados en una matriz de píxeles. Cada píxel correspondiente a un elemento fotosensible que produce eventos sucesivos en función de las variaciones de luz en la escena.

La información visual asíncrona de la cámara 10 consiste en secuencias de eventos ev(p, t) recibidos de manera asíncrona de los distintos píxeles p en función de las variaciones de luz experimentadas por el píxel en la escena que aparece en el campo de visión de la cámara.

La cámara 10 asíncrona adquiere datos, por ejemplo, según el principio ilustrado en las figuras 2A-C. La información suministrada comprende una sucesión de instantes t<k>(k = 0, 1, 2, ...) en los que se alcanza un umbral Q de activación. La figura 2A muestra un ejemplo de perfil P1 de intensidad luminosa visto por un píxel de la matriz. Cada vez que esta intensidad aumenta en una cantidad igual al umbral Q de activación con respecto a la que tenía en el instante t<k>, se identifica un nuevo instante t<k+1>y se emite una línea positiva (nivel 1 en la figura 2B) en este instante t<k+1>. Simétricamente, cada vez que la intensidad del píxel disminuye en la cantidad Q respecto a la que tenía en el momento t<k>, se identifica un nuevo instante t<k+1>y se emite una línea negativa (nivel-1 en la figura 2B) en ese instante t<k+1>. La secuencia de señal asíncrona para el píxel consiste entonces en una sucesión de pulsos o líneas positivas o negativas (“picos”) colocados en el tiempo en los instantes t<k>dependiendo del perfil de luz para el píxel. Estas líneas pueden representarse matemáticamente por picos de Dirac positivos o negativos y cada uno caracterizado por un tiempo de emisión t<k>y un bit de signo. La salida de la cámara 10 adopta entonces la forma de una representación de dirección-evento (AER). La figura 2C muestra el perfil P2 de intensidad, que puede reconstruirse como una aproximación del perfil P1 mediante la integración temporal de la señal asíncrona de la figura 2B.

El umbral Q de activación puede ser fijo, como en las figuras 2A-C, o adaptativo en función de la intensidad luminosa, como en las figuras 3A-B. Por ejemplo, el umbral Q puede compararse con variaciones en el logaritmo de la intensidad luminosa para la generación de un evento 1 .

Por ejemplo, la cámara 10 asíncrona puede ser un sensor de visión dinámico (DVS) del tipo descrito en“A1283128 120 dB 15 ps Latency Asynchronous Temporal Contrast Vision Sensor”, P. Lichtsteiner,et al.,IEEE Journal of Solid-State Circuits, Vol. 43, n.° 2, febrero de 2008, páginas 566-576, o en la solicitud de patente US 2008/0135731 A1. La dinámica de una retina (duración mínima entre potenciales de acción) del orden de unos pocos milisegundos puede abordarse con un DVS de este tipo. En cualquier caso, el rendimiento dinámico es muy superior al alcanzable con una cámara de vídeo convencional con una frecuencia de muestreo realista. Cabe señalar que la forma de la señal asíncrona suministrada para un píxel por el DVS 10, que constituye la señal de entrada al circuito 8 de control, puede ser diferente de una sucesión de picos de Dirac, ya que los eventos representados pueden tener cualquier anchura temporal o amplitud o forma de onda en esta señal asíncrona basada en eventos.

Otro ejemplo de cámara asíncrona ventajosamente utilizable en el contexto de la presente invención es el sensor de imagen asíncrono basado en el tiempo (ATIS) descrito en el artículo“AQVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS”, C. Posch,et al,IEEE Journal of Solid-State Circuits, Vol. 46, n.° 1, enero de 2011, páginas 259-275.

La figura 4 ilustra el principio del ATIS. Un píxel 16 de la matriz que constituye la cámara comprende dos elementos 17a, 17b fotosensibles, tales como fotodiodos, asociados respectivamente a circuitos 18a, 18b electrónicos de detección. El sensor 17a y su circuito 18a funcionan de manera similar al DVS mencionado anteriormente. Producen un impulso P<0>cuando la intensidad luminosa recibida por el fotodiodo 17a varía en una cantidad predefinida. El impulso P<0>que marca esta variación de intensidad activa el circuito 18b electrónico asociado al otro fotodiodo 17b.

Este circuito 18b genera entonces un primer impulso P<i>y luego un segundo impulso P<2>en cuanto el fotodiodo 17b recibe una cantidad determinada de luz (número de fotones). La diferencia ót de tiempo entre los impulsos P<1>y P<2>es inversamente proporcional a la intensidad luminosa recibida por el píxel 16 justo después de la aparición del impulso P<0>. La información asíncrona del ATIS es otra forma de representación AER, que comprende dos trenes de impulsos para cada píxel: el primer tren de impulsos P<0>indica los instantes en que la intensidad luminosa ha cambiado por encima del umbral de detección, mientras que el segundo tren consta de impulsos P<1>y P<2>cuya diferencia ót de tiempo indica las intensidades luminosas correspondientes, o niveles de gris. Un evento ev(p, t) de un píxel 16 de posición p en la matriz ATIS comprende entonces dos tipos de información: información temporal dada por la posición del pulso P<0>, que da el instante t del evento, e información de nivel de gris dada por la diferencia ót temporal entre los pulsos P<1>y P<2>.

En otra realización, la fuente 10 de señal asíncrona que alimenta el circuito 8 de control no es una cámara que observa una escena real, sino un sintetizador de señal que tiene una representación AER. La señal asíncrona ev(p, t) es sintetizada por dicha fuente con el fin de emular las imágenes que se presentarán al usuario, que pueden ser más o menos realistas, o incluso abstractas.

Por ejemplo, las imágenes así presentadas por el sistema de sustitución sensorial pueden corresponder a elementos de una interfaz gráfica de usuario (GUI) del tipo utilizado habitualmente en diversos dispositivos como teléfonos inteligentes, tabletas, ordenadores, televisores, etc. La señal asíncrona producida por el sintetizador puede ser el resultado de una conversión de elementos gráficos en un formato convencional, o puede generarse directamente para las necesidades del sistema de sustitución sensorial.

La fuente 10 de señal asíncrona también puede leer de una memoria, de tipo electrónico, magnético u óptico para suministrar al circuito 8 de control una señal asíncrona basada en eventos que se haya registrado previamente tras ser adquiridos mediante una cámara neuromórfica o un sintetizador.

El circuito 8 de control alimenta los excitadores 5 de la matriz 1 a partir de la señal asíncrona recibida de la fuente 10. Cada excitador 5 recibe un control individual en forma de una tensión de alimentación suministrada selectivamente cuando se reciben eventos para píxeles que tienen posiciones correspondientes en la representación AER.

Cada excitador 5 de la matriz 1 puede consistir en un accionador mecánico, por ejemplo del tipo piezoeléctrico, que genera vibraciones y/o presiones sobre la piel 2 cuando es activado por su respectiva señal procedente del circuito 8 de control.

Otros tipos de estimulación también pueden ser aplicados localmente por un excitador 5 de la matriz 1:

- estimulación eléctrica mediante electrodos alimentados selectivamente con tensión por el circuito 8 de control;

- variación de calor mediante un dispositivo térmico;

- inyección de una sustancia;

- aplicación de un flujo de aire, etc.

También es posible una combinación de excitadores 5 de diferentes tipos dentro de la matriz 1. Lo importante es la naturaleza local de la excitación aplicada por cada elemento 5 de la matriz 1. Esta matriz proporciona así una especie de cartografía de los puntos de excitación en la piel del usuario, que produce un patrón perceptivo espacializado que permite la sustitución sensorial.

Es posible que la densidad espacial de los excitadores 5 en la matriz 1 sea inferior a la de los píxeles utilizados para adquirir la señal asíncrona. En este caso, el circuito 8 de control puede realizar una integración espacial para generar las señales de control de los excitadores 5.

También se puede interconectar cualquier sistema que genere información de forma asíncrona, incluso información no visual. Por ejemplo, podría utilizarse un sensor de presión asíncrono para amputados, o un dispositivo de audio asíncrono. Por tanto, el uso de dispositivos de sustitución sensorial puede generalizarse a cualquier sensor que proporcione información en forma de flujos de eventos.

Para simplificar la conexión de los excitadores 5, es posible disponer la matriz 1 de modo que tenga un plano de masa común para todos o algunos de los excitadores. Basta entonces con suministrar la tensión de control a cada excitador 5 mediante un cable o una pista conductora. En particular, el plano de tierra puede adoptar la forma de una lámina 20 textil conductora conectada a un borne de la fuente de alimentación asociada al circuito 8 de control, y a la que están fijados los excitadores 5.

La figura 5 muestra una lámina 20 textil de este tipo en la que están instalados los excitadores 5, consistentes en este ejemplo en accionadores 5 mecánicos. En este ejemplo, la lámina 20 está cosida o pegada a otro soporte 21 textil destinado a entrar en contacto con la piel del usuario 2 para comunicar las presiones o vibraciones generadas por los accionadores 5.

Como se muestra en la figura 6, el conjunto que comprende la matriz 1 de accionadores y el soporte 21 puede fijarse dentro de una prenda 22 portada por el usuario de modo que el soporte 21 esté contra la piel del usuario para lograr el acoplamiento mecánico deseado con los accionadores 5.

La prenda 22 está hecha preferiblemente de un material lo suficientemente elástico como para aplicar la matriz 1 de accionadores contra la piel 2 del usuario. Por ejemplo, la prenda 22 puede ser de neopreno. Típicamente, puede ser un chaleco, de modo que la matriz 1 de accionadores se coloca contra la espalda del usuario, posiblemente sus costados, y posiblemente su estómago. Como se muestra en la figura 6, los accionadores 5 pueden distribuirse en varios subconjuntos para limitar la rigidez global de la prenda ajustada.

Por supuesto, la matriz 1 puede comprender excitadores 5 distribuidos por otras partes del cuerpo del usuario, en particular las extremidades. La prenda que la soporta puede ser un traje que cubra más que el torso del usuario.

El sistema de sustitución sensorial descrito tiene en cuenta el funcionamiento de las células receptoras de la piel desde el punto de vista de la interpretación espaciotemporal que hace el cerebro. Por tanto, es capaz de generar estímulos táctiles, eléctricos, físicos o de otro tipo de forma asíncrona en distintos puntos del cuerpo.

Los excitadores 5 se distribuyen en función de la densidad de células receptoras en la zona que se estimula.

La información visual comunicada con la sustitución sensorial puede estar separada por unos pocos microsegundos. Las tensiones de alimentación de los excitadores 5 tienen impulsos que duran el tiempo necesario para estimular las células receptoras con la intensidad deseada. Pueden aplicarse numerosas estrategias de estimulación en función de la naturaleza de la información que se desea transmitir. En particular, se pueden simular los diferentes niveles de gris de una imagen o la escritura de un texto para el reconocimiento de palabras.

Se realizaron pruebas con personas sanas para estudiar sus respuestas a tales estímulos. Estas pruebas, realizadas con los accionadores 5 mecánicos de la matriz 1, arrojaron resultados muy alentadores. Tras sólo unos minutos de entrenamiento, el reconocimiento de letras y números, así como de diversas formas geométricas, ya era satisfactorio. Estas pruebas también permitieron identificar el movimiento de objetos a gran velocidad en el campo visual de una cámara 10 neuromórfica, tal como se ha descrito anteriormente. Se trata de un resultado muy prometedor con vistas a otros experimentos de movilidad dinámica. La idiosincrasia de los individuos también puede tenerse en cuenta para que el sistema pueda interconectarse con cada sujeto.

Las realizaciones descritas anteriormente son meramente ilustrativas de la presente invención. Diversas modificaciones pueden hacerse a las mismas sin alejarse del alcance de la invención, que resulta evidente a partir de las reivindicaciones adjuntas.

Claims (11)

REIVINDICACIONES

1. Sistema de sustitución sensorial, que comprende:

una matriz (1) de excitadores portada por un usuario de modo que los excitadores (5) interactúan localmente con la piel (2) del usuario;

un circuito (8) de control de los excitadores de la matriz; caracterizado por que comprende además

una fuente (10) de señal asíncrona para suministrar al circuito de control una señal asíncrona representativa de la información visual organizada en una matriz de píxeles, comprendiendo la señal asíncrona, para cada píxel, sucesivos eventos asociados de manera asíncrona a dicho píxel.

2. Un sistema según la reivindicación 1, en el que la fuente (10) de señal asíncrona comprende una cámara neuromórfica que incluye elementos fotosensibles dispuestos en una matriz de píxeles orientados hacia una escena, comprendiendo la señal asíncrona, para cada píxel, sucesivos eventos originados de manera asíncrona a partir de dicho píxel.

3. Sistema según la reivindicación 2, en el que la cámara (10) neuromórfica es del tipo DVS (“Sensor de Visión Dinámico”) o ATIS (“Sensor de Imagen basado en Tiempo, Asíncrono”).

4. El sistema según la reivindicación 1, en el que la fuente de señal asíncrona comprende un sintetizador que proporciona una señal que tiene una representación de dirección-evento (AER).

5. Sistema según la reivindicación 1, en el que la fuente de señal asíncrona comprende una memoria en la que se lee la señal asíncrona suministrada al circuito (8) de control.

6. Sistema según cualquiera de las reivindicaciones anteriores, en el que la matriz (1) de excitadores está soportada por una prenda (22) portada por el usuario.

7. Sistema según la reivindicación 6, en el que la prenda (22) incluye un chaleco.

8. Sistema según la reivindicación 6 o la reivindicación 7, en el que la prenda (22) es de un material que tiene una elasticidad.

9. Sistema según la reivindicación 8, en el que el material elástico comprende neopreno.

10. Sistema según cualquiera de las reivindicaciones anteriores, en el que los excitadores (5) de la matriz (1) comprenden accionadores mecánicos.

11. Sistema según cualquiera de las reivindicaciones anteriores, en el que al menos algunos de los excitadores (5) de la matriz (1) están dispuestos para interactuar localmente con la piel (2) del usuario mediante estimulación de entre: estimulación eléctrica; variación de calor; inyección de una sustancia; y aplicación de un flujo de aire.