ES3058040T3

ES3058040T3 - Image capturing method

Info

Publication number: ES3058040T3
Application number: ES22730125T
Authority: ES
Inventors: Alberto Sanna; Matteo Zardin
Original assignee: Ospedale San Raffaele SRL
Current assignee: Ospedale San Raffaele SRL
Priority date: 2021-05-20
Filing date: 2022-05-17
Publication date: 2026-03-06
Anticipated expiration: 2042-05-17
Also published as: US12413844B2; EP4342168C0; EP4342168B1; WO2022243304A1; EP4342168A1; US20240223884A1

Abstract

Un método de captura de imágenes (100) que utiliza un aparato de captura de imágenes (1) que comprende un dispositivo de captura de imágenes (2) con un captador de imágenes (3) para generar datos de imagen. El método (100) comprende mostrar (S101), utilizando un dispositivo de reproducción de imágenes (4), imágenes basadas en los datos de imagen. Generar (S102) datos de atributos a partir de una pluralidad de señales biológicas medidas por una pluralidad de sensores biológicos (6). Los datos de atributos son al menos información extraída por una o más señales biológicas mediante procesamiento computacional e indicativos de los atributos de un usuario en el momento en que este visualiza las imágenes mostradas por el dispositivo de reproducción de imágenes (4). Generar (S103) datos de significancia basados en los datos de atributo y asociar los datos de atributo a partir de los cuales se generan los datos de significancia con cada imagen mostrada. Los datos de significancia se generan comparando los datos de atributo con valores umbral de significancia predeterminados para identificar un estado de significancia para cada dato de atributo. Controlar (S104) los parámetros fotográficos del aparato de captura de imágenes (1) en función de los atributos. datos, en donde el control de los parámetros fotográficos comprende al menos una variación de dichos parámetros fotográficos en función de una variación de al menos una señal biológica, analizar (S105) los datos de significancia para determinar si las imágenes mostradas deben almacenarse, en donde el análisis de los datos de significancia comprende generar al menos un nivel de significancia a partir de los datos de significancia y comparar dicho nivel de significancia con un nivel de umbral de activación, y almacenar (S106) los datos de imagen de las imágenes mostradas junto con los datos de atributos en un dispositivo de almacenamiento (7) basándose en los datos de significancia analizados. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] DESCRIPCIÓN

[0002] Método para capturar imágenes

[0003] La invención se refiere a un método para capturar imágenes y a un dispositivo y sistema correspondientes para capturar una imagen, comprendiendo el sistema dicho aparato. La invención también se refiere a un programa que implementa el método para capturar imágenes y a un medio de almacenamiento que comprende dicho programa. A muchas personas les encanta la fotografía, especialmente hoy en día, debido a la posibilidad de tomar una foto en cualquier momento utilizando dispositivos cotidianos distintos a las cámaras fotográficas tradicionales, tales como teléfonos móviles, tabletas u ordenadores portátiles. Con frecuencia, las personas desean tomar fotografías de un sujeto en situaciones particulares, pero no siempre son capaces de capturar el llamado “momento mágico” para que la imagen sea memorable. De hecho, en muchos casos, además de los aspectos técnicos, tales como la exposición correcta a la luz, el enfoque de la cámara o el fondo adecuado, las mejores fotografías son el resultado de las sensaciones emocionales que el fotógrafo siente en esa situación particular al observar al sujeto. Las sensaciones emocionales suelen ser sentimientos inconscientes que un fotógrafo experimentado usualmente puede gestionar con el fin de disparar una fotografía. Por otro lado, para la mayoría de las personas sin habilidades fotográficas particulares, es difícil reconocer estas sensaciones y correlacionarlas con la activación del disparo de fotografías.

[0004] En la técnica anterior, se conocen varios métodos y sistemas para reconocer emociones. En particular, el reconocimiento de emociones es una tecnología para predecir los estados emocionales de las personas basándose en las respuestas de los usuarios, como las expresiones verbales o faciales. Esta tecnología se puede aplicar en diversos campos, como el cuidado de la salud, los juegos y la educación. Para ayudar a estas aplicaciones, la tecnología reconoce las emociones en tiempo real y de forma natural mientras el usuario las experimenta. Para este fin, se pueden emplear dispositivos portátiles que se basan en señales bioeléctricas que indican las respuestas fisiológicas del usuario.

[0005] Sin embargo, todos estos métodos y sistemas conocidos no son lo suficientemente eficientes ya que están limitados a la hora de detectar y analizar solo las reacciones pasivas o involuntarias de un usuario (es decir, las sensaciones emocionales como consecuencia del estímulo visual) dejando de lado otros aspectos importantes como las reacciones voluntarias a dicho estímulo en términos de factores cognitivos. Además, los métodos y sistemas de la técnica anterior no están configurados para eludir los pasos conscientes y biomecánicos que llevan al usuario a pulsar el gatillo fotográfico y modificar los parámetros fotográficos (p. ej., el zoom, el enfoque, etc.) para capturar la imagen, o parte de la imagen (p. ej., debido al acercamiento de una parte de la imagen), del sujeto en observación.

[0006] La patente US-2019/005315 A1 (BARROS R A A; BORREL P; BUORO A B) del 3 de enero de 2019 (03-01-2019) describe un método para evaluar la satisfacción de un fotógrafo mediante la utilización de un dispositivo inteligente equipado con cámaras frontal y posterior. Cuando un usuario captura una imagen, el sistema también registra la expresión facial y la voz del usuario mediante la cámara frontal y el micrófono. Estos datos se analizan para determinar el sentimiento del usuario, a partir del cual se genera un índice de satisfacción. El índice está asociado a la imagen capturada, lo que permite recuperar o clasificar las imágenes más adelante basándose en la satisfacción del usuario. La patente JP 2009210992 A (SONY CORP) del 17 de septiembre de 2009 (17-09-2009) describe un sistema de cámara que utiliza señales biológicas tales como el pulso, la temperatura, la transpiración, las ondas cerebrales y las expresiones faciales para derivar parámetros emocionales como el tipo y la intensidad de la emoción. Estos parámetros se utilizan para facilitar la operación del fotógrafo mediante el ajuste de las funciones fotográficas, como la ganancia de estabilización de imagen y el control del zoom. El sistema refleja el estado emocional del fotógrafo en el comportamiento de la cámara para mejorar la calidad y la relevancia de las imágenes capturadas.

[0007] La patente US-2017/085951 A1 (SINGH MONA [US]) del 23 de marzo de 2017 (23-03-2017) describe un sistema para controlar automáticamente el inicio y la parada de la grabación de vídeo basándose en el estado fisiológico y contextual del usuario. El sistema utiliza diversos sensores biológicos (p. ej., frecuencia cardíaca, conductancia cutánea, EEG) y atributos contextuales (p. ej., ubicación, hora, datos históricos) para calcular una puntuación de interés, que refleja qué tan comprometido o interesado está el usuario en un momento dado. Esta puntuación se evalúa basándose en un umbral, posiblemente ajustado según el contexto, para decidir si iniciar o detener la grabación. El sistema tiene como objetivo capturar momentos significativos sin la intervención manual del usuario, basándose en señales biométricas y contextuales en tiempo real.

[0008] La presente descripción se refiere además a un aparato para entrenar un modelo de diagnóstico por imágenes médicas, en particular basado en un modelo generador de vías cognitivas y visuoespaciales. La descripción también se refiere a un método correspondiente para entrenar un diagnóstico por imágenes médicas. Además, la descripción se refiere a un programa informático para implementar dicho método, así como a un medio de almacenamiento que comprende dicho programa informático.

[0009] El diagnóstico médico es un proceso muy complicado para determinar qué tipo de enfermedad o afección explica los síntomas y signos de una persona. En muchos casos, un médico necesita analizar e interpretar una o más imágenes del paciente (es decir, imágenes de rayos X, resonancias magnéticas o tomografías computarizadas, etc.) antes de proporcionar un diagnóstico. La forma en que un médico analiza una imagen y, en consecuencia, la forma en que se obtiene el diagnóstico médico final pueden verse afectadas por errores debidos a la poca experiencia o a la mala práctica del médico.

[0010] Para mejorar la precisión y la eficacia de un diagnóstico médico, en la técnica anterior se proporcionan varios intentos para automatizar esta tarea fundamental del médico. Por ejemplo, la teoría de la decisión y la probabilidad se puede utilizar para construir sistemas automatizados a partir de una base de datos de casos de referencia típicos. De esta manera, la tarea de extracción de conocimientos puede simplificarse para aquellos médicos que no saben cómo llegar a un diagnóstico determinado.

[0011] Sin embargo, tales sistemas o métodos se basan en resultados de diagnósticos previos realizados por otros médicos en casos similares. En otras palabras, un médico con poca experiencia solo puede confiar en la información inicial (síntomas y signos) y en el resultado final (diagnóstico médico), pero no puede obtener conocimientos sobre los procedimientos seguidos por el médico con más experiencia para lograr el resultado final a partir de la información inicial. Por ejemplo, los métodos y sistemas de la técnica anterior no pueden emplearse para interpretar correctamente las imágenes médicas del paciente utilizadas por los médicos para lograr sus resultados.

[0012] Los ejemplos de la presente descripción buscan abordar o al menos aliviar los problemas anteriores.

[0013] La invención se define mediante las reivindicaciones independientes. Las reivindicaciones dependientes definen realizaciones ventajosas.

[0014] Según un primer aspecto de la invención, se proporciona un método para capturar imágenes que utiliza un aparato para capturar imágenes que comprende un dispositivo de obtención de imágenes que tiene un captador de imágenes para generar datos de imágenes, comprendiendo el método: visualizar, utilizando un dispositivo de reproducción de imágenes, imágenes basadas en los datos de imagen;

[0015] generar datos de atributos a partir de una pluralidad de señales biológicas medidas por una pluralidad de sensores biológicos, siendo los datos de atributos al menos una información extraída por una o más señales biológicas a través de un procesamiento computacional y siendo indicativos de los atributos de un usuario en un momento en que el usuario está visualizando las imágenes visualizadas por el dispositivo de reproducción de imágenes; generar datos de significación basados en los datos de atributos y asociar los datos de atributos a partir de los cuales se generan los datos de significación con cada imagen visualizada, en donde los datos de significación se generan comparando los datos de atributos con valores umbral de significación predeterminados para identificar un estado de significación para cada dato de atributo; controlar los parámetros fotográficos del aparato para capturar imágenes basándose en los datos de atributos, en donde controlar los parámetros fotográficos comprende al menos una variación de dichos parámetros fotográficos basándose en una variación de al menos una señal biológica;

[0016] analizar los datos de significación para determinar si las imágenes visualizadas deben almacenarse, en donde analizar los datos de significación comprende generar al menos un nivel de significación a partir de los datos de significación y comparar dicho nivel de significación con un nivel de umbral de activación; y almacenar los datos de imagen de las imágenes visualizadas junto con los datos de atributos en un dispositivo de almacenamiento basándose en los datos de significación analizados.

[0017] En un segundo aspecto de la invención, se proporciona un programa que comprende instrucciones legibles por el procesador que, cuando son implementadas por un procesador, hacen que el procesador implemente el método como se ha definido anteriormente.

[0018] En un tercer aspecto de la invención, se proporciona un medio de almacenamiento que comprende el programa como se ha definido anteriormente.

[0019] En un cuarto aspecto de la invención, se proporciona un aparato para capturar imágenes que comprende: un dispositivo de obtención de imágenes que comprende un captador de imágenes operable para generar datos de imagen; un dispositivo de reproducción de imágenes operable para visualizar imágenes basándose en los datos de imagen; un procesador operable para: generar datos de atributos a partir de una pluralidad de señales biológicas medidas por una pluralidad de sensores biológicos, siendo los datos de atributos al menos una información extraída por una o más señales biológicas a través de un procesamiento computacional y siendo indicativos de atributos de un usuario en un momento en que el usuario está visualizando las imágenes visualizadas por el dispositivo de reproducción de imágenes; generar datos de significación basándose en los datos de atributos, y asociar los datos de atributos a partir de los cuales se generan los datos de significación con cada imagen visualizada, en donde los datos de significación se generan comparando los datos de atributos con valores de umbral de significación predeterminados con el fin de identificar un estado de significación para cada dato de atributo; controlar parámetros fotográficos del aparato para capturar imágenes basándose en los datos de atributos, en donde controlar los parámetros fotográficos comprende al menos una variación de dichos parámetros fotográficos basándose en una variación de al menos una señal biológica; analizar los datos de significación para determinar si las imágenes visualizadas deben almacenarse, en donde el análisis de los datos de significación comprende la generación de al menos un nivel de significación a partir de los datos de significación y la comparación de dicho nivel de significación con un nivel de umbral de activación; y almacenar los datos de imagen de las imágenes visualizadas junto con los datos de atributos en un dispositivo (7) de almacenamiento basándose en los datos de significación analizados.

[0020] En un quinto aspecto de la invención, se proporciona un sistema para capturar imágenes que comprende: una pluralidad de sensores biológicos; y

[0021] un aparato para capturar imágenes como se ha definido anteriormente.

[0022] Según un aspecto de la descripción, se proporciona un aparato para entrenar un modelo de diagnóstico de imágenes médicas que se basa en un modelo de generación de vía cognitiva visoespacial, el aparato comprende: un dispositivo de visualización operable para visualizar una imagen médica a inspeccionar por un usuario en busca de una afección médica, estando la imagen médica asociada con un tipo de imagen; un rastreador de mirada operable para rastrear la mirada del usuario mientras este visualiza la imagen médica al realizar un diagnóstico de la afección médica asociada con la imagen médica, con el fin de generar datos de la mirada; uno o más sensores biológicos operables para medir señales biológicas indicativas de una reacción neurofisiológica del usuario mientras inspecciona la imagen médica, con el fin de generar datos de reacción neurofísica; un dispositivo de almacenamiento operable para almacenar datos de diagnóstico indicativos de un diagnóstico de la afección médica asociada con la imagen médica por parte del usuario, y para almacenar el modelo de generación de vía cognitiva visoespacial; y un procesador operable para: analizar la imagen médica para identificar características de la imagen de la imagen médica que provienen de un conjunto de características de imagen asociadas con el tipo de imagen de la imagen médica, con el fin de generar datos de características de imagen; asociar las características de la imagen indicadas por los datos de características de imagen con los datos de la mirada y los datos de reacción neurofísica, para generar metadatos de diagnóstico de la imagen; y entrenar el modelo de generación de vía cognitiva visoespacial para generar datos de vía cognitiva visoespacial basándose en los metadatos de diagnóstico de la imagen, en el cual los datos de vía cognitiva visoespacial definen una vía visoespacial con respecto a la imagen médica, junto con datos de reacción neurofísica asociados que son indicativos de una significación atribuida por el usuario a regiones de la imagen médica al realizar un diagnóstico para llegar a un diagnóstico correcto.

[0023] En un aspecto adicional de la descripción, se proporciona un método para entrenar un modelo de diagnóstico de imágenes médicas que se basa en un modelo de generación de vía cognitiva visoespacial, el método comprende: visualizar, en un dispositivo de visualización, una imagen médica a inspeccionar por un usuario en busca de una afección médica, estando la imagen médica asociada con un tipo de imagen; rastrear, utilizando un rastreador de mirada, la mirada del usuario mientras este visualiza la imagen médica al realizar un diagnóstico de la afección médica asociada con la imagen médica, con el fin de generar datos de la mirada; medir, utilizando uno o más sensores biológicos, señales biológicas indicativas de una reacción neurofisiológica del usuario mientras inspecciona la imagen médica, con el fin de generar datos de reacción neurofísica; almacenar, utilizando un dispositivo de almacenamiento, datos de diagnóstico indicativos del diagnóstico de la afección médica asociada con la imagen médica por parte del usuario, y el modelo de generación de vía cognitiva visoespacial; analizar, mediante un procesador, la imagen médica para identificar características de la imagen de la imagen médica que provienen de un conjunto de características de imagen asociadas con el tipo de imagen de la imagen médica, con el fin de generar datos de características de imagen; asociar, mediante el procesador, las características de la imagen indicadas por los datos de características de imagen con los datos de la mirada y los datos de reacción neurofísica, para generar metadatos de diagnóstico de la imagen; y entrenar, utilizando el procesador, el modelo de generación de vía cognitiva visoespacial para generar datos de vía cognitiva visoespacial basándose en los metadatos de diagnóstico de la imagen, en el cual los datos de vía cognitiva visoespacial definen una vía visoespacial con respecto a la imagen médica, junto con datos de reacción neurofísica asociados que son indicativos de una significación atribuida por el usuario a regiones de la imagen médica al realizar un diagnóstico para llegar a un diagnóstico correcto.

[0024] En un aspecto adicional de la descripción, se proporciona un programa informático que comprende instrucciones legibles por ordenador que, cuando se implementan en un ordenador, hacen que el ordenador realice un método como se ha definido anteriormente.

[0025] En otro aspecto de la invención, se proporciona un medio de almacenamiento que comprende el programa informático como se ha definido anteriormente.

[0026] Otros aspectos y características se definen en las reivindicaciones adjuntas.

[0027] Los ejemplos de la descripción pueden permitir utilizar los datos de atributos, por lo tanto, no solo los atributos fisiológicos del usuario, sino también los atributos cognitivos y emocionales, para ajustar los parámetros fotográficos (p. ej., enfoque, zoom de acercamiento/alejamiento, exposición a la luz,...) del aparato para capturar imágenes, p. ej., una cámara, y para capturar una imagen, para almacenarla con los datos de imagen correspondientes.

[0028] Además, los ejemplos de la descripción pueden permitir entrenar un modelo y ajustar los parámetros del modelo para obtener un resultado satisfactorio en términos de rendimiento. El modelo generado se puede utilizar para producir nuevos resultados y después pronosticar un resultado. De esta manera, es posible reducir el error humano al proporcionar un diagnóstico basándose en la interpretación de imágenes médicas.

[0029] Los ejemplos de la descripción se describirán ahora a modo de ejemplo únicamente con referencia a los dibujos adjuntos, en los que las referencias similares se refieren a partes similares, y en los que:

[0030] La figura 1 muestra un diagrama de flujo del método para capturar imágenes según un ejemplo.

[0031] La figura 2 muestra una representación esquemática del aparato para capturar imágenes y del sistema para capturar imágenes según un ejemplo.

[0032] La figura 3 muestra una representación esquemática del flujo de datos para el funcionamiento del procesador según un ejemplo.

[0033] La figura 4 muestra un diagrama esquemático del proceso para activar un disparo de imágenes de un dispositivo de obtención de imágenes utilizando el método para capturar imágenes según un ejemplo.

[0034] La figura 5 muestra un sistema de ajuste de parámetros del modelo.

[0035] La figura 6 muestra un diagrama esquemático del proceso para hacer frente a señales asíncronas.

[0036] La figura 7 muestra un diagrama esquemático del proceso para activar un disparo de imágenes de un dispositivo de obtención de imágenes con un solo usuario y una pluralidad de usuarios adicionales.

[0037] La figura 8 muestra un diagrama de flujo de un sistema para capturar imágenes con un teléfono móvil como dispositivo de obtención de imágenes.

[0038] La figura 9 muestra un diagrama de flujo de un sistema para capturar imágenes con un dispositivo fotográfico como dispositivo de obtención de imágenes.

[0039] La figura 10 muestra una representación esquemática de un sistema informático.

[0040] La figura 11 muestra un diagrama en bloque del proceso de activación de un disparo de fotografías.

[0041] La figura 12 muestra un diagrama en bloque del aparato para entrenar un modelo de diagnóstico por imágenes médicas según un ejemplo.

[0042] La figura 13 muestra una representación esquemática del flujo de datos para el funcionamiento del procesador según un ejemplo.

[0043] La figura 14 muestra un diagrama de flujo del método para entrenar un modelo de diagnóstico por imágenes médicas según un ejemplo.

[0044] La figura 15 muestra un ejemplo de las partes más significativas identificadas en una imagen de mapa de calor. La figura 16 muestra una representación esquemática de los tres niveles de aplicación del aparato según un ejemplo. La figura 17 muestra un diagrama de flujo de la recolección de información para entrenar un modelo de diagnóstico por imágenes médicas según un ejemplo.

[0045] La figura 18 muestra una representación esquemática del empleo del aparato para entrenar un modelo de diagnóstico por imágenes médicas según un ejemplo.

[0046] La figura 19 muestra una representación esquemática de un sistema informático.

[0047] Se describen un método para capturar imágenes, un aparato para capturar imágenes y un sistema para capturar imágenes según las reivindicaciones adjuntas.

[0048] Las figuras 1, 2 y 3 se utilizan para describir los pasos del método 100 para capturar una imagen empleando el aparato 1 correspondiente. El aparato 1 para capturar imágenes comprende un dispositivo 2 de obtención de imágenes que tiene un captador 3 de imágenes para capturar una imagen y generar datos de imagen, y un dispositivo 4 de reproducción de imágenes para recibir los datos de imagen y para visualizar la imagen. Se observa que el aparato 1 para capturar imágenes puede concebirse como un aparato utilizado en un entorno real o en un entorno de realidad aumentada, realidad virtual o realidad mixta. En otras palabras, este aparato puede ser cualquier tipo de aparato capaz de capturar y recolectar imágenes directamente de un entorno real o de un entorno virtual (p. ej., una base de datos de imágenes). En consecuencia, el dispositivo de obtención de imágenes puede ser una cámara fotográfica o un dispositivo de realidad virtual, tal como una pantalla montada en la cabeza, y el captador de imágenes puede ser un sensor de imágenes o un sistema digital para capturar imágenes, es decir, recortando imágenes digitales. Por lo tanto, los datos de imagen generados por el captador 3 de imágenes pueden ser datos tomados por un sensor fotográfico o datos resultantes de una operación digital, es decir, el recorte de imágenes. En este contexto, el dispositivo 4 de reproducción de imágenes puede ser una pantalla que muestra la imagen o cualquier tipo de proyector/sistema de reproducción de imágenes capaz de visualizar una imagen al usuario o permitir al usuario visualizar la imagen (es decir, gafas inteligentes). Se observa además que el dispositivo 2 de obtención de imágenes, el captador 3 de imágenes y el dispositivo 4 de reproducción de imágenes pueden ser elementos separados. Alternativamente, al menos dos de ellos pueden integrarse entre sí para formar un único elemento. Además, el aparato 1 comprende un procesador 5 conectado tanto al dispositivo 2 de obtención de imágenes como al dispositivo 4 de reproducción de imágenes para procesar datos de información derivados de estos dos dispositivos. El procesador 5 también está conectado a otros dispositivos, tales como una pluralidad de sensores biológicos 6 y un dispositivo 7 de almacenamiento. Se observa que un sistema 9 para capturar imágenes comprende el aparato 1 mencionado anteriormente y la pluralidad de sensores biológicos 6.

[0050] En el paso S101 del método 100, el dispositivo 4 de reproducción de imágenes se utiliza para visualizar imágenes basándose en los datos de imagen derivados del dispositivo 2 de imágenes. Las imágenes pueden capturarse mediante el dispositivo 2 de obtención de imágenes o mediante un dispositivo diferente del dispositivo 2 de obtención de imágenes. En otras palabras, las imágenes pueden capturarse directamente mediante el dispositivo 2 de obtención de imágenes o pueden recuperarse mediante una base de datos, por ejemplo, en un entorno de realidad virtual. En este punto, un usuario está visualizando las imágenes visualizadas por el dispositivo 4 de reproducción de imágenes. Los sensores biológicos 6 se utilizan para medir las señales biológicas del usuario y los datos de atributos se generan en el paso S102 utilizando dichas señales. En particular, los datos de atributos son indicativos de los atributos de un usuario en el momento en que el usuario está visualizando las imágenes, y/o un subconjunto de la imagen, visualizada por el dispositivo 4 de reproducción de imágenes. En particular, se entiende por datos de atributos cualquier información (numérica y no numérica) que pueda deducirse y, a continuación, extraerse mediante el procesamiento computacional de cualquier señal biológica. Se observa que incluso una señal sin procesar, que se considera así como la sucesión de valores numéricos adquiridos por el sensor, puede representar un dato de atributo en sí misma. Una señal de fotopletismografía (PPG, por sus siglas en inglés) es, por ejemplo, una señal que resalta con el tiempo cuál es el cambio en la presión arterial dentro de los vasos sanguíneos. A partir de esta señal, es posible extraer una señal adicional conocida como señal de frecuencia cardíaca.

[0052] De manera similar, los datos de un atributo pueden representarse mediante un número o una secuencia de números que resultan del procesamiento computacional de una señal obtenida de una señal sin procesar. En consecuencia, los datos de atributos representan metadatos que contienen información sobre los diferentes atributos (p. ej., fisiológicos, cognitivos y emocionales) del usuario. Los datos de atributos son, por lo tanto, datos de información extraídos por las señales biológicas y pueden representar la información de la propia señal biológica o una elaboración de la información de dicha señal biológica.

[0054] En el paso S103, los datos de significación se generan basándose en los datos de atributos y los datos de atributos se asocian a partir de los cuales se generan los datos de significación con cada imagen visualizada. Se observa que el concepto de “significación” debe asociarse al concepto de que no toda la información representa información útil, sino que cada dato conlleva un nivel diferente de importancia y significado. El nivel de importancia está directamente asociado con el nivel de significación. Esto tiene valor en cualquier campo de aplicación, incluso en el campo no científico. En particular, los datos de significación representan datos calculados sobre la base de datos de atributos. Cada dato de imagen está asociado a una configuración de datos de significación particular. Entonces, es posible asociar cada dato de imagen con una significación general basada en el análisis de los datos de significación y, por lo tanto, en los datos de atributos. Los datos de significación deben interpretarse como toda la información numérica, obtenida del procesamiento de las señales adquiridas por los sensores con los que el aparato interactúa, asociada a datos de imagen y, por lo tanto, relacionada con un instante temporal preciso. Los datos de significación se calculan a partir de las señales biológicas adquiridas. A partir de estas señales, se obtienen datos de atributos, que se comparan con valores predeterminados que identifican los umbrales de significación para cada dato de atributo. Los datos de significación pueden concebirse como datos de atributos que tienen un estado de significación particular, identificándose el estado de significación comparando los datos de atributos con valores de umbral de significación predeterminados. Si los datos del atributo superan un valor umbral de significación predeterminado, pueden adquirir un estado de significación particular.

[0056] Los parámetros fotográficos del aparato 1 para capturar imágenes se controlan basándose en los datos de atributos en el paso S104 y los datos de significación se analizan en el paso S105 para determinar si las imágenes visualizadas deben almacenarse y, en última instancia, capturarse. Controlar los parámetros fotográficos mediante la utilización de datos de atributos significa ajustar (p. ej., ajustar) una o más funciones potencialmente de manipulación de imágenes que puede realizar el aparato 1 para capturar imágenes. Este control de parámetros se puede realizar en dos modos: durante la visualización de lo que toma el aparato para capturar imágenes 1 (caso EN VIVO) y/o en producción posterior (caso EX-POST). Al considerar un aparato 1 de captura equipado con un sistema de acercamiento, se pueden analizar dos ejemplos. En el caso EN VIVO, se puede imaginar la implementación de la regla que corresponde a un aumento del zoom en tiempo real basándose en el aumento del valor de una señal de respuesta galvánica de la piel (GSR, por sus siglas en inglés). En este caso, el usuario del aparato visualiza en tiempo real una versión ampliada de lo que toma el propio aparato. La imagen (por ejemplo, un disparo de fotografías) muestra entonces una parte de la realidad tomada por el aparato y ya modificada por la influencia de la magnitud del efecto de zoom aplicado por el aparato. En el caso EX POST, por otro lado, la imagen se modifica (es decir, puede modificarse) y después se aplica un zoom en un momento posterior en base a las reglas de control de parámetros fotográficos. En este caso, continuando con el ejemplo que implica la señal GSR como controlador del parámetro fotográfico, para cada disparo de fotografías, se puede generar una fotografía madre. A partir de esta fotografía, se pueden obtener diferentes fotografías dependientes basándose en la configuración de ajuste de los parámetros fotográficos basándose en la señal GSR adquirida.

[0058] En el paso S106, los datos de imagen de las imágenes visualizadas se almacenan junto con los datos de atributos en un dispositivo 7 de almacenamiento basándose en los datos de significación analizados. Los datos de los atributos se pueden almacenar independientemente de las imágenes visualizadas. El dispositivo 7 de almacenamiento puede ser parte del aparato 1 o parte del sistema 9. Alternativamente, el dispositivo 7 de almacenamiento también se puede ubicar de forma remota con respecto al aparato 1 y al sistema 9, por ejemplo, en un servidor remoto en una plataforma en la nube.

[0060] El funcionamiento del procesador 5 de la figura 2 se aclara mejor en la figura 3. Según esta figura, el dispositivo 2 de obtención de imágenes es operable para adquirir datos de imagen (ID, por sus siglas en inglés) que se muestran, por ejemplo, a través de una pantalla o se proyectan a los ojos del usuario. Una o más imágenes capturadas (CI, por sus siglas en inglés) se muestran en la pantalla mediante un módulo 51 de visualización. Las imágenes capturadas (CI) pueden capturarse mediante el dispositivo 2 de imágenes o mediante un dispositivo diferente. El dispositivo 2 obtención de imágenes puede ser un dispositivo de tipo fotográfico (p. ej., un teléfono móvil, una cámara, etc.) y su hardware/software relacionado para la selección de la multiplicidad de parámetros de disparo (por ejemplo, zoom de acercamiento/alejamiento, enfoque, exposición, recorte, inclinación, filtrado, etc.) puede representar la implementación física del aparato 1. El dispositivo 2 de obtención de imágenes también puede ser una pantalla montada en la cabeza para la realidad virtual y su hardware/software relacionado para la selección de la multiplicidad de parámetros de disparo (p. ej., zoom de acercamiento/alejamiento, enfoque, exposición, recorte, inclinación, filtrado, etc.) puede representar una implementación física alternativa del aparato 1.

[0062] Con el término “dispositivo de reproducción de imágenes” se entiende cualquier tipo de dispositivo que pueda provocar la reproducción de una imagen, p. ej., una pantalla activa/pasiva, un aparato de proyección frontal/posterior, la proyección directa a los ojos o la proyección directa a los ojos.

[0064] Un conjunto de sensores biológicos 6 permite la adquisición de la actividad biológica (es decir, biomecánica, neurofisiológica y cognitiva) de un usuario (o más usuarios) y se comunica con el aparato 1 en modo de tiempo real, que puede considerarse un denominado modo sincrónico. Por ejemplo, la figura 3 muestra el empleo de cuatro sensores, es decir, un sensor para medir los latidos del corazón, un sensor para medir el diámetro de la pupila, un rastreador de mirada y un micrófono. Cada sensor es operable para generar una señal biológica (BS, por sus siglas en inglés) correspondiente. El usuario interactúa con el dispositivo 2 de obtención de imágenes a través de un sistema de procesamiento en tiempo real de las señales extraídas de los sensores biológicos 6. Sin embargo, cabe señalar que, en caso de que las señales se recolecten en modo asíncrono, por ejemplo, debido a una latencia de detección biológica o de hardware/software, un procesamiento de datos determinado permite una sincronización virtual, en donde primero hay un procesamiento posterior de los datos sin procesar y, a continuación, predicciones basadas en los datos adquiridos previamente. En particular, para evitar problemas de sincronismo, el método puede comprender además la sincronización temporal de las señales biológicas entre sí y/o con los datos de imagen. Aquí, se puede considerar que un modo asíncrono es una situación en la que la temporización de las señales biológicas no se corresponde con la temporización de la visualización de las imágenes. Se observa que para fines actuales y futuros (artísticos, emocionales, etc.) de procesamiento y análisis posteriores, todos los datos se pueden almacenar como metadatos asociados. De esta manera, además de una previsión en tiempo real de las señales, es posible sincronizar posteriormente las señales para procesar y analizar las señales en un momento posterior.

[0066] Para recibir las señales biológicas del uno o más sensores biológicos, en un ejemplo, el aparato puede comprender una interfaz de comunicación.

[0068] Los datos de atributos (AD, por sus siglas en inglés), indicativos de los atributos del usuario en un momento en que el usuario está visualizando las imágenes visualizadas, se generan a partir de las señales biológicas mediante un módulo 52 de generación de datos de atributos y los datos de significación (SD, por sus siglas en inglés) se generan asociando los datos de atributos (AD) con cada imagen capturada (CI, por sus siglas en inglés) mediante un módulo 53 de asociación. Los datos de atributos (AD) también se utilizan para controlar los parámetros fotográficos del dispositivo 2 de obtención de imágenes mediante un módulo 54 de control. Se observa que los parámetros fotográficos se pueden controlar utilizando accionadores dedicados, tales como un conjunto de componentes ópticos, digitales y/o mecánicos. En este punto, los datos de significación (SD, por sus siglas en inglés) son analizados por un módulo 55 de análisis y los datos de imagen (ID) se almacenan junto con los datos de atributos (AD) basándose en el resultado del análisis de los datos de significación (SD) en un módulo 56 de almacenamiento. Como se ha mencionado anteriormente, los datos de imagen se almacenan junto con los datos de atributos del usuario. Según un ejemplo, los datos de atributos comprenden datos de señal de las señales biológicas medidas. Por ejemplo, los atributos del usuario en el momento en que está visualizando las imágenes visualizadas pueden estar relacionados con su frecuencia cardíaca, la parte de la imagen que está mirando, si hace alguna vocalización como reacción a la visualización de la imagen, etc. Además, se apreciará que los atributos del usuario podrían estar relacionados con sus procesos cognitivos y/o emociones al ver las imágenes.

[0070] En lugar de que la interacción entre el usuario y el dispositivo 2 de obtención de imágenes se produzca a través de interacciones de naturaleza biomecánica (p. ej., pulsar el botón para tomar la foto, girar la lente para zoom de acercamiento/alejamiento, enfoque, regular o tocar los comandos de la pantalla, etc.), los ejemplos de la presente descripción permiten al usuario interactuar con el aparato, p. ej., a través de un motor de inteligencia artificial (IA, por sus siglas en inglés) que transforma los datos de las señales en información cognitiva, emocional y de toma de decisiones. Por ejemplo, si un sensor biológico 6, tal como un sensor de rastreador ocular, detecta una fijación prolongada de una determinada parte del escenario encuadrado, el aparato 1 puede cambiar su enfoque a esa parte aplicando un acercamiento de magnitud proporcional a la duración de la fijación. Se observa que esto no pretende ser una orden explícita del operador humano, que no está entrenado ni necesita entrenarse, para aprender a cambiar la realización para obtener ese resultado. Por otro lado, el aparato 1 puede procesar los datos adquiridos para determinar el nivel de significación asociada a dichos datos fisiológicos y, en consecuencia, determinar el conjunto adecuado/relacionado de parámetros de disparo y activar una salida de decisión de disparar o no disparar. De hecho, el conjunto de señales biológicas se utiliza como un parámetro multivariante para la clasificación de la activación de un disparo de fotografías: evento de disparo o no disparo. Esto significa que un determinado estado biológico cognitivo coincide con la ejecución de un disparo de fotografías. Obsérvese que el usuario todavía puede utilizar el dispositivo 2 de obtención de imágenes en la realización estándar, decidiendo, por ejemplo, cuándo pulsar directamente el botón para la toma. En este caso, los metadatos emocionales/cognitivos del usuario se asocian de todos modos al disparo de fotografías para fines de procesamiento futuro o posterior, a menos que se establezca un comando explícito de no proceder. Aunque esta funcionalidad puede implementarse utilizando inteligencia artificial, se apreciará que se podría utilizar cualquier forma apropiada de aprendizaje automático basándose, por ejemplo, en conjuntos de datos entrenados. También se apreciará que esta funcionalidad podría implementarse con lógica de decisión, tal como lógica difusa, o cualquier otra lógica apropiada.

[0072] El término “sensores biológicos” pretende referirse a un conjunto de múltiples sensores fisiológicos, conductuales y ambientales que permiten la adquisición de señales o datos que están relacionados directa o indirectamente con los atributos fisiológicos, cognitivos y emocionales del usuario local. En consecuencia, los datos de atributos representan metadatos que contienen información sobre los diferentes atributos (p. ej., fisiológicos, cognitivos, emocionales) del usuario.

[0074] En un ejemplo, para mejorar la eficacia del método, los datos de significación pueden comprender una pluralidad de niveles de significación, cada uno asociado a una señal biológica respectiva a partir de la cual se generaron los datos de atributos. En consecuencia, el análisis de los datos de significación puede comprender generar un nivel de significación combinado basándose en los niveles de significación para cada una de las señales biológicas. Además, almacenar los datos de imagen junto con los datos de atributos puede comprender almacenar las imágenes visualizadas en el dispositivo de almacenamiento junto con los datos de atributos basándose en una comparación del nivel de significación combinado con un nivel de umbral de activación. Esto significa que el nivel de significación combinado podría ser mayor, más bajo, el mismo o en alguna función del nivel de umbral para almacenar las imágenes visualizadas junto con los datos de los atributos. En un ejemplo, si el nivel de significación combinado supera el nivel de umbral de activación, el método puede proporcionar una configuración automática de los parámetros fotográficos y activar el disparo de una imagen sin que el usuario tenga que presionar un accionador de disparo dedicado. Sin embargo, se señala que cualquier dato e información adquiridos por el aparato para capturar imágenes se pueden almacenar independientemente del nivel de significado alcanzado. De esta manera, los ejemplos de la descripción permiten tanto realizar un análisis experimental de los datos capturados para generar modelos de activación adicionales, nuevos y adicionales del disparo de fotografías (es decir, un análisis posterior) como reutilizar los datos almacenados para generar nuevos disparos de fotografía basadas en modelos de activación de disparos distintos del seleccionado durante la sesión en tiempo real. El nivel de significación se decidir entonces ex post, donde ex post significa casi en tiempo real y/o en cualquier momento posterior. En principio, se puede reconsiderar años después a la luz de los nuevos hallazgos. En otras palabras, el nivel de significación también puede ser cero en la actualidad, ya que no se excluye que el nivel de significación pueda determinarse de manera diferente, es decir, superior a un umbral determinado en el futuro (casi en tiempo real o dentro de años) cuando se adquieran o descubran nuevos conocimientos que den a los mismos datos almacenados un nivel de significación diferente.

[0076] En otro ejemplo, la generación de los datos de significación y el análisis de los datos de significación pueden basarse en un modelo de disparo predeterminado. Por ejemplo, el modelo de disparo puede ser un modelo de inteligencia artificial/aprendizaje automático. En particular, el modelo de disparo predeterminado se puede generar basándose en las señales biológicas adquiridas de un usuario o de una pluralidad de usuarios al visualizar un conjunto de imágenes de entrenamiento del modelo para entrenar el modelo de disparo predeterminado. De esta manera, el modelo puede actuar como un sistema de activación de un disparo de fotografías, capaz de capturar un escenario preciso observado por el usuario en un momento preciso correspondiente a un estado biológico preciso identificable y cuantificable mediante la identificación de un patrón en los valores de las señales y en las extraídas de ellas.

[0077] En un ejemplo, el nivel de umbral de activación se determina según el modelo de disparo predeterminado. De esta manera, dicho modelo puede determinar automáticamente el nivel umbral y, finalmente, actualizarlo de forma continua. Además, para ajustar el modelo de disparo predeterminado, el método puede comprender transmitir los datos de imagen de las imágenes visualizadas junto con sus señales biológicas locales asociadas a una base de datos de modelos de disparo. Por ejemplo, el modelo de disparo predeterminado puede generarse utilizando el aprendizaje automático basado en uno o más conjuntos de datos, por ejemplo, generados a partir de datos de atributos generados previamente que están asociados y/o correlacionados con los parámetros de funcionamiento físico del aparato de obtención de imágenes, como el tiempo en que se tomó la imagen, los ajustes de exposición, el control del zoom, el enfoque, etc. Los ejemplos se describen con más detalle a continuación.

[0079] En este contexto, se puede introducir el concepto de patrón de significación multiparamétrico de las señales registradas. En otras palabras, los valores de las señales utilizadas para activar el disparo se discretizan según algunos umbrales (es decir, umbrales de señal o niveles de umbral de activación), que identifican los límites (estados) de significación de cada señal. Por ejemplo, el intervalo de valores de cada señal se puede dividir en tres intervalos: significación baja, significación media y significación alta. Obsérvese que un valor de significación alto indica una condición de señal favorable para activar el disparo. Suponiendo un tablero de sensores que permita la adquisición y procesamiento de seis señales, es posible construir una matriz de dimensiones 6x3. Esta matriz, actualizada en cada marca de tiempo, representa la configuración de los valores de señal discretizados a través de los valores 1 y 0, como se muestra en la tabla I.

[0081] Tabla I: niveles de significación para cada señal biológica

[0084]

[0087] A cada señal se le asigna una ponderación. A continuación, se asigna un valor a cada nivel de significado para cada señal. Estos valores representan la importancia de la señal para proporcionar información sobre el estado emocional y cognitivo. Al atribuir una ponderación a cada nivel de significado para cada señal, la matriz anterior se transforma en una matriz de significación de la siguiente manera (tabla II).

[0089] Tabla II: matriz de significación

[0092]

[0095] Una vez que se obtienen los valores de las entradas individuales de la matriz de significación, se suman para obtener un valor numérico, denominado significación general (OS). Se observa que la significación general varía con el tiempo, siguiendo la frecuencia de muestreo sincrónico de las señales. Con cada actualización de la matriz, se compara con un valor de referencia, es decir, el nivel de umbral de activación. Si la significación general supera el nivel umbral, el sistema (p. ej., el procesador 5) proporciona un ajuste automático de los parámetros de disparo (p. ej., enfoque, exposición, etc.) y activa el disparo de fotografías sin que el usuario tenga que pulsar el botón del obturador.

[0097] Aunque las tablas I y II dan ejemplos de niveles de significación y matrices de significación, se apreciará que se podría utilizar cualquier número de niveles de significación y se podría utilizar cualquier número de señales, por ejemplo, dependiendo del modelo y del control deseado del aparato. También se apreciará que los niveles de significación podrían ser diferentes para controlar diferentes aspectos del aparato. Por ejemplo, se pueden dar mayores ponderaciones de significación a las señales asociadas con la mirada y hacia dónde mira el usuario cuando controla aspectos como el zoom y el enfoque. Como otro ejemplo, al determinar la activación del disparo (p. ej., la activación del obturador), se puede dar mayor importancia a las señales más asociadas con la emoción, como la frecuencia cardíaca.

[0099] Para aclarar mejor el análisis de los datos de significación para determinar si las imágenes visualizadas deben almacenarse, se hace referencia a la figura 11. Esta figura ilustra un proceso 700 para iniciar un disparo de fotografías. Por ejemplo, el usuario está utilizando un aparato tecnológico que consiste en una cámara a la que se conectan dos sensores para la adquisición de la señal (s1) de respiración pulmonar y la fotopletismografía (s2). Estas señales representan las señales a partir de las cuales el sistema de procesamiento procede a la extracción de los datos de atributos. En particular, se pueden obtener cuatro datos de atributos denominados a1, a2, a3, a4; en los que a1 = s1, a2 = s2, a3 es la señal de frecuencia de los actos respiratorios extraída a través de métodos de procesamiento de señales de s1 y a4 es la señal de frecuencia cardíaca extraída a lo largo del tiempo a través de métodos de procesamiento de señales de s2. Se observa que los dos datos (a1 y a2) de atributo corresponden a las señales biológicas, mientras que los otros dos datos (a3 y a4) de atributos son una combinación o elaboración de las dos señales biológicas. Se observa que cada imagen muestreada (fotograma) por el aparato está asociada a significaciones de datos, es decir, un conjunto de valores asumidos y procesados por los datos de atributos está asociado en el momento particular en donde se muestreó el fotograma del aparato. Un usuario visualiza, a través del aparato, en el instante t<0>una parte de la realidad y en el instante t<1>(con t<0>= t<1>) otra parte de la realidad. Los dos fotogramas muestreados por el aparato se indican como f<0>y f<1>, respectivamente. Cada fotograma está asociado a un conjunto de datos de significación que se denominan SD<0>y SD<1>, respectivamente. Para cada dato de atributo, algunos umbrales están predeterminados. Estos umbrales discretizan los propios datos de los atributos. Además, estos umbrales identifican los estados de significación de cada atributo. Por ejemplo, el intervalo de valores que puede asumir cada atributo dado se puede dividir en tres niveles: significación alta, baja y media. Por lo tanto, los datos de cada atributo se pueden expresar localmente (es decir, en cada momento de tiempo asociado con el muestreo de un marco) con una matriz de valores similar a la tabla I anterior. Se observa que las columnas de la tabla I están relacionadas con las señales individuales Señal 1 - Señal 6 como datos de atributos. Sin embargo, las columnas también pueden estar relacionadas con una combinación de señales o elaboración de señales. Por ejemplo, las columnas pueden estar relacionadas con los datos de atributos a1-a4 del presente ejemplo.

[0101] Las entradas de la matriz de significación son 0 o 1, según el valor específico asumido por el único atributo dado en relación con sus umbrales de significación. Obsérvese que un valor de significación alto indica una condición de atributo favorable para activar el disparo. A cada dato de atributo se le asigna una ponderación. A continuación, se asigna un valor a cada nivel de significación para cada dato de atributo. Estos valores representan la magnitud o la importancia de los datos de los atributos a la hora de proporcionar información relacionada con el estado del sujeto. Al atribuir una ponderación a cada nivel de significación para cada dato de atributo, la matriz anterior se transforma en una matriz de significación (tabla III). Se observa que en la siguiente matriz, no se proporcionan los valores 0 y 1.

[0102] Tabla III: ponderaciones de los datos de significación

[0105]

[0108] Para cada marca temporal en la que se muestrea un marco, la matriz de la tabla III se rellena con 0 y 1, según el valor de significación de los datos de atributos específicos. A continuación, por ejemplo, se muestra la matriz de significación, que son las SD, asociadas a f<0>y f<1>, respectivamente.

[0110] Tabla IV: datos de significación asociados con el marco f<0>

[0113]

[0116] Tabla V: datos de significación asociados con el marco f<1>

[0119]

[0122] Las tablas IV y V muestran la evidencia que implica que en cada columna de la matriz solo se permite un 1, mientras que los demás ingresos de la matriz deben ser iguales a 0. El procedimiento que conduce a la activación automática del disparo de fotografías requiere que los elementos de la matriz de significación se sumen y se comparen con un umbral general de activadores. La suma de los elementos de cada matriz es una significación general (OS). Habría un OS<0>asociado a f<0>y un OS<1>asociado a f<1>. Según este ejemplo, OS<0>= 3,2 y OS<1>= 4,1. Suponiendo que en el modelo de activación del disparo de fotografías está predeterminado un umbral de activación general de 3,8, el fotograma f<1>produce el disparo de fotografías mientras que el fotograma f<0>no produce ningún resultado.

[0124] El proceso 200 para activar un disparo se resume e ilustra en la figura 4. El usuario visualiza la realidad circundante utilizando un dispositivo 2 de obtención de imágenes, es decir, un sistema fotográfico. La información sobre la actividad biológica del usuario se mide mediante sensores biológicos 6. Las señales biológicas sin procesar se extraen y se sincronizan entre sí y con las secuencias de fotogramas capturadas por el dispositivo 2 de obtención de imágenes en un módulo 201 de adquisición y filtrado. Se construye una matriz de significación en un módulo 202 de matriz de significación y se generan datos de significación, basándose en las señales biológicas medidas y los parámetros del modelo, es decir, los umbrales de señal, las ponderaciones de los niveles de significación y el nivel de umbral de activación, analizados en el módulo 203 de parámetros del modelo. Se calcula la significación general y se realiza una comparación con el nivel de umbral de activación en el módulo 204 de verificación. El módulo 205 de disparo activa un disparo del dispositivo 2 de obtención de imágenes basándose en una relación particular entre el valor de la significación general y el nivel de umbral de activación (por ejemplo, el valor de significación general es mayor que el nivel de umbral de activación). Los parámetros de disparo, es decir, el zoom, el enfoque y la exposición, se ajustan automáticamente basándose en el proceso de sincronización y filtrado antes del disparo en el módulo 206 de parámetros de disparo.

[0126] Todos los datos se registran como metadatos fotográficos en un formato fotográfico determinado que contiene no solo datos de señales fotográficas sin procesar, sino también datos sin procesar extraídos por humanos. Este formato permite utilizar una serie de herramientas de procesamiento posterior individuales y colectivas, así como datos de entrenamiento para mejorar aún más la precisión, la sensibilidad y la previsibilidad a nivel de usuario individual y colectivo. Los umbrales de señal, las ponderaciones de cada nivel de significación y el nivel de umbral de activación (es decir, los parámetros del modelo) se pueden ajustar utilizando uno de los dos tipos siguientes de lógica de decisión.

[0127] En particular, el sistema para capturar imágenes tiene una configuración modular que comprende una interfaz de usuario para visualizar estímulos audiovisuales, una interfaz de operador para monitorizar y gestionar cada estímulo y una disposición de sensores para registrar señales biológicas. Además de gestionar las interacciones entre estos tres elementos, un módulo Al procesa automáticamente las señales biológicas adquiridas y sincronizadas registradas por un usuario durante la visualización de un estímulo audiovisual (entrada) que define la dinámica y los índices biológicos. El objetivo de este procesamiento es devolver una representación visual revisada del estímulo (salida) modificada según la percepción cognitiva subjetiva del estímulo original, así como algunos parámetros relacionados con la cognición. La salida se genera haciendo coincidir la información extraída de las señales biológicas del usuario durante la presentación del estímulo y el estímulo en sí, lo que resulta en una representación visual aumentada de la entrada. El procedimiento de procesamiento de señales varía de una señal a otra, pero generalmente está constituido por una fase inicial en la que se filtra una única señal para mejorar un comportamiento particular y una segunda etapa en la que se aplican diferentes algoritmos de análisis de señales para extraer índices específicos que describen brevemente la tendencia de la señal. Tanto las señales filtradas como los índices extraídos se consideran comparadores de información y pueden considerarse metadatos asociados a ese proceso específico. El sistema permite adquirir simultáneamente una o más señales biológicas y el modelo Al procesa cada señal para obtener la salida deseada.

[0129] A diferencia de los enfoques de la técnica anterior, el presente aparato y sistema pretenden no solo elaborar y devolver índices que reflejen algún comportamiento biodinámico del usuario, sino que diferentes índices extraídos de las señales y las propias señales se utilizan como moderadores de la percepción subjetiva del usuario del estímulo propuesto. De hecho, a través de la etapa de procesamiento particular, es posible producir una versión cognitiva reelaborada de la entrada.

[0131] La figura 5 ilustra un proceso 300 que emplea el sistema de ajuste de parámetros del modelo. Según una primera lógica, los parámetros del modelo se ajustan manualmente 301. Por ejemplo, los fabricantes del aparato 1 pueden identificar la configuración de estos parámetros después de pruebas experimentales de laboratorio sobre la naturaleza y la información transmitidas por las señales 302. Alternativamente, el usuario tiene la posibilidad de ajustar los parámetros por sí mismo 303.

[0133] Según una segunda lógica, por otro lado, las diferentes configuraciones de los parámetros del modelo pueden identificarse mediante sistemas 304 de aprendizaje automático entrenados usando señales adquiridas por el usuario (o usuarios) durante sus sesiones 305 de disparo. Es decir, por defecto, cada usuario que utiliza el aparato 1 puede compartir sus metadatos (señales e información personal) en una base de datos accesible para las partes autorizadas. Adicional o alternativamente, se puede realizar una actividad similar a la de un ensayo clínico en una cohorte de usuarios inscritos voluntariamente para determinar dichos parámetros con el nivel apropiado de potencia estadística 306. Dependiendo del clúster o grupo al que pertenezcan los usuarios o las sesiones, se puede producir una configuración diferente 307. Como consecuencia, se determinan 308 los parámetros del modelo.

[0135] Según otro ejemplo, el usuario es un usuario local que es local al aparato para capturar imágenes, y los datos de atributos comprenden datos de atributos locales que están asociados con un momento en que el usuario local está visualizando las imágenes visualizadas por el dispositivo de reproducción de imágenes. En otras palabras, por ejemplo, el usuario puede sujetar físicamente el aparato para capturar imágenes, que puede ser una cámara, un teléfono inteligente, una cámara de vídeo, etc.

[0137] En otro ejemplo, el usuario es un usuario remoto que es remoto al aparato para capturar imágenes, el dispositivo de reproducción de imágenes es local al usuario remoto y los datos de atributos comprenden datos de atributos remotos que están asociados con un momento en que el usuario remoto está visualizando las imágenes visualizadas por el dispositivo de reproducción de imágenes.

[0139] En aún otro ejemplo del aparato, el usuario puede ser un usuario local que es local al aparato para capturar imágenes, y los datos de atributos pueden comprender datos de atributos locales que están asociados con un momento en que el usuario local está visualizando las imágenes visualizadas por el dispositivo de reproducción de imágenes. En particular, el aparato puede comprender una interfaz de comunicación operable para recibir datos de atributos remotos de una pluralidad de dispositivos de usuario remotos asociados con diferentes usuarios remotos, teniendo cada dispositivo de usuario remoto un respectivo dispositivo de reproducción de imágenes remoto para visualizar las imágenes capturadas por el dispositivo de obtención de imágenes, y siendo cada dispositivo de usuario remoto operable para generar los datos de atributos remotos a partir de una pluralidad de señales biológicas remotas medidas por una pluralidad de sensores biológicos remotos, siendo los datos de atributos remotos indicativos de atributos de los usuarios remotos en un momento en que los usuarios remotos están visualizando las imágenes visualizadas por sus respectivos dispositivos de reproducción de imágenes de usuario remoto. En este caso, los datos de significación se pueden generar basándose en los datos de atributos locales y los datos de atributos remotos.

[0141] En este contexto, los términos “local” y “remoto” deben entenderse dentro o fuera de una cierta distancia de un punto de referencia. Por ejemplo, un usuario local se entiende como un usuario que se encuentra muy cerca de, o dentro de una distancia umbral de, un dispositivo, es decir, el dispositivo para capturar imágenes. En este caso, el usuario puede interactuar directamente con el dispositivo, tocándolo directamente, a través de medios de conexión, como un cable, o mediante una comunicación inalámbrica, preferiblemente una comunicación inalámbrica de corto alcance, como Bluetooth, inducción magnética de campo cercano,... Por otro lado, un usuario remoto se entiende como un usuario alejado de, o fuera de una distancia umbral de, un dispositivo, es decir, el dispositivo para capturar imágenes. Por ejemplo, el usuario remoto puede emplear un sistema de comunicación en tiempo real (p. ej., una infraestructura de telecomunicaciones 5G local o generalizada) para adquirir información del dispositivo para capturar imágenes y, finalmente, transferir datos a una nube y a una arquitectura de computación perimetral conectada al dispositivo para capturar imágenes. Se observa que el dispositivo de reproducción de imágenes está ubicado preferiblemente muy cerca, es decir, “local”, del usuario remoto para permitir la reproducción de imágenes de los datos de imagen derivados del dispositivo para capturar imágenes.

[0143] Por ejemplo, el dispositivo para capturar imágenes puede estar ubicado para capturar imágenes de una escena de vida silvestre, tal como en una ubicación ambientalmente desafiante o donde la presencia de un usuario podría molestar a la vida silvestre. Las imágenes capturadas pueden transmitirse desde el dispositivo para capturar imágenes al dispositivo de reproducción de imágenes ubicado en un lugar más seguro que no perturbe a la vida silvestre.

[0144] En una configuración donde están presentes un usuario local y un usuario remoto, el método puede comprender además visualizar las imágenes capturadas por el dispositivo de imágenes en una pluralidad de dispositivos de reproducción de imágenes de usuarios remotos que están asociados con diferentes usuarios remotos. Además, el método puede comprender generar datos de atributos remotos a partir de una pluralidad de señales biológicas remotas medidas por una pluralidad de sensores biológicos remotos, siendo los datos de atributos remotos indicativos de los atributos de los usuarios remotos en el momento en que los usuarios remotos están visualizando las imágenes visualizadas por sus respectivos dispositivos de reproducción de imágenes de usuarios remotos. En particular, el método puede comprender ajustar el modelo predeterminado basándose en la entrada del usuario de los diferentes usuarios remotos. Esto puede ayudar a generar un modelo más completo, efectivo y preciso, ya que los datos de diversos usuarios y diversas imágenes se pueden obtener más fácilmente.

[0146] Por lo tanto, el presente método 100 para capturar imágenes se puede emplear en diferentes escenarios.

[0148] En un primer escenario (escenario 1:1), el usuario es la única fuente de información biológica para activar el disparo. En esta dimensión individual, el usuario está conectado a los sensores biológicos 6 y el aparato 1 recibe y elabora datos de dichos sensores 6, que extraen información del usuario determinado, para decidir, a través del valor de significado general, cuándo se activa un disparo y si se activa este. El conjunto de metadatos registrados durante cada sesión de disparo de fotografías se almacena en una base de datos personal, y el propio usuario puede aceptar o modificar los parámetros del modelo basándose en observaciones experimentales, creatividad personal o basándose en el entrenamiento de algoritmos de aprendizaje automático.

[0150] En un segundo escenario (escenario 1:N), la activación del disparo no se produce únicamente sobre la base del valor de significación general del usuario individual que utiliza el dispositivo. De hecho, en este escenario, diferentes usuarios (es decir, los espectadores protagonistas) visualizan en tiempo real lo que está visualizando un usuario principal (p. ej., el concepto de compartir pantalla). Al mismo tiempo, cada espectador protagonista está equipado con diferentes sensores que adquieren señales biológicas y, a través de un sistema de comunicación en tiempo real (p.

[0151] ej., una infraestructura de telecomunicaciones 5G local o generalizada), transfieren información a la nube y se conecta una arquitectura de computación perimetral al dispositivo de imágenes del usuario principal 2. La información transferida por los observadores protagonistas consiste en el valor de significado general que se actualiza en cada marca de tiempo. De nuevo, los parámetros del modelo se pueden ajustar según una de las dos lógicas descritas anteriormente. Por lo tanto, el disparo no se activará comparando únicamente la significación general del usuario principal con el nivel de umbral de activación. Por otro lado, en cada marca de tiempo, el dispositivo 2 de obtención de imágenes del usuario principal comprende un vector de significación colectiva, junto con los valores individuales del significado general de los usuarios individuales.

[0152] La tabla VI muestra el vector de significación colectiva (cinco espectadores (V) y un usuario principal (MU)) en un momento específico.

[0153] Tabla VI: vector de significación colectiva

[0156]

[0158] Utilizando una de las dos lógicas de ajuste de los parámetros del modelo, la MU puede decidir no solo los parámetros del modelo de los demás espectadores, sino también la importancia que debe atribuir a los componentes individuales del vector de significación colectiva, como se muestra en la tabla VII a continuación.

[0159] Tabla VII: vector ponderado de significación colectiva

[0162]

[0164] La suma de los componentes individuales de los vectores se puede comparar entonces con un nivel de umbral de activación para activar un disparo de fotografías basándose en las reacciones y procesos emocionales y cognitivos adquiridos por una comunidad de personas.

[0165] Un tercer escenario (escenario N:N) permite a una red de usuarios compartir entre sí (dispositivos) las señales adquiridas durante la visualización de la misma realidad visualizada (desde múltiples perspectivas visuales y biológicas). Cada usuario puede decidir qué tipo de ajuste de los parámetros de ajuste elegir, según el disparo de fotografías que quiera iniciar.

[0166] Un cuarto escenario (escenario de creación de perfiles de usuarios de investigación neurocognitiva basados en ML) se puede aplicar a cualquiera de los tres escenarios descritos anteriormente. Este escenario permite la extracción de los metadatos asociados a cada usuario con el fin de investigar y mejorar la sensibilidad y la precisión (generalmente, las actuaciones) del sistema, así como para la extracción de nuevos patrones/modelos emocionales sociocognitivos y la creación de nuevas prestaciones y características del sistema individual y colectivo. Una vez almacenados en una base de datos, estos datos se pueden utilizar para encontrar patrones cognitivos comunes entre las personas y, después, nuevos métodos de activación basados en metadatos sociales.

[0167] Cabe señalar que, en caso de que la tecnología disponible no permita procesar y compartir casi en tiempo real los datos biológicos extraídos de los usuarios, la estructura del flujo de análisis de la significación de la fotoactivación puede implementarse de diferentes maneras. En particular, las señales se pueden almacenar y analizar en ventanas de tiempo sincronizadas con los fotogramas individuales de las imágenes tomadas desde el dispositivo 2 de obtención de imágenes. De esta manera, las señales se pueden procesar retrospectivamente, aislando el fotograma correspondiente al paso del umbral de disparo. Alternativamente, la implementación de un sistema de predicción de señales en tiempo real puede impedir la utilización de la lógica de decisión descrita anteriormente, como se ilustra en la figura 6. Según este proceso 400, se puede emplear una nueva ventana temporal 401 para sincronizar las señales con los fotogramas 405 de imagen. En otras palabras, esto puede considerarse un ejemplo de sincronización temporal de las señales biológicas entre sí y/o con los datos de imagen. La nueva ventana temporal se utiliza si la comparación entre la significación general y el valor umbral de activación no satisface los requisitos 402 determinados. Por otro lado, si la comparación entre la significación general y el valor umbral de activación satisface los requisitos 403 determinados, se realiza un disparo 404 en combinación con la información de fotogramas de la imagen.

[0168] Como se mencionó anteriormente, la generación y el análisis de los datos de significación se basan en un modelo de disparo predeterminado. Este modelo puede ser un modelo de Al/ML realizado a priori utilizando un conjunto de registros que, procesadas para extraer información (es decir, procesamiento de señales y extracción de características), actúan como conjuntos de entrenamiento (y prueba) para alimentar y ajustar los parámetros del propio modelo. Posteriormente, en una segunda fase, el rendimiento del modelo y su estructura se puede mejorar/modificar mediante actualizaciones que resulten de un aumento en el tamaño del conjunto de entrenamiento (y prueba), en lugar de la utilización de nuevas tecnologías para extraer nuevas señales o la utilización de métodos matemáticos nuevos e innovadores para extraer información de las propias señales.

[0170] El término “registro” se refiere al conjunto de diferentes señales biológicas adquiridas a través de un conjunto de sensores biológicos no invasivos 6, p. ej., sensores portátiles, de un usuario mientras actúa para tomar una foto, comenzando desde el momento en que el usuario se acerca para visualizar un escenario a través de una lente hasta que el usuario decide capturar lo que está enmarcado a través del propio disparo de fotografías.

[0172] El objetivo de la fase de construcción del modelo es generar un sistema de Al capaz de identificar de forma autónoma uno o más patrones dentro de los valores de las señales biológicas, lo que sugiere una relación entre el disparo de fotografías y el estado biológico-cognitivo-emocional del usuario. De esta manera, el modelo puede actuar como un sistema de activación del disparo de fotografías, capaz de capturar un escenario preciso observado por el usuario en un momento preciso correspondiente a un estado biológico preciso identificable y cuantificable mediante la identificación de un patrón en los valores de las señales y en las extraídas de ellas. Además, cada registro se asocia a un número definido de información cuantitativa y cualitativa relacionada con el usuario, como la experiencia fotográfica, la edad, el número de fotos tomadas, etc. Esta información actúa como moderadora para el análisis estadístico, agrupando los diversos registros en grupos específicos a partir de los cuales es posible generar y moderar diferentes salidas/disparos(es decir, diferentes configuraciones de modelo según el tipo de salida deseado). Por ejemplo, se puede utilizar una configuración de modelo de fotografía entrenado en registros de fotógrafos con mucha experiencia o, mejor dicho, de fotógrafos muy interesados en los paisajes naturales. Se observa que cada configuración del modelo tiene conformaciones adicionales en números iguales al número de combinaciones (sin repetición y sin interés en el orden) de las señales extraídas. Por ejemplo, es posible aprovechar una configuración que activa un disparo de fotografías basándose en el grupo de fotógrafos más experimentados analizando solo las señales biológicas seleccionadas (p. ej., la señal del fotopletismograma (PPG) y la señal de la respuesta galvánica de la piel (GSR, por sus siglas en inglés), en lugar de un superconjunto de estas señales.

[0174] En la fase de entrenamiento y construcción del modelo, el algoritmo se alimenta con datos extraídos de las señales de los registros individuales. En particular, optimiza el tamaño de la ventana de tiempo anterior al disparo utilizado para aislar una parte de las señales. A continuación, se considera una combinación de características extraídas de esas señales que mejor clasifica el evento de disparo basándose en los patrones de valores de las propias características. Por lo tanto, antes de esta etapa es necesario crear una base de datos primaria de diferentes registros.

[0175] El modelo de aprendizaje automático es, por lo tanto, un sistema de clasificación binaria supervisado: disparo o no disparo. Este modelo puede representarse mediante un bosque aleatorio de clasificación a través del cual, con el ajuste adecuado y refinado de los parámetros de ajuste del propio modelo, es posible obtener un sistema predictivo capaz de activar un disparo de fotografías. Para cada grupo identificado agrupando los registros basándose en los moderadores, se genera una configuración específica del modelo, que permite identificar por lo tanto un patrón específico en los valores de la señal, así como una condición particular del estado emocional y cognitivo de la persona.

[0176] El resultado de todo el proceso es un conjunto de plantillas que los nuevos usuarios pueden utilizar. Una vez entrenados y disponibles, estos modelos se integran en un sistema de software integrado en un dispositivo fotográfico, por ejemplo, en el firmware del dispositivo. Independientemente de cómo se utilice (es decir, elegir el grupo específico al que hacer referencia para la producción de la fotografía y después elegir el tipo de modelo), un usuario puede emplear el aparato 1 simplemente equipándose con sensores biológicos 6 capaces de extraer las señales utilizadas para el entrenamiento del modelo o un subconjunto de ellas. Para aumentar el rendimiento de las diferentes configuraciones del modelo, los registros de usuarios enriquecidos con información personal relacionada (es decir, los moderadores) se pueden almacenar para aumentar el tamaño de la base de datos principal. De esta manera, esta base de datos se puede utilizar periódicamente como una nueva base de datos para las nuevas fases de construcción de modelos. Las nuevas configuraciones de modelo generadas pueden integrarse a continuación en dispositivos fotográficos y considerarse actualizaciones del sistema.

[0178] Como se mencionó anteriormente, un sistema 9 para capturar imágenes puede representarse mediante el aparato 1 para capturar imágenes combinado con uno o más sensores biológicos 6 aplicados a un usuario. Mientras el usuario observa objetos y/o paisajes reales que lo rodean (es decir, los mismos objetos y paisajes capturados por una lente fotográfica del dispositivo 2 de obtención de imágenes en forma de imágenes), la información sobre su actividad biológica se extrae de su cuerpo de forma no invasiva. Esto se hace utilizando sensores portátiles y/o sensores que no están conectados directamente a partes del cuerpo, como los sistemas de sensores que pertenecen al mundo de la IoT.

[0180] Las señales biológicas pueden adquirirse utilizando diferentes sensores 6 no invasivos que explotan varias tecnologías. Estos sensores 6 están conectados directa o indirectamente con los procesos biomecánicos, cognitivos y emocionales (conscientes o inconscientes) activados en el ser humano o en un animal (p. ej., mascotas como perros o gatos) por estímulos visuales y otros estímulos sensoriales. Dado que cada animal es un ser sensible, es posible iniciar un disparo de fotografías utilizando la retroalimentación “emocional” del animal, ya sea sola o mezclada con la humana. De esta manera, es sencillo ampliar el proceso utilizando no solo una retroalimentación cognitivo-emocional humana, sino más de una, como resultado de la monitorización de la emoción y la cognición de N personas.

[0181] En particular, los sensores 6 están integrados en el sistema de activación (“disparo”) (cámara réflex digital o teléfono inteligente) o pueden distribuirse en el entorno mediante la utilización de sensores conectados de forma cableada/inalámbrica (p. ej., sensores portátiles y/o sensores de IoT que extraen señales/datos de otros sistemas de detección ubicados en las instalaciones ambientales donde el usuario está potencialmente interesado en tomar fotografías).

[0182] Por ejemplo, una cámara fotográfica puede recibir datos de:

[0183] 1. varios sensores portátiles no invasivos utilizados por un usuario principal que manipula la cámara;

[0184] 2. varios sensores portátiles no invasivos integrados en diferentes paneles tecnológicos instalados para otros usuarios secundarios y conectados de forma cableada/inalámbrica a la cámara del usuario principal; y/o

[0185] 3. varios sensores ambientales de IoT capaces de traducir el lenguaje corporal y las dimensiones emocional-cognitivas de diferentes personas (p. ej., en un campo/plaza/calle), en donde hay varias lentes presentes. Cuando el sistema de sensores ambientales y/o portátiles detecta una respuesta particular en el comportamiento individual o de la multitud, se activa un disparo de fotografías desde una o más lentes. Es decir, el sistema es capaz de interpretar y racionalizar el comportamiento cognitivo-emocional individual o colectivo.

[0186] La cámara puede ser portátil o llevada por el usuario directo, integrada en otros sistemas portátiles o integrada en accesorios portátiles (p. ej., sombreros, gafas, cascos, chaquetas, guantes, anillos, pulseras), así como ser operada de forma remota por un operador humano, animal o robótico (p. ej., robots móviles, drones aéreos o acuáticos, vehículos en general, incluidos barcos), controlada en tiempo real por una persona o una multiplicidad de usuarios conectados. Por ejemplo, un dron o un perro están equipados con una cámara y tienen la capacidad de moverse (de forma autónoma o dirigida). La cámara se activa para disparar basándose en el proceso cognitivo-emocional elaborado a partir de un sistema de sensores tecnológicos que capta la señal de un individuo o una multitud.

[0187] A continuación, se menciona una lista indicativa de sensores que pueden utilizarse como sensores biológicos según el presente método, aparato y/o sistema. Se puede considerar, por ejemplo, cómo la utilización de herramientas de análisis no lineales (es decir, cuantificar la complejidad, la variabilidad de la señal) sobre la señal cardíaca simple permite extraer información fundamental sobre el estado neurológico de la persona, incluso llegando a la detección de emociones solo a través de la misma señal. Otro ejemplo consiste en el hecho de que las nuevas tecnologías son capaces de medir y cuantificar de forma no invasiva variables biológicas que antes era impensable medir (p. ej., el diámetro de la pupila, SpO<2>). Además, es probable que la plataforma descrita en la presente descripción genere algunos descubrimientos. De esta manera, la lista de sensores no pretende ser exhaustiva en términos de usabilidad (ya que en el futuro, la miniaturización de la electrónica en la detección, el procesamiento, la conexión inalámbrica y la recolección de energía favorecerá la integración de una multiplicidad de sistemas de detección y, en última instancia, mejorará la usabilidad y la experiencia de usuario del sistema de activación (“disparo”)). Por ejemplo, solo teniendo en cuenta la innovación y el progreso de la telefonía (desde la cabina de telefonía hasta el sistema de telecomunicaciones integrado en un reloj de pulsera inteligente).

[0188] Los sensores biológicos 6 pueden comprender al menos uno de los siguientes:

[0189] • Señal GSR (respuesta galvánica de la piel)

[0190] • Señal PPG (fotopletismografía)

[0191] • Posición de mirada

[0192] • Señal EEG (electroencefalografía)

[0193] • Expresión facial

[0194] • Señal de ECG (electrocardiografía)

[0195] • Señal EMG (electromiografía)

[0196] • Diámetro de pupila

[0197] • Lenguaje del movimiento corporal (inercial, háptico, gestual, etc.)

[0198] • Lenguaje hablado natural (micrófono)

[0199] • Lenguaje emocional natural (micrófono)

[0200] • Señal fNIRS (espectroscopía funcional de infrarrojo cercano)

[0201] • Nivel de oxigenación sanguínea

[0202] • Parámetros bioquímicos (p. ej., cortisol, dopamina, noradrenalina)

[0203] • Señal de geolocalización (GPS, WiFi, Bluetooth, 5G)

[0204] • Sensores ambientales de IoT (p. ej., detectores de lenguaje corporal)

[0205] A modo de ejemplo, un sensor de rastreador ocular podría captar la señal de posición de la mirada y la señal del diámetro de la pupila, incluida la velocidad de su contracción. En este caso, podría concebirse detectar la tendencia de la concentración de oxígeno en la pupila, el nivel de dopamina a partir de la velocidad de contracción de la pupila, el latido del corazón a partir del comportamiento de la presión ocular o la concentración de agentes bioquímicos en la retina a partir de una respuesta ocular de excitación fluorescente. A continuación, podría ser posible establecer una correlación entre estos parámetros/tendencias extraídos y el estado cognitivo-emocional, ya que un software de procesamiento de bioimágenes puede adquirir y decodificar señales de moléculas en la sangre del ojo. Como en este ejemplo particular, el sensor de rastreador ocular podría estar integrado en el sistema de disparo (p. ej., en la lente o en la pantalla de una cámara réflex o puente de un teléfono inteligente, en la montura o la lente de unas gafas) y podría rastrear el movimiento ocular, lo que permitiría al sistema de software registrar qué detalles de la imagen captaron la atención del usuario.

[0206] La tecnología fNIRS puede representar otro ejemplo. Como se trata de un conjunto de sensores portátiles, no se puede integrar físicamente en el sistema, pero se puede comunicar con él a través de protocolos de comunicación cableados e inalámbricos, lo que permite a diferentes usuarios interactuar fácilmente con la actividad adquirida por el fNIRS con la cámara.

[0207] Hasta ahora, se describen sensores que adquieren señales de un usuario singular. Sin embargo, es concebible una plataforma social mediante la cual la adquisición pueda ser activada por una multiplicidad de usuarios conectados digitalmente presentes in situ o activos de forma remota mediante sus procesos emocionales o cognitivos, de modo que los datos de entrada puedan comprender también señales e información biológicas procedentes de una comunidad social (humana y/o animal), que después pueda interactuar con el sistema gestionado por el usuario principal o por un humano, animal o robótico.

[0208] La figura 7 ilustra esquemáticamente un ejemplo del proceso 500, en donde un usuario principal (usuario n.º 1) emplea un sistema fotográfico con elementos sensores 501. En un sistema 502 de refinamiento de señales, el tablero de sensores extrae 502 tipos diferentes de señales de calidad sin procesar (es decir, a medida que se recolectan) que se sincronizan entre sí y con la secuencia de fotogramas capturados por la lente fotográfica, para tener una correspondencia única entre cada marca de tiempo y la información registrada durante el curso del proceso. Según este ejemplo, se utiliza una pluralidad de sensores biológicos, como GSR, PPG, diámetro de la pupila, posición de la mirada, EEG, fNIRS, expresión facial,... Las señales obtenidas del proceso de sincronización pasan por un procesamiento 503 de dos etapas. Cada señal se filtra 504 con técnicas apropiadas y personalizadas destinadas a reducir el ruido de señal típico o debido a artefactos humanos. Estas señales filtradas se someten a las técnicas 505 de análisis numérico para extraer índices y señales que representan tendencias o cifras de mérito que explican el estado cognitivo y emocional del usuario. En particular, mientras el sistema adquiere continuamente fotogramas de imagen y señales de los diferentes sensores, el sistema de software integrado filtra las señales y las analiza. El análisis consiste en la búsqueda automática de un patrón específico en los valores de las señales, de tal modo que, una vez que se cumple un criterio óptimo, el sistema congela la imagen y se genera una foto. Además, en el archivo digital se guardan todos los metadatos fisiológicos registrados (como ocurre actualmente con el formato “sin procesar” y otros formatos fotográficos elaborados, p. ej., jpeg, que contiene datos de conjuntos de sensores de luz y otros datos técnicos básicos derivados de la configuración de la cámara, las coordenadas GPS asociadas, etc.). Una vez extraídas, las salidas de señal están listas para utilizarse para buscar un patrón de activación para el disparo de fotografías a través de un sistema de aprendizaje automático (ML, por sus siglas en inglés) basándose en el modelo 506 de clasificación. Este sistema recibe las salidas entrantes de la fase de filtrado, procesamiento y análisis y, basándose en los parámetros de ajuste previamente ajustados, identifica un instante temporal en donde se utiliza el patrón cognitivo emocional específico, lo que da como resultado el disparo de una fotografía (es decir, la inmortalización del fotograma para ese instante temporal) 507.

[0209] De forma similar, es posible considerar un ecosistema de una pluralidad de sensores para detectar y recolectar información emocional y cognitiva de múltiples individuos (usuario n.º 2, usuario n.º 3,... usuario n.º N) que interactúan con un usuario principal (usuario n.º 1) en la forma en que ven la misma parte de realidad identificada por la lente fotográfica. De hecho, mediante el mismo sistema de refinamiento de señales, se extraen las tendencias cognitivas y emocionales y las cifras de mérito de diferentes usuarios que van a alimentar a un centro de datos, que contiene retroalimentación social emocional completamente sincronizada con las del usuario principal 508. Se señala que no solo un único usuario sino también una pluralidad de usuarios puede alimentar como entrada el sistema ML 509.

[0210] Las figuras 8 y 9 ilustran un diagrama de flujo que describe un proceso empleado en un sistema para capturar imágenes, en donde el dispositivo de obtención de imágenes es un teléfono móvil (figura 8) o un dispositivo fotográfico (figura 9). El proceso de estas figuras corresponde básicamente al proceso mostrado en la figura 7 para un solo usuario.

[0211] En la figura 8, el usuario mira un teléfono móvil o teléfono inteligente 601. El teléfono inteligente está equipado con sensores biológicos 6 para detectar y recolectar datos biológicos sin procesar (p. ej., PPG, GSR, expresión facial, fotogramas de imágenes y rastreador ocular). Las señales sin procesar se sincronizan entre sí junto con la secuencia 602 de tramas. A continuación, se filtran las señales sincronizadas. En particular, se realiza 603 un primer proceso de filtrado (es decir, agrupamiento de datos). Se observa que, basándose en la señal biológica medida, se puede utilizar un segundo proceso de filtrado dedicado. Por ejemplo, en el caso de una señal PPG, se realiza una verificación de muestreo uniforme y, a continuación, una etapa de filtrado utilizando un filtro de Chebyshev de tipo II (de orden IV) 604. Después, el PPG filtrado se somete a un buscador de picos basado en una envolvente para evaluar la variabilidad de la frecuencia cardíaca (HRV, por sus siglas en inglés). Las otras señales biológicas se someten a procesos idénticos o similares. Las etapas de filtrado se realizan para las señales biológicas para cada muestra del tiempo 605. Los fotogramas de imagen sincronizados se utilizan para controlar y ajustar los parámetros fotográficos, tales como el acercamiento y el enfoque 606. Estos parámetros también se controlan basándose en los resultados de las señales de rastreador ocular en términos de tiempo de fijación y posición 607 de fijación.

[0212] Las señales filtradas se introducen en un algoritmo 608 entrenado por ML para identificar un instante de tiempo para disparar 609. Se observa que los parámetros fotográficos se ajustan antes de disparar basándose en el análisis de los fotogramas de la imagen.

[0213] En la figura 9, el usuario emplea un aparato con un dispositivo fotográfico en lugar de un teléfono inteligente. En este caso, algunas señales biológicas, como la expresión facial, no se tienen en cuenta. Sin embargo, se pueden considerar otros parámetros, como un análisis 610 de pupila más fino. Aparte de esto, el proceso de la figura 9 es el mismo que en la figura 8. En consecuencia, se identifican los mismos números de referencia.

[0214] El proceso de entrenamiento en aprendizaje automático se basa en sesiones exploratorias anteriores realizadas con sujetos reclutados debido a su habilidad para el disparo de fotografías manual. El sistema aprenderá de los procesos cognitivos que se realizan antes y durante el instante del disparo. De esta manera, el usuario no será quien decida cuándo disparar, sino que su proceso cognitivo y biológico impulsará inconscientemente al software a disparar, emulando el proceso biológico y cognitivo de un fotógrafo más experimentado. Este enfoque representa el primer nivel de desarrollo, permitiendo de este modo a un usuario tomar una foto como lo haría un fotógrafo experto utilizando patrones de otro fotógrafo (es decir, agrupados basándose en la conveniencia del usuario).

[0215] Esto se aplica sistemáticamente a más de una persona, es decir, a un conjunto determinado de personas autodefinidas según criterios de afinidad explícitos o implícitos, o la totalidad de los usuarios generan grandes conjuntos de datos que pueden utilizarse para determinar patrones significativos, reforzando por lo tanto la eficacia de los algoritmos de aprendizaje automático.

[0216] Un nivel más profundo del funcionamiento del sistema consiste en la posibilidad de que un usuario dispare una fotografía como desee sin conocer o ser consciente de sus procesos cognitivo-emocionales, pero permitiendo al sistema de disparo medir, cuantificar y definir el estado cognitivo-emocional del propio usuario durante ese tiempo (es decir, “fotografía asistida”).

[0217] Para mejorar la precisión y la eficacia del sistema, un punto de partida puede ser un número limitado de vías cognitivas de un fotógrafo experimentado. Sin embargo, también es interesante comprender y explorar más a fondo cómo un usuario común (p. ej., no es necesario tener experiencia fotográfica) se siente y reacciona ante la captura de imágenes de una cámara, llegando a definir qué tipo de patrones cognitivo-emocionales activarían un disparo de fotografías. El concepto es que el sistema permite generar y utilizar diferentes “filtros de activación” que están representados por la forma en que un usuario en particular (p. ej., el propio usuario, su amigo, el fotógrafo experiencial, etc.) dispara una foto.

[0218] Además, los usuarios se pueden agrupar para ver cómo se comportan y qué tipos de información agregan. Una vez que se obtiene una gran cantidad de metadatos (p. ej., de varios miles o millones de imágenes), mediante métodos de agrupamiento de ML basados en criterios de afinidad (supervisados o no supervisados), el usuario podría generar un filtro de activación (modelo de captura predeterminado) basándose en las reacciones cognitivas y emocionales que quiera enfatizar.

[0219] Además, partiendo de los datos y/o metadatos de los usuarios individuales y su información extraída, es posible considerar la generación y la alimentación de un sistema social (p. ej., el “Instagram de la neurociencia”) que sea capaz de hacer lo siguiente de manera disruptiva:

[0220] 1) Compartir contenido preprocesado con una red social de personas que promuevan una comunicación informada y autoconsciente de los procesos/vías desarrollados cognitivamente;

[0222] 2) Producir nuevos contenidos artísticos, cognitivos y emocionales a partir del análisis de la información cognitivobiológica extraída y asociada al sujeto que está viendo un contenido determinado de lo social. (p. ej., un usuario observa una imagen compartida en particular y reacciona biológicamente ante ella. El Instagram de la Neurociencia es capaz de producir una retroalimentación cognitivo-emocional tangible de la visualización).

[0224] La figura 10 muestra esquemáticamente un sistema informático para implementar métodos de ejemplos de la descripción. En particular, la figura 10 muestra un ejemplo de un dispositivo informático 2000, por ejemplo, que puede disponerse para implementar uno o más de los ejemplos de los métodos descritos en la presente memoria. En ejemplos, el dispositivo informático 2000 comprende la unidad principal 2002. La unidad principal 2002 puede comprender un procesador 2004 y una memoria 2006 de sistema. En ejemplos, el procesador 2004 puede comprender un núcleo 2008 de procesador, una memoria caché 2010 y uno o más registros 2012. En ejemplos, el núcleo 2008 del procesador puede comprender uno o más núcleos de procesamiento y puede comprender una pluralidad de núcleos que pueden ejecutar una pluralidad de subprocesos. El procesador 2004 puede ser de cualquier tipo adecuado, tal como un microcontrolador, un microprocesador, un procesador de señales digitales o una combinación de estos, aunque se apreciará que se pueden utilizar otros tipos de procesador.

[0226] En ejemplos, el núcleo 2008 del procesador puede comprender una o más unidades de procesamiento. En ejemplos, el núcleo 2008 del procesador comprende una o más de una unidad de punto flotante, una unidad aritmética, una unidad de procesamiento de señales digitales o una combinación de estas y/o una pluralidad de otras unidades de procesamiento, aunque se apreciará que podrían utilizarse otras unidades de procesamiento. En ejemplos, la memoria caché 2010 puede comprender una pluralidad de memorias caché, tales como una memoria caché de nivel uno y una memoria caché de nivel dos, aunque se podrían utilizar otras disposiciones de caché apropiadas.

[0228] En ejemplos, el procesador 2004 comprende un controlador 2014 de memoria operable para permitir la comunicación entre el procesador 2004 y la memoria 2006 del sistema a través de un bus 2016 de memoria. El controlador 2014 de memoria puede implementarse como una parte integral del procesador 2004, o puede implementarse como un componente separado.

[0230] En los ejemplos, la memoria 2006 del sistema puede ser de cualquier tipo adecuado, tal como una memoria no volátil (p. ej., una memoria flash o una memoria de solo lectura), una memoria volátil (tal como una memoria de acceso aleatorio (RAM)) y/o una combinación de memoria volátil y no volátil. En ejemplos, la memoria 2006 del sistema puede estar dispuesta para almacenar código para su ejecución por el procesador 2004 y/o datos relacionados con la ejecución. Por ejemplo, la memoria del sistema puede almacenar el código del sistema operativo 2018, el código 2020 de aplicación y los datos 2022 del programa. En algunos ejemplos, el código 2020 de aplicación puede comprender un código para implementar uno o más de los métodos de ejemplo descritos en la presente memoria, por ejemplo, para implementar los pasos descritos anteriormente con referencia a las figuras 1, 8 y 9. El código 2020 de aplicación puede disponerse para cooperar con los datos del programa 2022 u otros medios, por ejemplo, para permitir el control de los parámetros fotográficos o el almacenamiento de los datos de imagen junto con los datos de atributos.

[0232] En ejemplos, el dispositivo informático 2000 puede tener características, funcionalidades o interfaces adicionales. Por ejemplo, la unidad principal 2002 puede cooperar con uno o más dispositivos periféricos, por ejemplo, para implementar los métodos descritos en la presente memoria. En ejemplos, el dispositivo informático 2000 comprende, como dispositivos periféricos, una interfaz 2024 de salida, una interfaz periférica 2026, un dispositivo 208 de almacenamiento y un módulo 2030 de comunicación. En ejemplos, el dispositivo informático comprende un bus 2032 de interfaz dispuesto para facilitar la comunicación entre la unidad principal 2002 y los dispositivos periféricos.

[0234] En los ejemplos, el dispositivo 2024 de salida puede comprender dispositivos de salida tales como una unidad 2034 de procesamiento gráfico (GPU, por sus siglas en inglés) y una unidad 2036 de salida de audio, por ejemplo, dispuestas para poder comunicarse con dispositivos externos como una pantalla y/o un altavoz, a través de uno o más puertos adecuados como un puerto de audio/vídeo (A/V). Por ejemplo, la interfaz periférica 2026 puede comprender una interfaz 2038 en serie, una interfaz paralela 2040 y un puerto 2042 o puertos de entrada/salida que pueden funcionar para cooperar con la unidad principal 2002 y permitir la comunicación con uno o más dispositivos de entrada y/o salida externos a través del puerto 2042 de E/S. Por ejemplo, el puerto 2042 de E/S puede comunicarse con uno o más dispositivos de entrada, tales como un teclado, un ratón, un panel táctil, un dispositivo de entrada de voz, un escáner, un dispositivo para capturar imágenes, una cámara de vídeo y similares, y/o con uno o más dispositivos de salida, como una impresora 2D (p. ej., una impresora de papel) o una impresora 3D u otro dispositivo de salida adecuado. Por ejemplo, las señales pueden recibirse a través del puerto 2042 de E/S y/o del módulo 2030 de comunicación. En ejemplos, el dispositivo de almacenamiento puede comprender medios 2044 de almacenamiento extraíbles y/o medios 2046 de almacenamiento no extraíbles. Por ejemplo, los medios de almacenamiento extraíbles pueden ser una memoria de acceso aleatorio (RAM, por sus siglas en inglés), una memoria de solo lectura programable borrable eléctricamente (EEPROM, por sus siglas en inglés), una memoria de solo lectura (ROM, por sus siglas en inglés), una memoria flash u otra tecnología de memoria, medios de almacenamiento óptico tal como un disco compacto (CD, por sus siglas en inglés), un disco versátil digital (DVD, por sus siglas en inglés) u otros medios de almacenamiento óptico, medios de almacenamiento magnético como un disquete, una cinta magnética u otros medios de almacenamiento magnético. Sin embargo, se apreciará que podría utilizarse cualquier tipo adecuado de medio de almacenamiento extraíble. Los medios 2046 de almacenamiento no extraíbles pueden comprender un medio de almacenamiento magnético, tal como una unidad de disco duro, un disco duro de estado sólido u otros medios adecuados, aunque se apreciará que podría utilizarse cualquier medio de almacenamiento no extraíble adecuado. El dispositivo 2028 de almacenamiento puede permitir el acceso de la unidad principal 2002, por ejemplo, para implementar los métodos descritos en la presente memoria.

[0236] En ejemplos, el módulo de comunicación puede comprender un módulo 2048 de comunicación inalámbrica y un módulo 2050 de comunicación alámbrica. Por ejemplo, el módulo de comunicación inalámbrica puede estar dispuesto para comunicarse de forma inalámbrica a través de un estándar de comunicación inalámbrica adecuado, por ejemplo, relacionado con wifi, Bluetooth, comunicación de campo cercano, comunicación óptica (tal como infrarroja), comunicación acústica o mediante un estándar de telecomunicaciones móviles adecuado. El módulo de comunicación alámbrica puede permitir la comunicación a través de un enlace alámbrico u óptico, por ejemplo, mediante Ethernet o cable óptico. Sin embargo, se apreciará que podría utilizarse cualquier módulo de comunicación adecuado.

[0238] Haciendo referencia a las figuras 2 a 9, el procesador puede implementar, por ejemplo, el módulo de visualización, filtrado, análisis o disparo. En los ejemplos, la unidad principal 2002 puede implementar uno o más de los módulos de visualización, filtrado, análisis o captura, aunque se apreciará que podrían utilizarse otras implementaciones adecuadas. Por ejemplo, el módulo de filtrado, análisis o disparo puede implementarse mediante la unidad principal 2002 en cooperación con el dispositivo 2024 de salida, aunque se apreciará que podrían utilizarse otras implementaciones adecuadas.

[0240] Se apreciará que, en los ejemplos de la descripción, los elementos de los métodos descritos pueden implementarse en un dispositivo informático de cualquier manera adecuada. Por ejemplo, un dispositivo informático convencional puede adaptarse para realizar uno o más de los métodos descritos en la presente memoria programando/adaptando uno o más procesadores del dispositivo informático. Como tal, a modo de ejemplo, la programación/adaptación puede implementarse en forma de un producto de programa informático que comprende instrucciones implementables por ordenador almacenadas en un soporte de datos y/o transportadas por un medio portador de señales, tales como un disquete, un disco duro, un disco óptico, una unidad de estado sólido, una memoria flash, una memoria de solo lectura programable (PROM), una memoria de acceso aleatorio (RAM) o cualquier combinación de estos u otros medios de almacenamiento o medio portador de señales, o transmitirse a través de una red como como red inalámbrica, Ethernet, Internet o cualquier otra combinación de estas u otras redes.

[0242] En otras palabras, en los ejemplos, un programa informático puede comprender instrucciones legibles por ordenador que, cuando se implementan en un dispositivo informático, hacen que el dispositivo informático realice un método según los ejemplos de la descripción. En ejemplos, un medio de almacenamiento puede comprender el programa informático, por ejemplo, tal como se ha mencionado anteriormente. También se apreciará que podrían utilizarse otras arquitecturas informáticas adecuadas, tales como las basadas en uno o más procesadores paralelos. Además, al menos parte del procesamiento puede implementarse en una o más unidades de procesamiento gráfico (GPU). Aunque el dispositivo informático 2000 se describe como un dispositivo informático de uso general, se apreciará que esto podría implementarse en cualquier dispositivo apropiado, tal como un teléfono móvil, un teléfono inteligente, una cámara, una cámara de vídeo, un dispositivo de tableta, un dispositivo de servidor, etc., con modificaciones y/o adaptaciones, si es apropiado, a las características descritas anteriormente, por ejemplo, basándose en la funcionalidad y las características de hardware deseadas.

[0244] El presente método para capturar imágenes y los aparatos y sistemas relacionados pueden adoptarse en todos los marcos que consideran la interacción entre un usuario y un estímulo audiovisual desarrollando un procedimiento de elaboración de estímulos apropiado, en donde cada usuario podría compartir el estímulo elaborado y sus metadatos asociados (p. ej., señales e información extraída) con cualquier otra persona para comparar las experiencias y comprender la dinámica biológica y las reacciones de la comunidad.

[0246] Por ejemplo, en el campo de la fotografía, la integración del presente aparato/sistema en una cámara produciría una cámara inteligente. De esta manera, es posible comprender la ruta de exploración visual de un usuario antes y durante el disparo de fotografías, identificando la respuesta biológica a través de la captura de señales, su sincronización y análisis. Todos los datos de salida y la respectiva información extraída podrían almacenarse y compartirse para comprender y comparar el proceso cognitivo durante un disparo de fotografías. Además, una cámara inteligente podría complementarse con un sistema de inteligencia artificial mejorado que sea capaz de entender cuándo disparar automáticamente, mediante un algoritmo de aprendizaje por ordenador alimentado con experiencias previas seleccionadas (p. ej., compartidas o personales). En este caso, el sistema Al de disparo se basa en los metadatos en tiempo real procesados y registrados durante la visualización en el visor.

[0248] En un nivel de interpretación superior, sin un marco de aplicación específico, es posible considerar la disposición de los sensores como un sistema que extrae información de estimulación aditiva (metadatos) con respecto a la visualización del estímulo, generando un espacio de características multidimensionales asociado a la fructificación del estímulo. Dependiendo de la naturaleza del campo de aplicación en particular, la recolección de una única experiencia aumentada podría procesarse y después resumirse en un informe comunicativo, lo que, en consecuencia, cambiaría de forma, contenido y fin. Este informe podría actuar como un comunicador social personal que alimente una red social (p. ej., un Instagram de la neurociencia o como un centro científico), donde los metadatos asociados podrían considerarse respectivamente como información social o descubrimiento de conocimiento, según la naturaleza del estímulo artístico o científico.

[0249] Por lo tanto, este amplio intercambio produce un enriquecimiento recursivo del procedimiento de elaboración del Al, aprendiendo de las diferentes experiencias aumentadas. El algoritmo Al actualizado proporcionaría una plataforma nueva e independiente con un procedimiento de elaboración automatizado dedicado. Esto se puede obtener considerando un conjunto específico de experiencias como conjunto de aprendizaje, generando nuevos metadatos a partir de los generados por los usuarios (metadatos a partir de metadatos). En consecuencia, es posible perfilar a cada usuario utilizando no solo la información recolectada del cuestionario, sino también aprovechando su respuesta cognitiva biológica.

[0250] El sistema transforma los parámetros biológicos en un nuevo lenguaje fotográfico, que podría comunicar a terceros información extraída de señales no transmisibles. En consecuencia, otro campo de aplicación puede ser el arte visual visto como un concepto mucho más amplio. Por ejemplo, un usuario puede disfrutar de una imagen proyectada en una pantalla mientras diferentes sensores portátiles registran su actividad y respuesta biológicas. El estímulo visual y los metadatos asociados se pueden elaborar generando resultados compartibles. En un nivel de desarrollo posterior, es posible considerar un museo equipado con sensores inteligentes, autónomos y portátiles no invasivos que adquieren la respuesta biológica de los usuarios en respuesta al éxito de una obra de arte en particular.

[0251] Un desarrollo avanzado sería hiperconectar a las personas con la realidad creando un museo al aire libre en cualquier lugar donde el usuario identifique una estimulación visual artística (es decir, realidad aumentada). Incluso en este caso, el usuario podría vestirse con los sensores portátiles adecuados, ropa con sensores, gafas inteligentes y, utilizando un teléfono inteligente que pueda adquirir más señales biológicas, es posible registrar diferentes metadatos asociados a esa visualización en particular. Toda la información adquirida podría procesarse y compartirse en una red comunitaria web.

[0252] Otro escenario puede ser la elaboración de un estímulo audiovisual propuesto a un paciente para la evaluación neurocognitiva y la rehabilitación. El resultado podría compararse entre diferentes sujetos para evaluar la posibilidad de un trastorno cognitivo. Además, sería posible generar una evaluación automatizada haciendo un seguimiento de las estimulaciones anteriores del usuario y utilizando un algoritmo de Al dedicado.

[0253] La moda representa un área adicional de aplicación del presente método y del aparato/sistema. Por ejemplo, un usuario podría visualizar una imagen que lo represente vestido o maquillado según sus deseos. Las reacciones biológicas podrían registrarse en forma de señales y procesarse para elaborar un informe que pudiera compartirse con la comunidad para recibir los comentarios de los demás usuarios. El procesamiento mejorado de Al consistiría en el propósito automático del traje y en la configuración inventada que, según las opiniones sociales y personales, son buenas. La aplicación en el área de moda sugiere crear un nuevo proceso de búsqueda de imágenes basado en la web, basándose en la sensación del usuario. Para ello, sería necesario actualizar el algoritmo Al de tal manera que encuentre una correlación entre la respuesta emocional biológica y las imágenes que expresan ese tipo de emoción. Como se mencionó anteriormente, independientemente del contenido y la naturaleza de lo que visualiza el usuario a través del aparato, es posible utilizar el mismo método para capturar imágenes y el aparato correspondiente según al menos tres entornos diferentes:

[0254] 1. La realidad tal como es. En otras palabras, la realidad observada;

[0255] 2. Realidad aumentada y/o realidad mixta. En otras palabras, la superposición de elementos virtuales y digitalizados (eventualmente en 3D) con la realidad observada; y

[0256] 3. Realidad virtual. En otras palabras, la creación de entornos digitales (usualmente en 3D) mediante software que simula situaciones ambientales observables.

[0257] Todas estas tres configuraciones se pueden observar a través de un dispositivo tecnológico (p. ej., cámara fotográfica, auriculares virtuales, gafas inteligentes, pantalla de un teléfono inteligente, etc.) capaz de proyectar o reconstruir la apariencia ambiental.

[0258] Vale la pena mencionar que empleando el presente método, es posible realizar una trazabilidad de las imágenes. De hecho, las imágenes activadas están asociadas a los metadatos adquiridos por el usuario por medio de los sensores biológicos. Tanto los metadatos como las imágenes, así como cualquier tipo de combinación, representan un elemento único.

[0259] Por lo tanto, estos pueden considerarse tokens no fungibles (NFT, por sus siglas en inglés). Además, los metadatos registrados durante la utilización del aparato pueden almacenarse para una posible reelaboración futura del flujo de imágenes adquirido.

[0261] Además, mediante la utilización del presente método es posible crear un repositorio de memoria que incluya los metadatos registrados recolectados durante la aplicación del aparato. Los datos se pueden utilizar más adelante en el futuro para entrenar nuevos modelos de toma de decisiones para un disparo de activación. Los datos recolectados y almacenados también se pueden utilizar en el futuro con fines de investigación. De hecho, el almacenamiento de estos datos puede generar una base de datos útiles asociados a diferentes usuarios para realizar investigaciones.

[0263] Según un aspecto adicional, se describen un aparato y un método para entrenar un modelo de diagnóstico por imágenes médicas. En la siguiente descripción, se presentan varios detalles específicos para proporcionar una comprensión completa de los ejemplos de la descripción.

[0265] Con referencia a la figura 12, un aparato 1' para entrenar un modelo de diagnóstico por imágenes médicas se ilustra en forma de diagrama en bloque. El aparato 1' se basa en un modelo generador de vías cognitivas y visuoespaciales y comprende al menos un dispositivo 2’ de visualización, un rastreador 3’ de la mirada, uno o más sensores biológicos 4' y un dispositivo 5’ de almacenamiento.

[0267] El dispositivo 2’ de visualización es operable para visualizar una imagen médica que un usuario va a inspeccionar para detectar una afección médica, en donde la imagen médica está asociada a un tipo de imagen. El rastreador 3' de mirada es operable para rastrear la mirada del usuario mientras ve la imagen médica y realiza un diagnóstico de la afección médica asociada con la imagen médica. La pluralidad de sensores biológicos 4' es operable para medir señales biológicas indicativas de una reacción neurofisiológica del usuario mientras inspecciona la imagen médica. El dispositivo 5' de almacenamiento es operable para almacenar datos de diagnóstico indicativos de un diagnóstico de la afección médica asociada con la imagen médica por parte del usuario, y para almacenar el modelo generador de vías cognitivas y visuoespaciales.

[0269] El dispositivo 2‘ de visualización, el rastreador 3’ de la mirada, los sensores biológicos 4' y el dispositivo 5' de almacenamiento son todos elementos del aparato 1' conectados a un procesador 6' que recibe y elabora datos a partir de estos elementos para entrenar el modelo de diagnóstico por imágenes médicas.

[0271] El funcionamiento del procesador 6' de la figura 12 se aclara mejor en la figura 13. Según esta figura, se analiza al menos una imagen médica (MI, por sus siglas en inglés) para identificar las características de la imagen médica que provienen de un conjunto de características de imagen asociadas con el tipo de imagen de la imagen médica (MI). En consecuencia, los datos de características de la imagen (IFD, por sus siglas en inglés) se generan mediante un módulo 201’ de análisis de imágenes. Las características de la imagen indicadas por los datos de características de la imagen (IFD) se asocian entonces con los datos de la mirada (EGD, por sus siglas en inglés) y los datos de reacción neurofísica (NRD, por sus siglas en inglés) generados por el rastreador 3’ de mirada y los sensores biológicos 4', respectivamente. En consecuencia, los metadatos de diagnóstico por imágenes (IDM) son generados por un módulo 202’ de asociación. Los metadatos de diagnóstico por imágenes (IDM) se utilizan para entrenar el modelo generador de vías cognitivas y visuoespaciales para generar datos de vías cognitivas visuoespaciales (VSD, por sus siglas en inglés) mediante un módulo 203’ de entrenamiento. En particular, los datos de la vía cognitiva visuoespacial (VSD) definen una vía visuoespacial con respecto a la imagen médica (MI) junto con los datos de reacción neurofísica (NRD, por sus siglas en inglés) asociados que son indicativos de una significación atribuida por el usuario a las regiones de la imagen médica (MI) cuando realiza un diagnóstico para llegar a un diagnóstico correcto.

[0273] La figura 14 ilustra los pasos del método 100' para entrenar un modelo de diagnóstico por imágenes médicas que se basa en un modelo de generación de vías cognitivas y visuoespaciales. En el paso S101', se muestra una imagen médica para que un usuario la inspeccione en busca de una afección médica. La imagen médica se puede asociar a un tipo de imagen, es decir, una imagen de rayos X, una imagen de IRM, etc. En el paso S102', se rastrea la mirada del usuario y, en el paso S103', se miden las señales biológicas indicativas de una reacción neurofisiológica del usuario. Ambos pasos S102' y S103' se realizan mientras el usuario está visualizando la imagen médica y mientras el usuario realiza un diagnóstico de la afección médica asociada con la imagen médica. En el paso S104', los datos de diagnóstico indicativos del diagnóstico de la afección médica asociada a la imagen médica por parte del usuario, y el modelo generador de vías cognitivas y visuoespaciales se almacenan en el dispositivo 5' de almacenamiento. En el paso S105', la imagen médica se analiza para identificar las características de la imagen médica que provienen de un conjunto de características de imagen asociadas con el tipo de imagen de la imagen médica, para generar datos de características de imagen. En el paso S106', las características de la imagen indicadas por los datos de las características de la imagen se asocian con los datos de la mirada y los datos de la reacción neurofísica para generar metadatos de diagnóstico por imágenes. En el paso S107', el modelo generador de vías cognitivas y visuoespaciales se entrena para generar datos de vías cognitivas visuoespaciales. El entrenamiento se realiza basándose en los metadatos del diagnóstico por imágenes, en los que los datos de la vía cognitiva visuoespacial definen una vía visuoespacial con respecto a la imagen médica junto con los datos de reacción neurofísica asociados que son indicativos de la significación atribuida por el usuario a las regiones de la imagen médica cuando realiza un diagnóstico para llegar a un diagnóstico correcto.

[0274] En un ejemplo, el método comprende visualizar la imagen médica junto con la vía visuoespacial generada por el modelo de generación de vía cognitiva y visuoespacial.

[0275] Las siguientes señales podrían ser adquiridas por el aparato 1'. Se observa que el aparato 1' puede adquirir solo una o una combinación de varias señales:

[0276] • Señal GSR (respuesta galvánica de la piel)

[0277] • Señal PPG (fotopletismograma)

[0278] • Señal EEG (electroencefalografía)

[0279] • Expresión facial

[0280] • Señal ECG (electrocardiograma)

[0281] • Señal EMG (electromiografía)

[0282] • Diámetro de pupila

[0283] • Lenguaje del movimiento corporal

[0284] • Lenguaje hablado natural

[0285] • Lenguaje emocional natural

[0286] • Señal fNIRS (espectroscopía funcional de infrarrojo cercano)

[0287] • Nivel de oxigenación sanguínea

[0288] • Parámetros bioquímicos

[0289] • Señal de geolocalización

[0290] Todas estas señales se consideran metadatos de entrada. Los datos de entrada se utilizan tanto para entrenar al aparato con el fin de generar diferentes modelos correspondientes al proceso visual-espacial-cognitivo de referencia creado promediando los procesos de diagnóstico de diferentes médicos agrupados en grupos, como para permitir a los usuarios autoevaluar su propio proceso de diagnóstico accediendo al modelo de su exploración visual-espacialcognitiva de la imagen médica (función de promoción de la autoconciencia). En otras palabras, los datos de entrada son señales biológicas extraídas de la actividad biológica del usuario mientras el usuario inspecciona y estudia una imagen médica para el diagnóstico. La señal más importante es la posición de la mirada adquirida mediante la utilización de un sistema de rastreador ocular. Sin embargo, otras señales extraídas de diferentes sensores podrían utilizarse como datos de entrada del sistema para aumentar la eficacia de la inteligencia artificial.

[0291] En otro ejemplo, el procesador puede ser operable para procesar la imagen médica y asignarla a un diseño de referencia gráfica predeterminado. En consecuencia, es posible establecer un sistema de referencia gráfica común entre imágenes de la misma naturaleza.

[0292] Según un ejemplo, para mejorar aún más el rendimiento del aparato, el dispositivo de almacenamiento puede ser operable para almacenar una pluralidad de imágenes de referencia médica que se mapean con el diseño gráfico predeterminado. Cada imagen de referencia médica tiene metadatos de imagen de referencia asociados que incluyen los datos respectivos de la mirada ocular, los datos de reacciones neurofísicas y los datos de las características de la imagen. Además, el procesador puede ser operable para comparar los metadatos del diagnóstico por imágenes con los metadatos de la imagen de referencia de las imágenes de referencia médica a fin de entrenar el modelo generador de vías visuoespaciales mediante el aprendizaje automático.

[0293] De forma ventajosa, en un ejemplo, el aparato puede ser operable para recibir la pluralidad de imágenes de referencia médica junto con sus metadatos de imágenes de referencia asociados desde una base de datos de imágenes de referencia médica a través de una red. En particular, el aparato puede ser operable para ajustar el modelo generador de vías cognitivas y visuoespaciales cuando se agrega una nueva imagen de referencia médica con metadatos de imagen de referencia asociados a la base de datos de imágenes de referencia médica basándose en la nueva imagen de referencia médica y sus metadatos de imagen de referencia asociados.

[0294] Para facilitar la determinación de regiones particulares de las imágenes mediales, en un ejemplo, las características de la imagen pueden comprender uno o más puntos de referencia y/o una o más áreas de interés.

[0295] En otro ejemplo, el dispositivo de almacenamiento puede ser operable para almacenar datos de usuario que indican información sobre el usuario, y los metadatos de diagnóstico por imágenes incluyen la información sobre el usuario. De esta manera, es posible establecer un vínculo directo entre el usuario y el diagnóstico realizado sobre una imagen médica concreta.

[0296] En otro ejemplo, el procesador puede ser operable para correlacionar los datos de la reacción neurofísica con los datos de la mirada para incluirlos en los metadatos del diagnóstico por imágenes para entrenar el modelo generador de vías cognitivas y visuoespaciales.

[0297] En otro ejemplo, el dispositivo de visualización puede ser operable para visualizar la imagen médica junto con la vía visuoespacial generada por el modelo de generación de vía cognitiva y visuoespacial. De esta manera, la vía visuoespacial es inmediatamente identificable en la imagen médica en la que se realiza un diagnóstico.

[0298] La reacción de un médico frente a la imagen se registra en forma de actividad biológica y se recolecta en un centro de datos. Para cada médico, se registra información personal diferente con el fin de agrupar las reacciones (especialización, edad, años de experiencia, etc.). De esta manera, una red de médicos podría compartir información sobre la forma de analizar una imagen médica. Además, al recolectar diferentes reacciones, el aparato 1' está configurado para aprender a analizar de manera eficiente una imagen médica, haciendo hincapié no solo en la vía visual de referencia para un buen diagnóstico, sino también en qué detalles son más relevantes para ese fin según las reacciones cognitivas asociadas a la inspección visual-espacial. Toda esta inspección “aumentada” de la imagen podría utilizarse para formar a nuevos médicos.

[0299] Las reacciones clínicas recolectadas y clasificadas pueden considerarse moderadoras estadísticas. Una vez agrupado, debido al hecho de que cada reacción está asociada al resultado de diagnóstico respectivo formulado por el médico, el sistema Al proporciona para cada grupo las mejores vías de inspección visual-espacial-cognitiva al promediar cada reacción que pertenece al único grupo para cada imagen inspeccionada. A continuación, el sistema puede ampliar y generar las vías óptimas de inspección visual-espacial-cognitiva para una nueva imagen (es decir, una imagen que nunca ha sido inspeccionada para su diagnóstico por un médico). Para evaluar la eficacia y construir un sistema útil, el Al se entrena utilizando una lógica de partición de conjuntos de datos de entrenamiento y validación. La comparación entre el proceso visual-espacial-cognitivo del usuario y el reconstruido a partir de otros médicos que pertenecen a un grupo específico permite una transferencia de conocimiento que transmite un proceso de razonamiento eficiente en los nuevos médicos, lo que resulta en un diagnóstico más preciso.

[0300] Como se mencionó anteriormente, el aparato 1' se basa en inteligencia artificial y se desarrolla a través de una lógica consecuente de recolección de datos (es decir, registros) que se utilizará para entrenar un modelo y ajustar los parámetros del modelo con el fin de obtener un resultado satisfactorio en términos de rendimiento. El modelo generado se puede utilizar para producir nuevos resultados y después pronosticar un resultado. En este marco particular, la generación de un resultado específico pretende ser la generación de una vía cognitiva visuoespacial específica centrada en identificar lo siguiente:

[0301] a. las partes de la imagen que son más importantes en una inspección para llegar a un diagnóstico correcto; b. la secuencia temporal en el modo en que se inspeccionan estas partes; y

[0302] c. la “ponderación” atribuida a cada una de estas porciones.

[0303] En este caso, se pueden desarrollar diferentes configuraciones del modelo basándose en los diferentes grupos identificados entre los moderadores de los registros individuales (p. ej., años de experiencia, especialización, número de diagnósticos procesados, etc.). Como se mencionó anteriormente, en los ejemplos, los datos de usuario pueden indicar información sobre el usuario, y los metadatos de diagnóstico por imágenes pueden incluir la información sobre el usuario.

[0304] Un ejemplo se ilustra en la figura 15, en la que se muestra un mapa de calor 10' de una imagen de rayos X del tórax de un paciente. Las partes más significativas de la imagen (A, B, C y D) se identifican en el lado derecho, por ejemplo, con un color determinado. Las áreas no observadas de la imagen (X) se encuentran en el lado izquierdo y se identifican, por ejemplo, con un color diferente. Además, la secuencia temporal de observación se puede identificar mediante una serie de flechas y la ponderación atribuida a cada parte se puede identificar con un área mayor o menor. Según la imagen de la figura 15, para lograr el diagnóstico, el usuario básicamente se concentró exclusivamente en el lado derecho de la imagen. En particular, el usuario inspeccionó cuatro partes (A-D) partiendo de la esquina superior izquierda (A) de la imagen y terminando en la región inferior (D) de la imagen siguiendo una vía visual precisa, es decir, de A a B, de B a C y de C a D. Se observa que la parte más relevante puede ser la parte B, ya que tiene un área mayor en comparación con las otras partes. Por ejemplo, el usuario podría haber dedicado un período de tiempo más largo a inspeccionar esta parte B o una señal biológica particular podría haber indicado que el usuario experimentó una sensación particular durante la inspección de la parte B, por ejemplo, midiendo los latidos del corazón o el diámetro de la pupila. En consecuencia, la inspección de esta parte puede considerarse probablemente fundamental para lograr el diagnóstico final. En otras palabras, en un ejemplo, los datos de la vía cognitiva visuoespacial pueden comprender datos de significación indicativos de la importancia de las áreas de la imagen médica que corresponden a una o más de las características de la imagen para llegar al diagnóstico correcto. Los datos de significación pueden indicar, p. ej., la importancia de las áreas, p. ej., el tiempo de permanencia de la mirada en un área particular, el número de devoluciones de la mirada a un área particular, etc. En un ejemplo adicional, los datos de la vía cognitiva visuoespacial pueden comprender datos de orden temporal que indican un orden en donde el usuario inspeccionó las áreas de la imagen médica correspondientes a las características de la imagen. De esta manera, es posible determinar una secuencia del área inspeccionada antes de llegar a un diagnóstico.

[0305] El registro individual consta de las señales biológicas recolectadas durante la visualización de una imagen médica, la información personal del sujeto (es decir, moderadores), el diagnóstico, y la imagen y el tipo (por ejemplo, radiografía pulmonar, ecografía abdominal, análisis de sangre, etc...) de la imagen. En una fase de entrenamiento y construcción de modelos, el algoritmo puede alimentarse con los diferentes registros que pertenecen a un grupo específico identificado entre los moderadores y el tipo de imagen.

[0306] Por ejemplo, un conjunto de datos del entrenamiento puede consistir en varios registros pertenecientes a radiólogos con más de 20 años de experiencia que han visto imágenes de radiografías pulmonares. En un primer paso, un sistema de reconocimiento de imágenes identifica algunos puntos de referencia (p. ej., carina) y divide la imagen en áreas de interés (AOI, por sus siglas en inglés), p. ej., mediante la reticulación de imágenes. En otras palabras, por ejemplo, las características de la imagen pueden comprender uno o más puntos de referencia y/o una o más áreas de interés. Las características se definen para cada AOI de la imagen basándose en el contenido de la información gráfica, por ejemplo, la localización morfológica y el valor medio en escala de grises. Para cada AOI, se pueden calcular diferentes índices basados en señales biológicas, tales como el tiempo de fijación, el número de fijaciones, el nivel de atención, el nivel de estrés, la distancia espacial entre el AOI y la distancia visualizada en la fijación anterior.

[0307] Por lo tanto, al haber impuesto un sistema de referencia gráfica común entre imágenes de la misma naturaleza (es decir, radiografías pulmonares), es posible comparar los registros entre sí creando un conjunto de datos adecuado para el entrenamiento del modelo. En otras palabras, como se mencionó anteriormente, en los ejemplos, las imágenes médicas pueden procesarse para mapearlas con un diseño de referencia gráfico predeterminado. De esta manera, el resultado obtenido puede considerarse como un promedio de los registros individuales y, por lo tanto, de los procesos cognitivos visual-espaciales individuales.

[0308] Una vez definidas las características generales y puntuales de cada AOI, se puede calcular una red de probabilidades a partir de la cual es posible determinar una especie de secuencia de AOI (y la significación correspondiente (es decir, la ponderación de cada AOI): una persona de tipo radiólogo con más de 20 años de experiencia observaría una radiografía pulmonar. Por lo tanto, esta red, similar a un proceso estocástico de Markov, consiste en varios estados del sistema que están representados por el AOI y la probabilidad de transición de estado, que también consideran las transiciones pasadas. Para cuantificar las probabilidades de transición individuales, se puede utilizar un bosque aleatorio multinomial para cada AOI. En esta perspectiva, el espacio de la variable objetivo multinomial consiste en las diferentes AOL de la imagen, mientras que el espacio de los predictores está formado por los índices (es decir, las características) calculados para el AOI particular en donde se encuentra el sistema (es decir, el estado actual del sistema). A estas características, además de las características de la señal, se pueden añadir índices que resuman la vía cognitiva y visual establecida hasta que se muestre el AOI actual. En otras palabras, como se mencionó anteriormente, en los ejemplos, los metadatos de diagnóstico por imágenes se comparan con los metadatos de imagen de referencia de las imágenes de referencia médica para entrenar el modelo de generación de vías visuoespaciales mediante el aprendizaje automático.

[0309] Por lo tanto, la configuración del modelo generado es capaz de:

[0310] • recibir una nueva imagen de radiografía pulmonar, es decir, nunca analizada en la base de datos de entrenamiento;

[0311] • identificar algunos puntos de referencia para el análisis gráfico;

[0312] • dividir la imagen en un AOI de la medida adecuada;

[0313] • dar a cada AOI sus propias características gráficas; y

[0314] • devolver el proceso cognitivo visual-espacial que mejor identifica la inspección de imágenes realizada por un radiólogo con 20 años de experiencia, atribuyendo a cada AOI, no solo la posición temporal de visualización sino también el grado de interés para un diagnóstico correcto.

[0315] El aparato 1' tiene como objetivo estudiar, modelar, reproducir y después convertir el comportamiento o proceso cognitivo humano en inteligencia artificial mediante el análisis del proceso de visualización de una imagen médica y/o un informe realizado por un médico (p. ej., tomografía computarizada, resonancia magnética, análisis de sangre, etc.). En lugar de simplemente desarrollar un sistema capaz de diagnosticar automáticamente un estado patológico de forma independiente mediante un entrenamiento previo en una base de datos de imágenes, el objetivo del presente aparato 1' es generar un módulo de inteligencia artificial que sea capaz de identificar y modelar los patrones cognitivo-visualesespaciales del médico eficaces para la observación de imágenes y/o informes y, por lo tanto, para el diagnóstico descendente.

[0316] Utilizando diferentes sensores (rastreador ocular, gsr, ppg, eeg, etc.), es posible estudiar el proceso cognitivo subyacente a la exploración de imágenes. Esto se hace extrayendo y adquiriendo señales biológicas, objetivando las reacciones neurofisiológicas y midiendo en modo real la atención prestada a cada área de la misma imagen. Al recolectar y agrupar las diferentes adquisiciones según diferentes parámetros de estratificación (moderadores/variables ficticias; p. ej., experiencia médica, especialidad, etc.), es posible generar uno o más modelos identificando las mejores prácticas y conocimientos para cada grupo. Los algoritmos desarrollados con el presente método 100' promueven un nuevo tipo de aprendizaje que ya no se basa en el resultado sino en el proceso cognitivo humano utilizado para lograr el resultado en sí mismo. De hecho, uno de los principales fines de la utilización del presente método y aparato es reducir el error humano provocado por una mala práctica que frecuentemente pasa desapercibida, analizando el rendimiento y no simplemente el resultado.

[0317] En otras palabras, el aparato o la plataforma que utiliza el aparato aprende de los humanos y evidencia lo mejor de su razonamiento visual, es decir, qué patrones, qué caminos, qué puntos de atención han sido eficaces para el éxito del diagnóstico.

[0318] De esta manera, es posible lograr un esquema de entrenamiento personalizado para un usuario que está siendo entrenado, identificando grupos de aprendizaje específicos que incluyan a todos los usuarios, en donde un sistema Al apoya al usuario resaltando cuáles son los errores típicos de los grupos y posiblemente los errores de razonamiento visual del propio usuario. En otras palabras, es posible que el usuario conozca los propios procesos para realizar un diagnóstico. Al transformar un proceso cognitivo analógico en un proceso digital y repetible, es posible desarrollar un sistema de inteligencia natural aumentada basado en la autoconciencia. Además, los datos se utilizan para entrenar un modelo de inteligencia artificial con una interfaz natural máquina-humano que interpreta los procesos cognitivos basados en la visión como entradas para la toma de decisiones. Los datos objetivo a analizar no son los resultados obtenidos, sino los procesos realizados para lograr dichos resultados.

[0319] En consecuencia, como se muestra en la figura 16, se pueden identificar tres niveles de aplicación: entrenamiento 301', autoconciencia 302' y aprendizaje 303’ de humano a máquina.

[0320] 1) ENTRENAMIENTO: aprendizaje del profesional sanitario

[0321] En esta primera área de aplicación 301', el aparato entrenado puede utilizarse con fines educativos y de transferencia de conocimientos entre profesionales del campo. Un médico novato puede aprender las estrategias cognitivo-visualesespaciales implementadas por colegas más experimentados para analizar una imagen médica. Esto puede suceder a través de la objetividad de los datos cognitivos y biológicos que hasta ahora no se habían considerado para la transferencia de conocimiento.

[0322] En otras palabras, es como si la conciencia de un médico novato se proyectara por completo en el cuerpo de un modelo clínico durante el tiempo que lleva aprender y formular el diagnóstico.

[0323] 2) AUTOCONCIENCIA: comparación del razonamiento visual

[0324] En esta segunda área 302’ de aplicación, es posible informar al usuario clínico sobre su propio proceso cognitivovisual-espacial para lograr el diagnóstico, promoviendo un aumento de la autoconciencia de tales procesos.

[0325] 3) APRENDIZAJE DE HUMANO A MÁQUINA: Informes de inteligencia artificial

[0326] En esta tercera área 303’ de aplicación, la recolección de las diferentes señales cognitivas y biológicas subyacentes al proceso de inspección de imágenes clínicas se puede utilizar para desarrollar modelos de inteligencia artificial al aumentar la eficacia y la precisión de aquellos que utilizan solo resultados de diagnóstico relacionados. En consecuencia, se puede crear una máquina que realice acciones de diagnóstico basándose en algoritmos de aprendizaje de decisiones secuenciales.

[0327] La figura 17 ilustra esquemáticamente un ejemplo del proceso 400', en donde un usuario (médico n.º 1) observa una imagen y/o un informe médico a través de una plataforma provista de diferentes sensores 401'. Se obtiene un diagnóstico de la imagen y el informe correspondiente (n.º 1) mientras los sensores “observan” al usuario, incluidos los sensores de rastreador ocular y otros sensores biológicos. A partir de este proceso de “observación de sensores”, el panel de sensores extrae diferentes tipos de señales de calidad bruta (es decir, a medida que se recolectan) que se sincronizan entre sí y con las señales de la mirada, a fin de tener una correspondencia única entre cada marca de tiempo y la información registrada durante el proceso 402'. Según este ejemplo, se utiliza una pluralidad de sensores biológicos, tales como GSR, PPG, diámetro de la pupila, EEG, fNIRS, expresión facial u otros sensores apropiados.

[0328] Las señales obtenidas del proceso de sincronización pasan por un paso 403' de procesamiento de datos en dos pasos. Cada señal se filtra con técnicas apropiadas y personalizadas destinadas a reducir el ruido de señal típico o debido a artefactos humanos. Estas señales filtradas se someten a técnicas de análisis numérico para extraer índices y señales que representan tendencias o cifras de mérito explicativas del estado cognitivo y emocional del usuario. En particular, mientras el sistema adquiere continuamente señales de los diferentes sensores, el sistema de software integrado filtra y analiza las señales. El análisis consiste en la búsqueda automática de un patrón específico en los valores de las señales. Además, en el archivo digital se guardan todos los metadatos fisiológicos registrados (p. ej., en formato “sin procesar”, p. ej., los datos emitidos por los sensores respectivos) junto con la información 404’ del médico (datos de usuario y metadatos de usuario, como el diagnóstico y la información personal). Una vez extraídas, las salidas de señal están listas para utilizarse para entrenar el modelo generador de vías cognitivas y visuoespaciales en un sistema 405' de aprendizaje automático (ML, por sus siglas en inglés). Este sistema recibe las salidas entrantes de la fase de filtrado, procesamiento y análisis y, basándose en la información del médico y las señales de la mirada, genera datos de la vía cognitiva visuoespacial que definen una vía visuoespacial con respecto a la imagen médica, junto con los datos de reacción neurofísica asociados que son indicativos de la significación atribuida por el médico a las regiones de la imagen médica cuando realiza un diagnóstico para llegar a un diagnóstico correcto.

[0330] La figura 18 ilustra esquemáticamente la utilización 500' del presente aparato 1'. El usuario observa una imagen médica y la actividad biológica se detecta a través de una pluralidad de sensores 501'. Tanto la imagen o el informe como la información biológica del usuario se analizan y utilizan en un algoritmo 502’ de aprendizaje automático. Basándose en esto, se pueden seguir tres posibles aplicaciones, es decir, una implementación 503’ de entrenamiento, una implementación de autoconciencia 504' y una implementación 505' de aprendizaje de humano a máquina. En la implementación 503' de entrenamiento (junto con un ajuste de grupo), se considera cómo un médico que pertenezca a un grupo deseado analizaría la imagen o el informe inspeccionado por el usuario. En consecuencia, la producción visuoespacial cognitiva (p. ej., mapa de calor, vía cognitiva, índices cognitivos, detalles destacados de imágenes o informes, etiquetado cognitivo de la vía visual, etc.) se determina 506'. En la implementación 504' de autoconciencia, se considera cómo el usuario analizó la imagen o el informe. También en este caso, la producción visuoespacial cognitiva (p. ej., mapa de calor, vía cognitiva, índices cognitivos, detalles destacados de imágenes o informes, etiquetado cognitivo de la vía visual, etc.) se determina 506'. En la implementación 505' de aprendizaje humano a máquina, se considera cuál es el diagnóstico del sistema de la imagen o informe inspeccionado. En consecuencia, se puede determinar un diagnóstico correspondiente.

[0332] La figura 19 muestra esquemáticamente un sistema informático para implementar métodos y técnicas de ejemplos de la descripción. En particular, la figura 19 muestra un ejemplo de un dispositivo informático 2000', por ejemplo, que puede disponerse para implementar uno o más de los ejemplos de los métodos descritos en la presente memoria. En ejemplos, el dispositivo informático 2000' comprende la unidad principal 2002'. La unidad principal 2002' puede comprender un procesador 2004' y una memoria 2006’ de sistema. En ejemplos, el procesador 2004' puede comprender un núcleo 2008’ de procesador, una memoria caché 2010' y uno o más registros 2012'. En ejemplos, el núcleo 2008’ de procesador puede comprender uno o más núcleos de procesamiento y puede comprender una pluralidad de núcleos que pueden ejecutar una pluralidad de subprocesos. El procesador 2004' puede ser de cualquier tipo adecuado, tal como un microcontrolador, un microprocesador, un procesador de señales digitales o una combinación de estos, aunque se apreciará que se pueden utilizar otros tipos de procesador.

[0334] En ejemplos, el núcleo 2008' de procesador puede comprender una o más unidades de procesamiento. En ejemplos, el núcleo 2008' de procesador comprende una o más de una unidad de punto flotante, una unidad aritmética, una unidad de procesamiento de señales digitales o una combinación de estas y/o una pluralidad de otras unidades de procesamiento, aunque se apreciará que podrían utilizarse otras unidades de procesamiento. En los ejemplos, la memoria caché 2010' puede comprender una pluralidad de memorias caché, tales como una memoria caché de nivel uno y una memoria caché de nivel dos, aunque podrían utilizarse otras disposiciones de memoria caché apropiadas.

[0335] En ejemplos, el procesador 2004' comprende un controlador 2014' de memoria operable para permitir la comunicación entre el procesador 2004' y la memoria 2006' de sistema a través de un bus 2016'de memoria. El controlador 2014' de memoria puede implementarse como una parte integral del procesador 2004', o puede implementarse como un componente separado.

[0337] Por ejemplo, la memoria 2006' de sistema puede ser de cualquier tipo adecuado, tal como una memoria no volátil (p. ej., una memoria flash o una memoria de solo lectura), una memoria volátil (tal como una memoria de acceso aleatorio (RAM)) y/o una combinación de memoria volátil y no volátil. En ejemplos, la memoria 2006’ de sistema puede disponerse para almacenar código para su ejecución por el procesador 2004' y/o datos relacionados con la ejecución. Por ejemplo, la memoria del sistema puede almacenar el código del sistema operativo 2018', el código 2020’ de aplicación y los datos 2022’ de programa. En algunos ejemplos, el código 2020’ de aplicación puede comprender un código para implementar uno o más de los métodos de ejemplo descritos en la presente memoria, por ejemplo, para implementar los pasos descritos anteriormente con referencia a las figuras 14, 17 y 18. El código 2020' de aplicación puede disponerse para cooperar con los datos 2022’ de programa u otros medios, por ejemplo, para permitir el entrenamiento del modelo generador de vías cognitivas y visuoespaciales.

[0338] En ejemplos, el dispositivo informático 2000' puede tener características, funcionalidades o interfaces adicionales. Por ejemplo, la unidad principal 2002' puede cooperar con uno o más dispositivos periféricos, por ejemplo, para implementar los métodos descritos en la presente memoria. En ejemplos, el dispositivo informático 2000' comprende, como dispositivos periféricos, una interfaz 2024’ de salida, una interfaz periférica 2026', un dispositivo 208’ de almacenamiento y un módulo 2030’ de comunicación. En ejemplos, el dispositivo informático comprende un bus 2032’ de interfaz dispuesto para facilitar la comunicación entre la unidad principal 2002' y los dispositivos periféricos.

[0339] Por ejemplo, el dispositivo 2024’ de salida puede comprender dispositivos de salida tales como una unidad 2034’ de procesamiento gráfico (GPU) y una unidad 2036’ de salida de audio, por ejemplo, dispuestos para poder comunicarse con dispositivos externos, como una pantalla y/o un altavoz, a través de uno o más puertos adecuados, como un puerto de audio/vídeo (A/V). Por ejemplo, la interfaz periférica 2026' puede comprender una interfaz 2038' en serie, una interfaz paralela 2040' y un puerto 2042’ o puertos de entrada/salida que pueden ser operables para cooperar con la unidad principal 2002' para permitir la comunicación con uno o más dispositivos de entrada y/o salida externos a través del puerto de E/S 2042'. Por ejemplo, el puerto de E/S 2042' puede comunicarse con uno o más dispositivos de entrada, tales como un teclado, un ratón, un panel táctil, un dispositivo de entrada de voz, un escáner, un dispositivo para capturar imágenes, una cámara de vídeo y similares, y/o con uno o más dispositivos de salida, como una impresora 2D (p. ej., una impresora de papel) o una impresora 3D u otro dispositivo de salida adecuado.

[0341] Por ejemplo, las señales pueden recibirse a través del puerto 2042’ de E/S y/o del módulo 2030’ de comunicación.

[0342] En ejemplos, el dispositivo de almacenamiento puede comprender medios 2044’ de almacenamiento extraíbles y/o medios 2046’ de almacenamiento no extraíbles. Por ejemplo, los medios de almacenamiento extraíbles pueden ser una memoria de acceso aleatorio (RAM, por sus siglas en inglés), una memoria de solo lectura programable borrable eléctricamente (EEPROM, por sus siglas en inglés), una memoria de solo lectura (ROM, por sus siglas en inglés), una memoria flash u otra tecnología de memoria, medios de almacenamiento óptico tal como un disco compacto (CD, por sus siglas en inglés), un disco versátil digital (DVD, por sus siglas en inglés) u otros medios de almacenamiento óptico, medios de almacenamiento magnético como un disquete, una cinta magnética u otros medios de almacenamiento magnético. Sin embargo, se apreciará que podría utilizarse cualquier tipo adecuado de medio de almacenamiento extraíble. El medio 2046’ de almacenamiento no extraíble puede comprender un medio de almacenamiento magnético, tal como una unidad de disco duro, un disco duro de estado sólido u otro medio adecuado, aunque se apreciará que podría utilizarse cualquier medio de almacenamiento no extraíble adecuado. El dispositivo de almacenamiento 2028' puede permitir el acceso de la unidad principal 2002', por ejemplo, para implementar los métodos descritos en la presente memoria.

[0344] En los ejemplos, el módulo de comunicación puede comprender un módulo 2048’ de comunicación inalámbrica y un módulo 2050’ de comunicación alámbrica. Por ejemplo, el módulo de comunicación inalámbrica puede estar dispuesto para comunicarse de forma inalámbrica a través de un estándar de comunicación inalámbrica adecuado, por ejemplo, relacionado con wifi, Bluetooth, comunicación de campo cercano, comunicación óptica (tal como infrarroja), comunicación acústica o mediante un estándar de telecomunicaciones móviles adecuado. El módulo de comunicación alámbrica puede permitir la comunicación a través de un enlace alámbrico u óptico, por ejemplo, mediante Ethernet o cable óptico. Sin embargo, se apreciará que podría utilizarse cualquier módulo de comunicación adecuado.

[0346] Haciendo referencia a las figuras 12 a 18, el procesador puede implementar, por ejemplo, el módulo de entrenamiento o el módulo de análisis. En los ejemplos, la unidad principal 2002' puede implementar uno o más de los módulos de entrenamiento y/o análisis, aunque se apreciará que podrían utilizarse otras implementaciones adecuadas. En ejemplos, el módulo de entrenamiento o análisis puede implementarse mediante la unidad principal 2002' en cooperación con el dispositivo 2024’ de salida, aunque se apreciará que podrían utilizarse otras implementaciones adecuadas.

[0348] Se apreciará que, en los ejemplos de la descripción, los elementos de los métodos descritos pueden implementarse en un dispositivo informático de cualquier manera adecuada. Por ejemplo, un dispositivo informático convencional puede adaptarse para realizar uno o más de los métodos descritos en la presente memoria programando/adaptando uno o más procesadores del dispositivo informático. Como tal, a modo de ejemplo, la programación/adaptación puede implementarse en forma de un producto de programa informático que comprende instrucciones implementables por ordenador almacenadas en un soporte de datos y/o transportadas por un medio portador de señales, tales como un disquete, un disco duro, un disco óptico, una unidad de estado sólido, una memoria flash, una memoria de solo lectura programable (PROM), una memoria de acceso aleatorio (RAM) o cualquier combinación de estos u otros medios de almacenamiento o medio portador de señales, o transmitirse a través de una red como como red inalámbrica, Ethernet, Internet o cualquier otra combinación de estas u otras redes.

[0350] En otras palabras, en los ejemplos, un programa informático puede comprender instrucciones legibles por ordenador que, cuando se implementan en un dispositivo informático, hacen que el dispositivo informático realice un método según los ejemplos de la descripción. En ejemplos, un medio de almacenamiento puede comprender el programa informático, por ejemplo, tal como se ha mencionado anteriormente. También se apreciará que podrían utilizarse otras arquitecturas informáticas adecuadas, tales como las basadas en uno o más procesadores paralelos. Además, al menos parte del procesamiento puede implementarse en una o más unidades de procesamiento gráfico (GPU).

[0351] Aunque el dispositivo informático 2000' se describe como un dispositivo informático de uso general, se apreciará que esto podría implementarse en cualquier dispositivo apropiado, tal como un teléfono móvil, un teléfono inteligente, una cámara, una cámara de vídeo, un dispositivo de tableta, un dispositivo de servidor, etc., con modificaciones y/o adaptaciones, si es apropiado, a las características descritas anteriormente, por ejemplo, dependiendo de la funcionalidad y las características de hardware deseadas.

[0353] El presente aparato 1' y método 100’ básicamente encuentran aplicación en el marco del diagnóstico por imágenes médicas. Por ejemplo, un médico que observa una imagen médica digitalizada puede producir una imagen modificada enriquecida con sus señales e información biológicas. A continuación, esta elaboración se puede compartir entre diferentes colegas para resaltar y comprender el peso asociado a cada área instantánea de visualización dependiendo de la señal registrada (p. ej., un mapa de calor). La recolección de las diferentes visualizaciones se puede utilizar para entrenar un algoritmo (p. ej., el algoritmo Al) que apoye la exploración de imágenes por parte del médico e informe sobre una interpretación adicional del estímulo, añadiendo automáticamente los conocimientos extraídos de otros usuarios (p. ej., un sistema de toma de decisiones de apoyo a las imágenes médicas). En el mismo contexto, es posible utilizar los registros médicos que se muestran en la pantalla en lugar de la imagen médica digitalizada como estímulo visual. Por ejemplo, el sistema puede registrar qué información contenida en el registro se ha observado durante más tiempo y con mayor atención. En otro escenario, el presente aparato 1' y método 100' pueden utilizarse para la elaboración de un estímulo audiovisual propuesto a un paciente para la evaluación neurocognitiva y la rehabilitación. El resultado se puede comparar entre diferentes sujetos para evaluar la posibilidad de un trastorno cognitivo. Además, es posible generar una evaluación automatizada haciendo un seguimiento de las estimulaciones anteriores del usuario y utilizando un algoritmo Al dedicado, por ejemplo, basándose en el modelo de generación de vías cognitivas y visuoespaciales y/o el modelo de diagnóstico por imágenes médicas.

Claims

1. REIVINDICACIONES

1. Un método (100) para capturar imágenes que utiliza un aparato (1) para capturar imágenes que comprende un dispositivo (2) de obtención de imágenes que tiene un captador (3) de imágenes para generar datos de imágenes, comprendiendo el método (100):

visualizar (S101), utilizando un dispositivo (4) de reproducción de imágenes, imágenes basándose en los datos de imagen;

generar (S102) datos de atributos a partir de una pluralidad de señales biológicas medidas por una pluralidad de sensores biológicos (6), siendo los datos de atributos al menos una información extraída por una o más señales biológicas a través de un procesamiento computacional y siendo indicativos de atributos de un usuario en un momento en que el usuario está visualizando las imágenes visualizadas por el dispositivo (4) de reproducción de imágenes;

generar (S103) datos de significación basándose en los datos de atributos y asociar los datos de atributos a partir de los cuales se generan los datos de significación con cada imagen visualizada, en donde los datos de significación se generan comparando los datos de atributos con valores de umbral de significación predeterminados para identificar un estado de significación para cada dato de atributo;

controlar (S104) parámetros fotográficos del aparato (1) para capturar imágenes basándose en los datos de atributos, en donde controlar los parámetros fotográficos comprende al menos una variación de dichos parámetros fotográficos como una función de una variación de al menos una señal biológica; analizar (S105) datos de significación para determinar si las imágenes visualizadas deben almacenarse, en donde analizar los datos de significación comprende generar al menos un nivel de significación a partir de los datos de significación y comparar dicho nivel de significación con un nivel de umbral de activación; y almacenar (S106) datos de imagen de las imágenes visualizadas junto con los datos de atributos en un dispositivo (7) de almacenamiento basándose en los datos de significación analizados.

2. Un método (100) para capturar imágenes según la reivindicación 1, en el que:

los datos de significación comprenden una pluralidad de niveles de significación, cada uno asociado con una señal biológica respectiva a partir de la cual se generaron los datos de atributos;

analizar (S105) los datos de significación comprende generar un nivel de significación combinado basándose en los niveles de significación para cada una de las señales biológicas; y

almacenar (S106) los datos de imagen junto con los datos de atributos comprende almacenar las imágenes visualizadas en el dispositivo (7) de almacenamiento junto con los datos de atributos basándose en una comparación del nivel de significación combinado con un nivel de umbral de activación.

3. Un método (100) para capturar imágenes según la reivindicación 1 o la reivindicación 2, en el que generar (S103) los datos de significación y analizar (S105) los datos de significación se basan en un modelo de disparo predeterminado, en donde, en particular, el modelo de disparo predeterminado se genera basándose en las señales biológicas adquiridas de un usuario o una pluralidad de usuarios al visualizar un conjunto de imágenes de entrenamiento de modelos para entrenar el modelo de disparo predeterminado.

4. Un método (100) para capturar imágenes según la reivindicación 3, cuando se incluye dependencia de la reivindicación 2, en el que el nivel de umbral de activación se determina según el modelo de disparo predeterminado.

5. Un método (100) para capturar imágenes según cualquiera de las reivindicaciones 3 a 4, que comprende transmitir los datos de imagen de las imágenes visualizadas, junto con sus señales biológicas locales asociadas a una base de datos de modelos de disparo para ajustar el modelo de disparo predeterminado.

6. Un método (100) para capturar imágenes según cualquiera de las reivindicaciones anteriores, en el que el usuario es un usuario local que es local al aparato (1) para capturar imágenes, y los datos de atributos comprenden datos de atributos locales que están asociados con un momento en que el usuario local está visualizando las imágenes visualizadas por el dispositivo (4) de reproducción de imágenes; o

el usuario es un usuario remoto que es remoto al aparato (1) para capturar imágenes, el dispositivo (4) de reproducción de imágenes es local al usuario remoto y los datos de atributos comprenden datos de atributos

remotos que están asociados con un momento en el que el usuario remoto está visualizando las imágenes visualizadas por el dispositivo (4) de reproducción de imágenes.

7. Un método (100) para capturar imágenes según la reivindicación 6, que comprende:

visualizar las imágenes capturadas por el dispositivo de obtención de imágenes en una pluralidad de dispositivos de reproducción de imágenes de usuarios remotos que están asociados con diferentes usuarios remotos;

generar datos de atributos remotos a partir de una pluralidad de señales biológicas remotas medidas por una pluralidad de sensores (6) biológicos remotos, siendo los datos de atributos remotos indicativos de los atributos de los usuarios remotos en un momento en que los usuarios remotos están visualizando las imágenes visualizadas por sus respectivos dispositivos (4) de reproducción de imágenes de usuarios remotos.

8. Un método (100) para capturar imágenes según la reivindicación 7, cuando incluye la dependencia de cualquiera de las reivindicaciones 3 a 5, que comprende ajustar el modelo predeterminado basándose en la entrada del usuario de los diferentes usuarios remotos.

9. Un método (100) para capturar imágenes según cualquiera de las reivindicaciones anteriores, en donde a. el método (100) comprende la sincronización temporal de las señales biológicas entre sí y/o con los datos de imagen; y/o

b. los datos de atributos comprenden datos de señal de las señales biológicas medidas.

10. Un programa que comprende instrucciones legibles por procesador para hacer que el procesador del dispositivo de cualquiera de las reivindicaciones 12 a 15 ejecute los pasos del método (100) según cualquier reivindicación anterior.

11. Un medio de almacenamiento legible por ordenador que comprende el programa según la reivindicación 10.

12. Un aparato (1) para capturar imágenes, que comprende:

un dispositivo (2) de obtención de imágenes que comprende un captador (3) de imágenes operable para generar datos de imágenes;

un dispositivo (4) de reproducción de imágenes operable para visualizar imágenes basándose en los datos de imagen;

un procesador (5) operable para:

generar datos de atributos a partir de una pluralidad de señales biológicas medidas por una pluralidad de sensores biológicos (6), siendo los datos de atributos al menos una información extraída por una o más señales biológicas a través de un procesamiento computacional y siendo indicativos de los atributos de un usuario en un momento en que el usuario está visualizando las imágenes visualizadas por el dispositivo (4) de reproducción de imágenes;

generar datos de significación basándose en los datos de atributos y asociar los datos de atributos a partir de los cuales se generan los datos de significación con cada imagen visualizada, en donde los datos de significación se generan comparando los datos de atributos con valores de umbral de significación predeterminados para identificar un estado de significación para cada dato de atributo;

controlar los parámetros fotográficos del aparato (1) para capturar imágenes basándose en los datos de atributos, en donde controlar los parámetros fotográficos comprende al menos una variación de dichos parámetros fotográficos como una función de una variación de al menos una señal biológica;

analizar los datos de significación para determinar si las imágenes visualizadas deben almacenarse, en donde analizar los datos de significación comprende generar al menos un nivel de significación a partir de los datos de significación y comparar dicho nivel de significación con un nivel de umbral de activación; almacenar los datos de imagen de las imágenes visualizadas junto con los datos de atributos en un dispositivo (7) de almacenamiento basándose en los datos de significación analizados.

13. Un aparato (1) para capturar imágenes según la reivindicación 12, que comprende una interfaz (8) de comunicación operable para recibir las señales biológicas de uno o más sensores biológicos (7).

14. Un aparato (1) para capturar imágenes según la reivindicación 12, en el que el usuario es un usuario local que es local al aparato (1) para capturar imágenes, y los datos de atributos comprenden datos de atributos locales que están asociados con un momento en que el usuario local está visualizando las imágenes visualizadas por el dispositivo (4) de reproducción de imágenes, y el aparato (1) comprende:

una interfaz de comunicación operable para recibir datos de atributos remotos de una pluralidad de dispositivos de usuario remotos asociados con diferentes usuarios remotos, teniendo cada dispositivo de usuario remoto un dispositivo (4) de reproducción de imágenes remoto respectivo para visualizar las imágenes capturadas por el dispositivo (2) de imágenes, y siendo cada dispositivo de usuario remoto operable para generar los datos de atributos remotos a partir de una pluralidad de señales biológicas remotas medidas por una pluralidad de sensores (6) biológicos remotos, siendo los datos de atributos remotos indicativos de atributos de los usuarios remotos en un momento en que los usuarios remotos están visualizando las imágenes visualizadas por sus respectivos dispositivos (4) de reproducción de imágenes de usuario remoto, en donde los datos de significación se generan basándose en los datos de atributos locales y los datos de atributos remotos.

15. Un sistema (9) para capturar imágenes que comprende:

una pluralidad de sensores biológicos (6); y

un aparato (1) para capturar imágenes según cualquiera de las reivindicaciones 12 a 14.