ES3069221T3 - A computer-implemented method, wearable device, computer program and computer readable medium for assisting the movement of a visually impaired user - Google Patents

Abstract

En un primer aspecto de la invención, se reivindica un método implementado por computadora para asistir el movimiento de un usuario con discapacidad visual mediante un dispositivo portátil 1, que comprende los siguientes pasos: S1- Adquisición de datos del entorno del usuario con discapacidad visual. S2- Fusión de los datos adquiridos, creación y actualización continua de un Mapa en Vivo. S3- Determinación, actualización y almacenamiento continuos de al menos una ruta de navegación junto con las instrucciones de guía de navegación asociadas para que el usuario con discapacidad visual navegue desde su posición actual hasta un punto de interés, seleccionando continuamente una ruta de navegación preferida de entre las al menos una ruta de navegación, y enviando continuamente al usuario con discapacidad visual la ruta de navegación preferida, junto con las instrucciones de guía de navegación asociadas. S4- Guía del usuario con discapacidad visual a lo largo de la ruta de navegación preferida, utilizando modos de guía para transmitir cada instrucción de guía de navegación asociada, que comprenden señales hápticas y/o auditivas. [0002] La invención detalla cómo se llevan a cabo los pasos S2, S3 y S4 y también detalla el contenido del Mapa en Vivo. Dicho Live Map comprende datos de los sensores sobre objetos y seres vivos, relaciones entre los objetos y los seres vivos y diferentes tipos de áreas: área transitable, área no transitable y área transitable condicional, [0003] En un segundo aspecto de la invención, se reivindica un dispositivo portátil para ayudar al movimiento de un usuario con discapacidad visual, configurado para aplicar los pasos del método. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] DESCRIPCIÓN

[0002] Un método implementado por ordenador, dispositivo portátil, programa informático y medio legible por ordenador para ayudar al movimiento de un usuario con discapacidad visual

[0003] Campo de la invención

[0004] La invención se refiere al campo de la asistencia al movimiento de personas con discapacidad visual. En particular, se refiere a un método y a un dispositivo portátil para asistir al movimiento de una persona con discapacidad visual, que a lo largo de la invención se denominará usuario con discapacidad visual. El término «discapacidad visual» abarcará, a lo largo de la invención, tanto la discapacidad moderada como la discapacidad grave (ceguera).

[0005] Antecedentes de la invención

[0006] Estudios han mostrado que 36 millones de personas padecían discapacidad grave en 2015, mientras que 216,6 millones presentaban discapacidad visual de moderada a grave. A medida que estas cifras aumentan, las personas son más conscientes de sus necesidades y surgen soluciones para la discapacidad visual. Por ejemplo, las ciudades se están volviendo más accesibles para las personas ciegas que utilizan métodos de navegación clásicos como el bastón o el perro guía. También surgen soluciones tecnológicas que comienzan a ser aceptadas por la comunidad ciega y con discapacidad visual. Soluciones como las propuestas por OrCam Inc. o Microsoft Inc. han experimentado diversos niveles de adopción. Sin embargo, a pesar de los avances tecnológicos, la solución más utilizada por las personas con discapacidad visual sigue siendo el bastón. Las soluciones tecnológicas para ayudar a las personas con discapacidad visual no son nuevas. Los primeros esfuerzos se atribuyen a Paul Bach-Y-Ritta et al. en el documento US3594823A [1]. Allí, la señal visual se tradujo en retroalimentación háptica en la espalda de personas ciegas.

[0007] En términos generales, las soluciones tecnológicas para ayudar a las personas con discapacidad visual surgieron en una o más de las siguientes categorías:

[0008] − Sustitución sensorial: utilizar un sentido disponible para representar información que normalmente no se recibe a través de dicho sentido. En los años posteriores se han realizado varios otros esfuerzos para reemplazar la información visual utilizando otros sentidos, tal como el tacto o el oído.

[0009] − Formas de generar recorridos para la persona con discapacidad visual y comunicarle dichos recorridos, mediante el uso de la sustitución sensorial,

[0010] − Formas de localizar la posición de la persona con discapacidad visual en su entorno y/o localizar diversos objetos que puedan considerarse obstáculos y/o destinos objetivos,

[0011] − Formas de comunicar la información sobre el entorno, recorridos, obstáculos a la persona con discapacidad visual y recibir retroalimentación de ésta.

[0012] Varias soluciones abordan una o más de las categorías mencionadas anteriormente.

[0013] El documento US 9 915 545, publicado el 26 de julio de 2015 [2], divulga un método para proporcionar indicaciones a una persona ciega usando un dispositivo inteligente. El método incluye la detección, mediante al menos dos sensores y en respuesta a la selección del modo de búsqueda del dispositivo inteligente, de datos de imagen correspondientes al entorno del dispositivo inteligente y datos de posicionamiento correspondientes a la posición del dispositivo inteligente; la recepción, mediante un dispositivo de entrada, del objeto o la ubicación deseados; la determinación, mediante un procesador, de la ubicación inicial del dispositivo inteligente basándose en los datos de imagen, los datos de posicionamiento y los datos de mapas almacenados en la memoria del dispositivo inteligente; la provisión, mediante el dispositivo de salida, de indicaciones para llegar al objeto deseado basándose en la ubicación inicial del dispositivo inteligente y los datos de mapas.

[0014] El documento US 9629774, publicado el 16 de julio de 2015 [3], divulga un collar inteligente que incluye un cuerpo que define al menos una cavidad y que tiene una porción de cuello y una primera y una segunda porciones laterales. El collar incluye un par de cámaras estereoscópicas que están configuradas para detectar datos de imagen, incluyendo información de profundidad correspondiente al entorno del collar inteligente. El collar incluye además un sensor de posicionamiento configurado para detectar datos de posicionamiento correspondientes a una posición del collar inteligente. El collar incluye una memoria no transitoria ubicada en la al menos una cavidad y configurada para almacenar datos de mapas y datos de objetos. El collar inteligente también incluye un procesador ubicado en la al menos una cavidad, acoplado al par de cámaras estereoscópicas, el sensor de posicionamiento y la memoria no transitoria. El procesador está configurado para determinar los datos de salida basándose en los datos de imagen, los datos de posicionamiento, los datos de mapas y los datos de objetos.

[0015] En un artículo académico publicado el 15 de noviembre de 2016 [4], "Wearable Indoor Navigation System with Context Based Decision Making for Visually Impaired" [4], los autores Xiaochen Zhanget al.presentan un sistema portátil de navegación en interiores para personas con discapacidad visual. El sistema utiliza localización y mapeo simultáneos SLAM y planificación semántica de recorridos para la localización y la navegación, integrando múltiples sensores y dispositivos de retroalimentación tales como una cámara RGB-D, una unidad de medición inercial IMU y una cámara web. El sistema aplica el algoritmo de odometría visual basado en RGB-D para estimar la ubicación y orientación del usuario, y la unidad de medición inercial IMU para refinar el error de orientación. La cámara web y la cámara RGB-D detectan puntos de referencia importantes, como números de habitaciones y esquinas de pasillos, y los comparan con el plano digitalizado para localizar al usuario. Se genera la guía de recorrido y movimiento para guiar al usuario a su destino deseado. El artículo sugiere una forma de mejorar el ajuste entre los comandos rígidos y las decisiones óptimas de la máquina para los seres humanos en un mecanismo de toma de decisiones basado en el contexto sobre la planificación de recorridos para resolver las confusiones del usuario causadas por observaciones incorrectas.

[0016] Desventajas del estado de la técnica

[0017] Respecto a la sustitución sensorial, las soluciones conocidas proponen generalmente una sustitución inadecuada del ancho de banda de la vista que se sabe que es mucho mayor que el incorporado en los sentidos auditivo y/o háptico, proporcionando o bien información demasiado escasa o bien demasiada información no esencial, confundiendo o molestando al usuario.

[0018] Respecto a las formas de generar el mapa así como las formas de generar recorridos para la persona con discapacidad visual y comunicarle dichos recorridos, los métodos basados en Navegación/GPS de la técnica anterior ofrecen un recorrido general, pero no hacen nada para evitar obstáculos o seres vivos.

[0019] Respecto a las formas de localizar la posición de la persona con discapacidad visual en su entorno o de localizar diversos objetos que puedan considerarse obstáculos o destinos, métodos como Microsoft Seeing AI u OrCam reconocen únicamente los objetos presentes en su limitado campo de visión, pero no ofrecen suficiente información sobre cómo alcanzarlos. En general, las soluciones conocidas no tienen la posibilidad, o la tienen limitada, de almacenar la posición de los objetos detectados por los sensores y, en consecuencia, no tienen la posibilidad, o la tienen limitada, de reconocer objetos detectados anteriormente. Estas soluciones no proporcionan información completa sobre los objetos, información que podría ser útil para la persona con discapacidad visual, tal como, por ejemplo: si una silla está ocupada por otra persona, los tamaños y otras características físicas y químicas de los objetos, lo que obliga a la persona con discapacidad visual a tocarlos para percibir dichas características físicas y químicas, lo cual resulta poco higiénico, puede ser peligroso y puede requerir demasiado tiempo.

[0020] Respecto a las formas de comunicar la información sobre el entorno, recorridos u obstáculos a la persona con discapacidad visual y recibir retroalimentación de ella, la mayoría de las soluciones actuales comunican la información a la persona con discapacidad visual demasiado lentamente y/o reciben de ella la retroalimentación demasiado lentamente, lo que conduce a una modificación difícil y tardía del recorrido inicial.

[0021] Por ejemplo, en una realización del documento US 9,629,774 [3], aunque el collar inteligente puede reconocer escaleras, salidas de baños o asientos vacíos, dicho collar no está configurado para proporcionar información más profunda, tal como características de los objetos: orientación, dónde está el pestillo o pomo de la puerta o si el asiento vacío está sucio.

[0022] El documento US 9,629,774 [3] describe un número limitado de tipos de comandos que el collar inteligente puede transmitir al usuario con discapacidad visual: diferentes grados de giro, como un giro de 45 grados, un giro de 90 grados, un giro a la izquierda y un giro a la derecha. Con esta forma de comunicar la información, el documento US 9,629,774 [3] resulta rígido en comparación con la generación del recorrido natural de una persona sin discapacidad visual.

[0023] El documento US 9,629,774 [3] enseña acerca de un mapa que contiene únicamente la ubicación de varios objetos sin ninguna otra característica.

[0024] El documento US 9,915,545 [2] describe un método para proporcionar indicaciones a un usuario ciego de un dispositivo electrónico. Estas indicaciones se realizan desde la ubicación actual del dispositivo hasta la ubicación de un objeto deseado. En este método no se diferencian los tipos de áreas en donde se generan los recorridos, no se establecen relaciones entre los distintos objetos y se omiten algunas características importantes de los objetos y los seres vivos, tal como la detección del estado emocional de los seres vivos o el grado de limpieza de una superficie, y el contenido del mapa se reduce a la información del campo de visión de los sensores.

[0025] Problema resuelto por la invención

[0026] El problema que la invención resuelve es proporcionar un método para ayudar al usuario con discapacidad visual a desplazarse, permitiéndole navegar en interiores y exteriores de forma similar a la de un usuario sin discapacidad visual. En particular, el problema que la invención resuelve es:

[0027] − proporcionar una representación más precisa y más detallada del entorno del usuario, incluyendo proporcionar relaciones más precisas y más detalladas entre los objetos y los seres vivos con el objetivo de una navegación más segura del usuario con discapacidad visual y un objetivo de navegación más concreto; − proporcionar una generación más precisa y más detallada de las recorridos de navegación;

[0028] − proporcionar una mejor orientación al usuario con discapacidad visual a lo largo de los recorridos de navegación en términos de precisión y seguridad;

[0029] − proporcionar una mejor guía al usuario con discapacidad visual a lo largo de los recorridos de navegación en términos de mayor comodidad y dándole la posibilidad de tomar decisiones similares a las de un usuario sin discapacidad visual.

[0030] Sumario de la invención

[0031] Para solucionar el problema, los inventores han concebido en unprimer aspectode la invención un método para ayudar al movimiento de un usuario con discapacidad visual mediante un dispositivo portátil, que comprende las siguientes etapas:

[0032] S1

[0033] Adquirir datos del entorno del usuario con discapacidad visual mediante una unidad sensorial 2 del dispositivo portátil 1, detectando desde un campo de visión 20, enviando dichos datos adquiridos a una subunidad de fusión sensorial 30 de una unidad de procesamiento y control 3 del dispositivo portátil 1,

[0034] S2

[0035] Fusionar los datos adquiridos por la subunidad de fusión sensorial 30, enviar los datos fusionados a una subunidad de mapa en vivo 31 de la unidad de procesamiento y control 3,

[0036] Crear, actualizar continuamente y almacenar por parte de la subunidad de mapa en vivo 31 un mapa en vivo 310, comprendiendo el mapa en vivo 310 los siguientes datos:

[0037] 1. Determinaciones de mapas en vivo basadas en datos fusionados recibidos desde la subunidad de fusión sensorial 30, que incluyen:

[0038] − Una posición y una orientación de la unidad sensorial 2,

[0039] − Una pluralidad de objetos On,

[0040] − Una pluralidad de seres vivos (Ln),

[0041] 2. Determinaciones de mapa en vivo que se generan en base a una pluralidad de relaciones Rn entre la pluralidad de objetos On y/o la pluralidad de seres vivos Ln recibidas desde una subunidad de gestor de relaciones 32 de la unidad de procesamiento y control 3,

[0042] 3. Determinaciones de mapa en vivo que se generan a partir de un área libre A definida como un conjunto de áreas sobre un terreno no ocupadas por la pluralidad de objetos On y la pluralidad de seres vivos Ln, incluyendo el área libre A:

[0043] − Un área transitable WA que satisface un conjunto de requisitos permanentes predeterminados de área transitable,

[0044] − Un área transitable condicional CWA que satisface dicho conjunto de requisitos permanentes predeterminados de área transitable, y al menos un requisito predecible de área transitable condicional,S3

[0045] Determinar, de forma automática o en respuesta a una solicitud del usuario con discapacidad visual, mediante una subunidad de gestor de navegación 33 de la unidad de procesamiento y control 3, la actualización y el almacenamiento continuos de al menos un recorrido de navegación Pn y las instrucciones de guía de navegación asociadas para que el usuario con discapacidad visual navegue desde la posición actual de la unidad sensorial 2 hasta un punto de interés PI seleccionado entre la pluralidad de objetos (On) y/o la pluralidad de seres vivos Ln,

[0046] Seleccionar de forma automática o en respuesta a una solicitud del usuario con discapacidad visual de forma continua un recorrido de navegación preferido SP de entre el al menos un recorrido de navegación Pn, que satisfaga al menos dos requisitos de recorrido de navegación:

[0047] i)Pasa por el área transitable WA y/o por el área transitable condicional CWA, y

[0048] ii)Cumple un conjunto de requisitos de seguridad que incluyen un requisito de no colisión y un requisito de no agresividad.

[0049] En dondecualquier solicitud del usuario con discapacidad visual se realiza mediante medios hápticos 51 o medios de audio 52 de una interfaz de comandos de usuario 5, siendo recibidas dichas solicitudes por la subunidad de gestor de navegación 33 a través de una subunidad de gestor de interfaz de comandos de usuario 34 de la unidad de procesamiento y control 3,

[0050] y transmitir mediante la subunidad de gestor de navegación (33) a una subunidad del gestor de retroalimentación 35 de la unidad de procesamiento y control (3)

[0051] i) del recorrido de navegación preferido SP y

[0052] ii) de las instrucciones de guía de navegación asociadas,

[0053] en donde,cuando el recorrido de navegación preferido SP pasa a través del área transitable condicional CWA, la subunidad de gestor de navegación envía a la subunidad de gestor de retroalimentación la instrucción de guía de navegación asociada correspondiente a dicho al menos un requisito de área transitable condicional predecible.

[0054] S4

[0055] Proporcionar, mediante la subunidad de gestor de retroalimentación 35, guía al usuario con discapacidad visual, a lo largo del recorrido de navegación preferido SP, mediante el uso de modos de guía para transmitir cada instrucción de guía de navegación asociada, comprendiendo cada instrucción de navegación señales hápticas y/o auditivas enviadas por la subunidad de gestor de retroalimentación 35 a una unidad de retroalimentación 4 de la unidad de procesamiento y control (3), comprendiendo dicha unidad de retroalimentación 4:

[0056] − actuadores de retroalimentación háptica 41 configurados para su colocación en la cabeza del usuario con discapacidad visual, y/o

[0057] − actuadores de retroalimentación auditiva 42 configurados para su colocación en uno o ambos oídos del usuario con discapacidad visual,

[0058] en dondelos modos de guía para cada instrucción de guía de navegación asociada son seleccionados por el usuario con discapacidad visual mediante la interfaz de comandos de usuario 5 y a través de comandos de usuario que son recibidos por la subunidad de gestor de retroalimentación 35 a través de la subunidad de gestor de interfaz de comandos de usuario 34.

[0059] En unsegundo aspectode la invención, se proporciona undispositivoportátil 1 para ayudar al movimiento de un usuario con discapacidad visual, que comprende:

[0060] − una unidad sensorial 2 configurada para ser colocada en la cabeza del usuario con discapacidad visual, que comprende sensores básicos:

[0061] − una cámara 21,

[0062] − un sensor de profundidad 22,

[0063] − una unidad de medición inercial 23

[0064] − un sensor de localización de sonido 24

[0065] − una unidad de procesamiento y control 3 que comprende:

[0066] − una subunidad de fusión sensorial 30 que comprende :

[0067] − un módulo de localización 301,

[0068] − un módulo de detección de área transitable 302,

[0069] − un módulo de cálculo de orientación 303,

[0070] − un módulo de localización de la dirección del sonido 304,

[0071] − un módulo de clasificación del sonido 305,

[0072] − un módulo de extracción de características de objetos 2D 306,

[0073] − un módulo de fusión de características de objetos 3D 307,

[0074] − un módulo de fusión de características de sonido de objetos 308,

[0075] − una subunidad de mapa en vivo 31,

[0076] − una subunidad de gestor de relaciones 32,

[0077] − una subunidad de gestor de navegación 33,

[0078] − una subunidad de gestor de interfaz de comandos de usuario 34,

[0079] − una subunidad de gestor de retroalimentación 35,

[0080] − una subunidad de representación del sonido 36,

[0081] − una unidad de retroalimentación 4 configurada para ser colocada en la cabeza del usuario con discapacidad visual, que comprende:

[0082] − una pluralidad de actuadores de retroalimentación háptica 41 que comprenden:

[0083] − actuadores de retroalimentación háptica izquierdos 411,

[0084] − actuadores de retroalimentación háptica derechos 412,

[0085] − actuadores de retroalimentación háptica centrales 413,

[0086] − una pluralidad de actuadores de retroalimentación auditiva 42 que comprenden:

[0087] − actuadores de retroalimentación auditiva izquierdos 421,

[0088] − actuadores de retroalimentación auditiva derechos 422,

[0089] − una interfaz de comandos de usuario 5 configurada para ser colocada en la cabeza del usuario con discapacidad visual que comprende:

[0090] − una pluralidad medios hápticos de comandos de usuario 52,

[0091] − una pluralidad medios de audio de comandos de usuario 52,

[0092] − una unidad de almacenamiento de energía 6,

[0093] − una memoria M, y

[0094] − medios de comunicación electrónicos entre la unidad sensorial 2, la unidad de procesamiento y control 3, la unidad de retroalimentación 4, la interfaz de comandos de usuario 5, la unidad de almacenamiento de energía 6 y la memoria M, mediante protocolos de comunicación,

[0095] en dondeeldispositivoportátil

está configurado para aplicar las etapas del método según cualquier realización de la invención.

[0096] En untercer aspectode la invención, se proporciona unprograma informáticoque comprende instrucciones que, cuando el programa es ejecutado por el dispositivo portátil, hace que el dispositivo portátil 1 lleve a cabo las etapas del método implementado por ordenador para ayudar al movimiento de un usuario con discapacidad visual, en cualquiera de las realizaciones preferidas, incluidas combinaciones de las mismas.

[0097] En uncuarto aspectode la invención, se proporciona unmedio legible por ordenadorque tiene almacenadas en el mismo instrucciones que, cuando son ejecutadas por el dispositivo portátil 1, hacen que el dispositivo portátil 1 lleve a cabo las etapas del método implementado por ordenador, en cualquiera de las realizaciones preferidas, incluidas combinaciones de las mismas.

[0098] En unquinto aspectode la invención, se proporciona un dispositivo de almacenamiento legible por ordenador no transitorio que almacena software que comprende instrucciones ejecutables por uno o más ordenadores que, tras dicha ejecución, hacen que el uno o más ordenadores realicen operaciones del método implementado por ordenador, en cualquiera de las realizaciones preferidas, incluidas combinaciones de las mismas.

[0099] En unsexto aspectode la invención, se proporciona un sistema que comprende uno o más ordenadores y uno o más dispositivos de almacenamiento que almacenan instrucciones que pueden operar, cuando son ejecutadas por uno o más ordenadores, para hacer que uno o más ordenadores realicen operaciones del método implementado por ordenador, en cualquiera de las realizaciones preferidas, incluidas combinaciones de las mismas.

[0100] Cualquier característica de un aspecto de la invención puede aplicarse a otros aspectos de la invención, en cualquier combinación apropiada. En particular, las características del método pueden aplicarse a las características del dispositivo, y viceversa.

[0101] Cuando sea aplicable, las características de medios más función pueden expresarse alternativamente en términos de su estructura correspondiente, tal como un procesador adecuadamente programado y una memoria asociada.

[0102] Se pueden implementar y/o suministrar y/o utilizar combinaciones particulares de las diversas características de la invención de forma independiente.

[0103] Ventajas de la invención

[0104] Las principales ventajas de esta invención son las siguientes:

[0105] − Proporciona una navegación más segura al usuario con discapacidad visual y un acceso más preciso a los objetos y seres vivos de la vida cotidiana debido a:

[0106] − una representación más precisa y detallada del entorno del usuario;

[0107] − una generación más precisa y detallada de los recorridos de navegación;

[0108] − una guía más precisa y segura del usuario a lo largo de los recorridos de navegación;

[0109] − Proporciona una experiencia de navegación más cercana a la experiencia del usuario sin discapacidad visual en términos de comodidad y posibilidad de tomar decisiones.

[0110] Breve descripción de los dibujos

[0111] Fig.1 Representación esquemática del método y del dispositivo portátil 1 según la invención.

[0112] Fig.2 Vista trimétrica que muestra el posicionamiento esquemático de los componentes del dispositivo portátil 1 en dos realizaciones preferidas.

[0113] Fig.2A Dispositivo portátil de dos componentes

[0114] Fig.2B Dispositivo portátil de un solo componente

[0115] Fig.3 Representación esquemática del campo de visión de los sensores básicos 20

[0116] Fig.4 Representación esquemática del contenido de la realidad y del mapa en vivo 310

[0117] Fig.5 Representación esquemática de la creación del mapa en vivo 310 cuando el dispositivo portátil 1 utiliza únicamente los sensores básicos

[0118] Fig.6 Vista trimétrica de una de las realizaciones preferidas, que muestra el componente de auricular 11 visto desde la parte posterior de la cabeza del usuario con discapacidad visual y detalla el posicionamiento de los componentes de la unidad de retroalimentación 4 y de los componentes de la interfaz de comandos de usuario 5 Fig.7 Vista frontal de un detalle de la realización preferida de la Fig.6, que muestra el componente de auricular 11 visto desde la frente del usuario con discapacidad visual y detalla la posición de los cuatro sensores básicos y detalla la posición del componente de interfaz de comandos de usuario 5

[0119] Fig.8 A Representación esquemática de los modos de guiado utilizando el túnel transitable T

[0120] Fig. 8 B Vista trimétrica de la realización que muestra el modo de guiado mediante el uso del túnel transitable T

[0121] Fig.9 Vista trimétrica de la realización que muestra el modo de guiado mediante el uso de hitos 93

[0122] Fig.10 Representación esquemática de la realización que muestra el modo de guiado mediante el uso del túnel transitable T y los hitos 93

[0123] Fig.11 Representación esquemática de la realización que muestra el modo de guiado mediante el uso de: Fig.11A señales hápticas

[0124] Fig.11B señales auditivas

[0125] Fig.12 Representación esquemática de la realización que muestra el modo de guía mediante el uso de sonidos espacializados que se originan en la fuente de sonido espacializada S que viaja virtualmente a lo largo del recorrido de navegación preferido SP

[0126] Fig. 13 Representaciones esquemáticas de la realización correspondiente al dispositivo portátil 1 que comprende dos sensores adicionales 25 y 26.

[0127] Figs.14 a 17. Ejemplificación del método. Ejemplo n.º 1.

[0128] Fig.14 Vista superior de la escena del escenario de la vida real

[0129] Fig.15. Vista trimétrica de la escena del escenario de la vida real

[0130] Fig.16. Detalle del recorrido secundario 912

[0131] Fig.17. Detalle - el timbre 841 sustituye a la puerta 84 como punto de interés PI

[0132] Figs.18 a 28. Ejemplificación del método - Ejemplo n.° 2. La ventana 85 se representa simbólicamente. Fig. 18 Ejemplo n.º 2-1 - representación esquemática de la etapa S.3-0.2 del método en donde el sonido espacializado S86 se percibe en la misma ubicación de la ventana 85

[0133] Fig. 19A Ejemplo n.º 2-2 - representación esquemática de la etapa S.3-0.2 del método, donde el sonido espacializado S86 es una representación exagerada o "ampliada" con respecto a la ventana 85 en la dimensión espacial de elevación

[0134] Fig. 19B Ejemplo n.º 2-3 - representación esquemática de la etapa S.3-0.2 del método en donde el sonido espacializado S86 es una representación exagerada o "ampliada" con respecto a la ventana 85 como el punto de interés potencial PPI en la dimensión espacial azimutal

[0135] Fig.20 Ejemplo n.º 2-4 - representación esquemática de la etapa S.3-0.2 del método en donde las dos ventanas 85-1 y 85-2, colocadas a distancias no iguales del usuario con discapacidad visual, son representadas sonoramente con diferentes características de frecuencia de los sonidos virtualizados S86f-1, y, respectivamente, S86f-2 dependiendo de las distancias de las ventanas 85-1, y 85-2 del usuario con discapacidad visual

[0136] Fig. 21 Ejemplo n.º 2-5 - representación esquemática de la etapa S.3-0.2 del método en donde los márgenes de la ventana 85 están representados por dos sonidos espacializados S86P-E1 y S86P-E2 que tienen diferentes características de codificación dependiendo de la distancia de cada una de las extremidades con respecto al usuario con discapacidad visual

[0137] Fig. 22 Ejemplo n.º 2-6 - representación esquemática de la etapa S.3-0.2 del método que muestra la representación de las dimensiones S86P y S86L de la ventana 85

[0138] Fig. 23 Ejemplo n.º 2-7- representación esquemática de la etapa S.3-0.2 del método en donde la forma de la ventana 85 está representada por dos fuentes de sonido puntiformes espacializadas S86P1 y S86P2 Fig.24 Ejemplo n.º 2-8 - representación esquemática de la etapa S.3-0.2 del método en donde la forma de la ventana 85 está representada por dos fuentes de sonido espacializadas S86f1 y S86f2 que tienen diferente frecuencia en el azimut

[0139] Fig.25 Ejemplo n.º 2-9 - representación esquemática de la etapa S.3-0.2 del método en donde la forma de la ventana 25 está representada por la única fuente de sonido espacializada S86 que viaja virtualmente desde el punto de inicio t<0>sobre el contorno de la ventana 85 hasta que llega de nuevo al punto de inicio t<0>.

[0140] Fig.26 Ejemplo n.º 2-10 - representación esquemática de la etapa S.3-0.2 del método en donde la forma de la ventana 25 está representada por la única fuente de sonido espacializada S86 que viaja virtualmente en un patrón angular.

[0141] Fig. 27 Ejemplo n.º 2-11 - representación esquemática de la etapa S.3-0.2 del método que muestra la representación de dos ventanas 85-1 y 85-2, colocadas a diferentes distancias respecto al usuario con discapacidad visual.

[0142] Fig. 28 Ejemplo n.º 2-12 - representación esquemática de la etapa S.3-0.2 del método que muestra la representación sonora de una ventana 85 mediante dos sonidos espacializados S861, S862 que comienzan al mismo tiempo y viajan en patrones angulares dentro del marco interior de la ventana 85.

[0143] Lista de referencias

[0144] Esta lista incluye referencias a componentes, parámetros o criterios presentes en la descripción y/o los dibujos. Se ha creado para facilitar la lectura de la invención.

[0145] 1 Dispositivo portátil

[0146] 11 Componente de auriculares

[0147] 12 Componente que se lleva en el cinturón

[0148] 12 Componente de muñeca - no representado gráficamente

[0149] 13 Componente portátil - no representado gráficamente

[0150] 2 Unidad sensorial

[0151] Sensores básicos: 21, 22, 23,24

[0152] 20 campo de visión de los sensores básicos

[0153] 21 Cámara

[0154] 22 Sensor de profundidad

[0155] 21-22 Cámara y sensor de profundidad - no se representan gráficamente

[0156] 23 Unidad de medición inercial

[0157] 24 Sensor de localización de sonido

[0158] 21-22 Cámara y sensor de profundidad - no se representan gráficamente Sensores adicionales 25,26

[0159] 25 Sensor de posicionamiento global

[0160] 26 Sensor de temperatura

[0161] 3 Unidad de procesamiento y control

[0162] 30 Subunidad de fusión sensorial

[0163] 301 Módulo de localización

[0164] 302 Módulo de detección de áreas transitables

[0165] 303 Módulo de cálculo de orientación

[0166] 304 Módulo de localización de la dirección del sonido

[0167] 305 Módulo de clasificación de sonidos

[0168] 306 Módulo de extracción de características de objetos 2D

[0169] 307 Módulo de fusión de características de objetos 3D

[0170] 308 Módulo de fusión de características de sonido de objetos

[0171] 309-1 Módulo de conversión relativa a absoluta

[0172] 309-2 Módulo de fusión de características de temperatura del objeto

[0173] 31 Subunidad de mapa en vivo

[0174] 310 Mapa en vivo

[0175] 32 Subunidad de gestor de relaciones

[0176] 33 Subunidad de gestor de Navegación

[0177] 34 Subunidad de gestor de interfaz de comandos de usuario

[0178] 35 Subunidad de gestor de retroalimentación

[0179] 36 Subunidad de representación del sonido

[0180] 4 Unidad de retroalimentación

[0181] 41 Actuadores de retroalimentación háptica

[0182] 411 Actuadores de retroalimentación izquierdos

[0183] 412 Actuadores de retroalimentación derechos

[0184] 413 Actuadores de retroalimentación centrales

[0185] 42 Actuadores de retroalimentación auditiva

[0186] 421 Actuadores de retroalimentación auditiva izquierdos

[0187] 422 Actuadores de retroalimentación auditiva derechos

[0188] 5 Interfaz de comandos de usuario

[0189] 51 Medios hápticos de comandos de usuario

[0190] 52 Medios auditivos de comandos de usuario

[0191] 6 Unidad de almacenamiento de energía - no representada gráficamente

[0192] M Memoria - no representada gráficamente

[0193] 7 Unidad de comunicación - no representada gráficamente

[0194] Contenido del mapa en vivo 310

[0195] Determinaciones de mapas en vivo basadas en los datos fusionados recibidos de la subunidad de fusión sensorial 30

[0196] − posición y orientación de la unidad sensorial 2

[0197] − On una pluralidad de objetos

[0198] − Ln una pluralidad de seres vivos - no representados gráficamente

[0199] Determinaciones del mapa en vivo basadas en los datos recibidos desde la subunidad de gestor de relaciones 32: − una pluralidad de relaciones Rn entre la pluralidad de objetos On y/o la pluralidad de seres vivos Ln = relaciones - no representadas gráficamente

[0200] Un área libre A:

[0201] − WA área transitable

[0202] − CWA Área transitable condicional

[0203] − NA Área no transitable

[0204] Requisitos mínimos

[0205] − Para las áreas:

[0206] − un conjunto de requisitos permanentes predeterminados para áreas transitables

[0207] − al menos un requisito de área transitable condicional predecible

[0208] − Para las relaciones :

[0209] − categorías de requisitos de relaciones predeterminadas que incluyen:

[0210] − relaciones padre-hijo predeterminadas y

[0211] − relaciones condicional predeterminadas

[0212] − Para los recorridos de navegación Pn :

[0213] − dos requisitos de recorridos de navegación

[0214] − requisitos de seguridad

[0215] − un requisito de no colisión

[0216] − un requisito de no agresividad

[0217] − estar en el WA o en el CWA

[0218] Criterios para selección

[0219] − un conjunto de criterios de selección de recorrido

[0220] − criterios de coste

[0221] − criterios de coste-tiempo para destino

[0222] − criterios de comodidad

[0223] − criterios de complejidad del recorrido de navegación preferido predeterminado

[0224] Criterios para los sonidos espacializados

[0225] − criterios de sonidos espacializados predeterminados

[0226] Solicitudes y selecciones del usuario con discapacidad visual

[0227] − una solicitudes de inicio

[0228] − una solicitud de selección

[0229] − una solicitud de información

[0230] Recorridos determinados por la subunidad de gestor de navegación 33

[0231] - Pn al menos un recorrido de navegación - no representado gráficamente

[0232] − SP recorrido de navegación preferido

[0233] - WP Recorrido de orientación -no representado gráficamente

[0234] - PI Punto de interés

[0235] - PI-OLD punto de interés antiguo

[0236] - PPI Punto de interés potencial - no representado gráficamente

[0237] Modos de guía para transmitir las instrucciones de guía de navegación correspondientes

[0238] T Túnel transitable

[0239] 93 hitos

[0240] r radio con una longitud predeterminada del círculo que tiene como origen la posición de la unidad sensorial 2 94 intersección del círculo de radio d1 con el recorrido de navegación preferido SP

[0241] S fuente de sonido espacializada

[0242] d1 primera distancia predeterminada de la fuente de sonido espacializada S con respecto a la unidad sensorial 2

[0243] d2 segunda distancia predeterminada

[0244] Ejemplo n.º 1 -Figs.14 a 17

[0245] 84 punto de interés inicial = puerta de entrada, como un ejemplo particular de objetos On de la pluralidad de objetos On seleccionados como punto de interés PI

[0246] dos puertas de entrada 84-01 y respectivamente 84-02, no representadas gráficamente como ejemplos de objetos On de la pluralidad de objetos On de entre los que se selecciona el punto de interés 84

[0247] 841 otro punto de interés = timbre 841, como otro ejemplo particular del punto de interés PI

[0248] 83 perro, como un ejemplo particular de ser vivo Ln de la pluralidad de seres vivos Ln

[0249] 831 semáforos

[0250] 832 paso de peatones

[0251] 942 área transitable, como un ejemplo particular del área transitable WA

[0252] 941 área no transitable, como un ejemplo particular de área no transitable NA

[0253] 943 área transitable condicional, como un ejemplo particular del área transitable condicional CWA

[0254] 911 recorrido de navegación inicial, como un ejemplo particular del recorrido de navegación preferido SP 912 recorrido de navegación secundario, como otro ejemplo particular del recorrido de navegación preferido SP

[0255] 922 túnel transitable, como un ejemplo particular del túnel transitable T

[0256] Grupo de ejemplos n.º 2 -Figs.18 a 28

[0257] 85 - ventanas, como ejemplos particulares de objetos On de la pluralidad de objetos On que son puntos potenciales de interés PPI y como ejemplo de categoría de objetos On

[0258] 85-1 primera ventana

[0259] 85-2 segunda ventana

[0260] 85-3 tercera ventana - no representada gráficamente

[0261] 85-4 cuarta ventana - no representada gráficamente

[0262] Extremos elegidos de cualquiera de las ventanas 85: 85-E1 y 85-E2.

[0263] S86 sonidos espacializados correspondientes de ventanas

[0264] S86-1 correspondiente a la primera ventana 85-1 - no representada gráficamente

[0265] S86-2 correspondiente a la segunda ventana 85-2 - no representada gráficamente

[0266] S86-3 correspondiente a la tercera ventana 85-3- no representada gráficamente

[0267] S86-4 correspondiente a la cuarta ventana 85-4- no representada gráficamente

[0268] Ejemplos particulares de sonidos espacializados

[0269] S86f sonido espacializado que tiene una frecuencia particular - no representado gráficamente

[0270] S86f -1 sonido espacializado que tiene una frecuencia particular correspondiente a la ventana 85-1 S86f -2 sonido espacializado que tiene una frecuencia particular correspondiente a la ventana 85-2 S86f1 y S86f2 fuentes de sonido espacializadas que se codifican con diferentes frecuencias que se mueven virtualmente sobre el contorno de la ventana 85

[0271] S86p Sonido espacializado que tiene un pulso particular - no representado gráficamente

[0272] S86t sonido espacializado que tiene una característica temporal particular - no representado gráficamente S86t-1 y S86t-2 sonido espacializado que tiene diferentes características de tiempo para representar la forma de los marcos de las dos ventanas 85-1 y 85-2.

[0273] S86t11-1, S86t12-1, sonidos espacializados que tienen diferentes características de tiempo que se mueven virtualmente sobre el contorno de la ventana 85-1 para representar la forma del marco exterior de la ventana 85-1

[0274] S86t21-1, S86t22-1, sonidos espacializados que tienen diferentes características de tiempo que se mueven virtualmente sobre el contorno de la ventana 85-1 para representar la forma del marco interior de la ventana 85-1

[0275] S86P sonido puntiforme,

[0276] S86P1 y S86P2 sonidos puntiformes espacializados que se mueven virtualmente sobre el contorno de la ventana 85

[0277] S86P-E1 y S86P-E2 dos sonidos puntiformes espacializados correspondientes a los extremos de la ventana 85-E1 y 85-E2.

[0278] S86L sonido lineal

[0279] S861 y S862 sonidos espacializados que se mueven virtualmente en un patrón angular dentro del espacio entre el contorno del marco interior y el contorno exterior de la ventana 85.

[0280] t<0>punto de inicio y t<final>punto final en el tiempo de fuentes de sonido espacializadas que se mueven virtualmente en el contorno de la ventana 85

[0281] Descripción detallada y ejemplos de realización

[0282] Con referencia a la Fig.1, el dispositivo portátil 1 comprende lo siguiente: una unidad sensorial 2, una unidad de procesamiento y control 3, una unidad de retroalimentación 4, una interfaz de comandos de usuario 5. El dispositivo portátil 1 comprende dos unidades de hardware no representadas gráficamente: una unidad de almacenamiento de energía 6, y una unidad de memoria M.

[0283] A lo largo de la invención, se entenderá que la persona con discapacidad visual lleva el dispositivo portátil 1 y que el dispositivo portátil 1 está encendido. Por lo tanto, cualquier referencia en la descripción, las reivindicaciones y los dibujos al dispositivo portátil 1 o a la unidad sensorial 2 se entenderá como que incluye una referencia a la posición de la persona con discapacidad visual. Para simplificar, a lo largo de la invención, se hará referencia al usuario con discapacidad visual como "él", abarcando todas las situaciones de género. Los detalles sobre la configuración y ubicación de las unidades de hardware se darán en la sección de la descripción que se refiere a las configuraciones del dispositivo portátil 1.

[0284] Para una mejor comprensión del método, se describen brevemente los componentes básicos de las unidades de hardware siguiendo el ritmo de la divulgación del método.

[0285] La unidad sensorial 2 se coloca en la cabeza del usuario con discapacidad visual y comprende sensores básicos:

[0286] − una cámara 21,

[0287] − un sensor de profundidad 22,

[0288] − una unidad de medición inercial 23

[0289] − un sensor de localización de sonido 24

[0290] La unidad de procesamiento y control 3 comprende:

[0291] − una subunidad de fusión sensorial 30,

[0292] − una subunidad de mapa en vivo 31,

[0293] − una subunidad de gestor de relaciones 32,

[0294] − una subunidad de gestor de navegación 33,

[0295] − una subunidad de gestor de interfaz de comandos de usuario 34,

[0296] − una subunidad de gestor de retroalimentación 35,

[0297] − una subunidad de representación del sonido 36,

[0298] La subunidad de fusión sensorial 30 comprende :

[0299] − un módulo de localización 301,

[0300] − un módulo de detección de área transitable 302,

[0301] − un módulo de cálculo de orientación 303,

[0302] − un módulo de localización de la dirección del sonido 304,

[0303] − un módulo de clasificación de sonido 305,

[0304] − un módulo de extracción de características de objetos 2D 306,

[0305] − un módulo de fusión de características de objetos 3D 307,

[0306] − un módulo de fusión de características de sonido de objetos 308,

[0307] La figura 2 ilustra la ubicación preferida de la unidad sensorial 2 en la frente del usuario con discapacidad visual. A lo largo de la descripción detallada y las figuras, se ejemplifica dicha ubicación. El experto en la materia comprenderá que la invención no se limita a la colocación de la unidad sensorial 2 en la frente.

[0308] El método según la invención incluye 4 etapas. En primer lugar, se describirán brevemente las cuatro etapas una tras otra. A continuación, se detallarán las etapas 2, 3 y 4.

[0309] S1La unidad sensorial 2 del dispositivo portátil 1, colocada en la cabeza del usuario con discapacidad visual,adquieredatos del entorno del usuario con discapacidad visual.

[0310] Para este fin, la unidad sensorial 2 detecta desde un campo de visión 20 que tiene como origen la posición de la unidad sensorial 2.

[0311] S2Los datos detectados por la unidad sensorial 2 se envían a la subunidad de fusión sensorial 30.

[0312] La subunidad de fusión sensorial 30 fusiona los datos adquiridos desde la unidad sensorial 2 mediante algoritmos de procesamiento de datos que incluyen filtrado, suavizado y algoritmos basados en inteligencia artificial, y luego envía los datos fusionados a la subunidad de mapa en vivo 31 de la unidad de procesamiento y control 3.

[0313] Además, la subunidad de mapa en vivo 31crea, actualizacontinuamente yalmacenaun mapa en vivo 310. El mapa en vivo 310 comprende tres categorías de datos:

[0314] 1. Determinaciones de mapas en vivo que se generan en función de los datos fusionados recibidos desde la subunidad de fusión sensorial 30,

[0315] 2. Determinaciones de mapa en vivo que se generan en base a una pluralidad de relaciones Rn entre la pluralidad de objetos On y/o la pluralidad de seres vivos Ln,

[0316] 3. Determinaciones de mapas en vivo basadas en un área libre A.

[0317] El mapa en vivo 310 es una base de datos almacenada en la memoria M. A lo largo de la invención, la actualización y el almacenamiento de los datos en el mapa en vivo 310 incluirán la actualización y el almacenamiento del mapa en vivo 310 en la memoria M. La forma en que se almacena el mapa en vivo 310 está fuera del alcance de la invención.

[0318] La Fig. 3 muestra esquemáticamente el campo de visión 20 que tiene como origen la posición de la unidad sensorial 2, mientras que la Fig.4 muestra esquemáticamente el contenido del campo de visión 20 y del mapa en vivo 310 en comparación con el entorno real.

[0319] En una realización de la presente invención, el mapa en vivo 310 ya existe en la memoria M. En este caso, el alcance territorial del mapa en vivo 310 se determina por el contenido almacenado en el pasado en el mapa en vivo 310. Como se puede observar en la Fig. 4, el mapa en vivo 310 incluye objetos que ya no están en el campo de visión 20, pero que sí estaban en el campo de visión 20 en el pasado. El mapa en vivo 310 de la Fig.

[0320] 4 incluye un punto de interés antiguo, PI-OLD, es decir, un punto de interés en el pasado.

[0321] 1. Las determinaciones del mapa en vivo basadas en los datos fusionados recibidos desde la subunidad de fusión sensorial 30 incluyen las siguientes determinaciones:

[0322] − Una posición y una orientación de la unidad sensorial 2,

[0323] - Una pluralidad deobjetosOn. Para cada objeto On, las determinaciones se refieren a:

[0324] − su posición,

[0325] − sus características físicas, acústicas y químicas,

[0326] − su orientación,

[0327] − la predicción de su posición futura en una unidad de tiempo predeterminada,

[0328] - Una pluralidad deseres vivosLn. Para cada ser vivo Ln, las determinaciones se refieren a

[0329] − su posición,

[0330] − sus características biológicas y acústicas,

[0331] − su orientación, actividad actual y estado de ánimo,

[0332] − la predicción de su posición futura en la unidad de tiempo predeterminada.

[0333] 2. Las determinaciones del mapa en vivo basadas en la pluralidad de relaciones Rn entre la pluralidad de objetos On y/o la pluralidad de seres vivos Ln son recibidas desde una subunidad de gestor de relaciones 32 de la unidad de procesamiento y control 3.

[0334] La subunidad de gestor de relaciones 32 importa las actualizaciones más recientes del mapa en vivo 310 consultando a la subunidad del mapa en vivo 31 si hay actualizaciones en el mapa en vivo 310.

[0335] Los cálculos se basan en requisitos de relaciones predeterminados, que comprenden al menos:

[0336] − relaciones padre-hijo predeterminadas, y

[0337] − relaciones condicionales predeterminadas.

[0338] Para simplificar, a lo largo de la invención:

[0339] − el término "relaciones" se utiliza como redacción equivalente para la pluralidad de relaciones Rn, y − la pluralidad de relaciones Rn, denominadas alternativamente relaciones, se refieren tanto a relaciones estáticas como dinámicas.

[0340] Después de realizar los cálculos, la subunidad de gestor de relaciones 32 envía las relaciones actualizadas como resultado de los cálculos a la subunidad de mapa en vivo 31 para almacenarlas en el mapa en vivo 310. Los detalles relativos a la generación de la pluralidad de relaciones Rn se dan en la sección relacionada con S.2.2 a continuación.

[0341] 3. Las determinaciones del mapa en vivo basadas en el área libre A

[0342] El área libre A se define como un conjunto de áreas sobre un suelo no ocupadas por la pluralidad de objetos On y la pluralidad de seres vivos Ln.

[0343] Dicha área libre A se divide en tres categorías:

[0344] − Un área transitable WA que satisface un conjunto de requisitos permanentes predeterminados de área transitable, definiendo el área transitable WA como un área en donde el usuario con discapacidad visual puede caminar sin sufrir lesiones.

[0345] − Un área transitable condicional (CWA) que satisface dicho conjunto de requisitos permanentes predeterminados de área transitable, y satisface al menos un requisito predecible de área transitable condicional, y

[0346] − Un área no transitable NA que no satisface ni el conjunto de requisitos permanentes predeterminados de área transitable ni el al menos un requisito adicional predecible de área transitable condicional.

[0347] En S3,de manera automática o en respuesta a una solicitud del usuario con discapacidad visual, una subunidad de gestor de navegación 33 de la unidad de procesamiento y control 3determina, actualizacontinuamente yalmacenaen la memoria M, uno o más recorridos de navegación Pn para que el usuario con discapacidad visual navegue desde la posición actual de la unidad sensorial 2 hasta un punto de interés PI seleccionado entre la pluralidad de objetos On y/o la pluralidad de seres vivos Ln.

[0348] El término "navegación" se entenderá en esta invención como que abarca:

[0349] − la marcha del usuario con discapacidad visual hacia un objeto On o un ser vivo Ln,

[0350] − los gestos y acciones cotidianas realizadas con una o ambas manos o extremidades del usuario con discapacidad visual para encontrar y alcanzar diversos objetos como el cepillo de dientes, el pomo de la puerta, etc.

[0351] Ejemplos no limitativos de recorridos de navegación Pn incluyen:

[0352] − Recorridos de navegación Pn para caminar al aire libre,

[0353] − Recorridos de navegación Pn para caminar en interiores,

[0354] − Recorridos de navegación Pn para alcanzar una gran variedad de objetos para una variedad de propósitos: desde objetos pequeños como un peine hasta objetos grandes como un avión.

[0355] La subunidad del gestor de navegación 33selecciona continuamente,de forma automática o a solicitud del usuario con discapacidad visual, un recorrido de navegación preferido SP. Si solo se determinó un recorrido de navegación Pn, el recorrido de navegación preferido SP será el recorrido de navegación Pn. Si se determinaron dos o más recorridos de navegación Pn, la subunidad de gestor de navegación 33 selecciona continuamente una de los mismos como el recorrido de navegación preferido SP.

[0356] El recorrido de navegación preferido SP se envía continuamente mediante la subunidad de gestor de navegación 33 junto con las instrucciones de guía de navegación asociadas, a una subunidad de gestor de retroalimentación 35 de la unidad de procesamiento y control 3.

[0357] Para determinar uno o más recorridos de navegación Pn, la subunidad de gestor de navegación 33 consulta el mapa en vivo 310 para verificar si se cumplen al menos dos requisitos de recorrido de navegación.

[0358] El primer requisito del recorrido de navegación es que todos los recorridos de navegación Pn (incluyendo el recorrido de navegación preferido SP) deben pasar por el área transitable WA y/o por el área transitable condicional CWA.

[0359] El segundo requisito del recorrido de navegación consiste en cumplir un conjunto de requisitos de seguridad con respecto a la pluralidad de objetos On y/o la pluralidad de seres vivos Ln posicionados o que se prevé que estarán posicionados en la proximidad de la al menos un recorrido de navegación Pn en la unidad de tiempo predeterminada. La proximidad está predeterminada, por ejemplo, a 0,3 m de la posición del dispositivo portátil 1. El conjunto de requisitos de seguridad incluye al menos un requisito de no colisión y al menos un requisito de no agresividad. Se pueden definir otros requisitos de seguridad para diversas necesidades específicas derivadas de las necesidades de la persona con discapacidad visual (por ejemplo, una persona mayor) o de las características del entorno donde vive habitualmente (por ejemplo, una zona urbana densamente poblada), o de ambos.

[0360] El requisito de no colisión significa que los recorridos individuales de la pluralidad de objetos On y/o la pluralidad de seres vivos Ln no deben colisionar con el al menos un recorrido de navegación Pn.

[0361] El requisito de no agresividad significa que el estado de ánimo de la pluralidad de seres vivos Ln no debe anticipar una acción agresiva dirigida contra el usuario con discapacidad visual.

[0362] El usuario puede definir otros requisitos de recorrido de navegación, tal como, por ejemplo, entre otros, el requisito de evitar áreas concurridas o evitar pasar por zonas con pendientes superiores a un valor predeterminado.

[0363] Los requisitos del recorrido de navegación están predeterminados y almacenados en la memoria M. Los aplica la subunidad de gestor de navegación 33. El usuario con discapacidad visual puede establecer otros requisitos de recorrido de navegación predeterminados mediante la subunidad de gestor de interfaz de comandos de usuario 34.

[0364] Cuando el recorrido de navegación seleccionado SP pasa a través del área transitable condicional CWA, la subunidad de gestor de navegación 33 envía a la subunidad de gestor de retroalimentación 35 una instrucción de guía de navegación asociada a dicho al menos un requisito de área transitable condicional predecible. La determinación de al menos un recorrido de navegación Pn se inicia automáticamente por la subunidad de gestor de navegación 33 o mediante la recepción de una solicitud de iniciación por parte del usuario con discapacidad visual.

[0365] En caso de que la subunidad de gestor de navegación 33 determine dos o más recorridos de navegación Pn, la selección del recorrido de navegación preferido SP se realiza ya sea de manera automática por la subunidad de gestor de navegación 33 o mediante la recepción por parte de dicha subunidad de gestor de navegación 33 de una solicitud de selección del usuario con discapacidad visual.

[0366] La subunidad de gestor de navegación 33 puede configurarse para que, por defecto, la selección del recorrido de navegación preferido SP se realice automáticamente por la subunidad de gestor de navegación 33 o según la solicitud de selección del usuario con discapacidad visual. Cuando la subunidad de gestor de navegación 33 realiza la selección automáticamente, la SP se basa en la aplicación de un conjunto de criterios de selección de recorrido predeterminados, que incluyen criterios de coste, coste-tiempo de llegada al destino y criterios de comodidad. La aplicación de estos criterios de selección de recorrido se realiza según el estado de la técnica. Las solicitudes realizadas por el usuario con discapacidad visual se realizan mediante medios hápticos 51 o medios de audio 52 de una interfaz de comandos de usuario 5. Estas solicitudes son recibidas por la subunidad de gestor de navegación 33 a través de una subunidad de gestor de interfaz de comandos de usuario 34 de la unidad de procesamiento y control 3.

[0367] EnS4,la subunidad de gestor de retroalimentación 35 guía al usuario con discapacidad visual a lo largo del recorrido de navegación preferido SP, utilizando modos de guía para transmitir cada instrucción de guía de navegación asociada recibida desde la subunidad de gestor de navegación 33.

[0368] Los modos de guía son enviados por la subunidad de gestor de retroalimentación 35 a una unidad de retroalimentación 4 de la unidad de procesamiento y control 3. Cada instrucción de guía de navegación comprende señales hápticas y/o auditivas.

[0369] Los modos de guiado son:

[0370] - ya sea mediante señales hápticas mediante el uso de actuadores de retroalimentación háptica 41 de la unidad de retroalimentación 4, configurados para su colocación en la frente del usuario con discapacidad visual, o − mediante señales auditivas mediante el uso de actuadores auditivos 42 de la unidad de retroalimentación 4, configurados para su colocación junto a uno o ambos oídos del usuario con discapacidad visual, o − combinando las señales hápticas con las señales auditivas.

[0371] La selección de los modos de guía para cada instrucción de guía de navegación asociada la realiza el usuario con discapacidad visual mediante la interfaz de comandos de usuario 5 y a través de comandos de usuario que son recibidos por la subunidad de gestor de retroalimentación 35 a través de la subunidad de gestor de interfaz de comandos de usuario 34.

[0372] Detalles sobre S2- con referencia a la Fig.5

[0373] El mapa en vivo 310 es como un pastel de varias capas, ya que se añaden varias capas de información desde la primera subetapa hasta la última, como se describe a continuación. Con cada capa, el mapa en vivo 310 adquiere un mayor nivel de detalle y precisión. La creación es continua, lo que da como resultado la actualización y almacenamiento continuos del mapa en vivo 310.

[0374] La ventaja de crear múltiples capas de información en el mapa en vivo 310 reside en la facilidad para comprender y acceder a los datos. Dado que cada capa contiene información específica relevante para otros componentes del sistema, se facilita un acceso más rápido a la información.

[0375] S 2.1. La subunidad de mapa en vivo 31crea y actualizael mapa en vivo 310determinando continuamentela posición y orientación de la unidad sensorial 2, así como las características de los objetos On y de los seres vivos Ln, basándose en los datos fusionados recibidos de la subunidad de fusión sensorial 30. Además, envía continuamente el mapa en vivo 310 creado y actualizado a un módulo de localización 301 de la subunidad de fusión sensorial 30.

[0376] S 2.2. La subunidad de gestor de relaciones 32generay actualiza continuamente varias relaciones Rn entre los objetos On y/o los seres vivos Ln, basándose en los datos obtenidos del mapa en vivo 310, lo que implica la aplicación de un conjunto de requisitos de relaciones predeterminados. Estas relaciones Rn, actualizadas continuamente, se envían continuamente al mapa en vivo 310, actualizando así el contenido del mapa en vivo 310, tal como se genera en S 2.1. La capa que hace referencia al contenido de las relaciones Rn.

[0377] S 2.3. El módulo de localización 301localiza continuamentela posición y orientación de la unidad sensorial 2 con respecto a los objetos On y Ln del mapa en vivo 310, respectivamente, mediante algoritmos de localización aplicados a los datos recibidos de la unidad sensorial 2 y del mapa en vivo 310. La localización de la posición y orientación de la unidad sensorial 2 se envía continuamente al módulo de detección de área transitable 302 de la subunidad de fusión sensorial 30, actualizando así el contenido del mapa en vivo 310, tal como se genera en S 2.2, con la capa que hace referencia a los datos de localización de la posición y orientación de la unidad sensorial 2 con respecto a los objetos On y Ln.

[0378] S 2.4. El módulo de detección de área transitable 302determina continuamenteel área libre A, basándose en:

[0379] i) los datos recibidos de la unidad sensorial 2,

[0380] ii) los datos recibidos del módulo de localización 301,

[0381] iii) el conjunto de requisitos permanentes predeterminados de áreas transitables, y

[0382] iv) los al menos un requisito de área transitable condicional predecible calculado y almacenado en la memoria M del módulo de detección de área transitable 302.

[0383] Los componentes del área libre A, continuamente actualizados, se envían continuamente al mapa en vivo 310, actualizándose así el contenido del mapa en vivo 310 tal como se emite desde S 2.3 con la capa que hace referencia a los componentes del área libre A.

[0384] S.2.5. El mapa en vivo 310 actualizado se almacena continuamente en la memoria M.

[0385] S.2.1. Detalles sobre las determinaciones del mapa en vivo basadas en datos fusionados

[0386] El módulo de cálculo de orientación 303 determina la posición y orientación actual de la unidad sensorial 2 del dispositivo portátil 1, de la pluralidad de objetos On y de la pluralidad de seres vivos Ln con respecto a la unidad sensorial 2 basándose en los datos de movimiento inercial proporcionados por la unidad de medición inercial 23. Para este propósito, el módulo de cálculo de orientación 303 aplica un algoritmo de cálculo de orientación que calcula la orientación del sistema en los 3 ejes (cabeceo, balanceo, guiñada) y para el posicionamiento 3D de los objetos ya que la cámara 21 y el sensor de profundidad 22 revelan dónde están los objetos detectados On con respecto a la cámara 21, pero no cómo están orientados con respecto al suelo.

[0387] El módulo de extracción de características 2D de objetos 306 proporciona la segmentación píxel por píxel de las imágenes 2D adquiridas de la cámara 21, y detecta en las imágenes 2D segmentadas píxel por píxel cada objeto On de la pluralidad de objetos On, y cada ser vivo Ln de la pluralidad de seres vivos Ln colocados en el campo de visión 20, y determina su respectiva posición en coordenadas 2D, y sus respectivas características físicas.

[0388] El módulo de extracción de características de objetos 2D 306 utiliza un algoritmo de extracción de características de objetos 2D que combina varias acciones:

[0389] − Detección de objetos para determinar el tipo de objetos On o seres vivos Ln, su posición 2D y su tamaño 2D relativo y su centro 2D, su vector de movimiento 2D con respecto a la cámara 21 comparando los datos entre varias imágenes posteriores;

[0390] − Detección de la postura del objeto para determinar la orientación del objeto en coordenadas 2D, − Detección de la postura del esqueleto para determinar la postura de los seres vivos Ln mediante la orientación del esqueleto, que se utiliza para comprender las actividades de los seres vivos Ln, como correr, sentarse, toser, etc. y el estado, por ejemplo, duerme, está despierto, etc.

[0391] − Detección de características faciales para determinar el estado empático, como sonrisas, risas, llantos, etc., y también el estado de actividad: durmiendo, despierto, cansado, etc.

[0392] − Determinación de características de objetos que comprende algoritmos para diversos aspectos, tales como:

[0393] − el grado de ocupación de una silla, un manillar, una nevera o una habitación (por ejemplo, comparando cuánto es visible frente a cómo debería ser según una imagen habitual);

[0394] − el grado de llenado 2D de un contenedor, por ejemplo en el caso de contenedores transparentes;

[0395] − el grado de suciedad de un producto, por ejemplo, comparando los objetos On capturados por la cámara 21 con imágenes conocidas de objetos similares limpios On, y calculando las diferencias.

[0396] Además, el módulo de fusión de características 3D de objetos 307 recibe datos del módulo de extracción de características 2D de objetos 306, del módulo de cálculo de orientación 303 y del sensor de profundidad 22, y determina información detallada adicional acerca de la información 2D recibida desde el módulo de extracción de características 2D de objetos 306 con respecto a la pluralidad de objetos On y la pluralidad de seres vivos Ln. De esta forma, el módulo de fusión de características 3D de objetos 307 determina la posición de cada uno de los objetos On respecto de la unidad sensorial 2 en coordenadas 3D, sus características físicas, tales como dimensiones, composición, estructura, color, forma, humedad, temperatura, grado de ocupación, grado de limpieza, grado de uso, grado de desgaste, grado de estabilidad, grado de llenura, grado de peligrosidad, y su orientación respecto de la unidad sensorial 2, y la posición futura en instantes predeterminados en el tiempo en coordenadas 3D en función del vector de movimientos, respectivamente.

[0397] El módulo de fusión de características 3D de objetos 307 también determina datos sobre la posición de cada ser vivo Ln en coordenadas 3D, sus características físicas, como la altura, la postura del esqueleto y la predicción de su posición futura en la unidad de tiempo predeterminada, respectivamente. Con base en la postura del esqueleto, la expresión facial y sus características físicas, el módulo de fusión de características 3D de objetos 307 determina la actividad actual y el estado de ánimo de cada ser vivo Ln.

[0398] El módulo de localización de dirección de sonido 304 determina la dirección de la pluralidad de flujos de sonido expresados en coordenadas 3D emitidos respectivamente por cada uno de la pluralidad de objetos On y la pluralidad de seres vivos Ln basándose en los datos recibidos desde el sensor de localización de sonido 24. En una implementación del método, la dirección de los flujos de sonido se determina comparando las diferencias de un flujo de sonido entre los micrófonos del sensor de localización de sonido 24, conociendo la posición de los micrófonos. El módulo de localización de la dirección del sonido 304 triangula la fuente del flujo de sonido, detectando su dirección.

[0399] Cada una de la pluralidad de flujos de sonido cuya dirección ha sido determinada por el módulo de localización de dirección de sonido 304 se clasifica en tipos de sonido por medio del módulo de clasificación de sonido 305. El módulo de fusión de características de sonido de objetos 308 agrega características acústicas a cada uno de la pluralidad de objetos On y seres vivos Ln para los cuales se han determinado las coordenadas 3D en función de los tipos de sonido clasificados determinados por el módulo de clasificación de sonido 305.

[0400] Luego, el módulo de fusión de características de sonido de objetos 308 envía todos los datos fusionados a la subunidad de mapa en vivo 31 para ser almacenados en el mapa en vivo 310.

[0401] S.2.2. Detalles sobre la generación de la pluralidad de relaciones Rn

[0402] Las determinaciones del mapa en vivo, basadas en los datos recibidos de la subunidad de gestor de relaciones 32, proporcionan información más detallada que define el entorno del usuario con discapacidad visual. De esta manera, la subunidad de gestor de relaciones 32 proporciona información más precisa y detallada sobre los objetos On y los seres vivos Ln, cumpliendo así el objetivo de la invención de una navegación más segura para el usuario con discapacidad visual y un objetivo de navegación más concreto, definido en la invención como el punto de interés PI.

[0403] Los algoritmos utilizados por la unidad de procesamiento y control 3 incluyen, entre otros: detección de objetos, detección de la postura de los objetos y determinación de las características de los objetos. Los algoritmos utilizados por la unidad de procesamiento y control 3 definen como elemento:

[0405] − cada objeto On de la pluralidad de objetos On,

[0407] − cada ser vivo Ln de la pluralidad de seres vivos Ln,

[0409] − cada parte componente de cada objeto. por ejemplo: la pata de la silla,

[0411] − cada parte de cada ser vivo Ln.

[0413] Por ejemplo, en el caso de que el objeto On sea una silla de cuatro patas, la silla se define como un elemento separado de cada una de sus cuatro patas.

[0415] El grado de detalle está predeterminado quedando fuera del alcance de la invención.

[0417] La unidad de procesamiento y control 3 crea grupos de objetos en función de sus relaciones físicas.

[0419] Así, las relaciones padre-hijo predeterminadas conectan los elementos separados para que puedan formar objetos On, seres vivos Ln o conjuntos entre más de dos objetos On, más de dos seres vivos Ln u objetos On y seres vivos Ln. Por ejemplo: la manija de la puerta pertenece a la puerta. Tanto la manija de la puerta como la puerta son elementos. La principal diferencia entre los elementos por un lado, y los objetos On y seres vivos Ln por otro lado es que los objetos On y seres vivos Ln corresponden a la expectativa habitual de las personas sobre lo que es un objeto y un ser vivo, mientras que para los algoritmos todos los objetos On y los seres vivos Ln así como sus componentes se tratan como elementos.

[0421] Las relaciones condicionales predeterminadas se refieren a conectar elementos separados solo si se cumple una condición, por ejemplo, el cruce de peatones es un área transitable condicional, condicionada al color del semáforo.

[0423] La subunidad de gestor de relaciones 32 utiliza los datos del mapa en vivo 310 para calcular posibles relaciones utilizando algoritmos específicos.

[0425] Para las relaciones padre-hijo, los siguientes son ejemplos no limitativos de algoritmos:

[0427] − Proximidad física: Si los elementos correspondientes a los objetos On o a los seres vivos Ln están en proximidad física, forman una relación padre-hijo:

[0429] − Si una tapa y una botella de agua abierta están cerca, la botella de agua se convierte en el padre de la tapa, que es el hijo.

[0431] − Si un teclado o un ratón están cerca de una computadora, se convierten en el hijo del ordenador, que se convierte en el padre.

[0433] − Si se detecta una mascota viviente, tal como un perro o un gato, cerca de un ser humano vivo, la mascota se convierte en hijo del humano, que a su vez se convierte en padre.

[0435] − Si una manija de puerta está cerca de una puerta, se convierte en la manija de la puerta. Del mismo modo, las puertas de los vehículos son las manijas de los vehículos.

[0437] − Proximidad física con contención: Si los elementos correspondientes a los objetos On o a los seres vivos Ln están en proximidad física, y un objeto o ser vivo está contenido en el otro objeto forman otra relación padrehijo:

[0439] − Si se detectan peces muy cerca y contenidos en una pecera, los peces se convierten en hijos de la pecera, que a su vez se convierte en padre.

[0441] − Si se detecta líquido en un recipiente transparente, el recipiente se convierte en el padre y el líquido en el hijo.

[0443] − Si se detectan asientos en la proximidad de un autobús y los asientos están contenidos dentro del autobús, los asientos se convierten en los hijos del autobús.

[0444] − Proximidad física con intersección: si los objetos On están en proximidad física y uno o varios de sus planos se intersecan, forman otra relación padre-hijo:

[0446] − Si se detectan puertas y paredes muy próximas y sus planos coinciden, la puerta se convierte en un hijo para la pared,

[0448] Creación de nuevos elementos basados en relaciones detectadas:

[0450] − Proximidad física con intersección: si los elementos correspondientes a los objetos On están muy cerca, se intersecan, crean un nuevo tipo de elemento y se asignan como hijos de ese elemento:

[0452] − Si se detectan un piso, un techo y varias paredes en proximidad y cruzándose, siendo todos elementos, forman una habitación, que es otro elemento, y se convierten en elementos secundarios de la habitación.

[0453] − Si se generan varias habitaciones, en proximidad y al cruzarse crean un piso, y se convierten en habitaciones hijas del piso,

[0455] − Si se generan uno o varios pisos, crean un edificio y se convierten en hijos del edificio.

[0457] Para relaciones condicionales los ejemplos no limitativos de algoritmos son los siguientes:

[0459] − Proximidad física: si los elementos correspondientes a los objetos On están muy próximos forman una relación condicional:

[0461] − Si se detecta el timbre cerca de la puerta, se establece una relación condicional: hay que tocar el timbre antes de entrar por la puerta,

[0463] − Si se detecta una cerradura cerca de la manija de la puerta, se establece una relación condicional: se debe desbloquear la puerta antes de accionar la manija de la puerta.

[0465] − Proximidad física con orientación: si los elementos correspondientes a los objetos On están en estrecha proximidad, están orientados de una determinada manera, forman otra relación condicional:

[0467] − Si se detecta un área transitable condicional CA, tal como un paso de peatones, y se detecta un semáforo para peatones orientado hacia el paso de peatones, el área transitable condicional CA se condiciona por el color del semáforo detectado.

[0469] Dependiendo del tipo de objeto On o ser vivo Ln, ciertas propiedades son transmisibles de un padre a un hijo, por ejemplo:

[0471] - Si las manijas de las puertas son hijas de puertas que son hijas de un automóvil, cuando el automóvil se mueve, incluso si las manijas de las puertas o las puertas ya no están en el campo de visión 20 del dispositivo portátil 1, su posición se actualizará, incluso si la posición del automóvil ha cambiado mientras tanto.

[0473] Los parámetros utilizados en los algoritmos para establecer la pluralidad de relaciones Rn están predeterminados: por ejemplo, para determinar la proximidad física se utilizan rangos predeterminados de distancias.

[0475] S.2.3. Detalles sobre la localización y orientación de la unidad sensorial 2

[0477] El módulo de localización 301 determina continuamente la posición y orientación actual de la unidad sensorial 2 del dispositivo portátil 1 y de la pluralidad de objetos On y seres vivos Ln con respecto a la unidad sensorial 2, en las coordenadas 3D, en el mapa en vivo actual 310 por medio de algoritmos de localización aplicados a los datos adquiridos de una cámara 21, el sensor de profundidad 22, una unidad de medición inercial 23 de la unidad sensorial 2.

[0479] Los resultados de la localización se envían al módulo de detección de áreas transitables 302 que determina los componentes del área libre A.

[0481] S.2.4. Detalles sobre la determinación de los componentes del área libre A.

[0483] El conjunto de requisitos permanentes de áreas transitables predeterminadas comprende categorías predeterminadas para cada usuario con discapacidad visual, teniendo en cuenta diversos requisitos generales de seguridad y comodidad.

[0484] El conjunto comprende al menos las dos categorías siguientes:

[0485] Los requisitos geométricos predeterminados de área transitable se refieren a la geometría del espacio virtualmente ocupado por el usuario con discapacidad visual. Por lo tanto, se imagina un cuboide virtual cuyas tres dimensiones se ajustan a las del usuario con discapacidad visual. El cuboide virtual garantiza la protección del usuario con discapacidad visual contra lesiones, ya sea que esté de pie o en movimiento. Algunos ejemplos no limitativos de requisitos de esta categoría son los siguientes: las oscilaciones del nivel del suelo no deben superar una altura predeterminada; una viga colocada a cierta distancia del suelo se considera peligrosa si la distancia es inferior a un umbral predeterminado, etc.

[0486] - requisitos de área transitable predeterminada de la superficie: ciertos tipos de superficies de suelo están excluidos, tales como, entre otros: película de agua que exceda un ancho predeterminado, como 5 cm; hielo; barro; calles y caminos.

[0487] El área transitable condicional CWA satisface el conjunto de requisitos permanentes predeterminados de área transitable y debe satisfacer además el al menos un requisito predecible de área transitable condicional. El conjunto de requisitos de área transitable permanente, así como el al menos un requisito de área transitable condicional predecible, se predeterminan para cada usuario con discapacidad visual y se almacenan en la memoria M. El módulo de determinación de área transitable 302 aplica dichos requisitos a los datos que recibe desde la cámara 21 y el sensor de profundidad 22, por un lado, y desde el módulo de localización 301, por otro. Dichos datos recibidos desde el módulo de localización 301 incluyen las actualizaciones de las relaciones recibidas de la subunidad de gestor de relaciones 32 y almacenadas en el mapa en vivo 310.

[0488] En otra realización preferida, partes del mapa en vivo 310 se pueden descargar de internet desde cualquier sitio web de mapas geográficos. Dichas partes se refieren a las capas descritas en S 2.1 a S.2.4 y, teniendo en cuenta que, según el sitio web de mapas geográficos desde donde se descargue el mapa, la información de cada capa puede ser parcial o completa. La descarga de internet se realiza mediante una unidad de comunicación 7, no representada gráficamente, conectada a internet. En este caso, el módulo de localización 301 localiza la posición y la orientación de la unidad sensorial 2 en el mapa en vivo 310 descargado.

[0489] En caso de que haya un mapa en vivo 310 previamente almacenado en la memoria de la subunidad de mapa en vivo 31, el mapa en vivo 310 se crea en base a las determinaciones del mapa en vivo 310 previamente almacenado.

[0490] En caso de que exista un mapa en vivo 310 previamente almacenado en la memoria M del dispositivo portátil 1, ya sea porque fue determinado por la subunidad de mapa en vivo 31 previamente o porque fue descargado de internet o ambos, las determinaciones basadas en los datos recibidos de la unidad sensorial 2 comienzan con la etapa 2.3 mediante la identificación dentro del mapa en vivo 310 previamente almacenado de la posición y orientación actual de la unidad sensorial 2 por medio del módulo de localización 301, y la identificación del área libre A, incluyendo el área transitable WA y el área transitable condicional CWA por el módulo de detección de área transitable 302 mediante algoritmos de localización aplicados a los datos recibidos desde la unidad sensorial 2.

[0491] Más adelante, el mapa en vivo 310 se actualiza continuamente con información adicional descrita en S 2.1 a S.2.2 y el resto de la etapa 2.3 y las etapas 2.4 y 2.5 se llevan a cabo como se describe. En una realización preferida, el mapa en vivo (310) es actualizado por la subunidad de fusión sensorial (30) mediante algoritmos SLAM de localización y mapeo simultáneos.

[0492] Los algoritmos SLAM son particularmente ventajosos, ya que utilizan un proceso iterativo para mejorar la posición estimada con la nueva información posicional. Cuanto mayor sea el proceso de iteración, mayor será la precisión posicional. Esto requiere mayor tiempo de cálculo y hardware de alta configuración con capacidad de procesamiento paralelo de las unidades de procesamiento.

[0493] En otra realización preferida los algoritmos SLAM utilizados son algoritmos SLAM visuales que tienen los beneficios de proporcionar vasta información, ser baratos y fáciles de implementar ya que se pueden utilizar sensores pasivos y componentes que tienen un tamaño, peso y huella de energía SWaP extremadamente bajos.

[0494] La invención, tal como se ha descrito hasta ahora, se refiere a los casos en donde el punto de interés PI es conocido por el usuario con discapacidad visual antes de enviar la solicitud de iniciación.

[0495] En otros casos, el usuario con discapacidad visual no dispone de suficiente información sobre el punto de interés PI antes de enviar la solicitud de inicio. Ejemplos típicos son cuando llega a un nuevo entorno o cuando algo ha cambiado en el entorno conocido, como la ubicación habitual de los asientos.

[0496] Un ejemplo es cuando un usuario con discapacidad visual entra en una sala nueva con cuatro ventanas. Quiere abrir una ventana. Pero ¿cuál de las cuatro ventanas debe seleccionar como punto de interés? O bien, el usuario con discapacidad visual entra en una sala de conferencias donde hay, por ejemplo, 30 asientos ocupados y 10 libres. ¿Cuál de los 10 asientos libres debe elegir como punto de interés?

[0497] Para abarcar estos casos en donde el usuario con discapacidad visual necesita información adicional de su entorno para seleccionar el punto de interés PI antes de enviar la solicitud de inicio, en otra realización preferida, cuando el usuario con discapacidad visual desconoce el punto de interés PI, se ejecuta la subetapa3-0antes de todas las demás subetapas de la etapa 3: EnS.3-0.1,el usuario con discapacidad visual envía una solicitud de información a la subunidad de representación de sonido 36 de la unidad de procesamiento y control 3 sobre al menos un objeto On seleccionado de entre los objetos On o al menos un ser vivo Ln seleccionado de entre los seres vivos Ln, siendo dicho objeto On o al menos un ser vivo Ln un posible punto de interés PPI para el usuario con discapacidad visual. Un ejemplo de al menos un objeto On seleccionado de entre los objetos On es un grupo de ventanas de una habitación seleccionada, que puede denominarse "ventana".

[0498] El término "potencial" significa que cualquiera de los objetos On del grupo de objetos On puede ser seleccionado como punto de interés inicial PI.

[0499] La subunidad de representación del sonido 36 es:

[0500] − ya sea una subunidad autónoma conectada a la subunidad de mapa en vivo 31, a la subunidad de gestor de retroalimentación 35 y a la subunidad de interfaz de comandos de usuario 34, o

[0501] − una subunidad de la subunidad de gestor de navegación 33, tal como se representa para simplificar en la Fig.1, o

[0502] − un módulo de la subunidad de gestor de retroalimentación 35.

[0503] Tomando como ejemplo una habitación con cuatro ventanas, el usuario con discapacidad visual envía una solicitud de información llamada "ventana" a través de la interfaz de comandos de usuario 5 a la subunidad de representación sonora 36. Quiere saber cuántas ventanas hay en la habitación, su posición, su tamaño o forma y la posición de sus manijas. En este ejemplo, la ventana es el punto de interés potencial (PPI). La solicitud de información se refiere a un área de interés predeterminada cercana al lugar donde se encuentra el usuario con discapacidad visual en el momento de enviar la solicitud, que en este caso es la habitación.

[0504] La solicitud de información se transmite desde la interfaz de comandos de usuario 5 a la subunidad de representación de sonido 36 a través de la subunidad del administrador de la interfaz de comandos de usuario 34, al igual que la solicitud de iniciación y la solicitud de selección.

[0505] EnS.3-0.2.la subunidad de representación de sonido 36 extrae del mapa en vivo 310 la información relativa al menos a un objeto particular On seleccionado o al menos a un ser vivo particular Ln y representa dicho al menos a un objeto particular On o al menos a un ser vivo particular Ln, respectivamente, como sonidos espacializados correspondientes y los transmite a la unidad de retroalimentación 4, a través de la subunidad de gestor de retroalimentación 35, cuando la subunidad de representación de sonido 36 no es parte de dicha subunidad de gestor de retroalimentación 35.

[0506] La representación en sonidos espacializados se genera mediante la subunidad de representación de sonido 36 codificando los tipos de sonido clasificados de los objetos seleccionados On o, respectivamente, seres vivos seleccionados Ln en base a criterios de sonidos espacializados predeterminados.

[0507] Los ejemplos no limitativos ni exhaustivos de los criterios de sonidos espacializados predeterminados son: − virtualización binaural de los sonidos en función de características específicas de los objetos On de dicha categoría específica de objetos On o específicas de los seres vivos Ln de dicha categoría específica de seres vivos Ln,

[0508] − variación de la frecuencia, amplitud, periodo, componentes de frecuencia, factor de relleno de los sonidos espacializados o duración, y repetición de sonidos espacializados en función de la distancia relativa al usuario con discapacidad visual de dichos objetos On o seres vivos Ln.

[0509] El tipo de codificaciones de los tipos de sonido clasificados de los objetos seleccionados On o, respectivamente, de los seres vivos seleccionados Ln en función de criterios de sonidos espacializados predeterminados se elige en función de procedimientos de prueba que determinan la capacidad del usuario para distinguir varias características técnicas de los sonidos.

[0510] El usuario con discapacidad visual es capaz de localizar cada sonido espacializado utilizando las capacidades naturales de los seres humanos para procesar sonidos que emanan de fuentes sonoras y siguiendo un entrenamiento adecuado con el dispositivo portátil 1.

[0511] La localización de los sonidos espacializados se realiza en tres dimensiones espaciales:

[0512] − horizontal: el acimut del dispositivo portátil 1 corresponde esencialmente al acimut de la frente del usuario con discapacidad visual,

[0513] − vertical: la elevación, medida desde el suelo hasta el dispositivo portátil 1, que corresponde esencialmente a la elevación de la frente del usuario con discapacidad visual,

[0514] − el rango de distancia o dimensión cercana-lejana, medida desde el punto de apoyo de la unidad sensorial 2. EnS. 3-0.3,el usuario con discapacidad visual selecciona el punto de interés PI de entre dicha pluralidad específica de objetos On o, respectivamente, de entre dicha pluralidad de seres vivos Ln y transmite la selección correspondiente a la subunidad de gestor de navegación 33.

[0515] El grupo de ejemplos nº 2 detalla la cuestión de la representación del sonido.

[0516] En algunas situaciones, el punto de interés PI no está en el mapa en vivo 310, por ejemplo, cuando la persona con discapacidad visual llega a un nuevo destino.

[0517] En este caso, la unidad de mapa en vivo 31 envía a la subunidad de gestor de navegación 33 y a la subunidad de gestor de interfaz de comandos de usuario 34 la confirmación de que el punto de interés PI no está en el mapa en vivo 310. El método tiene una subetapa adicional en S3 antes de determinar, actualizar continuamente y almacenar la al menos un recorrido de navegación (Pn):

[0518] S 3-1La subunidad de gestor de navegación 33 determina un recorrido de orientación WP -no representado gráficamente-, mientras que S1 y S2 del método se repiten hasta encontrar el punto de interés PI y almacenarlo en el mapa en vivo 310, satisfaciendo dicho recorrido de orientación WP los al menos dos requisitos de recorrido de navegación.

[0519] Es posible determinar el recorrido de orientación WP mientras la subunidad de gestor de navegación 33 representa, como sonidos espacializados correspondientes, la categoría específica de objetos On o dicha categoría específica de seres vivos Ln. Una vez tomada la decisión sobre la selección del punto de interés PI, se ejecutan el resto de las etapas 3 y 4 del método según lo descrito.

[0520] Detalles sobre S4

[0521] Todos los modos de guía tienen como objetivo mantener al usuario con discapacidad visual, durante la navegación, en el recorrido preferido SP. Cada recorrido preferido SP tiene su propio grado de complejidad, que se corresponde con la variedad de situaciones de navegación que surgen en la vida real. Los inventores pensaron en cuantificar el grado de complejidad de los recorridos preferidos SP mediante puntuaciones que corresponden a criterios de complejidad predeterminados, que incluyen tanto criterios objetivos como subjetivos, siendo estos últimos la propia interpretación del usuario con discapacidad visual de los criterios objetivos: por ejemplo, lo que un usuario con discapacidad visual percibe como una distancia larga no lo percibe como larga otro usuario con discapacidad visual, al igual que el ruido o la temperatura del entorno inmediato. A continuación se presentan algunos ejemplos no limitativos ni exhaustivos de los criterios de complejidad del recorrido de navegación preferido predeterminados:

[0522] − Ancho del área transitable WA y del área transitable condicional CWA: es diferente navegar en un área transitable WA de solo 10 cm de ancho que en un área transitable WA de 3 m de ancho.

[0523] − Distancia restante hasta el punto de interés PI,

[0524] − El número de vueltas y el grado de cada vuelta, por ejemplo 30°, 75°,

[0525] − La pendiente y/o el número de escaleras,

[0526] − Ruido del entorno, ya que puede limitar el uso de señales de audio.

[0527] Las señales hápticas varían en duración, periodicidad, intensidad o frecuencia de la vibración según criterios de complejidad del recorrido de navegación preferido predeterminado.

[0528] Las señales de audio varían en frecuencia, duración, repetición, intensidad o virtualización espacial 3D según los criterios de complejidad del recorrido de navegación preferido. La variación de las señales hápticas y, respectivamente, de las señales de audio, ofrece la ventaja de adaptar la guía del usuario con discapacidad visual al grado de complejidad de cada recorrido de navegación preferido, cuantificado por los criterios de complejidad SP del recorrido de navegación preferido.

[0529] Las ventajas de la variación de las características de las señales hápticas y de las señales auditivas, así como la posibilidad de combinar señales hápticas y auditivas, son las siguientes:

[0530] − Proporciona una mejor guía del usuario con discapacidad visual a lo largo de los recorridos de navegación en términos de precisión y seguridad.

[0531] − Proporciona la posibilidad de personalizar la guía en función de los criterios de complejidad del recorrido de navegación preferido predeterminado;

[0532] − Proporciona un ambiente más confortable. Navegación que ofrece al usuario con discapacidad visual la posibilidad de tomar más decisiones ajustando constantemente las señales a sus necesidades.

[0533] Señales hápticas

[0534] Las señales hápticas se reciben a través de los actuadores de retroalimentación háptica 41. El usuario con discapacidad visual recibe capacitación antes de usar el dispositivo portátil 1 para asociar cada tipo de señal háptica con la instrucción de guía específica.

[0535] Con referencia a la Fig.6, se necesita un número mínimo de tres actuadores de retroalimentación háptica 41, todos colocados en el acimut de la frente, es decir en la misma horizontal, para garantizar las tres direcciones mínimas de guiado: adelante, girar a la izquierda, girar a la derecha.

[0536] − Actuadores de retroalimentación háptica izquierda 411 montados en la parte izquierda de la frente, − Actuadores de retroalimentación háptica derecha 412 montados en la parte derecha de la frente, − Actuadores de retroalimentación háptica central 413 montados en el centro de la frente.

[0537] Dichos actuadores de retroalimentación háptica 41 incluyen actuadores vibratorios y actuadores hápticos remotos de corto alcance tales como actuadores de retroalimentación háptica ultrasónicos.

[0538] Los actuadores vibratorios comprenden una pluralidad de actuadores resonantes que convierten las señales eléctricas recibidas desde el gestor de retroalimentación 35 en vibraciones forzadas que se sienten en la frente del usuario con discapacidad visual. Dichas vibraciones están asociadas a una instrucción de guía específica. Un ejemplo no limitativo de actuador vibratorio utilizado en la invención es un actuador resonante lineal. Cada uno de los actuadores de retroalimentación háptica izquierdo 411, derecho 412 y central 413 puede comprender uno o más actuadores resonantes lineales. El uso de actuadores resonantes lineales resulta ventajoso para la invención debido a su conocido buen rendimiento háptico, su mayor eficiencia en resonancia en comparación con otros actuadores vibratorios, su capacidad para optimizar el consumo de energía y su pequeño tamaño, que permite configurarlos, por ejemplo, en forma de matriz, si se prevén más de tres direcciones de guía. Hay dos tipos de señales hápticas:

[0539] − Las señales hápticas temporales son las señales recibidas en intervalos de tiempo iguales o desiguales, mediante el uso de cualquier actuador de retroalimentación háptica 41,

[0540] − Las señales hápticas espaciotemporales, también denominadas señales de patrón háptico, tienen un componente temporal combinado con un componente espacial, es decir, un patrón que representa la dirección en donde el usuario con discapacidad visual debe reorientarse, por ejemplo, de abajo a arriba o de arriba a abajo, o hacia la derecha o hacia la izquierda, etc. La sensación táctil de dirección se obtiene, por ejemplo, mediante el uso de actuadores resonantes lineales, ya que su mayor eficiencia en resonancia mejora la variación de la duración, periodicidad, intensidad o frecuencia de la vibración de las señales hápticas. La pluralidad de actuadores resonantes lineales emite vibraciones en una sucesión rápida predeterminada, vibrando uno tras otro en la dirección en donde el usuario con discapacidad visual debe reorientarse, de modo que le proporciona la sensación táctil de que alguien le arrastra la frente en la dirección en donde debe reorientarse.

[0541] A continuación se ofrecen ejemplos no limitativos de aplicación de criterios de complejidad de recorrido de navegación preferido predeterminado:

[0543] − Las señales hápticas son más intensas y/o más frecuentes y/o tienen una frecuencia de vibración más alta directamente proporcional a:

[0545] − el grado de desviación del recorrido de navegación preferido SP,

[0547] − la cantidad de movimiento que debe realizar el usuario con discapacidad visual para diferenciar un giro de 90° de un giro de solo 30°, o subir 10 escalones desde subir solo 2 escalones.

[0549] − Las señales hápticas tienen menor duración y/o menor intensidad y/o menor velocidad de vibración si el tiempo estimado de navegación hasta el punto de interés PI está por encima de un umbral de tiempo predeterminado para evitar la fatiga del usuario con discapacidad visual por recibir tantas señales hápticas.

[0550] Los tipos de señales hápticas están predeterminados para cada caso, según las necesidades del usuario con discapacidad visual. A continuación, se presenta un ejemplo de predeterminación de señales hápticas para una mejor comprensión de las enseñanzas de la invención, sin ánimo de limitarla:

[0552] − Una primera señal háptica para iniciar la navegación desde la posición actual de la unidad sensorial 2,

[0553] − Una segunda señal háptica para indicar que el usuario con discapacidad visual se ha desviado hacia la izquierda del recorrido de navegación preferido SP,

[0555] − Una tercera señal háptica para indicar que el usuario con discapacidad visual se ha desviado hacia la derecha del recorrido de navegación preferido SP,

[0557] − Una cuarta señal háptica para seguir adelante,

[0559] − Una quinta señal háptica para girar a la izquierda o a la derecha,

[0561] − Una sexta señal háptica para subir o bajar,

[0563] − Una séptima señal háptica para una parada temporal cuando la navegación no ha finalizado, si la subunidad de gestor de navegación 33 detecta que no se cumple al menos un requisito del recorrido de navegación o si detecta un área transitable condicional CA que requiere el envío de una instrucción de navegación para detenerse hasta que se cumpla el al menos un requisito de área transitable condicional predecible.

[0565] − Una octava señal háptica para señalar el final de la navegación cuando se alcanza el punto de interés PI.

[0566] Se pueden definir más señales hápticas para adaptarse a otras situaciones de navegación o requisitos del usuario con discapacidad visual.

[0568] Para garantizar una guía más precisa y evitar sobrecargar innecesariamente al usuario con discapacidad visual con señales hápticas, es posible combinar los tipos de señales hápticas. Por ejemplo :

[0570] − para instrucciones de navegación simples como inicio/parada, la primera, la séptima, la octava señal del ejemplo anterior solo se pueden usar señales temporales, mientras que

[0572] − Para las instrucciones de navegación complejas, se pueden utilizar las señales espaciotemporales, porque la guía para girar a la izquierda/derecha o para subir/bajar es más precisa cuando se aplican los criterios de vibración a las señales de patrón háptico que cuando se utilizan solo señales hápticas temporales.

[0574] La asignación de cada tipo de señal háptica a uno o más de los actuadores de retroalimentación 41 utilizados está predeterminada.

[0576] Señales auditivas

[0578] Las señales auditivas son sonidos perceptibles por los humanos que reciben a través de los actuadores de retroalimentación auditiva 42 en los oídos del usuario con discapacidad visual.

[0580] Los actuadores de retroalimentación auditiva 42 son altavoces, auriculares o altavoces de conducción ósea que convierten las señales eléctricas recibidas de la subunidad de gestor de retroalimentación 35 en sonidos. Las instrucciones de navegación asociadas, recibidas a través de los actuadores de retroalimentación auditiva 42, se basan en el principio de asignar un sonido específico a cada instrucción de navegación asociada. Con referencia a la Fig.6, se utiliza un número mínimo de dos actuadores de retroalimentación auditiva 42: − Actuadores de retroalimentación auditiva izquierdos 421, montados en o alrededor del oído izquierdo, − Actuadores de retroalimentación auditiva derechos 422 montados en o alrededor del oído derecho. Cada uno de los actuadores de retroalimentación auditiva izquierdos 421 y derechos 422 puede comprender una pluralidad de altavoces, auriculares o altavoces de conducción ósea colocados en el mismo acimut. Los tipos de señales auditivas se predeterminan para cada caso, según las necesidades del usuario con discapacidad visual. A continuación, se presenta un ejemplo de predeterminación de señales auditivas para una mejor comprensión de las enseñanzas de la invención, sin ánimo de limitarla:

[0581] − Una primera señal auditiva para iniciar la navegación desde la posición actual de la unidad sensorial 2, − Una segunda señal auditiva para indicar que el usuario con discapacidad visual se ha desviado hacia la izquierda desde el recorrido de navegación preferido SP,

[0582] − Una tercera señal auditiva para indicar que el usuario con discapacidad visual se ha desviado hacia la derecha desde el recorrido de navegación preferido SP,

[0583] − Una cuarta señal auditiva para seguir adelante,

[0584] − Una quinta señal auditiva para girar a la izquierda o a la derecha,

[0585] − Una sexta señal auditiva para subir o bajar,

[0586] − Una séptima señal auditiva para una parada temporal cuando la navegación no ha finalizado,

[0587] − Una octava señal auditiva para señalar el final de la navegación cuando se alcanza el punto de interés PI. Se pueden definir otros tipos de señales auditivas para adaptarse a situaciones de navegación o requisitos del usuario con discapacidad visual.

[0588] La asignación de cada tipo de señal auditiva a uno o más de los actuadores de retroalimentación auditiva 42 está predeterminada.

[0589] Considerando el origen de los sonidos, existen dos tipos de sonidos:

[0590] − Sonidos simples originados en los actuadores de retroalimentación auditiva 42, utilizados para instrucciones de guía de navegación asociadas simples, tales como inicio y parada,

[0591] − Sonidos espacializados que se originan a partir de una o más fuentes de sonido espacializadas S, utilizados para todas las instrucciones de guía de navegación asociadas, excepto para el inicio y la parada. En una realización preferida, representada en la Fig. 8A y la Fig. 8B, el modo de guía comprende un túnel transitable tridimensional T, definido como un túnel virtual con una sección transversal predeterminada, cuyo eje longitudinal horizontal es el recorrido de navegación preferido SP. El modo de guía de S4 comprende señales hápticas específicas que se envían al usuario con discapacidad visual cuando este se aproxima a las paredes virtuales del túnel transitable T.

[0592] El túnel transitable tridimensional T es determinado por la subunidad de gestor de navegación 33 al mismo tiempo que el recorrido de navegación preferido SP, y luego enviado a la subunidad de gestor de retroalimentación 35 junto con las señales hápticas.

[0593] La ventaja del túnel transitable T es que permite una navegación más cómoda del usuario con discapacidad visual con un mayor grado de libertad hacia la izquierda y hacia la derecha definidos por las paredes virtuales del túnel transitable T.

[0594] Las señales de guía se transmiten cuando el usuario con discapacidad visual se acerca a las paredes virtuales del túnel transitable T para que regrese dentro del espacio definido por dichas paredes. En algunas implementaciones, además de las señales que señalan las paredes virtuales del túnel transitable T, se transmiten otras para confirmar que el usuario con discapacidad visual navega con seguridad dentro de las paredes virtuales del túnel transitable T. La sección transversal del túnel transitable T se predetermina en función de la pluralidad de secciones transversales posibles a lo largo del recorrido de navegación preferido SP y de las preferencias del usuario con discapacidad visual.

[0595] En el ejemplo n.º 1 se detallan los modos de guiado utilizando el túnel transitable T.

[0596] En otra realización preferida, con referencia a la Fig. 9, el recorrido de navegación preferido SP se divide en segmentos predeterminados delimitados por una pluralidad de hitos 93. Cada segmento tiene en un extremo un hito actual 93 y en el otro un hito posterior 93. Los términos "siguiente" y "posterior" tienen el mismo significado.

[0597] El modo de guía de S4 comprende señales hápticas y/o señales auditivas que señalan la posición de un próximo hito 93 y proporcionan instrucciones de guía de navegación asociadas al usuario con discapacidad visual desde un hito actual 93 hasta el hito posterior 93. Cuando el usuario con discapacidad visual ya ha pasado el hito posterior 93, dicho hito posterior 93 se convierte en el hito actual 93 y así sucesivamente. La longitud de los segmentos predeterminados varía dependiendo de la complejidad y longitud del recorrido de navegación preferido SP.

[0598] La longitud de cada segmento entre dos hitos 93 consecutivos es inversamente proporcional a los criterios de complejidad del recorrido de navegación preferido predeterminado: cuanto más complejo sea el recorrido de navegación preferido SP, más corto será cada segmento. Los hitos 93 son más frecuentes en los tramos con cambio de dirección, ya sea horizontal o vertical, que en los tramos de línea recta.

[0599] La longitud de cada segmento entre dos hitos 93 consecutivos se determina aplicando los criterios de complejidad del recorrido de navegación preferido predeterminado SP, lo que significa que la longitud de los segmentos a lo largo del recorrido de navegación preferido SP no es necesariamente igual, como se ve en la Fig.9.

[0600] La longitud de cada segmento puede calcularse mediante puntuaciones correspondientes a los criterios de complejidad del recorrido de navegación preferido predeterminado o puede adaptarse dinámicamente mediante métodos de aprendizaje basados en inteligencia artificial. Por ejemplo, si el usuario con discapacidad visual tiene recorridos de navegación preferidos SP repetitivos y selecciona un método de guía basado en hitos como favorito, es conveniente utilizar dichos métodos de aprendizaje para adaptar dinámicamente la longitud de los hitos.

[0601] Las señales utilizadas en el modo de guía desde el hito actual 93 hasta el hito posterior 93 son:

[0602] − hápticas,

[0603] − auditivas, o

[0604] − hápticas y auditivas.

[0605] Un ejemplo no limitativo del uso de las señales hápticas es el siguiente:

[0606] − La primera, la séptima y la octava señales son temporales.

[0607] − La segunda y tercera señales son señalización espaciotemporal si el usuario con discapacidad visual está lejos del recorrido de navegación preferido SP,

[0608] − La cuarta señal es la señalización espaciotemporal del siguiente hito 93 a medida que avanzamos. − El quinto y el sexto son señalización espaciotemporal del siguiente hito 93 definido en este caso como el lugar donde el usuario con discapacidad visual debe reorientar su dirección de movimiento en el plano horizontal o, respectivamente, vertical.

[0609] La variación de la duración, periodicidad, intensidad o frecuencia de la vibración de las señales del patrón háptico es directamente proporcional al criterio de complejidad del recorrido de navegación preferido predeterminado y al mismo tiempo varían inversamente proporcional a la distancia restante hasta el hito posterior 93.

[0610] Un ejemplo no limitativo del uso de señales auditivas es el siguiente:

[0611] − La primera, la séptima y la octava señal son sonidos simples,

[0612] − Todas las demás señales son sonidos espacializados. Los actuadores de retroalimentación auditiva 42 emiten continuamente la ubicación espacial de dicho hito 93 posterior utilizando el sonido espacializado que se escucha desde la posición de dicho hito 93 hasta que el usuario con discapacidad visual ha alcanzado dicho hito 93 posterior. Una vez alcanzado cada hito 93, su sonido espacializado deja de oírse, se convierte en el hito 93 actual y empieza a oírse el sonido espacializado correspondiente al hito 93 posterior, y así sucesivamente.

[0613] Los sonidos espacializados varían de forma directamente proporcional en frecuencias, duración, repetición, intensidad y virtualización espacial 3D según los criterios de complejidad del recorrido de navegación preferido predeterminado y al mismo tiempo varían de forma inversamente proporcional a la distancia restante hasta el hito posterior 93.

[0614] Usar solo pistas auditivas resulta ventajoso cuando solo hay un hito posterior 93 que coincide con el punto de interés PI: por ejemplo, si el usuario con discapacidad visual necesita ir del sofá a la cocina, siendo la cocina el único hito posterior al 93. La pista auditiva espacializada corresponde en este caso a la cocina. Usar pistas auditivas ofrece la ventaja de la simplicidad y la previsibilidad, ya que permite al usuario con discapacidad visual asociar la distancia restante hasta el hito posterior 93 con la pista auditiva correspondiente escuchada desde dicho hito 93 posterior, lo que mejora su orientación y sensación de seguridad al navegar. Usar solo pistas auditivas es preferible cuando el usuario con discapacidad visual conoce el punto de interés PI y la distancia a recorrer hasta él es corta, por ejemplo, para los recorridos de navegación dentro de la casa.

[0615] Cuando el modo de guía desde el hito actual 93 al hito posterior 93 es por señales hápticas y auditivas, una entre dichas señales hápticas y auditivas puede definirse como primaria y la otra como secundaria, emitiendo las señales secundarias solo en una situación especial predeterminada, tal como por ejemplo la séptima señal que indica parar y reanudar.

[0616] En otra realización preferida, con referencia a la Fig.10, es posible combinar las señales hápticas del modo de guía que utiliza el túnel peatonal T con las señales auditivas del modo de guía desde el hito actual 93 hasta el hito posterior 93. Las instrucciones de navegación asociadas, enviadas por las señales hápticas, tienen como objetivo mantener al usuario con discapacidad visual en el recorrido de navegación preferido SP y dentro de los límites del túnel peatonal T, mientras que las señales auditivas le permiten estimar la distancia restante hasta el siguiente hito 93.

[0617] La combinación de los dos modos de guiado tiene la ventaja de combinar la ventaja de cada uno de los modos de guiado: la comodidad y la seguridad del túnel de marcha con la simplicidad y previsibilidad del modo de guiado desde el hito actual 93 hasta el hito posterior 93.

[0618] En otra realización preferida, el modo de guía de S4 consiste en señales hápticas o señales auditivas o señales hápticas y auditivas que señalan la dirección en el recorrido de navegación preferido SP.

[0619] Un ejemplo no limitativo del uso de las señales hápticas es el siguiente:

[0620] − La primera, la séptima y la octava señales son temporales.

[0621] − La segunda y tercera señales son señalización espaciotemporal si el usuario con discapacidad visual está lejos del recorrido de navegación preferido SP,

[0622] − La cuarta señal es espaciotemporal y señala la dirección a seguir.

[0623] − La quinta y la sexta señales son señales espaciotemporales que indican la dirección en donde el usuario con discapacidad visual debe reorientar su dirección de movimiento en el plano horizontal o, respectivamente, vertical.

[0624] Las señales del patrón háptico están predeterminadas de tal manera que dan la impresión al usuario con discapacidad visual de ser arrastrado por su frente constantemente hacia la dirección en donde se mueve una persona que está frente a él.

[0625] Un ejemplo no limitativo del uso de señales auditivas es el siguiente:

[0626] − La primera, la séptima y la octava señal son sonidos simples,

[0627] − Todas las demás señales son sonidos espacializados.

[0628] Los sonidos espacializados varían de forma directamente proporcional en frecuencias, duración, repetición, intensidad o virtualización espacial 3D, según los criterios de complejidad del recorrido de navegación predefinido. La persona con discapacidad visual, al navegar, sigue la dirección de la fuente de sonido espacializada S.

[0629] La principal diferencia entre el modo de guía basado en la señalización de la dirección en el recorrido de navegación preferido SP y el modo de guía basado en el hito actual 93 al hito posterior 93 se refiere a la variación de las características de las señales de patrón háptico y los sonidos espacializados respectivamente: − En ambos modos de guía, las señales del patrón háptico y los sonidos espacializados varían de forma directamente proporcional según los criterios de complejidad del recorrido de navegación preferido predeterminado.

[0630] − en el caso del modo de guiado desde el hito actual 93 al hito posterior 93 existe una variación adicional relacionada con la distancia al hito posterior 93, que no existe en el modo de guiado basado en la señalización de la dirección en el recorrido de navegación preferido SP en función de la distancia al hito posterior 93. El uso de señales hápticas o auditivas que señalizan la dirección en el recorrido de navegación preferido SP resulta ventajoso en situaciones donde la complejidad de dicho recorrido es menor que en el caso del modo de guía desde el hito 93 actual hasta el hito 93 posterior, o que el modo de guía del túnel peatonal T. Un ejemplo de ello es cuando se utilizan con frecuencia los mismos recorridos de navegación preferidos SP. La ventaja de usar señales hápticas o auditivas que señalizan la dirección en el recorrido de navegación preferido SP es que producen menos fatiga en el usuario con discapacidad visual.

[0631] La Fig.11A muestra un ejemplo no limitativo del uso de señales hápticas que indican la dirección en el recorrido de navegación preferido SP. En este ejemplo, primero se determina la forma de indicar la dirección en el recorrido de navegación preferido SP cruzando dicho recorrido con un círculo cuyo origen es la posición de la unidad sensorial 2 y un radio r de longitud predeterminada, obteniendo una intersección 94. La línea imaginaria que une el origen de la unidad sensorial 2 con la intersección 94 indica la dirección que debe seguir el usuario con discapacidad visual, la cual se le transmite mediante las señales hápticas o de audio. La longitud predeterminada del radio r se establece en función del grado de complejidad del recorrido de navegación preferido SP.

[0632] Otro ejemplo no limitativo del uso de señales auditivas que indican la dirección en el recorrido de navegación preferido SP se da en la Fig.11B. En este ejemplo, la dirección a seguir se establece de la misma manera que en el ejemplo de la Fig.11A.

[0633] La fuente de sonido espacializada S se coloca a una primera distancia predeterminada d1 de la fuente de sonido espacializada S con respecto a la unidad sensorial 2.

[0634] Para obtener flexibilidad en los modos de guiado y adaptar dichos modos de guiado al grado de complejidad del recorrido de navegación preferido SP, la primera distancia predeterminada d1 de la fuente de sonido espacializada S con respecto a la unidad sensorial 2 puede ser o bien menor que la longitud predeterminada del radio r - tal como se representa en la Fig.11B, o bien puede ser igual o mayor que ésta.

[0635] Es posible combinar señales hápticas con señales auditivas, sin que la combinación se represente gráficamente.

[0636] En otra realización preferida, con referencia a la Fig.12, las señales auditivas son sonidos espacializados que se originan a partir de una fuente de sonido espacializada S que viaja virtualmente a lo largo de una segunda distancia predeterminada d2 en el recorrido de navegación preferido SP desde la posición de la unidad sensorial 2 hasta que la fuente de sonido espacializada S alcanza el final de la segunda distancia predeterminada d2 y regresa a la posición de la unidad sensorial 2.

[0637] Un ejemplo no limitativo del uso de señales auditivas es el siguiente:

[0638] − La primera, la séptima y la octava señal son sonidos simples,

[0639] − Todas las demás señales son sonidos espacializados.

[0640] Los actuadores de retroalimentación auditiva 42 emiten de forma continua la fuente de sonido espacializada S mediante la variación de las frecuencias, la duración, la repetición, la intensidad y la virtualización espacial 3D directamente proporcional a los criterios de complejidad del recorrido de navegación preferido predeterminado. La segunda distancia predeterminada d2 es inversamente proporcional al criterio de complejidad del recorrido de navegación preferido predeterminado SP, es decir, cuanto más compleja sea el recorrido de navegación preferido SP, menor será la segunda distancia predeterminada d2.

[0641] La segunda distancia predeterminada d2 suele variar entre 0,2 m y 5 m. Si el recorrido de navegación preferido SP es muy complejo, la segunda distancia predeterminada d2 suele variar entre 0,2 y 1 m. Los ejemplos de los valores de la segunda distancia predeterminada d2 se ofrecen solo a título ilustrativo y no deben considerarse limitativos. Ejemplo: la segunda distancia predeterminada d2 es de 1,2 m. Esto significa que la fuente de sonido espacializada S viaja virtualmente a 0,2 m de la posición de la unidad sensorial 2. Los sonidos espacializados viajan de ida y vuelta desde la posición de la unidad sensorial 2 hasta que alcanzan 1,2 m en la dirección de navegación y luego regresan a la posición de la unidad sensorial 2. Como la velocidad del sonido es significativamente mayor que la velocidad de al caminar de un humano, el usuario con discapacidad visual recibe las instrucciones de guía de navegación con más detalle que en cualquier otro modo de guía descrito en esta invención, porque en el modo de guía que utiliza el viaje virtual de los sonidos espacializados, los sonidos viajan independientemente del usuario con discapacidad visual.

[0642] Las características de los sonidos, a saber, frecuencias, duración, repetición, intensidad y virtualización espacial 3D, o combinaciones de ellas, varían inversamente proporcionales a la distancia restante hasta la segunda distancia predeterminada d2. Por ejemplo, las señales auditivas son más frecuentes, intensas, virtualizadas espacialmente en 3D o más duraderas cuando la fuente de sonido espacializada S está a 0,1 m que cuando está a 0,2 m.

[0643] La ventaja de este modo de guiado es que permite un ajuste fino de la navegación lo que lo hace ventajoso en entornos donde el área transitable WA es muy estrecha y, en consecuencia, el recorrido de navegación preferido SP parece un eslalon entre los objetos On y los seres vivos Ln.

[0644] En unsegundo aspectode la invención, eldispositivoportátil 1 comprende la unidad sensorial 2, la unidad de procesamiento y control 3, la unidad de retroalimentación 4, la interfaz de comandos de usuario 5. El dispositivo portátil 1 comprende dos unidades hardware no representadas gráficamente: la unidad de almacenamiento de energía 6, y la memoria M.

[0645] El término "memoria M" se entenderá como la designación de una pluralidad de memorias no volátiles agrupadas entre sí en una única unidad de hardware distintiva o bien repartidas en cada una de las demás unidades de hardware.

[0646] La memoria M está configurada para almacenar al menos el mapa en vivo 310, todos los algoritmos, los criterios y requisitos, y las preferencias del usuario con discapacidad visual, como, entre otros, el tipo de señales que prefiere para recibir las instrucciones de guía. El almacenamiento se realiza según el estado de la técnica. El dispositivo portátil 1 es, en una realización preferida, un dispositivo de un solo componente, mientras que en otras realizaciones preferidas es un dispositivo de varios componentes.

[0647] En el caso del dispositivo monocomponente 1, todas las unidades de hardware están incluidas en el dispositivo portátil 1, como se muestra en la Fig.2B. El dispositivo portátil 1 se monta en la cabeza, lo cual no se representa gráficamente. La colocación de las unidades de hardware en la cabeza del usuario con discapacidad visual puede ser, por ejemplo, mediante una diadema que ofrece un buen soporte y anclaje para todas las unidades de hardware.

[0648] En el caso de las realizaciones preferidas del dispositivo multicomponente 1, con referencia a la Fig.2A, Fig.6 y Fig.7, uno de los componentes es un componente de auricular 11 que comprende la unidad sensorial 2 y la unidad de retroalimentación 4. El componente de auricular 11 puede tener, por ejemplo, la forma de una diadema, como se muestra en las Figs.2A y 2B.

[0649] Dos ejemplos no limitativos de las realizaciones preferidas del dispositivo multicomponente 1 representan dos componentes:

[0650] − el componente de auricular 11, y

[0651] − un componente de cinturón 12, o, respectivamente, un componente de muñeca 12. El componente de muñeca 12 es no representado gráficamente.

[0652] En este caso, el componente de cinturón 12, o, respectivamente, el componente de muñeca 12 comprende la unidad de procesamiento y control 3, la interfaz de comandos de usuario 5, y la unidad de almacenamiento de energía 6.

[0653] La memoria M puede estar comprendida en cualquiera de los dos componentes o repartida entre ellos.

[0654] La Fig. 2A muestra la realización preferida del dispositivo de dos componentes 1 que tiene el componente de auricular 11 y el componente de cinturón 12.

[0655] La división de los componentes entre el componente de auricular 11 y el componente de cinturón 12, o, respectivamente, el componente de muñeca 12 se basa principalmente en el tamaño y los pesos de las unidades.

[0656] La ventaja de utilizar el dispositivo de un solo componente 1 es que su ubicación preferida en la cabeza produce una experiencia sensorial para el usuario con discapacidad visual del dispositivo portátil 1 muy cercana a la experiencia sensorial de la persona sin discapacidad visual, al estar cerca de la posición de las orejas que permite escuchar las señales auditivas.

[0657] Sin embargo, en algunos casos, algunas unidades de hardware, como la unidad de procesamiento y control 3 y/o la unidad de almacenamiento de energía 6, pueden ser pesadas y voluminosas. En estos casos, el dispositivo multicomponente 1 ofrece la ventaja de poder colocar las unidades de hardware pesadas y voluminosas en otras ubicaciones del cuerpo, como el cinturón o la muñeca, entre otras.

[0658] A medida que la tecnología evoluciona en general hacia la miniaturización de las unidades de hardware, esto conducirá a aumentar la posibilidad de utilizar el dispositivo de un solo componente 1 sin colocar demasiada carga en la cabeza del usuario con discapacidad visual.

[0659] En otra realización preferida, no representada gráficamente, hay tres componentes:

[0660] − El componente de auricular 11 que comprende la unidad sensorial 2, la unidad de retroalimentación 4, − El componente de cinturón 12, o, respectivamente, el componente de muñeca 12, comprende la unidad de procesamiento y control 3, la unidad de almacenamiento de energía 6,

[0661] − Un componente portátil 13, no representado gráficamente, que comprende la interfaz de comandos de usuario 5.

[0662] La memoria M puede estar comprendida en cualquiera de los componentes del auricular 11 o del componente de cinturón 12, o, respectivamente, del componente de muñeca 12 o repartida entre los dos.

[0663] La configuración de las distintas unidades que componen el dispositivo portátil 1 para el funcionamiento de la invención no está influida por el posicionamiento de dichas unidades de hardware en el dispositivo de uno o, respectivamente, de múltiples componentes en las distintas partes del cuerpo humano.

[0664] Las unidades de hardware se comunican entre sí mediante protocolos de comunicación cableados o mediante protocolos de comunicación inalámbrica, o mediante una combinación de protocolos cableados e inalámbricos, realizándose dicha comunicación según la técnica anterior.

[0665] La unidad sensorial 2

[0666] La unidad sensorial 2 dispone de medios configurados para recoger datos relativos al entorno del usuario con discapacidad visual.

[0667] Los datos recopilados por la unidad sensorial 2 se refieren a múltiples características de los objetos On y de los seres vivos Ln, generalmente identificadas por una persona con buenas capacidades sensoriales, incluida una buena visión. Los datos recopilados por la unidad sensorial 2 reflejan la complejidad del entorno con mayor precisión que en el estado de la técnica.

[0668] Para lograr la mayor precisión en la recopilación de datos, la unidad sensorial 2 requiere una combinación de sensores de diversos tipos, que se describirán en detalle. Cabe destacar que todos los ejemplos de sensores se incluyen para una mejor comprensión de las enseñanzas de la invención y no la limitan.

[0669] La unidad sensorial 2 comprende cuatro sensores básicos: una cámara 21, un sensor de profundidad 22, una unidad de medición inercial 23 y un sensor de localización de sonido 24.

[0670] La mejor posición para la cámara 21, el sensor de profundidad 22 y la unidad de medición inercial 23, independientemente de si el dispositivo portátil 1 es de un solo componente o de varios, es en la frente, como se muestra en las Figs. 2A y 2B. Las razones para la ubicación preferida de la unidad sensorial 2 en la frente son tres: i) porque las personas, con o sin discapacidad visual, en ausencia de cualquier dispositivo, están acostumbradas a mover la cabeza al recibir señales, como sonidos o señales hápticas; ii) porque la frente no se utiliza actualmente para otros dispositivos o tareas; y iii) porque el mejor campo de visión para la cámara 21 y el sensor de profundidad 22 se encuentra en la frente.

[0671] La configuración del posicionamiento de la unidad sensorial 2 en la frente del usuario con discapacidad visual debe garantizar que el campo de visión 20 incluya:

[0672] − los pies del usuario con discapacidad visual,

[0673] − los componentes del área libre A en la proximidad inmediata de los pies,

[0674] − los pasos inmediatos del usuario con discapacidad visual.

[0675] El primer sensor es la cámara 21. El término "cámara 21" designa, en la presente invención, una o varias cámaras de vídeo digitales. La invención requiere al menos una cámara de vídeo digital.

[0676] La cámara 21 está configurada para adquirir imágenes 2D desde un campo de visión de cámara y para enviar las imágenes 2D adquiridas al módulo de localización 301, al módulo de detección de áreas transitables 302 y al módulo de extracción de características 2D de objetos 306.

[0677] El término "imágenes" engloba tanto las imágenes estáticas como los vídeos, dependiendo de la velocidad de fotogramas de adquisición de las imágenes de la cámara 21.

[0678] Las imágenes adquiridas por la cámara 21 se refieren a las características visuales de la pluralidad de objetos On y de la pluralidad de seres vivos Ln tales como aspecto; categoría -por ejemplo árboles, coches; color, forma, dimensiones así como los componentes del área libre A.

[0679] Los ejemplos no limitativos de la cámara 21 incluyen: cámara HD, con una resolución de vídeo mínima de 1280 píxeles x 720 píxeles, cámara VGA, con una resolución de vídeo mínima de 320 píxeles x 240 píxeles.

[0680] Los requisitos mínimos de la cámara 21 son los siguientes:

[0681] − el campo de visión horizontal entre al menos 50° y hasta 180°, cuanto más grande mejor porque proporciona información de un área más grande, y

[0682] − el campo de visión vertical entre al menos 60° y hasta 180° cuanto mayor sea mejor porque proporciona información de un área más grande.

[0683] La cámara 21 puede ser RGB o no. Las funciones RGB ayudan a proporcionar información más precisa desde el campo de visión de la cámara.

[0684] Cuanto más compleja sea la cámara, más información contendrán las imágenes 2D adquiridas por ella. El segundo sensor es el sensor de profundidad 22. El término "sensor de profundidad 22" designa, en toda la invención,uno o varios sensores de profundidad. La invención requiere al menos un sensor de profundidad. El sensor de profundidad 22 está configurado para adquirir datos de nubes de puntos 3D correspondientes a la posición y dimensión de la distancia 3D de cada uno de los objetos On y cada uno de los seres vivos Ln colocados en el campo de visión del sensor de profundidad como una nube de puntos continua, y para enviarlos al módulo de localización 301, al módulo de detección de área transitable 302 y al módulo de fusión de características 3D de objetos 307.

[0685] Los datos de la nube de puntos 3D adquiridos por el sensor de profundidad 22 se refieren a las características físicas tridimensionales de los objetos On y de los seres vivos Ln, como la densidad, el volumen, etc. Ejemplos no limitativos del sensor de profundidad 22 son las cámaras estereoscópicas, los radares, los lidares, los sensores ultrasónicos y los sensores de radar de ondas milimétricas. El uso de un sensor de radar de ondas milimétricas resulta ventajoso, ya que permite detectar el pulso o la respiración de los seres vivos Ln, incluso cuando estos se mueven, lo que proporciona información adicional para el usuario con discapacidad visual. Es posible combinar la cámara 21 y el sensor de profundidad 22 en un solo sensor (cámara y sensor de profundidad 21-22). La ventaja reside en la reducción del tamaño y el peso de ambos sensores al usar un solo sensor configurado para realizar las mismas funciones. Un ejemplo ilustrativo de la cámara y el sensor de profundidad 21-22 sería una cámara TOF de tiempo de vuelo.

[0686] El tercer sensor es la unidad de medición inercial 23. El término "unidad de medición inercial 23" designa, en la invención, un conjunto compuesto por al menos un acelerómetro y al menos un giroscopio, ya sea como sensores independientes o combinados. Es preferible añadir al menos un magnetómetro para mayor precisión, ya sea como sensor independiente o combinándolo con el acelerómetro y/o el giroscopio. Es preferible utilizar sensores combinados debido a la necesidad de reducir el tamaño y el peso del conjunto. La invención requiere al menos una unidad de medición inercial.

[0687] La unidad de medición inercial 23 está configurada para determinar la orientación de la unidad sensorial 2 y para enviar la orientación determinada al módulo de localización 301 y al módulo de fusión de características 307 por medio del módulo de cálculo de orientación 303. Dado que la unidad sensorial 2 se coloca en la frente del usuario con discapacidad visual, la información adquirida por la unidad de medición inercial 23 se refiere implícitamente a la orientación de la cabeza del usuario con discapacidad visual con respecto al suelo.

[0688] El cuarto sensor es el sensor de localización de sonido 24.

[0689] El término "sensor de localización de sonido 24" designa a lo largo de la invención un conjunto de uno o varios sensores utilizados para determinar la fuente de varios sonidos en el espacio tridimensional normalmente mediante la dirección de las ondas sonoras entrantes y la distancia entre la fuente y el o los sensores.

[0690] El sensor de localización de sonido 24 está configurado para adquirir una pluralidad de flujos de sonido en el espacio tridimensional emitidos por los objetos On y los seres vivos Ln, y enviarlos al módulo de localización de dirección de sonido 304.

[0691] La información adquirida por el sensor de localización de sonido 24 se refiere a los sonidos emitidos por los objetos On y los seres vivos Ln, incluyendo la direccionalidad de dichos sonidos.

[0692] La cobertura del entorno por parte del sensor de localización de sonido 24 está definida por su patrón de haz. Un ejemplo no limitativo de sensor de localización de sonido es un conjunto de micrófonos. El número mínimo de conjuntos de micrófonos utilizados para el sensor de localización de sonido 24 debe ser tal que la suma del patrón de haz sea igual al ángulo del campo de visión 20. El número máximo de conjuntos de micrófonos utilizados para el sensor de localización de sonido 24 cubre 360°. Los conjuntos de micrófonos se colocan dentro del auricular de manera que la suma de su patrón de haz esté comprendida entre el ángulo del campo de visión 20 y 360°.

[0693] Los sensores básicos reciben de la subunidad de fusión sensorial 30 de la unidad de procesamiento y control 3 configuraciones específicas, incluyendo la correlación del respectivo campo de visión de la cámara 21, sensor de profundidad 22, con el rango de medición de la unidad de medición inercial 23 y el patrón de haz del sensor de localización de sonido 24.

[0694] Dicha correlación da como resultado el campo de visión de los sensores básicos 20, representado esquemáticamente en la Fig. 3. El concepto de campo de visión de los sensores básicos 20 no implica que todos tengan exactamente el mismo alcance. Debe entenderse como el área donde todos los sensores básicos tienen percepción, de forma similar al concepto de denominador común en matemáticas. Normalmente, el campo de visión de los sensores básicos 20 está orientado hacia adelante.

[0695] Sin embargo, el sensor de localización de sonido 24 puede tener un alcance mayor que el campo de visión de los sensores básicos 20, por ejemplo, cuando el número de conjuntos de micrófonos es tal que la suma del patrón de haz es de 360°. Esto resulta ventajoso, ya que permite recopilar información sonora procedente de la espalda del usuario con discapacidad visual.

[0696] En otra realización preferida, representada en la Fig. 13, es posible proporcionar más información sobre el entorno del usuario con discapacidad visual añadiendo uno o ambos sensores adicionales: un sensor de posicionamiento global 25, y un sensor de temperatura 26.

[0697] Cualquier combinación de cada uno de los sensores adicionales con el grupo de sensores básicos tiene la ventaja de proporcionar información adicional a la unidad de procesamiento y control 3 lo que conduce a un mapa en vivo 310 más preciso y detallado.

[0698] Cada uno de los dos sensores adicionales tiene un módulo correspondiente en la subunidad de fusión sensorial 30, de la siguiente manera:

[0699] El sensor de posicionamiento global 25 está configurado para determinar la posición absoluta de la unidad sensorial 2 y enviar la determinación a un módulo de conversión relativa a absoluta 309-1 que convierte la posición relativa de la unidad sensorial 2 en posición absoluta, con lo que la posición de los objetos On y la posición de los seres vivos Ln se expresa como posición absoluta.

[0700] La mejor posición del sensor de posicionamiento global 25 es en la parte superior del componente de auricular 11 del dispositivo portátil 1 en el caso de un dispositivo de varios componentes, respectivamente en la parte superior del dispositivo portátil 1 en el caso de un dispositivo de un solo componente.

[0701] En ausencia del sensor de posicionamiento global 25, la subunidad de fusión sensorial 30 determina la posición relativa del dispositivo portátil 1 con respecto a cada uno de los objetos On y a cada uno de los seres vivos Ln. El sensor de temperatura 26 está configurado para determinar la temperatura de los objetos On y de los seres vivos Ln, y para enviar la temperatura determinada a un módulo de fusión de características de temperatura de objetos 309-2.

[0702] En caso de utilizar cualquiera de los sensores adicionales, los datos emitidos por el módulo de fusión de características de sonido de objetos 308 se envían al módulo de conversión relativa a absoluta 309-1 o al módulo de fusión de características de temperatura de objetos 309-2 respectivamente, se fusionan con los datos enviados por el sensor respectivo y el resultado se envía a la subunidad de mapa en vivo 31.

[0703] En caso de utilizar ambos sensores adicionales, como se muestra en la Fig.13, los datos emitidos por el módulo de fusión de características de sonido de objetos 308 se envían al módulo de conversión relativa a absoluta 309-1, fusionado con los datos del sensor de posicionamiento global 25, luego el resultado se envía al módulo de fusión de características de temperatura de objetos 309-2 fusionado con los datos enviados por el sensor de temperatura 26 y el resultado se envía a la subunidad de mapa en vivo 31.

[0704] La unidad de procesamiento y control 3

[0705] La unidad de procesamiento y control 3 es una unidad de cálculo que comprende al menos un procesador y al menos una memoria no volátil, tal como, por ejemplo, un microcontrolador, un ordenador o un superordenador. El término "unidad de cálculo" abarca una o varias unidades de cálculo remotas que se comunican dentro de un sistema de comunicación informática.

[0706] La unidad de procesamiento y control 3 comprende: la subunidad de fusión sensorial 30, la subunidad de mapa en vivo 31, la subunidad de gestor de relaciones 32, la subunidad de gestor de navegación 33, la subunidad del administrador de interfaz de comandos de usuario 34, la subunidad del gestor de retroalimentación 35 y la subunidad de representación de sonido 36.

[0707] Con referencia a la Fig. 5, la subunidad de fusión sensorial 30 comprende medios configurados para fusionar y correlacionar las determinaciones recibidas de los cuatro sensores básicos de la unidad sensorial 2. Con referencia a la Fig. 13, la subunidad de fusión sensorial 30 comprende medios configurados para fusionar y correlacionar las determinaciones recibidas de los cuatro sensores básicos de la unidad sensorial 2 y de uno o ambos sensores adicionales.

[0708] El módulo de localización 301 comprende medios configurados para localizar la posición y la orientación actual de la unidad sensorial 2 del dispositivo portátil 1 y de la pluralidad de objetos On y seres vivos Ln respecto a la unidad sensorial 2, en coordenadas 3D, sobre el mapa en vivo actual 310 mediante algoritmos de localización aplicados a los datos adquiridos de la cámara 21, el sensor de profundidad 22, la unidad de medición inercial 23 de la unidad sensorial 2.

[0709] El módulo de localización 301 comprende además medios configurados para enviar la localización de la posición y orientación de la unidad sensorial 2 al módulo de detección de área transitable 302, actualizando así el contenido del mapa en vivo 310 tal como se emite desde S 2.2 con la capa referente a los datos de localización de la posición y orientación de la unidad sensorial 2 con respecto a la pluralidad de objetos On, y, respectivamente, a la pluralidad de seres vivos Ln.

[0710] El módulo de detección de área transitable 302 comprende medios configurados para recibir los datos adquiridos de la cámara 21, del sensor de profundidad 22, y medios configurados para recibir datos del módulo de localización 301, y, en base a ambas fuentes de datos, medios configurados para definir el área transitable WA, y el área transitable condicional CWA, y enviarlos a la subunidad de mapa en vivo 31, mediante la aplicación del conjunto de requisitos de área transitable predeterminados permanentes y requisitos de área transitable condicional predecibles, almacenados en la memoria M.

[0711] El módulo de cálculo de orientación 303 comprende medios configurados para determinar la orientación del dispositivo portátil 1 en base a los datos inerciales proporcionados por la unidad de medición inercial 23, y para enviar las determinaciones al módulo de fusión de características 3D de objetos 307.

[0712] El módulo de localización de dirección de sonido 304 comprende medios configurados para determinar la dirección de la pluralidad de flujos de sonido expresados en coordenadas 3D emitidos respectivamente por cada uno de la pluralidad de objetos On y la pluralidad de seres vivos Ln en base a los datos recibidos desde el sensor de localización de sonido 24 y medios configurados para enviar la dirección determinada al módulo de clasificación de sonido 305.

[0713] El módulo de clasificación de sonido 305 comprende medios configurados para clasificar en tipos de sonido la pluralidad de flujos de sonido recibidos desde el módulo de localización de dirección de sonido 304 y para enviar los tipos de sonido clasificados al módulo de fusión de características de sonido de objetos 308. Los medios configurados para clasificar en tipos de sonido la pluralidad de flujos de sonido normalmente utilizan algoritmos de inteligencia artificial.

[0714] El módulo de extracción de características 2D de objetos 306 comprende medios configurados para proporcionar la segmentación píxel por píxel de las imágenes 2D adquiridas de la cámara 21, para detectar en las imágenes 2D segmentadas píxel por píxel cada objeto On de la pluralidad de objetos On, y cada ser vivo Ln de la pluralidad de seres vivos Ln colocados en el campo de visión 20, para determinar su respectiva posición en coordenadas 2D, y sus respectivas características físicas y para enviar las determinaciones al módulo de fusión de características 3D de objetos 307.

[0715] El módulo de fusión de características 3D de objetos 307 comprende medios configurados para recibir datos del módulo de extracción de características 2D de objetos 306, del módulo de cálculo de orientación 303 y del sensor de profundidad 22, y para determinar:

[0716] − la posición en coordenadas 3D de cada uno de los objetos On con respecto a la unidad sensorial 2, y su orientación con respecto a la unidad sensorial 2, y la posición futura en instantes predeterminados en el tiempo en función del vector de movimientos, respectivamente.

[0717] − las características físicas de la pluralidad de objetos On, tales como dimensiones, composición, estructura, color, forma, humedad, temperatura, grado de ocupación, grado de limpieza, grado de uso, grado de desgaste, grado de estabilidad, grado de plenitud, grado de peligrosidad,

[0718] − la posición de cada uno de los seres vivos Ln en coordenadas 3D, sus características físicas, como la altura y la orientación de la postura del esqueleto, así como la predicción de su posición futura en la unidad de tiempo predeterminada en función del vector de movimiento,

[0719] − la actividad actual y el estado de ánimo de cada uno de los seres vivos Ln en función de la orientación de la postura del esqueleto y sus características físicas.

[0720] El módulo de fusión de características de sonido de objetos 308 comprende medios configurados para agregar características acústicas a cada uno de la pluralidad de objetos On y los seres vivos Ln, para lo cual se han determinado las coordenadas 3D en base a los tipos de flujos de sonido clasificados determinados por el módulo de clasificación de sonido 305 asociándolos con los objetos detectados On y los seres vivos Ln y enviando todos los datos a la subunidad de mapa en vivo 31.

[0721] En una realización de la presente invención, la subunidad de fusión sensorial 30 comprende además el módulo de conversión relativa a absoluta 309-1. Este módulo incluye medios configurados para convertir la posición relativa de la unidad sensorial 2 en posición absoluta, fusionar los datos del módulo de fusión de características sonoras del objeto 308 con los datos relativos a la posición absoluta de la unidad sensorial 2 y enviar las determinaciones a la subunidad de mapa en vivo 31, ya sea directamente o mediante el módulo de fusión de características de temperatura del objeto 309-2.

[0722] En otra realización de la presente invención, la subunidad de fusión sensorial 30 comprende además el módulo de fusión de características de temperatura del objeto 309-2. Este módulo incluye medios configurados para determinar la temperatura de los objetos detectados On y de los seres vivos Ln, fusionar los datos del módulo de fusión de características de sonido del objeto 308 con los datos de temperatura de los objetos On y de los seres vivos Ln y enviar los datos fusionados a la subunidad de mapa en vivo 31. Si se utiliza el módulo de conversión relativa a absoluta 309-1, este envía los datos al módulo de fusión de características de temperatura del objeto 309-2 y finalmente los fusiona con los datos de temperatura de los objetos On y de los seres vivos Ln. Según la invención, la subunidad de mapa en vivo 31 comprende medios configurados para crear, actualizar continuamente y almacenar el mapa en vivo 310 y medios para recibir datos referentes a los componentes del área libre A y el contenido actualizado del mapa en vivo 310 tal como se emite desde S 2.2 con la capa referente a la localización de la posición y orientación de la unidad sensorial 2 desde el módulo de detección de área transitable 302, datos relativos a cada uno de la pluralidad de objetos On y los seres vivos Ln en coordenadas 3D incluyendo características acústicas desde el módulo de fusión de características de sonido de objetos 308, y para enviar todas las determinaciones del mapa en vivo al módulo de localización 301.

[0723] La subunidad de mapa en vivo 31 comprende medios configurados para recibir:

[0724] − Las consultas del mapa en vivo 310 de la subunidad de gestor de relaciones 32,

[0725] − Las consultas del mapa en vivo 310 por parte de la subunidad de gestor de navegación 33, incluida la consulta de la subunidad de gestor de interfaz de comandos de usuario 34 a la subunidad de gestor de navegación 33 si el punto de interés PI ya está en el mapa en vivo 310,

[0726] − Las relaciones actualizadas Rn realizadas por la subunidad de gestor de relaciones 32

[0727] − La actualización de los componentes del área libre A realizada por la subunidad de gestor de navegación 33, − Las consultas del módulo de representación de sonido 36 respecto a la información específica de los objetos En.

[0728] La subunidad de mapa en vivo 31 comprende medios configurados para enviar:

[0729] − la pluralidad de relaciones Rn en respuesta a las consultas del mapa en vivo 310 por la subunidad de gestor de relaciones 32,

[0730] − los componentes del área libre A en respuesta a las consultas de la subunidad de gestor de navegación 33, − todas las determinaciones del mapa en vivo a la subunidad de gestor de navegación 33 en respuesta a las consultas del mismo.

[0731] La subunidad de gestor de relaciones 32 comprende medios configurados para consultar el mapa en vivo 310 e importar los datos actualizados más recientes del mapa en vivo 310 como resultado de la consulta. Dicho los datos actualizados más recientemente se refieren a:

[0732] − la pluralidad de objetos En,

[0733] − la pluralidad de seres vivos Ln,

[0734] − el área transitable condicional CWA, porque algunos de los objetos On y/o algunos de los seres vivos Ln están relacionados con dicha área transitable condicional CWA, por ejemplo el semáforo o el perro, − las relaciones existentes Rn antes de la consulta.

[0735] Además, la subunidad de gestor de relaciones 32 comprende medios configurados para realizar cálculos para determinar y actualizar las relaciones entre la pluralidad de objetos On y/o la pluralidad de seres vivos Ln, y para enviar las relaciones actualizadas como resultado de los cálculos a la subunidad de mapa en vivo 31 para almacenarlas en el mapa en vivo 310.

[0736] La subunidad de gestor de navegación 33 comprende medios configurados para:

[0737] − determinar, actualizar continuamente y almacenar en la memoria M, de al menos un recorrido de navegación Pn,

[0738] − seleccionar continuamente el recorrido de navegación preferido SP de al menos un recorrido de navegación Pn,

[0739] − enviar continuamente el recorrido de navegación preferido SP, junto con las instrucciones de guía de navegación asociadas, a la subunidad de gestor de retroalimentación 35.

[0740] − recibir de la subunidad de interfaz de comandos de usuario 34 las solicitudes de iniciación, las solicitudes de selección y las solicitudes de información.

[0741] − consultar al mapa en vivo 310 las determinaciones del mapa en vivo basadas en datos fusionados recibidos de la subunidad de fusión sensorial 30 y los componentes del área libre A: área transitable WA, área transitable condicional CWA y área no transitable NA y recibir de la subunidad de mapa en vivo 31 la respuesta correspondiente a cada consulta.

[0742] − recibir la consulta de la subunidad de gestor de interfaz de comandos de usuario 34 si el punto de interés PI ya está en el mapa en vivo 310,

[0743] − verificar si se cumplen los al menos dos requisitos de recorrido de navegación.

[0744] − enviar a la subunidad de gestor de retroalimentación 35 la instrucción de guía de navegación asociada a dicho al menos un requisito de área transitable condicional predecible.

[0745] La subunidad de gestor de interfaz de comandos de usuario 34 comprende medios configurados para recibir solicitudes y selecciones que el usuario con discapacidad visual realiza mediante la interfaz de comandos de usuario 5 y transmitirlas a la subunidad de gestor de navegación y medios configurados 33 para enviar modos de guía seleccionados a la subunidad de gestor de retroalimentación 35. La subunidad de gestor de interfaz de comandos de usuario 34 comprende además medios para recibir solicitudes del usuario con discapacidad visual para la representación sonora de una categoría específica de objetos On o una categoría específica de seres vivos Ln desde el mapa en vivo 310.

[0746] La subunidad de gestor de retroalimentación 35 comprende medios configurados para guiar a la persona con discapacidad visual a lo largo del recorrido de navegación preferido SP mediante la recepción de las instrucciones de guía de la subunidad de gestor de navegación 33 junto con los modos de guía seleccionados de la subunidad de gestor de interfaz de comandos de usuario 34 y medios configurados para transmitir las instrucciones de guía asociadas correspondientes a la unidad de retroalimentación 4, y comprende además medios para enviar la representación sonora relativa a una categoría específica de objetos On o una categoría específica de seres vivos Ln.

[0747] En las realizaciones en donde la subunidad de representación de sonido 36 es una subunidad autónoma y una subunidad de la subunidad del gestor de navegación 33, la subunidad del gestor de retroalimentación 35 comprende además medios para recibir la representación de sonido de la categoría específica de objetos On o de una categoría específica de seres vivos Ln desde la subunidad de representación de sonido 36.

[0748] La subunidad de representación de sonido 36 comprende medios configurados para recibir solicitudes de personas con discapacidad visual y extraer del mapa en vivo 310 la información correspondiente respecto a una categoría específica de objetos On o una categoría específica de seres vivos Ln y medios para representar la información extraída como sonidos espacializados correspondientes y transmitirla a la unidad de retroalimentación 4.

[0749] La unidad de retroalimentación 4,configurada para ser colocada sobre la cabeza del usuario con discapacidad visual, comprende medios configurados para guiar al usuario con discapacidad visual a lo largo del recorrido de navegación preferido SP mediante la recepción de las instrucciones de guiado asociadas desde la subunidad de gestor de retroalimentación 35 y mediante el envío de las señales hápticas y/o auditivas a la persona con discapacidad visual tal y como se describió en detalle en la sección relativa a los detalles de la etapa 4 del método, y comprende medios para enviar al usuario con discapacidad visual la representación sonora de la categoría específica de objetos On o de una categoría específica de seres vivos Ln.

[0750] La interfaz de comandos de usuario 5,configurada para ser colocada en la cabeza del usuario con discapacidad visual, comprende medios configurados para recibir del usuario con discapacidad visual las solicitudes, a saber la solicitud de iniciación, la solicitud de selección y la solicitud de información y las selecciones de los modos de guiado y enviarlas a la subunidad del gestor de interfaz de comandos de usuario 34.

[0751] Ejemplos no limitativos de la interfaz de comandos de usuario 5 son los siguientes:

[0752] − Medios hápticos de comandos del usuario 51, por ejemplo, botones utilizados para solicitudes simples correspondientes a puntos de interés frecuentes predeterminados PI. Por ejemplo, un primer botón puede llamarse "casa", que corresponde a la puerta de entrada de la vivienda donde vive la persona con discapacidad visual; un segundo botón puede llamarse "baño", un tercer botón puede llamarse "cocina", etc. Los botones pueden ser análogos o digital.

[0753] − Medios de audio de comandos del usuario 52, por ejemplo, los micrófonos para los puntos de interés PI poco frecuentes. El sistema incluye reconocimiento de voz y transforma las palabras del usuario con discapacidad visual en instrucciones enviadas a la subunidad 34 del Administrador de la interfaz de comandos de usuario. En el mismo ejemplo de la habitación con cuatro ventanas, la persona con discapacidad visual dice "ventana" a los micrófonos 52 y las cuatro ventanas de la habitación se representan con sonidos.

[0754] La comunicación de la interfaz de comandos de usuario 5 con la persona con discapacidad visual y con la subunidad de gestor de la interfaz de comandos de usuario 34 es según la técnica anterior.

[0755] La unidad de almacenamiento de energía 6

[0756] El término "unidad de almacenamiento de energía 6" se entiende como una o varias baterías configuradas para alimentar las demás unidades de hardware del dispositivo portátil 1. La forma en que la unidad de almacenamiento de energía 6 alimenta dichas unidades de hardware del dispositivo portátil 1 se realiza según el estado de la técnica.

[0757] La unidad de comunicación 7comprende medios configurados para descargar mapas de Internet, tales como pero no limitados a, los mapas descargables.

[0758] En untercer aspectode la invención, se proporciona unprograma informáticoque comprende instrucciones que, cuando el programa es ejecutado por el dispositivo portátil 1, hace que el dispositivo portátil 1 lleve a cabo las etapas del método implementado por ordenador para ayudar al movimiento de un usuario con discapacidad visual, en cualquiera de las realizaciones preferidas, incluidas combinaciones de las mismas.

[0759] En uncuarto aspectode la invención, se proporciona unmedio legible por ordenadorque tiene almacenadas en él instrucciones que, cuando son ejecutadas por el dispositivo portátil 1, hacen que el dispositivo portátil 1 lleve a cabo las etapas del método implementado por ordenador, en cualquiera de las realizaciones preferidas, incluidas combinaciones de las mismas.

[0760] En unquinto aspectode la invención, se proporciona un dispositivo de almacenamiento legible por ordenador no transitorio que almacena software que comprende instrucciones ejecutables por uno o más ordenadores que, tras dicha ejecución, hacen que el uno o más ordenadores realicen operaciones del método implementado por ordenador, en cualquiera de las realizaciones preferidas, incluidas combinaciones de las mismas.

[0761] En unsexto aspectode la invención, se proporciona un sistema que comprende uno o más ordenadores y uno o más dispositivos de almacenamiento que almacenan instrucciones que pueden operar, cuando son ejecutadas por uno o más ordenadores, para hacer que uno o más ordenadores realicen operaciones del método implementado por ordenador, en cualquiera de las realizaciones preferidas, incluidas combinaciones de las mismas.

[0762] Los términos "ordenadores" de los aspectos quinto y sexto se refieren a una unidad de cálculo que comprende al menos un procesador y al menos una memoria no volátil, tal como, por ejemplo, un microcontrolador, un ordenador o un superordenador. El término "unidad de cálculo" abarca una o varias unidades de cálculo ubicadas remotamente entre sí y que se comunican dentro de un sistema de comunicación informática.Ejemplo n.º 1

[0763] La descripción detallada del método se ejemplifica en un escenario de la vida real, con referencia a las Figs.

[0764] 14, 15, 16 y 17. El experto en la materia comprenderá que la enseñanza de la invención no se limita a este ejemplo.

[0765] En el escenario de la vida real, la persona con discapacidad visual 1 está en la acera de una calle muy cerca de la entrada de un edificio. Para entrar, debe navegar desde su posición hasta la puerta de entrada y también encontrar el timbre.

[0766] Este es un ejemplo no limitativo cuando el usuario con discapacidad visual envía la solicitud de inicio para ser guiado a la puerta de entrada del edificio.

[0767] En la Fig.14 y Fig.15 se muestra una porción del mapa en vivo 310 que incluye:

[0768] − Un edificio con sus partes: cada escalón, las vallas, cada uno de los dos pasamanos, una puerta de entrada 84 considerada como un punto de interés inicial, con partes componentes tales como una cerradura de puerta, un pomo de puerta y un timbre de puerta 841, considerándose el timbre 841 un punto de interés adicional.

[0769] − un perro 83 reconocido como ser vivo Ln.

[0770] − el área transitable WA 942, que incluye las aceras y las escaleras de acceso al edificio.

[0771] − el área no transitable NA 941, que incluye la calle.

[0772] − el área transitable condicional 943: dos pasos de peatones 832 cada uno provisto de su correspondiente semáforo 831.

[0773] Un ejemplo de los requisitos geométricos predeterminados del área transitable incluyen: la altura de la acera no debe exceder los 7 cm, la distancia a las vallas no debe exceder los 0,5 m, la distancia a los márgenes de la acera no debe exceder los 0,5 m, la altura del cuboide virtual es de 2,20 m, es decir 40 cm más que la altura de la persona con discapacidad visual que es de 1,80 m.

[0774] Un ejemplo de relaciones físicas estáticas y dinámicas Rn es la relación creada en el mapa en vivo 310 por la subunidad de gestor de relaciones 32 de la unidad de procesamiento y control 3 con respecto a la asociación del color de los semáforos 831 al estado condicional del área transitable condicional 943: si el color es verde, el área 943 es transitable mientras que si el color es rojo, el área 943 no es transitable.

[0775] Un ejemplo no limitativo del área transitable condicional CWA lo representan los dos pasos de peatones 832 con semáforos 831. Las calles se definen como área no transitable NA en los requisitos permanentes de área transitable predeterminada. En el caso de los pasos de peatones 832, si no hay semáforos, se predefinen como área transitable 942, mientras que si los hay, se predefinen como área transitable condicional 943, es decir, solo son transitables cuando el color del semáforo 831 es verde. Este es un ejemplo de al menos un requisito de área transitable condicional predecible, ya que el color del semáforo cambia de rojo a verde y viceversa. El usuario con discapacidad visual 1 se encuentra en la acera del edificio cuando envía la solicitud de inicio. En varias realizaciones de la invención, la puerta de entrada 84 ya está en el mapa en vivo 310 porque se agregó al mismo en la etapa 2 del método en el pasado.

[0776] En la realización de la invención, donde la puerta de entrada 84 aún no figura en el mapa en vivo 310 al enviar la solicitud de inicio, ya que el usuario con discapacidad visual acaba de bajarse de un taxi con destino a un lugar completamente nuevo y, por lo tanto, la puerta de entrada 84 nunca se había añadido al mapa en vivo 310. La subunidad de gestor de navegación 33 determina el recorrido de orientación WP para reenfocar continuamente el campo de visión 20, mientras que las etapas S1 y S2 del método se repiten hasta que se encuentra la puerta de entrada 84 y se almacena en el mapa en vivo 310. En la realización de la invención, donde el usuario con discapacidad visual desconoce la puerta de entrada 84, ya que acaba de bajarse de un taxi con destino a un lugar completamente nuevo donde se encuentran dos puertas de entrada, 84-01 y 84-02, una cerca de la otra, el usuario con discapacidad visual envía una solicitud de información a la subunidad de gestor de navegación 33 para encontrar la "puerta de entrada". A continuación, la subunidad de gestor de navegación 33 consulta el mapa en vivo 310 en busca de las puertas de entrada en el área de interés desde la proximidad del usuario con discapacidad visual y encuentra que hay dos puertas de entrada 84-01 y 84-02 respectivamente.

[0777] Si las dos puertas de entrada 84-01 y 84-02 no están ya almacenadas en el mapa en vivo 310, la subunidad de gestor de navegación 33 determina el recorrido de orientación WP hasta que dichas puertas de entrada 84-01 y 84-02 sean encontradas y almacenadas en el mapa en vivo 310.

[0778] Una vez que las dos puertas de entrada 84-01 y 84-02 se encuentran y almacenan en el mapa en vivo 310, la subunidad de gestor de navegación 33 representa cada una de ellas como sonidos espacializados correspondientes y los transmite a la unidad de retroalimentación 4 a través de la subunidad de gestor de retroalimentación 35. Entonces, el usuario con discapacidad visual selecciona una entre las puertas de entrada 84-01 y 84-02 como la puerta de entrada 84 que constituye su punto de interés inicial.

[0779] La subunidad de gestor de navegación 33 determina en S3 un único recorrido de navegación Pn, es decir, un recorrido de navegación inicial 911 para que el usuario con discapacidad visual navegue desde su punto de vista hasta la puerta de entrada 84. El recorrido de navegación preferido SP es, por lo tanto, el recorrido de navegación inicial 911.

[0780] Cuando el usuario con discapacidad visual 1 navega a lo largo del recorrido de navegación inicial 911, el perro 83 es detectado por la unidad sensorial 2.

[0781] La agresividad del perro se detecta de la siguiente manera:

[0782] − Si el perro ladra, esto es detectado por el módulo de fusión de características de sonido de objetos 308. − Si el perro tiene una expresión agresiva en su cara, esto es detectado por el módulo de extracción de características de objetos 2D 306,

[0783] − Si el perro se mueve o tiembla porque está furioso, esto es detectado por el módulo de fusión de características de objetos 3D 307.

[0784] Dado que los datos detectados por los sensores básicos y, si corresponde, por los sensores adicionales se fusionan y se envían a la subunidad de mapa en vivo 31 para su inclusión en el mapa en vivo 310, la subunidad de gestor de navegación 33, al consultar el mapa en vivo 310, comprueba al menos dos requisitos de recorrido de navegación y detecta que no se cumple el requisito de no agresividad. Por este motivo, la subunidad de gestor de navegación 33 determina un recorrido de navegación secundario 912 hacia el mismo punto de interés inicial PI 84. El recorrido de navegación preferido SP es ahora el recorrido de navegación secundario 912, lo que evita que el perro 83 tenga una reacción adversa.

[0785] Con referencia a las Figs.14, 15 y 16, el recorrido secundario 912 debe cruzar una carretera, que es un ejemplo de área no transitable NA, utilizando los dos cruces peatonales 832 que son ejemplos de área transitable condicional CWA 943.

[0786] Cuando el usuario con discapacidad visual 1 se aproxima al primer paso de peatones 832, la subunidad de gestor de relaciones 32 determina que el área condicional 943 está condicionada por el color del primer semáforo 831.

[0787] Por lo tanto, se construye una relación condicional en el mapa en vivo 310, por medio de la subunidad de gestor de relaciones 32, relacionando el color del primer semáforo 831 con el estado condicional del primer paso de peatones 832.

[0788] Cuando el semáforo 831 se pone verde, el área transitable condicional 943 se considera transitable y el usuario con discapacidad visual 1 recibe la instrucción de guía de navegación asociada para continuar la navegación en el recorrido secundario 912.

[0789] Lo mismo se repite en el segundo paso de peatones 832.

[0790] La Fig.16 muestra al usuario con discapacidad visual 1 navegando por el recorrido secundario 912 esperando en el segundo paso de peatones 832 a que el color del segundo semáforo 831 cambie a verde.

[0791] Con referencia a la Fig.17, el usuario con discapacidad visual ya ha cruzado ambos pasos de peatones 832 y se está aproximando al punto de interés inicial, es decir, la puerta de entrada 84.

[0792] La subunidad de gestor de relaciones 32 determina una nueva relación padre-hijo entre el punto de interés inicial, es decir, la puerta 84 y el punto de interés adicional, es decir, el timbre 841. Por lo tanto, se crea un nuevo elemento 841 en el mapa en vivo 310 correspondiente al timbre 841 y la nueva relación padre-hijo entre la puerta 84 y el timbre 841 es creada por la subunidad de gestor de relaciones 32 y actualizada en el mapa en vivo 310. El timbre 841 reemplazó a la puerta 84 como punto de interés PI.

[0793] En la Fig. 15 y en la Fig. 16 se representa un túnel transitable 922 que tiene una sección transversal de aproximadamente 1 m, es decir aproximadamente 0,5 m a la izquierda y aproximadamente 0,5 m a la derecha del recorrido de navegación secundario 912, estando esta última representada como una línea.

[0794] Si el recorrido de navegación preferido SP pasa por un espacio interior, como por ejemplo un apartamento, la sección transversal suele ser menor, por ejemplo alrededor de 0,5, es decir alrededor de 0,25 m a la izquierda y alrededor de 0,25 m a la derecha de dicho recorrido de navegación preferido SP.

[0795] Los detalles del guiado del usuario con discapacidad visual a través del túnel transitable 922 se ejemplifican a continuación en relación con las Figs. 15 y 16. En este ejemplo, el dispositivo portátil 1 está equipado con actuadores de retroalimentación háptica izquierdos 411, derechos 412 y centrales 413, cada uno de los cuales comprende uno o más actuadores resonantes lineales.

[0796] En este ejemplo, se selecciona el túnel transitable tridimensional T para recibir las instrucciones de guía de navegación asociadas.

[0797] El usuario con discapacidad visual recibe la orden de inicio mediante la primera señal háptica (que es temporal) y comienza a navegar.

[0798] La subunidad de gestor de retroalimentación 35 intentará mantener al usuario con discapacidad visual en el recorrido de navegación preferido SP y dentro de los límites del túnel transitable 922 brindándole señales hápticas direccionales.

[0799] Si el usuario con discapacidad visual, al navegar, se encuentra demasiado cerca del lado izquierdo del túnel transitable 922, los actuadores de retroalimentación izquierdos 411 reciben la segunda señal háptica, espaciotemporal. Los actuadores resonantes lineales de los actuadores de retroalimentación izquierdos 411 emiten vibraciones en rápida sucesión, vibrando uno tras otro, en la dirección en donde el usuario con discapacidad visual debe reorientarse, es decir, hacia la derecha, lo que le proporciona la sensación táctil de que alguien le arrastra la frente hacia la derecha. La variación de la duración, periodicidad, intensidad o frecuencia de la vibración de la segunda señal háptica es proporcional al grado de proximidad al lado izquierdo del túnel transitable 922.

[0800] Si el usuario con discapacidad visual, al navegar, se encuentra demasiado cerca del lado derecho del túnel transitable 922, la tercera señal háptica es recibida por los actuadores de retroalimentación derechos 412, que son espaciotemporales y tienen una configuración idéntica a la de la segunda señal háptica, excepto que indica la dirección de reorientación hacia la izquierda en lugar de la derecha. La variación de la duración, periodicidad, intensidad o frecuencia de la vibración de la tercera señal háptica es proporcional al grado de proximidad al lado derecho del túnel transitable 922.

[0801] La cuarta señal háptica, espaciotemporal, guía al usuario hacia adelante. Esta señal es recibida por los actuadores de retroalimentación central 413. La variación de la duración, periodicidad, intensidad o frecuencia de la vibración de la cuarta señal háptica es proporcional a la velocidad que el usuario con discapacidad visual debería tener al navegar.

[0802] Si el usuario con discapacidad visual, al navegar, debe reorientar su dirección de movimiento, en el plano horizontal, por ejemplo girar a la derecha cuando llega al cruce peatonal 943 mostrado en la Fig.16, se recibe la quinta señal háptica -que es espaciotemporal- por los actuadores de retroalimentación centrales 413. La variación de la duración, periodicidad, intensidad o frecuencia de la vibración de la quinta señal háptica es proporcional al grado del giro.

[0803] Si el usuario con discapacidad visual, al navegar, debe reorientar su dirección de movimiento en el plano vertical, por ejemplo cuando el usuario con discapacidad visual ya ha cruzado el cruce peatonal 943 y se está aproximando a las escaleras del edificio y tiene que subir algunas escaleras, la sexta señal háptica es recibida - que es espaciotemporal - por los actuadores de retroalimentación centrales 413. La variación de la duración, periodicidad, intensidad o frecuencia de la vibración de la sexta señal háptica es proporcional a la cantidad de movimiento requerido para el usuario con discapacidad visual.

[0804] Cuando el usuario con discapacidad visual llega al cruce peatonal 832 (Fig.15 y Fig.16), si el color del semáforo 831 es rojo, se recibe la séptima señal háptica (temporal), que corresponde a la instrucción de navegación asociada para detenerse temporalmente, emitida por los actuadores de retroalimentación centrales 413. A continuación, cuando el semáforo 831 se pone en verde, se recibe de nuevo la séptima señal háptica, que esta vez corresponde a la reanudación de la navegación. La octava señal háptica (temporal) señala el final de la navegación al alcanzar el punto de interés PI, recibida desde los actuadores de retroalimentación central 413. Se pueden definir otros tipos de señales hápticas para adaptarse a las situaciones de navegación o a los requisitos del usuario. Por ejemplo, si el usuario con discapacidad visual, al navegar, se centra en el túnel transitable 922 del recorrido de navegación secundario 912, los actuadores hápticos de retroalimentación derechos 412 y los actuadores hápticos de retroalimentación izquierdos 411 pueden no presentar ninguna señal háptica o presentar un noveno tipo de señal háptica a ambos lados de la frente para indicarle que navega centrado en el túnel transitable 922.

[0805] Grupo de ejemplos n.º 2

[0806] Tomando el ejemplo de la descripción, cuando el usuario con discapacidad visual entra en una nueva habitación que tiene cuatro ventanas 85, la primera 85-1, la segunda ventana 85-2, la tercera ventana 85-3 y la cuarta ventana 85-4, y quiere abrir una de las cuatro ventanas 85, el punto de interés potencial PPI es el grupo de las cuatro ventanas como al menos un objeto On seleccionado de la pluralidad de objetos On.

[0807] El término "potencial" significa que cualquiera de las ventanas 85 de la habitación puede ser seleccionada como punto de interés inicial PI.

[0808] Con referencia a las Figs.18 a 28, el usuario con discapacidad visual envía en la subetapaS.3-0.1la solicitud de información denominada "ventana" como punto de interés potencial PPI porque está interesado en conocer más detalles acerca de las ventanas de la habitación para elegir el punto de interés inicial PI.

[0809] El experto en la materia comprenderá que los ejemplos descritos se aplican a cualquier clase de Objetos On, ymutatis mutandisa las categorías de seres vivos Ln.

[0810] En la subetapaS.3.-0.2la subunidad de representación de sonido 36 representa cada una de las cuatro ventanas 85, como sonidos espacializados correspondientes: el primer sonido espacializado S86-1, el segundo sonido espacializado S86-2, el tercer sonido espacializado S86-3, y el cuarto sonido espacializado S86-4 y transmite los cuatro sonidos espacializados a la unidad de retroalimentación 4 a través de la subunidad de gestor de retroalimentación 35, cuando la subunidad de representación de sonido 36 no es parte de dicha subunidad de gestor de retroalimentación 35.

[0811] En la subetapaS.3-0.3,el usuario con discapacidad visual selecciona como punto de interés inicial PI una de las cuatro ventanas 85-1, 85-2, 85-3, 85-4 y transmite la solicitud de selección correspondiente como cualquier otra solicitud de selección.

[0812] La representación en sonidos de la subetapaS.3-0.2se ejemplifica a continuación, con referencia a las Figs.

[0813] 18 a 28, para una sola ventana o para dos ventanas del grupo de cuatro ventanas 85-1, 85-2, 85-3 y 85-4. El experto en la materia comprenderá que la invención no se limita a este grupo de ejemplos y que la referencia a la ventana 85 se refiere a cualquiera de las cuatro ventanas 85-1, 85-2, 85-3 y 85-4. Asimismo, la referencia al sonido espacializado S86 se refiere a cada uno de los sonidos espacializados S86-1, S86-2, S86-3 y S86-4 correspondientes.

[0814] En el ejemplo 2-1con referencia a la Fig. 18, en una realización preferida, el módulo de representación de sonido 36 extrae del mapa en vivo 310 la información específica con respecto a la ventana 85 que es el punto de interés potencial PPI, los codifica en el sonido espacializado S86 percibido por el usuario con discapacidad visual como emitido desde la ubicación de la ventana 85, y envía el sonido espacializado S86 al usuario con discapacidad visual por medio de actuadores de retroalimentación auditiva 42.

[0815] Para ilustrar características adicionales de la ventana 85 que representa dicho punto de interés potencial PPI, tales como sus dimensiones o densidad del material, el gestor de navegación 33 codificará además el sonido espacializado S86 en un sonido espacializado que tiene una frecuencia particular S86f, un período de tiempo S86t particular y/o un pulso S86p particular, no representados gráficamente, correspondiendo dicha frecuencia S86f, período de tiempo particular S86t y/o pulso S86p a dichas características adicionales.

[0816] En los ejemplos 2-2 y 2-3,con referencia a la Fig. 19A y, respectivamente, a la Fig. 19B, en otra realización preferida, la subunidad de representación de sonido 36 codifica la información específica de la ventana seleccionada 85 en el sonido espacializado S86, que presenta una representación exagerada o "zoom" respecto a la ubicación del posible punto de interés 85. Si, por ejemplo, el posible punto de interés 85 se encuentra a una distancia de 10 metros, se representará en el sonido espacializado S861 a una distancia de, por ejemplo, 1 metro. Este efecto de zoom o exageración se presenta al usuario con discapacidad visual tanto en la elevación, como se muestra en la Fig.19A, como en el acimut, como se muestra en la Fig.19B.

[0817] En el ejemplo 2-4,con referencia a la Fig.20, en otra realización preferida, el usuario con discapacidad visual envía la solicitud de representación de sonido de dos ventanas 85-1 y 85-2 que están colocadas a distancias no iguales del usuario con discapacidad visual.

[0818] La subunidad de representación de sonido 36 codifica la información específica de las ventanas seleccionadas 85-1 y 85-2 del mapa en vivo 310 en los sonidos espacializados S86f-1 y S86f-2 que tienen diferentes características de frecuencia dependiendo de la distancia de las ventanas 85-1 y 85-2 al usuario con discapacidad visual, y envía los sonidos espacializados codificados S86f-1 y S86f-2 al usuario con discapacidad visual.

[0819] Así, por ejemplo, las señales de audio correspondientes de los sonidos espacializados S86f-1 y S86f-2 correspondientes a las características adicionales de la ventana 85 enviadas al usuario con discapacidad visual varían en frecuencias: las señales duran más y/o el grado de repetición es mayor para la ventana 85-2 que para la que está más cerca del usuario con discapacidad visual, 85-1 respectivamente.

[0820] En el ejemplo 2-5,con referencia a la Fig.21, en otra realización preferida, el usuario con discapacidad visual envía la solicitud para representar en sonidos los márgenes de la ventana 85. Por simplicidad, se ha optado por representar sólo dos de los extremos, respectivamente 85-E1 y 85-E2, el experto en la materia entiende que la misma representación se aplica a todos los extremos de la ventana, dependiendo de su forma.

[0821] La subunidad de representación de sonido 36 extrae la información específica de la ventana seleccionada 85 del mapa en vivo 310 y la codifica en los sonidos espacializados S86P-E1 y S86P-E2, correspondientes a los extremos de ventana 85-1E y 85-E2. Los sonidos espacializados S86P-E1 y S86P-E2 tienen diferentes características de codificación según la distancia de cada uno de los extremos seleccionados con respecto al usuario con discapacidad visual. La distancia puede medirse en acimut, elevación o alcance de la ventana 85, o en cualquier combinación de estos.

[0822] En el ejemplo 2-6,con referencia a la Fig.22, en otra realización preferida, el usuario con discapacidad visual envía la solicitud mediante la interfaz de comandos de usuario 5 a la subunidad de representación de sonido 36 a través de la subunidad de interfaz de comandos de usuario 34 para la representación de las dimensiones de la ventana 85 como un punto de interés potencial PPI.

[0823] La subunidad de representación de sonido 36 codifica la información específica de las dimensiones de la ventana seleccionada 85 extraída del mapa en vivo 310 en un sonido espacializado temporal S86P que representa sonidos puntuales a lo largo de una de las tres dimensiones espaciales entre los extremos elegidos de la ventana 85 o un sonido lineal S86L que se mueve en una trayectoria en línea recta desde el extremo 85-E1 al extremo 85-E2, y los envía al usuario con discapacidad visual por medio de actuadores de retroalimentación auditiva 42. La misma operación se lleva a cabo para los otros extremos de la ventana 85, específicamente 85-E3, y 85-E4 en caso de que la ventana 85 sea rectangular (no representada gráficamente). Las dimensiones de la ventana 85 se miden entre los extremos 85-E1, y 85-E2, 85-E3, y 85-E4 de la ventana 85 a lo largo de las dimensiones espaciales correspondientes por medios conocidos de la técnica anterior.En los ejemplos 2-7 a 2-10,con referencia a las Figs. 23-26, en otra realización preferida, el usuario con discapacidad visual solicita la representación de la forma de la ventana 85 o de una parte de ella. En los ejemplos 2-7 a 2-10, la ventana 85 puede ser una ventana decorativa no rectangular, un espejo o una parte decorativa de una puerta. Para simplificar, se denominará ventana 85.

[0824] La subunidad de representación de sonido 36 extrae la información específica del mapa en vivo 310 y la codifica en sonidos espaciales temporales S86 que representan la forma de la ventana 85.

[0825] En el ejemplo 2-7,con referencia a la Fig.23, la forma de una ventana 85 está representada por dos sonidos puntiformes espacializados S86P1 y S86P2, cada uno de ellos moviéndose virtualmente al mismo tiempo sobre la mitad del contorno de la ventana 85 desde un punto de inicio t<0>colocado sobre el eje simétrico vertical de la ventana 85 hasta un punto final t<final>.

[0826] En el ejemplo 2-8,con referencia a la Fig. 24, la forma de la ventana 85 está representada por dos sonidos espacializados S86f1 y S86f2, que se mueven virtualmente sobre el contorno de la ventana desde el punto de inicio t<0>hasta el punto final t<final>, mientras que los sonidos espacializados S86f1 y S86f2 se codifican con diferente frecuencia, dependiendo de la distancia relativa al usuario del contorno de la parte de ventana 85 recorrida por el sonido espacializado.

[0827] En el ejemplo 2-9,con referencia a la Fig.25, la forma de la ventana 85 está representada por un único sonido espacializado S86 que se mueve virtualmente desde el punto de inicio t<0>a lo largo del contorno de la parte de la ventana 85 hasta que llega de nuevo al punto de inicio t<0>.

[0828] En el ejemplo 2-10,con referencia a la Fig.26, la forma de la ventana 85 está representada por el único sonido espacializado S86 que virtualmente se mueve en un patrón angular dentro del espacio entre el contorno interior y el contorno exterior de la ventana 85.

[0829] En los ejemplos 2.11 y 2.12,con referencia a las Figs. 27 y 28, en otras realizaciones preferidas, la ventana seleccionada puede ser una ventana o una puerta. En estos dos ejemplos, la ventana tiene al menos un marco interior, ya sea con fines decorativos o con una función técnica. El contorno del marco interior es importante en estas realizaciones preferidas, por ejemplo, debido al riesgo de lesiones o porque la manija de la puerta o ventana se encuentra en el marco interior.

[0830] En el ejemplo 2.11,con referencia a la Fig.27, hay dos ventanas, 85-1 y 85-2, que se encuentran juntas como posibles puntos de interés, ubicadas a diferentes distancias del usuario con discapacidad visual. Pueden ser ventanas o puertas. Se encuentran juntas como posibles puntos de interés porque la acción que debe realizar el usuario con discapacidad visual afecta a ambas. Por ejemplo, hay dos ventanas separadas que deben estar abiertas, o hay un pasillo con dos puertas por las que debe pasar el usuario con discapacidad visual.

[0831] Las ventanas 85-1 y 85-2 están separadas por un espacio abierto de diferentes dimensiones (p. ej.: 5-10 cm en el caso de las ventanas o 1-2 metros en el caso de las puertas). El usuario con discapacidad visual se sitúa más cerca de la ventana 851.

[0832] El usuario con discapacidad visual envía la solicitud de representación sonora de la distancia del espacio abierto entre las dos ventanas 85-1 y 85-2, así como de la forma del marco interior de las dos ventanas 85-1 y 85-2. La subunidad de representación de sonido 36 extrae la información específica del mapa en vivo 310 de las dos ventanas 85-1 y 85-2, la codifica en sonidos espacializados S86t-1 y S86t-2 que tienen diferentes características de tiempo para representar la forma de los marcos interiores de las dos ventanas 85-1 y 85-2. La ventana 85-1, situada más cerca del usuario con discapacidad visual, como se muestra en la Fig. 27, está representada por dos sonidos espacializados, S86t1-1 y S86t2-1: uno, S86t1-1, representa el contorno exterior de la ventana 85-1 y el otro sonido espacializado S86t2-1 representa el contorno interior de la ventana 85-1. Cada sonido espacializado, S86t1-1 y S86t2-1, comprende otros dos sonidos espacializados que comienzan simultáneamente: S86t11-1, S86t12-1, que representa el contorno exterior de la ventana 85-1, y S86t21-1, S86t21-1, que representa el contorno interior de la ventana 85-1.

[0833] Debido al espacio abierto entre las dos ventanas 85-1 y 85-2, la ventana 85-1 colocada más cerca del usuario con discapacidad visual actúa como una barrera para detectar información detallada con respecto a la segunda ventana 85-2, en consecuencia, la subunidad de representación de sonido 36 solo puede emitir un sonido espacializado simplificado S86t-2 correspondiente a la posición tridimensional de la ventana 85-2 y su dimensión vertical.

[0834] En el ejemplo 2-12,con referencia a la Fig.28, en otra realización preferida, el usuario con discapacidad visual envía la solicitud de representación sonora de los detalles de la forma del marco interior de la ventana 85. Para simplificar, la Fig. 28 ilustra una forma rectangular, pero puede ser cualquier forma geométrica. La subunidad de representación de sonido 36 extrae la información específica del mapa en vivo 310 y la codifica en dos sonidos espacializados, S861 y S862, que comienzan simultáneamente y se mueven virtualmente en un patrón angular dentro del espacio entre el contorno del marco interior y el contorno exterior de la ventana 85.

[0835] Aunque la descripción del método y del sistema se ha divulgado en detalle en relación con realizaciones preferidas, los expertos en la materia apreciarán que se pueden realizar modificaciones para adaptar una situación particular sin alejarse delalcancede la invención, como se establece en las reivindicaciones adjuntas. Los números de referencia que aparecen en las reivindicaciones se utilizan sólo a modo de ilustración y no tendrán ningún efecto limitativo sobre el alcance de las reivindicaciones.

[0836] LISTA DE REFERENCIAS

[0837] [1] - US 3594823

[0838] [2] - US 9915545

[0839] [3] - US 9629774

[0840] [4] Xiaochen Zhanget al."Wearable Indoor Navigation System with Context Based Decision Making for Visually Impaired" [4] International Journal of Advanced Robotics and Automation

Claims (14)

1. REIVINDICACIONES

1. Un método implementado por ordenador adaptado para ayudar al movimiento de un usuario con discapacidad visual mediante un dispositivo portátil (1), que comprende las siguientes etapas:

S1

Adquirir datos del entorno del usuario con discapacidad visual mediante una unidad sensorial (2) del dispositivo wearable (1), detectar desde un campo de visión (20), enviar dichos datos adquiridos a una subunidad de fusión sensorial (30) de una unidad de procesamiento y control (3) del dispositivo portátil (1),

S2

Fusionar los datos adquiridos por la subunidad de fusión sensorial (30), enviar los datos fusionados a una subunidad de mapa en vivo (31) de la unidad de procesamiento y control (3),

Crear, actualizar continuamente y almacenar por parte de la subunidad de mapa en vivo (31) de un mapa en vivo (310), comprendiendo el mapa en vivo (310) los siguientes datos:

Primeras determinaciones de mapa en vivo basadas en datos fusionados recibidos desde la subunidad de fusión sensorial (30), que incluyen:

− Una posición y una orientación de la unidad sensorial (2),

− Una pluralidad de objetos (On),

− Una pluralidad de seres vivos (Ln),

en donde las determinaciones de mapa en vivo incluyen además la localización continua, mediante un módulo de localización (301), de la posición y orientación de la unidad sensorial (2) con respecto a la pluralidad de objetos (On) y, respectivamente, a la pluralidad de seres vivos (Ln) del mapa en vivo (310) utilizando algoritmos de localización aplicados a los datos recibidos de la unidad sensorial (2) y datos del mapa en vivo (310) y el envío continuo de dichos datos de localización de la posición y orientación de la unidad sensorial (2) a un módulo de detección de área transitable (302) de la subunidad de fusión sensorial (30),

Segundas determinaciones de mapa en vivo que se generan a partir de un área libre (A) definida como un conjunto de áreas sobre un terreno no ocupadas por la pluralidad de objetos (On) y la pluralidad de seres vivos (Ln), donde el área libre (A) incluye

− Un área transitable (WA) que satisface un conjunto de requisitos permanentes predeterminados de área transitable,

en donde la determinación del área libre (A) se basa en:

− los datos recibidos desde la unidad sensorial (2),

− los datos recibidos desde el módulo de localización (301),

− el conjunto de requisitos permanentes predeterminados de área transitable,

en donde el área libre actualizada (A) se envía continuamente al mapa en vivo (310), y en donde el mapa en vivo actualizado (310) se almacena continuamente en una memoria M,

S3

Determinar, de forma automática o en respuesta a una solicitud del usuario con discapacidad visual, mediante una subunidad de gestor de navegación (33) de la unidad de procesamiento y control (3), la actualización y el almacenamiento continuos de al menos un recorrido de navegación (Pn) y las instrucciones de guía de navegación asociadas para que el usuario con discapacidad visual navegue desde la posición actual de la unidad sensorial (2) hasta un punto de interés (PI) seleccionado entre la pluralidad de objetos (On) y/o la pluralidad de seres vivos (Ln),

en donde cualquier solicitud del usuario con discapacidad visual se realiza mediante medios hápticos (51) o medios de audio (52) de una interfaz de comandos de usuario (5), siendo recibidas dichas solicitudes por la

subunidad de gestor de navegación (33) a través de una subunidad de gestor de interfaz de comandos de usuario (34) de la unidad de procesamiento y control (3),

y transmitir por la subunidad de gestor de navegación (33) a una subunidad de gestor de retroalimentación (35) de la unidad de procesamiento y control (3) las instrucciones de guía de navegación asociadas

S4

Proporcionar, a través de la subunidad de gestor de retroalimentación (35), orientación al usuario con discapacidad visual, mediante el uso de modos de guía para transmitir cada instrucción de guía de navegación asociada, comprendiendo cada instrucción de navegación señales hápticas y/o auditivas enviadas por la subunidad de gestor de retroalimentación (35) a una unidad de retroalimentación (4) de la unidad de procesamiento y control (3), comprendiendo dicha unidad de retroalimentación (4):

− actuadores de retroalimentación háptica (41) configurados para su colocación en la cabeza del usuario con discapacidad visual, y/o

− actuadores de retroalimentación auditiva (42) configurados para su colocación en uno o ambos oídos del usuario con discapacidad visual,

en donde los modos de guía para cada instrucción de guía de navegación asociada son seleccionados por el usuario con discapacidad visual mediante la interfaz de comandos de usuario (5) y a través de comandos de usuario que son recibidos por la subunidad de gestor de retroalimentación (35) a través de la subunidad de gestor de interfaz de comandos de usuario (34).

caracterizado por que:

− Las determinaciones de mapa en vivo en S2 comprenden además:

Terceras determinaciones de mapa que se generan en base a una pluralidad de relaciones (Rn) entre la pluralidad de objetos (On) y/o la pluralidad de seres vivos (Ln) recibidas desde una subunidad de gestor de relaciones (32) de la unidad de procesamiento y control (3),

en donde la pluralidad de relaciones (Rn) es generada y actualizada continuamente por la subunidad de gestor de relaciones (32), con base en los datos adquiridos del mapa en vivo (310) que comprende aplicar un conjunto de requisitos de relaciones predeterminados que comprenden al menos

− relaciones padre-hijo predeterminadas, y

− relaciones condicionales predeterminadas,

en donde la pluralidad de relaciones actualizadas (Rn) se envía continuamente al mapa en vivo (310), y en donde los algoritmos de localización se aplican además a la pluralidad de relaciones (Rn),

− Las determinaciones del mapa en vivo que se generan en función del área libre (A) incluyen además: − un área transitable condicional (CWA) que satisface dicho conjunto de requisitos permanentes predeterminados de área transitable, y al menos un requisito predecible de área transitable condicional, − La etapa 2 incluye además, simultáneamente con la determinación del área transitable (A), la determinación continua por parte del módulo de detección de área transitable (302) del área transitable condicional (CWA), incluso basándose en el al menos un requisito de área transitable condicional predecible calculado y almacenado en la memoria (M).

− La etapa 3 incluye además, después de la determinación de la al menos un recorrido de navegación (Pn), lo siguiente:

− seleccionar continuamente, de forma automática o en respuesta a una solicitud del usuario con discapacidad visual, un recorrido de navegación preferido (SP) de entre al menos un recorrido de navegación (Pn), que satisface al menos dos requisitos de recorrido de navegación:

i)Pasa por el área transitable (WA) y/o por el área transitable condicional (CWA), y

ii)Cumple un conjunto de requisitos de seguridad que incluyen un requisito de no colisión y un requisito de no agresividad,

en donde la subunidad de gestor de navegación (33) transmite además a la subunidad de gestor de retroalimentación (35) de la unidad de procesamiento y control (3) el recorrido de navegación preferido SP, y en donde, cuando el recorrido de navegación preferido (SP) pasa a través del área transitable condicional (CWA), la subunidad de gestor de navegación (33) envía a la subunidad de gestor de retroalimentación la instrucción de guía de navegación asociada correspondiente a dicho al menos un requisito de área transitable condicional predecible,

- la guía de S4 por parte de la subunidad de gestor de retroalimentación (35) se proporciona a lo largo del recorrido de navegación preferido (SP).

2. El método implementado por ordenador de la reivindicación 1,

que comprende, cuando el punto de interés (PI) no es conocido por el usuario con discapacidad visual y antes de determinarlo, actualizar y almacenar continuamente el al menos un recorrido de navegación (Pn), una subetapa 2-0:

S. 2-0.1.

Enviar una solicitud de información por parte del usuario con discapacidad visual a una subunidad de representación de sonido (36) de la unidad de procesamiento y control (3) respecto a al menos un objeto (On) seleccionado de entre la pluralidad de objetos (On) o al menos un ser vivo (Ln) seleccionado de entre la pluralidad de seres vivos (Ln),

S. 2-0.2.

Extraer mediante una subunidad de representación de sonido (36) de la unidad de procesamiento y control 3 del mapa en vivo (310) la información relativa al menos a un objeto particular seleccionado (On) o al menos a un ser vivo particular (Ln) y representar la información extraída como sonidos espacializados correspondientes y transmitirla al usuario con discapacidad visual mediante la unidad de retroalimentación (4),

S. 2-0.3.

Seleccionar, por parte del usuario con discapacidad visual, el punto de interés (PI) de entre dicha pluralidad de objetos (On) o de entre dicha pluralidad de seres vivos (Ln) y transmitir la correspondiente solicitud de selección a la subunidad de gestor de navegación (33).

3. El método implementado por ordenador de cualquiera de las reivindicaciones 1 a 2,que comprende,antes de determinar, actualizar y almacenar continuamente el al menos un recorrido de navegación (Pn), una subetapa preliminar:

S. 3-1.

Determinar por parte del gestor de navegación (33) de un recorrido de orientación (WP) junto con las instrucciones de guía de navegación asociadas para el usuario con discapacidad visual, y envío del recorrido de orientación (WP) y las instrucciones de guía de navegación asociadas a la subunidad de gestor de retroalimentación (35), satisfaciendo dicho recorrido de orientación (WP) dichos al menos dos requisitos de recorrido de navegación.

4. El método implementado por ordenador de cualquiera de las reivindicaciones 1 a 3,

en donde las señales hápticas varían en duración, periodicidad, intensidad o frecuencia de la vibración según criterios de complejidad SP del recorrido de navegación preferido predeterminado, y

en donde las señales de audio varían en frecuencias, duración, intensidad de repetición o virtualización espacial 3D según los criterios de complejidad del recorrido de navegación preferido predeterminado.

5. El método implementado por ordenador de cualquiera de las reivindicaciones 1 a 4,en dondeun túnel transitable tridimensional (T) se define como un túnel virtual de sección transversal predeterminada, cuyo eje longitudinal horizontal es el recorrido de navegación preferido (SP), yen dondeel modo de guía de S4 comprende además señales hápticas específicas enviadas al usuario con discapacidad visual cuando este se aproxima a las paredes virtuales del túnel transitable (T).

6. El método implementado por ordenador de cualquiera de las reivindicaciones 1 a 4, en donde el recorrido de navegación preferido (SP) se divide en segmentos predeterminados delimitados por una pluralidad de hitos (93), y

en donde el modo de guía de S4 comprende señales hápticas y/o señales auditivas que señalan la posición de al menos un hito siguiente (93) proporcionando instrucciones de guía de navegación asociadas al usuario con discapacidad visual desde un hito actual (93) a un hito posterior (93), y en donde la longitud de los segmentos predeterminados varía dependiendo de la complejidad y la longitud del recorrido de navegación preferido (SP).

7. El método implementado por ordenador de cualquiera de las reivindicaciones 1 a 4,

en donde el modo de guía de S4 comprende señales hápticas y/o señales auditivas que señalan la dirección en el recorrido de navegación preferido (SP),

en donde la dirección en el recorrido de navegación preferido (SP) está determinada por la línea definida por el origen de la unidad sensorial 2 y la intersección del recorrido de navegación preferido SP con un círculo que tiene un origen en la posición de la unidad sensorial 2 y un radio r con una longitud predeterminada, y en donde las señales auditivas que señalan la dirección en el recorrido de navegación preferido (SP) se originan desde una fuente de sonido espacializada S colocada a una primera distancia predeterminada d1 de la fuente de sonido espacializada S con respecto a la unidad sensorial 2.

8. El método implementado por ordenador de cualquiera de las reivindicaciones 1 a 4,

en donde las señales auditivas son sonidos espacializados que se originan a partir de una fuente de sonido espacializada (S) que viaja virtualmente a lo largo de una segunda distancia predeterminada (d2) en el recorrido de navegación preferido (SP) desde la posición de la unidad sensorial (2) hasta que la fuente de sonido espacializada (S) alcanza el final de la segunda distancia predeterminada (d2) y regresa a la posición de la unidad sensorial (2).

9. Un dispositivo portátil (1) adaptado para ayudar al movimiento de un usuario con discapacidad visual, que comprende:

− una unidad sensorial (2) configurada para ser colocada en la cabeza del usuario con discapacidad visual, que comprende sensores básicos:

− una cámara (21),

− un sensor de profundidad (22),

− un unidad de medición inercial (23),

− un sensor de localización de sonido (24)

− una unidad de procesamiento y control (3) que comprende:

− un subunidad de fusión sensorial (30) que comprende :

− un módulo de localización (301),

− un módulo de detección de áreas transitables (302),

− un módulo de cálculo orientación (303),

− un módulo de localización de dirección de sonido (304),

− un módulo de clasificación sonido (305),

− un módulo de extracción de características de objetos 2D (306),

− un módulo de fusión de características de objetos 3D (307),

− un módulo de fusión de características de sonido de objetos (308),

− una subunidad de mapa en vivo (31),

− una subunidad de gestor de relaciones (32),

− una subunidad de gestor de navegación (33),

− una subunidad de gestor de interfaz de comandos de usuario (34),

− una subunidad de gestor de retroalimentación (35),

− una subunidad de representación de sonido (36),

− una unidad de retroalimentación (4) configurada para ser colocada en la cabeza del usuario con discapacidad visual, que comprende:

− una pluralidad de actuadores de retroalimentación háptica (41) que comprenden:

− actuadores de retroalimentación háptica izquierdos (411),

− actuadores de retroalimentación háptica derechos (412),

− actuadores de retroalimentación háptica centrales (413),

− una pluralidad de actuadores de retroalimentación auditiva (42) que comprenden:

− actuadores de retroalimentación auditiva izquierdos (421),

− actuadores de retroalimentación auditiva derechos (422),

− una interfaz de comandos de usuario (5) configurada para ser colocada en la cabeza del usuario con discapacidad visual que comprende:

− una pluralidad de medios hápticos de comandos de usuario (51),

− una pluralidad de medios de audio de comandos de usuario (52),

− un unidad almacenamiento de energía (6),

− una memoria (M), y

− medios de comunicación electrónicos entre la unidad sensorial (2), la unidad de procesamiento y control (3), la unidad de retroalimentación (4), la interfaz de comandos de usuario (5), la unidad de almacenamiento de energía (6) y la memoria (M), mediante protocolos de comunicación,

en donde el dispositivo portátil (1) está configurado para aplicar las etapas del método según cualquiera de las reivindicaciones 1 a 8.

10. El dispositivo portátil de la reivindicación 9,en dondela unidad sensorial (2) comprende además al menos un sensor adicional de:

− un sensor de posicionamiento global (25) configurado para determinar la posición absoluta de la unidad sensorial (2), y

− Un sensor de temperatura (26) configurado para determinar la temperatura de los objetos (On) y de los seres vivos (Ln), y

en donde la subunidad de fusión sensorial (30) comprende además:

− un módulo de conversión relativa a absoluta (309-1) configurado para fusionar los datos del módulo de

fusión de características de sonido de objetos (308) con los datos relativos a la posición absoluta de la unidad sensorial (2), y

− un módulo de fusión de características de temperatura de objetos (309-2), configurado para fusionar los datos del módulo de fusión de características de sonido de objetos (308) con los datos relativos a la temperatura de los objetos (On) y de los seres vivos (Ln) y para enviar los datos fusionados a la subunidad de mapa en vivo (31).

11. Programa informático que comprende instrucciones que, al ser ejecutado por el dispositivo portátil (1) según cualquiera de las reivindicaciones 9 o 10, hacen que el dispositivo portátil (1) realice las etapas del método implementado por ordenador para ayudar al movimiento de un usuario con discapacidad visual, según cualquiera de las reivindicaciones 1 a 8.

12. Un medio legible por ordenador que tiene almacenadas en él instrucciones del programa informático de la reivindicación 11.

13. Un dispositivo de almacenamiento no transitorio legible por ordenador que almacena software que comprende instrucciones ejecutables por uno o más ordenadores que, al ejecutarse, hacen que uno o más ordenadores realicen operaciones del método implementado por ordenador para ayudar al movimiento de un usuario con discapacidad visual, según cualquiera de las reivindicaciones 1 a 8.

14. Un sistema que comprende uno o más ordenadores y uno o más dispositivos de almacenamiento que almacenan instrucciones que, al ser ejecutadas por uno o más ordenadores, pueden hacer que uno o más ordenadores realicen operaciones del método implementado por ordenador para asistir el movimiento de un usuario con discapacidad visual, según cualquiera de las reivindicaciones 1 a 8.