ES2766875T3 - Sistema de auto seguimiento y su método de operación - Google Patents

Abstract

Sistema autónomo para el seguimiento de una persona, que comprende: a. un vehículo con ruedas (A - figura 1a); b. una cámara de profundidad 3D, configurada para identificar objetos y personas, y reconocer la persona que está siendo rastreada (2 - figura 1a); c. una pluralidad de sensores de distancia y/o táctiles (3 - figura 1a); d. al menos dos motores (1 - figura 1a), cada motor impulsando una o más ruedas hacia un lado izquierdo o un lado derecho con respecto a la dirección de desplazamiento del vehículo con ruedas; e. una unidad de control y adquisición; f. una unidad de control de motor, en comunicación con los motores y con la unidad de control y adquisición; y g. una unidad de decisión en comunicación con la cámara de profundidad 3D y con la unidad de control y adquisición, en donde la unidad de control y adquisición transmite órdenes a los motores a través de la unidad de control del motor, realiza la lectura de valores de los sensores de distancia y/o táctiles, y tiene el poder de ordenar la parada inmediata o recalcular un trayecto y luego transmitir a la unidad de decisión; y en donde la unidad de decisión recibe transmisiones de la unidad de control y adquisición y también calcula los comandos de movimiento o detención con base en la información recibida de la cámara de profundidad 3D, caracterizado porque el sistema está configurado para: - obtener, para cada uno de una pluralidad de individuos, un esqueleto que comprende información perteneciente a uno o más huesos y una o más articulaciones del individuo respectivo; - determinar si el esqueleto de la persona en seguimiento está presente entre la pluralidad de los esqueletos; - determinar una primera distancia entre el esqueleto de la persona y el vehículo a lo largo de un primer eje, eje X, y una segunda distancia entre el esqueleto de la persona y el vehículo a lo largo de un segundo eje, eje Z, si el esqueleto de la persona es presente entre la pluralidad de esqueletos; - determinar un primer error entre una ubicación prevista de la persona en el espacio y una ubicación real de la persona en el espacio, con base en la primera distancia, el primer error asociado con el primer eje y un segundo error entre la ubicación prevista y el ubicación real, con base en la segunda distancia, estando asociado el segundo error con el segundo eje; y con base en el primer y segundo error, alterar la velocidad de cada motor de modo que el vehículo se mueva para reducir el primer y segundo error, con el fin de mover el vehículo hacia y la posición prevista del vehículo detrás de la persona; - si el primer y el segundo error son tales que la ubicación real de la persona en el espacio está a la derecha o a la izquierda de la ubicación prevista de la persona en el espacio, los al menos dos motores tienen velocidades diferentes tal como para hacer que el vehículo siga un trayecto curvo, lo que hace que el vehículo gire; - si el primer y el segundo error son tales que la ubicación real de la persona en el espacio es hacia adelante o hacia atrás de la ubicación prevista de la persona en el espacio, a los al menos dos motores se les dan los mismos valores de velocidad para que el sistema siga un trayecto lineal, haciendo que el vehículo siga una línea recta.

Description

DESCRIPCIÓN

Sistema de auto seguimiento y su método de operación

Campo técnico

Se describe como un sistema robótico completamente autónomo y sus métodos de operación, compuesto por motores, baterías, tableros de control, unidades de procesamiento, sensores y cámaras de profundidad 3D. Es capaz de seguir a una persona determinada o moverse independientemente en el espacio.

De esta forma, es útil para el transporte de objetos en diferentes situaciones cotidianas. Puede ser utilizado por todos, incluidas las personas con movilidad reducida. Este sistema tiene aplicación en áreas comerciales o en cualquier otra área que se beneficie de las tecnologías de transporte de objetos que utilizan el reconocimiento de imágenes y la inteligencia artificial.

Antecedentes

De acuerdo con la Organización Internacional del Trabajo, hay más de 600 millones de personas con discapacidad [1] en el mundo. Alrededor de 100 a 140 millones sufren discapacidades físicas y los pronósticos apuntan a un aumento de casi 29,000 personas por año [2].

Considerando solo los países de la UE, el número de personas mayores y/o discapacitadas es de entre 60 y 80 millones [3]. Estas cifras están creciendo y se estima que para el año 2020, el 25% de la población tendrá algún tipo de discapacidad. En los Estados Unidos, aproximadamente 54 millones de personas tienen una discapacidad, el 61% de ellos todavía están en edad laboral, se estima que este número se duplicará en solo 15 años.

La discapacidad física y específicamente el problema de la movilidad son frecuentes en aproximadamente el 40% de la población con discapacidad en la Unión Europea [4] y el 7% de la población estadounidense [5]. Datos recientes mostraron un aumento del 22% (2.7 M a 3.3 M) de 2008 a 2009, con respecto a las personas en silla de ruedas. [6]

Las circunstancias que causan esta afección no siempre son resultado del envejecimiento. Aunque una gran parte se debe a accidentes cerebrovasculares (CVA - derrame) y artritis, típicamente asociados con el envejecimiento, otras situaciones tales como la esclerosis múltiple, la falta o pérdida de extremidades inferiores, paraplejia y problemas ortopédicos, no relacionados con la edad, también tienen una expresión significativa en estos números.

En cuanto a los ancianos [7], se espera que en 2050 el número de personas mayores supere el número de jóvenes por primera vez en la historia. Actualmente, hay alrededor de 800 millones de ancianos. En 2050, este número superará los 20 mil millones de personas.

Al analizar el mercado y nuestros clientes nacionales, considerando solo los dos grupos comerciales más grandes, se puede ver que el grupo Sonae [8] tiene alrededor de 1,000 tiendas, mientras que el grupo Jerónimo Martins [9] tiene alrededor de 350 tiendas. Estas cifras muestran el potencial de nuestro mercado en términos de compras, considerando solo dos grupos comerciales. No debemos olvidar que la solución también puede ser adoptada por la industria y otros grupos comerciales. Analizando el mercado internacional, en los Estados Unidos [10] hay aproximadamente 105,000 centros comerciales. En Europa [11], en 2007, los datos apuntan a la existencia de casi 5.700 centros comerciales de "formato tradicional". Los aeropuertos son otro escenario en el que se puede aplicar el presente dispositivo, descrito aquí como wi-go. De acuerdo con los datos, hay alrededor de 15,000 aeropuertos, solo en los Estados Unidos. En la Unión Europea [12] 800 millones de pasajeros se registraron solo en 2010.

Estos son solo algunos números que nos ayudan a darnos cuenta de la importancia de desarrollar soluciones que puedan tener en cuenta lo que será el futuro de las sociedades. Muchas de las dificultades que enfrentan estas personas también tienen que ver con problemas de movilidad. En este sentido, creemos que podemos pagar nuestra contribución para mejorar la calidad de vida, ya que las soluciones y los productos desarrollados ponen la tecnología al servicio de la integración social, la cohesión y la responsabilidad.

Referencias:

1. Facts on Disability in the World of Work", International Labour Organization (ILO)

2. Estimative data from the European Disability Forum: About Disability and National Center for Healthe Statistics

3. World Health Organization (WHO)

4. European Disability Forum: About Disability, http://www.edf-feph.org/Page_Generale.asp?DoclD=12534

5. National Center for Health Statistics.

6. U.S: Census Bureau, 2010 (www.census.gov)

7. Populagao e Envelhecimento: Factos e Números. http://www.unric.org/ html/portuguese/ecosoc/ageing/ldosos-Factos.pdf

8. Actividade no ano de 2010 da Sonae - http://www.sonae.pt/fotos/editor2/ 20110316pr_resultadosfy2010_vf_1300982276.pdf

9. lnformagao Jerónimo Martins - http://www.jeronimomartins.pt/pt/distribuicao_alimentar/portugal_pd.html

10. http://www.icsc.org/srch/faq_category.php?cat_type=research&cat_id=3

11. http://www.icsc.org/srch/faq_category.php?cat_type=research&cat_id=3

12. http: //europa.eu/rapid/pressReleasesAction.do?reference=MEMO/11/857&format= HTML&aged=0&language=PT&guiLanguage=en

El documento WO2007034434A2 describe un dispositivo y un programa informático para reconocer el movimiento de un objeto o una persona mediante la captura de cuadros de video convencionales (por ejemplo, RGB). Los cuadros de video se procesan mediante procesamiento lógico, utilizando los códigos de bloque correspondientes. El bloque de correspondencia define un bloque de píxeles en un bloque de cuadro de búsqueda y píxeles en un área del cuadro siguiente, y por la ubicación del área de búsqueda en el cuadro siguiente, la correspondencia se ajusta automáticamente con base en los valores medidos.

El documento US2007045014A1 describe un escúter convencional controlado por una palanca de mando, que se utiliza para transportar personas y circular en la calle. No tiene canasta para ir de compras, no sigue a las personas, no tiene cámaras y el sistema de motores y dirección tiene un eje que une las ruedas y sirve para dar dirección. El documento WO2004039612A2 describe un sistema/plataforma similar a la base de una oruga que permite el acoplamiento de sillas de ruedas, por ejemplo, para que puedan cruzar terrenos difíciles, que no podrían por sí mismos (tal como las escaleras). No usa cámaras, ni sigue a las personas.

El documento US 2011/026770 A1 divulga un método para usar un vehículo remoto que tiene una cámara de visión estéreo para detectar, rastrear y seguir a una persona. Esta divulgación tiene como objetivo desarrollar un sistema que permita a los humanos y vehículos remotos trabajar de manera cooperativa, uno al lado del otro, en entornos del mundo real. La solución permite navegar el vehículo remoto a una ubicación adecuada en relación con la persona. El documento US 2005/216126 A1 divulga un robot de dispositivo personal autónomo para identificar, rastrear y aprender los hábitos de una persona específica y determinar si ha ocurrido un evento fuera de lo común. Esta solución tiene como objetivo monitorear y atender a personas tales como personas mayores o discapacitadas e informar su estado y el estado de sus entornos de vida.

Resumen

Se describe un sistema autónomo diseñado para seguir a una persona, que incluye:

1. Vehículo con ruedas;

2. cámara de profundidad 3D;

3. Sensores de distancia y/o táctiles;

4. Al menos dos motores, cada uno para conducir una o más ruedas respectivamente de cada lado, a la izquierda y a la derecha del vehículo, y un módulo de procesamiento de datos, que incluye una unidad de decisión configurada para:

o Con base en la ubicación de la persona en el espacio, el sistema calculará un error. Con base en este error, el sistema alterará la velocidad de cada motor para que pueda moverse a una posición óptima detrás del usuario; o Si la ubicación de la persona tiene una desviación hacia la derecha o hacia la izquierda, los motores reciben diferentes velocidades generando un trayecto curvo, permitiendo así que el sistema gire;

o Si la ubicación de la persona tiene una desviación hacia adelante o hacia atrás, los motores reciben los mismos valores de velocidad para hacer que el sistema siga un trayecto lineal, lo que permite seguir al usuario en línea recta hacia adelante o hacia atrás;

En una realización preferida, el sistema está configurado adicionalmente para detener el motor si detecta la proximidad y/o el contacto de un objeto por los sensores de distancia y/o contacto mencionados.

En una realización preferida, el sistema está configurado adicionalmente para detener ambos motores si la cámara de profundidad 3D detecta que la distancia entre el sistema y la posición del individuo es inferior a un límite predeterminado de seguridad.

En una realización preferida, el sistema está configurado además para, antes de seguir a un individuo, reconocer al individuo al que debe seguir el reconocimiento facial, el reconocimiento de gesto predefinido, la etiqueta RFID o el código de barras.

En una realización preferida, el sistema está configurado además para, antes de seguir a un individuo:

• Detectar la presencia de una forma humana con una cámara de profundidad 3D;

• Reconocer al individuo al que debe seguir un gesto de reconocimiento predefinido, rasgos faciales o posición; • Asignar un identificador único del individuo reconocido a la forma humana detectada;

• Activar el seguimiento del individuo reconocido.

Breve descripción de las figuras

Las siguientes figuras proporcionan realizaciones preferidas para ilustrar la descripción y no deben verse como limitantes del alcance de la invención.

Figura 1a: Plano lateral esquemático de una realización, en la que:

(A) representa el dispositivo de seguimiento acoplado a un carrito de compras;

(1) representa motores y baterías;

(2) representa una cámara de profundidad 3D;

(3) representa sensores de obstáculos (distancia y/o tacto).

Figura 1b: Representación esquemática de una realización, en la que:

(A) representa el dispositivo de seguimiento, acoplado a un carrito de compras;

(B) representa una silla de ruedas, sobre la cual se mueve el usuario;

(1) representa motores y baterías;

(2) representa una cámara de profundidad 3D;

(3) representa sensores de obstáculos (distancia y/o contacto), y

(4) representa los elementos de control y fuente de potencia.

Figura 1c: Representación esquemática de una realización, en la que se representan:

(1) - Cámara de profundidad 3D

(2) - Puente H - Motor izquierdo

(3) - Puente H - Motor derecho

(4) - Indicador de movimiento y dirección

(5) - Comunicación en serie

(6) - RS 232

(7) - USB

(8) - Sensores de distancia

(9) - Unidad de control del sensor

(10) - Unidad de control del motor

(11) - Unidad de control principal

Figura 2: Representación esquemática del método de operación del sistema.

Figura 3: Representación esquemática del método de detección y recuperación de usuarios.

Figura 4: Representación esquemática del método de seguimiento activo.

Figura 5: Representación esquemática del método de detección y evitación de obstáculos.

Figura 6: Representación esquemática del método de operación del sistema, en el que se representan:

(1) - Obtener imagen esquelética de la cámara 3D

(2) - Algoritmo de detección y recuperación de usuarios

(3) - Algoritmo de seguimiento activo

(4) - Comunicación de la unidad de control del motor

Figura 7: Representación esquemática del método de detección y recuperación de usuarios, en el que están representados:

(1) - Obtener matriz de esqueleto

(2) - Detectar nuevos usuarios

(3) - El usuario está perdido

(4) - Actualizar información esquelética del usuario

(5) - No hay esqueleto para rastrear

(6) - Nuevo esqueleto para rastrear.

Figura 8: Representación esquemática del método de seguimiento activo, en el que se representan:

(1) - Datos de posición del esqueleto

(2) - Calcular error lateral con PID para posición lateral

(3) - Calcular error de distancia con PID para posición de distancia

(4) - Calcular la velocidad del motor a partir del error de distancia

(5) - Calcular la velocidad del motor a partir de un error lateral

(6) - Algoritmo de detección y evitación de obstáculos

(7) - Calcular la velocidad final.

Figura 9: Representación esquemática del método de detección y evitación de obstáculos, en el que se representan: (1) - Obtener lecturas del sensor

(2) - Actualizar información de datos del sensor (distancia, nombre del sensor y posición)

(3) - Verificar la distancia del sensor y las ubicaciones de los rangos de seguridad parametizados

(4) - Obstáculo detectado en un lado de wigo

(5) - Obstáculo detectado en múltiples sensores orientados en la misma dirección

(6) - Crear un modificador de velocidad para que ambos motores disminuyan la velocidad.

(7) - Crear un modificador de velocidad con base en la ubicación de lectura del sensor para ambos motores de forma independiente.

Figura 10: Representación esquemática de los parámetros de vista del sistema, en los que se representan:

(1) - Posición ideal (punto de ajuste)

(2) - Punto de origen (wi-GO)

(3) - Umbral máximo del eje X

(4) - Umbral mínimo del eje X

(5) - Eje Z/Posición X ideal

(6) - Umbral máximo del eje Z

(7) - Posición Z ideal

(8) - Umbral mínimo Z

(9) - Eje X

Figura 11: Representación esquemática del método de giro, en el que se representan:

(1) - Posición del esqueleto del usuario (z, x)

(2) - wiGO (0,0)

(3) - Rueda derecha

(4) - Rueda izquierda

(5) - Eje Z de referencia

(6) - Alfa, ángulo entre (5) y (1)

(7) - Alfa, mismo ángulo que (6)

(8) - Posición deseada de la rueda derecha

(9) - Posición deseada de la rueda izquierda

(10) - Distancia entre ruedas

(11) - Radio de giro

(12) - Centro instantáneo de curvatura

Descripción detallada

El sistema funciona como un dispositivo autónomo, diseñado para seguir a personas, discapacitadas o no, lo que permite transportar objetos sin dificultad, facilitando la vida, proporcionando más comodidad y seguridad a quienes ya enfrentan varios obstáculos diarios. Entre las principales características del producto, énfasis en:

• Asistencia en el transporte de objetos por personas con movilidad reducida y todos los demás;

• Seguimiento claro y alineado de una persona en particular a lo largo de un trayecto;

• Detección de obstáculos y peligros y su evitación;

• Reconocimiento de imagen con base en cámaras de profundidad 3D reales, evitando la necesidad de un dispositivo para comunicarse con el sistema.

Desde el punto de vista estético, la invención puede presentarse con las mismas dimensiones que los carritos de compras normales, que se pueden encontrar en los supermercados. Además, teniendo en cuenta su producción en masa, así como el propósito de su uso, es posible rediseñar el producto, satisfaciendo así las necesidades del cliente, aumentando el rendimiento del automóvil en sí, es decir, carros de equipaje particulares, cochecitos de bebé, una silla de ruedas adicional, un carrito de compras autónomo, transporte de cualquier tipo de mercancía, entre otros.

Como se puede ver en la figura 1, el sistema comprende uno o más: motores, baterías, cámaras de profundidad 3D, sensores de distancia, tableros de control (es decir, tablero de sensores de control, tablero de motores de control y tablero de control general) y unidades de procesamiento (es decir, tableta, PC o componentes de un PC) que se pueden aplicar a cualquier sistema físico.

Esta combinación de componentes y tecnologías, asociada con un método de operación adecuado, es el objetivo de nuestra invención e introduce un nuevo concepto en el campo del seguimiento y el transporte de objetos.

En la ilustración, se puede observar la forma en que los componentes que comprenden nuestro sistema se comunican y conectan de acuerdo con una realización preferida.

Descripción de cada componente:

Motores: componente que da potencia al sistema y le permite moverse.

• Batería: componente que proporciona autonomía energética al sistema.

• Cámaras de profundidad 3D: componente con capacidad de visualización del entorno, que permite el reconocimiento de personas, rostros humanos, voces humanas, gestos y objetos circundantes con precisión y en un entorno 3D. • Sensores de distancia: componentes que analizan las distancias del sistema de acuerdo con los objetos del entorno en el que opera. Con este componente, el sistema puede detectar y evitar colisiones.

• Tableros de control: este componente recibe y envía datos a varios componentes, así como la distribución de energía de la batería. Los tableros de control incluyen todos los tableros en los sistemas.

• Unidad de procesamiento: esta unidad procesa toda la información de todos los componentes, así como todo el software de procesamiento creado.

Una vez que se combinan los componentes, obtenemos un sistema capaz de rastrear a una persona que puede aplicarse en:

• Centros comerciales: para transportar compras de clientes o reposición de existencias de empleados.

• Aeropuertos: para el transporte de equipaje, ya sea por clientes o empleados.

• Hogar - transporte de objetos en la residencia.

• Hospitales: para transportar medicamentos, comidas, ropa, procesos u otros objetos que necesitan los diversos departamentos.

• Industria: para transportar objetos entre secciones.

• o cualquier otro escenario que necesite transporte de productos o que necesite un sistema autónomo.

Subrayaremos que el sistema para centros comerciales, aeropuertos y residencia está diseñado para personas con discapacidad o movilidad reducida, pero puede ser utilizado por cualquier persona. Con respecto al hardware (véase figura 2), el sistema consta de dos unidades principales: la unidad de control y adquisición y la unidad de decisión. La unidad de control y adquisición es el módulo de hardware y software que transmite órdenes para motores y realiza lecturas de valor de los sensores de distancia. Esto se comunicará con la unidad de decisión a través de una conexión de datos, es decir, Ethernet o USB.

La mayoría de los comandos de movimiento son recibidos por la unidad de decisión. Sin embargo, en situaciones de proximidad de obstáculos, este módulo (unidad de control y adquisición) tiene el poder de ordenar la parada inmediata o recalcular el trayecto. Luego, transmitirá la información de los sensores a la unidad de decisión.

La unidad de decisión es el módulo de software que está conectado a una cámara de profundidad 3D. Esta cámara proporciona la identificación del usuario actual y, con base en su posición hacia el sistema, permite al módulo de decisión calcular el movimiento o detener los comandos.

Con respecto al software, la captura de escena (véase figura 3) permite que el sistema identifique objetos y personas. Usando la cámara de profundidad 3D, el sistema puede obtener las distancias de estos objetos. La cámara de profundidad 3D tiene la capacidad de detectar una forma humana. Esto se logra mediante la proyección de una matriz infrarroja desde la cámara. Una cámara de profundidad de detección puede leer la ubicación de los puntos infrarrojos en la matriz y calcular las distancias entre sí. Los algoritmos integrados en las bibliotecas de cámaras de profundidad 3D permiten el reconocimiento de la forma de una persona a través de estos datos. Los datos biométricos pueden calcularse utilizando variables tales como la altura, la longitud de los brazos, las piernas, básicamente la fisonomía humana completa.

La identificación de los objetos se realiza a través de la misma cámara de profundidad, agregando las funcionalidades de la cámara RGB, proporcionando así una mayor fiabilidad de los datos en los objetos, ya que se agrega color a la forma.

En cuanto al reconocimiento de la persona, tan pronto como el sistema esté encendido y listo para funcionar, dependerá de la interacción con las personas. Como se explicó anteriormente, la cámara de profundidad tiene el propósito de identificar una fisonomía humana. A través de gestos, posición, voz o características personales (estructura y/o reconocimiento facial) se crea una conexión virtual del sistema con la persona reconocida por la cámara de profundidad. Mientras la persona permanezca en el ángulo de visión de la cámara de profundidad, el sistema no perderá al usuario.

Otro sistema de reconocimiento alternativo implementado con base en el uso de códigos de barras o códigos bidimensionales (Códigos QR) que serán colocados por la persona frente a la cámara y, utilizando el algoritmo apropiado, asociarán a la persona al sistema Este sistema fue diseñado para personas con problemas en sus movimientos físicos y que no pueden hacer el gesto preestablecido.

Otra realización tiene que ver con el uso de comandos de voz o reconocimiento facial. El procedimiento de reconocimiento y análisis es el mismo que el utilizado en el reconocimiento de la persona.

La calibración consiste en ajustar la cámara hacia las personas, sus características físicas varían enormemente de un individuo a otro. La cámara de profundidad tiene un motor que permite el ajuste del ángulo dentro del plano horizontal. Cuando se produce la primera identificación, podemos ajustar la cámara para garantizar que la persona se ajuste al área de imagen recibida de la cámara de profundidad.

En cuanto a la operación, como el sistema reconoce a una persona, rastreará y seguirá a la persona que la usa. En este proceso, el algoritmo absorbe los datos recopilados por la cámara de profundidad y los procesa, de modo que pueda identificar los movimientos de la persona. La cámara de profundidad recopila datos de la persona que está siguiendo. Esta estructura de datos contiene información sobre la distancia y la posición del usuario. En función de estas distancias y posiciones relativas, se pueden ver valores diferenciales al identificar al usuario y permitir que el sistema siga a la persona.

De esta manera, el sistema puede identificar hacia dónde se mueve la persona (adelante, atrás, al lado, rotar, etc.). El sistema mantiene a la persona en su centro de visión a una distancia fija que es presentada y programable. Cuando uno se mueve lateralmente y abandona el centro de visión del sistema, calcula el error (distancia de la persona al centro de visión) y calcula la fuerza que debe aplicarse al motor izquierdo y/o derecho, para que pueda ajustarse hacia atrás. y tener a la persona en su centro de visión, dependiendo de si la persona se mueve hacia la izquierda o hacia la derecha.

Con respecto a la velocidad delantera y trasera, con base en la cámara de profundidad, el sistema identifica qué tan lejos está la persona de ella, y siempre mantendrá la misma distancia. Cuando el usuario se mueve, se calcula el error (posición del usuario con respecto a la distancia ideal que separa el sistema de él) y se proporcionarán los comandos correctos para corregir esas distancias. Este proceso permite que el movimiento delantero y trasero del sistema mantenga la distancia ideal con la persona, manteniendo siempre una alineación constante con ellos. Combinando estos datos, el sistema sigue a la persona a todas las direcciones posibles. Los diagramas de la figura 4 muestran la operación descrita anteriormente.

Respetando la inteligencia artificial del sistema, este documento describe un sistema de soporte de decisiones (véase figura 5) con base en algoritmos de heurística e inteligencia artificial, que brindan asistencia en tareas específicas tales como:

• Reconocimiento facial;

• reconocimiento de voz;

• Curvaturas y trayectos;

• frenado;

• Rutas de escape;

• Aceleración;

• Gestión de la batería;

• Capacidad para reaccionar ante situaciones inesperadas;

• Capacidad para reaccionar a los errores;

• Capacidad para evitar obstáculos;

• Reconocimiento mejorado de personas y objetos;

En lo que respecta a los sistemas de seguridad, el dispositivo también comprende sensores de distancia diseñados para evitar colisiones con el entorno circundante. Los sensores pueden analizar obstáculos, enviar señales de ultrasonido y, dependiendo del tiempo que se tarde en alcanzar un obstáculo y rebotar de regreso al sensor, calculando la distancia al objeto. Con base en esta información, el sistema verifica si hay obstáculos en el trayecto, cumpliendo con una distancia segura especificada, en la cual el sistema tiene que detenerse o crear un trayecto curvo alrededor del objeto para evitar una colisión. Estas distancias tienen precisión milimétrica en una realización preferencial. En caso de duda mínima o una señal de que el sistema no está siguiendo el modo de operación establecido en el algoritmo, el sistema se ve obligado a detenerse por defecto.

En una realización preferida, se define un conjunto de alertas de sonido y notificaciones escritas en la pantalla para indicar el correcto funcionamiento del sistema. Comenzando por la advertencia de nivel de batería, a una notificación que indica si el sistema ha perdido a la persona o si algún componente está funcionando mal o se ha bloqueado, entre otros.

Uno de los componentes principales del sistema es la cámara de profundidad 3D. Se pueden considerar cámaras adicionales para su uso en el sistema, tal como el sensor Kinect de Microsoft, el sensor Xtion Pro de Asus, PrimeSense Capri o cualquier otro dispositivo con las mismas especificaciones técnicas y funcionamiento.

El sistema se puede desarrollar utilizando el SDK oficial de Microsoft o el SDK de código abierto OpenNI, que detecta todo el hardware de cualquier cámara 3D de profundidad, permitiendo así el desarrollo del sistema independientemente de la cámara utilizada.

En conclusión, el sistema puede utilizar cualquier cámara de detección de profundidad capaz de capturar un escenario en tiempo real, así como capaz de segmentación y reconocimiento de formas humanas.

Las siguientes realizaciones, aunque más específicas, también son aplicables a la divulgación general.

La figura 6 describe el funcionamiento general del algoritmo. Primero, confiamos en la cámara de profundidad 3D para recuperar un marco (1) esquelético, que consiste en una estructura de datos de esqueletos. Un esqueleto es una estructura de datos que contiene información sobre las articulaciones y huesos del usuario, así como su posición global. En caso de que haya esqueletos disponibles, esos datos se envían al algoritmo (2) de detección y recuperación de usuarios. Esto hará que un usuario lo siga o no. Si no hay usuarios que rastrear, el sistema no hará nada y esperará el próximo ciclo. Si hay usuarios que rastrear, el sistema proporcionará el algoritmo de seguimiento activo con el esqueleto del usuario rastreado (3). Este procedimiento devolverá la velocidad final para enviar a los motores, a través del módulo (4) de comunicación de la unidad de control del motor, y luego se repite el bucle.

El algoritmo de detección y recuperación del usuario (figura 7) describe cómo el sistema crea un enlace virtual al esqueleto de un usuario. Una vez que obtenga una colección de esqueletos, verificará si es un nuevo usuario o no, al encontrar si ya estaba siguiendo a alguien. En caso de que no siguiera a nadie, intentará bloquear a un usuario mediante detección de voz, facial, gesto o postura. Este procedimiento consiste en bloquear al usuario y devolver un esqueleto y una ID de esqueleto para rastrear.

Si el sistema ya estaba siguiendo a un usuario, verificará si la colección de esqueletos tiene la misma ID de seguimiento que el usuario seguido anteriormente. Si se encuentra la misma ID de usuario, la información esquelética de ese usuario se actualiza y devuelve. Si la colección de esqueletos no tiene la ID de seguimiento actual, el sistema supone que ha perdido al usuario.

El algoritmo de seguimiento activo (figura 8) acepta un esqueleto de usuario y analiza su posición (1) global. X define qué tan lejos del lado está el usuario. Z define qué tan lejos está el usuario del dispositivo, como se explica en la figura 10. Con base en esa información, dos controladores PID diferentes provistos con esos valores, uno para cada eje. Los PID devolverán dos errores con base en puntos de ajuste predefinidos. Los puntos de ajuste son la posición óptima en la que debe estar el usuario, configurados en el PID. Estos dos errores definirán si el sistema se mueve hacia adelante, hacia atrás, hacia la izquierda o hacia la derecha. Teniendo esos errores (2) (3), una velocidad final que se calculará (4) (5). En caso de que esos errores sean mayores que un umbral predefinido, unimos las diferentes velocidades a una velocidad (7) final y devolvemos el valor. Paralelamente, el algoritmo de detección y evitación de obstáculos devolverá un modificador de velocidad que se multiplicará en el cálculo de velocidad (7) final. Un modificador de velocidad es un valor entre 0 y 1 que representa el porcentaje de la velocidad a tener en cuenta, siendo 1 la velocidad máxima y 0 la velocidad mínima.

Este procedimiento actuará como un sistema de frenado que hará que las ruedas disminuyan la velocidad, en caso de que se acerque un obstáculo.

El modificador de velocidad es un valor entre 0.0 y 1.0 que reducirá o no la velocidad del motor, independientemente para evitar obstáculos o ambos para detectar obstáculos.

La figura 9 describe el algoritmo de detección y evitación de obstáculos. Este componente lee información de sensores (1) de distancia, analiza y actualiza la estructura (2) de datos. Hay una verificación en cada sensor para verificar distancias más pequeñas que las zonas (3) seguras predefinidas. Si los sensores detectan un obstáculo en la dirección, hacia adelante o hacia atrás del dispositivo (5), el sistema calculará un modificador de velocidad para ambos motores (6), ralentizando o deteniendo el dispositivo. Si los sensores detectan un obstáculo en el costado del dispositivo (4), el sistema calculará dos modificadores (7) de velocidad diferentes para dar a cada motor, lo que resulta en un movimiento de curva, lo que permite evitar el obstáculo.

La figura 10 representa la vista esquemática del sistema. Esto describe el método de actuación del dispositivo (2). El dispositivo (2) sigue al usuario en todo momento corrigiendo su posición en relación con el usuario, por lo que el usuario permanece dentro de la zona segura/zona de no actuación.

El sistema tiene dos ejes de actuación, el eje (9) X y el eje (5) Z. El eje X representa la posición lateral del usuario en relación con el dispositivo. El eje Z representa qué tan lejos o qué tan cerca está el usuario del dispositivo.

El sistema tiene umbrales, umbrales mínimos (4) y máximos (3) del eje X y umbral mínimo (8) y máximo (6) del eje Z. Estos umbrales definirán cuándo actúa el sistema. Si el usuario se encuentra dentro de estos umbrales, el dispositivo no se moverá. Si el usuario está fuera de esos límites, el dispositivo comenzará a moverse. Si el usuario está más lejos del umbral (6) máximo Z, el dispositivo seguirá al usuario. Si el usuario está más cerca del umbral mínimo, el dispositivo se volverá.

La figura 11 describe cómo el sistema calcula la cantidad de aceleración que necesita cada rueda para seguir a un usuario durante un trayecto curvo.

La figura 11a describe un escenario en el que el usuario (1) está a la derecha del punto de ajuste (5) de referencia del dispositivo. En este escenario, el sistema necesita calcular cuánta aceleración tiene que dar a los motores izquierdo (4) y derecho (3), por lo que calcula el ángulo que está haciendo el usuario con el punto de ajuste/eje Z (5).

En la figura 11b, el sistema calcula el ángulo que está haciendo el usuario (6). Puede crear el mismo ángulo de curvatura (7) para calcular la aceleración de las ruedas para crear el trayecto (9) curvo exterior y el trayecto (8) curvo interior. Estos trayectos corregirán el ángulo (6) a cero, como se muestra en la figura 11c.

La figura 11d describe el método de cálculo de velocidad para ambas ruedas. La velocidad final para la rueda (9) izquierda y la rueda (8) derecha se calcula con:

^{Rueda Izquierda = (} R b/2 ^{) * Alfa}

^{Rueda Derecha =} (R ^- b/2 ^{) * Alfa}

donde R es el radio (11) de giro, b es la distancia entre las ruedas (10) y Alfa es el ángulo (7) de rotación. El Centro Instantáneo de Curvatura (12) definirá en qué punto el dispositivo dará la vuelta. Si el radio de giro es cero, el ICC será la mitad de la distancia entre las ruedas.

Las realizaciones anteriores son combinables. Las siguientes reivindicaciones establecen realizaciones particulares de la invención.

Claims (5)

REIVINDICACIONES

1. Sistema autónomo para el seguimiento de una persona, que comprende:

a. un vehículo con ruedas (A - figura 1 a);

b. una cámara de profundidad 3D, configurada para identificar objetos y personas, y reconocer la persona que está siendo rastreada (2 - figura 1a);

c. una pluralidad de sensores de distancia y/o táctiles (3 - figura 1a);

d. al menos dos motores (1 - figura 1a), cada motor impulsando una o más ruedas hacia un lado izquierdo o un lado derecho con respecto a la dirección de desplazamiento del vehículo con ruedas;

e. una unidad de control y adquisición;

f. una unidad de control de motor, en comunicación con los motores y con la unidad de control y adquisición; y g. una unidad de decisión en comunicación con la cámara de profundidad 3D y con la unidad de control y adquisición, en donde la unidad de control y adquisición transmite órdenes a los motores a través de la unidad de control del motor, realiza la lectura de valores de los sensores de distancia y/o táctiles, y tiene el poder de ordenar la parada inmediata o recalcular un trayecto y luego transmitir a la unidad de decisión; y

en donde la unidad de decisión recibe transmisiones de la unidad de control y adquisición y también calcula los comandos de movimiento o detención con base en la información recibida de la cámara de profundidad 3D, caracterizado porque el sistema está configurado para:

- obtener, para cada uno de una pluralidad de individuos, un esqueleto que comprende información perteneciente a uno o más huesos y una o más articulaciones del individuo respectivo;

- determinar si el esqueleto de la persona en seguimiento está presente entre la pluralidad de los esqueletos;

- determinar una primera distancia entre el esqueleto de la persona y el vehículo a lo largo de un primer eje, eje X, y una segunda distancia entre el esqueleto de la persona y el vehículo a lo largo de un segundo eje, eje Z, si el esqueleto de la persona es presente entre la pluralidad de esqueletos;

- determinar un primer error entre una ubicación prevista de la persona en el espacio y una ubicación real de la persona en el espacio, con base en la primera distancia, el primer error asociado con el primer eje y un segundo error entre la ubicación prevista y el ubicación real, con base en la segunda distancia, estando asociado el segundo error con el segundo eje; y con base en el primer y segundo error, alterar la velocidad de cada motor de modo que el vehículo se mueva para reducir el primer y segundo error, con el fin de mover el vehículo hacia y la posición prevista del vehículo detrás de la persona;

- si el primer y el segundo error son tales que la ubicación real de la persona en el espacio está a la derecha o a la izquierda de la ubicación prevista de la persona en el espacio, los al menos dos motores tienen velocidades diferentes tal como para hacer que el vehículo siga un trayecto curvo, lo que hace que el vehículo gire;

- si el primer y el segundo error son tales que la ubicación real de la persona en el espacio es hacia adelante o hacia atrás de la ubicación prevista de la persona en el espacio, a los al menos dos motores se les dan los mismos valores de velocidad para que el sistema siga un trayecto lineal, haciendo que el vehículo siga una línea recta.

2. Sistema de acuerdo con la reivindicación anterior configurado además para detener ambos motores (6 - figura 9) si detecta la proximidad y/o el contacto de un objeto por dicha distancia y/o sensores táctiles (5 - figura 9).

3. Sistema de acuerdo con cualquiera de las reivindicaciones anteriores, configurado además para detener ambos motores si la cámara 3D detecta que la distancia entre el sistema y la persona a rastrear es inferior a un límite de seguridad predeterminado.

4. Sistema de acuerdo con cualquiera de las reivindicaciones anteriores, configurado además para, antes de rastrear a una persona, reconocer a dicha persona (2 - figura 6) mediante reconocimiento facial, reconocimiento de gestos predefinido, etiqueta RFID predefinida o código de barras predefinido.

5. Un sistema de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por estar configurado adicionalmente para, antes de rastrear a una persona, llevar a cabo los siguientes pasos:

- detectar la presencia de una forma humana con la cámara de profundidad 3D (1 - figura 6);

- reconocer a la persona que se debe rastrear (2 - figura 6) mediante un reconocimiento facial predefinido, reconocimiento de gestos predefinido, etiqueta RFID predefinida o código de barras predefinido;

- asignar una ID única a la forma humana detectada (2 - figura 6; 1 - figura 7); y

- activar el seguimiento de la persona reconocida (3 - figura 6).