ES2661538T3 - Control de dispositivo de extremidad - Google Patents

Control de dispositivo de extremidad Download PDF

Info

Publication number
ES2661538T3
ES2661538T3 ES13171671.4T ES13171671T ES2661538T3 ES 2661538 T3 ES2661538 T3 ES 2661538T3 ES 13171671 T ES13171671 T ES 13171671T ES 2661538 T3 ES2661538 T3 ES 2661538T3
Authority
ES
Spain
Prior art keywords
data
control unit
control
limb
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13171671.4T
Other languages
English (en)
Inventor
Dario Farina
Dejan Popovic
Bernhard Graimann
Marko Markovic
Strahinja Dosen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Otto Bock Healthcare GmbH
Original Assignee
Otto Bock Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Otto Bock Healthcare GmbH filed Critical Otto Bock Healthcare GmbH
Application granted granted Critical
Publication of ES2661538T3 publication Critical patent/ES2661538T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A61F2/58—Elbows; Wrists ; Other joints; Hands
    • A61F2/583—Hands; Wrist joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2002/6827—Feedback system for providing user sensation, e.g. by force, contact or position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A61F2002/7615—Measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A61F2002/7615—Measuring means
    • A61F2002/769—Displaying measured values
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36435—Electromyographical, myoelectric control signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39528—Measuring, gripping force sensor build into hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40139—Force from follower converted to a digital display-like fingers and object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45172—Prosthesis

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Transplantation (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Prostheses (AREA)

Abstract

Unidad (1) de control para controlar eléctricamente un dispositivo de extremidad (2) eléctricamente controlable en forma de una extremidad artificial para un ser humano o una extremidad de robot, comprendiendo el dispositivo (2) de extremidad una pluralidad de accionadores, comprendiendo la unidad (1) de control una primera interfaz (8) para conectar la unidad (1) de control al dispositivo (2) de extremidad, comprendiendo la unidad (1) de control una segunda interfaz (7) para conectar la unidad (1) de control a un dispositivo (4, 5, 6, 18) de recopilación de datos que comprende uno o más dispositivos de detección, comprendiendo la unidad (1) de control una unidad (10) de procesamiento que está dispuesta para controlar el dispositivo (2) de extremidad basándose al menos en datos recopilados por el dispositivo (4, 5, 6, 18) de recopilación de datos, en la que la unidad (1) de control está dispuesta para emitir una etapa de acción de control individual a los accionadores del dispositivo (2) de extremidad calculada por la unidad (10) de procesamiento basándose en unos primeros datos o combinación de datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos, y la unidad (1) de control está dispuesta para emitir una pluralidad de etapas de acción de control a los accionadores del dispositivo (2) de extremidad calculadas por la unidad (10) de procesamiento basándose en unos segundos datos o combinación de datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos, siendo los segundos datos o combinación de datos diferentes de los primeros datos o combinación de datos, induciendo la pluralidad de etapas de acción de control un movimiento automático más complejo del dispositivo (2) de extremidad que la etapa de acción de control individual.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
CONTROL DE DISPOSITIVO DE EXTREMIDAD DESCRIPCIÓN
La invención se refiere al campo del control de un dispositivo de extremidad en forma de una extremidad artificial para un ser humano o una extremidad de robot. En particular, la invención se refiere a una unidad de control para controlar eléctricamente un dispositivo de extremidad eléctricamente controlable según la reivindicación 1, a un sistema que comprende una unidad de control de este tipo según la reivindicación 11, a un método para controlar un dispositivo de extremidad eléctricamente controlable según la reivindicación 19 ya un programa informático según la reivindicación 21.
Aunque la invención es totalmente aplicable al control tanto de extremidades artificiales para seres humanos como para extremidades de robots, en la siguiente descripción se hace referencia principalmente al campo de extremidades artificiales para seres humanos, por ejemplo una prótesis de brazo o de mano. La extremidad puede ser por ejemplo cualquier extremidad, tal como un brazo o una pierna.
En dispositivos de la técnica anterior, se usa el control mioeléctrico par controlar un dispositivo de extremidad eléctricamente controlable. El control mioeléctrico es el método más común en la bibliografía, y de hecho es el único método que se ha aceptado en la industria y se ha implementado en productos comerciales. En el control mioeléctrico, se evalúa la actividad muscular usando registros de electromiografía (EMG) y se descodifican las señales de EMG adquiridas para reflejar la intención del usuario. Los motivos para usar señales mioeléctricas son el control subconsciente y una interfaz sencilla. Este método de control ya ha sido objeto de investigación desde hace décadas, pero ahora resulta evidente que hay una gran brecha entre lo que se ha desarrollado y sometido a prueba a nivel de investigación y lo que se ha implementado realmente en los dispositivos comerciales en funcionamiento. Básicamente, sólo la forma más sencilla de control mioeléctrico (es decir, interfaz de dos canales/dos órdenes) demostró ser lo suficientemente robusta y práctica como para aplicarse fuera del laboratorio de investigación. Las limitaciones de este enfoque son incluso más evidentes a medida que se diseñan y se lanzan al mercado prótesis cada vez más modernas y sofisticadas, por ejemplo, Michel-angelo Hand de Otto Bock, i-Limb de Touch Bionics, Bebionic Hand de RSLSteeper. Estos sistemas son mecanismos mecánicos complejos con varios grados de libertad controlables de manera independiente. Controlar una funcionalidad flexible de este tipo representa una tarea difícil que es complicada de integrar en la situación de maestro-esclavo basada en patrones clásica, en la que el usuario tiene que controlar todos los aspectos de la prótesis durante la ejecución de una tarea. Con una amputación, una persona también presenta una pérdida de percepción (funciones sensoriales). Las prótesis actuales pueden restaurar la funcionalidad motriz en cierta medida, pero ninguno de los dispositivos existentes ofrece ninguna clase de realimentación somatosensorial y propioceptiva, por ejemplo tacto, fuerza, posiciones de articulaciones, etc. Hace mucho tiempo se presentó la idea de cerrar el bucle y proporcionar la realimentación de la prótesis al usuario. Las sensaciones perdidas pueden restaurarse usando sustitución sensorial. En este método, la información que se recibía originalmente por la extremidad perdida se suministra estimulando un sentido alternativo todavía intacto. Por ejemplo, las prótesis pueden equiparse con los sensores que miden la fuerza de contacto y los ángulos de articulación, y la información de estos sensores pueden suministrarse estimulando la piel de la extremidad residual. Los métodos más comunes para la activación del sentido del tacto son la estimulación eléctrica y mecánica directa, por ejemplo mediante motores vibratorios en miniatura. Aunque estos métodos son relativamente fáciles de implementar, el canal de realimentación resultante tiene una transferencia de información limitada debido a las limitaciones inherentes del sentido del tacto estimulado artificialmente.
Se considera que el documento US 4.650.492 representa la técnica anterior más cercana, da a conocer manos artificiales y un método de control de dichas manos. El documento WO 2011/022572 A1 da a conocer un sistema de control para dispositivos mecánicos articulados.
Un objeto de la invención es superar las desventajas anteriormente mencionadas.
Según la reivindicación 1, el objeto se logra mediante una unidad de control para controlar eléctricamente un dispositivo de extremidad eléctricamente controlable en forma de una extremidad artificial para un ser humano o una extremidad de robot, comprendiendo el dispositivo de extremidad una pluralidad de accionadores, comprendiendo la unidad de control una primera interfaz para conectar la unidad de control al dispositivo de extremidad, comprendiendo la unidad de control una segunda interfaz para conectar la unidad de control a un dispositivo de recopilación de datos que comprende uno o más dispositivos de detección, comprendiendo la unidad de control una unidad de procesamiento que está dispuesta para controlar el dispositivo de extremidad basándose al menos en datos recopilados por el dispositivo de recopilación de datos, en la que la unidad de control está dispuesta para emitir una etapa de acción de control individual a los accionadores del dispositivo de extremidad calculada por la unidad de procesamiento basándose en unos primeros datos o combinación de datos recibidos desde el dispositivo de recopilación de datos, y la unidad de control está dispuesta para emitir una pluralidad de etapas de acción de control a los accionadores del dispositivo de extremidad calculadas por la unidad de procesamiento basándose en unos segundos datos o combinación de datos recibidos desde el dispositivo de recopilación de datos, siendo los segundos datos o combinación de datos diferentes de los primeros datos o combinación de datos, induciendo la pluralidad de etapas de acción de control un movimiento automático más complejo del dispositivo de extremidad que
5
10
15
20
25
30
35
40
45
50
55
60
65
la etapa de acción de control individual.
La invención tiene la ventaja de que se hace que la unidad de control que actúa como controlador artificial sea más “inteligente” de modo que puede añadir decisiones autónomas a las intenciones reconocidas del usuario y por tanto realizar automáticamente una pluralidad de etapas de acción de control. Esto requiere menos implicación del usuario. De esta manera, se propone un cambio conceptual en comparación con los conceptos de la técnica anterior.
La pluralidad de etapas de acción que se realizan automáticamente por la unidad de control pueden realizarse simultáneamente, lo que significa al mismo tiempo, o de una manera secuencial. Además, puede implementarse ventajosamente una combinación de algunas etapas de acción de control realizadas simultáneamente y algunas etapas de acción de control realizadas de manera secuencial de la pluralidad de etapas de acción de control.
Tal como se explicó anteriormente, una evaluación crítica del estado actual de la técnica en el control de prótesis activas ha mostrado que los métodos de control actuales tienen graves limitaciones, especialmente cuando el sistema que va a controlarse es complejo (prótesis modernas). Por ejemplo, prótesis de mano actuales y avanzadas implementan varios tipos de agarre tales como agarre lateral, palmar o de pinza. Si también puede controlarse la muñeca o el codo tal como, por ejemplo, en el Dynamic Arm de Otto Bock, también tiene que ajustarse la orientación del brazo y la mano. El agarre óptimo a emplear depende de las características del objeto objetivo, por ejemplo, agarre palmar para una botella, y agarre lateral para una llave. Con un control mioeléctrico convencional, el usuario que hace funcionar la prótesis tiene que implementar varias etapas secuenciales cada vez que desea agarrar un objeto: 1) analizar el objeto y decidir el mejor tipo de agarre, 2) generar las señales para la selección de un determinado tipo de agarre (por ejemplo, varias contracciones musculares breves), 3) ajustar la apertura de la mano de modo que el objeto objetivo pueda caber (por ejemplo, varias contracciones musculares más largas), y finalmente 4) ordenar a la mano que se cierre (por ejemplo, una contracción muscular larga). Si además se necesita ajustar las articulaciones de la muñeca y el codo, el usuario tiene que cambiar al modo de control de articulaciones contrayendo conjuntamente los músculos y después generar las señales para mover las articulaciones. Por tanto, el usuario tiene que pasar por una secuencia de etapas, de una en una, que controlan diferentes aspectos del sistema protésico. Evidentemente, este procedimiento puede ser complicado, largo y difícil para el usuario. Tiene que recordar la secuencia, generar las señales de orden apropiadas, cambiar modos (por ejemplo, de selección de agarre a cierre/apertura de mano) y recordar las opciones disponibles (por ejemplo, cuántos tipos de agarre y en qué orden). Este procedimiento se vuelve más complicado para el usuario a medida que aumenta la flexibilidad del dispositivo mediante la introducción de más tipos de agarre o más articulaciones controlables. Estas desventajas pueden superarse mediante la presente invención.
Según una realización ventajosa de la invención, la unidad de control está dispuesta para recibir datos a través de la segunda interfaz desde el dispositivo de recopilación de datos que comprenden al menos información 3D (tridimensional) que incluye información de profundidad, en particular información 3D procedente de zonas circundantes del dispositivo de extremidad. Con tal información 3D que incluye información de profundidad se optimizan adicionalmente las capacidades del usuario para controlar el dispositivo de extremidad. La información 3D que incluye información de profundidad puede proporcionarse mediante la disposición de cámaras de visión estereoscópica mencionada o cualquier otro tipo de sensor que puede explorar las zonas ambientales y generar tal información, tal como un dispositivo de exploración por láser, radar o dispositivo de ultrasonidos.
Según una realización ventajosa de la invención, la unidad de control está dispuesta para recibir datos a través de la segunda interfaz desde el dispositivo de recopilación de datos que comprenden al menos uno de datos de cámara, datos de dispositivo de exploración 3D tales como datos de disposición de cámaras de visión estereoscópica, datos de exploración por láser, datos de exploración por luz blanca y datos de unidad de detección de inercia. Esto tiene la ventaja de que están disponibles datos de sensor adicionales para controlar automáticamente el dispositivo de extremidad. En dispositivos de la técnica anterior, la falta de realimentación desde la prótesis es un inconveniente para los usuarios, que afecta al rendimiento y a la aceptación del sistema. Dado que los usuarios no conocen las posiciones de las articulaciones, tienen que monitorizar la prótesis visualmente además del objeto que están a punto de agarrar, y esto es una carga cognitiva. Una vez que han agarrado el objeto, no tienen ninguna información explícita sobre la fuerza de contacto generada, y esto puede conducir a que se rompa o se resbale el objeto manipulado. Estos inconvenientes se superan por la presente invención. Con los datos adicionales es posible realizar automáticamente varios tipos de movimientos de agarre, particularmente de una manera más sensible que con dispositivos de la técnica anterior. Por ejemplo, es posible realizar algunas etapas de acción de control de manera totalmente automática, tales como selección de tipo de agarre y tamaño, y orientación del brazo y/o la mano del dispositivo de extremidad sin necesidad de implicación del usuario. Como resultado, se simplifica el control y se minimiza la carga cognitiva para el usuario. Además, ahora se cierra el bucle de control proporcionando al usuario información enriquecida sobre el estado actual del dispositivo de extremidad. En particular, la información enriquecida puede contener información visual procedente de la cámara y/o del dispositivo de exploración 3D. La unidad de detección de inercia puede comprender uno o más de acelerómetros, giroscopios y magnetómetros.
El dispositivo de exploración 3D puede ser por ejemplo una disposición de cámaras de visión estereoscópica, un dispositivo de exploración por láser, por ejemplo con desplazamiento de pulsos, tiempo de vuelo, etc., un dispositivo
5
10
15
20
25
30
35
40
45
50
55
60
65
de radar, un dispositivo de exploración por luz blanca.
Según una realización ventajosa de la invención, la unidad de control comprende una tercera interfaz para conectar la unidad de control a un dispositivo de salida visual que va a usarse por un usuario del dispositivo de extremidad, en la que la unidad de control está dispuesta para emitir datos visuales al dispositivo de salida visual basándose en datos recibidos desde el dispositivo de recopilación de datos y/o etapas de control emitidas al dispositivo de extremidad. Esto tiene la ventaja de que puede transferirse información al usuario mediante medios visuales lo que permite un alto ancho de banda de información en el reconocimiento de información por parte del usuario.
Según una realización ventajosa de la invención, el dispositivo visual es un dispositivo de realidad aumentada de visión estereoscópica que está dispuesto para llevarlo puesto un usuario del dispositivo de extremidad, que permite emitir información visual al usuario que comprende al menos información 3D que incluye información de profundidad. Esto tiene la ventaja de que la información visual que va a presentarse al usuario puede enriquecerse adicionalmente usando realidad aumentada y visión estereoscópica. El uso de realidad aumentada tiene la ventaja de que el usuario todavía tiene contacto visual con el mundo real, pero puede recibir apoyo automático, por ejemplo, destacando determinados artículos en el dispositivo de salida visual con una relación directa con el artículo real.
Según una realización ventajosa de la invención, la unidad de control está dispuesta para emitir datos visuales al dispositivo de salida visual que muestran posiciones de las articulaciones del dispositivo de extremidad. Esto tiene la ventaja de que el usuario puede controlar visualmente el funcionamiento del dispositivo de extremidad de una manera mejorada usando información visual adicional en comparación con la vista directa sin apoyo habitual en el dispositivo de extremidad.
Según una realización ventajosa de la invención, la unidad de control está dispuesta para emitir una señal de marcación en el dispositivo de salida visual basándose en una selección interna de un objeto que va a agarrar el dispositivo de extremidad, marcando la señal de marcación el objeto seleccionado en el dispositivo de salida visual. Esto tiene la ventaja de que el usuario puede usar el dispositivo de extremidad de una manera más espontánea e intuitiva que dispositivos de la técnica anterior.
Según una realización ventajosa de la invención, la unidad de control está dispuesta para calcular una orientación 3D (tridimensional) del dispositivo de extremidad o una parte del mismo a partir de los datos recibidos desde el dispositivo de recopilación de datos y para emitir información visual sobre la orientación 3D calculada en el dispositivo de salida visual. Esto tiene la ventaja de que el usuario obtiene a través del dispositivo de salida visual una vista sintética adicional sobre el dispositivo de extremidad, en la que el usuario puede elegir la dirección de visualización, sin necesidad de reposicionar una cámara.
Según una realización ventajosa de la invención, la unidad de control comprende otra interfaz para conectar la unidad de control a un dispositivo de realimentación que proporciona realimentación a un usuario del dispositivo de extremidad, en la que la unidad de control está dispuesta para emitir datos de realimentación al dispositivo de realimentación basándose en datos recibidos desde el dispositivo de recopilación de datos y/o etapas de control emitidas al dispositivo de extremidad. A través del dispositivo de realimentación puede facilitarse al usuario realimentación adicional o alternativa a la realimentación visual. Esto tiene la ventaja de que la realimentación facilitada al usuario puede enriquecerse adicionalmente. El dispositivo de realimentación puede ser al menos uno de un dispositivo de realimentación de fuerza, un dispositivo de realimentación táctil y un dispositivo de realimentación de temperatura.
Según la reivindicación 11, el objeto de la invención se logra mediante un sistema que comprende una unidad de control, un dispositivo de recopilación de datos que comprende uno o más dispositivos de detección y un dispositivo de extremidad eléctricamente controlable en forma de una extremidad artificial para un ser humano o una extremidad de robot, comprendiendo el dispositivo de extremidad una pluralidad de accionadores, controlando eléctricamente la unidad de control el dispositivo de extremidad a través de la primera interfaz basándose en datos recibidos a través de la segunda interfaz desde el dispositivo de recopilación de datos. El sistema comprende las ventajas anteriormente mencionada con respecto a sistemas de la técnica anterior.
Según una realización ventajosa de la invención, el dispositivo de recopilación de datos comprende al menos uno de una cámara, dispositivo de exploración 3D tal como disposición de cámaras de visión estereoscópica, exploración por láser, exploración por luz blanca y unidad de detección de inercia. Esto tiene la ventaja de que están disponibles datos de sensor adicionales para controlar automáticamente el dispositivo de extremidad. En dispositivos de la técnica anterior, la falta de realimentación desde la prótesis es un inconveniente para los usuarios, que afecta al rendimiento y a la aceptación del sistema. Dado que los usuarios no conocen las posiciones de las articulaciones, tienen que monitorizar la prótesis visualmente además del objeto que están a punto de agarrar, y esto es una carga cognitiva. Una vez que han agarrado el objeto, no tienen ninguna información explícita sobre la fuerza de contacto generada, y esto puede conducir a que se rompa o se resbale el objeto manipulado. Estos inconvenientes se superan por la presente invención. Con los datos adicionales es posible realizar automáticamente varios tipos de movimientos de agarre, particularmente de una manera más sensible que con dispositivos de la técnica anterior. Por ejemplo, es posible realizar algunas etapas de acción de control de manera totalmente automática, tales como
5
10
15
20
25
30
35
40
45
50
55
60
65
selección de tipo de agarre y tamaño, y orientación del brazo y/o la mano del dispositivo de extremidad sin necesidad de implicación del usuario. Como resultado, se simplifica el control y se minimiza la carga cognitiva para el usuario. Además, ahora se cierra el bucle de control proporcionando al usuario información enriquecida sobre el estado actual del dispositivo de extremidad. En particular, la información enriquecida puede contener información visual procedente de la cámara y/o el dispositivo de exploración 3D. La unidad de detección de inercia puede comprender uno o más de acelerómetros, giroscopios y magnetómetros.
Según una realización ventajosa de la invención, el dispositivo de recopilación de datos comprende un dispositivo de recopilación de datos 3D que emite al menos información 3D que incluye información de profundidad.
Según una realización ventajosa de la invención, al menos uno de una cámara dispositivo, un sensor de distancia por ultrasonidos, un puntero láser y un dispositivo de exploración por láser está montado en el dispositivo de extremidad. Esto tiene la ventaja de que el control del dispositivo de extremidad puede mejorarse mediante dispositivos de detección y puntero adicionales. Por ejemplo, por medio del dispositivo de cámara montado en el dispositivo de extremidad puede facilitarse al usuario una vista adicional sobre objetos que van a agarrarse. Mediante un sensor de distancia por ultrasonidos el procedimiento de aproximación del dispositivo de extremidad a un objeto que va a agarrarse puede controlarse de manera más eficaz y hacer que sea más fluida. El puntero láser puede usarse para apuntar a artículos que van a agarrarse mediante el dispositivo de extremidad con el fin de destacarlos en el mundo real. Además, puede usarse un dispositivo de exploración por láser para optimizar el movimiento del dispositivo de extremidad hacia un artículo que va a agarrarse.
Según una realización ventajosa de la invención, el sistema comprende un dispositivo de salida visual que está conectado a la unidad de control a través de su tercera interfaz. Esto tiene la ventaja de que el usuario puede recibir apoyo con información visual a través del dispositivo de salida visual.
Según una realización ventajosa de la invención, el dispositivo de salida visual comprende al menos uno de una pantalla o una pantalla de visión estereoscópica, una cámara o una disposición de cámaras de visión estereoscópica. Esto tiene la ventaja de que el sistema, en particular la unidad de control, puede controlar si se visualiza información visual calculada de manera interna (información virtual) o información del mundo real (información real) o una mezcla de las mismas a través del dispositivo de salida visual. En tal caso, la información real se capta por la cámara o disposición de cámaras de visión estereoscópica.
Según una realización ventajosa de la invención, el sistema comprende un dispositivo de realimentación que está conectado a la unidad de control a través de otra interfaz de la unidad de control, proporcionando el dispositivo de realimentación realimentación a un usuario del dispositivo de extremidad controlado por la unidad de control basándose en datos recibidos desde el dispositivo de recopilación de datos y/o etapas de control emitidas al dispositivo de extremidad. El dispositivo de realimentación puede ser al menos uno de un dispositivo de realimentación propioceptiva y un dispositivo de realimentación de sistema. En el caso de un dispositivo de realimentación propioceptiva, puede facilitarse realimentación en cuanto a posición de extremidad relativa, tipo de agarre, temperatura, estado de superficie, estado de material tal como blando, resbaladizo, rígido, etc. En el caso de un dispositivo de realimentación de sistema, puede facilitarse realimentación en cuanto a estado de sistema, estado de fuente de alimentación, etc. El dispositivo de realimentación puede ser al menos uno de un dispositivo de realimentación de fuerza, un dispositivo de realimentación táctil y un dispositivo de realimentación de temperatura.
Según la reivindicación 19, el objeto de la invención se logra mediante un método para controlar un dispositivo de extremidad eléctricamente controlable por una unidad de control, estando el dispositivo de extremidad en forma de una extremidad artificial para un ser humano o una extremidad de robot, comprendiendo el dispositivo de extremidad una pluralidad de accionadores, comprendiendo la unidad de control una primera interfaz para conectar la unidad de control al dispositivo de extremidad, comprendiendo la unidad de control una segunda interfaz para conectar la unidad de control a un dispositivo de recopilación de datos que comprende uno o más dispositivos de detección, comprendiendo la unidad de control una unidad de procesamiento que está dispuesta para controlar el dispositivo de extremidad basándose al menos en datos recopilados por el dispositivo de recopilación de datos, en el que la unidad de control emite una etapa de acción de control individual a los accionadores del dispositivo de extremidad calculada por la unidad de procesamiento basándose en unos primeros datos o combinación de datos recibidos desde el dispositivo de recopilación de datos, y la unidad de control emite una pluralidad de etapas de acción de control a los accionadores del dispositivo de extremidad calculadas por la unidad de procesamiento basándose en unos segundos datos o combinación de datos recibidos desde el dispositivo de recopilación de datos, siendo los segundos datos o combinación de datos diferentes de los primeros datos o combinación de datos, induciendo la pluralidad de etapas de acción de control un movimiento automático más complejo del dispositivo de extremidad que la etapa de acción de control individual.
Según una realización ventajosa de la invención, se usa control mioeléctrico únicamente para desencadenar, supervisar y realizar un ajuste fino de las operaciones automáticas de la unidad de control. De esta manera, todavía se usa información mioeléctrica para el control del dispositivo de extremidad, pero más de una manera de fondo, con el fin de liberar al usuario de una carga excesiva en la activación de varios movimientos detallados del dispositivo de extremidad mediante sus músculos.
5
10
15
20
25
30
35
40
45
50
55
60
65
Según la reivindicación 21, el objeto de la invención se logra mediante un programa informático que está dispuesto para ejecutar cualquiera de los métodos anteriormente mencionados si se ejecuta el programa informático en un procesador de la unidad de control que controla el dispositivo de extremidad. El programa informático puede estar almacenado en un medio de almacenamiento, tal como un disco duro, un CD o cualquier clase de memoria de semiconductor, tal como una tarjeta de memoria.
En resumen, la presente invención comprende, entre otras cosas, los siguientes aspectos y ventajas adicionales:
Una mejora principal dentro del control es el uso de la visión artificial tanto en control automático de bucle cerrado de la prótesis como la realimentación de realidad aumentada al usuario. El nuevo control permitirá que la prótesis realice varias tareas de manera autónoma; por tanto, disminuirá la carga para el usuario y mejorará en gran medida el rendimiento. De manera importante, el usuario todavía conservará su función de supervisión desencadenando, monitorizando y corrigiendo el desempeño.
La realimentación de realidad aumentada aprovecha el ancho de banda alto y la fidelidad del sistema de percepción humano y de visión artificial, y supera las limitaciones de la realimentación táctil. El esquema propuesto no excluye la realimentación táctil y propioceptiva procedente de los sensores integrados en la mano; sin embargo, la visión artificial transmite información única durante unas fases de prensión y preparación que no puede proporcionarse usando los sensores de posición y fuerza “incorporados”.
Una mejora principal de la invención es que las funciones de acercamiento/agarre puede basarse en la integración de visión, percepción, destrezas y ajuste fino basándose en la realimentación táctil/de fuerza.
Se propone un método de control novedoso en el que algunas etapas de control se implementan de manera totalmente automática, por ejemplo, selección de tipo de agarre y tamaño, y orientación del brazo/mano, sin necesidad de implicación del usuario. Como resultado, se simplifica el control y por tanto se minimiza la carga cognitiva para el usuario. Además, se cierra el bucle de control proporcionando al usuario información visual rica sobre el estado actual de la prótesis.
En esta invención, se propone un sistema para el control en bucle cerrado del agarre y la orientación en la prótesis de brazo/mano. El control del agarre incluye la posibilidad de selección automática del tipo de agarre y tamaño de apertura que son apropiados para agarrar el objeto objetivo. El control de acercamiento se refiere al ajuste automático de los ángulos de articulaciones de la mano de modo que la mano se orienta de manera apropiada para implementar el agarre más apropiado.
También se propone cerrar el bucle de control proporcionando al usuario una realimentación visual sobre el estado de la prótesis (por ejemplo, ángulos de articulaciones, fuerza de agarre). Usando realidad aumentada puede transmitirse información rica de alta fidelidad con un ancho de banda de información que es significativamente superior en comparación con una realimentación táctil convencional.
Una mejora principal de la invención propuesta es enriquecer al controlador artificial proporcionándole algunas fuentes adicionales de información además de la actividad eléctrica muscular habitualmente usada. De esta manera, el controlador artificial pasa a poder tomar decisiones autónomas y hacer funcionar la mano de manera automática y con implicación mínima del usuario. El controlador analiza las propiedades del objeto objetivo y selecciona automáticamente el tipo de agarre y tamaño, y ajusta la orientación de la mano para agarrar de manera apropiada el objeto.
El sistema emplea visión estereoscópica implementada usando gafas de realidad aumentada especiales con dos cámaras para obtener una estructura 3D (modelo geométrico) de la escena y del objeto objetivo. Dado que el controlador tiene la información sobre la geometría del objeto objetivo, puede determinar de manera autónoma la manera más apropiada de agarrar el objeto. Por tanto, el controlador selecciona automáticamente el tipo de agarre y el tamaño de la apertura de la mano. A continuación, un sensor de inercia está montado en la mano artificial que proporciona información sobre la orientación de la mano. Esto puede compararse con la orientación del objeto, que se deriva del procesamiento de visión estereoscópica, y usarse para 1) reajustar la mano basándose en la dirección (lado de objeto) por la que la mano se aproxima al objeto, y/o 2) controlar la orientación de la mano ajustando las articulaciones de la muñeca (y el codo) de la prótesis. Finalmente, se usan las gafas de realidad aumentada para proporcionar al usuario una realimentación visual rica sobre el estado actual de la prótesis. Esta realimentación se proyecta en la escena como objeto virtual que se integra sin interrupciones con el entorno real. La realimentación proporciona información sobre la posición y orientación de la prótesis, y también sobre la fuerza de agarre generada por la mano. Esta información puede usarla el usuario para supervisar el funcionamiento del controlador artificial y, cuando sea necesario, realizar un ajuste fino o corregir los eventuales errores realizados por el sistema de control automático. Se usa una interfaz de control mioeléctrico sencilla para desencadenar el controlador automático y, cuando sea necesario, controlar manualmente la prótesis en un bucle cerrado usando la realimentación.
Según una aplicación práctica a modo de ejemplo, el usuario lleva puestas gafas de realidad aumentada, se
5
10
15
20
25
30
35
40
45
50
55
60
65
coloca(n) sensor(es) de inercia en la prótesis y se implementa una interfaz de control mioeléctrico. El usuario mira al objeto objetivo y desencadena la apertura de la mano usando una sencilla orden mioeléctrica, por ejemplo, extensión de dedos. La mano adopta automáticamente una forma previa, es decir, se seleccionan automáticamente el tipo de agarre y tamaño analizando las propiedades geométricas del objeto objetivo. Se proyecta un objeto virtual que representa la apertura y orientación de la prótesis en la escena real justo junto al objeto que va a agarrarse. Comparando las propiedades del objeto virtual con el objeto objetivo, el usuario puede realizar un ajuste fino o corregir el agarre usando control mioeléctrico. Usando la información del sensor de inercia, el controlador reacciona y reajusta automáticamente el agarre dependiendo de cómo se aproxima el usuario al objeto (por ejemplo, desde qué lado). Si hay más articulaciones proximales disponibles (muñeca y codo), el controlador ajusta la orientación de la prótesis durante el acercamiento con el fin de colocar de manera apropiada la mano para el agarre. Cuando se coloca la mano alrededor del objeto, el usuario da una orden para que la mano se cierre. Se proyecta un objeto virtual que representa la fuerza de contacto en la escena real justo junto al objeto que va a agarrarse. El usuario controla la fuerza de agarre usando control mioeléctrico e información de realimentación de fuerza de realidad aumentada.
Tal como se mencionó, el paradigma de control global es novedoso. Los métodos de control convencionales se basan en que el usuario tome todas las decisiones y envíe señales de control para implementar esas decisiones. En el presente enfoque, el controlador es más “potente” y aporta funcionamiento autónomo a la mano artificial. El usuario simplemente desencadena, supervisa y corrige el sistema. Esto reduce la carga cognitiva del usuario.
La aplicación de visión estereoscópica para el control automático del dispositivo de extremidad, por ejemplo de agarre y acercamiento con la prótesis de mano/brazo, es novedosa. Para coordinar los dos sistemas de control separados, se emplea una interfaz mioeléctrica sencilla (dos canales) para descodificar las intenciones del usuario y sensores de inercia para evaluar cómo mueve la prótesis.
El uso de realidad aumentada (AR) para proporcionar la realimentación visual rica sobre el estado actual del dispositivo de extremidad es novedoso. La Ar no se ha aplicado anteriormente en el contexto del control de bucle cerrado de dispositivos de extremidad, por ejemplo prótesis de mano/brazo. Esto último representa una aplicación de AR totalmente portable y móvil.
La realimentación de AR se usa no sólo para proporcionar el estado de las variables de prótesis, sino también para establecer la comunicación entre el controlador artificial y el usuario. Por ejemplo, el sistema indica al usuario el objeto que está actualmente seleccionado por el sistema como predeterminado para su agarre marcándolo usando un parche rojo parpadeante.
La aplicación de unidades de medición de inercia para medir la orientación de la prótesis es novedosa, así como la integración de datos de inercia y de visión estereoscópica para el control de la configuración/orientación de mano/brazo.
La combinación e integración propuestas de diferentes tecnologías (visión estereoscópica, realidad aumentada, unidades de inercia y control mioeléctrico) en una solución completa para el control en bucle cerrado del dispositivo de extremidad es un enfoque novedoso y único en este campo.
El control de agarre y acercamiento (orientación) para prótesis de mano/brazo con alimentación eléctrica es una tarea compleja. El control mioeléctrico es intuitivo y sencillo de implementar, pero sólo es eficaz cuando se aplica a los sistemas más sencillos, por ejemplo un único grado de libertad. Si hay más grados de libertad disponibles, tienen que controlarse secuencialmente, de uno en uno. Por ejemplo, si la prótesis implementa varios tipos de agarre, el usuario tiene que generar en primer lugar actividad muscular para seleccionar el agarre activo y después genera actividad muscular para controlar la apertura/cierre de la mano. Si hay una muñeca activa, el usuario tiene que cambiar el modo de control de apertura/cierre de mano a control de articulación de muñeca con el fin de ajustar la orientación. Para lograr esto, el usuario necesita conocer el sistema y la interfaz de control muy bien, lo que significa que tiene que pasar por un proceso de formación largo y tedioso. Además, dado que el usuario tiene que pasar por una secuencia de etapas, controlando cada detalle individual en esta secuencia, el procedimiento completo puede representar una carga cognitiva significativa.
En esta invención, se propone un sistema que implementa el control de agarre y orientación de la mano de una manera totalmente automática (de manera transparente para el usuario). El usuario tiene que mirar al objeto objetivo, lo cual se realiza de todos modos, y desencadenar el sistema, y el controlador artificial analiza las propiedades del objeto y decide y controla de manera autónoma el tipo de agarre, tamaño y orientación de mano/brazo. Dado que esto se realiza de manera totalmente automática, la carga cognitiva se minimiza realmente.
En esta invención, se propone el uso realidad aumentada (AR) proporcionada a través de unas gafas de AR para implementar una realimentación visual rica para el usuario. La visión tiene un ancho de banda significativamente superior en comparación con el sentido del tacto. La realimentación visual puede transmitir información rica, de alta fidelidad, de una manera que es fácil de entender. Al mismo tiempo, el usuario necesita una formación mínima para usar la realimentación de manera satisfactoria. Esto es contrario a interfaces de realimentación convencionales que
5
10
15
20
25
30
35
40
45
50
55
60
65
están limitadas a información relativamente sencilla y en las que se necesita una formación significativa para que el usuario aprenda cómo descodificar la información comunicada por el sistema. Dado que se basa en AR, la realimentación se incorpora de manera natural en la escena real. Por tanto, no es intrusiva y puede colocarse de una manera que minimiza la interferencia con el resto de la escena. Por ejemplo, en el prototipo actual, se coloca un objeto de realimentación virtual junto al objeto objetivo al que está mirando el usuario, bloqueando de manera mínima los demás aspectos de la escena.
Tal como se indica en la siguiente descripción, el presente sistema y método son altamente modulares. Los componentes control de visión estereoscópica, realimentación de realidad aumentada y detección de inercia son unidades independientes que pueden emplearse en combinaciones, usando combinación de sensores, o de manera individual. Este acoplamiento flojo entre los módulos reduce el nivel de riesgo: una única parte, un subconjunto de componentes o el sistema en su conjunto pueden convertirse en un producto satisfactorio.
Ahora se describe la invención mediante algunos ejemplos usando dibujos.
Los dibujos muestran en
la figura 1 - una visión general de un sistema de la invención, y
la figura 2 - un diagrama que muestra un primer aspecto del funcionamiento del sistema, y la figura 3 - el diseño global del sistema, y
la figura 4 - un diagrama que muestra un segundo aspecto del funcionamiento del sistema.
La invención que se ha desarrollado implementa trayectorias tanto de prealimentación como de realimentación proporcionando al usuario la posibilidad de controlar la prótesis en un bucle cerrado. Se usa visión artificial en configuración estereoscópica para emular el procedimiento anteriormente mencionado de planificación del agarre en un ser humano sin discapacidad. Los métodos de visión artificial se emplean para analizar la escena, separar el objeto objetivo, analizar sus propiedades 3D y seleccionar automáticamente el tipo de agarre y tamaño apropiados para el objeto. Para implementar visión estereoscópica, se usan gafas de realidad aumentada (AR) especiales que están equipadas con un par de cámaras estereoscópicas. Al mismo tiempo, se usan las gafas para proporcionar una realimentación visual avanzada (en forma de AR) sobre el estado actual de la prótesis. Dado que se integran objetos de AR en la escena real, esta realimentación es sencilla, intuitiva y eficaz, y al mismo tiempo, puede transmitir información rica y de alta fidelidad, ya que el sentido de la visión tiene un gran ancho de banda. Finalmente, se usan sensores de inercia para obtener la orientación actual de la mano y se combina esta información con un modelo 3D de la escena objetivo (disponible a partir del motor de visión estereoscópica).
El sistema resultante implementa un control automático de alto nivel del agarre y proporciona una realimentación rica al usuario combinando varias fuentes de información. En esta situación, se reduce el control mioeléctrico a desencadenar, supervisar y realizar el ajuste fino de las operaciones automáticas del sistema. Como resultado, una parte significativa de la carga del usuario se reubica en el sistema de control artificial. De manera importante, este enfoque es lo bastante potente como para controlar sistemas de complejidad casi arbitraria, por ejemplo desde una mano artificial hasta un brazo completo. El sistema y método propuestos son un ejemplo del uso de combinación de sensores en el control de prótesis, que es el enfoque recomendado como modo de proceder en los desarrollos futuros dentro de este campo.
Se demuestra un sistema de la invención usando una prótesis transradial, es decir mano artificial, como dispositivo de extremidad de ejemplo que va a controlarse. El hardware incluye los siguientes componentes (véase la figura 1): prótesis 2 transradial, gafas 3, 4 de realidad aumentada, canales 6, 18 de entrada de EMG, unidad de medición de inercia (IMU) 5, unidad 1 de control, que puede ser por ejemplo un ordenador portátil convencional. A continuación, se describen los componentes de manera individual.
Prótesis 2 transradial
Se usa una de las prótesis flexibles, modernas, por ejemplo SmarthHand del laboratorio de biorrobótica Scuola Superiore Sant'Anna, Italia. El sistema tiene dedos controlables de manera independiente, y esto puede aprovecharse para implementar varios tipos de agarre (palmar, pinza, lateral y esférico) y para controlar el tamaño de apertura. La prótesis está equipada con sensores de posición y de fuerza; por tanto, pueden leerse las posiciones de dedos actuales y la fuerza de contacto. Esta información se usa para proporcionar la realimentación al usuario.
Canales 6, 18 de entrada de EMG
Los canales 6, 18 de entrada de EMG comprenden dos canales de EMG bipolar. Cada canal tiene un amplificador 18. Las señales de los amplificadores 18 se alimentan a un convertidor de analógico a digital, por ejemplo una tarjeta de adquisición A/D montada en el ordenador portátil convencional. Los canales se colocarán en la extremidad
5
10
15
20
25
30
35
40
45
50
55
60
65
residual sobre los músculos que flexionan y extienden los dedos, es decir abren/cierran la mano. Este componente se usa para implementar un control mioeléctrico de dos canales sencillo que se usa para desencadenar y realizar el ajuste fino del funcionamiento automático del sistema.
Gafas 3, 4 de realidad aumentada (AR)
Se usa el modelo Vuzix iWear920AR. El modelo tiene dos cámaras en forma de una disposición 4 de cámaras de visión estereoscópica que están incorporadas en las “lentes” derecha e izquierda. Justo detrás de las cámaras, hay un dispositivo 3 de salida visual en forma de dos paneles de vídeo que proyecta los flujos de vídeo desde las cámaras. Los paneles de vídeo implementan un vídeo 3D estereoscópico, lo que significa que la persona que lo lleva puesto (usuario) que mira a los paneles recibe una imagen 3D de la escena delante de él. Los flujos de vídeo captados por las dos cámaras son entradas para un algoritmo de visión estereoscópica en la unidad 1 de control, que se usa para construir el modelo 3D de la escena, analizar el objeto objetivo y decidir el tipo de agarre y tamaño. Antes de proyectar los flujos captados de vuelta a los paneles, puede procesarse el vídeo y pueden integrarse objetos virtuales en la escena. Este método se usa para proporcionar la realimentación de AR al usuario.
Unidad 5 de medición de inercia
Es una agrupación de sensores, incluyendo acelerómetros, giroscopios y magnetómetros (XSens M420). Se combina la información de estas fuentes y la unidad estima una orientación 3D del objeto al que está fijada. Esto se usa para proporcionar la realimentación sobre la orientación actual de la mano, y también para controlar la mano durante el acercamiento.
Unidad 1 de control
Puede usarse cualquier ordenador, por ejemplo un ordenador portátil convencional, para implementar los algoritmos de control y procesamiento de señales. La unidad 1 de control recibe las entradas de los otros componentes, procesa los datos y envía las órdenes de control.
Por ejemplo, la unidad 1 de control también puede implementarse como sistema integrado, por ejemplo usando un microprocesador o microordenador para los algoritmos de control y procesamiento de señales. Los componentes pueden miniaturizarse e integrarse en la propia prótesis 2 de mano. Por ejemplo, manos mioeléctricas ya tienen electrodos y amplificador de EMG incorporados. Además, puede usarse una unidad de procesamiento especializada (sistema de pequeño factor incorporado) con un potente procesador DSP. La figura 1 es una representación esquemática del sistema con sus módulos de procesamiento y flujo de datos.
En la realización a modo de ejemplo el usuario hace funcionar una prótesis 2 transradial. El amplificador 18 de EMG proporciona dos canales de EmG bipolar tomados de los grupos de músculos flexores y extensores de los dedos. Esto es una interfaz de control mioeléctrico sencilla para desencadenar el control automático. El usuario lleva puestas gafas 3, 4 de realidad aumentada (AR) que proporcionan los flujos de vídeo a partir del par 4 de cámaras estereoscópicas, que es la entrada para el algoritmo de visión artificial, y realimentación visual al usuario en forma de objetos virtuales incorporados en la escena real. La unidad 5 de medición de inercia se coloca sobre la mano 2 artificial para medir su orientación 3D.
La unidad 1 de control comprende un ordenador, por ejemplo en forma de un microprocesador o microcontrolador 10 y una memoria 11 en la que se almacena un programa de control en forma de un programa informático. La unidad de control comprende además varias interfaces 7, 8, 9 que conectan la unidad 1 de control a los elementos externos. Una primera interfaz 1, por ejemplo en forma de una interfaz de datos en serie, por ejemplo una interfaz RS-232, conecta la unidad 1 de control a la prótesis 2 de mano o a cualquier otro dispositivo de extremidad. Una segunda interfaz 7, por ejemplo en forma de un concentrador USB, conecta la unidad 1 de control con cualquiera de las fuentes 4, 5, 6 de entrada de datos que, juntas, forman el dispositivo de recopilación de datos. Una tercera interfaz 9, por ejemplo en forma de una interfaz de salida de vídeo, conecta la unidad 1 de control a las pantallas 3 de visión estereoscópica de las gafas de AR, o a cualquier otro dispositivo de salida de vídeo.
La unidad de control ejecuta varios procesos de control, por ejemplo en forma de procesos de software ejecutados por el ordenador 10. Un primer proceso 12 es un módulo de control mioeléctrico que recibe las señales de EMG digitales y emite señales derivadas de las señales de entrada a un bloque 16 de control que es una máquina de estados finitos. Con las señales del módulo 12 de control mioeléctrico la máquina de estados finitos emite señales de desencadenamiento que se marcan en la figura 1 mediante flechas en líneas discontinuas. Por ejemplo, la máquina 16 de estados finitos puede desencadenar otro módulo de control que es un módulo 17 de control de mano. El módulo 17 de control de mano emite etapas de acción de control a través de la primera interfaz 8 a los accionadores de la prótesis 2 de mano.
Otro módulo de control es un módulo 13 de visión artificial que comprende un modelo 14 de objeto 3D y una caja 15 de realidad aumentada. El módulo 13 de visión artificial puede desencadenarse por la máquina 16 de estados finitos. El módulo 13 de visión artificial recibe señales desde los elementos 4, 5, 6 del dispositivo de recopilación de datos a
5
10
15
20
25
30
35
40
45
50
55
60
65
través de la segunda interfaz, por ejemplo recibe ángulos de Euler e imágenes estereoscópicas. El módulo 13 de visión artificial emite órdenes de forma previa al módulo 17 de control de mano. Además, el módulo 13 de visión artificial emite un flujo estereoscópico/de vídeo aumentado a través de la tercera interfaz 9 a las pantallas 3 de visión estereoscópica.
Módulos de procesamiento y flujo de datos: El ordenador 10 implementa adquisición y procesamiento de señales. El módulo 12 de control mioeléctrico procesa la EMG registrada y detecta la actividad de los músculos flexores y extensores de los dedos. La información binaria sobre la actividad muscular impulsa las transiciones de estado dentro de la máquina 16 de estados finitos que implementa la lógica de control global (explicada en el texto). El módulo 13 de visión artificial recibe las imágenes estereoscópicas y reconstruye el modelo geométrico 3D de la escena y del objeto que es el objetivo del agarre. Basándose en esto y en la información sobre la orientación de la mano (unidad 5 de medición de inercia), el módulo 17 de control de mano decide el tipo de agarre y el tamaño de apertura apropiados para agarrar el objeto. El módulo 17 de control de mano envía las órdenes a la prótesis 2 de mano para implementar la estrategia de agarre deseada. El módulo de visión artificial también recibe los datos de sensor de la prótesis de mano (posición y fuerza) y usa esto para aumentar el flujo de vídeo antes de volver a proyectarlo en las gafas para proporcionar la realimentación visual a la prótesis usuario. El procesamiento se organiza de una manera secuencial y los módulos se activan (desencadenan) mediante la máquina de estados finitos.
La figura 2 muestra el funcionamiento del sistema. Hay, por ejemplo, ocho etapas 20, 21,22, 23, 24, 25, 26, 27 que componen el bucle de control del sistema.
Tal como puede observarse en la figura 2, el bucle de control se divide en tres fases, una primera fase, una segunda fase y una tercera fase. En la primera fase, que comprende las etapas 20, 21,22, en la etapa 20 se ordena que se abra completamente la prótesis. Después, en la etapa 21 el sistema adquiere un par de imágenes estereoscópicas y calcula el mapa de disparidad. Después, en la etapa 22 se espera que el usuario desencadene el sistema mediante una extensión de un dedo.
La segunda fase comprende las etapas 23, 24, 25. En la etapa 23, se extrae un objeto y se analiza en el espacio 3D. Después, se ejecuta una etapa de combinación de datos sensoriales. Después, en la etapa 24 se ejecuta una selección automática de tipo de agarre y adopción de forma previa de prótesis. Se proporciona realimentación de AR propioceptiva. Después, en la etapa 25 se espera que el usuario desencadene el sistema, por ejemplo mediante un movimiento de flexión.
Finalmente, la tercera fase comprende las etapas 26 y 27. En la etapa 26 se cierra la prótesis. La fuerza existente se indica mediante realimentación de AR. Después, en la etapa 27 se espera que el usuario desencadene el sistema, por ejemplo mediante una extensión de un dedo.
En más detalle, puede realizarse una selección de objeto objetivo de la siguiente manera:
a) el usuario se centra en el objeto objetivo,
b) el módulo de visión artificial estima el mapa de profundidad y separa los objetos,
c) se selecciona el objeto más próximo al centro como el objetivo, y el usuario ve el objeto marcado mediante un color rojo parpadeante en las pantallas 3 de visión estereoscópica; el usuario emite la orden para la apertura de la mano, y esto comienza la fase de adopción de forma previa de la mano,
d) se construye un modelo geométrico del objeto,
e) se usa un conjunto de reglas para seleccionar el tipo de agarre y tamaño basándose en las propiedades de objeto estimadas, y se ordena a la mano que adopte una forma previa,
f) se incorpora un objeto virtual en la escena real (realidad aumentada) que proporciona la información sobre la orientación y el tamaño de apertura de la mano; el usuario coloca la mano cerca del objeto y genera una orden para cerrarla,
g) la mano se cierra alrededor del objeto y
h) se incorpora una barra virtual en la escena real que representa la fuerza de agarre actual (longitud de barra y color).
El bucle de control funciona de manera secuencial, siguiendo las siguientes etapas:
1) Selección de objeto objetivo
5
10
15
20
25
30
35
40
45
50
55
60
65
El usuario observa la escena y se “concentra” en el objeto que desea agarrar. Esto se realiza orientando la cabeza y por tanto las gafas 3, 4 de AR de modo que el objeto deseado se encuentra cerca del centro del campo de visión. El módulo de visión artificial analiza de manera continua en tiempo real flexible el flujo de vídeo estereoscópico, estima la estructura 3D de la escena, estableciendo un mapa de profundidad, y separa los objetos. El sistema elige el objeto que está ubicado más en el centro como el objetivo del agarre. Para facilitar este procedimiento y hacer que sea transparente para el usuario, el sistema se “comunica” con el usuario usando realidad aumentada: el objeto que está actualmente elegido por el sistema se marca mediante un color rojo parpadeante.
2) Apertura de la mano
Cuando el usuario selecciona el objeto, da la orden para que la mano se abra activando los extensores de los dedos. Obsérvese que esto corresponde a la actividad muscular en sujetos sin discapacidad, es decir, los extensores/flexores de los dedos se activan normalmente cuando se abre/cierra la mano.
3) Adopción de forma previa de la mano
El módulo de visión artificial proporciona las propiedades 3D del objeto objetivo (posición, orientación y modelo geométrico). Los objetos se modelan como cilindros, cajas, esferas y líneas, en el caso de objetos delgados y largos. Este conjunto de primitivas geométricas cubre la forma general de la mayoría de los objetos comunes en la vida diaria. Se introducen las características de objeto para un conjunto de reglas sencillas diseñadas para emular el proceso cognitivo durante la selección de agarre en individuos sin discapacidad. Las reglas tienen una estructura de SI - ENTONCES: por ejemplo, si el objeto es cilíndrico y ancho, se usa el agarre palmar, si el objeto es una caja delgada, se emplea el agarre lateral, etc. Tras seleccionarse el tipo de agarre, se determina el tamaño de apertura. La mano debe abrirse de modo que la apertura sea más ancha que el objeto, pero no demasiado ancha ya que esto puede comprometer la formación de un agarre estable, por ejemplo, los dedos pueden empujar el objeto hacia fuera al intentar cerrarse alrededor del mismo. La apertura apropiada se calcula añadiendo un margen de seguridad a la anchura de objeto estimada. Se ordena a la mano que adopte una forma previa según la estrategia de agarre seleccionada.
4) Realimentación de AR (propiocepción) con ajuste manual/automático de la apertura
Se muestra la realimentación de AR propioceptiva revelando al usuario la orientación y apertura de la mano actuales. Se incorpora la caja virtual en la escena real junto al objeto objetivo y a lo largo del lado desde el que se supone que el usuario va a agarrar el objeto. El tamaño de la caja virtual se actualiza continuamente para representar el tamaño de apertura de la mano actual, es decir, la caja se estira y se contrae, mientras que la orientación de la caja sigue la orientación de la mano, es decir, la caja rota. Dado que la caja virtual está colocada junto al objeto, el usuario puede comparar fácilmente el estado actual de la mano con las propiedades reales del objeto objetivo, evaluando las condiciones para el agarre estable. De manera importante, esto puede realizarse sin centrarse en la mano e incluso mientras la mano está fuera del campo de visión del usuario.
En el caso en el que la apertura de la mano no es apropiada, por ejemplo una mala estimación del módulo de visión artificial, puede ajustarse usando un control mioeléctrico sencillo, es decir para abrir/cerrar más la mano, el usuario activa músculos extensores/flexores de los dedos. Por tanto, aprovechando la realimentación de AR, el usuario puede corregir y/o realizar un ajuste fino de las decisiones automáticas del sistema de control artificial. Al mismo tiempo, el sistema puede reconocer y reaccionar a las activaciones actuales del usuario. Por ejemplo, dado que el sistema “conoce” la orientación actual de la mano, puede detectar que el usuario decidió aproximarse al objeto desde un lado diferente con respecto al sugerido originalmente por el sistema. Por tanto, puede cambiarse la forma de la mano. El tamaño e incluso el tipo de agarre pueden cambiarse de manera reactiva.
5) Cierre de la mano
Cuando el usuario estima que la configuración de la mano es apropiada, emite la orden para el cierre. Esto se realiza activando músculos flexores de los dedos, lo que de nuevo corresponde a la manera en la que se usan estos músculos en sujetos sin discapacidad.
6) Realimentación de AR (fuerza) con control de fuerza manual
Una vez detectado el contacto con el objeto, se inicia la realimentación de AR de fuerza de agarre. La barra que indica la fuerza actual aparece junto al objeto, por ejemplo una barra roja. La longitud y el color de la barra son proporcionales a la amplitud de la fuerza. Esto es información directa e intuitiva sobre la variable (fuerza) que prácticamente no puede observarse en las condiciones habituales, es decir, una prótesis convencional sin realimentación.
El sistema propuesto es modular y flexible. La mayoría de los componentes pueden usarse como módulos funcionales independientes. Por ejemplo, el control basado en visión estereoscópica o la realimentación a través de realidad aumentada pueden usarse por sí solos, sin la integración entre sí o con los demás componentes.
5
10
15
20
25
30
35
40
45
50
55
60
65
Muchos aspectos del bucle de control mencionado anteriormente pueden extenderse fácilmente para adaptarse a características más sofisticadas. Durante la selección del objeto objetivo, puede usarse seguimiento visual para determinar el objeto al que está mirando actualmente el usuario. De manera importante, el algoritmo de seguimiento visual puede incorporarse en las gafas. Para la adopción de forma previa de la mano, puede usarse un modelo general de alta fidelidad (malla de triángulos) del objeto objetivo en vez del conjunto limitado de primitivas geométricas predefinidas. La realimentación de AR propioceptiva puede implementarse usando representación gráfica más sofisticada, por ejemplo, modelo gráfico de la mano. Lo mismo es cierto para la realimentación de fuerza. Durante la fase de aproximación, si la mano tiene un rotador de muñeca, la orientación de la mano puede reajustarse automáticamente de modo que la mano agarra el objeto desde el lado (y/o en los sitios) que se seleccionó anteriormente durante la planificación del agarre. Si la prótesis es más compleja, por ejemplo brazo completo, el algoritmo de visión estereoscópica puede impulsar todos los grados de libertad durante el acercamiento y agarre.
Una etapa importante en el procesamiento estereoscópico es la estimación de la profundidad (disparidad), que es el método de estimar una distancia desde las cámaras para algunos o todos los píxeles en la imagen. El éxito de esta etapa tiene un impacto principal sobre la calidad de todas las fases de procesamiento de imágenes adicionales. Se aplica un algoritmo de coincidencia estereoscópica a gran escala (ELAS) eficaz a un par de imágenes en escala de grises para determinar el mapa de profundidad. Después se obtienen fácilmente las coordenadas 3D para cada píxel combinando información de disparidad de píxel y propiedades de cámara intrínsecas (triangulación).
El análisis de escena se inicia identificando la superficie sobre la que están colocados los objetos, es decir, una superficie de la mesa. Esta superficie de base se modela geométricamente como un plano sencillo. El objeto objetivo ubicado en el plano de base se modela como una caja, cilindro, línea o esfera. Estas primitivas geométricas se determinan suponiendo un determinado modelo y ajustándolo a través de la nube de puntos (píxeles con coordenadas 3D) usando un algoritmo RANSAC; se adopta el modelo con el mejor ajuste para representar la forma del objeto. Este procedimiento se describe a continuación:
Plano: se determinan tres puntos de apoyo en la nube de puntos que tienen el mayor número de valores típicos (en el que un valor típico es cada punto que tiene una distancia hasta el plano de menos de 0,3 cm).
Caja: El método ajusta de manera iterativa superficies planas hasta que encuentra dos planos con orientación compatible (es decir, deben intersecarse y formar un ángulo que es próximo a 90°). Usando la línea de intersección, se reconstruyen direcciones de estos dos planos y de las caras restantes y se forma una estructura de parche 3D semicerrada.
Cilindro: El método busca un conjunto de tres puntos que forman un círculo en el espacio 3D, que cuando se extiende para formar el cilindro contiene el mayor número de valores típicos (distancia desde la superficie de menos de 0,2 cm).
Línea: una línea se ajusta a través de un conjunto de puntos usando el método de LSQ y se determina la longitud más común de todas las demás líneas que son perpendiculares a la misma.
Para proporcionar la realimentación de AR, se incorpora un objeto de caja virtual en la escena real. Esto se realiza formando un modelo 3D de la caja de AR dentro de la nube de puntos existente, y encontrando después sus caras visibles desde la perspectiva de los usuarios y proyectándolas de nuevo en los planos de imagen de cámara 2D izquierdo y derecho. El resultado final es un objeto de caja de realidad aumentada que aparece como parte de la escena real observada por el usuario.
A continuación se explica la invención usando las figuras 3 y 4.
De manera general, la invención presenta un método y un sistema para el control en bucle cerrado semiautónomo de un dispositivo de extremidad superior (ULD) de múltiples grados de libertad (DOF) para ayudar en el acercamiento y agarre. En particular, el dispositivo de extremidad superior puede ser una prótesis (por ejemplo, una mano o un brazo robótico artificial) o un dispositivo ortopédico (por ejemplo, exoesqueleto robótico). En resumen, el sistema integra:
1) Un controlador artificial que combina las tecnologías del estado de la técnica (por ejemplo, visión artificial, sensores de inercia, realidad aumentada y control mioeléctrico) con el fin de realizar un funcionamiento totalmente autónomo del ULD durante las tareas típicas de acercamiento, agarre y manipulación (por ejemplo, adopción de forma previa automática del dispositivo de agarre, control de acercamiento y orientación del ULD/dispositivo de agarre).
2) Interfaz de realimentación artificial que proporciona al usuario la información sensorial de fuerza de agarre y propioceptiva que falta del ULD, implementando así el control en bucle cerrado impulsado por el usuario del ULD.
5
10
15
20
25
30
35
40
45
50
55
60
65
3) Interfaz de comunicación bilateral para soportar el control compartido entre el usuario y el controlador semiautónomo. El usuario supervisa el funcionamiento automático del sistema usando interfaz de realimentación (controlador => usuario), y en cualquier momento en el tiempo, puede corregir, realizar un ajuste fino o anular el funcionamiento autónomo usando un control manual (usuario => controlador).
La invención comprende un sistema modular y un método para el control en bucle cerrado semiautónomo de un dispositivo de extremidad superior (ULD) de múltiples DOF para ayudar en el acercamiento y agarre. El sistema comprende al menos los siguientes componentes (véase la figura 3):
31: Un conjunto de sensores que proporcionan información sobre el estado actual del ULD y su interacción con el entorno.
32: Un conjunto de sensores que proporcionan información de alta fidelidad sobre la estructura espacial 2D/3D del entorno, a partir de la cual pueden estimarse las propiedades del objeto objetivo para el acercamiento/agarre (a continuación objeto objetivo). Esto puede ser por ejemplo las cámaras 4 estereoscópicas de las gafas de AR.
33: Un controlador electrónico programable semiautónomo (a continuación controlador) que combina los datos procedentes de los sensores 31 y 32 y basándose en esto controla automáticamente (sin intervención del usuario) las funciones de agarre y/o acercamiento del ULD. El controlador 33 puede ser la unidad 1 de control.
34: Interfaz hombre-máquina para captar y descodificar las órdenes del usuario. Las órdenes las recibe el controlador 33 y se usan para desencadenar, supervisar, corregir, realizar el ajuste fino y/o anular el funcionamiento automático del sistema.
35: Interfaz de realimentación que proporciona al usuario información en línea sobre el estado del ULD y/o el controlador.
36: Un dispositivo de extremidad superior, es decir, el sistema que va a controlarse.
En una implementación particular, el ULD es una prótesis de extremidad superior controlada eléctricamente o un exoesqueleto robótico de extremidad superior. El uLd es un sistema mecánico de múltiples DOF que comprende un número arbitrario de accionadores que pueden controlarse de manera individual y sensores que miden el estado del dispositivo y/o la interacción con el entorno.
En una implementación particular, los sensores 31 se incorporan en el ULD y miden la posición de las articulaciones del ULD (por ejemplo, ángulos de articulación), fuerzas de interacción (por ejemplo, fuerza de agarre), orientaciones de los segmentos del ULD (por ejemplo, unidades de medición de inercia) o cualquier otra variable interna/de interacción de interés (por ejemplo, temperatura, vibración). Alternativamente, los sensores pueden colocarse de manera externa sobre el uLd o pueden integrarse en el controlador 33 (véase a continuación). Los sensores colocados de manera externa pueden conectarse al controlador usando cualquier enlace de comunicación por cable o inalámbrica.
En una implementación particular, los sensores 32 incluyen cualquier dispositivo de detección que puede proporcionar la información sobre la estructura del entorno a partir de la cual pueden estimarse las propiedades del objeto objetivo. Estos pueden ser sensores de ultrasonidos, dispositivos de exploración por láser o dispositivos de obtención de imágenes activos tales como una cámara de tiempo de vuelo y sensores de luz estructurada (por ejemplo, Kinect) y/o dispositivos de obtención de imágenes pasivos tales como sistemas de videocámaras múltiples o individuales (por ejemplo, par de cámaras estereoscópicas). Estos sensores proporcionan imágenes 2D/3D de la escena y del objeto objetivo. Los sensores pueden incorporarse en el ULD, montarse de manera externa sobre el ULD o pueden llevarse puestos por el usuario. Posiblemente, los sensores pueden integrarse en la interfaz 35 de realimentación (véase a continuación). Por ejemplo, puede integrarse una cámara en la prótesis de mano o incorporarse dentro de la montura de las gafas de realidad aumentada (AR). El enlace de comunicación entre el controlador y los sensores puede ser por cable o inalámbrico.
En una implementación particular, el controlador 33 puede ser un sistema en tiempo real incorporado integrado en el ULD o un dispositivo electrónico programable externo. Este último puede ser una unidad personalizada o un elemento de procesamiento de uso general tal como un teléfono inteligente. En ambos casos, el controlador puede tener sensores integrados (por ejemplo, un teléfono inteligente con un acelerómetro o una cámara) que puede usarse dentro del sistema como los sensores 31 ó 32.
En una implementación particular, el controlador 33 usa información 2D/3D sobre el objeto objetivo proporcionada por los sensores 32 para proporcionar automáticamente una forma previa al dispositivo de agarre del ULD de modo que su configuración resulta conveniente para agarrar el objeto objetivo. Por ejemplo, el controlador estima las propiedades (forma y tamaño) del objeto objetivo a partir de una imagen 2DÁ3D de la escena proporcionada mediante un dispositivo de obtención de imágenes. Basándose en este, el controlador selecciona un tipo de agarre a partir de un conjunto predefinido de agarres implementados y ajusta el tamaño de la apertura de la mano de modo
5
10
15
20
25
30
35
40
45
50
55
60
65
que el objeto se ajusta adecuadamente a la mano. Además, el controlador puede ajustar directamente articulaciones de dedos individuales teniendo en cuenta información detallada sobre la forma del objeto.
En otra implementación particular, el controlador 33 combina información 2D/3D sobre el objeto objetivo obtenida a partir de los sensores 32 y la información sobre el estado del ULD a partir de los sensores 31 para controlar automáticamente el movimiento de acercamiento hacia el objeto así como la orientación del dispositivo de agarre. Por ejemplo, el controlador estima la orientación del objeto objetivo a partir de la imagen 3D adquirida. A partir de los sensores de posición y orientación dentro del ULD, el controlador determina la orientación actual del ULD. Basándose en esto, calcula la trayectoria de acercamiento de referencia y transporta el ULD desde su posición actual hasta la proximidad del objeto objetivo. Al mismo tiempo, el controlador ajusta las articulaciones del ULD de modo que al final del movimiento de acercamiento el dispositivo de agarre se coloca de manera conveniente para agarrar el objeto objetivo. El control de acercamiento y orientación adapta las articulaciones activas del ULD. Por ejemplo, en el caso de una mano protésica robótica se controla la articulación de la muñeca (por ejemplo, orientación del dispositivo de agarre), mientras que en el caso de una prótesis de brazo completo se controlan el hombro, codo y muñeca (por ejemplo, tanto el acercamiento como la orientación del dispositivo de agarre).
En aún otra implementación, el controlador 33 usa la información procedente de los sensores 31 y 32 para hacer que el ULD responda de manera dinámica a acciones e intenciones del usuario. Por ejemplo, monitorizando las orientaciones del ULD (a través de los sensores 31) y conociendo la orientación y forma del objeto objetivo, el controlador puede detectar el lado por el que está aproximándose el usuario al objetivo (por ejemplo, lado corto o largo) y reconfigura el dispositivo de agarre en consecuencia (por ejemplo, apertura más pequeña o más grande).
En una implementación particular, el controlador 33 selecciona el objeto objetivo a partir de un conjunto de objetos detectados como el más cercano al centro de la imagen 2D/3D proporcionada por el dispositivo de obtención de imágenes. En otra implementación particular, un dispositivo de seguimiento visual en miniatura está integrado en el sistema. Entonces, el controlador selecciona el objeto objetivo como el objeto al que apunta el usuario con su mirada.
En una implementación particular, la interfaz 34 hombre-máquina se implementa usando control mioeléctrico y/u otros sensores. Adquiere las señales de orden del usuario y las convierte en acciones de sistema. Las órdenes manuales de usuario tienen la mayor prioridad y siempre anulan a las decisiones del controlador. Dicho de otro modo, el usuario puede hacerse cargo del control del sistema en cualquier momento, y el control manual tiene precedencia sobre el control automático. En principio, cualquiera de las tecnologías actualmente disponibles para implementar la comunicación entre hombre y máquina pueden aprovecharse para implementar este componente (por ejemplo, voz, interfaz cerebro-máquina). En una implementación posible, pueden usarse unidades de medición de inercia para detectar el movimiento y determinar las intenciones del usuario en paralelo con el control mioeléctrico convencionalmente usado, haciendo que la interfaz hombre-máquina global sea más robusta.
En una implementación particular, la interfaz 35 de realimentación puede ser una pantalla visual portable. Por ejemplo, en la versión más básica, esto puede ser una pantalla fijada a la prótesis. Alternativamente, para la implementación más sofisticada y un mejor rendimiento, esto puede ser unas lentes de contacto o gafas de realidad aumentada (AR) semitransparentes o no transparentes diseñadas para visualización o bien monocular o bien estereoscópica. Estos dispositivos también pueden integrar una variedad de sensores adicionales (por ejemplo, sensores de inercia, sensores de posicionamiento global, cámaras), y también pueden usarse como los sensores 32 que proporcionan información multimodal sobre el entorno. Se usa AR para transmitir la realimentación visual al usuario sobre el estado actual del ULD o el controlador. Un objeto virtual incorporado en la escena real puede transmitir, por ejemplo, la configuración del ULD (propiocepción artificial) o fuerzas de interacción (realimentación de fuerza artificial) o el tipo de agarre seleccionado y la orientación del ULD final planificada (realimentación de estado de controlador). La realimentación visual coloca de manera virtual el ULD dentro del campo de visión del usuario, incluso cuando el dispositivo físico está fuera de su campo de visión. Por tanto, emula el estado biológico y hace que el control sea más eficaz, dado que los datos de sensor sobre el estado de dispositivo siempre están disponibles (realimentación de estado de ULD). Además, el usuario tiene conocimiento sobre el funcionamiento del control automático (realimentación de estado de controlador), que puede usar para supervisar el funcionamiento autónomo y volver a control manual siempre que se necesite. Además, la realimentación puede usarse para proporcionar información que normalmente no puede observarse directamente (por ejemplo, fuerza, temperatura) o información más precisa/detallada sobre el estado del dispositivo (por ejemplo, movimientos de dedos pequeños amplificados durante una tarea de manipulación fina). Los objeto(s) virtual(es) que transmiten la realimentación pueden tener diferentes formas, desde sencillas hasta muy sofisticadas. Por ejemplo, un gráfico de barras virtual colocado en el campo visual periférico del usuario puede representar la apertura actual o fuerza de agarre del dispositivo de agarre del ULD. O el tipo de agarre seleccionado automáticamente por el controlador se le puede representar al usuario incluso antes de que el dispositivo de agarre adopte la forma seleccionada. Alternativamente, puede trazarse un modelo geométrico de la mano completa en frente del objeto objetivo mostrando directamente la relación entre el objeto y la mano.
En otra implementación particular, la interfaz 35 de realimentación puede implementarse usando algunos de los métodos de sustitución sensorial, tales como estimulación electro y/o vibrotáctil o cualquier otra forma de
5
10
15
20
25
30
35
40
45
50
55
60
65
estimulación táctil o en general cualquier otro método para la restauración sensorial (por ejemplo, realimentación acústica). Esta implementación de la interfaz de realimentación puede usarse sola o en combinación con la realimentación de Ar anteriormente mencionada.
Descripción de métodos
El método para el control semiautomático del ULD comprende varios módulos de procesamiento en tiempo real que implementan una secuencia de etapas (véase la figura 4):
41: El módulo de adquisición de datos recopila los datos sobre el estado del ULD y la estructura 2D/3D del entorno a partir de los sensores 31 y 32, respectivamente.
42: El módulo de percepción artificial analiza los datos estructurales, identifica el objeto objetivo y determina las propiedades del objeto objetivo que son relevantes para implementar el acercamiento y agarre automáticos con el ULD.
43: El módulo de combinación de sensores combina las salidas del módulo de percepción artificial y la información sobre el estado del ULD para determinar información adicional para controlar el acercamiento y agarre automáticos.
44: El módulo de procesamiento cognitivo usa las salidas de los módulos de percepción artificial y de combinación de sensores para decidir de manera autónoma estrategias apropiadas para acercarse y agarrar el objeto objetivo.
45: El módulo de control de ULD envía órdenes al ULD para implementar las estrategias seleccionadas por el módulo de procesamiento cognitivo (control automático) o para responder a las órdenes del usuario (control manual).
46: El módulo de realimentación de usuario recibe los datos sobre el estado del ULD (adquisición de datos), objeto objetivo (percepción artificial) y funcionamiento automático del sistema (procesamiento cognitivo) y basándose en esto proporciona realimentación visual (realidad aumentada) al usuario.
47: El módulo de órdenes de usuario detecta y descodifica órdenes e intenciones de usuario, y basándose en esto desencadena el control automático y/o controla directamente el ULD (control manual).
Las etapas del método pueden procesarse mediante un programa informático ejecutado en un procesador de la unidad 1 de control o el controlador 33.
En una implementación particular, el módulo de percepción artificial se basa en el uso de los algoritmos de visión artificial del estado de la técnica para analizar datos de imágenes 2D/3D, incluyendo por ejemplo diversos métodos de procesamiento estereoscópico y diferentes técnicas de agrupación, clasificación y extracción de características. Algunas de las posibles opciones son transformada de características invariable para la escala (SIFT), consenso de muestras aleatorias (RANSAC), localización y mapeo simultáneos (SLAM) y Kinect Fusion. El resultado de este procesamiento es un modelo geométrico del entorno, que incluye los objetos que pueden ser posibles objetivos de agarre. En la siguiente etapa, se selecciona uno de los objetos como objetivo y se construye un modelo geométrico del objeto en coordenadas absolutas o relativas. El modelo de objeto proporciona información sobre las propiedades del objeto físico (por ejemplo, forma y tamaño).
En una implementación particular, el módulo de combinación de sensores compara el modelo de objeto geométrico e información sobre la configuración del ULD para determinar la orientación relativa del dispositivo de agarre de ULD con respecto al objeto. Puede emplear algoritmos de predicción y filtrado (por ejemplo, filtrado de Kalman adaptativo) para estimar la postura absoluta o relativa del usuario y/o la prótesis en un espacio 3D.
En una implementación particular, el módulo de procesamiento cognitivo usa un conjunto de reglas para seleccionar una configuración y/u orientación apropiadas del dispositivo de agarre de ULD a partir de un conjunto predefinido de posibles configuraciones y/u orientaciones. Estas reglas mapean la información sobre las propiedades físicas y/o la postura del objeto objetivo con la estrategia de forma previa/orientación apropiada, y pueden realizarse a mano o generarse por ordenador (aprendizaje de máquina). Las reglas pueden ser explícitas (“SI-ENTONCES”, redes difusas, aprendizaje inductivo) o implícitas (por ejemplo, redes neuronales).
En otra implementación particular, el módulo de procesamiento cognitivo determina la configuración/orientación apropiadas del dispositivo de agarre de ULD a partir del espacio continuo de todas las configuraciones/orientaciones físicamente posibles. El módulo también calcula la trayectoria (es decir, una secuencia de configuraciones/orientaciones transitorias) que va a implementarse con el fin de que el ULD alcance la configuración/orientación final determinada. Este procesamiento puede realizarse usando los métodos de “servomecanismo visual”.
En una implementación particular, el módulo de realimentación de usuario construye objetos gráficos que deben
5
10
15
20
25
30
35
40
45
50
55
60
65
transmitir realimentación visual al usuario. Después se proyectan esos objetos en un dispositivo de pantalla portable para la presentación al usuario. Este procesamiento se basa en los métodos de visión artificial convencionales (por ejemplo, geometría informática y álgebra lineal).
En otra implementación particular, la realimentación se proporciona a través de estimulación táctil y en este caso el módulo de realimentación de usuario implementa el mapeo a partir de las variables de interés a los patrones de estimulación háptica correspondientes. Puede implementarse cualquiera de los esquemas de codificación sometidos a prueba disponibles en la bibliografía sobre sustitución sensorial o algoritmos de codificación originales diseñados específicamente para esta aplicación.
En una implementación particular, el módulo de órdenes de usuario emplea control mioeléctrico convencional. Se registra actividad muscular usando electromiografía (EMG) y se emplea desencadenamiento sencillo para activar el control autónomo del ULD. Para implementar control manual que anula el funcionamiento automático, puede usarse un control mioeléctrico proporcional. Puede hacerse que la posición, velocidad y/o fuerza de agarre del ULD sean directamente proporcionales a la actividad muscular registrada (electromiografía). Se usa activación conjunta muscular para cambiar el modo de control.
En otra implementación particular, el módulo de órdenes de usuario implementa cualquiera de los algoritmos de reconocimiento de patrones del estado de la técnica para control mioeléctrico, o algunos de los métodos de última generación para el control simultáneo y proporcional de ULD de múltiples grados de libertad.
En aún otra implementación particular, el módulo de órdenes de usuario puede basarse en algunas interfaces hombre-máquina menos convencionales (por ejemplo, voz, interfaces cerebro-máquina, etc.).
Implementaciones de ejemplo
Ejemplo 1 (prótesis de mano con un dispositivo de obtención de imágenes activo y realidad aumentada)
El usuario está equipado con las gafas especiales que están diseñadas específicamente para esta aplicación. Las gafas tienen pantallas de AR transparentes y dispositivo de obtención de imágenes activo en miniatura incorporado en las monturas de las gafas. El dispositivo de obtención de imágenes proporciona una estructura 3D de la escena delante del sujeto. Todos los componentes son de pequeño factor y están integrados de modo que estas gafas especializadas se parecen mucho a unas gafas habituales.
El sujeto es una persona amputada y usa una mano protésica hábil con dedos controlables de manera individual y articulación de muñeca activa que permite movimientos de flexión/extensión y pronación/supinación de la muñeca. La mano está equipada con sensores de posición y fuerza de agarre, y también con unidades de medición de inercia que miden la orientación de la mano en el espacio. Los sensores están incorporados dentro de la mano. El controlador semiautomático programable también está incorporado en la electrónica de la mano.
Las gafas están conectadas al controlador a través de un enlace inalámbrico que transmite información 3D adquirida a partir del dispositivo de obtención de imágenes al controlador e información de realimentación de AR procesada de vuelta a las gafas para trazarse en las pantallas transparentes.
El desencadenamiento del funcionamiento automático y el control manual durante el funcionamiento semiautomático se implementan usando una interfaz mioeléctrica sencilla que comprende dos canales de EMG bipolar.
A continuación, se presenta una situación de caso de uso hipotético. El usuario se aproxima a la mesa con un conjunto de objetos. Mira al que desea agarrar y el sistema proporciona instantáneamente reconocimiento de realimentación visual de que se ha reconocido el objeto (por ejemplo, se marca el objeto objetivo). El sujeto acerca la mano y al mismo tiempo desencadena la mano para que se abra contrayendo brevemente sus músculos extensores. Mientras la mano se desplaza hacia el objeto, el controlador ya ha analizado la información 3D obtenida a partir del dispositivo de obtención de imágenes, separado el objeto objetivo y determinado sus propiedades (forma y tamaño). Como resultado, ordena a la mano que adopte una forma previa de un agarre apropiado. Simultáneamente, el controlador procesa de manera continua los datos de inercia estimando la orientación de la mano con respecto al objeto objetivo. Basándose en esto, controla automáticamente los dos grados de libertad en la articulación de la muñeca de modo que la mano se orienta apropiadamente para el agarre. Cuando la mano se acerca al objeto, el usuario desencadena el cierre y agarra el objeto.
Mientras lo sujeta, el usuario se basa en el control manual para manipular el objeto y controlar la fuerza de agarre. El usuario controla la fuerza basándose en una realimentación de AR sencilla, una barra colocada en la visión periférica que representa la fuerza de agarre actual.
Obsérvese que el movimiento de acercamiento y agarre controlado de manera automática funciona de manera muy similar al movimiento natural. El usuario expresa el objetivo de alto nivel (agarrar el objeto) y desencadena el sistema, y la “mano” implementa el resto de las etapas.
5
10
15
20
25
30
35
40
45
Ejemplo 2 (prótesis de mano con realidad aumentada)
El usuario de una prótesis de mano lleva puestas unas gafas de AR comercialmente disponibles convencionales (por ejemplo, proyecto de gafas de Google). Las gafas están conectadas de manera inalámbrica al controlador incorporado dentro de la mano, que se hace funcionar usando una interfaz de miocontrol de dos canales convencional.
El controlador recibe datos de posición y fuerza de los sensores de prótesis incorporados y proporciona realimentación propioceptiva y de fuerza artificial a través de AR. Específicamente, se traza una elipse en el campo visual periférico del usuario usando las gafas de AR. Se hace que el eje horizontal sea proporcional a la apertura de la mano actual y el eje vertical es proporcional a la fuerza de agarre. Por tanto, el usuario recibe información sobre la mano como cambio en la forma de la elipse. Esta información se envía por el controlador a las gafas que proyectan la imagen (elipse) para el usuario.
Un caso de uso hipotético puede ser el siguiente. El sujeto se aproxima a la mesa con un conjunto de objetos. Comienza el acercamiento al objeto objetivo y simultáneamente comienza a adoptar la forma previa de la mano. Esto es posible a pesar del hecho de que el sujeto, en el momento en el que comienza el acercamiento, no ve la mano. Sin embargo, el sujeto tiene toda la información sobre la configuración de la mano gracias a la realimentación de AR proporcionada. Tras establecerse el agarre, el sujeto controla la fuerza de agarre a través de la realimentación de fuerza de agarre de AR.
Obsérvese que el acercamiento y agarre con este sistema simula la secuencia de acontecimientos que es típica para el agarre de sujetos sin discapacidad. Concretamente, la persona amputada puede comenzar con la forma previa de la mano mientras está transportando la mano al objeto objetivo, de modo que la mano está configurada de manera apropiada y lista para cerrarse al terminar de acercarse.
Ejemplo 3 (prótesis de brazo completo con un dispositivo de obtención de imágenes activo y realidad aumentada)
Esta implementación es muy similar a la implementación presentada en el ejemplo 1. La principal diferencia se encuentra en la complejidad del sistema de prótesis. En este caso, el sujeto está equipado con una prótesis de brazo completo que tiene unas articulaciones de hombro, codo y muñeca activas y dedos controlables de manera independiente.
La situación de caso de uso puede ser de la siguiente manera. El usuario desea agarrar un objeto. Mira al objeto y el sistema proporciona el reconocimiento de que se ha reconocido el objeto y se ha seleccionado como objetivo. El usuario desencadena el sistema proporcionando una breve contracción usando uno de sus músculos funcionales alrededor del hombro. El controlador analiza la imagen 3D de la escena y el objeto objetivo y planifica la trayectoria de acercamiento, orientación del efector de extremo (mano) y configuración del efector de extremo (mano) que son apropiadas para acercarse y agarrar el objeto. Entonces, el sistema ejecuta el plan, es decir, se controla el brazo en tiempo real para acercarse y agarrar el objeto.
De manera similar al ejemplo uno, esto simula la manera en la que se ejecuta la misma tarea en sujetos sin discapacidad. La tarea compleja de acercamiento y agarre en un espacio 3D se implementa sin esfuerzo para el usuario, es decir, sólo se centra en el objetivo global y desencadena el sistema, mientras que el sistema implementa todas las demás etapas de manera totalmente automática.

Claims (14)

10
15
20
2.
25
3.
30
4.
35
40 5.
45 6.
7.
50
8.
55
9.
60
10.
REIVINDICACIONES
Unidad (1) de control para controlar eléctricamente un dispositivo de extremidad (2) eléctricamente controlable en forma de una extremidad artificial para un ser humano o una extremidad de robot, comprendiendo el dispositivo (2) de extremidad una pluralidad de accionadores, comprendiendo la unidad (1) de control una primera interfaz (8) para conectar la unidad (1) de control al dispositivo (2) de extremidad, comprendiendo la unidad (1) de control una segunda interfaz (7) para conectar la unidad (1) de control a un dispositivo (4, 5, 6, 18) de recopilación de datos que comprende uno o más dispositivos de detección, comprendiendo la unidad (1) de control una unidad (10) de procesamiento que está dispuesta para controlar el dispositivo (2) de extremidad basándose al menos en datos recopilados por el dispositivo (4, 5, 6, 18) de recopilación de datos, en la que la unidad (1) de control está dispuesta para emitir una etapa de acción de control individual a los accionadores del dispositivo (2) de extremidad calculada por la unidad (10) de procesamiento basándose en unos primeros datos o combinación de datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos, y la unidad (1) de control está dispuesta para emitir una pluralidad de etapas de acción de control a los accionadores del dispositivo (2) de extremidad calculadas por la unidad (10) de procesamiento basándose en unos segundos datos o combinación de datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos, siendo los segundos datos o combinación de datos diferentes de los primeros datos o combinación de datos, induciendo la pluralidad de etapas de acción de control un movimiento automático más complejo del dispositivo (2) de extremidad que la etapa de acción de control individual.
Unidad de control según cualquiera de las reivindicaciones anteriores, caracterizada porque la unidad (1) de control está dispuesta para recibir datos a través de la segunda interfaz (7) desde el dispositivo (4, 5, 6, 18) de recopilación de datos que comprenden al menos información 3D (tridimensional) que incluye información de profundidad.
Unidad de control según la reivindicación 1, caracterizada porque la unidad (1) de control está dispuesta para recibir datos a través de la segunda interfaz (7) desde el dispositivo (4, 5, 6, 18) de recopilación de datos que comprenden al menos uno de datos de cámara, datos de dispositivo de exploración 3D tales como datos de disposición de cámaras de visión estereoscópica, datos de exploración por láser, datos de exploración por luz blanca y datos de unidad de detección de inercia.
Unidad de control según cualquiera de las reivindicaciones anteriores, caracterizada porque la unidad (1) de control comprende una tercera interfaz (9) para conectar la unidad (1) de control a un dispositivo (3) de salida visual que va a usarse por un usuario del dispositivo (2) de extremidad, en la que la unidad (1) de control está dispuesta para emitir datos visuales al dispositivo (3) de salida visual basándose en datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos y/o etapas de control emitidas al dispositivo (2) de extremidad.
Unidad de control según la reivindicación 4, caracterizada porque el dispositivo (3) visual es un dispositivo de realidad aumentada de visión estereoscópica que está dispuesto para llevarse puesto por un usuario del dispositivo (2) de extremidad, que permite emitir información visual al usuario que comprende al menos información 3D que incluye información de profundidad.
Unidad de control según cualquiera de las reivindicaciones 4 a 5, caracterizada porque la unidad (1) de control está dispuesta para emitir datos visuales al dispositivo (3) de salida visual que muestran posiciones de las articulaciones del dispositivo (2) de extremidad.
Unidad de control según cualquiera de las reivindicaciones 4 a 6, caracterizada porque la unidad (1) de control está dispuesta para emitir una señal de marcación en el dispositivo (3) de salida visual basándose en una selección interna de un objeto que va a agarrar el dispositivo (2) de extremidad, marcando la señal de marcación el objeto seleccionado en el dispositivo (3) de salida visual.
Unidad de control según cualquiera de las reivindicaciones 4 a 7, caracterizada porque la unidad (1) de control está dispuesta para calcular una orientación 3D del dispositivo (2) de extremidad o una parte del mismo a partir de los datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos y para emitir información visual sobre la orientación 3D calculada en el dispositivo (3) de salida visual.
Unidad de control según cualquiera de las reivindicaciones anteriores, caracterizada porque la unidad (1) de control comprende una interfaz (35) de realimentación para conectar la unidad (1) de control a un dispositivo de realimentación que proporciona realimentación a un usuario del dispositivo (2) de extremidad, en la que la unidad (1) de control está dispuesta para emitir datos de realimentación al dispositivo de realimentación basándose en datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos y/o etapas de control emitidas al dispositivo (2) de extremidad.
Unidad de control según la reivindicación 9, caracterizada porque el dispositivo de realimentación es al
10
12.
15
13.
20 14.
15.
25
16.
30
35 17.
18.
40
19.
45
50
55 20.
menos uno de un dispositivo de realimentación de fuerza, un dispositivo de realimentación táctil y un dispositivo de realimentación de temperatura.
Sistema que comprende una unidad (1) de control según cualquiera de las reivindicaciones anteriores, un dispositivo (4, 5, 6, 18) de recopilación de datos que comprende uno o más dispositivos de detección y un dispositivo (2) de extremidad eléctricamente controlable en forma de una extremidad artificial para un ser humano o una extremidad de robot, comprendiendo el dispositivo (2) de extremidad una pluralidad de accionadores, controlando eléctricamente la unidad (1) de control el dispositivo de extremidad a través de la primera interfaz (8) basándose en datos recibidos a través de la segunda interfaz (7) desde el dispositivo (4, 5, 6, 18) de recopilación de datos.
Sistema según la reivindicación 11, caracterizado porque el dispositivo (4, 5, 6, 18) de recopilación de datos comprende al menos uno de cámara, dispositivo (4) de exploración 3D tal como disposición de cámaras de visión estereoscópica, exploración por láser, exploración por luz blanca y unidad (5) de detección de inercia.
Sistema según la reivindicación 11 ó 12, caracterizado porque el dispositivo de recopilación de datos comprende un dispositivo de recopilación de datos 3D que emite al menos información 3D que incluye información de profundidad.
Sistema según cualquiera de las reivindicaciones 11 a 13, caracterizado porque el sistema comprende un dispositivo (3) de salida visual que está conectado a la unidad (1) de control a través de su tercera interfaz (9).
Sistema según la reivindicación 14, caracterizado porque el dispositivo (3) de salida visual comprende al menos uno de una pantalla o una pantalla (3) de visión estereoscópica, una cámara o una disposición (4) de cámaras de visión estereoscópica.
Sistema según cualquiera de las reivindicaciones 11 a 15, caracterizado porque el sistema comprende un dispositivo de realimentación que está conectado a la unidad (1) de control a través de la interfaz (35) de realimentación de la unidad (1) de control, proporcionando el dispositivo de realimentación realimentación a un usuario del dispositivo (2) de extremidad controlado por la unidad (1) de control basándose en datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos y/o etapas de control emitidas al dispositivo (2) de extremidad.
Sistema según la reivindicación 16, caracterizado porque el dispositivo de realimentación es al menos uno de un dispositivo de realimentación propioceptiva y un dispositivo de realimentación de sistema.
Sistema según la reivindicación 16 ó 17, caracterizado porque el dispositivo de realimentación es al menos uno de un dispositivo de realimentación de fuerza, un dispositivo de realimentación táctil y un dispositivo de realimentación de temperatura.
Método para controlar un dispositivo (2) de extremidad eléctricamente controlable por una unidad (1) de control según la reivindicación 1, estando el dispositivo (2) de extremidad en forma de una extremidad artificial para un ser humano o una extremidad de robot, comprendiendo el dispositivo (2) de extremidad una pluralidad de accionadores, en el que la unidad (1) de control emite una etapa de acción de control individual a los accionadores del dispositivo (2) de extremidad calculada por la unidad (10) de procesamiento basándose en unos primeros datos o combinación de datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos, y la unidad (1) de control emite una pluralidad de etapas de acción de control a los accionadores del dispositivo (2) de extremidad calculadas por la unidad (10) de procesamiento basándose en unos segundos datos o combinación de datos recibidos desde el dispositivo (4, 5, 6, 18) de recopilación de datos, siendo los segundos datos o combinación de datos diferentes de los primeros datos o combinación de datos, induciendo la pluralidad de etapas de acción de control un movimiento automático más complejo del dispositivo (2) de extremidad que la etapa de acción de control individual.
Método según la reivindicación 19, caracterizado porque se usa control mioeléctrico únicamente para desencadenar, supervisar y realizar un ajuste fino de las operaciones automáticas de la unidad (1) de control.
Programa informático, dispuesto para ejecutar un método según cualquiera de las reivindicaciones 19 a 20 si se ejecuta el programa informático en un procesador (10) de la unidad (1) de control que controla el dispositivo (2) de extremidad.
ES13171671.4T 2013-06-12 2013-06-12 Control de dispositivo de extremidad Active ES2661538T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP13171671.4A EP2813194B8 (en) 2013-06-12 2013-06-12 Control of limb device

Publications (1)

Publication Number Publication Date
ES2661538T3 true ES2661538T3 (es) 2018-04-02

Family

ID=48740829

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13171671.4T Active ES2661538T3 (es) 2013-06-12 2013-06-12 Control de dispositivo de extremidad

Country Status (3)

Country Link
US (2) US20140371871A1 (es)
EP (1) EP2813194B8 (es)
ES (1) ES2661538T3 (es)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201114264D0 (en) 2011-08-18 2011-10-05 Touch Emas Ltd Improvements in or relating to prosthetics and orthotics
GB201302025D0 (en) 2013-02-05 2013-03-20 Touch Emas Ltd Improvements in or relating to prosthetics
US20150112448A1 (en) * 2013-10-23 2015-04-23 Kurt W. Scott Hybrid Prosthetic Hand
WO2015120083A1 (en) 2014-02-04 2015-08-13 Rehabilitation Institute Of Chicago Modular and lightweight myoelectric prosthesis components and related methods
GB201403265D0 (en) 2014-02-25 2014-04-09 Touch Emas Ltd Prosthetic digit for use with touchscreen devices
GB201408253D0 (en) 2014-05-09 2014-06-25 Touch Emas Ltd Systems and methods for controlling a prosthetic hand
DE102014010938B4 (de) 2014-07-28 2023-01-12 Ottobock Se & Co. Kgaa Prothesenfuß, System aus Prothesenfuß und einem Schuh sowie Verfahren zum Anpassen der Absatzhöhe eines Prothesenfußes
GB201417541D0 (en) 2014-10-03 2014-11-19 Touch Bionics Ltd Wrist device for a prosthetic limb
CN107613937B (zh) * 2015-05-05 2020-11-10 埃克苏仿生公司 保证在外骨骼仿生装置中的操作者接合
US9676098B2 (en) 2015-07-31 2017-06-13 Heinz Hemken Data collection from living subjects and controlling an autonomous robot using the data
US10166680B2 (en) 2015-07-31 2019-01-01 Heinz Hemken Autonomous robot using data captured from a living subject
US12059383B2 (en) 2016-05-03 2024-08-13 Icarus Medical, LLC Assistive orthotic device with motors and sensors
RU2016120633A (ru) * 2016-05-26 2017-11-28 Евгений Викторович Бондаренко Аппаратно-программный комплекс для управления протезом верхних конечностей
US20180014744A1 (en) * 2016-07-13 2018-01-18 Purdue Research Foundation Motor-activated multi-functional wrist orthotic
WO2018026842A1 (en) 2016-08-01 2018-02-08 University Of Utah Research Foundation Signal processing for decoding intended movements from electromyographic signals
US10369024B2 (en) * 2016-09-02 2019-08-06 Touch Bionics Limited Systems and methods for prosthetic wrist rotation
US11185426B2 (en) 2016-09-02 2021-11-30 Touch Bionics Limited Systems and methods for prosthetic wrist rotation
US9717607B1 (en) * 2016-10-28 2017-08-01 International Business Machines Corporation Augmented control of robotic prosthesis by a cognitive system
US10269116B2 (en) * 2016-12-26 2019-04-23 Intel Corporation Proprioception training method and apparatus
US10782780B2 (en) * 2016-12-31 2020-09-22 Vasuyantra Corp. Remote perception of depth and shape of objects and surfaces
US9792501B1 (en) * 2016-12-31 2017-10-17 Vasuyantra Corp. Method and device for visually impaired assistance
US10860853B2 (en) * 2017-04-28 2020-12-08 Intel Corporation Learning though projection method and apparatus
WO2019056008A1 (en) * 2017-09-18 2019-03-21 West Virginia University SYSTEMS AND METHODS FOR APPROXIMATION OF MUSCULOSKELETAL DYNAMICS
CN107728616B (zh) * 2017-09-27 2019-07-02 广东宝乐机器人股份有限公司 移动机器人的地图创建方法及移动机器人
CN108008821B (zh) * 2017-12-14 2021-04-02 中国科学院深圳先进技术研究院 假肢动作分类器的性能评估方法、装置、终端及存储介质
US10973660B2 (en) 2017-12-15 2021-04-13 Touch Bionics Limited Powered prosthetic thumb
WO2019156643A1 (en) * 2018-02-07 2019-08-15 Koç Üni̇versi̇tesi̇ A prosthetic hand
CN111698969B (zh) * 2018-03-09 2024-05-31 我自己的动作有限公司 抓握辅助系统和方法
US11037316B2 (en) 2018-03-30 2021-06-15 Canon Kabushiki Kaisha Parallax calculation apparatus, parallax calculation method, and control program of parallax calculation apparatus
GB2574596A (en) * 2018-06-08 2019-12-18 Epic Inventing Inc Prosthetic device
US11547581B2 (en) 2018-12-20 2023-01-10 Touch Bionics Limited Energy conservation of a motor-driven digit
US11433545B2 (en) 2019-02-17 2022-09-06 Samsung Electronics Co., Ltd. Robotic vision
WO2020204843A2 (en) * 2019-02-28 2020-10-08 Boonyasurakul Boonyawee Device for grasping an object and method for controlling the device
EP4403142B1 (en) 2019-04-10 2025-06-25 Touch Bionics Limited Prosthetic digit with articulating links
US11775699B2 (en) * 2019-05-02 2023-10-03 Dassault Systemes Americas Corp. Extracting grasping cues from tool geometry for digital human models
EP3972787A4 (en) * 2019-09-03 2022-07-27 Samsung Electronics Co., Ltd. ROBOT VIEW
WO2021053557A1 (en) 2019-09-18 2021-03-25 Touch Bionics Limited Prosthetic digits and actuators
US11931270B2 (en) 2019-11-15 2024-03-19 Touch Bionics Limited Prosthetic digit actuator
CN111152213B (zh) * 2019-12-05 2021-03-16 北京蒂斯科技有限公司 一种基于混合控制的机械臂振动补偿方法及装置
WO2021118388A1 (ru) * 2019-12-10 2021-06-17 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Система манипулирования объектами
JP7360158B2 (ja) * 2019-12-13 2023-10-12 国立大学法人佐賀大学 制御システム及び制御プログラム
CN111283678A (zh) * 2020-01-19 2020-06-16 路邦科技授权有限公司 一种机器人镜像编程控制系统及其控制方法
US12459119B2 (en) * 2020-04-22 2025-11-04 Abb Schweiz Ag Method of controlling industrial robot, control system and robot system
WO2021241487A1 (ja) * 2020-05-25 2021-12-02 国立大学法人東北大学 タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システム
US20230255802A1 (en) * 2020-07-21 2023-08-17 Ottobock Se & Co. Kgaa Method for controlling an orthopedic device and orthopedic device
US12115087B2 (en) 2020-11-03 2024-10-15 Touch Bionics Limited Sensor for prosthetic control
FR3121838B1 (fr) * 2021-04-19 2025-03-21 Luca Miller Prothèse bionique percevant l’environnement
JP7651691B2 (ja) * 2021-05-28 2025-03-26 京セラ株式会社 保持位置決定装置、及び保持位置決定方法
WO2022266122A1 (en) * 2021-06-14 2022-12-22 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for an environment-aware predictive modeling framework for human-robot symbiotic walking
US12321672B2 (en) * 2021-07-14 2025-06-03 Dassault Systèmes Americas Corp. Environment-aware prepositioning of digital models in an environment
US20240252329A1 (en) * 2021-10-04 2024-08-01 Aether Biomedical Sp. Z O.O. Method and system for controlling prosthetic device
KR102559105B1 (ko) * 2021-10-20 2023-07-26 한국과학기술원 로봇 손 시스템 및 로봇 손 제어 방법
US12554902B2 (en) 2021-11-30 2026-02-17 Dassault Systemes Americas Corp. Smart phrase generator to instruct digital manikin action
CN114469465B (zh) * 2021-12-28 2024-11-19 浪潮工业互联网股份有限公司 一种基于智能假肢的控制方法、设备及介质
CN114732577A (zh) * 2022-03-22 2022-07-12 浙江工业大学 一种基于相机与肌电信号的假肢手控制系统及方法
DE102022111332A1 (de) * 2022-05-06 2023-11-09 Ottobock Se & Co. Kgaa Verfahren zum Einrichten einer orthopädietechnischen Vorrichtung
CN116269955A (zh) * 2023-02-20 2023-06-23 桂林电子科技大学 假肢手掌控制方法、装置、系统、设备及存储介质
CN117921683B (zh) * 2024-03-19 2024-05-31 库卡机器人(广东)有限公司 关节机器人及其控制方法、装置和可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2163570B (en) * 1984-08-24 1988-05-25 Hanger & Co Ltd J E Artificial hand
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
JP4908020B2 (ja) * 2006-03-02 2012-04-04 本田技研工業株式会社 ハンド制御システム
WO2008098072A2 (en) * 2007-02-06 2008-08-14 Hanger Orthopedic Group Inc. System and method for using a digit to position a prosthetic or orthotic device
WO2011022572A1 (en) * 2009-08-20 2011-02-24 Vanderbilt University Control system for jointed mechanical devices
US9844447B2 (en) * 2010-04-09 2017-12-19 Deka Products Limited Partnership System and apparatus for robotic device and methods of using thereof

Also Published As

Publication number Publication date
EP2813194B8 (en) 2018-07-11
EP2813194A1 (en) 2014-12-17
US10076425B2 (en) 2018-09-18
US20140371871A1 (en) 2014-12-18
EP2813194B1 (en) 2018-01-03
US20170266019A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
ES2661538T3 (es) Control de dispositivo de extremidad
Mouchoux et al. Artificial perception and semiautonomous control in myoelectric hand prostheses increases performance and decreases effort
Markovic et al. Stereovision and augmented reality for closed-loop control of grasping in hand prostheses
Markovic et al. Sensor fusion and computer vision for context-aware control of a multi degree-of-freedom prosthesis
Diftler et al. Evolution of the NASA/DARPA robonaut control system
Wang et al. Hybrid gaze/EEG brain computer interface for robot arm control on a pick and place task
Maimon-Mor et al. Towards free 3D end-point control for robotic-assisted human reaching using binocular eye tracking
US20210205986A1 (en) Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose
US9278453B2 (en) Biosleeve human-machine interface
US8880223B2 (en) Anthro-centric multisensory interface for sensory augmentation of telesurgery
Katyal et al. A collaborative BCI approach to autonomous control of a prosthetic limb system
Ma et al. Hand gesture recognition with convolutional neural networks for the multimodal UAV control
Fritsche et al. First-person tele-operation of a humanoid robot
Gromov et al. Proximity human-robot interaction using pointing gestures and a wrist-mounted IMU
Martin et al. A novel approach of prosthetic arm control using computer vision, biosignals, and motion capture
Cutipa-Puma et al. A low-cost robotic hand prosthesis with apparent haptic sense controlled by electroencephalographic signals
Goodale Duplex vision: separate cortical pathways for conscious perception and the control of action
CN115252240A (zh) 一种人在环路的上臂假肢半自主灵巧控制系统
Chen et al. Development of a user experience enhanced teleoperation approach
Gardner et al. An unobtrusive vision system to reduce the cognitive burden of hand prosthesis control
Hunt et al. Predictive trajectory estimation during rehabilitative tasks in augmented reality using inertial sensors
Leitner et al. Teleoperation of a 7 DOF humanoid robot arm using human arm accelerations and EMG signals
Weisz et al. A user interface for assistive grasping
Goodale Duplex vision
WO2021073733A1 (en) Method for controlling a device by a human