EP4392212A2 - Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu - Google Patents

Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu

Info

Publication number
EP4392212A2
EP4392212A2 EP22768316.6A EP22768316A EP4392212A2 EP 4392212 A2 EP4392212 A2 EP 4392212A2 EP 22768316 A EP22768316 A EP 22768316A EP 4392212 A2 EP4392212 A2 EP 4392212A2
Authority
EP
European Patent Office
Prior art keywords
gripping
robot
finger
robot hand
fingers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22768316.6A
Other languages
English (en)
French (fr)
Inventor
Sönke Michalik
Sören Michalik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aeon Robotics GmbH
Original Assignee
Aeon Robotics GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aeon Robotics GmbH filed Critical Aeon Robotics GmbH
Publication of EP4392212A2 publication Critical patent/EP4392212A2/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B25J13/025—Hand grip control means comprising haptic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/10—Program-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/104—Program-controlled manipulators characterised by positioning means for manipulator elements with cables, chains or ribbons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the program is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/427—Teaching successive positions by tracking the position of a joystick or handle to control the positioning servo of the tool head, leader-follower control
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35464—Glove, movement of fingers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36454—Leader-follower, director agent, operator replication
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36455—Sensor, tactile feedback, operator feels forces of tool on workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39478—Control force and posture of hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39486—Fingered hand, multifingered hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39492—Finger impedance control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39546—Map human grasps to manipulator grasps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40146—Telepresence, teletaction, sensor feedback from follower to operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40155—Purpose is grasping objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing

Definitions

  • the invention also relates to a robot hand of a robot with a base section and with fingers which are arranged in a pivotable manner on the wrist, and with drive motors arranged in the base section, the fingers each having a first phalanx, which is pivotably articulated on a base joint axis on the base section, and a second phalange pivotally connected to the first phalange at a central pivot axis.
  • Robot hands are known for the automated handling of objects, which grip objects in the manner of the human hand and by pivoting them Robotic hand on a robotic arm can shift these objects.
  • finger positions and gripping forces are of particular importance, since they depend on the object and the position of the object and must be selected in such a way that the object can be carried safely without being damaged.
  • the term "finger positions" includes the gripping positions in the sense of the contact points at which the fingertips are in contact with the object surface of the gripped object.
  • DE 10 2017 005 762 B4 describes a finger element for a hand prosthesis with a base member and a finger member that can be pivoted relative to the base member and has a gear wheel mounted on a shaft.
  • the gear wheel is supported in the axial direction on the drive side by means of a ball bearing.
  • Straight curving movements of the finger element press the worm gear in the direction of the motor, in that the worm gear is arranged axially displaceably on the drive shaft proximal to the motor and the worm gear engages in a worm wheel above the pivot axis.
  • DE 11 2013 005 465 B4 and DE 11 2013 006 008 T5 disclose a robot hand and a joint mechanism in which a plurality of joint mechanisms are arranged parallel to one another and are driven together in order to pivot a plurality of finger parts arranged pivotably one behind the other.
  • Linear actuators connected to push rods.
  • DE 10 2017 220 936 A1 discloses a hand exoskeleton and a robot arm for detecting or transmitting a movement/force of a hand with a base that is connected to a manipulator.
  • a finger touch point is provided at an end of the manipulator remote from the base.
  • the manipulator has a position sensor and/or force sensor.
  • EP 1 974 872 B1 discloses a hand-held device with a wrist section and finger mechanisms in which several finger elements are pivotably arranged one behind the other.
  • the finger members are moveable with a common power source located in the carpal portion.
  • DE 102020 127 508 A1 describes a method for estimating the pose of an object using image-based systems while the object is being manipulated by a robotic hand.
  • a strongly moving robot system is to be controlled without gloves in order to solve a large number of gripping and manipulation tasks.
  • Deep learning can also be used here.
  • the robotic manipulation is done by depth observation of the bare human hand.
  • Hand pose specifications can be generated for training a neural network on a large data set of poses of a human hand using camera images.
  • a method for training a robot which has a robotic hand with fingers, with sensors for determining the gripping forces and gripping positions of the fingers
  • Robotic hand gripping an object the robot being controllable via a portable sensor and force feedback element
  • the representation of the sensor data as image information and the merging of this visual representation of the sensor data with an image representation of the gripped object is used for image-based training of a neural network.
  • the gripping movement of the robot hand can be transmitted to the robot during training by the movement of the user's hand via the sensors of the wearable sensor and force feedback element, so that the robot hand is remotely controlled by the user's hand when the robot hand grips an object.
  • the gripping forces exerted by the robot hand are then fed back to the fingers of the user's hand via the actuators of the wearable sensor and force feedback element.
  • the movement behavior of the user's hand is thus influenced and the gripping behavior of the robot hand is trained not only by specifying the gripping movement by the user, but also by the user's reaction to the gripping forces of the robot hand.
  • the generated image representations can be routed as input information to a neural network, with the neural network being trained using the image representations of a plurality of gripping operations on objects.
  • the corresponding gripping position and gripping forces of the robot hand for the object can later be determined on the basis of images of objects to be gripped and control signals for the hand of a robot can be generated.
  • a robot can be controlled with a neural network that has been trained using the method described above, in that images of an object to be gripped by the robot hand are captured with a camera and introduced into the trained neural network as input information, with the neural network by inverse transformation of the image data gripping positions and gripping forces for controlling the robot hand are automatically calculated and transformed into control signals for the robot.
  • the wearable sensor and force feedback element can have sensors for determining the finger position, for example the finger joint position and/or the finger curvature.
  • the data processing unit can preferably be set up with a computer program for generating image representations of the gripping position when gripping the object with the robot hand.
  • a camera may be aimed at the robotic hand gripping the object to capture images.
  • the camera which is aimed at the object to be grasped, can be arranged, for example, on the robot or the robot hand or in the vicinity of the robot. It is also conceivable, however, to capture images of objects to be gripped independently of the gripping process. In this case, available images of the objects to be grasped can preferably be used from several perspectives or three-dimensional images.
  • the data processing unit can be set up for the automated, for example computer-program-supported generation of the image representations of the finger positions of the robot hand gripping the object from the images of the object captured by the camera.
  • the data processing unit can be set up for visual representation of the gripping forces using color coding in the associated image representation of the object in the area of the object surface.
  • the data processing unit can have a neural network and be set up to route the image representations as input data into the neural network and to train the neural network with the image representations of multiple gripping processes of objects. Again, this can be done with a computer program that has image-based artificial intelligence commands.
  • the control device can be set up for the automated calculation of control signals for the robot hand of the robot based on images of objects to be gripped using the trained neural network. From the pictures of the objects to be gripped as an input variable for the trained neural network, gripping positions and gripping forces of the robot hand can be calculated with the trained neural network.
  • the phalanges can be driven in which the forces acting on an object from the phalanges are fed back to the associated drive motor via the respective belt drive.
  • the gripping forces can thus be measured from the electrical parameters when driving the drive motors via the motor currents and/or motor voltages.
  • At least one finger may have a third phalange pivoted on the second phalange at a wrist axis and coupled to the second phalange by a push rod. This allows for a further curvature of the fingertip, which follows the curvature of the second phalanx directly in front of it.
  • the finger position and the gripping forces of a user's finger coupled to the pull strap can be determined.
  • the actuators With the help of the actuators, tensile forces can be generated on the coupled fingers of the user via the tension belts and thus the measured gripping forces of the finger joints of the robot hand can be transmitted to the finger joints of the user.
  • the pull strap can have a hollow body which is designed to accommodate a fingertip. This allows a user's hand to be coupled to the pull straps in a simple manner by simply inserting the free ends of the fingers into the associated hollow body.
  • Figure 5 is a plan view of the section of the robotic hand of Figure 3;
  • This image representation REP is then fed to a neural network AI in order to train it such that an associated image representation REP can be generated with the trained neural network AI using an image B of an object 0, from which the gripping position P and gripping forces K are then extracted can become.
  • a third phalanx 7 (phalanx distalis) is articulated on the distal end of this second phalanx 5 so as to be pivotable about an end joint axis 8 .
  • the pivoting angle of the second phalanx 3 can be limited by a guide with stop contours of the first phalanx 3 .
  • the belt drive can also provide a translation, with the ratios of the diameters of the drive pulley to the driven pulley then being selected inversely to the reduction.
  • the diameter of the second pulley 13 is larger than the opposite drive pulley of the pair of pulleys 14 which carries the first belt 14 .
  • the driven pulley of the pair of pulleys 24 in turn has a larger diameter than the drive pulley of the pair of pulleys 24 which carries the second belt 14 .
  • the intermediate pair of pulleys 22 is not designed as a step-up or step-down and has two pulleys with approximately the same diameter.
  • the non-self-locking drive allows electromechanical force control via the motor currents of the drive motors 16a, 16b. These can be controlled with a servo motor controller, for example. Due to the double pulleys with different diameters, a multi-stage reduction or translation is easily possible in a compact space.
  • the curvature of the finger can be determined by changing the length of the drive belt 44 unwound from the bobbin 51 and the pivot angle of the web 47 in the pivot axis 50 .
  • third phalanx 40 wearable sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren eines Roboters, der eine Roboterhand (30) mit Fingern (1) hat, und mit Sensoren zur Ermittlung der Greifkräfte (K) und Greifpositionen (P) der Finger (1) der Roboterhand (30) beim Greifen eines Objektes (O), wobei der Roboter über ein tragbares Sensor- und Kraftrückführungselement(40) steuerbar ist, wird beschrieben. Das Verfahren hat die Schritte von: a) computergestütztes Erzeugen von Bildrepräsentationen (REP) der Greifpositionen (P) der ein Objekt (O) greifenden Roboterhand (30), einer visuellen Darstellung der mit den Sensoren erfassten Greifkräfte (K) und einer Darstellung des Objektes (O), und b) computergestütztes Trainieren des Roboters mit einem bilddatengestützten neuronalen Netzwerk (AI) anhand von Bildern (B) des Objektes (O) und der erzeugten Bildrepräsentationen (REP) als Eingangsdaten für das neuronale Netzwerk(AI).

Description

Roboterhand eines Roboters und Verfahren zum Trainieren eines Roboters sowie ein tragbares Sensor- und Kraftrückführungselement hierzu
Die Erfindung betrifft ein Verfahren zum Trainieren eines Roboters, der eine Roboterhand mit Fingern hat, mit Sensoren zur Ermittlung der Greifkräfte und Greifpositionen der Finger der Roboterhand beim Greifen eines Objektes. Das Verfahren zum Trainieren eines Roboters nutzt Bilder von Objekten, die mit einer Kamera erfasst worden sind oder beim Trainieren erfasst werden.
Die Erfindung betrifft weiterhin eine Steuerungseinrichtung mit einer Roboterhand eines Roboters, mit Sensoren zur Ermittlung der Greifpositionen und Greifkräfte der Finger einer Roboterhand und mit einer Datenverarbeitungseinheit.
Die Erfindung betrifft zudem eine Roboterhand eines Roboters mit einem Grundabschnitt und mit Fingern, die drehgelenkig an dem Handgelenk angeordnet sind, sowie mit in dem Grundabschnitt angeordneten Antriebsmotoren, wobei die Finger jeweils ein erstes Fingerglied, das an einer Grundgelenkachse schwenkbar an dem Grundabschnitt angelenkt ist, und ein zweites Fingerglied aufweisen, das an einer Mittelgelenkachse schwenkbar an das erste Fingerglied angelenkt ist.
Die Erfindung betrifft weiterhin ein tragbares Sensor- und Kraftrückführungselement, das zum Ankoppeln an der Hand eines Benutzers eingerichtet ist und Sensoren zur Ermittlung der Fingerpositionen und Gelenkkräfte der Finger der menschlichen Hand des Benutzers und Aktoren zur Erzeugung von rückgeführten Greifkräften, die beim Greifen eines Objektes mit den Fingern der Roboterhand auf das Objekt wirken, auf die Finger der menschlichen Hand des Benutzers aufweist.
Für die automatisierte Handhabung von Objekten sind Roboterhände bekannt, die in der Art der menschlichen Hand Objekte greifen und mittels Verschwenken der Roboterhand an einem Roboterarm diese Objekte verlagern können.
Hierzu ist es erforderlich, die Bewegung des Roboters zu trainieren. Dabei sind die Fingerpositionen und Greifkräfte von besonderer Bedeutung, da diese vom Objekt und der Objektlage abhängig sind und so gewählt werden müssen, dass ein sicheres Tragen des Objektes ohne Beschädigung sichergestellt ist. Der Begriff „Fingerpositionen“ umfasst die Greifpositionen im Sinne der Berührungspunkte, denen die Fingerkuppen mit der Objektoberfläche des gegriffenen Objektes in Kontakt stehen.
Die DE 10 2017 005 762 B4 beschreibt ein Fingerelement für eine Handprothese mit einem Grundglied und einem relativ zu dem Grundglied schwenkbaren Fingerglied, das ein auf einer Welle gelagertes Zahnrad aufweist. Das Zahnrad ist in axialer Richtung auf der Antriebsseite mittels eines Kugellagers abgestützt. Gerade krümmende Bewegungen des Fingerelementes drücken die Gewindeschnecke in Richtung des Motors, indem die Gewindeschnecke proximal zum Motor axial verschieblich auf der Antriebswelle angeordnet ist und die Gewindeschnecke oberhalb der Schwenkachse in ein Schneckenrad eingreift.
Ebenso offenbart DE 102017 005 765 B4 ein Fingerelement mit einem Grundglied und einem ersten und zweiten Fingerglied, die schwenkbar um eine jeweilige Schwenkachse gelagert sind. Das Grundglied hat ein Positionierelement zur Begrenzung der Innenposition der Bewegung des zweiten Fingerglieds um eine zweite Schwenkachse in Abhängigkeit von der Position des ersten Fingergliedes. Auch hier ist eine durch einen Elektromotor angetriebene Gewindeschnecke vorhanden, die ein Teilschneckenrad kämmt.
DE 102018 112 633 A1 beschreibt eine Fingereinheit für eine Roboterhand, bei der die Fingerglieder über ein Zahnradgetriebe verschwenkbar sind, wobei Vorspannmittel zum Erzeugen einer Vorspannkraft vorgesehen sind.
DE 11 2013 005 465 B4 und DE 11 2013 006 008 T5 offenbaren eine Roboterhand und ein Gelenkmechanismus, bei dem mehrere Gelenkmechanismen parallel zueinander angeordnet und zusammen angetrieben werden, um mehrere hintereinander schwenkbar angeordnete Fingerteil zu verschwenken. Hierzu sind Linearaktuatoren mit Schubstangen verbunden.
DE 11 2018 002 565 T5 offenbart ein System und ein Verfahren zum direkten Anlernen eines Roboters. Mit einer tragbaren Einrichtung, die mehrere Sensoren aufweist, werden Signale zur Bewegung, Orientierung, Position, Kraft und zum Drehmoment eines beliebigen Teil eines Körpers eines Benutzers erfasst, die als Lernbefehle abgespeichert und zur späteren Ansteuerung eines Roboters nach dem Training beispielsweise mit einem Datenhandschuh genutzt werden.
DE 10 2014 108 287 A1 offenbart ein Verfahren zum Trainieren eines Roboters zum automatischen Ausführen einer Roboteraufgabe, bei dem Trainingsdaten, welche mindestens eine lineare Kraft und das Drehmoment umfassen, mit Hilfe eines Kraft- Drehmoment-Sensors gemessen werden, während ein Greiforgan durch mehrere Zustände bewegt wird. Aus den Trainingsdaten werden Schlüsselmerkmale extrahiert, welche in eine Zeitsequenz aus Steuerungsprimitiven segmentiert werden. Bei der autonomen Ausführung der gleichen Aufgabe werden die Übergänge detektiert und automatisch zwischen den zugehörigen Steuerungsmodi umgeschaltet.
WO 2016/0107679 A1 und WO 2019/133859 A1 offenbaren einen Datenhandschuh, bei dem flexible Elemente für jedes Fingerglied vorgesehen sind, die an einer jeweiligen Bremse angekoppelt sind. Damit lassen sich die Position und die Bewegung einer Hand des Benutzers messen.
DE 10 2017 220 936 A1 offenbart ein Handexoskelett sowie einen Roboterarm zur Erfassung bzw. Übertragung einer Bewegung / Kraft einer Hand mit einer Basis, die mit einem Manipulator verbunden ist. Ein Fingerberührungspunkt ist an einem der Basis abgewandten Ende des Manipulators vorgesehen. Der Manipulator hat einen Positionssensor und/oder Kraftsensor.
EP 2 653 954 B1 offenbart eine seitenflächenartige Kraftmessungsschnittstelle zur Kraftmessung für jeden der Finger einer Bedienperson. Hierzu ist eine Tastfingerbasis, ein Armmechanismus, ein Erkennungsabschnitt zur Erkennung der Position und Haltung eines Handgeleks der Bedienperson, ein Erkennungsabschnitt zur Erkennung der Position und Haltung des Handgeleks des Armmechanismus, Fingerbefestigungsabschnitte zur Befestigung der Tastfinger an den Fingern der Bedienperson und eine Steuerung vorgesehen.
EP 1 974 872 B1 offenbart eine Handvorrichtung mit einem Handwurzelabschnitt und Fingermechanismen, bei denen mehrere Fingerelemente schwenkbar hintereinander angeordnet sind. Die Fingerelemente sind mit einer gemeinsamen, in dem Handwurzelabschnitt angeordneten Kraftquelle bewegbar.
US 10 551 927 B2 offenbart ein Kraftübertragungssystem, das mit den Fingern einer Hand eines Benutzers gekoppelt werden kann, um eine Kraftrükkoppelung auf die Finger zu bewirken, wenn diese ein virtuelles Objekt ergreifen. Die Kraft wird durch einen an einem Wurzelbereich angeordneten Aktuator auf eine Gelenkarm kette aufgebracht.
DE 102020 127 508 A1 beschreibt ein Verfahren zum Abschätzen der Pose eines Objekts mit bildbasierten Systemen beschrieben, während das Objekt durch eine Roboterhand manipuliert wird. Ein stark bewegtes Robotersystem soll ohne Handschuhe zur Lösung einer Vielzahl von Greif- und Manipulationsaufgaben gesteuert werden. Dabei kann auch Deep-Learning genutzt werden. Die Robotermanipulation erfolgt durch Tiefenbeobachtung der bloßen menschlichen Hand. Es können Handpose-Vorgaben zum Trainieren eines neuronalen Netzwerkes auf einen großen Datensatz von Posen einer menschlichen Hand mit Hilfe von Kamerabildern erzeugt werden.
Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Trainieren eines Roboters, eine Steuerungseinrichtung hierzu, sowie eine verbesserte Roboterhand und ein tragbares Sensor- und Kraftrückführungselement zu schaffen.
Die Aufgabe wird mit den Merkmalen der unabhängigen Ansprüche 1 , 8, 14 und 19 gelöst. Vorteilhafte Ausführungsformen sind in den Unteransprüchen beschrieben.
Ein Verfahren zum Trainieren eines Roboters, der eine Roboterhand mit Fingern hat, mit Sensoren zur Ermittlung der Greifkräfte und Greifpositionen der Finger der Roboterhand beim Greifen eines Objektes, wobei der Roboter über ein tragbares Sensor- und Kraftrückführungselement steuerbar ist, weist die Schritte auf von: a) computergestütztes Erzeugen von Bildrepräsentationen der Greifpositionen der ein Objekt greifenden Roboterhand, einer visuellen Darstellung der mit den Sensoren erfassten Greifkräfte und einer Darstellung des Objektes, und b) computergestütztes Trainieren des Roboters mit einem bilddatengestützten neuronalen Netzwerk anhand von Bildern des Objektes und der erzeugten Bildrepräsentationen als Eingangsdaten für das neuronale Netzwerk.
Die Repräsentation der Sensordaten als Bildinformation und die Zusammenführung dieser visuellen Darstellungen der Sensordaten mit einer Bilddarstellung des gegriffenen Objektes wird zum bildgestützten Training eines neuronalen Netzwerkes genutzt. Damit kann beim späteren Ansteuern des Roboters anhand einer Bildaufnahme des handzuhabenden Objektes eine Rücktransformation zu den zum Greifen geeigneten Fingerpositionen und Greifkräften erfolgen. Das Training und das Ansteuern eines Roboters ist damit auf einfache und zuverlässige Weise mit Hilfe herkömmlicher, frei verfügbarer bildverarbeitender neuronaler Netzwerke, d.h. von bildverarbeitenden Kl-Algorithmen (Kl = künstliche Intelligenz) möglich.
Es kann eine direkte Ermittlung der Greifpositionen der Roboterhand beim manuellen oder ferngesteuerten Führen der Roboterhand erfolgen. Denkbar ist aber auch eine Rückkoppelung des Greifvorgangs der Roboterhand an die Hand eines Benutzers mit Hilfe eines tragbaren Sensor- und Kraftrückführungselementes, das mit der Hand eines Benutzers koppelbar ist, d.h. eines Datenhandschuhs. Damit lassen sich beispielsweise die jeweilige Fingergelenkposition und/oder die Fingerkrümmung eines Fingers des Benutzers beim Greifen des Objektes durch die Roboterhand messen und indirekt die Greifpositionen der Roboterhand ermitteln. Die Bildrepräsentationen der Greifpositionen beim Ergreifen des Objektes mit der Roboterhand werden dann rechnergestützt automatisiert erzeugt, wobei die Bildrepräsentationen als Eingangsdaten für das neuronale Netz genutzt werden.
Bei dem Verfahren kann eine Rückführung der von der Roboterhand beim Ergreifen des Objektes auf das Objekt ausgeübten Greifkräfte auf die zugehörigen Finger des Benutzers mit Aktoren des tragbaren Sensor- und Kraftrückführungselementes erfolgen. Damit kann der Benutzer beurteilen, ob die von der Roboterhand auf das Objekt ausgeübten Greifkräfte angemessen sind. Das Training ist damit zunächst nicht subjektiv durch ein von einem Benutzer individuell vorgegebenes Greifverhalten beeinflusst. Eine Anpassung des Verhaltens des Roboters kann erfolgen, wenn die Greifkräfte der Roboterhand durch Rückkoppelung der durch den Benutzer auf das tragbare Sensor- und Kraftrückführungselement ausgeübten Gegenkräfte verändert werden. Damit wird der Roboter anhand der Reaktion des Benutzers auf das Greifverhalten der Roboterhand trainiert, welches mit den Aktoren des tragbaren Sensor- und Kraftrückführungselementes auf die Finger des Benutzers appliziert wird.
Die Greifbewegung der Roboterhand kann beim Training durch die Bewegung der Hand des Benutzers über die mit der Sensoren des tragbaren Sensor- und Kraftrückführungselementes an den Roboter übermittelt werden, so dass die Roboterhand beim Greifen eines Objektes durch die Roboterhand durch die Hand des Benutzers ferngesteuert wird. Die dabei von der Roboterhand ausgeübten Greifkräfte werden dann über die Aktoren des tragbaren Sensor- und Kraftrückführungselementes an die Finger der Hand des Benutzers rückgekoppelt. Damit wird das Bewegungsverhalten der Hand des Benutzers beeinflusst und das Greifverhalten der Roboterhand nicht nur durch die Vorgabe der Greifbewegung durch den Benutzer, sondern auch durch die Reaktion des Benutzers auf die Greifkräfte der Roboterhand trainiert.
Beispielsweise können während des Trainings ein Erfassen von Bildern der ein Objekt greifenden Roboterhand mit einer Kamera und ein automatisiertes rechnergestütztes Erzeugen von Bildrepräsentationen der Greifpositionen der das Objekt greifenden Roboterhand erfolgen. Das Training kann damit, bis auf das benutzergeführte Greifen und Handhaben des Objektes mit einer Hand des Benutzers bzw. Roboterhand mittels eines Computerprogramms mit Programmcodemitteln rechnergestützt automatisch durchgeführt werden, wenn die zur Durchführung der oben genannten Verfahrensschritte a) und b) ausgebildeten Programmcodemittel auf einem Prozessor einer Datenverarbeitungseinheit ausgeführt werden.
Vorteilhaft ist eine, ebenfalls rechnergestützte automatisierte, visuelle Darstellung der Greifkräfte anhand von Farbcodierungen in den zugehörigen Bildrepräsentationen des Objektes. Damit lassen sich die Greifkräfte auf komprimiert darstellbare und automatisiert auswertbare Weise als Bildinformationen visuell darstellen.
Die erzeugten Bildrepräsentationen können als Eingangsinformationen an ein neuronales Netzwerk geleitet werden, wobei ein Anlernen des neuronalen Netzwerkes mit den Bildrepräsentationen von mehreren Greifvorgängen von Objekten erfolgt.
Mithilfe des angelernten neuronalen Netzwerkes können später anhand von Bildern von zu greifenden Objekten die zugehörigen Greifposition und Greifkräfte der Roboterhand für das Objekt bestimmt und Steuerungssignale für die Hand eines Roboters erzeugt werden. Es kann ein Ansteuern eines Roboters mit einem neuronalen Netzwerk, das mit dem oben beschriebenen Verfahren trainiert wurde, dadurch erfolgen, dass mit einer Kamera Bilder eines von der Roboterhand zu ergreifenden Objektes erfasst und als Eingangsinformationen in das angelernte neuronale Netzwerk eingeführt werden, wobei mithilfe des neuronalen Netzwerkes durch Rücktransformation der Bilddaten Greifpositionen und Greifkräfte zur Ansteuerung der Roboterhand automatisiert berechnet und in Steuerungssignale für den Roboter transformiert werden.
Das Verfahren kann mit einer Steuerungsrichtung realisiert werden, die eine Roboterhand eines Roboters, Sensoren zur Ermittlung von Greifpositionen und Greifkräften, und eine Datenverarbeitungseinheit aufweist.
Die Steuerungseinrichtung kann optional ein mit der Hand eines Benutzers koppelbares tragbares Sensor- und Kraftrückführungselement haben. Weiterhin kann eine Kamera zur Erfassung von Bildern der zu greifenden Objekte vorhanden sein.
Die Datenverarbeitungseinheit kann zur Erzeugung von Bildrepräsentationen der beispielsweise von einem tragbaren Sensor- und Kraftrückführungselement ermittelten Fingerposition der ein Objekt greifenden Roboterhand und einer visuellen Darstellung der von der Roboterhand gemessenen Greifkräfte und zum Trainieren des Roboters anhand der Bilder des Objektes und der erzeugten Bildrepräsentationen eingerichtet sein. Dies kann beispielsweise mit einem Computerprogramm erfolgen, das Befehle umfasst, die bei ihrer Ausführung durch einen Computer bewirken, dass der Computer die rechnergestützten automatisierten Verfahrensschritte des oben beschriebenen Verfahrens ausführt.
Das tragbare Sensor- und Kraftrückführungselement kann Sensoren zur Ermittlung der Fingerposition, beispielsweise der Fingergelenkposition und/oder der Fingerkrümmung haben. Die Datenverarbeitungseinheit kann bevorzugt mit einem Computerprogramm zur Erzeugung von Bildrepräsentationen der Greifposition beim Greifen des Objektes mit der Roboterhand eingerichtet sein.
Eine Kamera kann zur Erfassung von Bildern auf die Objekt greifende Roboterhand ausgerichtet sein. Die auf das zu ergreifende Objekt ausgerichtete Kamera kann beispielsweise an dem Roboter oder der Roboterhand oder in der Umgebung des Roboters angeordnet sein. Denkbar ist aber auch eine Erfassung von Bildern von zu ergreifenden Objekten unabhängig von dem Greifvorgang. Dabei können verfügbare Bilder der zu ergreifenden Objekte bevorzugt aus mehreren Perspektiven oder dreidimensionale Bilder genutzt werden.
Die Datenverarbeitungseinheit kann zur automatisierten, beispielsweise computerprogram mgestützten Erzeugung der Bildrepräsentationen der Fingerpositionen der das Objekt greifenden Roboterhand aus den von der Kamera erfassten Bildern des Objektes eingerichtet sein.
Die Datenverarbeitungseinheit kann zur visuellen Darstellung der Greifkräfte anhand von Farbcodierung in der zugehörigen Bildrepräsentation des Objektes im Bereich der Objektoberfläche eingerichtet sein.
Die Datenverarbeitungseinheit kann ein neuronales Netzwerk haben und eingerichtet sein, um die Bildrepräsentationen als Eingangsdaten in das neuronale Netzwerk zu leiten und das neuronale Netzwerk mit den Bildrepräsentationen von mehreren Greifvorgängen von Objekten anzulernen. Dies kann wiederum mit einem Computerprogramm erfolgen, das Befehle zur bildgestützten künstlichen Intelligenz hat.
Die Steuerungseinrichtung kann zur automatisierten Berechnung von Steuersignalen für die Roboterhand des Roboters anhand von Bildern von zu greifenden Objekten mithilfe des angelernten neuronalen Netzwerkes eingerichtet sein. Aus den Bildern der zu greifenden Objekte als Eingangsgröße für das angelernte neuronale Netzwerk können Greifpositionen und Greifkräfte der Roboterhand mit dem angelernten neuronalen Netzwerk berechnet werden.
Die Handhabung von Objekten kann mit einer kompakt und einfach aufgebauten Roboterhand eines Roboters erfolgen. Die Roboterhand hat einen Grundabschnitt, der den Handrücken und die gegenüberliegende Handfläche bildet, und Finger, die drehgelenkig an dem Grundabschnitt angeordnet sind. In dem Grundabschnitt sind Antriebsmotoren angeordnet. Die Finger weisen jeweils ein erstes Fingerglied, das an einer Grundgelenkachse schwenkbar an dem Handrücken angelenkt ist, und ein zweites Fingerglied auf, das an einer Mittelgelenkachse schwenkbar an das erste Fingerglied angelenkt ist. Das erste Fingerglied ist über einen Riemenantrieb mit einem ersten Antriebsmotor und das zweite Fingerglied über einen Riemenantrieb mit einem zweiten Antriebsmotor verbunden.
Der Riemenantrieb hat Riemenscheiben, die drehbar jeweils um eine der Grundgelenkachse oder Mittelgelenkachse gelagert sind. Damit werden die Riemenantriebe zur Schwenkbewegung der hintereinander liegenden Fingerglieder voneinander entkoppelt.
Die erste Riemenscheibe ist um die Grundgelenkachse drehbar gelagert und mit dem ersten Fingerglied verbunden. Die erste Riemenscheibe trägt auf ihrem Außenumfang einen ersten Riemen, der mit dem ersten Antriebsmotor direkt oder indirekt gekoppelt ist. Eine zweite Riemenscheibe ist um die Mittelgelenkachse drehbar gelagert und mit dem zweiten Fingerglied verbunden. Die zweite Riemenscheibe trägt an ihrem Außenumfang einen zweiten Riemen, der direkt oder indirekt mit dem zweiten Antriebsmotor gekoppelt ist. Auf diese Weise werden jeweils zwei unabhängig voneinander wirkende Riemenantriebe für das erste und zweite Fingerglied bereitgestellt, die auf kompakte Weise und von äußeren Umwelteinflüssen weitgehend unbeeinflusst in den Fingergliedern integriert sind.
Eine dritte Riemenscheibe ist um die Grundgelenkachse drehbar gelagert, wobei der zweite Riemen die zweite Riemenscheibe und die dritte Riemenscheibe umschlingt, und wobei die dritte Riemenscheibe einen dritten Riemen trägt, der direkt oder indirekt mit dem zweiten Antriebsmotor verbunden ist. Damit wird eine Untersetzung oder ggf. bedarfsweise eine Übersetzung für den Riemenantrieb geschaffen.
Damit gelingt bei einem kompakten Aufbau ein Antrieb der Fingerglieder, bei dem die von den Fingergliedern auf ein Objekt wirkenden Kräfte über das jeweilige Riemengetriebe an den zugehörigen Antriebsmotor zurückgekoppelt werden. Die Greifkräfte lassen sich damit aus den elektrischen Kenngrößen beim Antrieb der Antriebsmotoren über die Motorströme und/oder Motorspannungen messen.
Die Antriebseinheiten können über Drehwinkelsensoren zur Messung der Rotorstellung verfügen. Über die Drehwinkelsensoren können durch die bekannte Untersetzung der jeweiligen Riemengetriebe die Gelenkswinkel der jeweiligen Fingergelenke bestimmt werden.
Jeder Antriebsmotor kann jeweils eine Antriebswelle haben, auf der jeweils ein Antriebsriemen gelagert ist. Jeder Antriebsriemen kann jeweils eine im Grundabschnitt angeordnete Riemenscheibe umschlingen, die drehbar um eine jeweilige Achse gelagert ist, auf der eine weitere Riemenscheibe angeordnet ist, wobei ein Riemen jeweils ein Paar von Riemenscheiben umschlingt.
Die Riemen können sich aus der Richtung eines Antriebsmotors in die Richtung der freien Endes des zugeordneten Fingers erstrecken. Damit folgen die Riemen in ihrer Längserstreckungsrichtung der Längserstreckungsrichtung des zugehörigen Fingers und seiner Fingerglieder.
Mindestens ein Finger kann ein drittes Fingerglied haben, das an einer Endgelenkachse schwenkbar an dem zweiten Fingerglied angeordnet und über eine Schubstange mit dem zweiten Fingerglied gekoppelt ist. Damit ist eine weitere Krümmung der Fingerkuppe möglich, die der Krümmung des direkt vorgelagerten zweiten Fingergliedes folgt.
Die Schubstange kann mit einem ersten Ende radial beabstandet von der Endgelenkachse mit dem dritten Fingerglied verbunden sein. Sie kann zudem mit einem zweiten Ende radial beabstandet von der Mittelgelenkachse mit der zweiten Riemenscheibe des zweiten Fingergliedes verbunden sein. Das Trainieren des Roboters kann mit einem tragbaren Sensor- und Kraftrückführungselement erfolgen, das zum Ankoppeln an der Hand eines Benutzers eingerichtet ist und Sensoren zur Ermittlung der Fingerposition und Gelenkkräfte der Finger der Hand und Aktoren zur Erzeugung von rückgeführten Greifkräften, die beim Greifen eines Objektes mit den Fingern der Roboterhand auf das Objekt wirken, aufweist. Das tragbare Sensor- und Kraftrückführungselement hat einen auf dem Handrücken der Hand des Benutzers befestigbaren Grundkörper mit Antriebsmotoren. Zur Kopplung mit einem Finger ist jeweils ein Zugriemen vorhanden, der zur Verbindung mit dem distalen Ende eines Fingers ausgebildet ist. Ein Zugriemen ist jeweils mit einem Antriebsmotor als Aktor und als Sensor gekoppelt. Der Antriebsmotor dient zum Ausüben von Kräften auf die Fingerelemente des Benutzers über die Zugriemen. Der Antriebsmotor dient weiterhin als Sensor zur Ermittlung der jeweiligen Fingerpositionen der Finger aus den Motorströmen. Er dient zudem als Sensor zur Ermittlung der Greifkräfte der mit einem jeweiligen Zugriemen verbundenen Finger, die der Antriebskraft des jeweiligen Antriebsmotors entgegenwirken, aus den Motorströmen.
Mit Hilfe der Auslenkung des Zugriemens lassen sich die Fingerposition und die Greifkräfte des mit dem Zugriemen gekoppelten Fingers eines Benutzers bestimmen. Mit Hilfe der Aktoren lassen sich über die Zugriemen Zugkräfte an die gekoppelten Finger des Benutzers erzeugen und somit die gemessenen Greifkräfte der Fingergelenke der Roboterhand an die Fingergelenke des Benutzers übertragen.
Es kann jeweils für einen Finger ein schwenkbar am Grundkörper gelagerter Steg vorhanden sein, der mit einem zugehörigen Zugriemen gekoppelt ist und sich in Richtung des Zugriemens erstreckt. Ein Schwenkwinkelsensor kann zur Bestimmung des Stellwinkels des zugehörigen Steges vorhanden sein.
Der Steg kann einen davon abragenden Bügel mit einem Quersteg haben, wobei der zugehörige Zugriemen durch den Bügel geführt ist und der Steg durch Kraftwirkung des Zugriemens auf den Quersteg verschwenkbar ist. Auf diese Weise kann die Krümmung des ersten Fingergliedes auf zuverlässige, kompakte und einfache Weise mit dem Schwenkwinkel des Steges als Maß für die Krümmung bzw. Abwinkelung des ersten Fingergliedes gemessen werden. Für jeden Zugriemen kann im Grundgehäuse ein Spulenkörper drehbar gelagert sein. Der zugehörige Zugriemen ist auf den Spulenkörper aufgewickelt und der Spulenkörper mit dem Antriebsmotor gekoppelt. Damit kann die Auszugslänge des Zugriemens bestimmt werden und es können Zugkräfte über die Ansteuerung des Antriebsmotors erzeugt werden. Die Auszuglänge kann fortlaufend beispielsweise über den Drehwinkel des Antriebsmotors ermittelt werden.
Vorteilhaft ist es, wenn ein Antriebsriemen eine Antriebswelle des Antriebsmotors und eine drehbar um die Drehachse des Spulenkörpers gelagerte und mit dem Spulenkörper drehfest verbundene Riemenscheibe umschlingt. Damit kann eine Untersetzung oder Übersetzung realisiert werden, die mit Hilfe des Antriebsriemens eine Erzeugung von Zugkräften auf die Zugriemen durch den Antriebsmotor erlaubt.
Der Zugriemen kann an seinem distalen, vom Grundkörper entfernt liegenden freien Ende einen Hohlkörper haben, der zur Aufnahme einer Fingerkuppe ausgebildet ist. Damit kann die Hand eines Benutzers auf einfache Weise mit den Zugriemen gekoppelt werden, indem die freien Enden der Finger einfach in den zugehörigen Hohlkörper eingesteckt werden.
Der Grundkörper kann einen Riemen zur Befestigung des tragbaren Sensor- und Kraftrückführungselementes an dem Handrücken oder Arm des Benutzers haben.
Das tragbare Sensor- und Kraftrückführungselement kann zur Ermittlung der Drehwinkel der Antriebswelle der Antriebseinheit und zur Bestimmung der Auslenkung der Zugriemen in Abhängigkeit von dem ermittelten Drehwinkel der zugehörigen Antriebseinheit eingerichtet sein.
Die Erfindung wird nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
Figur 1 - Blockdiagramm des Verfahrens zum Trainieren eines Roboters;
Figur 2 - Blockdiagramm zum Steuern eines Roboters mit Bildern eines Objektes und trainiertem neuronalem Netzwerk;
Figur 3 - perspektivische Ansicht eines Fingers einer Roboterhand;
Figur 4 - Seiten-Schnittansicht des Fingers aus Figur 3;
Figur 5 - Draufsicht auf den Schnitt der Roboterhand auf Figur 3;
Figur 6 - Seitenansicht des Fingers aus Figuren 3 bis 5;
Figur 7 - Draufsicht auf den Finger aus Figuren 3 bis 6;
Figur 8 - perspektivische Seitenansicht des gekrümmten Fingers;
Figur 9 - Seitenansicht des gekrümmten Fingers;
Figur 10 - Seitenansicht eines vollständig gekrümmten Fingers;
Figur 11 - perspektivische Ansicht einer Roboterhand mit Fingern mit Blick auf die Handinnenfläche;
Figur 12 - perspektivische Ansicht auf die Roboterhand aus Figur 11 im Zustand gekrümmter Finger mit Blick auf den Handrücken;
Figur 13 - perspektivische Ansicht der Roboterhand aus Figur 12 mit Blick auf die Handinnenseite;
Figur 14 - tragbares Sensor- und Kraftrückführungselement einer Steuerungseinrichtung mit an den Fingerkuppen befestigten Zugriemen;
Figur 15 - perspektivische Ansicht des tragbaren Sensor- und Kraftrückführungselement aus Figur 14;
Figur 16 - Seiten-Schnittansicht des tragbaren Sensor- und Kraftrückführungselement aus Figuren 14 und 15.
Figur 1 zeigt ein Blockdiagramm zur Beschreibung des Verfahrens zum Trainieren eines Roboters mit Hilfe einer Datenverarbeitungseinheit und einem auf der Datenverarbeitungseinheit ablaufenden Computerprogramm. Das Computerprogramm hat Programmcodemittel, die zur Erzeugung von Bildrepräsentationen REP eines handzuhabenden Objektes 0 zusammen mit Fingerpositionen beim Ergreifen und Handhaben des Objektes 0 sowie Greifkräften, die beim Ergreifen des Objektes 0 mit den Fingern auf das Objekt 0 ausgeübt werden, eingerichtet ist. Hierzu wird mindestens ein Bild B des Objektes 0 mit einer Kamera erfasst und in der Datenverarbeitungseinheit gespeichert und zur Erzeugung der Bildrepräsentationen REP ausgewertet. Die Bildrepräsentation REP kann dann beispielsweise auf eine Umrissdarstellung des Objektes 0 reduziert werden. Möglich sind auch mehrere Bildrepräsentationen REP zur Beschreibung der dreidimensionalen Fingerpositionen P und Greifkräfte K, die auf das Objekt 0 bei der Handhabung einwirken.
Bei der Handhabung des Objektes 0 wird dieses zum Training ergriffen und dabei die Fingerpositionen P und die auf das Objekt wirkenden Greifkräfte K gemessen. Dies kann beispielsweise dadurch erfolgen, dass das Objekt 0 mit einer Roboterhand ergriffen und dabei beispielsweise mit einem Sensor- und Kraftrückführungselement (Datenhandschuh) die Fingerpositionen P vorgegeben werden und die Greifkräfte K der Roboterhand gemessen und in die Datenverarbeitungseinheit eingespeichert werden.
Die mit dem Objekt in Kontakt stehenden Finger, bevorzugt die Greifpositionen im Sinne der Berührungspunkte, an denen die Fingerkuppen die Objektoberfläche des Objektes 0 berühren, und die dort auftretenden Greifkräfte, welche von den Fingern auf das Objekt 0 ausgeübt werden bzw. an den Berührungspunkten auf das Objekt 0 wirken, werden in der Bildrepräsentation visuell dargestellt. Dies kann beispielsweise durch Farbcodierung oder Segmentierung von Bildbereichen und/oder durch Vektoren mit einer von der Greifkraft K abhängigen Länge o.ä. erfolgen. Besonders vorteilhaft ist eine Farbcodierung derart, dass die Kraftwerte in Segmente aufgeteilt und jedem Kräftebereich, d. h. einem Segment, jeweils ein Farbwert zugeordnet wird. An der Position der Objektkontur, an der die jeweilige Kraft einwirkt, weist die Bildrepräsentation REP dann einen entsprechenden Farbfleck auf, der in der Figur 1 durch unterschiedlich gestrichelte Bereiche skizziert ist.
Diese Bildrepräsentation REP wird dann einem neuronalen Netz AI zugeführt, um dieses dahingehend zu trainieren, dass mit Hilfe eines Bildes B eines Objektes 0 eine zugehörige Bildrepräsentation REP mit dem trainierten neuronalen Netzwerk AI erzeugt werden kann, aus dem dann die Greifposition P und Greifkräfte K extrahiert werden können.
Zum Trainieren eines Roboters kann eine Steuerungseinheit die menschlichen Bewegungen in Form von Fingerpositionen während des Greifvorgangs eines Objektes 0 zu einer Roboterhand eines Roboters übertragen. Die Roboterhand führt die Greifbewegungen entsprechend aus und zeichnet dabei Bilddaten des zu greifenden Objektes 0 auf. Die beim Greifvorgang entstehenden Kräfte K werden in den Gelenken der Roboterhand gemessen und als Kraft-Rückführung an die Steuerungseinheit übertragen.
Aus den von der Hand des Benutzers oder der Roboterhand ausgeführten Greifbewegungen wird eine Bildrepräsentation REP der Fingerpositionen P in Form der Positionierung der Finger, bevorzugt der Greifpositionen der Fingerkuppen an den Berührungspunkten des Objektes 0, mit den Gelenkpositionen der Roboterhand im dreidimensionalen Raum zusammen mit den gemessenen Greifkräften K der Roboterhand und den Bildinformationen B des zu greifenden Objektes 0 erstellt. Dabei wird ein ein- oder mehrkanaliges Bild erzeugt, in dem die Fingerpositionen P und Greifkräfte K am zu greifenden Objekt 0 als Position, Größe, Orientierung und/oder Farbcodierung zusammen mit dem Farbbild des zu greifenden Objektes 0 enthalten sein können.
Diese Bildrepräsentationen REP dienen zum Anlernen eines neuronalen Netzwerks, beispielsweise eines zur Bilddatenverarbeitung ausgebildetes “Convolutional Neural Network“, das aus mehreren aufgezeichneten Greifvorgängen die Greifpositionen P und Greifkräfte K für im Bild gezeigte Objekte 0 erlernt.
Dabei kann eine als ein- oder mehrdimensionale Matrix vorliegende mindestens eine Eingabeschicht („Convolutional Layer“) zur Eingabe der Bilddaten bspw. als Pixel eines Farbbildes mit einer folgenden Filterschicht („Pooling Layer“) zum Verwerfen überflüssiger Informationen in den Bildern, wie bspw. Kanten, verbunden sein. Nach mehreren sich wiederholenden Paaren von Convolutional Layer und Pooling Layer kann das Netzwerk mit mindestens einer Ausgabeschicht abschließen („Fully connected Layer“), mit der bspw. eine Klassifizierung vorgenommen werden kann. Das Training kann bspw. mit einer an sich bekannten Fehlerrückführung („Backpropagation“) durchgeführt werden. Zusätzlich können Paare aus Convolutional Layer und Upsampling Layer nachfolgend eingefügt werden, um schichtweise die Umformung der Pooling Layer rückgängig zu machen und eine vollständige Bildrepräsentation am Ausgang zu erwirken. Hierzu können Informationen aus den vorherigen Schritten hinzu geführt werden, um eine Segmentierung des Ausgangsbildes zu erreichen. Das Ergebnis am Ausgang entspricht einer Bilddarstellung des Objektes mit segmentierten, farbigen Flächen, die der errechneten/erlernten Greifposition und Greifkräfte entsprechen.
Figur 2 zeigt ein Blockdiagramm des Verfahrens zum Ansteuern einer Roboterhand eines Roboters mit Hilfe des trainierten neuronalen Netzwerkes AI. Nach Abschluss des in Figur 1 skizzierten Trainingsprozesses mit mehreren, auch unterschiedlich gearteten Objekten 0 wird von mindestens einer Kamera ein Bild B eines zu ergreifenden Objektes 0 aufgenommen. Damit wird das Bild B des zu greifenden Objektes 0 als Eingangsgröße in das angelernte neuronale Netzwerk AI eingeleitet. Dieses berechnet nun die Fingerpositionen P und Greifkräfte K für das aktuell zu greifende Objekt 0 durch Rücktransformation der Bilddaten des Objektes 0 durch das angelernte neuronale Netzwerk AI. Diese Fingerpositionen P der Finger, bevorzugt die Greifpositionen, und Greifkräfte K werden in Bewegungen der Roboterhand zur Ansteuerung der Roboterhand des Roboters umgesetzt.
Die Roboterhand kann beispielsweise Finger 1 in der Art haben, wie sie in Figur 3 in der perspektivischen Ansicht dargestellt sind. Die Finger 1 haben einen ersten, mit einem Grundabschnitt fest verbundenen Wurzelabschnitt 2, an dessen distalem Ende ein erstes Fingerglied 3 um eine Grundgelenkachse 4 schwenkbar angeordnet ist. Das erste Fingerglied 3 entspricht dem Phalanx proximalis einer Hand, während der Wurzelabschnitt 2 dem Mittelhandknochen (Ossa metacarpalia) der menschlichen Hand entspricht.
An das distale Ende des ersten Fingergliedes 3 ist ein zweites Fingerglied 5 um eine Mittelgelenkachse 6 schwenkbar gelagert. Das zweite Fingerglied 5 entspricht dem Phalanx Media der menschlichen Hand.
An dem distalen Ende dieses zweiten Fingergliedes 5 ist ein drittes Fingerglied 7 (Phalanx distalis) um eine Endgelenkachse 8 schwenkbar angelenkt.
In dem Wurzelabschnitt 2 bzw. einem mehreren Fingern gemeinsamen Grundabschnitt befinden sich Antriebsmotoren, wie beispielsweise rotatorische Elektromotoren, die jeweils eine Antriebsachse 9a, 9b mit einer Antriebsscheibe haben, welche einen Antriebsriemen trägt.
Die Grundgelenkachse 4 trägt weitere Riemenscheiben, wobei eine erste Riemenscheibe 10 um die Grundgelenkachse 4 drehbar gelagert und mit dem ersten Fingerglied 3 drehtest verbunden ist. Ein von der ersten Riemenscheibe 10 getragener erster Riemen wird von dem ersten Antriebsmotor direkt oder indirekt über ein weiteres Riemengetriebe angetrieben, um bei Drehung des ersten Antriebsmotors die erste Riemenscheibe 10 und damit das erste Fingerglied 3 um die Grundgelenkachse 4 herum zu verschwenken.
Weiterhin trägt die Grundgelenkachse eine weitere Antriebsscheibe 11 und eine Abtriebsscheibe 12, die nicht drehtest mit dem ersten Fingerglied 3 und dem Wurzelabschnitt 2 verbunden sind und sich frei um die Grundgelenkachse 4 drehen können. Die Antriebsscheibe 11 trägt einen Riemen, der sich zum zweiten Antriebsmotor im Wurzelabschnitt 2 hin erstreckt und indirekt oder direkt mit diesem gekoppelt ist.
Die Abtriebsscheibe 12 ist drehtest mit der Antriebsscheibe 11 verbunden und trägt einen zweiten Riemen 14, der an seinem anderen Ende von einer zweiten Riemenscheibe 13 getragen ist. Die zweite Riemenscheibe 13 ist drehbar auf der in der Mittelgelenkachse 6 gelagert und drehtest mit dem zweiten Fingerglied 5 verbunden. Bei einer Rotation des zweiten Antriebsmotors wird über das Riemengetriebe, welches über die Antriebsscheibe 11 und Abtriebsscheibe 12 zur zweiten Riemenscheibe 13 führt, das zweite Fingerglied 5 relativ zum ersten Fingerglied 3 verschwenkt.
Das dritte Fingerglied 7 ist über eine Schubstange 15 mit der zweiten Riemenscheibe 13 verbunden, um das dritte Fingerglied 7 relativ zum zweiten Fingerglied 5 zu verschwenken.
Optional kann die Schubstange 15 aber auch mit dem zweiten Fingerglied 5 oder sogar dem ersten Fingerglied 3 verbunden sein, um bei einer Krümmung des Fingers durch Verschwenken des ersten und/oder zweiten Fingergliedes 3, 5 auch das dritte Fingerglied 7 mit zu verschwenken.
Optional ist aber auch denkbar, dass das dritte Fingerglied 7 ebenso über einen Riemenantrieb mit einem im Wurzelabschnitt 2, d.h. dem Grundabschnitt, in dem ersten Fingerglied 3 oder in dem zweiten Fingerglied 5 oder sogar in dem dritten Fingerglied 7 angeordneten Aktor zu verlagern.
Durch die Führung des ersten Fingergliedes 3 in einer Kontur des Wurzelabschnitts 2 wird der Schwenkwinkel des ersten Fingerglieds 3 begrenzt, indem ein Anschlag für das zweite Fingerglied 3 an dem Wurzelabschnitt 2 gebildet wird.
In entsprechender Weise kann der Schwenkwinkel des zweiten Fingergliedes 3 durch eine Führung mit Anschlagskonturen des ersten Fingergliedes 3 begrenzt werden.
Gleiches gilt für das dritte Fingerglied 7, das durch Anschläge der Kontur des zweiten Fingerglieds 5 in seinem Schwenkwinkel eingeschränkt sein kann.
Figur 4 lässt eine Seiten-Schnittansicht des Fingers 1 aus Figur 3 erkennen. Hier ist der erste Antriebsmotor 16a und der zweite Antriebsmotor 16b erkennbar, dessen Antriebswellen 9a, 9b jeweils einen Antriebsriemen 17a, 17b tragen.
Der Antriebsriemen 17a des ersten Antriebsmotors 16a umschlingt ein Riemenscheibenpaar 18, das weiterhin einen Abtriebsriemen 12 trägt, der ein weiteres Riemenscheibenpaar 20 umschlingt. Dieses weitere Riemenscheibenpaar 20 trägt den ersten Riemen 21 , der an dem anderen Ende die erste Riemenscheibe 10 umschlingt, welche mit dem ersten Fingerglied 3 drehtest verbunden ist.
Erkennbar ist, dass durch diesen Riemenantrieb ein Riemengetriebe mit einer Untersetzung geschaffen ist. Hierbei ist der Durchmesser der Riemenscheiben im Antriebsabschnitt kleiner als in dem distalen, jeweils vom ersten Antriebsmotor 16a entfernten Abtriebsabschnitt. Optional kann das Riemengetriebe auch eine Übersetzung bereitstellen, wobei die Verhältnisse der Durchmesser von Antriebsscheibe zu Abtriebsscheibe dann umgekehrt zur Untersetzung gewählt sind.
Die von der Antriebswelle des ersten Antriebsmotors 16a aufgenommene Riemenscheibe hat somit einen kleineren Durchmesser als die zur Aufnahme des Antriebs- riemens 17a am distalen Abschnitt vorgesehene Abtriebsscheibe des Riemenscheibenpaars 18. Die Antriebsriemenscheibe des Riemenscheibenpaares 18, welche den weiteren Riemen 19 trägt, hat einen kleineren Durchmesser als die Antriebsscheibe des Riemenscheibenpaares 18 und der folgenden Abtriebsscheibe des Riemenscheibenpaares 20.
Entsprechend ist der Riemen 19 auf einer Riemenscheibe des Riemenscheibenpaares 20 aufgenommen, welche einen größeren Durchmesser hat als die Antriebsscheibe des Riemenscheibenpaares 20, welche den ersten Riemen 21 aufnimmt. Ebenso hat die erste Riemenscheibe 10, welche den ersten Riemen 21 trägt, einen größeren Durchmesser als die Abtriebsscheibe des Riemenscheibenpaares 20. Auf diese Weise kann eine Kraftübersetzung auf kompakte Weise sichergestellt werden.
Durch die Rücktreibbarkeit der nicht-selbsthemmenden Riemengetriebe können äußere Kräfte, die auf die Fingergelenke 3, 5, 7 wirken, über die Motorströme der Antriebsmotoren 16a, 16b gemessen und ausgewertet werden.
Der zweite Antriebsmotor 16b, welcher zum Verschwenken des zweiten Fingergliedes 5 dient, hat ebenso eine Antriebswelle 9b, welche den Antriebsriemen 17b trägt. Der Antriebsriemen 17b umschlingt einerseits eine Antriebsscheibe auf der Antriebswelle 9b, und an seinem gegenüberliegenden distalen Ende ein Riemenscheibenpaar 22, welches einen weiteren Riemen 23 trägt, der zu einem Riemenscheibenpaar 24 geführt ist. Das Riemenscheibenpaar 24 ist frei drehbar auf der Grundgelenkachse 4 gelagert und trägt den zweiten Riemen 14, welcher an seinem distalen Ende die zweite Riemenscheibe 13 umschlingt. Die zweite Riemenscheibe 13 ist drehfest mit dem zweiten Fingerglied 5 verbunden.
Auch hier ist der Durchmesser der zweiten Riemenscheibe 13 größer als die gegenüberliegende Antriebsscheibe des Riemenscheibenpaares 14, welche den ersten Riemen 14 trägt. Die Abtriebsscheibe des Riemenscheibenpaares 24 hat wiederum einen größeren Durchmesser als die Antriebsscheibe des Riemenscheibenpaares 24, welches den zweiten Riemen 14 trägt. In dem dargestellten Ausführungsbeispiel ist das zwischenliegende Riemenscheibenpaar 22 hingegen nicht als Über- bzw. Untersetzung ausgebildet und weist zwei Riemenscheiben mit annähernd demselben Durchmesser auf.
Erkennbar ist auch, dass das dritte Fingerglied 7 mit einer Schubstange 15 drehfest mit der zweiten Riemenscheibe 13 verbunden ist. Die Schubstange 15 ist einerseits an dem ersten Ende radial beabstandet und damit exzentrisch um die Endgelenkachse 8 mit dem dritten Fingergelenk 7 und andererseits an dem gegenüberliegenden Ende radial beabstandet zur Mittelgelenkachse 6, d. h. exzentrisch an der zweiten Riemenscheibe 3, gelagert.
Figur 5 zeigt eine Draufsicht der Schnittansicht des Fingers 1 aus Figur 4. Deutlich wird, dass der von dem ersten Antriebsmotor 16a zum ersten Fingerglied 3 führende Riemenantrieb seitlich neben dem von dem zweiten Antriebsmotor 16b zum zweiten Fingergelenk 5 führenden Riemenantrieb angeordnet ist. Der Antrieb vom Antriebsriemen 17b des zweiten Antriebsmotors 16b macht am Riemenscheibenpaar 22 einen Versatz in Breitenrichtung, d.h. in Figur 5 in Blickrichtung von oben in den unteren Bereich, sodass der Riemen 23 breitenversetzt zum Antriebsriemen 17b ist.
Figur 6 lässt eine Seitenansicht des ausgestreckten Fingers 1 aus Figur 4 und 5 erkennen. Deutlich wird, dass sich der Wurzelabschnitt 2, das sich daran anschließende erste Fingerglied 3, und das sich daran anschließende zweite Fingerglied 5 und das sich daran anschließende dritte Fingerglied 7 annähernd auf einer Ebene auf der Seite des Handrückens 25 des Grundabschnitts der Roboterhand befinden.
Figur 7 zeigt eine Draufsicht auf den ausgestreckten Finger 1 aus Figur 6. Es ist erkennbar, dass die Oberseite des Fingers 1 teilweise durch Deckplatten 26 und Querstege 27 abgedeckt ist. Die Deckplatten 26 können Befestigungslöcher 28 haben, um den Wurzelabschnitt 2 an eine übergeordnete Struktur eines Grundabschnitts einer Roboterhand zu montieren.
Erkennbar ist auch, dass die Riemen innerhalb des teilweise durch Wände umschlossenen Raumes des Fingers 1 geführt und über Öffnung insbesondere im Bereich der Riemenscheiben sichtbar sein können. Figur 8 zeigt einen gekrümmten Finger 1 , bei dem das zweite Fingerglied 5 und durch die Kopplung über die Schubstange 15 auch das dritte Fingerglied 7 relativ zum ersten Fingerglied 3 und relativ zu dem Wurzelabschnitt 2 verschwenkt und damit gekrümmt sind. Dies erfolgt durch eine Rotation des zweiten Antriebsmotors 16b über den damit gekoppelten Riemenantrieb.
Figur 9 lässt eine Seitenansicht des gekrümmten Zustands des Fingers 1 aus Figur 8 erkennen.
Figur 10 lässt einen weiter gekrümmten Zustand des Fingers 1 erkennen. Nunmehr ist auch das erste Fingerglied 3 relativ zum Wurzelabschnitt 2 um die Grundgelenkachse 4 verschwenkt. Dies erfolgt durch Rotation des ersten Antriebsmotors 16a über den damit verbundenen Riemenantrieb.
Bei den beschriebenen Fingern 1 einer Roboterhand kann sich über die Führung der Riemenantriebe über die Grundgelenkachse 4 und die Mittelgelenkachse 6 eine Abhängigkeit der Riemenantriebe bei der Positionierung des Mittelgelenks ergeben. Der Finger 1 ist mit seinen Fingergliedern 3, 5, 7 anthropomorphisch nach dem menschlichen Fingeraufbau konstruiert. Durch die Kombination von mehreren Fingergliedern 3, 5, 7 kann eine Roboterhand nach dem menschlichen Vorbild aufgebaut werden.
Durch die Riemenführung in den Fingergliedern sowie die im Wurzelabschnitt 2 angeordneten Antriebsmotoren 16a, 16b sind die Finger 1 unempfindlich gegenüber äußeren Einflüssen wie Flüssigkeiten, Staub oder sonstigen Umwelteinflüssen. Eine Kabelführung innerhalb der Fingerelemente ist nicht mehr notwendig.
Der nicht-selbsthemmende Antrieb erlaubt eine elektromechanische Kraftregelung über die Motorströme der Antriebsmotoren 16a, 16b. Diese können beispielsweise mit einer Servomotorensteuerung angesteuert werden. Durch die Doppeinemenscheiben mit unterschiedlichen Durchmessern ist eine mehrstufige Untersetzung oder Übersetzung leicht auf kompaktem Raum möglich.
Figur 11 zeigt eine Roboterhand 30, welche fünf Finger 1 in der oben beschriebenen Art aufweist. Diese Finger 1 sind mit ihrem Wurzelabschnitt 2 mit einem gemeinsamen Grundabschnitt 31 verbunden, der an seinem proximalen Ende ein Drehgelenk 32 zur Ankoppelung eines Roboterarms hat.
Der Daumen 33 kann weiterhin, optional, ein Schwenkgelenk 34 haben, um den Winkel des Daumens 33 relativ zum Handrücken 25 entweder bei der Montage fest, manuell nachstellbar oder über einen Aktor gesteuert verschwenkbar einzustellen.
Figur 12 zeigt die Roboterhand 30 im gekrümmten Zustand der Finger 1 in perspektivischer Ansicht mit Blick auf den Handrücken 25.
Figur 13 zeigt die Roboterhand 30 mit Blick auf die Handinnenfläche 35, welche dem Handrücken 25 diametral gegenüberliegt. Es ist wiederum erkennbar, dass der Daumen 33 über ein mit im Abstand angeordneten Platten gebildetes Scharnierelement 34 im Winkel zur Handfläche 35 ausgerichtet ist.
Der Wurzelabschnitt 2 des Daumens 33 nimmt die Antriebsmotoren 16a ,16b zum Antrieb der Fingergelenke 3, 5 des Daumens auf. Hier kann ebenso ein drittes Fingerglied 7 vorhanden sein, wie auch bei den anderen Fingern 1. Dies ist optional. Bei dem Daumen kann, wie bei anderen Fingern 1 der Roboterhand 30, aber auch auf das dritte Fingerglied 7 verzichtet werden.
Figur 14 zeigt ein tragbares Sensor- und Kraftrückführungselement 40 einer Steuerungseinrichtung, das zum Ankoppeln an eine Hand 41 eines Benutzers eingerichtet ist. Es hat einen Grundkörper 42, der zum Auflegen und Befestigen auf dem Handrücken des Benutzers ausgebildet ist. Der Grundkörper 42 kann beispielsweise mittels Befestigungsriemen oder Ähnliches an der Hand oder dem Arm des Benutzers festgelegt werden.
Erkennbar ist, dass sich aus dem Grundkörper 42 für jeden Finger 43 des Benutzers jeweils ein Zugriemen 44 zur Fingerkuppe hin erstreckt. An dem freien Ende des Zugriemens 44 ist jeweils ein Hohlkörper 45 angeordnet, der das distale freie Ende des Fingers 43, d. h. die Fingerkuppe des zugehörigen Fingers des Benutzers, aufnimmt. Auf diese Weise ist der Zugriemen 44 mit einem zugehörigen Finger 43 gekoppelt. Auf der Seite, die dem mit dem Hohlkörper 45 versehenen Ende der Zugriemens 44 gegenüberliegt, ist jeweils ein Spulenkörper (nicht sichtbar) vorhanden, auf dem der Zugriemen 44 aufgewickelt ist. Dieser Spulkörper ist wiederum drehfest beispielsweise über einen Riemenantrieb oder direkt mit einem Antriebsmotor gekoppelt.
Die Zugriemen 44 sind am Austritt aus dem Grundkörper 42 jeweils durch einen Bügel 46 eines Steges 47 geführt. Der Steg 47 ist schwenkbar an dem Grundkörper 42 gelagert. Der Schwenkwinkel des Steges 47 kann mit einem Drehwinkelsensor (nicht sichtbar) gemessen werden, um auf diese Weise die Krümmung des ersten Fingergliedes 3 in Bezug zu einer Ebene des Grundkörpers bzw. der Eben der Handfläche des Benutzers zu erfassen.
Anhand der Auszuglänge des Zugriemens 44 kann, bevorzugt nach Kalibrierung an der ausgestreckten Hand, die Krümmung der Fingerglieder jeweils für jeden Finger des Benutzers einzeln gemessen werden.
Wenn mit der Roboterhand ein Objekt ergriffen wird, dann können die dabei gemessenen Greifkräfte an die Antriebsmotoren der tragbaren Sensor- und Kraftrückführungseinheit 40 übertragen und über den Zugriemen 44 Kräfte auf die Fingerelemente des Benutzers ausgeübt werden. Die Drehmomentregelung des Antriebsmotors über Strombeaufschlagung erlaubt dabei die Kraftregelung der Zugkraft. Die Strombeaufschlagung würde ein Aufwickeln des Zugriemens 44 auf dem Spulenkörper im kraftlosen Zustand bewirken.
Auf der Oberseite des Grundkörpers 42 kann optional beispielsweise ein 3D Positionssensor 48 zur Bestimmung der Position und Orientierung des Grundkörpers 42 im 3D-Raum montiert sein.
Figur 15 zeigt eine perspektivische Ansicht eines tragbaren Sensor- und Kraftrückführungselementes 40 nunmehr, ohne dass die Finger der Hand daran aufgenommen sind. Erkennbar ist, dass die Zugriemen 44 durch einen am zugehörigen Steg 47 abragenden Bügel 46 geführt sind. Der Zugriemen 44 klappt den Steg 47 durch Anlage an dem Bügel 46 nach oben in die dargestellte waagerechte Position. Wenn die Finger gekrümmt werden, dann kann sich der Bügel 46 in Blickrichtung nach unten zur Handfläche hin verlagern, wenn der Zugriemen 44 ebenfalls nach unten gekrümmt ist. Dies führt zu einem Verschwenken des Steges 47, sodass aus dem Schwenkwinkel die Krümmung des ersten Fingergliedes bestimmt werden kann.
In entsprechender Weise ist der Zugriemen 44 für den Daumen seitlich aus dem Grundkörper 42 nach Außen geführt. Hier ist ebenfalls ein Quersteg eines Bügels 46 vorhanden. Der Steg 47 erstreckt sich in Haupterstreckungsrichtung der anderen Zugriemen 44 und ist in Bezug auf die Ebene der anderen Zugriemen 44 um 90° verdreht. Dieser Steg 47 ist um ein im Vergleich zu den anderen Stegen um 90° gedrehtes Schwenkgelenk 49 an dem Grundkörper 42 gelagert.
Figur 16 zeigt eine Seiten-Schnittansicht des tragbaren Sensor- und Kraftrückführungselementes 40 aus Figur 15. Hierbei ist deutlich, dass an den distalen Enden der Stege 47 jeweils ein Bügel 46 angeordnet ist, der sich nach oben in entgegengesetzter Richtung zur Aufnahme der Fingerkuppe zum ausgebildeten Hohlkörper 45 erstreckt. Deutlich wird, dass die Stege um eine Schwenkachse 50 in Blickrichtung im Uhrzeigersinn nach unten verschwenkbar angeordnet sind. Der Schwenkwinkel kann mit nicht dargestellten Drehwinkelsensoren gemessen werden.
Deutlich wird, dass die Zugriemen 44 durch den Bügel 46 geführt sind und am distalen Ende jeweils einen Hohlkörper 45 zur Aufnahme einer Fingerkuppe haben.
Der Zugriemen 44 ist im Innenraum des Grundkörpers 42 auf einem Spulenkörper 51 aufgewickelt. Der Spulenkörper 51 ist um eine Drehachse 52 drehbar gelagert und mit einer Riemenscheibe 53 drehfest verbunden. Die Riemenscheibe 53 trägt einen Antriebsriemen 54, dessen Antriebsende auf einer Riemenscheibe einer Antriebswelle 55 eines rotatorischen Antriebsmotors 56 gelagert ist. Durch Schwenkbeaufschlagung des Antriebsmotors 56 können diese den Antriebsriemen 54 so antrieben, dass damit der Zugriemen 44 weiter auf dem Spulenkörper 51 aufgewickelt wird.
Wenn der Grundkörper 42 auf dem Handrücken einer Hand eines Benutzers oder dem daran angrenzenden Unterarm befestigt ist und die Fingerkuppen der Finger in die zugehörigen Hohlkörper 45 eingesteckt sind, dann wirkt der mit dem Zugriemen 44 verbundene Finger der Antriebskraft des Antriebsmotors 56 entgegen. Damit wird eine Vorspannung erzeugt und über die Motorströme kann eine Zugkraft auf die Finger ausgeübt werden. Diese ist in der Regel proportional zum Motorstrom.
Weiterhin kann durch Ermittlung des Drehwinkels des Antriebsmotors 56 bei einer
Verlagerung der zugehörigen Finger die Krümmung des Fingers durch eine Veränderung der vom Spulenkörper 51 abgewickelten Länge des Antriebsriemens 44 und des Schwenkwinkels des Steges 47 in die Schwenkachse 50 bestimmt werden.
Bezugszeichenliste
REP = Bildrepräsentationen 24 = Riemenscheibenpaar
O = Objekt 25 = Handrücken (des
B = Bild des Objektes O Grundabschnitts der Roboterhand)
P = Fingerpositionen 26 = Deckplatten
K = Greifkräfte 27 = Querstege
AI = Neuronales Netzwerk 28 = Befestigungslöcher
1 = Finger 30 = Roboterhand
2 = Wurzelabschnitt 31 = Grundabschnitt
3 = erstes Fingerglied 32 = Drehgelenk
4 = Grundgelenkachse 33 = Daumen
5 = zweites Fingerglied 34 = Schwenkgelenk
6 = Mittelgelenkachse 35 = Handfläche
7 = drittes Fingerglied 40 = tragbares Sensor- und
8 = Endgelenkachse Kraftrückführungselement
9a, 9b = Antriebsachse/ -welle 41 = Hand (eines Benutzers)
10 = erste Riemenscheibe 42 = Grundkörper
11 = weitere Antriebsscheibe 43 = Finger (des Benutzers)
12 = Abtriebsscheibe 44 = Zugriemen
13 = zweite Riemenscheibe 45 = Hohlkörper
14 = zweiter Riemen 46 = Bügel
15 = Schubstange 47 = Steg
16a = erster Antriebsmotor 48 = 3D-Positionssensor
16b = zweiter Antriebsmotor 49 = Schwenkgelenk
17a, 17b = Antriebsriemen 50 = Schwenkachse
18 = Riemenscheibenpaar 51 = Spulenkörper
19 = weiterer Riemen 52 = Drehachse
20 = weiteres Riemenscheibenpaar 53 = Riemenscheibe
21 = erster Riemen 54 = Antriebsriemen
22 = Riemenscheibenpaar 55 = Antriebswelle
23 = weiterer Riemen 56 = Antriebsmotor

Claims

27 Patentansprüche
1 . Verfahren zum Trainieren eines Roboters, der eine Roboterhand (30) mit Fingern (1 ) hat, und mit Sensoren zur Ermittlung der Greifkräfte (K) und Greifpositionen (P) der Finger (1 ) der Roboterhand (30) beim Greifen eines Objektes (O) hat, wobei der Roboter über ein tragbares Sensor- und Kraftrückführungselement (40) steuerbar ist, gekennzeichnet durch a) computergestütztes Erzeugen von Bildrepräsentationen (REP) der Greifpositionen (P) der ein Objekt (O) greifenden Roboterhand (30), einer visuellen Darstellung der mit den Sensoren erfassten Greifkräfte (K) und einer Darstellung des Objektes (O), und b) computergestütztes Trainieren des Roboters mit einem bilddatengestützten neuronalen Netzwerk (AI) anhand von Bildern (B) des Objektes (0) und der erzeugten Bildrepräsentationen (REP) als Eingangsdaten für das neuronale Netzwerk (AI).
2. Verfahren nach Anspruch 1 , gekennzeichnet durch Ermittlung der Fingerpositionen (P), beispielsweise die Fingergelenkposition und/oder die Fingerkrümmung, beim Greifen des Objektes (0) mithilfe eines tragbaren Sensor- und Kraftrückführungselementes (40), das mit der Hand (41 ) eines Benutzers koppelbar ist und Sensoren zur Ermittlung der Fingerpositionen (P) der Finger (43) hat, und Erzeugen von Bildrepräsentationen (REP) der Greifpositionen (P) beim Ergreifen des Objektes (0) mit der Roboterhand (30) anhand der ermittelten Fingerpositionen (P), wobei die Bildrepräsentationen (REP) als Eingangsdaten für das neuronale Netz (AI) genutzt werden.
3. Verfahren nach Anspruch 2, gekennzeichnet durch Rückführen der von der Roboterhand (30) beim Ergreifen des Objektes (0) auf das Objekt (0) ausgeübten Greifkräfte (K) auf die zugehörigen Finger (43) des Benutzers mit Aktoren des tragbaren Sensor- und Kraftrückführungselementes (40) und Anpassen der Greifkräfte (K) durch Rückkoppelung der durch den Benutzer auf das tragbare Sensor- und Kraftrückführungselement (40) ausgeübten Gegenkräfte.
4. Verfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet durch Erfassen von Bildern (B) der ein Objekt (O) greifenden Roboterhand (30) und Erzeugen von Bildrepräsentationen (REP) der Greifpositionen (P) der das Objekt (O) greifenden Roboterhand.
5. Verfahren nach einem der Ansprüche 1 bis 4, gekennzeichnet durch visuelle Darstellung der Greifkräfte (K) anhand von Farbcodierungen in den zugehörigen Bildrepräsentationen (REP) des Objektes (O).
6. Verfahren nach einem der vorherigen Ansprüche, gekennzeichnet durch Einleiten der erzeugten Bildrepräsentationen (REP) als Eingangsinformationen an ein neuronales Netzwerk (AI) und Anlernen des neuronalen Netzwerkes (AI) mit den Bildrepräsentationen (REP) von mehreren Greifvorgängen von Objekten (0), wobei mithilfe des angelernten neuronalen Netzwerkes (AI) anhand von Bildern (B) von zu greifenden Objekten (0) Greifposition (P) und Greifkräfte (K) der Roboterhand (30) für das Objekt (0) bestimmt und Steuerungssignale für die Roboterhand (30) eines Roboters erzeugt werden.
7. Verfahren zum Ansteuern eines Roboters mit einem neuronalen Netzwerk (AI), das mit dem Verfahren nach einem der vorherigen Ansprüche trainiert wurde, dadurch gekennzeichnet, dass mit einer Kamera Bilder (B) eines von der Roboterhand (30) zu ergreifenden Objektes (0) erfasst und als Eingangsinformationen in das angelernte neuronale Netzwerk (AI) eingeführt werden, wobei mithilfe des neuronalen Netzwerkes (AI) durch Rücktransformation der Bilddaten Greifpositionen (P) und Greifkräfte (K) zur Ansteuerung der Roboterhand (30) automatisiert berechnet und in Steuerungssignale für den Roboter transformiert werden.
8. Steuerungseinrichtung mit einer Roboterhand (30) eines Roboters, mit Sensoren zur Ermittlung der Greifpositionen (P) und Greifkräfte (K) der Finger (1 ) einer Roboterhand (30), und mit einer Datenverarbeitungseinheit, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit zur Erzeugung von Bildrepräsentationen (REP) der Greifpositionen (P) der ein Objekt (O) greifenden Roboterhand (30) und einer visuellen Darstellung der auf das Objekt (O) ausgeübten Greifkräfte (K) zum Trainieren des Roboters anhand der Bilder (B) des Objektes (O) und der erzeugten Bildrepräsentationen (REP) eingerichtet ist.
9. Steuerungseinrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Steuerungseinrichtung ein tragbares Sensor- und Kraftrückführungselement (40) aufweist, das mit der Hand (41 ) eines Benutzers koppelbar ist und Sensoren zur Ermittlung der Fingerpositionen (P), beispielsweise der Fingergelenkposition und/oder der Fingerkrümmung, der Finger (43) des Benutzers und Aktoren zur Ausübung von rückgeführten Greifkräften (K) der Roboterhand (30) beim Greifen des Objektes (O) auf die Finger (43) des Benutzers hat, und die Datenverarbeitungseinheit zur Erzeugung von Bildrepräsentationen (REP) der aus den mit dem tragbaren Sensor- und Kraftrückführungselement (40) gemessenen Fingerpositionen (P) der Finger (43) des Benutzers ermittelten Greifpositionen (P) und der Greifkräfte (K) beim Greifen des Objektes (O) mit der Roboterhand (30) eingerichtet ist.
10. Steuerungseinrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass eine Kamera zur Erfassung von Bildern (B) der das Objekt (O) greifenden Roboterhand (30) vorhanden ist und die Datenverarbeitungseinheit zur Erzeugung der Bildrepräsentationen (REP) der Fingerpositionen (P) der das Objekt (0) greifenden Roboterhand aus den von der Kamera erfassten Bildern (B) eingerichtet ist.
11 . Steuerungseinrichtung nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit zur visuellen Darstellung der Greifkräfte (K) anhand von Farbcodierung in der zugehörigen Bildrepräsentation (REP) des Objektes (0) im Bereich der Objektoberfläche eingerichtet ist.
Steuerungseinrichtung nach einem der Ansprüche 8 bis 11 , dadurch gekennzeichnet, dass die Datenverarbeitungseinheit ein neuronales Netzwerk (AI) hat und eingerichtet ist, um die Bildrepräsentationen (REP) als Eingangsdaten in das neuronale Netzwerk (AI) zu leiten und das neuronale Netzwerk (AI) mit den Bildrepräsentationen (REP) von mehreren Greifvorgängen von Objekten (O) an- zulernen. Steuerungseinrichtung nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass die Steuerungseinrichtung zur automatisierten Berechnung von Steuersignalen für die Roboterhand (30) des Roboters anhand von Bildern (B) von zu greifenden Objekten (O) mithilfe des angelernten neuronalen Netzwerkes (AI) eingerichtet ist, wobei aus den Bildern (B) der zu greifenden Objekte (0) als Eingangsgröße für das angelernte neuronale Netzwerk (AI) Greifpositionen (P) und Greifkräfte (K) der Roboterhand (30) mit dem angelernten neuronalen Netzwerk (AI) berechnet werden. Roboterhand (30) eines Roboters mit einem Grundabschnitt (31 ) und mit Fingern (1 ), die drehgelenkig an dem Grundabschnitt (31 ) angeordnet sind, sowie mit in dem Grundabschnitt (31 ) angeordneten Antriebsmotoren (16a, 16b), wobei die Finger (1 ) jeweils ein erstes Fingerglied (3), das an einer Grundgelenkachse (4) schwenkbar an dem Grundabschnitt (31 ) angelenkt ist, und ein zweites Fingerglied (5) aufweisen, das an einer Mittelgelenkachse (6) schwenkbar an das erste Fingerglied (3) angelenkt ist, dadurch gekennzeichnet, dass das erste Fingerglied (3) über einen Riemenantrieb mit einem ersten Antriebsmotor (16a) und das zweite Fingerglied (5) über einen Riemenantrieb mit einem zweiten Antriebsmotor (16b) verbunden ist, dass eine erste Riemenscheibe (10) um die Grundgelenkachse (4) drehbar gelagert und mit dem ersten Fingerglied (3) verbunden ist, wobei die erste Riemenscheibe (10) auf ihrem Außenumfang einen ersten Riemen (21 ) trägt, der mit dem ersten Antriebsmotor (16a) direkt o- der indirekt gekoppelt ist, dass eine zweite Riemenscheibe (13) um die Mittelgelenkachse (6) drehbar gelagert und mit dem zweiten Fingerglied (5) verbunden ist, wobei die zweite Riemenscheibe
(13) an ihrem Außenumfang einen zweiten Riemen (14) trägt, der direkt oder direkt mit einem zweiten Antriebsmotor (16b) 31 gekoppelt ist, und dass eine dritte Riemenscheibe (11 , 12) um die Grundgelenkachse (4) drehbar gelagert ist, wobei der zweite Riemen
(14) die zweite Riemenscheibe (13) und die dritte Riemenscheibe (11 ) umschlingt, und wobei die dritte Riemenscheibe (11 , 12) einen dritten Riemen (23) trägt, der direkt oder indirekt mit dem zweiten Antriebsmotor (16b) verbunden ist.
15. Roboterhand (30) nach Anspruch 14 , dadurch gekennzeichnet, dass jeder Antriebsmotor (16a, 16b) jeweils eine Antriebswelle (9a, 9b) hat, auf der jeweils ein Antriebsriemen (17a, 17b) gelagert ist, wobei jeder Antriebsriemen (17a, 17b) jeweils eine im Grundabschnitt (31 ) angeordnete Riemenscheibe (18, 22) umschlingt, die drehbar um eine jeweilige Achse gelagert ist, auf der eine weitere Riemenscheibe (18, 22) angeordnet ist, wobei ein Riemen (17a, 17b; 19, 23; 14, 21 ) jeweils ein Paar von Riemenscheiben umschlingt.
16. Roboterhand (30) nach einem Ansprüche 14 oder 15, dadurch gekennzeichnet, dass sich die Riemen (17a, 17b; 19, 23; 14, 21 ) aus der Richtung eines Antriebsmotors (16a, 16b) in die Richtung der freien Endes des zugeordneten Fingers (1 ) erstrecken.
17. Roboterhand (30) nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass mindestens ein Finger (1 ) ein drittes Fingerglied (7) hat, das an einer Endgelenkachse (8) schwenkbar an dem zweiten Fingerglied (5) angeordnet und über eine Schubstange (15) mit dem zweiten Fingerglied (5) gekoppelt ist.
18. Roboterhand (30) nach Anspruch 17, dadurch gekennzeichnet, dass die Schubstange (15) mit einem ersten Ende radial beabstandet von der Endgelenkachse (8) mit dem dritten Fingerglied (7) verbunden ist und mit einem zweiten Ende radial beabstandet von der Mittelgelenkachse (6) mit der zweiten Riemenscheibe (13) des zweiten Fingergliedes (5) verbunden ist.
19. Tragbares Sensor- und Kraftrückführungselement (40), das zum Ankoppeln an der Hand (41 ) eines Benutzers eingerichtet ist und Sensoren zur Ermittlung der 32
Fingerposition (P) der Finger (43) der Hand (41 ) und Aktoren zur Erzeugung von rückgeführten Greifkräften (K), die beim Greifen eines Objektes (0) mit den Fingern (1 ) der Roboterhand (30) auf das Objekt (O) wirken, auf die Finger (43) der Hand (41 ) aufweist, dadurch gekennzeichnet, dass das tragbare Sensor- und Kraftrückführungselement (40) einen auf dem Handrücken der Hand (41 ) befestigbaren Grundkörper (42) mit Antriebsmotoren (56) hat, dass zur Kopplung mit einem Finger (41 ) jeweils ein Zugriemen (44) vorhanden ist, der zur Verbindung mit dem distalen Ende eines Fingers (41 ) ausgebildet ist, und dass ein Zugriemen (44) jeweils mit einem Antriebsmotor (56) gekoppelt ist, der als Aktor zum Ausüben von Kräften auf die Fingerelemente des Benutzers über die Zugriemen (44) und als Sensor zur Ermittlung der jeweiligen Fingerposition (P) der Finger (43) und als Sensor zur Ermittlung der Greifkräfte der mit einem jeweiligen Zugriemen (44) verbundenen Finger (43), die der Antriebskraft des jeweiligen Antriebsmotors (56) entgegenwirken, aus den Motorströmen dient. Tragbares Sensor- und Kraftrückführungselement (40) nach Anspruch 19, dadurch gekennzeichnet, dass jeweils für einen Finger (43) ein schwenkbar am Grundkörper (42) gelagerter Steg (47) vorhanden ist, der mit einem zugehörigen Zugriemen (44) gekoppelt ist und sich in Richtung des Zugriemens (44) erstreckt, und dass ein Schwenkwinkelsensor zur Bestimmung des zugehörigen Steges (47) vorhanden ist. Tragbares Sensor- und Kraftrückführungselement (40) nach Anspruch 20, dadurch gekennzeichnet, dass der Steg (47) einen davon abragenden Bügel (46) mit einem Quersteg hat, der Zugriemen (44) durch den Bügel (46) geführt ist und der Steg (47) durch Kraftwirkung des Zugriemens (44) auf den Quersteg verschwenkbar ist. Tragbares Sensor- und Kraftrückführungselement (40) nach einem der Ansprüche 19 bis 21 , dadurch gekennzeichnet, dass für jeden Zugriemen (44) ein Spulenkörper (51 ) drehbar im Grundkörper (42) gelagert und der zugehörige Zugriemen (44) auf den Spulenkörper (51 ) aufgewickelt ist und der Spulenkörper (51 ) mit dem zugehörigen Antriebsmotor (56) gekoppelt ist. 33 Tragbares Sensor- und Kraftrückführungselement (40) nach Anspruch 22, dadurch gekennzeichnet, dass ein Antriebsriemen (44) eine Antriebswelle (55) des Antriebsmotors (56) und eine drehbar um die Drehachse (52) des Spulenkörpers (51 ) gelagerte und mit dem Spulenkörper (51 ) drehfest verbundene Riemenscheibe (53) umschlingt. Tragbares Sensor- und Kraftrückführungselement (40) nach einem der Ansprüche 19 bis 23, dadurch gekennzeichnet, dass der Zugriemen (44) an seinem distalen, vom Grundkörper (42) entfernt liegenden freien Ende einen Hohlkörper (45) hat, der zur Aufnahme einer Fingerkuppe ausgebildet ist. Tragbares Sensor- und Kraftrückführungselement (40) nach einem der Ansprüche 19 bis 24, dadurch gekennzeichnet, dass der Grundkörper (42) einen Riemen zur Befestigung des tragbaren Sensor- und Kraftrückführungselementes (40) an dem Handrücken oder Arm des Benutzers. Tragbares Sensor- und Kraftrückführungselement (40) nach einem der Ansprüche 19 bis 25, dadurch gekennzeichnet, dass das tragbare Sensor- und Kraftrückführungselement (40) zur Ermittlung der Drehwinkel der Antriebswelle (55) des Antriebsmotors (56) und zur Bestimmung der Auslenkung der Zugriemen (44) in Abhängigkeit von dem ermittelten Drehwinkel des zugehörigen Antriebsmotors (56) und zur Erzeugung der auf die Finger (43) ausgeübten Greifkräfte (K) durch den zugehörigen Zugriemen (44) ausgebildet ist. Computerprogramm umfassend Befehle, die bei der Ausführung des Verfahrens durch einen Computer bewirken, dass der Computer das Verfahren nach einem der Ansprüche 1 bis 7 ausführt.
EP22768316.6A 2021-08-23 2022-08-18 Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu Pending EP4392212A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021121743.1A DE102021121743B4 (de) 2021-08-23 2021-08-23 Verfahren zum Trainieren eines Roboters und Steuerungseinrichtung mit einer Roboterhand
PCT/EP2022/073091 WO2023025658A2 (de) 2021-08-23 2022-08-18 Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu

Publications (1)

Publication Number Publication Date
EP4392212A2 true EP4392212A2 (de) 2024-07-03

Family

ID=83271622

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22768316.6A Pending EP4392212A2 (de) 2021-08-23 2022-08-18 Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu

Country Status (3)

Country Link
EP (1) EP4392212A2 (de)
DE (1) DE102021121743B4 (de)
WO (1) WO2023025658A2 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116252320B (zh) * 2023-03-29 2025-06-17 中南大学 一种驱动连杆与耦合绳索融合的多模式拟人机械手
CN116442240B (zh) * 2023-05-26 2023-11-14 中山大学 一种基于高通滤波解耦的机器人零力控制方法及装置
CN118787536B (zh) * 2024-09-13 2025-03-21 上海傅利叶智能科技有限公司 手部训练数据处理方法、装置、电子设备及存储介质
CN121535759B (zh) * 2026-01-19 2026-04-24 成都航天凯特机电科技有限公司 一种高扭矩密度机器人关节模组的控制方法和系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6517132B2 (en) 2000-04-04 2003-02-11 Honda Giken Kogyo Kabushiki Kaisha Multifinger hand device
JP2005349490A (ja) * 2004-06-08 2005-12-22 Sharp Corp 多自由度多指ハンド
JP4643429B2 (ja) 2005-12-13 2011-03-02 本田技研工業株式会社 ハンド装置
JP5725603B2 (ja) 2010-12-17 2015-05-27 国立大学法人岐阜大学 側面設置型力覚提示インターフェイス
US8991884B2 (en) 2011-03-21 2015-03-31 Re2, Inc. Robotic hand with conformal finger
CN102729255A (zh) * 2012-06-19 2012-10-17 西北农林科技大学 一种果实采摘机器人灵巧手手指结构
JP5690318B2 (ja) 2012-11-14 2015-03-25 Thk株式会社 ロボットハンド
US8816438B2 (en) 2012-12-14 2014-08-26 Spansion Llc Process charging protection for split gate charge trapping flash
US9468540B2 (en) 2013-04-04 2016-10-18 Thk Co., Ltd. Articulated mechanism, finger, and hand
US9669551B1 (en) * 2013-04-30 2017-06-06 Sandia Corporation Robotic hand and fingers
US9403273B2 (en) 2014-05-23 2016-08-02 GM Global Technology Operations LLC Rapid robotic imitation learning of force-torque tasks
DE102014019582B4 (de) 2014-12-30 2017-03-30 Philip Zeitler Haptik-Vorrichtungen und -Verfahren
US20170165567A1 (en) * 2015-12-10 2017-06-15 Palm Laboratories Inc. Haptic mechanism for virtual reality and augmented reality interfaces
KR101789696B1 (ko) 2016-06-14 2017-10-25 울산과학기술원 역감 전달 시스템
US10698488B2 (en) * 2017-03-31 2020-06-30 VRgluv LLC Haptic interface devices
DE102017005765B4 (de) 2017-06-20 2020-02-13 Stefan Schulz Fingerelement
DE102017005762B4 (de) 2017-06-20 2020-02-13 Stefan Schulz Fingerelement
CN110914022B (zh) 2017-08-10 2023-11-07 罗伯特·博世有限公司 直接教导机器人的系统和方法
DE102017220936A1 (de) 2017-11-23 2019-05-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Handexoskelett sowie Roboterarm mit einem solchen Handexoskelett
US10809804B2 (en) 2017-12-29 2020-10-20 Haptx, Inc. Haptic feedback glove
DE102018112633B4 (de) 2018-05-25 2021-12-30 Schunk Gmbh & Co. Kg Spann- Und Greiftechnik Fingereinheit für eine Roboterhand und Roboterhand
KR102101483B1 (ko) 2018-06-25 2020-04-16 한국과학기술연구원 가상 객체 조작을 위한 촉각 자극 생성 장치 및 이를 구비한 시스템
US10534433B1 (en) 2018-08-24 2020-01-14 Facebook Technologies, Llc Wearable haptic devices with jamming assemblies for haptic jamming
DE102020127508B4 (de) 2019-10-24 2022-09-08 Nvidia Corporation Posenverfolgung von Objekten in der Hand
CN112809679B (zh) * 2021-01-25 2023-04-07 清华大学深圳国际研究生院 可形变物体抓取的方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023025658A2 (de) 2023-03-02
DE102021121743B4 (de) 2025-01-09
DE102021121743A1 (de) 2023-02-23
WO2023025658A3 (de) 2023-05-19

Similar Documents

Publication Publication Date Title
DE102021121743B4 (de) Verfahren zum Trainieren eines Roboters und Steuerungseinrichtung mit einer Roboterhand
DE102007053485B4 (de) Roboterhand und Roboter
DE102010045525B4 (de) Handgelenk eines geschickten humanoiden Roboters
DE102018222312B4 (de) Greifhand
DE102010045532B4 (de) Roboterdaumenanodnung
DE102014222809B3 (de) Event-basierte Redundanzwinkelkonfiguartion für Gelenkarmroboter
DE102015106003B4 (de) Roboterunterarmanordnung mit mehreren sehnengetriebenen Fingern
EP0097191B1 (de) Montageroboter
DE102010018746B4 (de) Momentensteuerung von unteraktuierten sehnengetriebenen Roboterfingern
EP3341164B1 (de) Robotergreifer
EP2131257B1 (de) Verfahren und Vorrichtung zum Steuern eines Manipulators
DE102008062622B4 (de) Verfahren und Vorrichtung zur Befehlseingabe in eine Steuerung eines Manipulators
DE102011117094B4 (de) Robuster betrieb von sehnengetriebenen roboterfingern unter verwendung von kraft- und positionsbasierten steuergesetzen
EP2546711B2 (de) Verfahren zum Programmieren eines Roboters
DE102010045531A1 (de) Serielles elastisches Drehstellglied
DE112013005465T5 (de) Roboterhand
DE102020114583B4 (de) Rechenvorrichtung, Maschinenlernverfahren und Speichermedium
DE102016200495A1 (de) Greifer mit wenigstens einem adaptiven Greiferfinger
DE102017204211B4 (de) Robotersteuerung und Robotersteuerungsverfahren
DE102020006839A1 (de) System und Verfahren zum manuellen Anlernen elnes Robotermanipulators
DE102010006877A1 (de) Industrieroboter und Verfahren zur Veränderung eines Arbeitsraumes eines Industrieroboters
DE102021129897B4 (de) Modulare Robotervorrichtung und Verfahren zum Betreiben einer modularen Robotervorrichtung
DE102023116651B3 (de) Tragbare Roboter-Lehrvorrichtung und Verfahren zum manuellen Einlernen von Arbeitspunkten, Bahnpunkten und/oder Trajektorien
DE112022007651T5 (de) Greifer
DE112022000796B4 (de) Steuervorrichtung zur berechnung von parametern zur steuerung von position und pose eines roboters

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240306

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)