WO2023068440A1 - 로봇 손 시스템 및 로봇 손 제어 방법 - Google Patents

로봇 손 시스템 및 로봇 손 제어 방법 Download PDF

Info

Publication number
WO2023068440A1
WO2023068440A1 PCT/KR2021/017622 KR2021017622W WO2023068440A1 WO 2023068440 A1 WO2023068440 A1 WO 2023068440A1 KR 2021017622 W KR2021017622 W KR 2021017622W WO 2023068440 A1 WO2023068440 A1 WO 2023068440A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot hand
pattern
sensor unit
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/017622
Other languages
English (en)
French (fr)
Inventor
박형순
허시환
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Priority to US17/622,160 priority Critical patent/US12544937B2/en
Priority to EP21961528.3A priority patent/EP4420843A4/en
Publication of WO2023068440A1 publication Critical patent/WO2023068440A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A61F2/58—Elbows; Wrists ; Other joints; Hands
    • A61F2/583—Hands; Wrist joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B25J15/10—Gripping heads and other end effectors having finger members with three or more finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39527—Workpiece detector, sensor mounted in, near hand, gripper
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40408—Intention learning

Definitions

  • the description below relates to a robotic hand system and a robotic hand control method.
  • a prosthetic arm is worn on the amputated arm.
  • Such a conventional prosthetic hand was simply worn on the arm by means of a wearer, and had a disadvantage in that it could not provide a separate gripping force.
  • a gripping force capable of gripping an object with a prosthetic hand is imparted by an electronic control device.
  • An object according to an embodiment is to provide a robot hand system and a robot hand control method for efficiently gripping a target object.
  • An object according to an embodiment is to provide a robot hand control system and a robot hand control method having a high success rate of gripping a target object.
  • An object according to an embodiment is to provide a robot hand control system and a robot hand control method that can be operated in an intuitive manner to a user.
  • a robot hand system in the robot hand system manipulated by a user, includes a robot hand for gripping a target object; a first sensor unit disposed on the robot hand and detecting a posture of the robot hand in real time; a second sensor unit disposed on the robot hand and detecting 3D surface information of the target object appearing based on the robot hand; and a processor for inferring a motion of the robot hand that meets a user's intention based on sensing information of the first sensor unit and the second sensor unit, and operating the robot hand according to the inferred motion;
  • the robot hand includes a plurality of frames; and a finger module connected to the plurality of frames and including one or more joints for changing positions of the plurality of frames.
  • a point cloud may be formed with respect to the shape of the 3D surface of the target object.
  • the processor may determine a relative position of the robot hand in relation to the target object based on the point data.
  • the processor may determine an optimal path for operating the inferred motion of the robot hand based on the relative position of the robot hand.
  • a machine learning unit that receives learning data based on the sensing information of the first sensor unit and the second sensor unit, in which motions of the robot hand corresponding to the user's intention are known, and machine-learns a pattern of the learning data; and an analyzer configured to analyze a motion of the robot hand that meets a user's intention from measurement data based on sensing information of the first sensor unit and the second sensor unit using a pre-learned machine learning unit.
  • the machine learning unit may include: a learning data acquisition unit acquiring learning data according to sensing information of a first sensor unit and a second sensor unit in which motions of the robot hand corresponding to the user's intention are known; a pattern extraction unit receiving each of the learning data from the learning data acquisition unit and extracting a pattern of each data from each of the learning data; and a machine learning model generation unit for generating a machine learning model by labeling motions of the robot hand that meet the user's intention according to the sensing information of the first sensor unit and the second sensor unit corresponding to each extracted pattern.
  • the analysis unit may include a pattern matching unit comparing the measurement data and the pattern extracted from the pattern extraction unit to determine whether the pattern matches; and a result output unit that searches for a pattern determined to be matched by the pattern matching unit in the machine learning model and outputs a motion of the robot hand that meets the corresponding user's intention as a result value.
  • the processor may feedback-control the robot hand according to the result value of the result output unit.
  • the finger module may include a thumb unit performing a thumb function; an index finger portion performing an index finger function; a middle finger portion performing a function of a middle finger; a ring finger portion performing a function of a ring finger; and a little finger part that performs a little finger function.
  • the thumb portion includes two frames and two joint portions;
  • the index finger, middle finger, ring finger, and little finger may include three frames and three joints, respectively.
  • the second sensor unit may be provided in plurality, and each second sensor unit may be disposed inside each of the thumb, index finger, middle finger, ring finger, and little finger portions.
  • a method for controlling a robot hand includes providing a robot hand for gripping a target object; a first detection step of detecting a real-time posture of the robot hand; a second detection step of detecting 3D surface information of the target object appearing based on the robot hand; Based on the information detected in the first detection step and the second detection step, inferring a motion of the robot hand that meets the user's intention, and operating the robot hand according to the inferred motion.
  • the machine learning step may include a learning data acquisition step of acquiring each learning data according to the information detected in the first detection step and the second detection step in which the operation of the robot hand corresponding to the user's intention is known; a pattern extraction step of extracting a pattern of each data from the learning data acquisition step; And a machine learning model generation step of generating a machine learning model by labeling motions of the robot hand that match the user's intention according to the information detected in the first detection step and the second detection step corresponding to each extracted pattern. can do.
  • the analysis step may include a pattern matching step of comparing the measured data and the pattern extracted in the pattern extraction step to determine whether the pattern matches; and a result output step of searching for a pattern determined to be matched in the machine learning model and outputting a motion of the robot hand that meets the user's intention as a result value.
  • the processing step may further include a feedback control step of feedback-controlling the robot hand according to the output result value.
  • a robot hand system and method for controlling a robot hand may efficiently grip a target object.
  • the robot hand system and method for controlling the robot hand may grasp a target object with high probability.
  • the robot hand system and method for controlling the robot hand according to an embodiment may be operated in an intuitive manner to a user.
  • FIG. 1 is a perspective view of a robotic hand system according to an embodiment.
  • FIGS. 2A and 2B are diagrams for explaining an operating principle of a robot hand according to an embodiment.
  • 3A and 3B are diagrams for explaining an operation of a robot hand according to an exemplary embodiment.
  • FIG. 4 is a block diagram of a robotic hand system according to an embodiment.
  • FIG. 5 is a block diagram of a robotic hand system according to an embodiment.
  • FIG. 6 is a block diagram of a machine learning unit of a robot hand system according to an embodiment.
  • FIG. 7 is a block diagram of an analysis unit of a robot hand system according to an embodiment.
  • FIG. 8 is a flowchart of a method for controlling a robot hand according to an embodiment.
  • FIG. 9 is a flowchart of a machine learning step for a method for controlling a robot hand according to an embodiment.
  • FIG. 10 is a flowchart of an analysis step for a method for controlling a robot hand according to an embodiment.
  • FIG. 11 is a flowchart of processing steps for a method for controlling a robot hand according to an embodiment.
  • first, second, A, B, (a), and (b) may be used in describing the components of the embodiment. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term.
  • an element is described as being “connected,” “coupled to,” or “connected” to another element, that element may be directly connected or connected to the other element, but there may be another element between the elements. It should be understood that may be “connected”, “coupled” or “connected”.
  • FIG. 1 is a perspective view of a robot hand system 1 according to an embodiment
  • FIGS. 2A and 2B are diagrams for explaining the operating principle of the robot hand 11 according to an embodiment
  • FIGS. 3A and 3B are It is a diagram for explaining the operation of the robot hand 11 according to an embodiment
  • FIG. 4 is a block diagram of the robot hand system 1 according to an embodiment.
  • the robot hand system 1 infers the motion of the robot hand 11 that meets the user's intention, and operates the robot hand 11 according to the inferred motion. can make it
  • the robot hand system 1 may include a robot hand 11, a first sensor unit 12, a second sensor unit 13, and a processor 14.
  • the robot hand 11 may grip the target object O.
  • the robot hand 11 may include a finger module 111, and the finger module 111 may include a plurality of frames 1111 and one or more joints 1112.
  • the joint part 1112 is connected to the plurality of frames 1111 and may change the position of the plurality of frames 1111 .
  • the frame 1111 may be formed in a structure having a longitudinal direction.
  • the joint part 1112 includes one or more motors, and the position of the frame 1111 can be changed by rotation of the motor.
  • the robot hand 11 may function as a prosthetic hand or industrial tongs. However, this is an example, and the function of the robot hand is not limited thereto.
  • the robot hand system 1 can be applied to places of use of various scales.
  • the robot hand system 1 may be applied to a terminal clamp of a heavy-duty crane.
  • the finger module 111 includes a thumb portion 111a performing a thumb function, an index finger portion 111b performing an index finger function, and a middle finger portion 111c performing a middle finger function. , a ring finger portion 111d performing a ring finger function and a little finger portion 111e performing a little finger function.
  • the thumb portion 111a may include two frames 1111 and two joint portions 1112.
  • the index finger portion 111b, the middle finger portion 111c, the ring finger portion 111d, and the little finger portion 111e may include three frames 1111 and three joint portions 1112, respectively.
  • the thumb portion 111a may be formed to be shorter in length in the longitudinal direction than the index finger portion 111b, the middle finger portion 111c, the ring finger portion 111d, and the little finger portion 111e.
  • the first sensor unit 12 is disposed on the robot hand 11 and can detect the posture of the robot hand 11 in real time.
  • the first sensor unit 12 may detect the real-time posture of the robot hand 11 by tracking the position of the second sensor unit 13 described later.
  • the first sensor unit 12 may be disposed inside the robot hand 11 .
  • the inner side means a position where the palm is formed, that is, a position formed on the back surface of the back of the hand.
  • the second sensor unit 13 is disposed on the robot hand 11 and can detect 3D surface information of the target object O appearing on the basis of the robot hand 11 .
  • the second sensor unit 13 may be provided in plurality.
  • Each second sensor part 13 is disposed inside each of the thumb part 111a, the index finger part 111b, the middle finger part 111c, the ring finger part 111d, and the little finger part 111e. It can be.
  • the inner side means a position where the palm is formed, that is, a position formed on the back surface of the back of the hand.
  • the second sensor unit 13 can detect 3D surface information of the target object O without obstruction of the field of view.
  • the processor 14 infers the motion of the robot hand 11 that meets the user's intention based on the sensing information of the first sensor unit 12 and the second sensor unit 13, and the robot hand 11 according to the inferred motion.
  • the hand 11 can be operated. Since the processor 14 does not go through an image processing process, the amount of calculation is reduced, and thus the calculation speed can be remarkably improved.
  • the processor 14 determines the shape of the 3D surface of the target object O based on the sensing information of the first sensor unit 12 and the second sensor unit 13.
  • a point cloud (C) can be formed for
  • the processor 14 may determine the relative position of the robot hand 11 in relation to the target object O based on the point data C.
  • the processor 14 may determine an optimal path for operating the inferred motion of the robot hand 11 based on the relative position of the robot hand 11 .
  • the processor 14 may operate the robot hand 11 to meet the user's intention based on the sensing information of the first sensor unit 12 and the second sensor unit 13. there is. For example, when the target object O comes deeply into the robot hand 11, the processor 14 uses the entire palm of the robot hand 11 while the finger module 111 surrounds the target object O. By doing so, the robot hand 11 can be operated to grip the target object O (eg, FIG. 3A ). In addition, for example, when the target object O is located adjacent to the end of the finger module 111, the processor 14 uses the end of the finger module 111 to grip the target object O with the robot hand ( 11) can be activated (eg Fig. 3b).
  • FIG. 5 is a block diagram of a robot hand system 1 according to an embodiment
  • FIG. 6 is a block diagram of a machine learning unit 15 of the robot hand system 1 according to an embodiment
  • FIG. It is a block diagram of the analysis unit 16 of the robot hand system 1 according to the embodiment.
  • the robot hand system (eg, the robot hand system 1 of FIG. 1 ) according to an embodiment uses machine learning to perform a motion A of the robot hand that meets the user's intention. can be diagnosed
  • the robot hand system 1 may further include a machine learning unit 15, an analysis unit 16, and a controller 17.
  • the robot hand system 1 includes a first sensor unit (eg, first sensor unit 12 in FIG. 1 ) and a second sensor unit (eg, second sensor unit 12 in FIG.
  • the pattern P according to the motion A of the robot hand that meets the user's intention may be learned through machine learning from the learning data LD based on the sensing information of the sensor unit 13 .
  • the robot hand system 1 compares the measurement data SD based on the sensing information of the first sensor unit 12 and the second sensor unit 13 with a pre-learned pattern P to determine whether or not matching occurs, and matches
  • the operation of the robot hand corresponding to the pattern P may be determined as the operation A of the robot hand that meets the user's intention.
  • the robot hand system 1 is a robot hand 11 through feedback control that corrects the robot hand (eg, the robot hand 11 of FIG. 1 ) according to the motion A of the robot hand that meets the determined user's intention. ) can be operated to meet the user's intention.
  • the machine learning unit 15 receives learning data LD based on the sensing information of the first sensor unit 12 and the second sensor unit 13, in which motions of the robot hand corresponding to the user's intention are known, and the learning data
  • the pattern (P) of (LD) can be machine-learned. That is, the machine learning unit 15 may learn the pattern P of data generated according to the motion A of the robot hand that meets the user's intention through supervised learning. Machine learning of the machine learning unit 15 may be performed in advance before the process is performed.
  • the machine learning unit 15 may include a learning data acquisition unit 151 , a pattern extraction unit 152 and a machine learning model generation unit 153 .
  • the learning data acquisition unit 151 obtains each learning data LD according to the sensing information of the first sensor unit 12 and the second sensor unit 13 where the operation A of the robot hand that meets the user's intention is known. can be acquired.
  • the learning data LD may be acquired for each motion A of the robot hand that meets each user's intention. For example, data based on sensing information of the first sensor unit 12 and the second sensor unit 13 having the first operation A1 is acquired as the first learning data LD1, and the second operation A2 Data based on the sensing information of the first sensor unit 12 and the second sensor unit 13 having ) may be acquired as the second learning data LD2.
  • the learning data acquisition unit 151 may acquire data measured through a preliminary experiment or data from a database.
  • the pattern extraction unit 152 may receive each learning data LD from the learning data acquisition unit 151 .
  • a specific pattern P may be formed on the learning data LD sensed in a specific operation due to the specific operation.
  • the pattern extractor 152 may extract a pattern P of each data from each received learning data LD.
  • the pattern P may be extracted for each learning data LD.
  • the pattern extractor 152 may extract the first pattern P1 from the first training data LD1 and the second pattern P2 from the second training data LD2.
  • the pattern extractor 152 may extract the pattern P by FFT processing the learning data LD.
  • the pattern extraction unit 152 extracts the pattern P through machine learning from a plurality of learning data LD based on the sensing information of the first sensor unit 12 and the second sensor unit 13 performing the same operation. It can be.
  • the machine learning model generation unit 153 performs the operation of the robot hand (A) that meets the user's intention according to the sensing information of the first sensor unit 12 and the second sensor unit 13 corresponding to the extracted pattern P ) can be labeled to create a machine learning model (M). That is, for each specific pattern (P), the motion (A) of the robot hand corresponding to the user's intention may be labeled and stored as a machine learning model (M).
  • the machine learning model (M) is information that a specific pattern (P) appears in data detected in a specific motion, that is, information that the robot hand 11 operates in a specific motion when a specific pattern (P) appears in the detected data.
  • the first machine learning model M1 stores information about the first pattern P1 and the corresponding first motion A1
  • the second machine learning model M2 stores the second pattern P2.
  • information about the second operation A2 corresponding thereto may be stored.
  • the analysis unit 16 uses the pre-learned machine learning unit 15 to determine the user's intention from the measurement data SD based on the sensing information of the first sensor unit 12 and the second sensor unit 13.
  • the motion (A) of the robot hand can be analyzed.
  • the analysis unit 16 compares the measured data SD with a pre-learned pattern P, and converts the motion of the robot hand corresponding to the matched pattern P to the motion A of the robot hand that meets the user's intention. can be judged by
  • the analysis unit 16 may include a pattern matching unit 161 and a result output unit 162 .
  • the pattern matching unit 161 may compare the measured data SD and the pattern P extracted by the pattern extraction unit 152 to determine whether the pattern P matches. That is, the pattern matching unit 161 may determine a pattern P matching the measurement data SD.
  • the number of patterns P matching the measurement data SD may be plural.
  • the pattern matching unit 161 may perform FFT processing on the measurement data SD to determine whether the pattern P matches. Matching the pattern matching unit 161 between the measured data SD and the pre-learned pattern P may be performed through machine learning.
  • the result output unit 162 may search for the pattern P determined to be matched by the pattern matching unit 161 in the machine learning model M, and output a corresponding motion of the robot hand as a result value. That is, the result output unit 162 may output the motion of the robot hand corresponding to the pattern P matched to the measurement data SD as the motion A of the robot hand that meets the user's intention.
  • a processor may feedback-control the motion of the robot hand according to the result value of the result output unit 162 .
  • the processor 14 may correct and control the motion of the robot hand so as to supplement the motion of the robot hand. According to such feedback control, the operation of the robot hand is corrected and controlled in real time according to the sensing information of the first sensor unit 12 and the second sensor unit 13, so that the robot hand 11 meets the user's intention. can make it work.
  • the controller 17 may receive input of the motion of the robot hand 11 according to the user's intention.
  • the controller 17 may feedback-control the motion of the robot hand 11 according to the motion of the robot hand 11 input through the controller and the motion A of the robot hand that meets the user's intention inferred above.
  • FIG. 8 is a flowchart of a robot hand control method 2 according to an embodiment
  • FIG. 9 is a flowchart of a machine learning step 25 for the robot hand control method 2 according to an embodiment
  • FIG. It is a flowchart of the analysis step 26 of the robot hand control method 2 according to an embodiment
  • FIG. 11 is a flowchart of the processing step 24 of the robot hand control method 2 according to an embodiment.
  • the robot hand control method 2 diagnoses the motion of the robot hand that meets the user's intention by using machine learning, and inputs the short-channel myoelectric potential signal. It is possible to feedback control the mechanical part according to the user's simple motion intention and the diagnosed necessary motion.
  • the robot hand control method (2) includes a robot hand providing step (21), a first detecting step (22), a second detecting step (23), a processing step (24), and a machine learning step (25). and analysis step 26.
  • Step 21 of providing a robot hand may be a step of providing a robot hand for gripping a target object.
  • the first detection step 22 may be a step of detecting the real-time posture of the robot hand.
  • the second detection step 23 may be a step of detecting 3D surface information of a target object appearing based on the robot hand.
  • the processing step 24 based on the information detected in the first detection step 22 and the second detection step 23, a motion of the robot hand that meets the user's intention is inferred, and the robot hand motion is inferred according to the inferred motion. It may be a step including an operating step 241 of activating. In one embodiment, the processing step 24 may further include a feedback control step 242 of feedback-controlling the robot hand according to the output result value.
  • the machine learning step 25 receives learning data based on the information detected in the first detection step 22 and the second detection step 23 in which motions of the robot hand that match the user's intention are known, and the pattern of the learning data is input. It may be a step of machine learning. In one embodiment, the machine learning step 25 may include learning data acquisition step 251 , pattern extraction step 252 and machine learning model generation step 253 .
  • the learning data acquisition step 251 includes each learning data according to the information detected in the first detection step 22 and the second detection step 23 in which the operation of the robot hand that meets the user's intention is known. It may be a step of acquiring.
  • the pattern extraction step 252 may be a step of extracting a pattern of each data from the learning data acquisition step 251 .
  • the machine learning model generation step 253 labels the motion of the robot hand corresponding to the user's intention according to the information detected in the first detection step 22 and the second detection step 23 corresponding to each extracted pattern. It may be a step of generating a machine learning model by doing so.
  • the analysis step 26 may be a step of analyzing the motion of the robot hand that meets the user's intention from the measured data by using the machine learning model learned in advance through the machine learning step 25 .
  • the analysis step 26 may include a pattern matching step 261 and a result output step 262 .
  • the pattern matching step 261 may be a step of determining whether the pattern matches by comparing the measured data and the pattern extracted in the pattern extraction step 252 .
  • the result output step 262 may be a step of searching for a matched pattern in the machine learning model and outputting a motion of the robot hand corresponding to the user's intention as a result value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Transplantation (AREA)
  • Automation & Control Theory (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Vascular Medicine (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

로봇 손 시스템 및 로봇 손 제어 방법을 제공한다. 일 실시 예에 따른 로봇 손 시스템은, 사용자에 의해 조작되는 로봇 손 시스템에 있어서, 대상 물체를 파지하기 위한 로봇 손; 상기 로봇 손에 배치되고, 상기 로봇 손의 실시간 자세를 검출하는 제1 센서부; 상기 로봇 손에 배치되고, 상기 로봇 손을 기준으로 나타나는 상기 대상 물체의 3차원 표면 정보를 검출하는 제2 센서부; 및 상기 제1 센서부 및 제2 센서부의 센싱 정보에 기초하여, 사용자의 의도에 부합하는 상기 로봇 손의 동작을 추론하고, 상기 추론된 동작에 따라 상기 로봇 손을 작동시키는 프로세서를 포함하고, 상기 로봇 손은, 복수개의 프레임; 및 상기 복수개의 프레임에 연결되며 상기 복수개의 프레임의 위치를 변경하기 위한 하나 이상의 관절부를 포함하는, 손가락 모듈을 포함할 수 있다.

Description

로봇 손 시스템 및 로봇 손 제어 방법
아래의 설명은 로봇 손 시스템 및 로봇 손 제어 방법에 관한 것이다.
일반적으로 팔의 일부분이 절단된 장애인의 경우에 상기 절단된 팔에 의수를 착용하게 된다. 이러한 종래의 의수는 착용구에 의해 단순히 팔에 착용하는 것으로 별도의 파지력을 제공하지 못하는 단점이 있었다. 이를 개선하고자 전자적인 제어장치에 의해 의수로 물건을 파지할 수 있는 파지력을 부여하는 발명이 연구되고 있다.
의수가 작동되기 전에 사용자가 원하는 자세에 해당하는 버튼을 눌러 이에 대응하도록 의수를 작동시키는 방식이 있으나, 사용자가 개별적인 동작신호를 의식적으로 보내줘야 하기 때문에 비직관적이라는 문제가 있다. 또한, 환부의 근육의 움직임을 감지하여 이에 대응하도록 의수를 작동시키는 방식이 있으나, 다양한 동작 신호를 얻기 어렵다는 문제가 있다.
따라서, 잡고자 하는 대상 물체에 대한 정보를 실시간으로 감지하여 대상 물체를 자동으로 파지하는 로봇 의수 시스템 및 로봇 의수 제어 방법이 요구되는 실정이다.
전술한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.
일 실시 예에 따른 목적은 대상 물체를 효율적으로 파지하는 로봇 손 시스템 및 로봇 손 제어 방법을 제공하는 것이다.
일 실시 예에 따른 목적은 대상 물체 파지의 성공률이 높은 로봇 손 제어 시스템 및 로봇 손 제어 방법을 제공하는 것이다.
일 실시 예에 따른 목적은 사용자에게 직관적인 방식으로 작동이 가능한 로봇 손 제어 시스템 및 로봇 손 제어 방법을 제공하는 것이다.
일 실시 예에 따른 로봇 손 시스템은, 사용자에 의해 조작되는 로봇 손 시스템에 있어서, 대상 물체를 파지하기 위한 로봇 손; 상기 로봇 손에 배치되고, 상기 로봇 손의 실시간 자세를 검출하는 제1 센서부; 상기 로봇 손에 배치되고, 상기 로봇 손을 기준으로 나타나는 상기 대상 물체의 3차원 표면 정보를 검출하는 제2 센서부; 및 상기 제1 센서부 및 제2 센서부의 센싱 정보에 기초하여, 사용자의 의도에 부합하는 상기 로봇 손의 동작을 추론하고, 상기 추론된 동작에 따라 상기 로봇 손을 작동시키는 프로세서를 포함하고, 상기 로봇 손은, 복수개의 프레임; 및 상기 복수개의 프레임에 연결되며 상기 복수개의 프레임의 위치를 변경하기 위한 하나 이상의 관절부를 포함하는, 손가락 모듈을 포함할 수 있다.
상기 제1 센서부 및 제2 센서부의 센싱 정보에 기초하여 상기 대상 물체의 3차원 표면의 형상에 대하여 점자료(point cloud)를 형성할 수 있다.
상기 프로세서는, 상기 점자료를 기초로, 상기 대상 물체와의 관계에서의 상기 로봇 손의 상대적 위치를 판단할 수 있다.
상기 프로세서는, 상기 로봇 손의 상대적 위치를 기초로, 상기 로봇 손의 추론된 동작의 작동을 위한 최적 경로를 판단할 수 있다.
사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 센서부 및 제2 센서부의 센싱 정보에 기초한 학습 데이터를 입력 받고, 상기 학습 데이터의 패턴을 기계학습 하는 기계학습부; 및 미리 학습된 기계학습부를 이용하여 제1 센서부 및 제2 센서부의 센싱 정보에 기초한 측정 데이터로부터 사용자의 의도에 부합하는 로봇 손의 동작을 분석하는 분석부를 더 포함할 수 있다.
상기 기계학습부는, 사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 센서부 및 제2 센서부의 센싱 정보에 따라 각각의 학습 데이터를 취득하는 학습 데이터 취득부; 상기 학습 데이터 취득부로부터 각각의 학습 데이터를 전달받고, 각각의 학습 데이터로부터 각각의 데이터의 패턴을 추출하는 패턴 추출부; 및 각각의 추출된 패턴에 대응되는 제1 센서부 및 제2 센서부의 센싱 정보에 따른 사용자의 의도에 부합하는 로봇 손의 동작을 라벨링하여 기계학습 모델을 생성하는 기계학습 모델 생성부를 포함할 수 있다.
상기 분석부는, 상기 측정 데이터 및 상기 패턴 추출부에서 추출된 패턴을 비교하여 패턴 매칭 여부를 판단하는 패턴 매칭부; 및 상기 패턴 매칭부에서 매칭되는 것으로 판단된 패턴을 상기 기계학습 모델에서 탐색하여 대응되는 사용자의 의도에 부합하는 로봇 손의 동작을 결과값으로 출력하는 결과 출력부를 포함할 수 있다.
상기 프로세서는, 상기 결과 출력부의 결과값에 따라 상기 로봇 손을 피드백 제어할 수 있다.
상기 손가락 모듈은, 엄지 손가락 기능을 수행하는 엄지 손가락부; 검지 손가락 기능을 수행하는 검지 손가락부; 중지 손가락 기능을 수행하는 중지 손가락부; 약지 손가락 기능을 수행하는 약지 손가락부; 및 새끼 손가락 기능을 수행하는 새끼 손가락부를 포함할 수 있다.
상기 엄지 손가락부는, 두 개의 프레임 및 두 개의 관절부를 포함하며; 상기 검지 손가락부, 중지 손가락부, 약지 손가락부 및 새끼 손가락부는, 각각 세 개의 프레임 및 세 개의 관절부를 포함할 수 있다.
상기 제2 센서부는 복수개로 구비되며, 상기 각각의 제2 센서부는, 상기 엄지 손가락부, 검지 손가락부, 중지 손가락부, 약지 손가락부 및 새끼 손가락부 각각의 내측에 배치될 수 있다.
일 실시 예에 따른 로봇 손 제어 방법은, 대상 물체를 파지하기 위한 로봇 손을 제공하는, 로봇 손 제공 단계; 상기 로봇 손의 실시간 자세를 검출하는 제1 검출 단계; 상기 로봇 손을 기준으로 나타나는 상기 대상 물체의 3차원 표면 정보를 검출하는 제2 검출 단계; 상기 제1 검출 단계 및 제2 검출 단계에서 검출된 정보에 기초하여, 사용자의 의도에 부합하는 상기 로봇 손의 동작을 추론하고, 상기 추론된 동작에 따라 상기 로봇 손을 작동시키는 작동 단계를 포함하는 프로세싱 단계; 사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 검출 단계 및 제2 검출 단계에서 검출된 정보에 기초한 학습 데이터를 입력 받고, 상기 학습 데이터의 패턴을 기계학습 하는 기계학습 단계; 및 상기 기계학습 단계를 통해 미리 학습된 기계학습 모델을 이용하여, 상기 측정 데이터로부터 사용자의 의도에 부합하는 로봇 손의 동작을 분석하는 분석 단계를 포함할 수 있다.
상기 기계학습 단계는, 사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 검출 단계 및 제2 검출 단계에서 검출된 정보에 따라 각각의 학습 데이터를 취득하는 학습 데이터 취득 단계; 상기 학습 데이터 취득 단계로부터 각각의 데이터의 패턴을 추출하는 패턴 추출 단계; 및 각각의 추출된 패턴에 대응되는 제1 검출 단계 및 제2 검출 단계에서 검출된 정보에 따른 사용자의 의도에 부합하는 로봇 손의 동작을 라벨링하여 기계학습 모델을 생성하는 기계학습 모델 생성 단계를 포함할 수 있다.
상기 분석 단계는, 상기 측정 데이터 및 상기 패턴 추출 단계에서 추출된 패턴을 비교하여, 패턴 매칭 여부를 판단하는 패턴 매칭 단계; 및 매칭된 것으로 판단된 패턴을 상기 기계학습 모델에서 탐색하여 대응되는 사용자의 의도에 부합하는 로봇 손의 동작을 결과값으로 출력하는 결과 출력 단계를 포함할 수 있다.
상기 프로세싱 단계는, 출력된 결과값에 따라 상기 로봇 손을 피드백 제어하는 피드백 제어 단계를 더 포함할 수 있다.
일 실시 예에 따른 로봇 손 시스템 및 로봇 손 제어 방법은 대상 물체를 효율적으로 파지할 수 있다.
일 실시 예에 따른 로봇 손 시스템 및 로봇 손 제어 방법은 높은 확률로 대상 물체를 파지할 수 있다.
일 실시 예에 따른 로봇 손 시스템 및 로봇 손 제어 방법은 사용자에게 직관적인 방식으로 작동될 수 있다.
일 실시 예에 따른 로봇 손 시스템 및 로봇 손 제어 방법의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 일 실시 예에 따른 로봇 손 시스템의 사시도이다.
도 2a 및 도 2b는 일 실시 예에 따른 로봇 손의 작동 원리를 설명하기 위한 도면이다.
도 3a 및 도 3b는 일 실시 예에 따른 로봇 손의 동작을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 로봇 손 시스템의 블록도이다.
도 5는 일 실시 예에 따른 로봇 손 시스템의 블록도이다.
도 6은 일 실시 예에 따른 로봇 손 시스템의 기계학습부에 대한 블록도이다.
도 7은 일 실시 예에 따른 로봇 손 시스템의 분석부에 대한 블록도이다.
도 8는 일 실시 예에 따른 로봇 손 제어 방법의 순서도이다.
도 9는 일 실시 예에 따른 로봇 손 제어 방법에 대한 기계학습 단계의 순서도이다.
도 10은 일 실시 예에 따른 로봇 손 제어 방법에 대한 분석 단계의 순서도이다.
도 11은 일 실시 예에 따른 로봇 손 제어 방법에 대한 프로세싱 단계의 순서도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시 예들에는 다양한 변경이 가해질 수 있어서 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 실시 예에 따른 로봇 손 시스템(1)의 사시도이고, 도 2a 및 도 2b는 일 실시 예에 따른 로봇 손(11)의 작동 원리를 설명하기 위한 도면이고, 도 3a 및 도 3b는 일 실시 예에 따른 로봇 손(11)의 동작을 설명하기 위한 도면이고, 도 4는 일 실시 예에 따른 로봇 손 시스템(1)의 블록도이다.
도 1 내지 도 4를 참조하면, 일 실시 예에 따른 로봇 손 시스템(1)은 사용자의 의도에 부합하는 로봇 손(11)의 동작을 추론하고, 추론된 동작에 따라 로봇 손(11)를 작동시킬 수 있다. 일 실시 예에서, 로봇 손 시스템(1)은, 로봇 손(11), 제1 센서부(12), 제2 센서부(13) 및 프로세서(14)를 포함할 수 있다.
로봇 손(11)는 대상 물체(O)를 파지할 수 있다. 일 실시 예에서, 로봇 손(11)는 손가락 모듈(111)을 포함할 수 있으며, 손가락 모듈(111)은 복수개의 프레임(1111) 및 하나 이상의 관절부(1112)를 포함할 수 있다. 관절부(1112)는, 복수개의 프레임(1111)에 연결되며, 복수개의 프레임(1111)의 위치를 변경할 수 있다. 예를 들어, 프레임(1111)은 길이 방향을 가지는 구조로 형성될 수 있다. 예를 들어, 관절부(1112)는 하나 이상의 모터를 포함하며, 모터의 회전에 의하여 프레임(1111)의 위치를 변경시킬 수 있다. 예를 들어, 로봇 손(11)은 로봇 의수, 산업용 집게로 기능할 수 있다. 다만, 이는 예시적인 것으로, 로봇 손의 기능이 이에 한정되는 것은 아니다. 일 실시 예에서, 로봇 손 시스템(1)은 다양한 규모의 사용처에 적용될 수 있다. 예를 들어, 로봇 손 시스템(1)은 중장비 크레인의 말단부 집게 등에 적용될 수 있다.
일 실시 예에서, 손가락 모듈(111)은, 엄지 손가락 기능을 수행하는 엄지 손가락부(111a), 검지 손가락 기능을 수행하는 검지 손가락부(111b), 중지 손가락 기능을 수행하는 중지 손가락부(111c), 약지 손가락 기능을 수행하는 약지 손가락부(111d) 및 새끼 손가락 기능을 수행하는 새끼 손가락부(111e)를 포함할 수 있다. 엄지 손가락부(111a)는 두 개의 프레임(1111) 및 두 개의 관절부(1112)를 포함할 수 있다. 또한, 검지 손가락부(111b), 중지 손가락부(111c), 약지 손가락부(111d) 및 새끼 손가락부(111e)는 각각 세 개의 프레임(1111) 및 세 개의 관절부(1112)를 포함할 수 있다. 예를 들어, 엄지 손가락부(111a)는, 검지 손가락부(111b), 중지 손가락부(111c), 약지 손가락부(111d) 및 새끼 손가락부(111e)보다 길이 방향으로의 길이가 짧도록 형성될 수 있다.
제1 센서부(12)는 로봇 손(11)에 배치되고, 로봇 손(11)의 실시간 자세를 검출할 수 있다. 일 실시 예에서, 제1 센서부(12)는 후술하는 제2 센서부(13)의 위치를 추적하는 방식으로, 로봇 손(11)의 실시간 자세를 검출할 수 있다. 예를 들어, 제1 센서부(12)는 로봇 손(11)의 내측에 배치될 수 있다. 여기서 내측이란 손바닥이 형성되는 위치, 즉 손등의 배면상에 형성되는 위치를 의미한다. 다만, 이는 예시적인 것으로, 제1 센서부의 배치가 이에 한정되는 것은 아니다.
제2 센서부(13)는 로봇 손(11)에 배치되고, 로봇 손(11)를 기준으로 나타나는 대상 물체(O)의 3차원 표면 정보를 검출할 수 있다. 일 실시 예에서, 제2 센서부(13)는 복수개로 구비될 수 있다. 각각의 제2 센서부(13)는, 엄지 손가락부(111a), 검지 손가락부(111b), 중지 손가락부(111c), 약지 손가락부(111d) 및 새끼 손가락부(111e) 각각의 내측에 배치될 수 있다. 여기서 내측이란 손바닥이 형성되는 위치, 즉 손등의 배면상에 형성되는 위치를 의미한다. 엄지 손가락부(111a), 검지 손가락부(111b), 중지 손가락부(111c), 약지 손가락부(111d) 및 새끼 손가락부(111e)가 대상 물체(O)를 둘러싸면서, 제2 센서부(13)는 시야의 방해를 받지 않고 대상 물체(O)의 3차원 표면 정보를 검출할 수 있다.
프로세서(14)는 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초하여, 사용자의 의도에 부합하는 로봇 손(11)의 동작을 추론하고, 추론된 동작에 따라 로봇 손(11)를 작동시킬 수 있다. 프로세서(14)는 이미지 처리 과정을 거치지 않기 때문에, 연산량이 줄어들어, 연산 속도가 현저하게 향상될 수 있다.
도 2a 및 도 2b에서, 일 실시 예에서, 프로세서(14)는 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초하여 대상 물체(O)의 3차원 표면의 형상에 대하여 점자료(point cloud)(C)를 형성할 수 있다. 일 실시 예에서, 프로세서(14)는, 점자료(C)를 기초로, 대상 물체(O)와의 관계에서의 로봇 손(11)의 상대적 위치를 판단할 수 있다. 프로세서(14)는, 로봇 손(11)의 상대적 위치를 기초로, 로봇 손(11)의 추론된 동작의 작동을 위한 최적 경로를 판단할 수 있다.
도 3a 및 도 3b에서, 프로세서(14)는, 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초하여, 사용자의 의도에 부합하도록 로봇 손(11)를 작동시킬 수 있다. 예를 들어, 대상 물체(O)가 로봇 손(11) 내에 깊숙하게 들어오면, 프로세서(14)는 손가락 모듈(111)이 대상 물체(O)를 감싸면서 로봇 손(11)의 손바닥 전체를 이용하여 대상 물체(O)를 파지하도록 로봇 손(11)를 작동시킬 수 있다(예: 도 3a). 또한, 예를 들어, 대상 물체(O)가 손가락 모듈(111) 단부에 인접하여 위치하면, 프로세서(14)는 손가락 모듈(111)의 단부를 이용하여 대상 물체(O)를 파지하도록 로봇 손(11)를 작동시킬 수 있다(예: 도 3b).
도 5는 일 실시 예에 따른 로봇 손 시스템(1)의 블록도이고, 도 6은 일 실시 예에 따른 로봇 손 시스템(1)의 기계학습부(15)에 대한 블록도이고, 도 7은 일 실시 예에 따른 로봇 손 시스템(1)의 분석부(16)에 대한 블록도이다.
도 5 내지 도 7을 참조하면, 일 실시 예에 따른 로봇 손 시스템(예: 도 1의 로봇 손 시스템(1))은 기계학습을 이용하여 사용자의 의도에 부합하는 로봇 손의 동작(A)을 진단할 수 있다. 일 실시 예에서, 로봇 손 시스템(1)은 기계학습부(15), 분석부(16) 및 컨트롤러(17)를 더 포함할 수 있다.
로봇 손 시스템(1)은 사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 센서부(예: 도 1의 제1 센서부(12)) 및 제2 센서부(예: 도 1의 제2 센서부(13))의 센싱 정보에 기초한 학습 데이터(LD)로부터 기계학습을 통해 사용자의 의도에 부합하는 로봇 손의 동작(A)에 따른 패턴(P)을 학습할 수 있다. 로봇 손 시스템(1)은 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초한 측정 데이터(SD)를 미리 학습된 패턴(P)과 비교하여 매칭 여부를 판단하고, 매칭된 패턴(P)에 대응되는 로봇 손의 동작을 사용자의 의도에 부합하는 로봇 손의 동작(A)으로 판단할 수 있다. 로봇 손 시스템(1)은 판단된 사용자의 의도에 부합하는 로봇 손의 동작(A)에 따라, 로봇 손(예: 도 1의 로봇 손(11))를 보정하는 피드백 제어를 통해 로봇 손(11)를 사용자의 의도에 부합하도록 동작시킬 수 있다.
기계학습부(15)는 사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초한 학습 데이터 (LD)를 입력 받고, 학습 데이터(LD)의 패턴(P)을 기계학습할 수 있다. 즉, 기계학습부(15)는 지도 학습을 통하여, 사용자의 의도에 부합하는 로봇 손의 동작(A)에 따라 발생되는 데이터의 패턴(P)을 학습할 수 있다. 기계학습부(15)의 기계학습은 공정 수행 전에 미리 수행될 수 있다.
기계학습부(15)는 학습 데이터 취득부(151), 패턴 추출부(152) 및 기계학습 모델 생성부(153)를 포함할 수 있다.
학습 데이터 취득부(151)는 사용자의 의도에 부합하는 로봇 손의 동작(A)이 알려진 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 따라 각각의 학습 데이터(LD)를 취득할 수 있다. 학습 데이터(LD)는 각각의 사용자의 의도에 부합하는 로봇 손의 동작(A) 별로 취득될 수 있다. 예를 들어, 제1 동작(A1)를 갖는 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초한 데이터는 제1 학습 데이터(LD1)로서 취득되고, 제2 동작(A2)을 갖는 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초한 데이터는 제2 학습 데이터(LD2)로서 취득될 수 있다. 학습 데이터 취득부(151)는 사전 실험을 통하여 측정된 데이터를 취득하거나, 데이터 베이스로부터 데이터를 취득할 수 있다.
패턴 추출부(152)는 학습 데이터 취득부(151)로부터 각각의 학습 데이터(LD)를 전달받을 수 있다. 특정 동작에서 감지된 학습 데이터(LD)에는 그 특정 동작으로 인하여 데이터 상에 특정한 패턴(P)이 형성될 수 있다. 패턴 추출부(152)는 전달받은 각각의 학습 데이터(LD)로부터 각각의 데이터의 패턴(P)을 추출할 수 있다. 패턴(P)은 각각의 학습 데이터(LD) 별로 추출될 수 있다. 예를 들어, 패턴 추출부(152)는 제1 학습 데이터(LD1)로부터 제1 패턴(P1)을 추출하고, 제2 학습 데이터(LD2)로부터 제2 패턴(P2)을 추출할 수 있다. 예를 들어, 패턴 추출부(152)는 학습 데이터(LD)를 FFT 처리하여 패턴(P)을 추출할 수 있다. 패턴 추출부(152)의 패턴(P) 추출은, 동일한 동작의 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초한 복수의 학습 데이터(LD)로부터 기계학습을 통해 수행될 수 있다.
기계학습 모델 생성부(153)는 추출된 패턴(P)에 대응되는 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 따른 사용자의 의도에 부합하는 로봇 손의 동작(A)을 라벨링하여 기계학습 모델(M)을 생성할 수 있다. 즉, 특정 패턴(P) 별로, 대응되는 사용자의 의도에 부합하는 로봇 손의 동작(A)이 라벨링되어 기계학습 모델(M)로서 저장될 수 있다. 기계학습 모델(M)은 특정 동작에서 감지되는 데이터에는 특정한 패턴(P)이 나타난다는 정보, 다시 말해 감지된 데이터에서 특정한 패턴(P)이 나타난 경우 로봇 손(11)가 특정 동작으로 작동한다는 정보를 포함할 수 있다. 예를 들어, 제1 기계학습 모델(M1)에는 제1 패턴(P1)과 그에 대응되는 제1 동작(A1)에 대한 정보가 저장되고, 제2 기계학습 모델(M2)에는 제2 패턴(P2)과 그에 대응되는 제2 동작(A2)에 대한 정보가 저장될 수 있다.
분석부(16)는 미리 학습된 기계학습부(15)를 이용하여 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 기초한 측정 데이터(SD)로부터 사용자의 의도에 부합하는 로봇 손의 동작(A)를 분석할 수 있다. 분석부(16)는 측정 데이터(SD)를 미리 학습된 패턴(P)과 비교하여, 매칭되는 패턴(P)에 대응되는 로봇 손의 동작을 사용자의 의도에 부합하는 로봇 손의 동작(A)으로 판단할 수 있다.
분석부(16)는 패턴 매칭부(161) 및 결과 출력부(162)를 포함할 수 있다.
패턴 매칭부(161)는 측정 데이터(SD)와 패턴 추출부(152)에서 추출된 패턴(P)을 비교하여, 패턴(P) 매칭 여부를 판단할 수 있다. 즉, 패턴 매칭부(161)는 측정 데이터(SD)에 매칭되는 패턴(P)을 판단할 수 있다. 측정 데이터(SD)와 매칭되는 패턴(P)은 복수 개일 수도 있다. 예를 들어, 패턴 매칭부(161)는 측정 데이터(SD)를 FFT 처리하여 패턴(P) 매칭 여부를 판단할 수 있다. 패턴 매칭부(161)가 측정 데이터(SD)와 미리 학습된 패턴(P)을 매칭하는 작업은 기계학습을 통해 수행될 수 있다.
결과 출력부(162)는 패턴 매칭부(161)에서 매칭되는 것으로 판단된 패턴(P)을 기계학습 모델(M)에서 탐색하여 대응되는 로봇 손의 동작을 결과값으로 출력할 수 있다. 즉, 결과 출력부(162)는 측정 데이터(SD)에 매칭되는 패턴(P)에 대응되는 로봇 손의 동작을 사용자의 의도에 부합하는 로봇 손의 동작(A)으로 출력할 수 있다.
프로세서(예: 도4의 프로세서(14))는 결과 출력부(162)의 결과값에 따라 로봇 손의 동작을 피드백 제어할 수 있다. 프로세서(14)는 로봇 손의 동작을 보완할 수 있도록, 로봇 손의 동작을 보정하여 제어할 수 있다. 이와 같은 피드백 제어에 의하면, 제1 센서부(12) 및 제2 센서부(13)의 센싱 정보에 따라 로봇 손의 동작을 실시간으로 보정 제어함으로써, 로봇 손(11)를 사용자의 의도에 부합하도록 동작시킬 수 있다.
컨트롤러(17)는 사용자의 의도에 따른 로봇 손(11)의 동작을 입력 받을 수 있다. 컨트롤러(17)는 앞서 추론된 사용자의 의도에 부합하는 로봇 손의 동작(A) 및 컨트롤러를 통해서 입력 받은 로봇 손(11)의 동작에 따라 로봇 손(11)의 동작을 피드백 제어할 수 있다.
도 8는 일 실시 예에 따른 로봇 손 제어 방법(2)의 순서도이고, 도 9는 일 실시 예에 따른 로봇 손 제어 방법(2)에 대한 기계학습 단계(25)의 순서도이고, 도 10은 일 실시 예에 따른 로봇 손 제어 방법(2)에 대한 분석 단계(26)의 순서도이고, 도 11은 일 실시 예에 따른 로봇 손 제어 방법(2)에 대한 프로세싱 단계(24)의 순서도이다.
도 8 내지 도 11을 참조하면, 일 실시 예에 따른 로봇 손 제어 방법(2)은 기계학습을 이용하여 사용자의 의도에 부합하는 로봇 손의 동작을 진단하고, 단채널 근전위 전호 등으로 입력되는 사용자의 간단한 동작 의도와 진단된 필요 동작에 따라 기구부를 피드백 제어할 수 있다. 일 실시 예에서, 로봇 손 제어 방법(2)은, 로봇 손 제공 단계(21), 제1 검출 단계(22), 제2 검출 단계(23), 프로세싱 단계(24), 기계학습 단계(25) 및 분석 단계(26)를 포함할 수 있다.
도 8 내지 도 9를 참조하여, 로봇 손 제어 방법(2)을 설명함에 있어서 상술한 내용과 중복되는 내용은 되도록 생략하도록 한다.
로봇 손 제공 단계(21)는 대상 물체를 파지하기 위한 로봇 손을 제공하는 단계일 수 있다. 제1 검출 단계(22)는 로봇 손의 실시간 자세를 검출하는 단계일 수 있다. 제2 검출 단계(23)는 로봇 손을 기준으로 나타나는 대상 물체의 3차원 표면 정보를 검출하는 단계일 수 있다.
프로세싱 단계(24)는 제1 검출 단계(22) 및 제2 검출 단계(23)에서 검출된 정보에 기초하여, 사용자의 의도에 부합하는 로봇 손의 동작을 추론하고, 추론된 동작에 따라 로봇 손을 작동시키는 작동 단계(241)를 포함하는 단계일 수 있다. 일 실시 예에서, 프로세싱 단계(24)는, 출력된 결과값에 따라 로봇 손을 피드백 제어하는 피드백 제어 단계(242)를 더 포함할 수 있다.
기계학습 단계(25)는 사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 검출 단계(22) 및 제2 검출 단계(23)에서 검출된 정보에 기초한 학습 데이터를 입력 받고, 학습 데이터의 패턴을 기계학습 하는 단계일 수 있다. 일 실시 예에서, 기계학습 단계(25)는 학습 데이터 취득 단계(251), 패턴 추출 단계(252) 및 기계학습 모델 생성 단계(253)를 포함할 수 있다.
일 실시 예에서, 학습 데이터 취득 단계(251)는 사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 검출 단계(22) 및 제2 검출 단계(23)에서 검출된 정보에 따라 각각의 학습 데이터를 취득하는 단계일 수 있다. 패턴 추출 단계(252)는 학습 데이터 취득 단계(251)로부터 각각의 데이터의 패턴을 추출하는 단계일 수 있다. 기계학습 모델 생성 단계(253)는 각각의 추출된 패턴에 대응되는 제1 검출 단계(22) 및 제2 검출 단계(23)에서 검출된 정보에 따른 사용자의 의도에 부합하는 로봇 손의 동작을 라벨링하여 기계학습 모델을 생성하는 단계일 수 있다.
분석 단계(26)는 기계학습 단계(25)를 통해 미리 학습된 기계학습 모델을 이용하여, 측정 데이터로부터 사용자의 의도에 부합하는 로봇 손의 동작을 분석하는 단계일 수 있다. 일 실시 예에서, 분석 단계(26)는 패턴 매칭 단계(261) 및 결과 출력 단계(262)를 포함할 수 있다.
일 실시 예에서, 패턴 매칭 단계(261)는 측정 데이터 및 패턴 추출 단계(252)에서 추출된 패턴을 비교하여, 패턴 매칭 여부를 판단하는 단계일 수 있다. 결과 출력 단계(262)는 매칭된 것으로 판단된 패턴을 기계학습 모델에서 탐색하여 대응되는 사용자의 의도에 부합하는 로봇 손의 동작을 결과값으로 출력하는 단계일 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (15)

  1. 사용자에 의해 조작되는 로봇 손 시스템에 있어서,
    대상 물체를 파지하기 위한 로봇 손;
    상기 로봇 손에 배치되고, 상기 로봇 손의 실시간 자세를 검출하는 제1 센서부;
    상기 로봇 손에 배치되고, 상기 로봇 손을 기준으로 나타나는 상기 대상 물체의 3차원 표면 정보를 검출하는 제2 센서부; 및
    상기 제1 센서부 및 제2 센서부의 센싱 정보에 기초하여, 사용자의 의도에 부합하는 상기 로봇 손의 동작을 추론하고, 상기 추론된 동작에 따라 상기 로봇 손을 작동시키는 프로세서를 포함하고,
    상기 로봇 손은,
    복수개의 프레임; 및 상기 복수개의 프레임에 연결되며 상기 복수개의 프레임의 위치를 변경하기 위한 하나 이상의 관절부를 포함하는, 손가락 모듈을 포함하는, 로봇 손 시스템.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 센서부 및 제2 센서부의 센싱 정보에 기초하여 상기 대상 물체의 3차원 표면의 형상에 대하여 점자료(point cloud)를 형성하는, 로봇 손 시스템.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 점자료를 기초로, 상기 대상 물체와의 관계에서의 상기 로봇 손의 상대적 위치를 판단하는, 로봇 손 시스템.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 로봇 손의 상대적 위치를 기초로, 상기 로봇 손의 추론된 동작의 작동을 위한 최적 경로를 판단하는, 로봇 손 시스템.
  5. 제1항에 있어서,
    사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 센서부 및 제2 센서부의 센싱 정보에 기초한 학습 데이터를 입력 받고, 상기 학습 데이터의 패턴을 기계학습 하는 기계학습부; 및
    미리 학습된 기계학습부를 이용하여 제1 센서부 및 제2 센서부의 센싱 정보에 기초한 측정 데이터로부터 사용자의 의도에 부합하는 로봇 손의 동작을 분석하는 분석부를 더 포함하는, 로봇 손 시스템.
  6. 제5항에 있어서,
    상기 기계학습부는,
    사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 센서부 및 제2 센서부의 센싱 정보에 따라 각각의 학습 데이터를 취득하는 학습 데이터 취득부;
    상기 학습 데이터 취득부로부터 각각의 학습 데이터를 전달받고, 각각의 학습 데이터로부터 각각의 데이터의 패턴을 추출하는 패턴 추출부; 및
    각각의 추출된 패턴에 대응되는 제1 센서부 및 제2 센서부의 센싱 정보에 따른 사용자의 의도에 부합하는 로봇 손의 동작을 라벨링하여 기계학습 모델을 생성하는 기계학습 모델 생성부를 포함하는, 로봇 손 시스템.
  7. 제6항에 있어서,
    상기 분석부는,
    상기 측정 데이터 및 상기 패턴 추출부에서 추출된 패턴을 비교하여 패턴 매칭 여부를 판단하는 패턴 매칭부; 및
    상기 패턴 매칭부에서 매칭되는 것으로 판단된 패턴을 상기 기계학습 모델에서 탐색하여 대응되는 사용자의 의도에 부합하는 로봇 손의 동작을 결과값으로 출력하는 결과 출력부를 포함하는, 로봇 손 시스템.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 결과 출력부의 결과값에 따라 상기 로봇 손을 피드백 제어하는, 로봇 손 시스템.
  9. 제1항에 있어서,
    상기 손가락 모듈은,
    엄지 손가락 기능을 수행하는 엄지 손가락부;
    검지 손가락 기능을 수행하는 검지 손가락부;
    중지 손가락 기능을 수행하는 중지 손가락부;
    약지 손가락 기능을 수행하는 약지 손가락부; 및
    새끼 손가락 기능을 수행하는 새끼 손가락부를 포함하는, 로봇 손 시스템.
  10. 제9항에 있어서,
    상기 엄지 손가락부는,
    두 개의 프레임 및 두 개의 관절부를 포함하며;
    상기 검지 손가락부, 중지 손가락부, 약지 손가락부 및 새끼 손가락부는,
    각각 세 개의 프레임 및 세 개의 관절부를 포함하는, 로봇 손 시스템.
  11. 제10항에 있어서,
    상기 제2 센서부는 복수개로 구비되며,
    상기 각각의 제2 센서부는,
    상기 엄지 손가락부, 검지 손가락부, 중지 손가락부, 약지 손가락부 및 새끼 손가락부 각각의 내측에 배치되는, 로봇 손 시스템.
  12. 대상 물체를 파지하기 위한 로봇 손을 제공하는, 로봇 손 제공 단계;
    상기 로봇 손의 실시간 자세를 검출하는 제1 검출 단계;
    상기 로봇 손을 기준으로 나타나는 상기 대상 물체의 3차원 표면 정보를 검출하는 제2 검출 단계;
    상기 제1 검출 단계 및 제2 검출 단계에서 검출된 정보에 기초하여, 사용자의 의도에 부합하는 상기 로봇 손의 동작을 추론하고, 상기 추론된 동작에 따라 상기 로봇 손을 작동시키는 작동 단계를 포함하는 프로세싱 단계;
    사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 검출 단계 및 제2 검출 단계에서 검출된 정보에 기초한 학습 데이터를 입력 받고, 상기 학습 데이터의 패턴을 기계학습 하는 기계학습 단계; 및
    상기 기계학습 단계를 통해 미리 학습된 기계학습 모델을 이용하여, 상기 제1 검출 단계 및 제2 검출 단계에서 측정되는 측정 데이터로부터 사용자의 의도에 부합하는 로봇 손의 동작을 분석하는 분석 단계를 포함하는, 로봇 손 제어 방법.
  13. 제12항에 있어서,
    상기 기계학습 단계는,
    사용자의 의도에 부합하는 로봇 손의 동작이 알려진 제1 검출 단계 및 제2 검출 단계에서 검출된 정보에 따라 각각의 학습 데이터를 취득하는 학습 데이터 취득 단계;
    상기 학습 데이터 취득 단계로부터 각각의 데이터의 패턴을 추출하는 패턴 추출 단계; 및
    각각의 추출된 패턴에 대응되는 제1 검출 단계 및 제2 검출 단계에서 검출된 정보에 따른 사용자의 의도에 부합하는 로봇 손의 동작을 라벨링하여 기계학습 모델을 생성하는 기계학습 모델 생성 단계를 포함하는, 로봇 손 제어 방법.
  14. 제13항에 있어서,
    상기 분석 단계는,
    상기 측정 데이터 및 상기 패턴 추출 단계에서 추출된 패턴을 비교하여, 패턴 매칭 여부를 판단하는 패턴 매칭 단계; 및
    매칭된 것으로 판단된 패턴을 상기 기계학습 모델에서 탐색하여 대응되는 사용자의 의도에 부합하는 로봇 손의 동작을 결과값으로 출력하는 결과 출력 단계를 포함하는, 로봇 손 제어 방법.
  15. 제14항에 있어서,
    상기 프로세싱 단계는,
    출력된 결과값에 따라 상기 로봇 손을 피드백 제어하는 피드백 제어 단계를 더 포함하는, 로봇 손 제어 방법.
PCT/KR2021/017622 2021-10-20 2021-11-26 로봇 손 시스템 및 로봇 손 제어 방법 Ceased WO2023068440A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/622,160 US12544937B2 (en) 2021-10-20 2021-11-26 Robotic hand system and method for controlling robotic hand
EP21961528.3A EP4420843A4 (en) 2021-10-20 2021-11-26 ROBOT HAND SYSTEM AND ROBOT HAND CONTROL METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0140212 2021-10-20
KR1020210140212A KR102559105B1 (ko) 2021-10-20 2021-10-20 로봇 손 시스템 및 로봇 손 제어 방법

Publications (1)

Publication Number Publication Date
WO2023068440A1 true WO2023068440A1 (ko) 2023-04-27

Family

ID=86059224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017622 Ceased WO2023068440A1 (ko) 2021-10-20 2021-11-26 로봇 손 시스템 및 로봇 손 제어 방법

Country Status (4)

Country Link
US (1) US12544937B2 (ko)
EP (1) EP4420843A4 (ko)
KR (1) KR102559105B1 (ko)
WO (1) WO2023068440A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220131089A (ko) * 2021-03-19 2022-09-27 현대자동차주식회사 로봇용 관절 구조체 및 그 구조체를 포함하는 로봇
US12479105B2 (en) * 2024-12-19 2025-11-25 Digital Global Systems, Inc Systems and methods of sensor data fusion
US12314346B2 (en) 2024-12-19 2025-05-27 Digital Global Systems, Inc. Systems and methods of sensor data fusion
US12487564B2 (en) 2024-12-19 2025-12-02 Digital Global Systems, Inc. Systems and methods of sensor data fusion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090118153A (ko) * 2008-05-13 2009-11-18 삼성전자주식회사 로봇과 로봇 핸드, 로봇 핸드의 제어 방법
JP2019093461A (ja) * 2017-11-20 2019-06-20 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
KR20200063353A (ko) * 2018-11-23 2020-06-05 강기준 카메라와 인공지능을 활용한 다기능 전자 의수 및 그 제어방법
KR20200097572A (ko) * 2019-02-08 2020-08-19 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
US20210122045A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation In-hand object pose tracking

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9114030B2 (en) 2007-02-06 2015-08-25 Deka Products Limited Partnership System for control of a prosthetic device
EP2642953B1 (en) 2010-11-22 2016-03-09 Vanderbilt University Control system for a grasping device
EP2813194B8 (en) * 2013-06-12 2018-07-11 Otto Bock HealthCare GmbH Control of limb device
US10609359B2 (en) 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US10773382B2 (en) * 2017-09-15 2020-09-15 X Development Llc Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation
US10682774B2 (en) 2017-12-12 2020-06-16 X Development Llc Sensorized robotic gripping device
US10792809B2 (en) 2017-12-12 2020-10-06 X Development Llc Robot grip detection using non-contact sensors
GB2574596A (en) 2018-06-08 2019-12-18 Epic Inventing Inc Prosthetic device
US20210275807A1 (en) * 2020-03-06 2021-09-09 Northwell Health, Inc. System and method for determining user intention from limb or body motion or trajectory to control neuromuscular stimuation or prosthetic device operation
PL4302173T3 (pl) * 2021-03-03 2025-09-22 Guardian Glass, LLC Systemy i/albo sposoby tworzenia i wykrywania zmian w polach elektrycznych
US20240149458A1 (en) * 2021-03-31 2024-05-09 Honda Motor Co., Ltd. Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program
US12564962B2 (en) * 2021-03-31 2026-03-03 Honda Motor Co., Ltd. Robot remote operation control device, robot remote operation control system, robot remote operation control method, and non-transitory computer readable medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090118153A (ko) * 2008-05-13 2009-11-18 삼성전자주식회사 로봇과 로봇 핸드, 로봇 핸드의 제어 방법
JP2019093461A (ja) * 2017-11-20 2019-06-20 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
KR20200063353A (ko) * 2018-11-23 2020-06-05 강기준 카메라와 인공지능을 활용한 다기능 전자 의수 및 그 제어방법
KR20200097572A (ko) * 2019-02-08 2020-08-19 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
US20210122045A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation In-hand object pose tracking

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEO SI-HWAN; PARK HYUNG-SOON: "Shared autonomy for the prosthetic hand based on the point cloud information of the object", PROCEEDINGS OF THE 2021 SPRING CONFERENCE OF THE KOREAN SOCIETY OF MECHANICAL ENGINEERS BIOENGINEERING; APRIL 15 - 16, 2021, KOREAN SOCIETY OF MECHANICAL ENGINEERS, BIOENGINEERING DIVISION, KOREA, 16 April 2021 (2021-04-16) - 16 April 2021 (2021-04-16), Korea, pages 75 - 75, XP009546962 *
See also references of EP4420843A4 *

Also Published As

Publication number Publication date
US20230256618A1 (en) 2023-08-17
EP4420843A1 (en) 2024-08-28
KR102559105B1 (ko) 2023-07-26
EP4420843A4 (en) 2025-08-27
KR20230056321A (ko) 2023-04-27
KR102559105B9 (ko) 2024-04-08
US12544937B2 (en) 2026-02-10

Similar Documents

Publication Publication Date Title
WO2023068440A1 (ko) 로봇 손 시스템 및 로봇 손 제어 방법
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
WO2010126321A2 (ko) 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
WO2011016649A2 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
WO2022145519A1 (ko) 딥러닝을 이용한 심전도 시각화 방법 및 장치
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2016195299A1 (ko) 탄소섬유강화플라스틱 부품에 대한 광학 검사 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2020213755A1 (ko) 로봇 및 이를 이용한 지도 업데이트 방법
WO2023025658A3 (de) Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu
WO2023120777A1 (ko) 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치
WO2021086091A1 (ko) 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템
WO2019208933A1 (ko) 사용자 인증을 위한 장치 및 방법
WO2020111327A1 (ko) 비접촉식 물건속성 인식장치 및 방법
WO2021137465A1 (ko) 진공 그리퍼를 이용해 파지 대상물을 파지하여 이송하는 시스템 및 방법
WO2023163376A1 (ko) 가상협업 비대면 실시간 원격 실험 시스템
WO2023177213A1 (ko) 객체의 색상을 결정하는 방법, 그 장치 및 그 명령을 기록한 기록 매체
WO2023042991A1 (ko) 심폐소생술 중 예측 혈압을 제공하는 장치 및 그 방법
WO2012077909A2 (ko) 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치
WO2019151555A1 (ko) 물체 검출 방법 및 로봇 시스템
WO2018194227A1 (ko) 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법
Rathnayake et al. Development of a real-time Hand gesture recognition system for aid of hearing-impaired communication using flex sensors and machine learning algorithms
WO2018034386A1 (ko) 생체정보 연동형 스마트보드 시스템 및 그 방법
WO2023200130A1 (ko) Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법
WO2020101121A1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21961528

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021961528

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021961528

Country of ref document: EP

Effective date: 20240521

WWG Wipo information: grant in national office

Ref document number: 17622160

Country of ref document: US