WO2023145901A1 - 推定装置、推定方法、及び制御装置 - Google Patents

推定装置、推定方法、及び制御装置 Download PDF

Info

Publication number
WO2023145901A1
WO2023145901A1 PCT/JP2023/002712 JP2023002712W WO2023145901A1 WO 2023145901 A1 WO2023145901 A1 WO 2023145901A1 JP 2023002712 W JP2023002712 W JP 2023002712W WO 2023145901 A1 WO2023145901 A1 WO 2023145901A1
Authority
WO
WIPO (PCT)
Prior art keywords
holding
information
control unit
unit
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/002712
Other languages
English (en)
French (fr)
Inventor
篤志 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to US18/833,790 priority Critical patent/US20240383151A1/en
Priority to EP23747111.5A priority patent/EP4470731A4/en
Priority to CN202380018610.1A priority patent/CN118591442A/zh
Priority to JP2023577043A priority patent/JPWO2023145901A1/ja
Publication of WO2023145901A1 publication Critical patent/WO2023145901A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39484—Locate, reach and grasp, visual guided grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39536—Planning of hand motion, grasping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to an estimation device, an estimation method, and a control device.
  • Non-Patent Document 1 a neural network that uses an image as input to infer the gripping position.
  • An estimation device includes an acquisition unit and a control unit.
  • the acquisition unit acquires information about a holding object held by the holding unit.
  • the control unit estimates a holding position at which the holding unit holds the holding object, considering an acquisition point of the information on the holding object.
  • An estimation device includes an acquisition unit and a control unit.
  • the acquisition unit acquires information about a holding object held by the holding unit.
  • the control section estimates a holding position at which the holding section holds the holding target based on information about the holding target.
  • the control unit calculates a difference between a direction from an acquisition point of information on the holding object to the holding object and a direction in which the holding unit holds the holding object as a direction deviation.
  • the control unit estimates a holding position at which the holding unit holds the holding object based on information about the holding object when the direction deviation satisfies a predetermined condition.
  • the control unit estimates a holding position at which the holding unit holds the holding object based on the acquired point and information about the holding object when the direction deviation does not satisfy the predetermined condition.
  • An estimation method includes acquiring information about a holding target held by a holding unit.
  • the estimation method includes estimating a holding position at which the holding part holds the holding object, based on the information on the holding object, considering an acquisition point of the information on the holding object.
  • An estimation method includes acquiring information about a holding target held by a holding unit.
  • the estimation method includes calculating a difference between a direction from an acquisition point of information on the holding object to the holding object and a direction in which the holding unit holds the holding object as a direction deviation.
  • the estimating method includes estimating a holding position where the holding part holds the holding object based on information about the holding object when the direction deviation satisfies a predetermined condition.
  • the estimation method includes estimating a holding position at which the holding unit holds the holding object based on the acquisition point and information about the holding object when the direction deviation does not satisfy the predetermined condition. include.
  • a control device causes a holding unit to hold a holding object at a holding position estimated by the estimation device or at a holding position estimated by executing the estimation method.
  • FIG. 1 is a schematic diagram showing a configuration example of a robot control system according to an embodiment
  • FIG. FIG. 4 is a cross-sectional view showing an example of a holding position of an object held by a hand
  • 1 is a block diagram showing a configuration example of a robot control system according to an embodiment
  • FIG. FIG. 4 is a diagram showing an example of an inference model of a holding position
  • FIG. 10 is a diagram showing an example of estimation results of a holding position when the object to be held is viewed from directly above (when direction deviation is small);
  • 10 is a diagram showing an example of a holding position estimation result when an object to be held is photographed obliquely (when the direction deviation is large); 4 is a flow chart showing an example procedure of an estimation method according to an embodiment; 4 is a flow chart showing an example procedure of an estimation method including direction deviation determination;
  • a robot control system 1 includes a robot 2, an information acquisition unit 4, a control device 10, and an estimation device 20.
  • a control device 10 controls the robot 2 .
  • the estimating device 20 estimates a holding position 82 of the holding object 8 by the robot 2 and outputs it to the control device 10 .
  • the robot 2 holds the object 8 to be held on the work start table 6 . That is, the control device 10 controls the robot 2 to hold the holding object 8 on the work start table 6 .
  • the robot 2 may move the object 8 to be held from the work start table 6 to the work target table 7 .
  • the robot 2 operates inside the operating range 5 .
  • the robot 2 includes an arm 2A and a holding section 2B.
  • the arm 2A may be configured as, for example, a 6-axis or 7-axis vertical articulated robot.
  • the arm 2A may be configured as a 3-axis or 4-axis horizontal articulated robot or SCARA robot.
  • the arm 2A may be configured as a 2-axis or 3-axis Cartesian robot.
  • Arm 2A may be configured as a parallel link robot or the like.
  • the number of shafts forming the arm 2A is not limited to the illustrated one.
  • the robot 2 has an arm 2A connected by a plurality of joints and operates by driving the joints.
  • the holding part 2B may be, for example, a hand or a suction part. In this embodiment, it is assumed that the holding part 2B is the hand 2B.
  • the holding part 2B is not limited to a hand, and may be, for example, a suction part having a suction nozzle for sucking the object 8 to be held.
  • holding the holding object 8 with the hand 2B may be referred to as gripping.
  • the held object 8 may be referred to as a gripped object 8 .
  • "holding” used in the following description may be interpreted as “holding”.
  • “gripping position 82" used in the description below may be interpreted as "holding position 82".
  • the hand 2B may include, for example, a gripper configured to grip the gripping target 8.
  • the gripper may have at least one finger 2C.
  • the gripper fingers 2C may have one or more joints.
  • the fingers 2C of the gripper may have a suction portion that grasps the grasped object 8 by suction.
  • the hand 2B may be configured as one finger 2C having a suction portion.
  • the hand 2B may be configured as two or more fingers 2C that pinch and grip the gripping target 8 .
  • the hand 2B is not limited to these examples, and may be configured to perform various other operations.
  • the hand 2B includes a gripper with two fingers 2C.
  • the hand 2B grips the gripping object 8 with two fingers 2C.
  • a position at which the gripping object 8 is gripped is represented as a gripping position 82 .
  • the gripping position 82 is the midpoint (horizontal and vertical direction).
  • the control device 10 can control the position of the hand 2B by operating the arm 2A of the robot 2 .
  • the hand 2B may have an axis that serves as a reference for the direction in which the hand 2B acts on the grasped object 8. As shown in FIG. When the hand 2B has an axis, the control device 10 can control the direction of the axis of the hand 2B by operating the arm 2A.
  • the control device 10 controls the start and end of the action of the hand 2B acting on the gripped object 8 .
  • the control device 10 can move or process the grasped object 8 by controlling the position of the hand 2B or the direction of the axis of the hand 2B and controlling the operation of the hand 2B. In the configuration illustrated in FIG.
  • the control device 10 controls the robot 2 so that the hand 2B grips the gripping object 8 on the work start table 6 and moves the hand 2B to the work target table 7 .
  • the control device 10 controls the robot 2 so that the hand 2B releases the gripped object 8 on the work target table 7 . By doing so, the control device 10 can move the grasped object 8 from the work start table 6 to the work target table 7 by the robot 2 .
  • the control device 10 may be configured including at least one processor.
  • the processor may execute programs that implement various functions of the controller 10 .
  • a processor may be implemented as a single integrated circuit.
  • An integrated circuit is also called an IC (Integrated Circuit).
  • a processor may be implemented as a plurality of communicatively coupled integrated and discrete circuits. Processors may be implemented based on various other known technologies.
  • the control device 10 may include a storage unit.
  • the storage unit may include an electromagnetic storage medium such as a magnetic disk, or may include a memory such as a semiconductor memory or a magnetic memory.
  • the storage unit stores various information.
  • the storage unit stores programs and the like executed by the control device 10 .
  • the storage unit may be configured as a non-transitory readable medium.
  • the storage unit may function as a work memory for the control device 10 . At least part of the storage unit may be configured separately from the control device 10 .
  • the estimation device 20 includes a control section 22 , an acquisition section 24 and a display section 26 .
  • the acquisition unit 24 acquires information about the grasped object 8 .
  • the control unit 22 estimates the position at which the hand 2 ⁇ /b>B is to grip the gripping object 8 based on the information about the gripping object 8 , and outputs the estimated position to the control device 10 .
  • the display unit 26 may display the estimation result of the gripping position 82 of the gripping object 8 .
  • the acquisition unit 24 may receive an input for correcting the gripping position 82 from the user who has viewed the estimation result of the gripping position 82 .
  • the control unit 22 may correct the gripping position 82 based on the user's input and output the corrected gripping position 82 to the control device 10 .
  • the control unit 22 may estimate the gripping position 82 using an inference model.
  • the inference model can be configured as a trained model 30, as illustrated in FIG.
  • the trained model 30 can be expressed as a model connecting the first model 31 and the second model 32 .
  • the first model 31 is configured to output the result of extracting the feature amount of the input information.
  • the feature quantity represents features of the appearance such as edges or patterns of the gripping object 8, for example.
  • the first model 31 may be configured including a CNN (Convolution Neural Network) having multiple layers.
  • the first model 31 may include, for example, convolution and pooling.
  • the second model 32 is configured to make a predetermined judgment on the input information based on the output of the first model 31 . Specifically, the second model 32 may output an estimation result of the gripping position 82 of the gripping object 8 included in the input information based on the feature amount output by the first model 31 .
  • the second model 32 may include a fully connected layer that processes the result of feature extraction by the first model 31 .
  • the inference model may include a convolutional layer that receives input of information about the grasped object 8 and a fully connected layer that processes the output of the convolutional layer and outputs the inference result of the grasped position 82 .
  • Fully connected layers may include layers that consider acquisition point information.
  • the control unit 22 may include at least one processor to provide control and processing power to perform various functions.
  • the processor may execute programs that implement various functions of the controller 22 .
  • a processor may be implemented as a single integrated circuit.
  • An integrated circuit is also called an IC (Integrated Circuit).
  • a processor may be implemented as a plurality of communicatively coupled integrated and discrete circuits. Processors may be implemented based on various other known technologies.
  • the control unit 22 may include a storage unit.
  • the storage unit may include an electromagnetic storage medium such as a magnetic disk, or may include a memory such as a semiconductor memory or a magnetic memory.
  • the storage unit stores various information.
  • the storage unit stores programs and the like executed by the control unit 22 .
  • the storage unit may be configured as a non-transitory readable medium.
  • the storage section may function as a work memory for the control section 22 . At least part of the storage section may be configured separately from the control section 22 .
  • the acquisition unit 24 may be configured including a communication device configured to be capable of wired or wireless communication.
  • a communication device may be configured to be able to communicate with communication schemes based on various communication standards.
  • a communication device may be configured according to known communication technologies.
  • the acquisition unit 24 may include an input device that receives input of information, data, etc. from the user.
  • the input device may include, for example, a touch panel or touch sensor, or a pointing device such as a mouse.
  • the input device may be configured including physical keys.
  • the input device may include an audio input device such as a microphone.
  • the display unit 26 includes a display device that displays information or data to the user.
  • the display device is configured to output visual information such as images or characters or graphics, for example.
  • the display device may include, for example, an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display or an inorganic EL display, or a PDP (Plasma Display Panel).
  • the display device is not limited to these displays, and may be configured to include other various types of displays.
  • the display device may include a light emitting device such as an LED (Light Emission Diode) or an LD (Laser Diode).
  • the display device may be configured including other various devices.
  • the information acquisition unit 4 acquires information on the grasped object 8 .
  • the information acquisition unit 4 may be configured including a camera.
  • a camera as the information acquisition unit 4 captures an image of the grasped object 8 as information of the grasped object 8 .
  • the information acquisition unit 4 may be configured including a depth sensor.
  • a depth sensor as the information acquisition unit 4 acquires depth data of the grasped object 8 .
  • the depth data may be converted into point cloud information of the gripped object 8 .
  • a control device 10 controls motions of the robot 2 .
  • the estimation device 20 estimates the position at which the hand 2B of the robot 2 grips the gripping target 8 when the hand 2B of the robot 2 operates to grip the gripping target 8 .
  • the control device 10 determines a position for the hand 2B to grip the gripping target 8 based on the estimation result by the estimating device 20, and controls the arm of the robot 2 so that the hand 2B grips the gripping target 8 at the determined position. Controls hand 2A or hand 2B.
  • An operation example of the estimating device 20 will be described below.
  • the acquiring unit 24 of the estimating device 20 acquires information about the grasped object 8 grasped by the hand 2B from the information obtaining unit 4.
  • Information about the grasped object 8 is also referred to as object information.
  • the information about the grasped object 8 includes an image obtained by capturing the grasped object 8 from the information acquisition unit 4, distance data from the information acquisition unit 4 to the grasped object 8, or the like.
  • the acquisition unit 24 outputs information (target information) regarding the gripped object 8 acquired from the information acquisition unit 4 to the control unit 22 of the estimation device 20 .
  • the control unit 22 acquires information (object information) on the gripping object 8 by the acquisition unit 24 .
  • control unit 22 determines the position ( Estimate the gripping position 82).
  • the control unit 22 may input information (target information) about the grasped object 8 to an inference model such as the learned model 30 and estimate an inference result output from the inference model as the grasped position 82 .
  • the grip position 82 may be represented by the coordinates of each of the two fingers 2C.
  • the gripping position 82 may be represented by the coordinates of the middle point of the two fingers 2C and the rotation angle of the hand 2B. Even if the hand 2B has three or more fingers 2C, the gripping position 82 may be represented by the coordinates of each finger 2C, or the average coordinates of the coordinates of each finger 2C and the rotation angle of the hand 2B. may be represented by If the information about the grasped object 8 is two-dimensionally mapped information such as an image or distance data, the grasped position 82 may be expressed as coordinates within the plane on which the information is mapped. If the information about the gripping object 8 is three-dimensional information, the gripping position 82 may be represented as three-dimensional coordinates.
  • the position at which information (object information) on the grasped object 8 is acquired is also referred to as an acquisition point.
  • the information about acquired points is also referred to as acquired point information.
  • Acquisition point information may include information about the direction in which the acquisition point is located when viewed from the gripped object 8 .
  • the direction in which the acquisition point is located when viewed from the grasped object 8 is also referred to as the acquisition direction.
  • Acquisition point information may include information about the direction in which the hand 2B grips the gripping target 8 (the direction or posture of the hand 2B when gripping the gripping target 8).
  • the direction in which the hand 2B grips the gripping object 8 is also referred to as the gripping direction.
  • the gripping direction may be set in advance, for example, in the direction of weight or in the direction perpendicular to the work surface of the work table such as the work start table 6 or the work target table 7 .
  • Each of the acquisition direction and the gripping direction may be represented by two types of angles in a polar coordinate system, or may be represented as a unit vector in a three-dimensional space.
  • Acquisition point information may include information representing the relative relationship between the acquisition direction and the gripping direction.
  • the relative relationship between the acquisition direction and the grasping direction can be specifically expressed as the difference between the angles representing the acquiring direction and the grasping direction, respectively.
  • the control unit 22 may acquire acquisition point information from the information acquisition unit 4 .
  • Acquisition point information may be information specifying a default acquisition point.
  • Acquisition point information may be information expressing the direction (acquisition direction) in which information about the gripped object 8 is acquired in terms of roll, pitch, and yaw with the position of the gripped object 8 as the origin, or information represented by a quaternion.
  • a quaternion is a format that represents a posture rotated by a predetermined angle about a direction vector as a rotation axis.
  • the control unit 22 may acquire acquisition point information by generating acquisition point information based on target information. For example, when an image is acquired as target information, acquisition point information may be generated using a P3P algorithm, which is a type of Perspective-n-Point algorithm, using markers whose positions on three-dimensional coordinates are known. .
  • the acquisition point information is obtained by projecting the reference marker together with the grasped object 8, and the shape of the reference marker on the image and the reference marker when the reference marker and the camera, which is the information acquisition unit 4, face each other.
  • the acquisition point information is obtained by determining the reference posture of the grasped object 8, and the outline of the grasped object 8 appearing in the image as the target information, or the distance data from the information acquisition unit 4 to the grasped object 8, or the like. It may be generated by comparing with the information in the reference posture.
  • the difference between the acquisition direction and the gripping direction is also called direction deviation.
  • the control unit 22 may calculate the difference between the acquisition direction and the gripping direction as a value representing the direction deviation.
  • the control unit 22 may calculate the angle difference as a value representing the direction deviation.
  • the control unit 22 may calculate the angle formed by the unit vectors of the acquisition direction and the gripping direction as a value representing the direction deviation. An inner product or outer product of each unit vector may be calculated.
  • the control unit 22 may estimate the gripping position 82 at which the hand 2B grips the gripping target 8 based on the information (target information) on the gripping target 8 .
  • the control unit 22 estimates a gripping position 82 at which the hand 2B grips the gripping object 8 based on the acquired point and information (object information) about the gripping object 8. good.
  • the predetermined condition may include that the value representing the direction deviation (the difference between the acquisition direction and the gripping direction) is within a predetermined range. Specifically, the predetermined condition may include that the angular difference calculated as the misorientation is less than an angular threshold.
  • the angle threshold may be set at 10 degrees, for example.
  • the predetermined condition may include that the absolute value of the cross product of the unit vectors calculated as the direction deviation is less than the cross product threshold.
  • the predetermined condition may include that the inner product of the unit vectors calculated as the direction deviation is greater than the inner product threshold.
  • the control unit 22 can estimate the grip position 82 using the learned model 30 as an inference model.
  • the second model 32 may be configured to output an estimation result of the gripping position 82 considering the acquisition point information.
  • the second model 32 may be configured to receive input of acquisition point information.
  • the second model 32 may be configured to process the feature quantity output from the first model 31 in three steps.
  • the second model 32 may have a layer that performs preprocessing as a first stage of processing.
  • the second model 32 may have layers that perform a combination process as a second stage process.
  • the second model 32 may have a layer that performs output processing as a third stage of processing.
  • the second model 32 may be configured to receive input of acquired point information in the layer that executes the combining process as the process of the second stage. That is, as the second-stage process of the second model 32, a process of combining the feature amount of the grasped object 8 and the acquisition point information may be executed. In this case, the feature amount of the grasped object 8 output from the first model 31 is processed so as to combine acquisition point information in the second stage of combining processing.
  • the processing of the second model 32 is divided into three stages, but it may be divided into four or more stages, two stages, or a plurality of stages. It doesn't have to be.
  • the gripping position 82 may be represented by the coordinates of the middle point of the two fingers 2C in the image of the target information. Furthermore, the gripping position 82 may be represented by information specifying that the two fingers 2C of the hand 2B are aligned along the Y-axis direction.
  • the acquisition direction is tilted toward the positive direction of the Y-axis with respect to the Z-axis.
  • an image is acquired as target information.
  • the grasped object 8 appears in the image in a tilted form.
  • an estimated gripping position 50F represented by a two-dot chain line is estimated as the gripping position 82.
  • the hand 2B grips the gripping target 8 from the actual gripping direction, the hand 2B may be unable or difficult to grip the gripping target 8 at the estimated gripping position 50F.
  • the estimated grasped position 50T is estimated as the grasped position 82. be.
  • the estimated gripping position 50T appears to be displaced from the gripped object 8 appearing in the image.
  • the hand 2B grips the gripping target 8 from the actual gripping direction
  • the hand 2B tends to grip the gripping target 8 at the estimated gripping position 50T.
  • the control unit 22 determines that the gripping of the gripping target 8 by the hand 2B is more successful than in the case of estimating the gripping position 82 without considering the acquisition points. rate can be increased.
  • the calculation load of the inference model when outputting the estimation result of the gripping position 82 considering the acquisition point is larger than the calculation load of the inference model when outputting the estimation result of the gripping position 82 without considering the acquisition point.
  • the gripping position 82 is estimated with high accuracy without considering the acquired points as illustrated in FIG. 5, the acquired points may not be considered.
  • the acquired points may be taken into consideration when the estimation accuracy of the gripped position 82 is degraded if the acquired points are not taken into account.
  • the control unit 22 of the estimating device 20 may execute an estimating method including the procedures of the flowchart illustrated in FIG.
  • the estimation method may be implemented as an estimation program that is executed by a processor that configures the control unit 22 .
  • the estimation program may be stored on a non-transitory computer-readable medium.
  • the control unit 22 acquires target information from the information acquisition unit 4 (step S1).
  • the control unit 22 may acquire an image of the grasped object 8 as the object information.
  • the control unit 22 acquires acquisition point information (step S2).
  • the control unit 22 may acquire acquisition point information from the information acquisition unit 4 .
  • the control unit 22 may acquire acquisition point information by generating acquisition point information based on target information.
  • the control unit 22 estimates the gripping position 82 based on the target information (step S3).
  • the control unit 22 inputs the target information to the inference model, and estimates the gripping position 82 by acquiring the estimation result of the gripping position 82 output from the inference model.
  • the control unit 22 inputs the acquisition point information to the inference model, thereby causing the inference model to output the estimation result of the gripping position 82 considering the acquisition point information. you can
  • the control unit 22 may cause the inference model to output the estimation result of the gripping position 82 considering the acquisition point information by setting a parameter that instructs the inference model to make an estimation considering the acquisition point information. .
  • the control unit 22 causes the display unit 26 to display the estimation result of the gripping position 82 (step S4).
  • the control unit 22 determines whether correction information for the estimation result of the gripping position 82 has been acquired (step S5). Specifically, the control unit 22 may determine that the correction information is acquired when the correction information is input to the acquisition unit 24 by the user who has seen the estimation result of the gripping position 82 . If the control unit 22 does not acquire the correction information (step S5: NO), the process proceeds to step S7. When the correction information is acquired (step S5: YES), the control unit 22 corrects the gripping position 82 based on the correction information (step S6).
  • the control unit 22 controls the gripping operation of the robot 2 so that the hand 2B grips the gripping object 8 at the estimated gripping position 82 or the corrected gripping position 82 (step S7). After executing the procedure of step S7, the control unit 22 ends the execution of the flowchart of FIG.
  • the control unit 22 may execute an estimation method including the procedure of the flowchart illustrated in FIG.
  • the control unit 22 acquires target information from the information acquisition unit 4 (step S11).
  • the control unit 22 acquires acquisition point information (step S12).
  • the procedures of steps S11 and S12 may be performed as the same or similar procedures as the procedures of steps S1 and S2 of FIG.
  • the control unit 22 calculates the direction deviation (step S13). Specifically, the control unit 22 calculates the difference between the direction from the acquired point to the grasped object 8 and the direction in which the hand 2B grasps the grasped object 8 as the direction deviation. The control unit 22 determines whether the direction deviation satisfies a predetermined condition (step S14).
  • step S14 When the direction deviation satisfies a predetermined condition (step S14: YES), the control unit 22 estimates the gripping position 82 without considering the acquired points (step S15). Specifically, the control unit 22 inputs the target information to the inference model but does not input the acquisition point information, and acquires the estimation result of the gripping position 82 output from the inference model. After executing the procedure of step S15, the control unit 22 proceeds to the procedure of step S4 in FIG.
  • step S16 the control unit 22 estimates the gripping position 82 considering the acquired points. Specifically, the control unit 22 inputs acquisition point information together with target information to the inference model, and acquires an estimation result of the gripping position 82 output from the inference model. After executing the procedure of step S16, the control unit 22 proceeds to the procedure of step S4 in FIG.
  • the accuracy of estimating the gripping position 82 can be improved even when the gripping direction and the acquisition direction do not match. As a result, gripping stability can be enhanced.
  • the control device 10 or the estimation device 20 may be configured as a server device.
  • the server device may be configured including at least one computer.
  • the server device may be configured to allow multiple computers to execute parallel processing.
  • the server device does not need to be configured including a physical enclosure, and may be configured based on virtualization technology such as a virtual machine or a container orchestration system.
  • the server device may be configured using a cloud service. When the server device is configured using cloud services, it can be configured by combining managed services. That is, the functions of the control device 10 can be implemented as cloud services.
  • the server device may comprise at least one server group.
  • the server group functions as the control unit 22 .
  • the number of server groups may be one or two or more. When the number of server groups is one, functions realized by one server group include functions realized by each server group.
  • Each server group is communicably connected to each other by wire or wirelessly.
  • control device 10 or the estimating device 20 is described as one configuration in each of FIGS. 1 and 2, multiple configurations can be regarded as one system and operated as necessary. That is, the control device 10 or the estimation device 20 is configured as a platform with variable capacity. By using a plurality of configurations as the control device 10 or the estimating device 20, even if one configuration becomes inoperable in the event of an unforeseen event such as a natural disaster, the system continues to operate using the other configurations. . In this case, each of the plurality of components is connected by a line, whether wired or wireless, and configured to be able to communicate with each other. These multiple configurations may be built across cloud services and on-premises environments.
  • control device 10 or the estimating device 20 is connected to the robot 2 by, for example, a wired or wireless communication line.
  • the control device 10, the estimating device 20, or the robot 2 are equipped with communication devices that use standard protocols with each other, and are capable of two-way communication.
  • the control device 10 may control the robot 2 so that the hand 2B grips the gripping target 8 at the gripping position 82 estimated by the estimating device 20 .
  • the control device 10 may control the robot 2 so that the hand 2B grips the gripping target 8 at the gripping position 82 estimated by executing the estimation method.
  • the control device 10 and the estimation device 20 may be configured integrally.
  • control unit 22 inputs target information into the inference model to estimate the gripping position 82 .
  • the control unit 22 may further calculate the grip position 82 by processing the target information with a rule-based algorithm.
  • Rule-based algorithms may include, for example, template matching and may include processing with maps.
  • the control unit 22 may generate, for example, a map that specifies the form of the hand 2B (interval between the fingers 2C, thickness or width of the fingers 2C, etc.).
  • the control unit 22 may generate a rule map representing suitability of each part of the gripping object 8 as the gripping position 82 .
  • the rule map is, for example, a surrounding environment map representing the surrounding environment of the gripped object 8, an object map representing the characteristics (shape, center of gravity, material, etc.) of the gripped object 8, or the surfaces of the hand 2B and the gripped object 8. may include a contact map or the like representing rules based on relationships with the state of the .
  • the control unit 22 may compare the gripping position 82 calculated by the rule-based algorithm and the gripping position 82 estimated by the inference model. Based on the comparison result, the control unit 22 may check whether the estimation accuracy of the gripping position 82 estimation result exceeds a predetermined accuracy. Further, the control unit 22 may correct the estimation result of the gripping position 82 based on the comparison result, and determine the corrected estimation result as the gripping position 82 . In other words, the control unit 22 inspects or corrects the estimation result of the gripping position 82 based on the inference model based on the result obtained by processing the information (target information) about the gripping target 8 with a rule-based algorithm. good.
  • the accuracy of the gripping position 82 can be enhanced by using the results obtained by the rule-based algorithm. As a result, gripping stability can be enhanced.
  • the control unit 22 may cause the display unit 26 to display the estimation result of the gripping position 82 of the gripping object 8 .
  • the control unit 22 may cause the display unit 26 to display a superimposed image in which an image representing the estimation result of the gripping position 82 of the gripping object 8 is superimposed on an image representing information about the gripping object 8 .
  • the user can determine how to correct the gripping position 82 by viewing the superimposed image.
  • control unit 22 may convert an image of the grasped object 8 captured from the acquisition point into an image assuming that the grasped object 8 is captured from the grasping direction, and cause the display unit 26 to display the image.
  • the control unit 22 may convert the image representing the information about the grasped object 8 into an image obtained when the information about the grasped object 8 is acquired from the direction in which the hand 2B grasps the grasped object 8 .
  • the control unit 22 may transform the image by perspective projection transformation.
  • the control unit 22 may transform the image by coordinate transformation of point cloud information obtained by photographing the grasped object 8 using an RGB-D camera. RGB-D cameras are configured to acquire both color images (or grayscale images) and depth data. By converting and displaying the image, it becomes easier for the user to determine how the grip position 82 should be corrected.
  • the control unit 22 may receive an input for the user to correct the gripping position 82 based on the superimposed image by the acquisition unit 24 .
  • the control unit 22 may correct the gripping position 82 based on the user's input. By doing so, the accuracy of the grip position 82 can be enhanced. As a result, gripping stability can be enhanced.
  • the control unit 22 may re-learn the inference model based on the input for correcting the gripping position 82 .
  • the control unit 22 accumulates inputs for correcting the gripping position 82, and when the number of accumulated correction inputs reaches a predetermined number or more, the accumulated correction inputs may be collectively applied to the re-learning of the inference model.
  • the control unit 22 may correct the gripped position 82 by processing the estimation result of the gripped position 82 output from the inference model with a correction filter.
  • the control unit 22 may update the correction filter based on the input for correcting the gripping position 82 .
  • the control unit 22 may accumulate inputs for correcting the grip position 82, and apply the accumulated correction inputs collectively to update the correction filter when the number of accumulated correction inputs reaches a predetermined number or more.
  • a storage medium on which the program is recorded for example, an optical disk, a magneto-optical disk , CD-ROM, CD-R, CD-RW, magnetic tape, hard disk, memory card, etc.
  • the implementation form of the program is not limited to an application program such as an object code compiled by a compiler or a program code executed by an interpreter. good.
  • the program may or may not be configured so that all processing is performed only in the CPU on the control board.
  • the program may be configured to be partially or wholly executed by another processing unit mounted on an expansion board or expansion unit added to the board as required.
  • Embodiments according to the present disclosure are not limited to any specific configuration of the embodiments described above. Embodiments of the present disclosure extend to all novel features or combinations thereof described in the present disclosure or to all novel method or process steps or combinations thereof described. be able to.
  • robot control system (4: information acquisition unit, 5: robot operating range, 6: work start table, 7: work target table, 10: control device) 2 robot (2A: arm, 2B: hand, 2C: finger) 8 gripping object (82: gripping position) 20 estimation device (22: control unit, 24: acquisition unit, 26: display unit) 30 trained models (31: first model, 32: second model) 50F, 50T Estimated grip position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

推定装置は、保持部によって保持される保持対象物に関する情報を取得する取得部と、保持対象物に関する情報に基づいて、保持対象物に関する情報の取得点を考慮し、保持対象物を保持部に保持させる保持位置を推定する制御部とを備える。

Description

推定装置、推定方法、及び制御装置 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０２２－１１２０２号（２０２２年１月２７日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、推定装置、推定方法、及び制御装置に関する。
　従来、画像を入力として把持位置を推論するニューラルネットワークが知られている（例えば非特許文献１参照）。
Graspabilityを導入したDCNNによる物体把持位置検出　日本ロボット学会誌 Vol.36 No.8, pp.559-566, 2018
　本開示の一実施形態に係る推定装置は、取得部と、制御部とを備える。前記取得部は、保持部によって保持される保持対象物に関する情報を取得する。前記制御部は、前記保持対象物に関する情報に基づいて、前記保持対象物に関する情報の取得点を考慮し、前記保持対象物を前記保持部に保持させる保持位置を推定する。
　本開示の一実施形態に係る推定装置は、取得部と、制御部とを備える。前記取得部は、保持部によって保持される保持対象物に関する情報を取得する。前記制御部は、前記保持対象物に関する情報に基づいて、前記保持対象物を前記保持部に保持させる保持位置を推定する。前記制御部は、前記保持対象物に関する情報の取得点から前記保持対象物への方向と、前記保持部が前記保持対象物を保持する方向との差を方向ずれとして算出する。前記制御部は、前記方向ずれが所定条件を満たす場合に、前記保持対象物に関する情報に基づいて前記保持対象物を保持部に保持させる保持位置を推定する。前記制御部は、前記方向ずれが前記所定条件を満たさない場合に、前記取得点と前記保持対象物に関する情報とに基づいて前記保持対象物を前記保持部に保持させる保持位置を推定する。
　本開示の一実施形態に係る推定方法は、保持部によって保持される保持対象物に関する情報を取得することを含む。前記推定方法は、前記保持対象物に関する情報に基づいて、前記保持対象物に関する情報の取得点を考慮し、前記保持対象物を前記保持部に保持させる保持位置を推定することを含む。
　本開示の一実施形態に係る推定方法は、保持部によって保持される保持対象物に関する情報を取得することを含む。前記推定方法は、前記保持対象物に関する情報の取得点から前記保持対象物への方向と、前記保持部が前記保持対象物を保持する方向との差を方向ずれとして算出することを含む。前記推定方法は、前記方向ずれが所定条件を満たす場合に、前記保持対象物に関する情報に基づいて前記保持対象物を保持部に保持させる保持位置を推定することを含む。前記推定方法は、前記方向ずれが前記所定条件を満たさない場合に、前記取得点と前記保持対象物に関する情報とに基づいて前記保持対象物を前記保持部に保持させる保持位置を推定することを含む。
　本開示の一実施形態に係る制御装置は、前記推定装置によって推定した保持位置、又は、前記推定方法を実行することによって推定した保持位置で保持部に保持対象物を保持させる。
一実施形態に係るロボット制御システムの構成例を示す模式図である。 ハンドによる保持対象物の保持位置の一例を示す断面図である。 一実施形態に係るロボット制御システムの構成例を示すブロック図である。 保持位置の推論モデルの一例を示す図である。 保持対象物を真上から見た場合（方向ずれが小さい場合）における保持位置の推定結果の一例を示す図である。 保持対象物を斜めから撮影した場合（方向ずれが大きい場合）における保持位置の推定結果の一例を示す図である。 一実施形態に係る推定方法の手順例を示すフローチャートである。 方向ずれの判定を含む推定方法の手順例を示すフローチャートである。
（ロボット制御システム１の構成例）
　図１、図２及び図３に示されるように、本開示の一実施形態に係るロボット制御システム１は、ロボット２と、情報取得部４と、制御装置１０と、推定装置２０とを備える。制御装置１０は、ロボット２を制御する。推定装置２０は、ロボット２による保持対象物８の保持位置８２を推定し、制御装置１０に出力する。
　本実施形態において、ロボット２は、保持対象物８を作業開始台６で保持する。つまり、制御装置１０は、保持対象物８を作業開始台６で保持するようにロボット２を制御する。ロボット２は、保持対象物８を作業開始台６から作業目標台７へ移動させてよい。ロボット２は、動作範囲５の内側で動作する。
＜ロボット２＞
　ロボット２は、アーム２Ａと、保持部２Ｂとを備える。アーム２Ａは、例えば、６軸又は７軸の垂直多関節ロボットとして構成されてよい。アーム２Ａは、３軸又は４軸の水平多関節ロボット又はスカラロボットとして構成されてもよい。アーム２Ａは、２軸又は３軸の直交ロボットとして構成されてもよい。アーム２Ａは、パラレルリンクロボット等として構成されてもよい。アーム２Ａを構成する軸の数は、例示したものに限られない。言い換えれば、ロボット２は、複数の関節で接続されるアーム２Ａを有し、関節の駆動によって動作する。
　保持部２Ｂは、例えば、ハンド又は吸着部であってよい。本実施形態において、保持部２Ｂはハンド２Ｂであるとする。保持部２Ｂは、ハンドに限られず、例えば保持対象物８を吸着する吸着ノズルを有する吸着部であってもよい。なお、以下の説明において、ハンド２Ｂにおいて保持対象物８を保持することは把持と称されることがある。また、このとき保持対象物８は把持対象物８と称されることがある。一方で、保持部２Ｂとして吸着部を採用する場合に、下記の説明で使用される「把持」は「保持」と読み替えて解釈されてもよい。例えば、下記の説明で使用される「把持位置８２」は「保持位置８２」と解釈されてもよい。
　ハンド２Ｂは、例えば、把持対象物８を把持できるように構成されるグリッパーを含んでよい。グリッパーは、少なくとも１本の指２Ｃを有してよい。グリッパーの指２Ｃは、１つ以上の関節を有してよい。グリッパーの指２Ｃは、把持対象物８を吸着によって把持する吸着部を有してもよい。ハンド２Ｂは、吸着部を有する１本の指２Ｃとして構成されてもよい。ハンド２Ｂは、把持対象物８を挟み込んで把持する２つ以上の指２Ｃとして構成されてよい。ハンド２Ｂは、これらの例に限られず、他の種々の動作ができるように構成されてよい。
　図２に例示される構成において、ハンド２Ｂは、２本の指２Ｃを有するグリッパーを含むとする。この場合、ハンド２Ｂは、２本の指２Ｃで把持対象物８を把持する。把持対象物８が把持される位置は、把持位置８２として表される。把持位置８２は、２本の指２Ｃがそれぞれ把持対象物８に接触する点を結ぶ線（図２において水平方向の一点鎖線として表されている線）の中点（図２において水平方向及び垂直方向の一点鎖線の交点）に対応する。
＜制御装置１０＞
　制御装置１０は、ロボット２のアーム２Ａを動作させることによって、ハンド２Ｂの位置を制御できる。ハンド２Ｂは、把持対象物８に対して作用する方向の基準となる軸を有してもよい。ハンド２Ｂが軸を有する場合、制御装置１０は、アーム２Ａを動作させることによって、ハンド２Ｂの軸の方向を制御できる。制御装置１０は、ハンド２Ｂが把持対象物８に作用する動作の開始及び終了を制御する。制御装置１０は、ハンド２Ｂの位置、又は、ハンド２Ｂの軸の方向を制御しつつ、ハンド２Ｂの動作を制御することによって、把持対象物８を動かしたり加工したりすることができる。図１に例示される構成において、制御装置１０は、作業開始台６でハンド２Ｂに把持対象物８を把持させ、ハンド２Ｂを作業目標台７へ移動させるようにロボット２を制御する。制御装置１０は、作業目標台７でハンド２Ｂに把持対象物８を解放させるようにロボット２を制御する。このようにすることで、制御装置１０は、ロボット２によって把持対象物８を作業開始台６から作業目標台７へ移動させることができる。
　制御装置１０は、少なくとも１つのプロセッサを含んで構成されてよい。プロセッサは、制御装置１０の種々の機能を実現するプログラムを実行してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
　制御装置１０は、記憶部を備えてよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部は、各種情報を格納する。記憶部は、制御装置１０で実行されるプログラム等を格納する。記憶部は、非一時的な読み取り可能媒体として構成されてもよい。記憶部は、制御装置１０のワークメモリとして機能してよい。記憶部の少なくとも一部は、制御装置１０とは別体として構成されてもよい。
＜推定装置２０＞
　図３に示されるように、推定装置２０は、制御部２２と、取得部２４と、表示部２６とを備える。取得部２４は、把持対象物８に関する情報を取得する。制御部２２は、把持対象物８に関する情報に基づいて、ハンド２Ｂに把持対象物８を把持させる位置を推定し、制御装置１０に出力する。
　表示部２６は、把持対象物８の把持位置８２の推定結果を表示してよい。取得部２４は、把持位置８２の推定結果を見たユーザが把持位置８２を補正する入力を受け付けてよい。制御部２２は、ユーザの入力に基づいて把持位置８２を補正し、補正した把持位置８２を制御装置１０に出力してよい。
　制御部２２は、推論モデルによって把持位置８２を推定してよい。推論モデルは、図４に例示されるように、学習済みモデル３０として構成され得る。学習済みモデル３０は、第１モデル３１と第２モデル３２とを接続したモデルとして表され得る。
　第１モデル３１は、入力された情報の特徴量を抽出した結果を出力するように構成される。特徴量は、例えば把持対象物８のエッジ又はパターン等の外観の特徴を表す。第１モデル３１は、複数の層を有するＣＮＮ（Convolution Neural Network）を含んで構成されてよい。第１モデル３１は、例えば畳み込み及びプーリングを含んでよい。
　第２モデル３２は、第１モデル３１の出力に基づいて入力された情報についての所定の判断を行うように構成される。具体的に、第２モデル３２は、第１モデル３１が出力した特徴量に基づいて、入力された情報に含まれる把持対象物８の把持位置８２の推定結果を出力してよい。第２モデル３２は、第１モデル３１による特徴量の抽出結果を処理する全結合層を含んでよい。
　言い換えれば、推論モデルは、把持対象物８に関する情報の入力を受け付ける畳み込み層と、畳み込み層の出力を処理して把持位置８２の推論結果を出力する全結合層とを含んでよい。全結合層は、取得点情報を考慮する層を含んでよい。
　制御部２２は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含んで構成されてよい。プロセッサは、制御部２２の種々の機能を実現するプログラムを実行してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
　制御部２２は、記憶部を備えてよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部は、各種情報を格納する。記憶部は、制御部２２で実行されるプログラム等を格納する。記憶部は、非一時的な読み取り可能媒体として構成されてもよい。記憶部は、制御部２２のワークメモリとして機能してよい。記憶部の少なくとも一部は、制御部２２とは別体として構成されてもよい。
　取得部２４は、有線又は無線で通信可能に構成される通信デバイスを含んで構成されてよい。通信デバイスは、種々の通信規格に基づく通信方式で通信可能に構成されてよい。通信デバイスは、既知の通信技術により構成することができる。
　取得部２４は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてもよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。
　表示部２６は、ユーザに対して情報又はデータ等を表示する表示デバイスを含んで構成される。表示デバイスは、例えば、画像又は文字若しくは図形等の視覚情報を出力するように構成される。表示デバイスは、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ若しくは無機ＥＬディスプレイ、又は、ＰＤＰ（Plasma Display Panel）等を含んで構成されてよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示デバイスは、ＬＥＤ（Light Emission Diode）又はＬＤ（Laser Diode）等の発光デバイスを含んで構成されてよい。表示デバイスは、他の種々のデバイスを含んで構成されてよい。
＜情報取得部４＞
　情報取得部４は、把持対象物８の情報を取得する。情報取得部４は、カメラを含んで構成されてよい。情報取得部４としてのカメラは、把持対象物８の情報として把持対象物８の画像を撮影する。情報取得部４は、デプスセンサを含んで構成されてよい。情報取得部４としてのデプスセンサは、把持対象物８のデプスデータを取得する。デプスデータは、把持対象物８の点群情報に変換されてよい。
（ロボット制御システム１の動作例）
　ロボット制御システム１において、制御装置１０は、ロボット２の動作を制御する。推定装置２０は、ロボット２のハンド２Ｂが把持対象物８を把持するように動作する場合に、ハンド２Ｂに把持対象物８を把持させる位置を推定する。制御装置１０は、推定装置２０による推定結果に基づいて、ハンド２Ｂに把持対象物８を把持させる位置を決定し、決定した位置でハンド２Ｂが把持対象物８を把持するようにロボット２のアーム２Ａ又はハンド２Ｂを制御する。以下、推定装置２０の動作例が説明される。
　推定装置２０の取得部２４は、情報取得部４から、ハンド２Ｂによって把持される把持対象物８に関する情報を取得する。把持対象物８に関する情報は、対象情報とも称される。把持対象物８に関する情報は、情報取得部４から把持対象物８を撮影した画像、又は、情報取得部４から把持対象物８までの距離データ等を含む。取得部２４は、情報取得部４から取得した把持対象物８に関する情報（対象情報）を推定装置２０の制御部２２に出力する。言い換えれば、制御部２２は、取得部２４によって把持対象物８に関する情報（対象情報）を取得する。制御部２２は、把持対象物８に関する情報（対象情報）に基づいて、把持対象物８に関する情報（対象情報）を取得した位置を考慮して、把持対象物８をハンド２Ｂに把持させる位置（把持位置８２）を推定する。制御部２２は、把持対象物８に関する情報（対象情報）を例えば学習済みモデル３０等の推論モデルに入力し、推論モデルから出力される推論結果を把持位置８２として推定してよい。
　ハンド２Ｂが２本の指２Ｃを有する場合、把持位置８２は、２本の指２Ｃそれぞれの座標によって表されてよい。把持位置８２は、２本の指２Ｃの中点の座標とハンド２Ｂの回転角度とによって表されてもよい。ハンド２Ｂが３本以上の指２Ｃを有する場合であっても、把持位置８２は、各指２Ｃの座標によって表されてよいし、各指２Ｃの座標の平均の座標とハンド２Ｂの回転角度とによって表されてもよい。把持対象物８に関する情報が画像又は距離データ等の２次元にマッピングされる情報である場合、把持位置８２は、情報がマッピングされる平面内の座標として表されてよい。把持対象物８に関する情報が３次元で表される情報である場合、把持位置８２は、３次元座標として表されてもよい。
　把持対象物８に関する情報（対象情報）を取得した位置は、取得点とも称される。取得点に関する情報は、取得点情報とも称される。取得点情報は、把持対象物８から見て取得点が位置する方向に関する情報を含んでよい。把持対象物８から見て取得点が位置する方向は、取得方向とも称される。取得点情報は、ハンド２Ｂが把持対象物８を把持する方向（把持対象物８を把持するときのハンド２Ｂの方向又は姿勢）に関する情報を含んでよい。ハンド２Ｂが把持対象物８を把持する方向は、把持方向とも称される。なお、把持方向は、例えば、重量方向あるいは作業開始台６又は作業目標台７等の作業台の作業面に対して垂直方向等にあらかじめ設定されていればよい。取得方向及び把持方向はそれぞれ、極座標系における２種類の角度によって表されてよいし、３次元空間の単位ベクトルとして表されてもよい。取得点情報は、取得方向と把持方向との相対的な関係を表す情報を含んでよい。取得方向と把持方向との相対的な関係は、具体的に、取得方向及び把持方向をそれぞれ表す角度の差として表され得る。
　制御部２２は、情報取得部４から取得点情報を取得してよい。取得点情報は、既定の取得点を特定する情報であってよい。取得点情報は、把持対象物８に関する情報を取得した方向（取得方向）を、把持対象物８の位置を原点として、ロール、ピッチ及びヨーで表す情報、又は、クオータニオンで表す情報であってよい。クオータニオンは、方向ベクトルを回転軸として所定角度だけ回転した姿勢を表す形式である。
　制御部２２は、対象情報に基づいて取得点情報を生成することによって、取得点情報を取得してもよい。取得点情報は、例えば対象情報として画像を取得する場合、３次元座標上の位置が既知のマーカを使用してPerspective-n-Pointアルゴリズムの一種であるP3Pアルゴリズムを使用して生成されてもよい。また、取得点情報は、把持対象物８と共に基準マーカを映すようにして、その基準マーカの画像上での形状と、基準マーカと情報取得部４であるカメラとが正対した場合の基準マーカの形状とを比較することによって、生成されてもよい。また、取得点情報は、例えば、把持対象物８の基準姿勢を定めておき、対象情報としての画像に写る把持対象物８の外形又は情報取得部４から把持対象物８までの距離データ等を基準姿勢時の情報と比較することによって、生成されてもよい。
　取得方向と把持方向との差は、方向ずれとも称される。制御部２２は、方向ずれを表す値として取得方向と把持方向との差を算出してもよい。取得方向及び把持方向が角度によって表される場合、制御部２２は、方向ずれを表す値として角度の差を算出してよい。取得方向及び把持方向が単位ベクトルとして表される場合、制御部２２は、方向ずれを表す値として、取得方向及び把持方向それぞれの単位ベクトルがなす角度を算出してよいし、取得方向及び把持方向それぞれの単位ベクトルの内積又は外積を算出してもよい。
　制御部２２は、方向ずれが所定条件を満たす場合に、把持対象物８に関する情報（対象情報）に基づいて把持対象物８をハンド２Ｂに把持させる把持位置８２を推定してよい。制御部２２は、方向ずれが所定条件を満たさない場合に、取得点と把持対象物８に関する情報（対象情報）とに基づいて把持対象物８をハンド２Ｂに把持させる把持位置８２を推定してよい。
　所定条件は、方向ずれを表す値（取得方向と把持方向との差）が所定範囲内であることを含んでよい。具体的に、所定条件は、方向ずれとして算出された角度の差が角度閾値未満であることを含んでよい。角度閾値は、例えば１０度に設定されてよい。所定条件は、方向ずれとして算出された単位ベクトルの外積の絶対値が外積閾値未満であることを含んでよい。所定条件は、方向ずれとして算出された単位ベクトルの内積が内積閾値より大きいことを含んでよい。
＜推論モデルで取得点情報を考慮する構成例＞
　上述したように、制御部２２は、推論モデルとして学習済みモデル３０を用いて把持位置８２を推定できる。第２モデル３２は、取得点情報を考慮して把持位置８２の推定結果を出力するように構成されてよい。具体的に、第２モデル３２は、取得点情報の入力を受け付けるように構成されてよい。第２モデル３２は、第１モデル３１から出力された特徴量を３段階に分けて処理するように構成されてよい。例えば、第２モデル３２は、第１段階の処理として前処理を実行する層を有してよい。第２モデル３２は、第２段階の処理として結合処理を実行する層を有してよい。第２モデル３２は、第３段階の処理として出力処理を実行する層を有してよい。
　第２モデル３２は、第２段階の処理として結合処理を実行する層で取得点情報の入力を受け付けるように構成されてよい。つまり、第２モデル３２の第２段階の処理として、把持対象物８の特徴量と取得点情報とを結合する処理が実行されてよい。この場合、第１モデル３１から出力された把持対象物８の特徴量は、第２段階の結合処理で取得点情報を結合できるように処理される。
　本構成例において、第２モデル３２の処理が３つの段階に分けられたが、４つ以上の段階に分けられてもよいし、２つの段階に分けられてもよいし、複数の段階に分けられなくてもよい。
＜方向ずれが小さい場合と大きい場合との比較＞
　例えば図５に示されるように、取得方向と把持方向とがＺ軸に沿う方向で一致するように（方向ずれが小さくなるように）、対象情報としての画像が取得されるとする。把持対象物８を２本の指２Ｃで把持する場合、把持位置８２は、対象情報の画像において２本の指２Ｃの中点の座標によって表されてよい。さらに、把持位置８２は、ハンド２Ｂの２本の指２ＣがＹ軸方向に沿って並ぶことを特定する情報によって表されてよい。
　一方で、例えば図６に示されるように、把持方向がＺ軸の沿う方向である場合に、取得方向がＺ軸に対してＹ軸の正の方向の側に傾いた方向になるように、対象情報としての画像が取得されるとする。把持対象物８は、傾いた形態で画像に写っている。画像に写っている把持対象物８の形態に基づいて把持する指２Ｃの位置が推定される場合、二点鎖線で表される推定把持位置５０Ｆが把持位置８２として推定されるとする。しかし、実際の把持方向からハンド２Ｂが把持対象物８を把持する場合、ハンド２Ｂは、推定把持位置５０Ｆで把持対象物８を把持できなかったり把持しにくかったりする。
　そこで、把持対象物８が傾いた形態で画像に写っていることを考慮して（取得点を考慮して）指２Ｃの位置が推定される場合、推定把持位置５０Ｔが把持位置８２として推定される。推定把持位置５０Ｔは、画像に写っている把持対象物８に対してずれているように見える。しかし、実際の把持方向からハンド２Ｂが把持対象物８を把持する場合、ハンド２Ｂは推定把持位置５０Ｔで把持対象物８を把持しやすい。つまり、制御部２２は、取得点を考慮して把持位置８２を推定することによって、取得点を考慮せずに把持位置８２を推定する場合よりも、ハンド２Ｂによる把持対象物８の把持の成功率を高くできる。
　取得点を考慮して把持位置８２の推定結果を出力する場合における推論モデルの計算負荷は、取得点を考慮せずに把持位置８２の推定結果を出力する場合における推論モデルの計算負荷よりも大きくなる。図５に例示されるように取得点を考慮せずに高精度で把持位置８２が推定される場合、取得点が考慮されなくてもよい。逆に言えば、図６に例示されるように取得点を考慮しなければ把持位置８２の推定精度が低下する場合に、取得点が考慮されてよい。必要に応じて取得点を考慮することによって、推論モデルの計算負荷が低減され得る。
＜推定方法の手順例＞
　推定装置２０の制御部２２は、図７に例示されるフローチャートの手順を含む推定方法を実行してもよい。推定方法は、制御部２２を構成するプロセッサに実行させる推定プログラムとして実現されてもよい。推定プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。
　制御部２２は、情報取得部４から対象情報を取得する（ステップＳ１）。制御部２２は、対象情報として把持対象物８の画像を取得してよい。
　制御部２２は、取得点情報を取得する（ステップＳ２）。制御部２２は、取得点情報を情報取得部４から取得してよい。制御部２２は、対象情報に基づいて取得点情報を生成することによって取得点情報を取得してもよい。
　制御部２２は、対象情報に基づいて把持位置８２を推定する（ステップＳ３）。制御部２２は、対象情報を推論モデルに入力し、推論モデルから出力される把持位置８２の推定結果を取得することによって把持位置８２を推定する。制御部２２は、取得点情報を考慮して把持位置８２を推定する場合、取得点情報も推論モデルに入力することによって、取得点情報を考慮した把持位置８２の推定結果を推論モデルに出力させてよい。制御部２２は、推論モデルに対して取得点情報を考慮して推定することを指示するパラメータを設定することによって、取得点情報を考慮した把持位置８２の推定結果を推論モデルに出力させてよい。
　制御部２２は、把持位置８２の推定結果を表示部２６に表示させる（ステップＳ４）。制御部２２は、把持位置８２の推定結果に対する補正情報を取得したか判定する（ステップＳ５）。具体的に、制御部２２は、把持位置８２の推定結果を見たユーザから取得部２４に補正情報が入力された場合、補正情報を取得したと判定してよい。制御部２２は、補正情報を取得しなかった場合（ステップＳ５：ＮＯ）、ステップＳ７の手順に進む。制御部２２は、補正情報を取得した場合（ステップＳ５：ＹＥＳ）、補正情報に基づいて把持位置８２を補正する（ステップＳ６）。
　制御部２２は、推定された把持位置８２又は補正された把持位置８２でハンド２Ｂに把持対象物８を把持させるように、ロボット２の把持動作を制御する（ステップＳ７）。制御部２２は、ステップＳ７の手順の実行後、図７のフローチャートの実行を終了する。
　制御部２２は、図８に例示されるフローチャートの手順を含む推定方法を実行してもよい。制御部２２は、情報取得部４から対象情報を取得する（ステップＳ１１）。制御部２２は、取得点情報を取得する（ステップＳ１２）。ステップＳ１１及びＳ１２の手順は、図７のステップＳ１及びＳ２の手順と同一又は類似の手順として実行されてよい。
　制御部２２は、方向ずれを算出する（ステップＳ１３）。具体的に、制御部２２は、取得点から把持対象物８への方向と、ハンド２Ｂが把持対象物８を把持する方向との差を方向ずれとして算出する。制御部２２は、方向ずれが所定条件を満たすか判定する（ステップＳ１４）。
　制御部２２は、方向ずれが所定条件を満たす場合（ステップＳ１４：ＹＥＳ）、取得点を考慮せずに把持位置８２を推定する（ステップＳ１５）。具体的に、制御部２２は、推論モデルに対して対象情報を入力する一方で取得点情報を入力せずに、推論モデルから出力される把持位置８２の推定結果を取得する。制御部２２は、ステップＳ１５の手順の実行後、図７のステップＳ４の手順に進む。
　制御部２２は、方向ずれが所定条件を満たさない場合（ステップＳ１４：ＮＯ）、取得点を考慮して把持位置８２を推定する（ステップＳ１６）。具体的に、制御部２２は、推論モデルに対して対象情報とともに取得点情報を入力し、推論モデルから出力される把持位置８２の推定結果を取得する。制御部２２は、ステップＳ１６の手順の実行後、図７のステップＳ４の手順に進む。
＜小括＞
　以上述べてきたように、本実施形態に係る推定装置２０及び推定方法によれば、把持方向と取得方向とが一致しない場合でも、把持位置８２の推定精度が高められ得る。その結果、把持安定性が高められ得る。
（他の実施形態）
　以下、他の実施形態が説明される。
＜ハードウェア構成について＞
　制御装置１０又は推定装置２０は、サーバ装置として構成されてもよい。サーバ装置は、少なくとも１台のコンピュータを含んで構成されてよい。サーバ装置は、複数のコンピュータに並列処理を実行させるように構成されてよい。サーバ装置は、物理的な筐体を含んで構成される必要はなく、ヴァーチャルマシン又はコンテナオーケストレーションシステムなどの仮想化技術に基づいて構成されてもよい。サーバ装置は、クラウドサービスを用いて構成されてもよい。サーバ装置がクラウドサービスを用いて構成される場合、マネージドサービスを組み合わせることで構成され得る。つまり、制御装置１０の機能は、クラウドサービスとして実現され得る。
　サーバ装置は、少なくとも１つのサーバ群を備えてよい。サーバ群は、制御部２２として機能する。サーバ群の数は、１つであってもよいし２つ以上であってもよい。サーバ群の数が１つである場合、１つのサーバ群で実現される機能が各サーバ群で実現される機能を包含する。各サーバ群は、互いに有線又は無線で通信可能に接続される。
　制御装置１０又は推定装置２０は、図１及び図２においてそれぞれ１つの構成として記載されているが、必要に応じて複数の構成を１つのシステムとみなして運用され得る。つまり、制御装置１０又は推定装置２０は、容量可変なプラットフォームとして構成される。制御装置１０又は推定装置２０として複数の構成が用いられることによって、１つの構成が天災等の不測の事態の発生時に運用できなくなった場合も、その他の構成を用いてシステムの運用が継続される。この場合、複数の構成それぞれは、有線又は無線を問わない回線によって接続され、相互に通信可能に構成されている。この複数の構成は、クラウドサービスとオンプレミス環境とに跨って構築されてもよい。
　また、制御装置１０又は推定装置２０は、例えば、有線又は無線を問わない通信回線によってロボット２と接続される。制御装置１０、推定装置２０、又はロボット２は、相互に標準的なプロトコルを用いた通信デバイスを具備しており、双方向のコミュニケーションをとることができる。
　制御装置１０は、推定装置２０によって推定した把持位置８２でハンド２Ｂに把持対象物８を把持させるようにロボット２を制御してよい。制御装置１０は、推定方法を実行することによって推定した把持位置８２でハンド２Ｂに把持対象物８を把持させるようにロボット２を制御してよい。制御装置１０と推定装置２０とは、一体に構成されてもよい。
＜推定結果の検査又は補正＞
　上述してきたように、制御部２２は、対象情報を推論モデルに入力して把持位置８２を推定する。制御部２２は、さらに、対象情報をルールベースのアルゴリズムで処理することによって把持位置８２を算出してもよい。ルールベースのアルゴリズムは、例えばテンプレートマッチングを含んでよいし、マップを用いた処理を含んでよい。
　制御部２２は、マップを用いて把持位置８２を算出する場合、例えば、ハンド２Ｂの形態（指２Ｃの間隔、又は、指２Ｃの太さ若しくは幅等）を特定するマップを生成してよい。また、制御部２２は、把持対象物８の各部分の把持位置８２としての適性を表すルールマップを生成してよい。ルールマップは、例えば、把持対象物８の周辺の環境を表す周辺環境マップ、把持対象物８の特性（形状、重心若しくは材質等）を表す物体マップ、又は、ハンド２Ｂと把持対象物８の表面の状態との関係に基づくルールを表す接触マップ等を含んでよい。
　制御部２２は、ルールベースのアルゴリズムで算出した把持位置８２と、推論モデルで推定した把持位置８２とを比較してよい。制御部２２は、比較結果に基づいて、把持位置８２の推定結果の推定精度が所定の精度を上回っているか検査してよい。また、制御部２２は、比較結果に基づいて、把持位置８２の推定結果を補正し、補正した推定結果を把持位置８２として決定してよい。言い換えれば、制御部２２は、把持対象物８に関する情報（対象情報）をルールベースのアルゴリズムで処理して得られた結果に基づいて、推論モデルによる把持位置８２の推定結果を検査又は補正してよい。
　ルールベースのアルゴリズムで得られた結果を利用することによって、把持位置８２の精度が高められ得る。その結果、把持安定性が高められ得る。
＜把持位置８２の推定結果を重畳した表示＞
　上述したように、制御部２２は、把持対象物８の把持位置８２の推定結果を表示部２６に表示させてよい。制御部２２は、把持対象物８の把持位置８２の推定結果を表す画像を把持対象物８に関する情報を表す画像に重畳した重畳画像を、表示部２６に表示させてよい。ユーザは、重畳画像を視認することによって、把持位置８２をどのように補正すべきか判断できる。
　また、制御部２２は、把持対象物８を取得点から撮像した画像を、把持対象物８を把持方向から撮像したと仮定した場合の画像に変換して表示部２６に表示させてよい。つまり、制御部２２は、把持対象物８に関する情報を表す画像を、ハンド２Ｂが把持対象物８を把持する方向から把持対象物８に関する情報を取得した場合の画像に変換してよい。制御部２２は、透視投影変換によって画像を変換してもよい。また、制御部２２は、ＲＧＢ－Ｄカメラを用いて把持対象物８を撮影して得られた点群情報の座標変換によって画像を変換してもよい。ＲＧＢ－Ｄカメラは、カラー画像（又はグレースケール画像）とデプスデータとをあわせて取得するように構成されている。画像を変換して表示することで、ユーザは、把持位置８２をどのように補正すべきか判断しやすくなる。
　制御部２２は、取得部２４によって、重畳画像に基づいてユーザが把持位置８２を補正する入力を受け付けてよい。制御部２２は、ユーザの入力に基づいて把持位置８２を補正してよい。このようにすることで、把持位置８２の精度が高められ得る。その結果、把持安定性が高められ得る。
　制御部２２は、把持位置８２を補正する入力に基づいて、推論モデルの再学習を実行してもよい。制御部２２は、把持位置８２を補正する入力を蓄積し、蓄積した補正入力の数が所定数以上になったときに、蓄積した補正入力をまとめて推論モデルの再学習に適用してよい。
　制御部２２は、推論モデルから出力される把持位置８２の推定結果を補正フィルタで処理することによって、把持位置８２を補正してよい。制御部２２は、把持位置８２を補正する入力に基づいて、補正フィルタを更新してよい。制御部２２は、把持位置８２を補正する入力を蓄積し、蓄積した補正入力の数が所定数以上になったときに、蓄積した補正入力をまとめて補正フィルタの更新に適用してよい。
　以上、制御装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
　また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であっても良い。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
　本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
　さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
　１　ロボット制御システム（４：情報取得部、５：ロボットの動作範囲、６：作業開始台、７：作業目標台、１０：制御装置）
　２　ロボット（２Ａ：アーム、２Ｂ：ハンド、２Ｃ：指）
　８　把持対象物（８２：把持位置）
　２０　推定装置（２２：制御部、２４：取得部、２６：表示部）
　３０　学習済みモデル（３１：第１モデル、３２：第２モデル）
　５０Ｆ、５０Ｔ　推定把持位置

Claims (15)

  1. 　保持部によって保持される保持対象物に関する情報を取得する取得部と、
    　前記保持対象物に関する情報に基づいて、前記保持対象物に関する情報の取得点を考慮し、前記保持対象物を前記保持部に保持させる保持位置を推定する制御部と
    を備える推定装置。
  2. 　保持部によって保持される保持対象物に関する情報を取得する取得部と、
    　前記保持対象物に関する情報に基づいて、前記保持対象物を前記保持部に保持させる保持位置を推定する制御部と
    を備え、
    　前記制御部は、
    　前記保持対象物に関する情報の取得点から前記保持対象物への方向と、前記保持部が前記保持対象物を保持する方向との差を方向ずれとして算出し、
    　前記方向ずれが所定条件を満たす場合に、前記保持対象物に関する情報に基づいて前記保持対象物を保持部に保持させる保持位置を推定し、
    　前記方向ずれが前記所定条件を満たさない場合に、前記取得点と前記保持対象物に関する情報とに基づいて前記保持対象物を前記保持部に保持させる保持位置を推定する、
    推定装置。
  3. 　前記制御部は、
    　前記保持対象物に関する情報を推論モデルに入力し、前記推論モデルから出力される推論結果を前記保持位置として推定する、請求項１又は２に記載の推定装置。
  4. 　前記制御部は、
    　前記保持対象物に関する情報をルールベースのアルゴリズムで処理して得られた結果に基づいて、前記推論モデルによる前記保持位置の推定結果を検査又は補正する、請求項３に記載の推定装置。
  5. 　前記推論モデルは、前記保持対象物に関する情報の入力を受け付ける畳み込み層と、前記畳み込み層の出力を処理して前記保持位置の推定結果を出力する全結合層とを含み、
    　前記全結合層は、前記取得点を考慮する層を含む、請求項３又は４に記載の推定装置。
  6. 　前記制御部は、
    　前記保持位置の推定結果を表す画像を前記保持対象物に関する情報を表す画像に重畳した重畳画像を表示する、請求項１から５までのいずれか一項に記載の推定装置。
  7. 　前記制御部は、
    　前記保持対象物に関する情報を表す画像を、前記保持部が前記保持対象物を保持する方向から前記保持対象物に関する情報を取得した場合の画像に変換する、請求項６に記載の推定装置。
  8. 　前記制御部は、
    　前記重畳画像に基づいてユーザが前記保持位置を補正する入力を受け付ける、請求項６又は７に記載の推定装置。
  9. 　前記制御部は、
    　前記取得点を特定する取得点情報を取得する、請求項１から８までのいずれか一項に記載の推定装置。
  10. 　前記取得点情報は、既定の取得点を特定する情報である、請求項９に記載の推定装置。
  11. 　前記取得点情報は、前記保持対象物に関する情報を取得した方向を、前記保持対象物の位置を原点として、ロール、ピッチ及びヨーで表す情報、又は、クオータニオンで表す情報である、請求項９に記載の推定装置。
  12. 　前記制御部は、
    　前記保持対象物に関する情報に基づいて前記取得点を特定する取得点情報を生成する、請求項１から８までのいずれか一項に記載の推定装置。
  13. 　保持部によって保持される保持対象物に関する情報を取得することと、
    　前記保持対象物に関する情報に基づいて、前記保持対象物に関する情報の取得点を考慮し、前記保持対象物を前記保持部に保持させる保持位置を推定することと
    を含む推定方法。
  14. 　保持部によって保持される保持対象物に関する情報を取得することと、
    　前記保持対象物に関する情報の取得点から前記保持対象物への方向と、前記保持部が前記保持対象物を保持する方向との差を方向ずれとして算出することと、
    　前記方向ずれが所定条件を満たす場合に、前記保持対象物に関する情報に基づいて前記保持対象物を保持部に保持させる保持位置を推定することと、
    　前記方向ずれが前記所定条件を満たさない場合に、前記取得点と前記保持対象物に関する情報とに基づいて前記保持対象物を前記保持部に保持させる保持位置を推定することと
    を含む推定方法。
  15. 　請求項１から１２までのいずれか一項に記載の推定装置によって推定した保持位置、又は、請求項１３又は１４に記載の推定方法を実行することによって推定した保持位置で保持部に保持対象物を保持させる、制御装置。
PCT/JP2023/002712 2022-01-27 2023-01-27 推定装置、推定方法、及び制御装置 Ceased WO2023145901A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/833,790 US20240383151A1 (en) 2022-01-27 2023-01-27 Estimation device, estimation method, and control device
EP23747111.5A EP4470731A4 (en) 2022-01-27 2023-01-27 ESTIMATING APPARATUS, ESTIMATING METHOD AND CONTROL DEVICE
CN202380018610.1A CN118591442A (zh) 2022-01-27 2023-01-27 推定装置、推定方法以及控制装置
JP2023577043A JPWO2023145901A1 (ja) 2022-01-27 2023-01-27

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022011202 2022-01-27
JP2022-011202 2022-01-27

Publications (1)

Publication Number Publication Date
WO2023145901A1 true WO2023145901A1 (ja) 2023-08-03

Family

ID=87471749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002712 Ceased WO2023145901A1 (ja) 2022-01-27 2023-01-27 推定装置、推定方法、及び制御装置

Country Status (5)

Country Link
US (1) US20240383151A1 (ja)
EP (1) EP4470731A4 (ja)
JP (1) JPWO2023145901A1 (ja)
CN (1) CN118591442A (ja)
WO (1) WO2023145901A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024065744A (ja) * 2022-10-31 2024-05-15 株式会社東芝 ハンド、搬送ロボット、制御装置、制御方法、プログラム、及び記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5616478B1 (ja) * 2013-04-18 2014-10-29 ファナック株式会社 ワークを搬送するロボットを備えるロボットシステム
JP2015073798A (ja) * 2013-10-10 2015-04-20 株式会社東芝 医用画像診断装置、画像処理装置およびプログラム
JP2021010970A (ja) * 2019-07-05 2021-02-04 京セラドキュメントソリューションズ株式会社 ロボットシステム及びロボット制御方法
JP2021035714A (ja) * 2019-08-22 2021-03-04 オムロン株式会社 制御装置、制御方法、及び制御プログラム
JP2021131652A (ja) * 2020-02-19 2021-09-09 株式会社トプコン データ構造、記録媒体、プログラム、及びシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6711591B2 (ja) * 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
WO2017083574A1 (en) * 2015-11-13 2017-05-18 Berkshire Grey Inc. Sortation systems and methods for providing sortation of a variety of obejcts
JP6822929B2 (ja) * 2017-09-19 2021-01-27 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム
JP2019063984A (ja) * 2017-10-02 2019-04-25 キヤノン株式会社 情報処理装置、方法及びロボットシステム
US11833681B2 (en) * 2018-08-24 2023-12-05 Nvidia Corporation Robotic control system
DE102019122790B4 (de) * 2018-08-24 2021-03-25 Nvidia Corp. Robotersteuerungssystem
JP6856590B2 (ja) * 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
WO2020184101A1 (ja) * 2019-03-13 2020-09-17 日本電気株式会社 情報処理装置、駆動制御方法およびプログラム記憶媒体
WO2020212776A1 (en) * 2019-04-18 2020-10-22 Alma Mater Studiorum - Universita' Di Bologna Creating training data variability in machine learning for object labelling from images
CN114080304B (zh) * 2019-08-22 2024-05-14 欧姆龙株式会社 控制装置、控制方法及控制程序
US11724401B2 (en) * 2019-11-13 2023-08-15 Nvidia Corporation Grasp determination for an object in clutter
JP7794641B2 (ja) * 2020-01-09 2026-01-06 ファナック株式会社 ワーク搬送システム
US12240713B2 (en) * 2021-03-18 2025-03-04 Dexterity, Inc. Robotic palletization system with variable conveyor height
JP7822205B2 (ja) * 2022-03-08 2026-03-02 本田技研工業株式会社 遠隔操作システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5616478B1 (ja) * 2013-04-18 2014-10-29 ファナック株式会社 ワークを搬送するロボットを備えるロボットシステム
JP2015073798A (ja) * 2013-10-10 2015-04-20 株式会社東芝 医用画像診断装置、画像処理装置およびプログラム
JP2021010970A (ja) * 2019-07-05 2021-02-04 京セラドキュメントソリューションズ株式会社 ロボットシステム及びロボット制御方法
JP2021035714A (ja) * 2019-08-22 2021-03-04 オムロン株式会社 制御装置、制御方法、及び制御プログラム
JP2021131652A (ja) * 2020-02-19 2021-09-09 株式会社トプコン データ構造、記録媒体、プログラム、及びシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Grasping Detection using Deep Convolutional Neural Network with Graspability", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 36, no. 8, 2018, pages 559 - 566
See also references of EP4470731A4

Also Published As

Publication number Publication date
CN118591442A (zh) 2024-09-03
JPWO2023145901A1 (ja) 2023-08-03
EP4470731A4 (en) 2025-12-24
US20240383151A1 (en) 2024-11-21
EP4470731A1 (en) 2024-12-04

Similar Documents

Publication Publication Date Title
JP5835926B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP7111114B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN114494426B (zh) 用于控制机器人来在不同的方位拿起对象的装置和方法
US7280687B2 (en) Device for detecting position/orientation of object
CN107571260B (zh) 控制机器人抓取物体的方法和装置
CN107577451B (zh) 多Kinect人体骨架坐标变换方法及处理设备、可读存储介质
JP2016099257A (ja) 情報処理装置及び情報処理方法
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及系统
CN110539299A (zh) 机器手作业方法、控制器以及机器手系统
US20230115521A1 (en) Device and method for training a machine learning model for recognizing an object topology of an object from an image of the object
CN111443703A (zh) 轨道生成装置、轨道生成方法以及机器人系统
WO2023145901A1 (ja) 推定装置、推定方法、及び制御装置
CN117794709A (zh) 握持参数估计设备和握持参数估计方法
KR20230175122A (ko) 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법
US20250065495A1 (en) Holding mode determination device for robot, holding mode determination method for robot, and robot control system
CN115082554A (zh) 用于控制机器人来拿起对象的装置和方法
JP7651691B2 (ja) 保持位置決定装置、及び保持位置決定方法
JP7801980B2 (ja) 物体把持方法、プログラム、および物体把持制御装置
KR20240081551A (ko) 로봇 제어를 위한 데이터셋 획득 시스템 및 방법
CN117769483A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法
US20250375880A1 (en) Operation control method, operation control device, and storage medium
US20240351198A1 (en) Trained model generation method, trained model generation device, trained model, and holding mode inference device
JP7790238B2 (ja) コンピュータープログラム、生成方法、および、生成装置
WO2023171687A1 (ja) ロボット制御装置及びロボット制御方法
Lee et al. Balloon burster: A CORBA-based visual servoing for humanoid robot in a distributed environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23747111

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380018610.1

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2023577043

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18833790

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023747111

Country of ref document: EP

Effective date: 20240827