WO2023134237A1 - 用于机器人的坐标系标定方法、装置、系统以及介质 - Google Patents

用于机器人的坐标系标定方法、装置、系统以及介质 Download PDF

Info

Publication number
WO2023134237A1
WO2023134237A1 PCT/CN2022/124678 CN2022124678W WO2023134237A1 WO 2023134237 A1 WO2023134237 A1 WO 2023134237A1 CN 2022124678 W CN2022124678 W CN 2022124678W WO 2023134237 A1 WO2023134237 A1 WO 2023134237A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate information
translation
coordinate
matrix
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/124678
Other languages
English (en)
French (fr)
Inventor
刘伟峰
刘旭
程云建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to EP22919871.8A priority Critical patent/EP4393655A4/en
Priority to US18/701,461 priority patent/US12528194B2/en
Publication of WO2023134237A1 publication Critical patent/WO2023134237A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39022—Transform between measuring and manipulator coordinate system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39046—Compare image of plate on robot with reference, move till coincidence, camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39419—4-DOF

Definitions

  • the present disclosure relates to the technical field of robots, and in particular to a coordinate system calibration method, device, system and storage medium for robots.
  • Vision-guided robot operation is a common application of intelligent warehousing automation. It is used in scenarios such as picking small commodities into boxes, depalletizing middle-sized commodities, and commodity distribution.
  • the vision-guided robot needs to calibrate the relationship between the camera coordinate system and the world coordinate system, convert the target picking pose output by the vision system to the world coordinate system, and guide the robot to work.
  • a coordinate system calibration method for a robot including: controlling an execution part of the robot to perform a translational movement, and obtaining first coordinate information corresponding to the translational movement of the execution part; wherein , the robot is a four-degree-of-freedom robot, and the first coordinate information is coordinate information in the world coordinate system; the second coordinate information collected by the camera device of the robot for the calibration plate is obtained; wherein, the calibration plate and the calibration plate are The corresponding coordinate planes of the world coordinate system are parallel, and the second coordinate information is the coordinate information in the camera coordinate system; based on the first coordinate information and the second coordinate information, determine a rotation matrix; control the execution unit performing a rotating motion to obtain third coordinate information collected by the imaging device for the calibration board; wherein, the third coordinate information is coordinate information in the camera coordinate system; according to the calibration board and the execution component determine the deviation vector between the calibration plate and the execution component; determine a translation matrix based on the first coordinate information, the deviation vector, the rotation matrix and the third
  • the determining the translation matrix based on the first coordinate information, the deviation vector, the rotation matrix and the third coordinate information includes: based on the rotation matrix and the third coordinate information, calculating a translation offset; determining the translation matrix according to the first coordinate information, the offset vector, and the translation offset.
  • the calculating the translation deviation based on the rotation matrix and the third coordinate information includes: calculating the product of the rotation matrix and the third coordinate information as the translation deviation;
  • the first coordinate information, the deviation vector and the translation deviation, determining the translation matrix includes: determining the coordinate information of the calibration plate based on the sum of the first coordinate information and the deviation vector; The difference between the coordinate information and the translation deviation determines the translation matrix.
  • the determining the deviation vector between the calibration board and the execution part according to the positional relationship between the calibration board and the execution part includes: obtaining the calibration board and the world a vertical distance between corresponding coordinate planes of the coordinate system; and constructing the deviation vector based on the vertical distance and direction information of axes of the world coordinate system.
  • the determining a rotation matrix based on the first coordinate information and the second coordinate information includes: constructing a first translation matrix corresponding to the world coordinate system based on the first coordinate information; Constructing a second translation matrix corresponding to the camera coordinate system based on the second coordinate information; determining the rotation matrix according to the first translation matrix and the second translation matrix.
  • the determining the rotation matrix according to the first translation matrix and the second translation matrix includes: performing three-dimensional affine transformation processing based on the first translation matrix and the second translation matrix , used to determine the rotation matrix.
  • the obtaining the second coordinate information collected by the camera device of the robot on the calibration board includes: determining a reference point on the calibration board; obtaining the second coordinate information collected by the camera device on the reference point coordinate information.
  • a coordinate system calibration device for a robot, including: a first coordinate acquisition module, configured to control the execution part of the robot to perform a translational movement, and acquire the coordinates of the execution part and the translational movement Corresponding first coordinate information; wherein, the robot is a four-degree-of-freedom robot, and the first coordinate information is coordinate information in the world coordinate system; the second coordinate acquisition module is used to acquire the camera device of the robot for calibration The second coordinate information collected by the board; wherein, the calibration board is parallel to the corresponding coordinate plane of the world coordinate system, and the second coordinate information is the coordinate information in the camera coordinate system; the rotation matrix determination module is used to determine based on The first coordinate information and the second coordinate information determine a rotation matrix; the third coordinate acquisition module is configured to control the execution component to perform a rotational movement, and acquire the third coordinate collected by the camera device for the calibration plate information; wherein, the third coordinate information is coordinate information in the camera coordinate system; a deviation vector determination module is used to determine the calibration
  • the translation matrix determination module includes: a deviation calculation unit, configured to calculate a translation deviation based on the rotation matrix and the third coordinate information; a translation determination unit, configured to calculate the translation deviation based on the first coordinate information, the bias vector, and the translation bias, determine the translation matrix.
  • the deviation calculation unit is specifically configured to calculate the product of the rotation matrix and the third coordinate information as the translation deviation; the translation determination unit is specifically configured to calculate based on the first The sum of the coordinate information and the deviation vector determines the coordinate information of the calibration board; according to the difference between the coordinate information of the calibration board and the translation deviation, the translation matrix is determined
  • the deviation vector determination module is specifically configured to obtain the vertical distance between the calibration plate and the corresponding coordinate plane of the world coordinate system; based on the vertical distance and the axis of the world coordinate system The direction information of , constructs the deviation vector.
  • the rotation matrix determination module includes: a matrix construction unit configured to construct a first translation matrix corresponding to the world coordinate system based on the first coordinate information; based on the second coordinate information Constructing a second translation matrix corresponding to the camera coordinate system; a matrix calculation unit configured to determine the rotation matrix according to the first translation matrix and the second translation matrix.
  • the matrix calculation unit is specifically configured to perform three-dimensional affine transformation processing based on the first translation matrix and the second translation matrix, so as to determine the rotation matrix.
  • the second coordinate acquisition module is configured to determine a reference point on the calibration plate; and acquire second coordinate information collected by the camera device for the reference point.
  • an apparatus for calibrating a coordinate system for a robot comprising: a memory; and a processor coupled to the memory, the processor being configured to instruction to execute the method as described above.
  • a system for calibrating a coordinate system including: a calibration board, and the above-mentioned coordinate system calibrating device for a robot.
  • a computer-readable storage medium stores computer instructions, and the instructions are executed by a processor to perform the method as described above.
  • FIG. 1 is a schematic flow diagram of some embodiments of a method for calibrating a coordinate system for a robot according to the present disclosure
  • Figure 2 is a schematic diagram of the setting of the calibration board
  • FIG. 3 is a schematic flow diagram of determining a rotation matrix in some embodiments of a method for calibrating a coordinate system for a robot according to the present disclosure
  • FIG. 4 is a schematic flowchart of determining a translation matrix in some embodiments of a method for calibrating a coordinate system for a robot according to the present disclosure
  • Fig. 5 is a block diagram of some embodiments of a coordinate system calibration device for a robot according to the present disclosure
  • Fig. 6 is a block diagram of some embodiments of a coordinate system calibration device for a robot according to the present disclosure
  • Fig. 7 is a block diagram of some embodiments of a coordinate system calibration device for a robot according to the present disclosure.
  • Fig. 8 is a block diagram of other embodiments of a coordinate system calibration device for a robot according to the present disclosure.
  • vision-guided robots need to calibrate the relationship between the camera coordinate system and the robot's world coordinate system.
  • hand-eye calibration methods can be used for calibration.
  • four-degree-of-freedom robots can only be calibrated around z The rotation of the axis, the rotation matrix for the four-degree-of-freedom robot cannot be obtained through the existing hand-eye calibration method. Since the existing hand-eye calibration method for a six-degree-of-freedom robot cannot obtain the rotation matrix R and translation matrix T for a four-degree-of-freedom robot, the existing hand-eye calibration method for a six-degree-of-freedom robot is not suitable for a four-degree-of-freedom robot .
  • a technical problem to be solved in the present disclosure is to provide a coordinate system calibration method, device, system and storage medium for a robot, setting the calibration plate parallel to the corresponding coordinate plane of the world coordinate system, and controlling the robot During the translational movement of the execution part, the first coordinate information of the execution part and the second coordinate information collected by the camera for the calibration plate are obtained to determine the rotation matrix; Coordinate information is used to determine the translation matrix; by setting the calibration board and performing automatic data collection and calculation, the rotation matrix and translation matrix can be solved separately, and the automatic calibration of the four-degree-of-freedom robot is realized.
  • the calibration operation is simple and the calibration results are accurate. No manual adjustment is required, the applicability and robustness are good, and the user experience is improved.
  • Fig. 1 is a schematic flowchart of some embodiments of a method for calibrating a coordinate system for a robot according to the present disclosure, as shown in Fig. 1 :
  • Step 101 controlling the execution part of the robot to perform a translational movement, and obtaining first coordinate information corresponding to the translational movement of the execution part.
  • the execution component of the robot is a tool such as a manipulator.
  • the robot is a four-degree-of-freedom robot.
  • a four-degree-of-freedom robot means that the execution part of the robot can move along the X, Y, and Z axes of the world coordinate system, and can rotate around the Z axis of the world coordinate system, that is, the execution part has only one rotation direction.
  • the first coordinate information is the coordinate information in the world coordinate system, that is, the first coordinate information is the world coordinate of the execution part X, Y, and Z axis coordinates in the system.
  • Step 102 acquiring second coordinate information collected by the camera device of the robot on the calibration board.
  • automatic data collection and result resolution are achieved by using calibration plates with specific installation requirements.
  • the calibration plate is parallel to the corresponding coordinate plane of the world coordinate system, for example, the calibration plate is parallel to the XOY coordinate plane in the world coordinate system, and O is the origin of the world coordinate system.
  • the camera device of the robot can be a 3D camera in the vision system, etc.
  • the second coordinate information is the coordinate information in the camera coordinate system, that is, the second coordinate information is taken by the 3D camera, etc. during the translational movement of the execution parts of the robot.
  • the calibration plate is a specially designed calibration plate, and the disk surface (plane) of the installed calibration plate is perpendicular to the tool linkage of the four-degree-of-freedom robot, that is, the z-axis in the world coordinate system of the four-degree-of-freedom robot Vertical, and the distance ⁇ z from the end of the tool of the robot (the tool can be an executive component, etc.) to the surface of the calibration plate can ensure the accuracy.
  • the reference point is determined on the calibration board, and the second coordinate information collected by the robot's 3D camera for the reference point is obtained. For example, black and white grids are arranged on the calibration board, and the intersection points of one or more grids are used as reference points, and the second coordinate information of the reference points is collected.
  • Step 103 Determine a rotation matrix based on the first coordinate information and the second coordinate information.
  • Step 104 controlling the execution part to perform a rotational movement to obtain the third coordinate information collected by the camera device for the calibration plate.
  • the execution part of the four-degree-of-freedom robot is controlled to move only around the Z-axis of the world coordinate system.
  • the third coordinate collected by the camera for the reference point on the calibration plate is acquired.
  • the third coordinate information is the coordinate information of the calibration board in the camera coordinate system.
  • Step 105 determining a deviation vector between the calibration board and the execution part according to the positional relationship between the calibration board and the execution part.
  • the positional relationship includes the vertical distance ⁇ z between the XOY coordinate plane and the plane of the calibration plate in the world coordinate system where the end of the execution part of the robot is located. Obtain the vertical distance ⁇ z between the calibration plate and the corresponding coordinate plane of the world coordinate system, and construct a deviation vector based on the vertical distance ⁇ z and the direction information of the axes of the world coordinate system.
  • Step 106 determining a translation matrix based on the first coordinate information, the deviation vector, the rotation matrix and the third coordinate information.
  • FIG. 3 is a schematic flow diagram of determining a rotation matrix in some embodiments of a method for calibrating a coordinate system for a robot according to the present disclosure, as shown in FIG. 3 :
  • Step 301 constructing a first translation matrix corresponding to the world coordinate system based on the first coordinate information.
  • Step 302 constructing a second translation matrix corresponding to the camera coordinate system based on the second coordinate information.
  • Step 303 Determine a rotation matrix according to the first translation matrix and the second translation matrix.
  • Various methods may be used to determine the rotation matrix according to the first translation matrix and the second translation matrix. For example, three-dimensional affine transformation processing is performed based on the first translation matrix and the second translation matrix to determine the rotation matrix.
  • the hand-eye calibration calculation method of a six-degree-of-freedom robot can be simplified to solve the following equation:
  • R W is the rotation matrix (for example, a 3x3 matrix) relative to the initial acquisition position in the world coordinate system
  • T W is the translation matrix (for example, a 3x1 matrix) relative to the initial acquisition position in the world coordinate system
  • R C , T C are the rotation matrix and translation matrix relative to the initial acquisition position in camera coordinates
  • R and T are the rotation matrix and translation matrix between the camera coordinate system and the world coordinate system to be solved.
  • k C and k W are rotation vectors corresponding to R C and R W respectively (the direction of the vector represents the direction of the rotation axis, and the length of the vector represents the rotation angle).
  • Equation (1-3) At least four sets of data need to be collected to solve equation (1-3). Assuming that N+1 sets (N ⁇ 3) of hand-eye calibration data are collected, the following relationship can be constructed from equation (1-3):
  • the parameter ⁇ 1 is a numerical value representing the magnitude relationship between k.
  • the existing hand-eye calibration method can realize automatic calibration of a six-degree-of-freedom robot, it cannot be used for a four-degree-of-freedom robot (the movement of the end of the actuator of the robot only includes spatial translation and rotation around the z-axis).
  • Some hand-eye calibration methods solve the hand-eye calibration results.
  • T W is the first translation matrix corresponding to the world coordinate system
  • T C is the second translation matrix corresponding to the camera coordinate system.
  • T W and T C Obtain multiple sets (at least three sets) of T W and T C .
  • T W and T C Obtain multiple sets (at least three sets) of T W and T C .
  • Three-dimensional affine transformation processing is performed based on multiple sets of T W and T C to determine the rotation matrix R.
  • the estimateAffine3D function of OpenCV can be used to perform three-dimensional affine transformation processing based on multiple sets of T W and T C to determine the rotation matrix R, which can ensure the orthogonality of the rotation matrix R.
  • the determined rotation matrix R is:
  • the calculation process of calibration can be divided into two steps: the first step is to fix the end posture of the robot’s actuator, only control the translation of the robot’s actuator, collect enough data (N ⁇ 4), and use the equation ( 1-6) Calculate the rotation matrix R between the camera coordinate system and the robot coordinate system (world coordinate system); in the second step, collect other data to calculate the translation matrix T of the two coordinate systems.
  • Fig. 4 is a schematic flow chart of determining a translation matrix in some embodiments of a method for calibrating a coordinate system for a robot according to the present disclosure, as shown in Fig. 4 :
  • Step 401 calculate a translation deviation based on the rotation matrix and the third coordinate information. For example, the product of the rotation matrix and the third coordinate information is calculated as the translation deviation.
  • Step 402 Determine the translation matrix according to the first coordinate information, the deviation vector and the translation deviation.
  • the calibration board coordinate information is determined based on the sum of the first coordinate information and the deviation vector, and the translation matrix is determined according to the difference between the calibration board coordinate information and the translation deviation.
  • two sets of data are collected: one set of data is collected at a certain position (the last set of data used to calibrate the rotation matrix R can also be collected), and then The end of the executive part that controls the robot does not move in translation, but rotates 180° (or 90°, etc.), and collects a set of data after the rotation.
  • the translation matrix T is calculated.
  • the center point of the two sets of spatial positions of the same reference point on the calibration board must be in the world coordinate system z of the robot.
  • T is calculated by the following relationship:
  • ⁇ Y is the deviation vector
  • ⁇ z is the vertical distance between the calibration plate and the corresponding coordinate plane of the world coordinate system
  • R is the rotation matrix calculated in the first step
  • RX is the translation deviation
  • X is the third coordinate information
  • Y is the first One coordinate information, that is, Y is the last set of first coordinate information collected for calibrating the rotation matrix R
  • Y+ ⁇ Y is the coordinate information of the calibration board, that is, Y+ ⁇ Y is the position center point of the two acquisitions of the same reference point of the calibration board. Coordinate information in the world coordinate system.
  • the present disclosure provides a coordinate system calibration device 50 for a robot, including a first coordinate acquisition module 51, a second coordinate acquisition module 52, a rotation matrix determination module 53, a third A coordinate acquisition module 54 , a deviation vector determination module 55 and a translation matrix determination module 56 .
  • the first coordinate acquisition module 51 controls the execution part of the robot to perform a translational movement, and obtains the first coordinate information corresponding to the translational movement of the execution part; wherein, the robot is a four-degree-of-freedom robot, and the first coordinate information is coordinate information under the world coordinate system .
  • the second coordinate acquisition module 52 acquires the second coordinate information collected by the camera device of the robot for the calibration plate; wherein, the calibration plate is parallel to the corresponding coordinate plane of the world coordinate system, and the second coordinate information is coordinate information in the camera coordinate system.
  • the rotation matrix determining module 53 determines a rotation matrix based on the first coordinate information and the second coordinate information.
  • the third coordinate acquisition module 54 controls the execution component to perform a rotational movement, and acquires third coordinate information collected by the camera device for the calibration plate; wherein, the third coordinate information is coordinate information in the camera coordinate system.
  • the deviation vector determination module 55 determines the deviation vector between the calibration board and the execution part according to the positional relationship between the calibration board and the execution part.
  • the translation matrix determination module 56 determines a translation matrix based on the first coordinate information, the deviation vector, the rotation matrix and the third coordinate information.
  • the second coordinate obtaining module 52 determines a reference point on the calibration plate, and obtains second coordinate information collected by the camera device for the reference point.
  • the deviation vector determination module 55 obtains the vertical distance between the calibration plate and the corresponding coordinate plane of the world coordinate system, and constructs a deviation vector based on the vertical distance and the direction information of the axes of the world coordinate system.
  • the translation matrix determination module 56 includes a deviation calculation unit 561 and a translation determination unit 562 .
  • the deviation calculation unit 561 calculates a translation deviation based on the rotation matrix and the third coordinate information.
  • the translation determination unit 562 determines a translation matrix according to the first coordinate information, the deviation vector and the translation deviation.
  • the deviation calculation unit 561 calculates the product of the rotation matrix and the third coordinate information as the translation deviation.
  • the translation determination unit 562 determines the coordinate information of the calibration plate based on the sum of the first coordinate information and the deviation vector, and determines the translation matrix according to the difference between the coordinate information of the calibration plate and the translation deviation.
  • the rotation matrix determination module 53 includes a matrix construction unit 531 and a matrix calculation unit 532 .
  • the matrix construction unit 531 constructs a first translation matrix corresponding to the world coordinate system based on the first coordinate information, and constructs a second translation matrix corresponding to the camera coordinate system based on the second coordinate information.
  • the matrix calculation unit 532 determines a rotation matrix according to the first translation matrix and the second translation matrix. For example, the matrix calculation unit 532 performs three-dimensional affine transformation processing based on the first translation matrix and the second translation matrix to determine the rotation matrix.
  • Fig. 8 is a block diagram of other embodiments of a coordinate system calibration device for a robot according to the present disclosure.
  • the device may include a memory 81 , a processor 82 , a communication interface 83 and a bus 84 .
  • the memory 81 is used to store instructions
  • the processor 82 is coupled to the memory 81
  • the processor 82 is configured to implement the above-mentioned coordinate system calibration method for a robot based on the instructions stored in the memory 81 .
  • the memory 81 can be a high-speed RAM memory, a non-volatile memory (non-volatile memory), etc., and the memory 81 can also be a memory array.
  • the storage 81 may also be partitioned, and the blocks may be combined into virtual volumes according to certain rules.
  • the processor 82 may be a central processing unit CPU, or an ASIC (Application Specific Integrated Circuit), or one or more integrated circuits configured to implement the method for calibrating a robot's coordinate system according to the present disclosure.
  • the present disclosure provides a coordinate system calibration system, including a calibration board, and the coordinate system calibration device for a robot as in any of the above embodiments.
  • the present disclosure provides a computer-readable storage medium, where computer instructions are stored in the computer-readable storage medium, and when the instructions are executed by a processor, the coordinate system calibration method for a robot as in any of the above embodiments is implemented.
  • the computer readable storage medium may employ any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may include, but not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices, or devices, or any combination thereof. More specific examples (non-exhaustive list) of readable storage media may include: an electrical connection with one or more conductors, a portable disk, a hard disk, random access memory (RAM), read only memory (ROM), computer Erasable programmable read-only memory (EPROM or flash memory), optical fiber, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • the calibration plate is set to be parallel to the corresponding coordinate plane of the world coordinate system.
  • the first coordinate information of the component and the second coordinate information collected by the camera for the calibration plate are used to determine the rotation matrix; the execution part is controlled to rotate and the third coordinate information collected by the camera is obtained to determine the translation matrix; by setting The calibration board and automatic data collection and calculation can solve the rotation matrix and translation matrix separately, realizing the automatic calibration of the four-degree-of-freedom robot.
  • the calibration is easy to operate and the calibration results are accurate without manual adjustment. Applicability and robustness Better, improving user experience.
  • the present disclosure may take the form of a computer program product embodied on one or more computer-usable non-transitory storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein. .
  • These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable data processing apparatus to operate in a specific manner, such that the instructions stored in the computer-readable memory produce an article of manufacture comprising instruction means, the instructions
  • the device realizes the function specified in one or more procedures of the flowchart and/or one or more blocks of the block diagram.
  • the methods and systems of the present disclosure may be implemented in many ways.
  • the methods and systems of the present disclosure may be implemented by software, hardware, firmware, or any combination of software, hardware, and firmware.
  • the above sequence of steps for the method is for illustration only, and the steps of the method of the present disclosure are not limited to the sequence described above, unless specifically stated otherwise.
  • the present disclosure can also be implemented as programs recorded in recording media, the programs including machine-readable instructions for realizing the method according to the present disclosure.
  • the present disclosure also covers a recording medium storing a program for executing the method according to the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本公开提供了一种用于机器人的坐标系标定方法、装置、系统以及存储介质，其中的方法包括：控制机器人的执行部件进行平移运动，获取执行部件的第一坐标信息、摄像装置对于标定板采集的第二坐标信息，用以确定旋转矩阵；控制执行部件进行旋转运动，获取摄像装置对于标定板采集的第三坐标信息，用以确定平移矩阵。

Description

用于机器人的坐标系标定方法、装置、系统以及介质
相关申请的交叉引用
本公开是以CN申请号为CN202210041859.1申请日为2022年1月14日的申请为基础，并主张其优先权，该CN申请的公开内容在此作为整体引入本公开中。
技术领域
本公开涉及机器人技术领域，尤其涉及一种用于机器人的坐标系标定方法、装置、系统以及存储介质。
背景技术
视觉引导机器人作业是智能仓储自动化的常见应用，用于小件商品进箱拣选、中件商品拆码垛、商品分拨等场景。视觉引导机器人需要标定相机坐标系与世界坐标系的关系，将视觉系统输出的目标拣选位姿转换到世界坐标系下，引导机器人作业。
发明内容
根据本公开的第一方面，提供一种用于机器人的坐标系标定方法，包括：控制机器人的执行部件进行平移运动，获取所述执行部件与所述平移运动相对应的第一坐标信息；其中，所述机器人为四自由度机器人，所述第一坐标信息为世界坐标系下的坐标信息；获取所述机器人的摄像装置对于标定板采集的第二坐标信息；其中，所述标定板与所述世界坐标系的对应坐标平面相平行，所述第二坐标信息为相机坐标系下的坐标信息；基于所述第一坐标信息和所述第二坐标信息，确定旋转矩阵；控制所述执行部件进行旋转运动，获取所述摄像装置对于所述标定板采集的第三坐标信息；其中，所述第三坐标信息为所述相机坐标系下的坐标信息；根据所述标定板与所述执行部件之间的位置关系，确定所述标定板与所述执行部件之间的偏差向量；基于所述第一坐标信息、所述偏差向量、所述旋转矩阵和所述第三坐标信息确定平移矩阵。
在一些实施例中，所述基于所述第一坐标信息、所述偏差向量、所述旋转矩阵和所述第三坐标信息确定平移矩阵包括：基于所述旋转矩阵和所述第三坐标信息，计算平移偏差；根据所述第一坐标信息、所述偏差向量和所述平移偏差，确定所述平移矩阵。
在一些实施例中，所述基于所述旋转矩阵和所述第三坐标信息，计算平移偏差包括： 计算所述旋转矩阵和所述第三坐标信息的乘积，作为所述平移偏差；所述根据所述第一坐标信息、所述偏差向量和所述平移偏差，确定所述平移矩阵包括：基于所述第一坐标信息和所述偏差向量的和，确定标定板坐标信息；根据所述标定板坐标信息与所述平移偏差的差，确定所述平移矩阵。
在一些实施例中，所述根据所述标定板与所述执行部件之间的位置关系，确定所述标定板与所述执行部件之间的偏差向量包括：获取所述标定板与所述世界坐标系的对应坐标平面之间的垂直距离；基于所述垂直距离与所述世界坐标系的轴的方向信息，构建所述偏差向量。
在一些实施例中，所述基于所述第一坐标信息和所述第二坐标信息，确定旋转矩阵包括：基于所述第一坐标信息构建与所述世界坐标系相对应的第一平移矩阵；基于所述第二坐标信息构建与所述相机坐标系相对应的第二平移矩阵；根据所述第一平移矩阵和所述第二平移矩阵，确定所述旋转矩阵。
在一些实施例中，所述根据所述第一平移矩阵和所述第二平移矩阵，确定所述旋转矩阵包括：基于所述第一平移矩阵与所述第二平移矩阵进行三维仿射变换处理，用以确定所述旋转矩阵。
在一些实施例中，所述获取所述机器人的摄像装置对于标定板采集的第二坐标信息包括：在所述标定板上确定基准点；获取所述摄像装置对于所述基准点采集的第二坐标信息。
根据本公开的第二方面，提供一种用于机器人的坐标系标定装置，包括：第一坐标获取模块，用于控制机器人的执行部件进行平移运动，获取所述执行部件与所述平移运动相对应的第一坐标信息；其中，所述机器人为四自由度机器人，所述第一坐标信息为世界坐标系下的坐标信息；第二坐标获取模块，用于获取所述机器人的摄像装置对于标定板采集的第二坐标信息；其中，所述标定板与所述世界坐标系的对应坐标平面相平行，所述第二坐标信息为相机坐标系下的坐标信息；旋转矩阵确定模块，用于基于所述第一坐标信息和所述第二坐标信息，确定旋转矩阵；第三坐标获取模块，用于控制所述执行部件进行旋转运动，获取所述摄像装置对于所述标定板采集的第三坐标信息；其中，所述第三坐标信息为所述相机坐标系下的坐标信息；偏差向量确定模块，用于根据所述标定板与所述执行部件之间的位置关系，确定所述标定板与所述执行部件之间的偏差向量；平移矩阵确定模块，用于基于所述第一坐标信息、所述偏差向量、所述旋转矩阵和所述第三坐标信息确定平移矩阵。
在一些实施例中，所述平移矩阵确定模块，包括：偏差计算单元，用于基于所述旋转 矩阵和所述第三坐标信息，计算平移偏差；平移确定单元，用于根据所述第一坐标信息、所述偏差向量和所述平移偏差，确定所述平移矩阵。
在一些实施例中，所述偏差计算单元，具体用于计算所述旋转矩阵和所述第三坐标信息的乘积，作为所述平移偏差；所述平移确定单元，具体用于基于所述第一坐标信息和所述偏差向量的和，确定标定板坐标信息；根据所述标定板坐标信息与所述平移偏差的差，确定所述平移矩阵
在一些实施例中，所述偏差向量确定模块，具体用于获取所述标定板与所述世界坐标系的对应坐标平面之间的垂直距离；基于所述垂直距离与所述世界坐标系的轴的方向信息，构建所述偏差向量。
在一些实施例中，所述旋转矩阵确定模块，包括：矩阵构建单元，用于基于所述第一坐标信息构建与所述世界坐标系相对应的第一平移矩阵；基于所述第二坐标信息构建与所述相机坐标系相对应的第二平移矩阵；矩阵计算单元，用于根据所述第一平移矩阵和所述第二平移矩阵，确定所述旋转矩阵。
在一些实施例中，所述矩阵计算单元，具体用于基于所述第一平移矩阵与所述第二平移矩阵进行三维仿射变换处理，用以确定所述旋转矩阵。
在一些实施例中，所述第二坐标获取模块，用于在所述标定板上确定基准点；获取所述摄像装置对于所述基准点采集的第二坐标信息。
根据本公开的第三方面，提供一种用于机器人的坐标系标定装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。
根据本公开的第四方面，提供一种坐标系标定系统，包括：标定板、如上所述的用于机器人的坐标系标定装置。
根据本公开的第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如上所述的方法。
附图说明
为了更清楚地说明本公开实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开的用于机器人的坐标系标定方法的一些实施例的流程示意图；
图2为标定板的设置示意图；
图3为根据本公开的用于机器人的坐标系标定方法的一些实施例中的确定旋转矩阵的流程示意图；
图4为根据本公开的用于机器人的坐标系标定方法的一些实施例中的确定平移矩阵的流程示意图；
图5为根据本公开的用于机器人的坐标系标定装置的一些实施例的模块示意图；
图6为根据本公开的用于机器人的坐标系标定装置的一些实施例的模块示意图；
图7为根据本公开的用于机器人的坐标系标定装置的一些实施例的模块示意图；
图8为根据本公开的用于机器人的坐标系标定装置的另一些实施例的模块示意图。
具体实施方式
下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。下面结合各个图和实施例对本公开的技术方案进行多方面的描述。
下文中的“第一”、“第二”仅用于描述上相区别，并没有其他特殊的含义。
在发明人所知晓的相关技术中，视觉引导机器人需要标定相机坐标系与机器人的世界坐标系的关系，对于六自由度机器人可以采用手眼标定方法等进行标定，但是，四自由度机器人只有绕z轴的转动，通过现有的手眼标定方法无法得出对于四自由度机器人的转动矩阵。由于现有的对于六自由度机器人的手眼标定方法无法得出对于四自由度机器人的转动矩阵R以及平移矩阵T，因此，现有的对于六自由度机器人的手眼标定方法不适用四自由度机器人。
有鉴于此，本公开要解决的一个技术问题是提供一种用于机器人的坐标系标定方法、装置、系统以及存储介质，设置标定板与世界坐标系的对应坐标平面相平行，在控制机器人的执行部件进行平移运动的过程中，获取执行部件的第一坐标信息和摄像装置对于标定板采集的第二坐标信息，用以确定旋转矩阵；控制执行部件进行旋转运动，获取摄像装置采集的第三坐标信息，用以确定平移矩阵；通过设置标定板并进行自动化的数据采集以及计算，能够分别求解转动矩阵与平移矩阵，实现了对于四自由度机器人的自动化标定，标 定操作简便并且标定结果准确，无需进行人工调整，适用性和鲁棒性较好，提高了用户使用感受。
图1为根据本公开的用于机器人的坐标系标定方法的一些实施例的流程示意图，如图1所示：
步骤101，控制机器人的执行部件进行平移运动，获取执行部件与平移运动相对应的第一坐标信息。
在一些实施例中，机器人的执行部件为机械手等工具。机器人为四自由度机器人，四自由度机器人是指机器人的执行部件可以沿世界坐标系的X、Y和Z轴移动，并且能够绕世界坐标系的Z轴转动，即执行部件只有一个转动方向。
通过机器人的控制装置控制执行部件进行平移运动，获取执行部件与平移运动相对应的第一坐标信息，第一坐标信息为世界坐标系下的坐标信息，即第一坐标信息为执行部件在世界坐标系中的X、Y和Z轴坐标。
步骤102，获取机器人的摄像装置对于标定板采集的第二坐标信息。
在一些实施例中，通过使用特定安装要求的标定板，实现自动化采集数据与结果求解。标定板与世界坐标系的对应坐标平面相平行，例如，标定板与世界坐标系中XOY坐标平面平行，O为世界坐标系的原点。
机器人的摄像装置可以为视觉系统中的3D相机等，第二坐标信息为相机坐标系下的坐标信息，即第二坐标信息为在控制机器人的执行部件进行平移运动过程中，通过3D相机等拍摄标定板的图像，基于图像确定标定板在相机坐标系统的X、Y和Z轴坐标。
如图2所示，标定板为特定设计的标定板，安装后的标定板的盘面(平面)与四自由度机器人的工具连杆垂直，即与四自由度机器人的世界坐标系中的z轴垂直，并且，机器人的工具末端(工具可以为执行部件等)到标定板的盘面的距离δz能够保证精度。在标定板上确定基准点，获取机器人的3D相机对于基准点采集的第二坐标信息。例如，标定板上设置有黑白相间的网格，将一个或多个网格的交接点作为基准点，采集基准点的第二坐标信息。
步骤103，基于第一坐标信息和第二坐标信息，确定旋转矩阵。
步骤104，控制执行部件进行旋转运动，获取摄像装置对于标定板采集的第三坐标信息。
在一些实施例中，控制四自由度机器人的执行部件仅绕世界坐标系的Z轴移动，在控制执行部件进行旋转运动的过程中，获取摄像装置对于标定板上的基准点采集的第三坐标 信息，第三坐标信息为标定板在相机坐标系下的坐标信息。
步骤105，根据标定板与执行部件之间的位置关系，确定标定板与执行部件之间的偏差向量。
在一些实施例中，位置关系包括机器人的执行部件末端所在的世界坐标系中XOY坐标平面到标定板平面之间的垂直距离δz。获取标定板与世界坐标系的对应坐标平面之间的垂直距离δz，基于垂直距离δz与世界坐标系的轴的方向信息，构建偏差向量。
步骤106，基于第一坐标信息、偏差向量、旋转矩阵和第三坐标信息确定平移矩阵。
基于第一坐标信息和第二坐标信息确定旋转矩阵可以采用多种方法。图3为根据本公开的用于机器人的坐标系标定方法的一些实施例中的确定旋转矩阵的流程示意图，如图3所示：
步骤301，基于第一坐标信息构建与世界坐标系相对应的第一平移矩阵。
步骤302，基于第二坐标信息构建与相机坐标系相对应的第二平移矩阵。
步骤303，根据第一平移矩阵和第二平移矩阵，确定旋转矩阵。
根据第一平移矩阵和第二平移矩阵确定旋转矩阵可以采用多种方法。例如，基于第一平移矩阵与第二平移矩阵进行三维仿射变换处理，用以确定旋转矩阵。
在一些实施例中，在标定数据采集过程中，需要进行与机器人的执行部件相对应的世界坐标系、相机坐标系(标定板坐标系)的变换。六自由度机器人的手眼标定计算方法可简化为求解如下方程：
RWR＝RRC      (1-1)；
R WT+T W＝RT C+T     （1-2）；
其中，R W是在世界坐标系下、相对初始采集位置的转动矩阵(例如为3x3矩阵)，T W是在世界坐标系下、相对初始采集位置的平移矩阵(例如为3x1矩阵)；R C、T C分别是在相机坐标下、相对初始采集位置的转动矩阵与平移矩阵；R与T为待求解的相机坐标系与世界坐标系之间的转动矩阵与平移矩阵。
利用转动矩阵的共轭关系和转动矢量表示，方程(1-1)等价为如下关系：
Rk C＝K W    (1-3)；
其中，k C、k W分别为R C、R W对应的转动矢量(矢量方向代表转轴方向，矢量长度代表转动角度)。
求解方程(1-3)至少需要采集四组数据，假设采集N+1组(N≥3)手眼标定数据，则由方程(1-3)可构造如下关系：
Figure PCTCN2022124678-appb-000001
记矩阵
Figure PCTCN2022124678-appb-000002
则有：
RM 1＝M 2    (1-5)；
参数λ 1为表示k之间的大小关系的数值。对于四自由度机器人而言，因为机器人的执行部件只有绕z轴的转动，因此，所有数据满足
Figure PCTCN2022124678-appb-000003
Figure PCTCN2022124678-appb-000004
即不同的采集位置，世界坐标系与相机坐标系的转动变换只有转角的不同，转轴方向是一样的，因此，矩阵M 1与M 2的秩为1，无法通过求解(1-5)得出正确的转动矩阵R。
由上可知，使用现有的手眼标定方法虽然可以实现六自由度机器人的自动化标定，但对于四自由度机器人(机器人的执行机构末端的运动只包含空间平移与绕z轴的转动)无法使用现有的手眼标定方法的方式求解手眼标定结果。
虽然使用方程(1-1)或(1-3)无法求解四自由度机器人的手眼标定转动矩阵部分，但观察方程(1-2)可以发现，如果要求在整个数据采集过程中机器人末端保持初始位置姿态不变，则有R W＝I，于是方程(1-2)可简化为：
RT C＝T W   (1-6)；
其中，T W与世界坐标系相对应的第一平移矩阵，T C为与相机坐标系相对应的第二平移矩阵。
获取多组(最少三组)T W与T C。例如：
Figure PCTCN2022124678-appb-000005
基于多组T W与T C进行三维仿射变换处理，用以确定旋转矩阵R。例如，可以使用OpenCV的estimateAffine3D函数，并基于多组T W与T C进行三维仿射变换处理，确定旋转矩阵R，可保证旋转矩阵R的正交性。例如，确定的旋转矩阵R为：
Figure PCTCN2022124678-appb-000006
另外，对方程(1-6)可以进行矩阵转置处理，变换为(T C) tR t＝(T W) t，可用奇异值分解求解，现有的OpenCV或Eigen库中都有已有的求解程序。
由上可知，标定的计算过程可以分两个步骤：第一步，固定机器人的执行部件的末端姿态，只控制机器人的执行部件平动，采集足量的数据(N≥4),使用方程(1-6)计算相机坐标系与机器人坐标系(世界坐标系)之间的转动矩阵R；第二步，采集其他数据用于计算两个坐标系的平移矩阵T。
基于第一坐标信息、偏差向量、旋转矩阵和第三坐标信息确定平移矩阵可以采用多种方法。图4为根据本公开的用于机器人的坐标系标定方法的一些实施例中的确定平移矩阵的流程示意图，如图4所示：
步骤401，基于旋转矩阵和第三坐标信息，计算平移偏差。例如，计算旋转矩阵和第三坐标信息的乘积，作为平移偏差。
步骤402，根据第一坐标信息、偏差向量和平移偏差，确定平移矩阵。例如，基于第一坐标信息和偏差向量的和，确定标定板坐标信息，根据标定板坐标信息与平移偏差的差，确定平移矩阵。
在一些实施例中，在采集用于标定转动矩阵R的数据之后，采集两组数据：在某一位置采集一组数据(也可以利用采集用于标定转动矩阵R的最后一组数据)，之后控制机器人的执行部件末端不做平动，而做180°(也可以为90°等)转动，转动完之后再采集一组数据。利用这两组数据，结合相机给出的点云数据计算平移矩阵T。
由于四自由度机器人只有绕z轴的转动，而两组数据具有180°的转动关系，因此，标定板上同一个基准点的两组空间位置，其中心点必定在与机器人的世界坐标系z轴平行的轴上(转轴)，从两组数据的点云上提取对于相同的基准点的坐标，计算其中心点坐标(位于相机坐标系下)；再利用采集数据时机器人的执行部件末端在机器人的世界坐标系中的坐标，以及机器人的执行部件末端到标定板的距离δz，求解相机坐标系与世界坐标系之间的平移矩阵T。
假设标定板上相同基准点两次采集的位置中心坐标为X，采集数据时机器人的执行部件末端的坐标为Y，通过如下关系计算T：
T＝Y+ΔY-RX     (1-7)；
其中，
Figure PCTCN2022124678-appb-000007
即ΔY为偏差向量，δz为标定板与世界坐标系的对应坐标平面之间的垂直距离；R为第一步计算所得的转动矩阵，RX为平移偏差，X为第三坐标信息，Y为第一坐标信息，即Y为采集用于标定转动矩阵R的最后一组第一坐标信息，Y+ΔY为标定板坐标信息，即Y+ΔY为标定板相同基准点两次采集的位置中心点在世界坐标系下的坐标信息。
例如，在对四自由度机器人进行标注时，安装特制的标定板。固定机器人的执行部件末端姿态，控制机器人的执行部件进行平移运动，使用随机平动自动采集N组数据(N≥4)，记为A数据；在某一位置采集一组数据，然后固定机器人的执行部件端的平动，控制执行部件进行旋转运动并转动180°，采集第二组数据，记为数据B。
使用A数据，利用方程(1-6)计算相机坐标系与世界坐标系之间的转动矩阵R；利用数据B，计算两组数据中的标定板格点位置；利用数据B中的点云数据，计算两组数据中相同格点的中心点坐标，利用方程(1-7)计算相机坐标系与世界坐标系之间的平移矩阵T。
在一些实施例中，如图5所示，本公开提供一种用于机器人的坐标系标定装置50，包括第一坐标获取模块51、第二坐标获取模块52、旋转矩阵确定模块53、第三坐标获取模块54、偏差向量确定模块55和平移矩阵确定模块56。
第一坐标获取模块51控制机器人的执行部件进行平移运动，获取执行部件与平移运动相对应的第一坐标信息；其中，机器人为四自由度机器人，第一坐标信息为世界坐标系下的坐标信息。第二坐标获取模块52获取机器人的摄像装置对于标定板采集的第二坐标信息；其中，标定板与世界坐标系的对应坐标平面相平行，第二坐标信息为相机坐标系下的坐标信息。旋转矩阵确定模块53基于第一坐标信息和第二坐标信息，确定旋转矩阵。
第三坐标获取模块54控制执行部件进行旋转运动，获取摄像装置对于标定板采集的第三坐标信息；其中，第三坐标信息为相机坐标系下的坐标信息。偏差向量确定模块55根据标定板与执行部件之间的位置关系，确定标定板与执行部件之间的偏差向量。平移矩阵确定模块56基于第一坐标信息、偏差向量、旋转矩阵和第三坐标信息确定平移矩阵。
在一些实施例中，第二坐标获取模块52在标定板上确定基准点，获取摄像装置对于基准点采集的第二坐标信息。偏差向量确定模块55获取标定板与世界坐标系的对应坐标平面之间的垂直距离，基于垂直距离与世界坐标系的轴的方向信息，构建偏差向量。
如图6所示，平移矩阵确定模块56包括偏差计算单元561和平移确定单元562。偏差计算单元561基于旋转矩阵和第三坐标信息，计算平移偏差。平移确定单元562根据第一坐标信息、偏差向量和平移偏差，确定平移矩阵。
例如，偏差计算单元561计算旋转矩阵和第三坐标信息的乘积，作为平移偏差。平移确定单元562基于第一坐标信息和偏差向量的和，确定标定板坐标信息，根据标定板坐标信息与平移偏差的差，确定平移矩阵。
在一些实施例中，如图7所示，旋转矩阵确定模块53包括矩阵构建单元531和矩阵计算单元532。矩阵构建单元531基于第一坐标信息构建与世界坐标系相对应的第一平移矩阵，基于第二坐标信息构建与相机坐标系相对应的第二平移矩阵。矩阵计算单元532根据第一平移矩阵和第二平移矩阵，确定旋转矩阵。例如，矩阵计算单元532基于第一平移矩阵与第二平移矩阵进行三维仿射变换处理，用以确定旋转矩阵。
图8为根据本公开的用于机器人的坐标系标定装置的另一些实施例的模块示意图。如图8所示，该装置可包括存储器81、处理器82、通信接口83以及总线84。存储器81用于存储指令，处理器82耦合到存储器81，处理器82被配置为基于存储器81存储的指令执行实现上述的用于机器人的坐标系标定方法。
存储器81可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器81也可以是存储器阵列。存储器81还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器82可以为中央处理器CPU，或专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本公开的用于机器人的坐标系标定方法的一个或多个集成电路。
在一些实施例中，本公开提供一种坐标系标定系统，包括标定板、如上任一些实施例中的用于机器人的坐标系标定装置。
在一些实施例中，本公开提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一些实施例中的用于机器人的坐标系标定方法。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、 红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
上述实施例中的用于机器人的坐标系标定方法、装置、系统以及存储介质，设置标定板与世界坐标系的对应坐标平面相平行，在控制机器人的执行部件进行平移运动的过程中，获取执行部件的第一坐标信息和摄像装置对于标定板采集的第二坐标信息，用以确定旋转矩阵；控制执行部件进行旋转运动，获取摄像装置采集的第三坐标信息，用以确定平移矩阵；通过设置标定板并进行自动化的数据采集以及计算，能够分别求解转动矩阵与平移矩阵，实现了对于四自由度机器人的自动化标定，标定操作简便并且标定结果准确，无需进行人工调整，适用性和鲁棒性较好，提高了用户使用感受。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软 件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (17)

  1. 一种用于机器人的坐标系标定方法，包括：
    控制机器人的执行部件进行平移运动，获取所述执行部件与所述平移运动相对应的第一坐标信息；其中，所述机器人为四自由度机器人，所述第一坐标信息为世界坐标系下的坐标信息；
    获取所述机器人的摄像装置对于标定板采集的第二坐标信息；其中，所述标定板与所述世界坐标系的对应坐标平面相平行，所述第二坐标信息为相机坐标系下的坐标信息；
    基于所述第一坐标信息和所述第二坐标信息，确定旋转矩阵；
    控制所述执行部件进行旋转运动，获取所述摄像装置对于所述标定板采集的第三坐标信息；其中，所述第三坐标信息为所述相机坐标系下的坐标信息；
    根据所述标定板与所述执行部件之间的位置关系，确定所述标定板与所述执行部件之间的偏差向量；
    基于所述第一坐标信息、所述偏差向量、所述旋转矩阵和所述第三坐标信息确定平移矩阵。
  2. 如权利要求1所述的方法，所述基于所述第一坐标信息、所述偏差向量、所述旋转矩阵和所述第三坐标信息确定平移矩阵包括：
    基于所述旋转矩阵和所述第三坐标信息，计算平移偏差；
    根据所述第一坐标信息、所述偏差向量和所述平移偏差，确定所述平移矩阵。
  3. 如权利要求2所述的方法，所述基于所述旋转矩阵和所述第三坐标信息，计算平移偏差包括：
    计算所述旋转矩阵和所述第三坐标信息的乘积，作为所述平移偏差；
    所述根据所述第一坐标信息、所述偏差向量和所述平移偏差，确定所述平移矩阵包括：
    基于所述第一坐标信息和所述偏差向量的和，确定标定板坐标信息；
    根据所述标定板坐标信息与所述平移偏差的差，确定所述平移矩阵
  4. 如权利要求1所述的方法，所述根据所述标定板与所述执行部件之间的位置关系，确定所述标定板与所述执行部件之间的偏差向量包括：
    获取所述标定板与所述世界坐标系的对应坐标平面之间的垂直距离；
    基于所述垂直距离与所述世界坐标系的轴的方向信息，构建所述偏差向量。
  5. 如权利要求1所述的方法，所述基于所述第一坐标信息和所述第二坐标信息，确 定旋转矩阵包括：
    基于所述第一坐标信息构建与所述世界坐标系相对应的第一平移矩阵；
    基于所述第二坐标信息构建与所述相机坐标系相对应的第二平移矩阵；
    根据所述第一平移矩阵和所述第二平移矩阵，确定所述旋转矩阵。
  6. 如权利要求5所述的方法，所述根据所述第一平移矩阵和所述第二平移矩阵，确定所述旋转矩阵包括：
    基于所述第一平移矩阵与所述第二平移矩阵进行三维仿射变换处理，用以确定所述旋转矩阵。
  7. 如权利要求1所述的方法，所述获取所述机器人的摄像装置对于标定板采集的第二坐标信息包括：
    在所述标定板上确定基准点；
    获取所述摄像装置对于所述基准点采集的第二坐标信息。
  8. 一种用于机器人的坐标系标定装置，包括：
    第一坐标获取模块，用于控制机器人的执行部件进行平移运动，获取所述执行部件与所述平移运动相对应的第一坐标信息；其中，所述机器人为四自由度机器人，所述第一坐标信息为世界坐标系下的坐标信息；
    第二坐标获取模块，用于获取所述机器人的摄像装置对于标定板采集的第二坐标信息；其中，所述标定板与所述世界坐标系的对应坐标平面相平行，所述第二坐标信息为相机坐标系下的坐标信息；
    旋转矩阵确定模块，用于基于所述第一坐标信息和所述第二坐标信息，确定旋转矩阵；
    第三坐标获取模块，用于控制所述执行部件进行旋转运动，获取所述摄像装置对于所述标定板采集的第三坐标信息；其中，所述第三坐标信息为所述相机坐标系下的坐标信息；
    偏差向量确定模块，用于根据所述标定板与所述执行部件之间的位置关系，确定所述标定板与所述执行部件之间的偏差向量；
    平移矩阵确定模块，用于基于所述第一坐标信息、所述偏差向量、所述旋转矩阵和所述第三坐标信息确定平移矩阵。
  9. 如权利要求8所述的装置，其中，
    所述平移矩阵确定模块，包括：
    偏差计算单元，用于基于所述旋转矩阵和所述第三坐标信息，计算平移偏差；
    平移确定单元，用于根据所述第一坐标信息、所述偏差向量和所述平移偏差，确定所 述平移矩阵。
  10. 如权利要求9所述的装置，其中，
    所述偏差计算单元，具体用于计算所述旋转矩阵和所述第三坐标信息的乘积，作为所述平移偏差；
    所述平移确定单元，具体用于基于所述第一坐标信息和所述偏差向量的和，确定标定板坐标信息；根据所述标定板坐标信息与所述平移偏差的差，确定所述平移矩阵
  11. 如权利要求8所述的装置，其中，
    所述偏差向量确定模块，具体用于获取所述标定板与所述世界坐标系的对应坐标平面之间的垂直距离；基于所述垂直距离与所述世界坐标系的轴的方向信息，构建所述偏差向量。
  12. 如权利要求8所述的装置，其中，
    所述旋转矩阵确定模块，包括：
    矩阵构建单元，用于基于所述第一坐标信息构建与所述世界坐标系相对应的第一平移矩阵；基于所述第二坐标信息构建与所述相机坐标系相对应的第二平移矩阵；
    矩阵计算单元，用于根据所述第一平移矩阵和所述第二平移矩阵，确定所述旋转矩阵。
  13. 如权利要求12所述的装置，其中，
    所述矩阵计算单元，具体用于基于所述第一平移矩阵与所述第二平移矩阵进行三维仿射变换处理，用以确定所述旋转矩阵。
  14. 如权利要求8所述的装置，其中，
    所述第二坐标获取模块，用于在所述标定板上确定基准点；获取所述摄像装置对于所述基准点采集的第二坐标信息。
  15. 一种用于机器人的坐标系标定装置，包括：
    存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至7中任一项所述的方法。
  16. 一种坐标系标定系统，包括：
    标定板、如权利要求8至15任一项所述的用于机器人的坐标系标定装置。
  17. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如权利要求1至7中任一项所述的方法。
PCT/CN2022/124678 2022-01-14 2022-10-11 用于机器人的坐标系标定方法、装置、系统以及介质 Ceased WO2023134237A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22919871.8A EP4393655A4 (en) 2022-01-14 2022-10-11 METHOD, APPARATUS AND SYSTEM FOR CALIBRATING A COORDINATE SYSTEM FOR A ROBOT, AND SUPPORT
US18/701,461 US12528194B2 (en) 2022-01-14 2022-10-11 Coordinate system calibration method, apparatus and system for robot, and medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210041859.1A CN114310901B (zh) 2022-01-14 2022-01-14 用于机器人的坐标系标定方法、装置、系统以及介质
CN202210041859.1 2022-01-14

Publications (1)

Publication Number Publication Date
WO2023134237A1 true WO2023134237A1 (zh) 2023-07-20

Family

ID=81027023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/124678 Ceased WO2023134237A1 (zh) 2022-01-14 2022-10-11 用于机器人的坐标系标定方法、装置、系统以及介质

Country Status (4)

Country Link
US (1) US12528194B2 (zh)
EP (1) EP4393655A4 (zh)
CN (1) CN114310901B (zh)
WO (1) WO2023134237A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116652970A (zh) * 2023-07-28 2023-08-29 上海仙工智能科技有限公司 一种四轴机械臂2d手眼标定方法及系统、存储介质
CN117237455A (zh) * 2023-09-14 2023-12-15 江苏立讯机器人有限公司 标定方法、装置、电子设备及可读存储介质
CN118584956A (zh) * 2024-05-21 2024-09-03 苏州艾利特机器人有限公司 一种机器人及其光源校正方法
CN121527201A (zh) * 2026-01-16 2026-02-13 成都联科航空技术有限公司 一种基于激光跟踪仪的结构光相机外参标定方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310901B (zh) * 2022-01-14 2023-09-26 北京京东乾石科技有限公司 用于机器人的坐标系标定方法、装置、系统以及介质
CN114833832B (zh) * 2022-05-11 2023-06-20 厦门微亚智能科技有限公司 一种机器人手眼标定方法、装置、设备及可读存储介质
CN114952910B (zh) * 2022-05-26 2025-10-31 杭州海康机器人股份有限公司 一种运动机构的定位方法及装置
CN115619877B (zh) * 2022-11-09 2025-09-12 上海智能制造功能平台有限公司 单目线激光传感器与二轴机床系统的位置关系标定方法
CN117274399A (zh) * 2023-09-19 2023-12-22 深圳速英科技有限公司 相机标定方法、缝纫设备及计算机可读存储介质
CN116945195B (zh) * 2023-09-19 2024-01-12 成都飞机工业（集团）有限责任公司 全向测量设备系统装置、配准方法、电子设备和存储介质
CN118418139B (zh) * 2024-07-03 2024-10-11 成就医学科技(天津)有限公司 机械臂位置对齐方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010172986A (ja) * 2009-01-28 2010-08-12 Fuji Electric Holdings Co Ltd ロボットビジョンシステムおよび自動キャリブレーション方法
CN106335061A (zh) * 2016-11-11 2017-01-18 福州大学 一种基于四自由度机器人的手眼关系标定方法
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质
CN113843792A (zh) * 2021-09-23 2021-12-28 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
CN114310901A (zh) * 2022-01-14 2022-04-12 北京京东乾石科技有限公司 用于机器人的坐标系标定方法、装置、系统以及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007058293A1 (de) * 2007-12-04 2009-06-10 Kuka Roboter Gmbh Kalibriervorrichtung und Verfahren zum Abgleichen eines Roboterkoordinatensystems
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
JP6486679B2 (ja) * 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
CN108818536B (zh) * 2018-07-12 2021-05-14 武汉库柏特科技有限公司 一种机器人手眼标定的在线偏移修正方法及装置
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN110276806B (zh) 2019-05-27 2023-06-09 江苏大学 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN110842914B (zh) * 2019-10-15 2022-09-23 上海交通大学 基于差分进化算法的手眼标定参数辨识方法、系统及介质
CN111775152B (zh) * 2020-06-29 2021-11-05 深圳大学 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN112091971B (zh) * 2020-08-21 2021-10-12 季华实验室 机器人手眼标定方法、装置、电子设备和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010172986A (ja) * 2009-01-28 2010-08-12 Fuji Electric Holdings Co Ltd ロボットビジョンシステムおよび自動キャリブレーション方法
CN106335061A (zh) * 2016-11-11 2017-01-18 福州大学 一种基于四自由度机器人的手眼关系标定方法
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质
CN113843792A (zh) * 2021-09-23 2021-12-28 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
CN114310901A (zh) * 2022-01-14 2022-04-12 北京京东乾石科技有限公司 用于机器人的坐标系标定方法、装置、系统以及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4393655A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116652970A (zh) * 2023-07-28 2023-08-29 上海仙工智能科技有限公司 一种四轴机械臂2d手眼标定方法及系统、存储介质
CN116652970B (zh) * 2023-07-28 2023-10-31 上海仙工智能科技有限公司 一种四轴机械臂2d手眼标定方法及系统、存储介质
CN117237455A (zh) * 2023-09-14 2023-12-15 江苏立讯机器人有限公司 标定方法、装置、电子设备及可读存储介质
CN118584956A (zh) * 2024-05-21 2024-09-03 苏州艾利特机器人有限公司 一种机器人及其光源校正方法
CN118584956B (zh) * 2024-05-21 2025-08-01 苏州艾利特机器人有限公司 一种机器人及其光源校正方法
CN121527201A (zh) * 2026-01-16 2026-02-13 成都联科航空技术有限公司 一种基于激光跟踪仪的结构光相机外参标定方法

Also Published As

Publication number Publication date
EP4393655A1 (en) 2024-07-03
US20250229428A1 (en) 2025-07-17
EP4393655A4 (en) 2025-10-08
CN114310901A (zh) 2022-04-12
CN114310901B (zh) 2023-09-26
US12528194B2 (en) 2026-01-20

Similar Documents

Publication Publication Date Title
WO2023134237A1 (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN107871328B (zh) 机器视觉系统和机器视觉系统实现的校准方法
CN113910219A (zh) 运动臂系统以及控制方法
CN115345942B (zh) 空间标定方法、装置、计算机设备和存储介质
CN105066962B (zh) 一种多分辨率大视场角高精度摄影测量装置
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
WO2011105616A1 (en) Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium
JP2022500793A (ja) 多自由度可動視覚システムのキャリブレーション方法
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
WO2020208686A1 (ja) カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2025060849A1 (zh) 全向测量设备系统装置、配准方法、电子设备和存储介质
US20210008724A1 (en) Method and apparatus for managing robot system
CN115944390A (zh) 一种手术机器人导航定位方法、装置及系统
JP2023159484A (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
US11637948B2 (en) Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium
Ammi et al. Flexible microscope calibration using virtual pattern for 3-d telemicromanipulation
JP2005186193A (ja) ロボットのキャリブレーション方法および三次元位置計測方法
US20230033339A1 (en) Image processing system
JP6275345B1 (ja) 変換係数算出装置、変換係数算出方法及び変換係数算出プログラム
JP2000048204A (ja) 実寸立体モデルの作成方法
KR102585332B1 (ko) 로봇 핸드와 로봇 핸드와 분리된 카메라 간의 캘리브레이션을 수행하는 방법 및 디바이스
Korak et al. Optical tracking system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22919871

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022919871

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022919871

Country of ref document: EP

Effective date: 20240325

WWE Wipo information: entry into national phase

Ref document number: 18701461

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 18701461

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 18701461

Country of ref document: US