TWI853525B - 記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記 - Google Patents

記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記 Download PDF

Info

Publication number
TWI853525B
TWI853525B TW112113379A TW112113379A TWI853525B TW I853525 B TWI853525 B TW I853525B TW 112113379 A TW112113379 A TW 112113379A TW 112113379 A TW112113379 A TW 112113379A TW I853525 B TWI853525 B TW I853525B
Authority
TW
Taiwan
Prior art keywords
marker
coordinate system
mark
robot
specific
Prior art date
Application number
TW112113379A
Other languages
English (en)
Other versions
TW202348378A (zh
Inventor
池口誠人
Original Assignee
日商達誼恆股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商達誼恆股份有限公司 filed Critical 日商達誼恆股份有限公司
Publication of TW202348378A publication Critical patent/TW202348378A/zh
Application granted granted Critical
Publication of TWI853525B publication Critical patent/TWI853525B/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/244—Arrangements for determining position or orientation using passive navigation aids external to the vehicle, e.g. markers, reflectors or magnetic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37068—Setting reference coordinate frame
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39022—Transform between measuring and manipulator coordinate system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)
  • Electromagnetism (AREA)

Abstract

本發明提供一種非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記。在登記標記的位置時能夠防止錯誤地登記坐標系的軸方向。標記位置登記裝置具備：顯示控制部(111)，顯示輸入框，該輸入框使與工業用機器人的特定部位指示標記的特定的位置時的該特定部位對應的機器人坐標系的坐標，與標記被賦予的用於確定特定的位置的位置識別符建立對應地進行輸入；和登記部(112)，基於輸入框中被輸入的內容，登記機器人坐標系中的特定的位置。

Description

記錄有標記位置登記程式的非易失性的電腦可讀取媒體、 標記位置登記裝置、方法以及其中使用的標記
本發明涉及記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、標記位置登記方法以及該方法中使用的標記。
在基於由攝像機拍攝的圖像來進行機器人的動作計畫的情況下，需要導出攝像機的坐標系與機器人的坐標系的相關性，並校準攝像機坐標系與機器人坐標系的位置關係。
在下述專利文獻1中公開了一種方法：在由AR設備檢測出的機器人坐標系確定用標記上設定標記坐標系，基於該設定的標記坐標系來確定機器人的坐標系，對被顯示在AR設備的機器人與現實的機器人的位置關係進行校準。
〔現有技術文獻〕 〔專利文獻〕
專利文獻1：日本專利特開2021-62463號公報
〔發明的概要〕
在專利文獻1的方法中，在機器人坐標系確定用標記上設定標記坐標系時，需要使機器人移動、通過機器人的工具來對機器人坐標系確定用標記的原點、X方向點、Y方向點進行修整(Touch-up，原點坐標系設定)的作業。
但是，為了進行該作業，需要掌握被顯示在AR設備的機器人坐標系確定用標記上的哪個方向與機器人坐標系的各軸對應。因此，例如在作業者的理解不明確的情況下，有可能在指定機器人坐標系的XY方向時指定錯誤的方向來設定標記坐標系。該情況下，無法使機器人正常地動作。
為此，本發明的目的在於，提供一種在登記標記的位置時能夠防止錯誤地登記坐標系的軸方向的記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、標記位置登記方法以及該方法中使用的標記。
本發明的一方式所涉及的電腦可讀取媒體中存儲的標記位置登記程式使電腦作為如下部件發揮功能：顯示控制部，顯示輸入框，該輸入框使與工業用機器人的特定部位指示標記的特定的位置時的該特定部位對應的機器人坐標系的坐標，與標記被賦予的用於確定特定的位置的位置識別符建立對應地進行輸入；和登記部，基於輸入框中被輸入的內容，登記機器人坐標系中的特定的位置。
根據該方式，能夠使與指示標記的特定的位置的工業用機器人的特定部位對應的機器人坐標系的坐標，與該指示的特定的位置被賦予位置 識別符建立對應地輸入，能夠將被輸入的標記的位置識別符與其角部識別符所對應的特定的位置的機器人坐標系的坐標建立對應地進行登記。由此，作業者不用考慮機器人坐標系的軸方向，通過基於標記被賦予的位置識別符來輸入標記的特定的位置，並輸入該特定的位置的機器人坐標系的坐標，從而能夠登記機器人坐標系中的標記的位置。即，能夠在登記標記的位置時，防止錯誤地登記坐標系的軸方向。
在上述方法中，也可以對標記進一步賦予用於確定該標記的標記識別符，在輸入框進一步設有與位置識別符建立對應地輸入標記識別符的項目。
根據該方式，由於能夠將標記被賦予的標記識別符與該標記被賦予的位置識別符建立對應地輸入並進行登記，因此能夠抑制錯誤地輸入並登記標記識別符。
在上述方式中，也可以使上述電腦作為如下部件發揮功能：攝影部，拍攝包含工業用機器人的作業區域以及標記的圖像；檢測部，基於由攝影部拍攝的圖像，檢測通過登記部登記了上述特定的位置的標記；和計算部，基於以攝影部為基準的攝像機坐標系以及以檢測出的標記為基準的標記坐標系各自中的、被檢測出的標記的特定的位置，計算用於對攝像機坐標系和標記坐標系的坐標進行變換的變換式。
根據該方式，在登記了與特定的位置對應的機器人坐標系的坐標的標記在拍攝圖像內被檢測出的情況下，能夠利用該檢測出的標記中的攝像機坐標系以及標記坐標系各自的特定的位置的坐標，計算用於對攝像機坐 標系和標記坐標系的坐標進行變換的變換式。通過使用該變換式，能夠容易地實施對標記和機器人的位置關係進行調整的校準。
在上述方式中，特定的位置可以是與處於單一標記的三個以上的部位分別對應的位置。
根據該方式，由於能夠將作業中使用的標記設為一個，因此能夠減輕標記的管理負擔。
在上述方式中，特定的位置可以是與多個標記中的多個部位分別對應的位置。
根據該方式，由於能夠將特定的位置分散在多個標記中進行設定，因此能夠調整放置標記的位置等，能夠容易變更特定的位置間的距離。若擴大進行變換時的基準點的間隔，則坐標變換時的誤差存在降低的趨勢，因此例如通過擴大配置標記的間隔，增大特定的位置間的距離，從而能夠減小以特定的位置為基準的坐標變換的誤差。
本發明的其他方式所涉及的標記位置登記裝置具備：顯示控制部，顯示輸入框，該輸入框使與工業用機器人的特定部位指示標記的特定的位置時的該特定部位對應的機器人坐標系的坐標，與標記被賦予的用於確定特定的位置的位置識別符建立對應地進行輸入；和登記部，基於輸入框中被輸入的內容，登記機器人坐標系中的特定的位置。
根據該方式，能夠使與指示標記的特定的位置的工業用機器人的特定部位對應的機器人坐標系的坐標，與該指示的特定的位置被賦予的位置識別符建立對應地輸入，能夠將被輸入的標記的位置識別符與該位置識別符所對應的特定的位置的機器人坐標系的坐標建立對應地進行登記。由此， 作業者不用考慮機器人坐標系的軸方向，通過基於標記被賦予的位置識別符來輸入標記的特定的位置，並輸入該特定的位置的機器人坐標系的坐標，從而能夠登記機器人坐標系中的標記的位置。即，能夠在登記標記的位置時，防止錯誤地登記坐標系的軸方向。
本發明的其他方式所涉及的標記位置登記方法是由處理器執行的方法，包含：顯示輸入框的步驟，該輸入框使與工業用機器人的特定部位指示標記的特定的位置時的該特定部位對應的機器人坐標系的坐標，與標記被賦予的用於確定特定的位置的位置識別符建立對應地進行輸入；和基於輸入框中被輸入的內容，登記機器人坐標系中的特定的位置的步驟。
根據該方式，能夠使與指示標記的特定的位置的工業用機器人的特定部位對應的機器人坐標系的坐標，與該指示的特定的位置被賦予的位置識別符建立對應地輸入，能夠將被輸入的標記的位置識別符與該位置識別符所對應的特定的位置的機器人坐標系的坐標建立對應地進行登記。由此，作業者不用考慮機器人坐標系的軸方向，通過基於標記被賦予的位置識別符來輸入標記的特定的位置，並輸入該特定的位置的機器人坐標系的坐標，從而能夠登記機器人坐標系中的標記的位置。即，能夠在登記標記的位置時，防止錯誤地登記坐標系的軸方向。
本發明的其他方式所涉及的標記是用於上述標記位置登記方法的標記。
根據該方式，在登記標記的角部位置時，能夠基於標記被賦予的角部識別符來輸入標記的角部位置，因此能夠防止錯誤地登記坐標系的軸方向。
根據本發明，能夠提供一種在登記標記的位置時能夠防止錯誤地登記坐標系的軸方向的記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、標記位置登記方法以及該方法中使用的標記。
1:攝影裝置
2:機器人控制裝置
3:機械手
11:控制部
12:存儲部
13:通訊部
14:攝影部
15:坐標獲取部
16:顯示部
21:控制部
22:存儲部
23:通訊部
24:焊接電源部
31:多關節臂
32:焊炬
32t:工具
100:焊接機器人系統
111:顯示控制部
112:登記部
113:攝像機坐標系設定部
114:檢測部
115:標記坐標系設定部
116:計算部
F:輸入框
I:識別圖像
ID:標記(標記識別符)
M,Ma:標記
Na:網路
Nb:通訊線纜
S101,S102,S103,S104,S105,S106:步驟
TP:示教器
圖1是例示實施方式所涉及的包含安裝有標記位置登記程式的攝影裝置的焊接機器人系統的結構的圖。
圖2是表示實施方式所涉及的標記的一例的圖。
圖3是例示攝影裝置的功能性結構的圖。
圖4是表示輸入框的一例的圖。
圖5是用於說明在輸入框輸入資料時的具體例的示意圖。
圖6是用於說明實施方式所涉及的安裝有標記位置登記程式的攝影裝置的動作的流程圖。
圖7是表示變形例所涉及的標記的一例的圖。
參照附圖，對本發明的優選的實施方式進行說明。另外，各圖中，賦予同一符號的部件具有相同或者同樣的結構。此外，附圖是示意性的圖，因此各結構要素的尺寸、比例與實際的情況存在差異。
圖1是例示實施方式所涉及的包含安裝有標記位置登記程式的攝影裝置(標記位置登記裝置)1的焊接機器人系統100的結構的圖。焊接機器人系統100例如具備攝影裝置1、機器人控制裝置2、機械手3。攝影裝置1與 機器人控制裝置2例如經由網路Na而連接，機器人控制裝置2與機械手3例如經由通訊線纜Nb而連接。網路Na可以是無線的，也可以是有線(包含通訊線纜)的。另外，焊接機器人系統100中可以包含示教器。示教器是在作業者教示機械手3的動作時使用的操作裝置，能夠與機器人控制裝置2連接而使用。
機械手3是基於機器人控制裝置2中被設定的施工條件來進行電弧焊接的焊接機器人。機械手3例如具有：在被固定於工廠的地面等的基座部件上所設置的多關節臂31、與多關節臂31的前端連結的焊炬32。在多關節臂31的前端還能夠代替焊炬32而連結工具等。
機器人控制裝置2是控制機械手3的動作的控制單元，例如包含控制部21、存儲部22、通訊部23以及焊接電源部24。
控制部21例如是處理器，通過處理器執行在存儲部22中存儲的作業程式，從而控制機械手3以及焊接電源部24。
通訊部23控制與經由網路Na而連接的攝影裝置1的通訊，控制與經由通訊線纜Nb而連接的機械手3的通訊。
焊接電源部24例如為了使焊絲的前端與工件之間產生電弧，基於預先規定的焊接的施工條件將焊接電流以及焊接電壓等提供給機械手3。焊接的施工條件中例如包含焊接條件、焊接開始位置、焊接結束位置、焊接距離以及焊炬的姿勢等的數據項目。焊接條件中例如包含焊接電流、焊接電壓、焊接速度、焊絲進給速度以及工件的厚度等的數據項目。焊接電源部24也可以與機器人控制裝置2獨立地配備。
攝影裝置1例如能夠使用帶有數位相機的平板電腦終端，但是並不限定於此，也可以是帶有數位相機的移動終端。移動終端中例如能夠包 含AR設備、手機、便攜資訊終端(PDA)、筆記本PC(個人電腦)等的可移動的終端。
攝影裝置1例如包含控制部11、存儲部12、通訊部13、攝影部14、坐標獲取部15、顯示部16。
控制部11例如是處理器，通過處理器執行存儲在存儲部12中的標記位置登記程式等程式來控制攝影裝置1的各部。
存儲部12存儲各種程式以及數據。各種程式例如包含實施方式所涉及的標記位置登記程式等。各種數據例如包含與標記有關的標記資訊、與標記的配置有關的標記配置資訊等。對於標記資訊以及標記配置資訊，在以下進行說明。
標記資訊中例如能夠包含用於確定標記的標記ID以及識別圖像、與標記的尺寸有關的尺寸資訊(例如四邊形的各邊的長度、各頂點的角度)、以及與標記的形狀有關的形狀資訊(例如正方形、長方形)等。關於標記的詳細情況在後面敘述。
標記配置資訊中例如能夠按每個標記ID，包含在該ID的標記所設置的每個特定位置(例如標記的四個角部位置)的機器人坐標系上的位置資訊等。另外，也可以將標記配置資訊包含在標記資訊中進行管理。
通訊部13控制與經由網路Na而連接的機器人控制裝置2的通訊。
攝影部14例如是包含鏡頭以及攝像元件(圖像傳感器)的數位相機，將通過鏡頭接受的被攝體的光變換為電信號(數字圖像數據)。數位相 機可以是二維攝像機或者三維攝像機的任一者。本實施方式所涉及的攝影部14，例示地對包含機械手3的作業區域以及標記的圖像進行拍攝。
圖2表示本實施方式所涉及的標記的一例。在該圖所示的標記M的上部中央附近，作為用於確定標記的標記ID(標記識別符)而賦予“1”，在標記M的四個角部附近，作為用於確定角部位置的角部NO(角部識別符)而賦予“0”~“3”的編號。此外，在標記M的周緣部的內側，按每個標記賦予樣式、形狀不同的識別圖像。
另外，標記並不限定於圖2所示的標記，只要是能夠使攝影部14識別的標記即可。作為標記，例如優選使用AR標記。通過使用AR標記，在識別出AR標記時，能夠簡單地實現將以該AR標記為基準的攝像機坐標系重疊於實際的影像進行顯示等。此外，標記識別符並不限定於標記ID，例如也可以是編號、圖像、形狀或者它們的組合。再有，角部識別符並不限定於角部NO，例如也可以是記號、顏色、形狀或者它們的組合。
圖1所示的坐標獲取部15獲取與被攝體對應的坐標數據。與被攝體對應的坐標數據例如能夠通過距離測量傳感器來獲取。作為距離測量傳感器，例如能夠使用LiDAR(Light Detection and Ranging)傳感器、毫米波傳感器、超音波傳感器等。另外，可以基於從不同的多個位置拍攝被攝體而得到的多個圖像來計算並獲取與被攝體對應的坐標數據。
顯示部16例如是具有觸控面板的顯示器，顯示基於攝影部14的被攝體的影像，並且接受作業者的操作指示等輸入。顯示部16也可以作為例如具有觸控面板的顯示器裝置而與攝影裝置1獨立地配備。
圖3是例示本發明所涉及的攝影裝置1的功能性結構的圖。攝影裝置1作為功能性結構例如具有顯示控制部111、登記部112、攝像機坐標系設定部113、檢測部114、標記坐標系設定部115、計算部116。以下依次對各部進行說明。
顯示控制部111控制使顯示部16顯示的內容。作為使顯示部16顯示的內容，例如存在輸入框。
圖4表示輸入框的一例。在該圖的輸入框F中，作為作業者輸入的輸入項目，例示地設有標記ID、角部NO、X坐標、Y坐標以及Z坐標。在輸入框F的標記ID中輸入對標記M賦予的ID。在輸入框F的角部NO中，輸入對機械手3的多關節臂31的前端所連結的工具的前端(特定部位)指示的標記M的角部位置賦予的編號。在輸入框F的X坐標、Y坐標以及Z坐標，輸入工具的前端所對應的機器人坐標系的各坐標。另外，在輸入框F的X坐標、Y坐標以及Z坐標輸入的坐標並不限定是機器人坐標系的坐標，只要是與通過坐標獲取部15獲取的坐標數據的坐標系不同的坐標系即可。
參照圖4以及圖5來進行具體說明。圖5所示的標記M是與圖2的標記M相同的標記。該情況下，將標記M被賦予的ID“1”例如輸入至圖4的輸入框F第一行的標記ID。接下來，圖5的工具32t的前端指示與標記M的角部編號“0”對應的角部位置。因此，將標記被賦予的角部編號“0”輸入至圖4的輸入框F的第一行的角部NO。接下來，在圖5的示教器TP，作為與工具32t的前端對應的機器人坐標系的坐標而顯示有“50，50，50”。因此，在圖4的輸入框F的第一行的X坐標、Y坐標以及Z坐標分別輸入“50”。
圖3所示的登記部112基於輸入框F中被輸入的內容，生成與機器人坐標系中的標記M的位置有關的資訊，並登記在上述的標記配置資訊。由此，能夠將攝像機坐標系的標記M的位置與機器人坐標系的標記M的位置建立對應。
這裡，優選將與處於標記M的四個角部位置之中的三個以上的角部位置有關的資訊輸入中輸入框F，登記在標記配置資訊，但是並不限定於此。例如，也可以登記與處於標記M的一個角部位置有關的資訊，基於該登記的與一個角部位置有關的資訊、該標記M所對應的標記資訊中包含的尺寸資訊及形狀資訊，來計算其他三個角部位置，並登記在標記配置資訊。
攝像機坐標系設定部113設定三維的攝像機坐標系。攝像機坐標系是以攝影部14為基準而設定的坐標系，例如能夠將攝影部14的鏡頭的中心等作為原點來設定三維的攝像機坐標系。
檢測部114從通過攝影部14拍攝的圖像之中，檢測被登記在標記配置資訊的標記。例如，也可以從拍攝圖像識別被賦予至標記的識別圖像的樣式或形狀、或者標記的形狀等，在基於識別出的內容而確定的標記被登記在標記配置資訊中的情況下，將該標記檢測為已登記的標記。
標記坐標系設定部115以通過檢測部114檢測出的標記作為基準來設定三維的標記坐標系。例如，可以將標記的特定的一點(基準點)作為原點來設定三維的標記坐標系。在檢測出的標記存在多個的情況下，例如，可以由作業者任意選擇作為基準的標記並設定標記坐標系，也可以將處於最接近拍攝圖像的中心的位置的標記作為基準來設定標記坐標系。標記的特定 的一點例如可以是標記的中心位置，也可以是作業者在觸控面板上選擇出的位置。
計算部116，基於由檢測部114檢測出的標記的攝像機坐標系以及標記坐標系各自中的角部位置，計算用於對攝像機坐標系與標記坐標系的坐標進行變換的變換式。以下具體進行說明。
首先，分別如以下的式(1)那樣基於標記M的角部NO“0”、“1”、“2”的各坐標來定義攝像機坐標系A以及標記坐標系B。這裡，將角部NO“0”的攝像機坐標系的坐標設為(x0、y0、z0)，將其標記坐標系的坐標設為(x’0、y’0、z’0)。將角部NO“1”的攝像機坐標系的坐標設為(x1、y1、z1)，將其標記坐標系的坐標設為(x’1、y’1、z’1)。將角部NO“2”的攝像機坐標系的坐標設為(x2、y2、z2)，將其標記坐標系的坐標設為(x’2、y’2、z’2)。
Figure 112113379-A0305-02-0014-1
使用上示式(1)的攝像機坐標系A以及標記坐標系B來計算攝像機坐標系和標記坐標系的變換矩陣(A0、B0、Mt)。分別如以下的式(2)那樣定義構成該變換矩陣的坐標A0、坐標B0以及旋轉矩陣Mt。
Figure 112113379-A0305-02-0014-2
上示式(2)的VA如以下式(3)那樣進行計算。
Figure 112113379-A0305-02-0015-3
上示式(3)的vecA0、vecA1以及vecA2分別如以下的式(4)那樣進行計算。
Figure 112113379-A0305-02-0015-4
上示式(2)的VB如以下的式(5)那樣進行計算。
Figure 112113379-A0305-02-0015-5
上示式(5)的vecB0、vecB1以及vecB2分別如以下的式(6)那樣進行計算。
Figure 112113379-A0305-02-0015-6
基於上示的式(1)至式(6)，用於將由坐標獲取部15獲取的攝像機坐標系的點pA變換為標記坐標系的點pB的變換式能夠表示為以下的式(7)。
〔式7〕p B =Mt．(p A -A0)+B0...(7)
同樣，用於將攝像機坐標系的位置向量的點vA變換為標記坐標系的位置向量的點vB的變換式能夠表示為以下的式(8)。
〔式8〕v B =Mt．v A ...(8)
同樣，用於將標記坐標系的點pB變換為攝像機坐標系的點pA的變換式能夠表示為以下的式(9)。
〔式9〕p A =Mt -1．(p B -B0)+A0...(9)
同樣，用於將標記坐標系的位置向量的點vB變換為攝像機坐標系的位置向量的點vA的變換式能夠表示為以下的式(10)。
〔式10〕v A =Mt -1．v B ...(10)
通過上示式(7)至式(10)的變換式，能夠將攝像機坐標系與標記坐標系建立對應，通過標記配置資訊，能夠將標記坐標系與機器人坐標系建立對應。由此，也能夠將攝像機坐標系與機器人坐標系建立對應。
利用上示式(7)至式(10)的變換式，例如能夠進行使顯示部16對機械手3的模型進行AR顯示、在顯示部16上模擬機械手3的動作。
參照圖6，對實施方式所涉及的安裝有標記位置登記程式的攝影裝置1的動作的一例進行說明。
首先，攝影裝置1的控制部11例如使顯示部16顯示圖4所示的輸入框(步驟S101)。顯示輸入框的觸發例如可以是作業者的操作指示，也可以是來自連接示教器TP的機器人控制裝置2的顯示指示。
接下來，攝影裝置1的控制部11基於被輸入至輸入框的內容，登記與機器人坐標系中的標記M的角部位置有關的資訊(步驟S102)。
接下來，攝影裝置1的攝影部14拍攝包含機械手3的作業區域以及標記M的圖像(步驟S103)。
接下來，攝影裝置1的控制部11從上述步驟S103中拍攝的圖像檢測上述步驟S102中登記的標記M(步驟S104)。
接下來，攝影裝置1的控制部11基於上述步驟S104中檢測出的標記M的攝像機坐標系以及標記坐標系各自中的角部位置，計算用於對攝像機坐標系與標記坐標系的坐標進行變換的變換式(步驟S105)。
接下來，攝影裝置1的控制部11利用上述步驟S105中計算的變換式來使顯示部16對機械手3的模型進行AR顯示，使用該模型來模擬機械手3的動作(步驟S106)。然後，結束本動作。
如上述，根據安裝有實施方式所涉及的標記位置登記程式的攝影裝置1，對於指示標記M的角部位置的機械手3的工具32t的前端所對應的機器人坐標系的坐標，能夠與該指示的角部位置被賦予的角部NO對應地進行輸入，能夠將輸入的標記M的角部NO和該角部NO所對應的角部位置的機器人坐標系的坐標建立對應來進行登記。
由此，作業者不用考慮機器人坐標系的軸方向，基於標記M被賦予的角部NO而將標記M的角部位置輸入至輸入框F，將該角部位置的機器人坐標系的坐標輸入至輸入框F，從而能夠登記機器人坐標系中的標記M的位置。即，在登記標記M的位置時，能夠防止錯誤地登記機器人坐標系的軸方向。
此外，由於標記M進一步被賦予標記ID，輸入框F中還設有與角部NO建立對應地輸入標記ID的項目，因此能夠將標記M被賦予的標記ID與該 標記M被賦予的角部NO建立對應並輸入至輸入框F並進行登記。由此，能夠抑制錯誤地輸入標記ID並進行了登記。
再有，在拍攝圖像內檢測出標記配置資訊中登記的標記M的情況下，利用該標記M的攝像機坐標系以及標記坐標系各自的角部位置的坐標，能夠計算對攝像機坐標系和標記坐標系的坐標進行變換的變換式。並且，通過使用該變換式，能夠容易實施對標記M和機械手3的位置關係進行調整的校準。
〔變形例〕
另外，本發明並不限定於上述的實施方式，在不脫離本發明的主旨的範圍內，能夠以其他的各種方式實施。因此，上述實施方式的全部僅僅是例示，並不被解釋為限定。
例如，在上述的實施方式中，登記與處於單一標記M的角部分別對應的機器人坐標系的位置，以該登記的位置作為基準來計算變換式，但是並不限定於此。例如，也可以登記與多個標記中的多個角部分別對應的機器人坐標系的位置，以該登記的位置為基準來計算變換式。
由此，由於能夠將角部位置分散至多個標記M進行設定，因此能夠調整設置標記M的位置等，能夠變更角部位置間的距離。由於若擴大進行變換時的基準點的間隔，則坐標變換時的誤差存在降低的趨勢，因此通過擴大配置標記M的間隔，增大角部位置間的距離，從而能夠減少將角部位置作為基準的坐標變換的誤差。
此外，在上述的實施方式中，對在一個裝置中具備圖1所示的攝影部14、坐標獲取部15以及顯示部16的情況進行了說明，但是並不限定於此， 例如也可以將攝影部14、坐標獲取部15以及顯示部16分別分散地配備在與攝影裝置1獨立的裝置。
此外，在上述的實施方式中，對標記的“角部位置”賦予“角部識別符”，將指示“角部位置”的工具32t的前端所對應的機器人坐標系的坐標輸入至輸入框F，但是並不限定於此。只要能夠對標記的“特定的位置”賦予確定該位置的“位置識別符”，並將指示“特定的位置”的工具32t的前端所對應的機器人坐標系的坐標輸入至輸入框F即可。
參照圖7進行具體說明。在對該圖所示的標記Ma的周緣部的內側賦予的識別圖像I，作為用於確定標記的標記識別符而賦予“10”，在標記Ma的三個特定的位置(×符號的位置)附近，作為用於確定特定的位置的位置識別符而賦予“1”~“3”的編號。
此外，在上述的實施方式中，利用焊接機器人進行了說明，但是並不限定於此。例如，也能夠將本發明應用於包含進行揀選等的搬運機器人在內的工業用機器人。
此外，上述的實施方式中的程式能夠通過CD-ROM等的光碟、磁片、半導體記憶體等的各種記錄媒體(非易失性的電腦可讀取媒體)、或者經由通訊網路等而從服務期裝置(媒體)進行下載，並安裝或者載入至電腦。
1:攝影裝置
111:顯示控制部
112:登記部
113:攝像機坐標系設定部
114:檢測部
115:標記坐標系設定部
116:計算部

Claims (7)

  1. 一種記錄有標記位置登記程式的非易失性的電腦可讀取媒體，所述標記位置登記程式使電腦作為如下部件發揮功能：顯示控制部，顯示輸入框，所述輸入框使與工業用機器人的特定部位指示標記的特定的位置時的該特定部位對應的機器人坐標系的坐標，與所述標記被賦予的用於確定所述特定的位置的位置識別符建立對應地進行輸入；和登記部，基於所述輸入框中被輸入的內容，登記所述機器人坐標系中的所述特定的位置，對所述標記進一步賦予用於確定該標記的標記識別符，在所述輸入框進一步設有：與所述位置識別符建立對應地輸入所述標記識別符的項目。
  2. 根據請求項1所述的記錄有標記位置登記程式的非易失性的電腦可讀取媒體，其中，還使電腦作為如下部件發揮功能：攝影部，拍攝包含所述工業用機器人的作業區域以及所述標記的圖像；檢測部，基於由所述攝影部拍攝的圖像，檢測通過所述登記部登記了所述特定的位置的所述標記；和計算部，基於以所述攝影部為基準的攝像機坐標系以及以檢測出的所述標記為基準的標記坐標系各自中的、被檢測出的所述標記的特定的位置，計算用於對攝像機坐標系和標記坐標系的坐標進行變換的變換式。
  3. 根據請求項1所述的記錄有標記位置登記程式的非易失性的電腦可讀取媒體，其中， 所述特定的位置是與處於單一標記的三個以上的部位分別對應的位置。
  4. 根據請求項1所述的記錄有標記位置登記程式的非易失性的電腦可讀取媒體，其中，所述特定的位置是與多個標記中的多個部位分別對應的位置。
  5. 一種標記位置登記裝置，具備：顯示控制部，顯示輸入框，所述輸入框使與工業用機器人的特定部位指示標記的特定的位置時的該特定部位對應的機器人坐標系的坐標，與所述標記被賦予的用於確定所述特定的位置的位置識別符建立對應地進行輸入；和登記部，基於所述輸入框中被輸入的內容，登記所述機器人坐標系中的所述特定的位置，對所述標記進一步賦予用於確定該標記的標記識別符，在所述輸入框進一步設有：與所述位置識別符建立對應地輸入所述標記識別符的項目。
  6. 一種標記位置登記方法，是由處理器執行的方法，包含：顯示輸入框的步驟，所述輸入框使與工業用機器人的特定部位指示標記的特定的位置時的該特定部位對應的機器人坐標系的坐標，與所述標記被賦予的用於確定所述特定的位置的位置識別符建立對應地進行輸入；和基於所述輸入框中被輸入的內容，登記所述機器人坐標系中的所述特定的位置的步驟，對所述標記進一步賦予用於確定該標記的標記識別符，在所述輸入框進一步設有：與所述位置識別符建立對應地輸入所述標記識別符的項目。
  7. 一種標記，用於請求項6所述的標記位置登記方法。
TW112113379A 2022-06-09 2023-04-11 記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記 TWI853525B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022093872A JP7340069B1 (ja) 2022-06-09 2022-06-09 マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ
JP2022-093872 2022-06-09

Publications (2)

Publication Number Publication Date
TW202348378A TW202348378A (zh) 2023-12-16
TWI853525B true TWI853525B (zh) 2024-08-21

Family

ID=85873638

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112113379A TWI853525B (zh) 2022-06-09 2023-04-11 記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記

Country Status (6)

Country Link
US (1) US20230405827A1 (zh)
EP (1) EP4289565A1 (zh)
JP (1) JP7340069B1 (zh)
KR (1) KR102942116B1 (zh)
CN (1) CN117213359A (zh)
TW (1) TWI853525B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102674073A (zh) * 2011-03-09 2012-09-19 欧姆龙株式会社 图像处理装置及图像处理系统和引导装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2959043B2 (ja) * 1990-05-09 1999-10-06 オムロン株式会社 画像処理装置
JP3394278B2 (ja) * 1992-12-03 2003-04-07 ファナック株式会社 視覚センサ座標系設定治具及び設定方法
JP5272617B2 (ja) 2008-09-26 2013-08-28 株式会社Ｉｈｉ ロボット装置及びロボット装置の制御方法
JP2014180720A (ja) 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
EP3366433B1 (en) * 2017-02-09 2022-03-09 Canon Kabushiki Kaisha Method of controlling robot, method of teaching robot, and robot system
JP6880982B2 (ja) 2017-04-21 2021-06-02 セイコーエプソン株式会社 制御装置およびロボットシステム
EP3566824B1 (en) * 2018-05-11 2023-06-28 Siemens Aktiengesellschaft Method, apparatus, computer-readable storage media and a computer program for robotic programming
JP7237483B2 (ja) 2018-07-18 2023-03-13 キヤノン株式会社 ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
US12036663B2 (en) * 2019-03-25 2024-07-16 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
JP7359633B2 (ja) 2019-10-17 2023-10-11 ファナック株式会社 ロボットシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102674073A (zh) * 2011-03-09 2012-09-19 欧姆龙株式会社 图像处理装置及图像处理系统和引导装置

Also Published As

Publication number Publication date
CN117213359A (zh) 2023-12-12
KR20230169836A (ko) 2023-12-18
TW202348378A (zh) 2023-12-16
US20230405827A1 (en) 2023-12-21
KR102942116B1 (ko) 2026-03-23
JP2023180509A (ja) 2023-12-21
JP7340069B1 (ja) 2023-09-06
EP4289565A1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
US11565427B2 (en) Robot system
US12337474B2 (en) Robot teaching system
EP1215017A2 (en) Robot teaching apparatus
JP2005300230A (ja) 計測装置
JP7366264B2 (ja) ロボット教示方法及びロボット作業方法
JP7359633B2 (ja) ロボットシステム
JP2017077614A (ja) 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置
JP2017056546A (ja) ロボットの機構パラメータを校正するために使用される計測装置
TWI818717B (zh) 作業程式作成系統以及作業程式作成方法
JP5198078B2 (ja) 計測装置および計測方法
CN115213894A (zh) 机器人图像的显示方法、显示系统以及记录介质
JP7533265B2 (ja) 支援システム、画像処理装置、支援方法およびプログラム
TWI853525B (zh) 記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記
CN113858214A (zh) 一种用于机器人作业的定位方法与控制系统
JP7660686B2 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP2024025076A (ja) マーカ位置登録装置、マーカ位置登録プログラム及びマーカ位置登録方法
JP2024025074A (ja) マーカ位置登録装置、マーカ位置登録プログラム及びマーカ位置登録方法
JP7228070B1 (ja) 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
US12617090B2 (en) Terminal device
JP7741130B2 (ja) 可搬型端末
TW202444535A (zh) 終端裝置
WO2025013294A1 (ja) 教示システム、教示装置、ロボット制御装置、及びプログラム
JP2023119466A (ja) 画像処理装置