CN115515744B - 焊接条件设定辅助装置 - Google Patents

焊接条件设定辅助装置

Info

Publication number
CN115515744B
CN115515744B CN202180033600.6A CN202180033600A CN115515744B CN 115515744 B CN115515744 B CN 115515744B CN 202180033600 A CN202180033600 A CN 202180033600A CN 115515744 B CN115515744 B CN 115515744B
Authority
CN
China
Prior art keywords
sputtering
region
candidate
reflected light
spatter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180033600.6A
Other languages
English (en)
Other versions
CN115515744A (zh
Inventor
近藤晓靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN115515744A publication Critical patent/CN115515744A/zh
Application granted granted Critical
Publication of CN115515744B publication Critical patent/CN115515744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by any single one of main groups B23K1/00 - B23K28/00
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by any single one of main groups B23K1/00 - B23K28/00 relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Image Analysis (AREA)

Abstract

设置图像处理部(141b)，使计算机(140)执行以下步骤：溅射候补区域检测步骤，针对在电弧焊接时拍摄有工件(170)的多个输入图像的各个输入图像，基于表示输入图像中包含的像素的明亮度的像素值，进行溅射候补区域的检测；反射光区域确定步骤，基于各溅射候补区域中包含的规定的参照像素的颜色信息，确定溅射候补区域检测步骤中检测到的溅射候补区域之中拍摄到电弧光的反射光的反射光区域；和溅射数确定步骤，针对各输入图像，将溅射候补区域检测步骤中检测到的溅射候补区域之中、除通过反射光区域确定步骤而确定的反射光区域以外的溅射候补区域的数量确定为溅射数。

Description

焊接条件设定辅助装置
技术领域
本公开涉及在通过对工件与电极之间施加电压来使工件与电极之间产生电弧来进行电弧焊接时辅助焊接条件的设定的装置。
背景技术
专利文献1中公开的焊接条件设定辅助装置针对电弧焊接时拍摄工件的多个输入图像的各输入图像，基于表示各输入图像中包含的像素的明亮度的像素值来进行溅射的检测，确定检测出的溅射的数量。
在先技术文献
专利文献
专利文献1：国际公开第2019/239644号
发明内容
-发明要解决的课题-
但是，在上述专利文献1中，由于基于表示各输入图像中包含的像素的明亮度的像素值来检测溅射，因此可能将来自电弧光的周边设备的反射光误检测为溅射，不能准确地确定溅射的数量。但是，在专利文献1中，针对该问题并未采取任何对策。
本公开鉴于上述情况而作出，其目的在于，能够更加准确地确定输入图像的溅射的数量。
-解决课题的手段-
在本公开的一方式中，焊接条件设定辅助装置是在通过对工件与电极之间施加电压使工件与电极之间产生电弧来进行电弧焊接时辅助焊接条件的设定的装置，所述焊接条件设定辅助装置具备图像处理部，所述图像处理部执行以下步骤：溅射候补区域检测步骤，针对在所述电弧焊接时拍摄有所述工件的多个输入图像的各个输入图像，基于表示该输入图像中包含的像素的明亮度的像素值，进行溅射候补区域的检测；反射光区域确定步骤，基于各溅射候补区域中包含的规定的参照像素的颜色信息，从所述溅射候补区域检测步骤中检测出的溅射候补区域，确定拍摄到电弧光的反射光的反射光区域；和溅射数确定步骤，将所述溅射候补区域检测步骤中检测出的各输入图像的溅射候补区域之中、除所述反射光区域确定步骤中所确定的反射光区域以外的溅射候补区域的数量确定为各输入图像的溅射数。
根据该方式，在溅射候补区域检测步骤中，即使将拍摄到电弧光的来自周边设备的反射光的区域检测为溅射候补区域，也将溅射候补区域检测步骤中检测出的溅射候补区域之中除拍摄到电弧光的反射光的反射光区域以外的溅射候补区域的数量确定为溅射数，因此能够更加准确地确定输入图像的溅射的数量。
-发明效果-
根据本公开所涉及的焊接条件设定辅助装置，能够更加准确地确定输入图像的溅射的数量。
附图说明
图1是表示具备作为本公开的实施方式所涉及的焊接条件设定辅助装置的计算机的焊接系统的概要结构的图。
图2是表示电弧焊接时产生的溅射的说明图。
图3是表示使用作为本公开的实施方式所涉及的焊接条件设定辅助装置的计算机来确定溅射数的步骤的流程图。
图4是对被检测的溅射进行示例的说明图。
图5是表示第1列表修正处理的步骤的流程图。
图6是表示背景亮点区域去除处理的步骤的流程图。
图7是表示反射光区域去除处理的步骤的流程图。
图8是对加工图像进行示例的说明图。
具体实施方式
以下，基于附图来说明本公开的实施方式。以下的优选的实施方式的说明本质上仅仅是示例，并不是意图限制本公开、其应用物或者其用途。
图1表示焊接系统100。该焊接系统100具备：焊接机器人110、摄像机120、容纳于该摄像机120的存储卡130、作为本公开的实施方式所涉及的焊接条件设定辅助装置的计算机140、与该计算机140连接的读卡器150。
如图2中所示，焊接机器人110具备能够保持焊线160的焊炬111，通过对保持于焊接夹具(夹子)的工件170与保持于焊炬111的作为电极的焊线160之间施加电压，使工件170与焊线160之间产生电弧A来进行电弧焊接。在电弧焊接时，工件170的被焊接部分熔融并形成熔池171，溅射SP从熔池171飞散。另外，在焊炬111的前端，设置用于喷出保护气体的喷出孔(未图示)。
摄像机120被设置于能够经由ND(Neutral Density)滤光片(未图示)来对包含工件170整体在内的溅射SP的飞散区域整体进行拍摄的位置，将拍摄的动态图像保存于存储卡130。另外，摄像机120的帧率(拍摄速度)被设定为60fps。此外，摄像机120的焦点、光圈以及电子快门的快门速度被固定。
计算机140具备计算机主体141和显示器142。计算机主体141具备存储部141a和图像处理部141b。
计算机主体141的存储部141a对通过将拍摄到溅射SP的多张图像、未拍摄到溅射SP的多张图像作为示教数据的监督学习而生成的学习完毕模型进行存储。作为用于生成学习完毕模型的监督学习的方法，例如使用深度学习。此外，存储部141a还存储通过摄像机120而拍摄的动态图像、将该动态图像分割而得到的静止图像。
计算机主体141的图像处理部141b对插入到读卡器150的存储卡130中保存的动态图像进行读取，保存于存储部141a。此外，图像处理部141b将保存于存储部141a的动态图像分割为静止图像(帧)并作为输入图像而保存于存储部141a。进一步地，图像处理部141b生成对存储部141a中保存的多个输入图像的各输入图像实施了规定的加工后的加工图像I(参照图8)。后面叙述加工图像I的生成方法的详细。
显示器142对通过计算机主体141的图像处理部141b而生成的加工图像I进行显示。
以下，参照图3来说明设定焊接系统100的焊接条件的步骤。
首先，在(S101)中，在用户使焊接机器人110进行电弧焊接的状态下，使摄像机120执行拍摄，使拍摄到的动态图像保存于存储卡130。由此，包含电弧焊接时的工件170整体在内的溅射SP的飞散区域整体的动态图像被保存于存储卡130。此时，被拍摄以及保存的动态图像的帧率为60fps。
接下来，在(S102)中，用户从摄像机120取出存储卡130并插入到读卡器150，使保存于存储卡130的动态图像从读卡器150传送至计算机主体141。然后，计算机主体141的图像处理部141b接收从读卡器150传送的动态图像，保存于存储部141a。
接下来，在(S103)中，用户使计算机主体141的图像处理部141b将保存于存储部141a的电弧焊接时的动态图像分割为多个静止图像(帧)，将全部静止图像作为输入图像而保存于存储部141a。此时，对于每1秒的动态图像，60张输入图像被保存于存储部141a。各输入图像是彩色图像，各像素的颜色通过RGB颜色空间中定义的颜色信息而表现。
接下来，在(S104)中，图像处理部141b将保存于存储部141a的输入图像之中、尚未转换为灰度图像的输入图像转换为灰度图像。
接下来，在(S105)中，图像处理部141b针对(S104)中得到的灰度图像，实施将像素值为规定的阈值Gs以下的像素的像素值转换为表示黑色的值(0)的处理，设为溅射检测对象图像IM。由此，表示明亮度的像素值超过规定的阈值Gs的像素被确定为黑色以外的像素。并且，例如图4所示，对溅射检测对象图像IM中的包含黑色以外的像素连续多个的高亮度区域HR的溅射候补区域SR进行检测(溅射候补区域检测步骤)。图4中，PB表示黑色的像素，PW表示黑色以外的像素。溅射候补区域SR是正方形的区域。高亮度区域HR位于除溅射候补区域SR的外周部以外的区域。在图4的例子中，高亮度区域HR位于溅射候补区域SR的中央。这里的溅射候补区域SR的检测使用存储部141a中存储的学习完毕模型而进行。并且，作成对检测出的全部的溅射候补区域SR进行确定的第1溅射列表ListGs。
接下来，在(S106)中，图像处理部141b对(S104)中得到的灰度图像，实施将像素值为规定的阈值Gm以下的像素的像素值转换为表示黑色的值(0)的处理。然后，对处理后的图像中的包含黑色以外的像素连续多个的高亮度区域HR在内的溅射候补区域SR进行检测。这里的溅射候补区域SR的检测也使用存储部141a中存储的学习完毕模型来进行。另外，阈值Gm被设定为比阈值Gs大的值。并且，作成对检测出的全部溅射候补区域SR进行确定的第2溅射列表ListGm。
接下来，在(S107)中，图像处理部141b针对(S104)中得到的灰度图像，实施将像素值为规定的阈值Gl以下的像素的像素值转换为表示黑色的值(0)的处理。然后，对处理后的图像中的包含黑色以外的像素连续多个的高亮度区域HR在内的溅射候补区域SR进行检测。这里的溅射候补区域SR的检测也使用存储部141a中存储的学习完毕模型来进行。另外，阈值Gl被设定为比阈值Gm大的值。并且，作成对检测出的全部溅射候补区域SR进行确定的第3溅射列表ListGl。另外，在第1～第3溅射列表ListGs、ListGm、ListGl中，通过左上的像素P的坐标、横向的长度X以及纵向的长度Y来确定溅射候补区域SR。
这里，由于溅射SP的尺寸越大，其明亮度越大，因此(S105)～(S107)中确定的溅射候补区域SR中拍摄到的溅射SP分别为大于与阈值Gs、Gm、Gl相应的尺寸的溅射SP。
接下来，在(S108)中，图像处理部141b作成对从第1溅射列表ListGs中确定的溅射候补区域SR去除了第2溅射列表ListGm中确定的溅射候补区域SR后的溅射候补区域SR进行确定的小溅射列表SmallS。
接下来，在(S109)中，图像处理部141b作成对从第2溅射列表ListGm中确定的溅射候补区域SR去除了第3溅射列表ListGl中确定的溅射候补区域SR后的溅射候补区域SR进行确定的中溅射列表MiddleS。
接下来，在(S110)中，图像处理部141b将第3溅射列表ListGl直接设为大溅射列表LargeS。
接下来，在(S111)中，图像处理部141b判断尚未进行向灰度图像的转换((S104)～(S110)的处理)的输入图像(帧)是否残留于存储部141a。并且，在残留的情况下，返回到(S104)，另一方面，在未残留的情况下，进入到(S112)。
并且，在(S112)中，图像处理部141b进行以下的第1列表修正处理。
图5表示(S112)中进行的第1列表修正处理的步骤。
在(S112)中，首先，在(S201)中，图像处理部141b对保存于存储部141a的全部输入图像中检测到的全部溅射候补区域SR的中心坐标进行检测。换句话说，图像处理部141b对全部输入图像的第1溅射列表ListGs中确定的全部溅射候补区域SR的中心坐标进行计算。
接下来，在(S202)中，图像处理部141b针对输入图像上的各位置(坐标)，将(S201)中被计算为溅射候补区域SR的中心坐标的次数计算为溅射检测次数，对该溅射检测次数的分布进行存储。
接下来，在(S203)中，图像处理部141b将(S202)中计算的溅射检测次数为规定的基准次数以上的输入图像上的坐标(位置)确定为背景亮点。并且，作成对背景亮点的坐标进行确定的背景亮点坐标列表。
接下来，在(S204)中，图像处理部141b针对存储部141a中保存的全部输入图像，进行将其中心坐标存在于(S203)中作成的背景亮点坐标列表的溅射候补区域SR从小溅射列表SmallS、中溅射列表MiddleS以及大溅射列表LargeS去除的背景亮点区域去除处理。换句话说，通过该背景亮点区域去除处理而被去除的溅射候补区域SR为全部输入图像的第1溅射列表ListGs中确定的全部的溅射候补区域SR之中、作为溅射候补区域SR的检测次数为规定的基准次数以上的区域。
这里，参照图6来说明针对小溅射列表SmallS的背景亮点区域去除处理的具体步骤。针对中溅射列表MiddleS以及大溅射列表LargeS的背景亮点区域去除处理也通过同样的步骤来进行。
首先，在(S301)中，图像处理部141b设定为k＝0。
接下来，在(S302)中，图像处理部141b设定为k＝k+1。
接下来，在(S303)中，图像处理部141b判断小溅射列表SmallS的第k个溅射候补区域SR的中心坐标是否存在于背景亮点坐标列表。在第k个溅射候补区域SR的中心坐标不存在于背景亮点坐标列表的情况下，进入到(S305)，在存在的情况下，将小溅射列表SmallS的第k个溅射候补区域SR确定为背景亮点区域，进入到(S304)。
在(S304)中，图像处理部141b将第k个溅射候补区域SR从小溅射列表SmallS删除。
在(S305)中，图像处理部141b判断是否对小溅射列表SmallS的全部的溅射候补区域SR进行了(S303)的判断，在未进行的情况下，返回到(S302)，在进行了的情况下，结束背景亮点区域去除处理。
接下来，在(S113)中，图像处理部141b针对全部输入图像，进行以下的第2列表修正处理。第2列表修正处理对第1列表修正处理后的小溅射列表SmallS、中溅射列表MiddleS以及大溅射列表LargeS，进行以下的反射光区域去除处理。
这里，参照图7来说明针对小溅射列表SmallS的反射光区域去除处理的具体步骤。针对中溅射列表MiddleS以及大溅射列表LargeS的反射光区域去除处理也通过同样的步骤来进行。
首先，在(S401)中，图像处理部141b对保存于存储部141a的小溅射列表SmallS中确定的全部的溅射候补区域SR的中心坐标进行计算。
接下来，在(S402)中，图像处理部141b针对小溅射列表SmallS中确定的全部的溅射候补区域SR，计算(S401)中计算出的中心坐标周围的规定的参照像素CP(参照图4)的颜色信息的红色分量的平均值、绿色分量的平均值以及蓝色分量的平均值。这里，参照像素CP是与溅射候补区域SR共用中心的正方形的平均值计算区域AR中包含的全部的像素。平均值计算区域AR的面积被设定为溅射候补区域SR的面积的90％。
接下来，在(S403)中，图像处理部141b设定为n＝0。
接下来，在(S404)中，图像处理部141b设定为n＝n+1。
并且，在(S405)中，图像处理部141b针对小溅射列表SmallS的第n个溅射候补区域SR，参照(S402)中的计算结果，判断是否满足参照像素CP的颜色信息的绿色分量的平均值Gave大于第1设定值α与参照像素CP的颜色信息的红色分量的平均值Rave的积、并且参照像素CP的颜色信息的蓝色分量的平均值Bave大于第2设定值β与参照像素CP的颜色信息的红色分量的平均值Rave的积这一条件。第1设定值α以及第2设定值β被设定为1以上的值。优选地，第1设定值α被设定为1.35以上，第2设定值β被设定为1.31以上。并且，在满足该条件的情况下，将小溅射列表SmallS的第n个溅射候补区域SR确定为拍摄有电弧光的反射光的反射光区域，进入到(S406)。换句话说，将满足该条件的溅射候补区域SR确定为反射光区域。另一方面，在不满足该条件的情况下，进入(S407)。
在(S406)中，图像处理部141b从小溅射列表SmallS删除第n个溅射候补区域SR。
在(S407)中，图像处理部141b判断是否针对小溅射列表SmallS的全部的溅射候补区域SR进行了(S405)的判断，在未进行的情况下返回到(S404)，在进行了的情况下，结束反射光区域去除处理。
接下来，在(S114)中，图像处理部141b将修正处理后的小溅射列表SmallS中确定的溅射候补区域SR的数量确定为较小的溅射SP的溅射数S。此外，将修正处理后的中溅射列表SmallM中确定的溅射候补区域SR的数量确定为中等程度的大小的溅射SP的溅射数M。进一步地，将修正处理后的大溅射列表LargeS中确定的溅射候补区域SR的数量确定为较大的溅射SP的溅射数L。这样，即使电弧A的光从焊接夹具(夹子)、焊炬111、焊接机器人110的主体等的周边设备反射并在(S105)～(S107)中将拍摄有来自该周边设备的反射光的区域检测为溅射候补区域SR，也能够从小溅射列表SmallS、中溅射列表MiddleS以及大溅射列表LargeS去除(S112)中确定的背景亮点区域以及(S113)中确定的反射光区域，因此能够更加准确地确定溅射数S、M、L。
在(S115)中，图像处理部141b将溅射数S、M、L的合计确定为合计溅射数T。进一步地，如图8所示，图像处理部141b生成针对各输入图像实施了如下各个加工而得到的加工图像I，上述各个加工为：对图像的左上角赋予溅射数S、M、L以及合计溅射数T的显示的加工；和将(S112)以及(S113)中的修正处理后的小溅射列表SmallS中确定的溅射候补区域SR由蓝色的矩形状的框F1包围、将(S112)以及(S113)中的修正处理后的中溅射列表MiddleS中确定的溅射候补区域SR由黄色的矩形状的框F2包围、并且将(S112)以及(S113)中的修正处理后的大溅射列表LargeS中确定的溅射SP由红色的矩形状的框F3包围的加工。另外，图8中，通过虚线来表示蓝色的框F1，通过实线来表示黄色的框F2，通过点线来表示红色的框F3。此外，图8中，A’表示电弧A的光以及从烟气反射的电弧A的光。合计溅射数T为从第1溅射列表ListGs中确定的溅射候补区域SR去除了针对3个列表SmallS、MiddleS、LargeS通过(S112)而确定的背景亮点区域、针对3个列表SmallS、MiddleS、LargeS通过(S113)而确定的反射光区域之后的溅射候补区域SR的数量。
这样，在(S112)～(S115)中，图像处理部141b执行以下步骤：从(S105)中检测出的溅射候补区域SR，基于各溅射候补区域SR中包含的规定的参照像素CP的颜色信息来确定拍摄有电弧光的反射光的反射光区域的反射光区域确定步骤；将(S105)中检测为溅射候补区域SR的次数为规定的基准次数以上的区域确定为背景亮点区域的背景亮点区域确定步骤；和将(S105)中检测的溅射候补区域SR之中、去除了通过所述反射光区域确定步骤而确定的反射光区域和通过所述背景亮点区域确定步骤而确定的背景亮点区域之后的溅射候补区域SR的数量确定为各输入图像的合计溅射数T的溅射数确定步骤。
在(S116)中，显示器142对(S115)中生成的加工图像I进行显示。用户通过参照显示于显示器142的溅射数S、M、L以及合计溅射数T，来判断施加于工件170与焊线160之间的电压值等的焊接条件的合适与否。用户在将焊接条件判断为不合适的情况下，变更焊接条件以使得减少较大的溅射SP的数量，再次执行(S101)～(S116)的处理。此外，此时在显示器142，溅射SP赋予与其大小相应的颜色的框F1、F2、F3而被显示，因此用户通过参照这些框F1、F2、F3，能够判断显示于显示器142的溅射数S、M、L、T的可靠性。
在摄像机120的帧率与焊接电流的频率不同等的情况下，在输入图像的拍摄定时未必产生电弧光。因此，尽管存在使电弧光向摄影范围反射的周边设备，但是拍摄有来自该周边设备的反射光的输入图像的数量较少，在(S112)中，可能无法将拍摄有来自该周边设备的反射光的区域确定为背景亮点区域。但是，即使在这种情况下，在本实施方式中，基于溅射候补区域SR的参照像素CP的颜色信息来确定各输入图像中的反射光区域，从小溅射列表SmallS、中溅射列表MiddleS以及大溅射列表LargeS去除背景亮点区域和反射光区域这两者，因此相比于仅去除背景亮点区域的情况，能够更加准确地确定溅射数S、M、L。
此外，在构成机械的指示灯的红色LED(Light Emitting Diode)的光、日光等来自一直点亮的光源的发红的外部光照射到存在于摄影范围的周边设备的情况下，在(S113)中，可能无法将拍摄有这样发红颜色的外部光的反射光的区域确定为反射光区域。但是，即使在这种情况下，在本实施方式中，也确定作为溅射候补区域SR的检测次数为规定的基准次数以上的背景亮点区域，从小溅射列表SmallS、中溅射列表MiddleS以及大溅射列表LargeS去除背景亮点区域和反射光区域这两者，因此相比于仅去除反射光区域的情况，能够更加准确地确定溅射数S、M、L。
此外，一般地，电弧A是5000～20000℃左右，产生苍白的光。另一方面，溅射SP是比电弧A低的700～1300℃左右，产生发红色的光。因此，通过本实施方式，由于将参照像素CP的颜色信息的绿色分量的平均值大于第1设定值α与红色分量的平均值的积、并且参照像素CP的颜色信息的蓝色分量的平均值大于第2设定值β与红色分量的平均值的积的溅射候补区域SR确定为反射光区域，因此容易将拍摄有电弧A的反射光的溅射候补区域SR确定为反射光区域，而不是溅射SP。
此外，由于图像处理部141b基于溅射候补区域SR的除外周部以外的平均值计算区域AR中包含的参照像素CP的颜色信息的平均值来确定反射光区域，因此外周部的较暗的区域(并非高亮度区域HR的区域)的像素的颜色信息不会影响反射光区域的确定。因此，相比于基于溅射候补区域SR整体的像素的颜色信息的平均值来确定反射光区域的情况，能够将高亮度区域HR的像素的颜色信息更加显著地反映到反射光区域的确定。
此外，一般地，即使较小的溅射SP固着于工件170，溅射SP也容易通过金属刷等而去除，另一方面，若较大的溅射SP固着于工件170，则溅射SP若不通过磨床等研磨则不能去除，去除所需的工时增大。通过本实施方式，在(S116)中，由于多个种类的大小的溅射SP的数量、即溅射数S、M、L显示于显示器142，因此用户能够参照这些溅射数S、M、L，设定焊接条件，以使得容忍较小的溅射SP的发生，抑制较大的溅射SP的发生。因此，能够削减溅射SP的去除所需的工时。
此外，在(S105)～(S107)中，由于图像处理部141b通过使用以拍摄到溅射SP的多张图像、未拍摄到溅射SP的多张图像为示教数据的监督学习而生成的学习完毕模型来进行溅射候补区域SR的检测，因此相比于将包含黑色以外的像素连续多个的部分的区域全部检测为溅射候补区域SR的情况，难以将包含保护气体、装置的一部分等并非溅射SP的区域检测为溅射候补区域SR。因此，能够减少误检测的可能性。
此外，一般地，溅射SP越大则越重，移动速度越低，因此溅射SP越大，映入一个输入图像的溅射SP的轨迹越短。因此，即使在缩窄摄影范围的情况下，较大的溅射SP也比较小的溅射SP容易收纳于摄影范围内，难以发生较大的溅射SP的检测遗漏。
另外，在本实施方式中，在(S104)中图像处理部141b将输入图像暂时转换为灰度图像，但也可以不将输入图像转换为灰度图像，而从输入图像直接确定表示明亮度的像素值超过规定的阈值的像素。
此外，在本实施方式中，在(S105)～(S107)中，使用学习完毕模型来进行了溅射候补区域SR的检测，但也可以将包含黑色以外的像素连续多个的区域的规定的形状的区域全部检测为溅射候补区域SR。此外，也可以将包含黑色以外的像素连续第1个数以上且第2个数(>第1个数)以下的区域的规定的形状的区域全部检测为溅射候补区域SR。在这样的情况下，将包含黑色以外的像素连续超过第2个数的区域在内的区域并不检测为溅射候补区域SR，因此能够防止包含不是溅射SP的区域被误检测为溅射候补区域SR。
此外，在本实施方式中，在(S201)～(S203)中，将相当于被检测的溅射候补区域SR的中心坐标的次数为规定的基准次数以上的输入图像上的坐标确定为背景亮点。但是，也可以将相当于被检测的溅射候补区域SR的中心以外的规定位置的次数为规定的基准次数以上的输入图像上的坐标确定为背景亮点。例如，也可以将相当于被检测的溅射候补区域SR的左上的坐标的次数为规定的基准次数以上的输入图像上的坐标确定为背景亮点，对各列表SmallS、MiddleS、LargeS，进行去除该左上的坐标为背景亮点的溅射候补区域SR的修正处理。
此外，在本实施方式中，在(S201)～(S203)中，基于全部输入图像的第1溅射列表ListGs来作成背景亮点坐标列表，将该背景亮点坐标列表兼用于(S204)中的小溅射列表SmallS、中溅射列表MiddleS以及大溅射列表LargeS的背景亮点区域去除处理。但是，也可以将基于全部输入图像的小溅射列表SmallS而作成的背景亮点坐标列表用于小溅射列表SmallS的背景亮点区域去除处理，将基于全部输入图像的中溅射列表MiddleS而作成的背景亮点坐标列表用于中溅射列表MiddleS的背景亮点区域去除处理，将基于全部输入图像的大溅射列表LargeS而作成的背景亮点坐标列表用于大溅射列表LargeS的背景亮点区域去除处理。
此外，在本实施方式中，设为将平均值计算区域AR与溅射候补区域SR共用中心的正方形的区域，但若是溅射候补区域SR之中除外周部以外的区域，则也可以设为与溅射候补区域SR共用中心的圆形的区域等其他区域。此外，将平均值计算区域AR的面积设为溅射候补区域SR的面积的90％，但若小于100％，则也可以设为其他的比例。
此外，在本实施方式中，图像处理部141b在(S112)以及(S113)中，对小溅射列表SmallS、中溅射列表MiddleS以及大溅射列表LargeS进行了第1以及第2列表修正处理，但也可以不进行(S112)的第1列表修正处理而仅进行(S113)的第2列表修正处理。
此外，在本实施方式中，针对输入图像，对检测出的溅射SP实施附有框F1、F2、F3的加工并设为加工图像I，但也可以实施附有框F1、F2、F3以外的标记的加工并设为加工图像I。
此外，在本实施方式中，计算机主体141的图像处理部141b从读卡器150接收包含输入图像的动态图像，但也可以从其他信息传达装置接收。
此外，在本实施方式中，将本公开应用于使用焊接机器人110的电弧焊接，但本公开也能够应用于通过手动作业来进行焊炬的操作的情况。
此外，本公开也能够应用于施加于工件170与焊线160之间的电压不是脉冲电压的情况和是脉冲电压的情况的任一者。
产业上的可利用性
本公开的焊接条件设定辅助装置能够更加准确地确定输入图像的溅射的数量，作为在通过对工件与电极之间施加电压来使工件与电极之间产生电弧来进行电弧焊接时辅助焊接条件的设定的装置有用。
-符号说明-
140 计算机(焊接条件设定辅助装置)
141b 图像处理部
160 焊线(电极)
170 工件
A 电弧
SP 溅射
SR 溅射候补区域
HR 高亮度区域
CP 参照像素
T 合计溅射数
α 第1设定值
β 第2设定值。

Claims (5)

1.一种焊接条件设定辅助装置，在通过对工件与电极之间施加电压从而使工件与电极之间产生电弧来进行电弧焊接时，辅助焊接条件的设定，
所述焊接条件设定辅助装置具备图像处理部，所述图像处理部执行以下步骤：
溅射候补区域检测步骤，针对在所述电弧焊接时拍摄有所述工件的多个输入图像的各输入图像，基于表示该输入图像中包含的像素的明亮度的像素值，进行溅射候补区域的检测；
反射光区域确定步骤，基于各溅射候补区域中包含的规定的参照像素的颜色信息，从所述溅射候补区域检测步骤中检测出的溅射候补区域，确定拍摄到电弧光的反射光的反射光区域；和
溅射数确定步骤，将所述溅射候补区域检测步骤中检测出的各输入图像的溅射候补区域之中、除所述反射光区域确定步骤中所确定的反射光区域以外的溅射候补区域的数量，确定为各输入图像的溅射数。
2.根据权利要求1所述的焊接条件设定辅助装置，其中，
所述颜色信息通过RGB颜色空间来定义，
所述反射光区域确定步骤将满足以下条件的溅射候补区域确定为所述反射光区域，该条件为：所述参照像素的所述颜色信息的绿色分量的平均值大于1以上的第1设定值与所述参照像素的所述颜色信息的红色分量的平均值的积，并且所述参照像素的所述颜色信息的蓝色分量的平均值大于1以上的第2设定值与所述参照像素的所述颜色信息的红色分量的平均值的积。
3.根据权利要求1或者2所述的焊接条件设定辅助装置，其中，
所述溅射候补区域包含：表示明亮度的像素值超过规定的阈值的像素连续多个的高亮度区域。
4.根据权利要求3所述的焊接条件设定辅助装置，其中，
所述高亮度区域位于所述溅射候补区域的除外周部以外的区域，
所述规定的参照像素是各溅射候补区域的除外周部以外的区域的像素。
5.根据权利要求1或者2所述的焊接条件设定辅助装置，其中，
所述图像处理部还执行：背景亮点区域确定步骤，将所述溅射候补区域检测步骤中的作为所述溅射候补区域的检测次数为规定的基准次数以上的区域确定为背景亮点区域，
所述溅射数确定步骤将所述溅射候补区域检测步骤中检测出的各输入图像的溅射候补区域之中、除所述反射光区域确定步骤中所确定的反射光区域和所述背景亮点区域确定步骤中所确定的背景亮点区域以外的溅射候补区域的数量，确定为各输入图像的溅射数。
CN202180033600.6A 2020-05-15 2021-04-28 焊接条件设定辅助装置 Active CN115515744B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-086163 2020-05-15
JP2020086163 2020-05-15
PCT/JP2021/016893 WO2021230078A1 (ja) 2020-05-15 2021-04-28 溶接条件設定支援装置

Publications (2)

Publication Number Publication Date
CN115515744A CN115515744A (zh) 2022-12-23
CN115515744B true CN115515744B (zh) 2025-07-22

Family

ID=78525873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180033600.6A Active CN115515744B (zh) 2020-05-15 2021-04-28 焊接条件设定辅助装置

Country Status (4)

Country Link
US (1) US20230018730A1 (zh)
JP (1) JP7507359B2 (zh)
CN (1) CN115515744B (zh)
WO (1) WO2021230078A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7491876B2 (ja) * 2021-07-19 2024-05-28 株式会社神戸製鋼所 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014857A (ja) * 2012-07-11 2014-01-30 Suzuki Motor Corp 画像処理方法及び画像処理システム
WO2019239644A1 (ja) * 2018-06-11 2019-12-19 パナソニックＩｐマネジメント株式会社 溶接条件設定支援装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126274A (ja) * 2006-11-21 2008-06-05 Kobe Steel Ltd アーク溶接におけるスパッタ認識方法及びスパッタ認識装置
JP5819727B2 (ja) * 2009-08-27 2015-11-24 株式会社Ｉｈｉ検査計測 レーザ溶接良否判定方法及び良否判定装置
JP5967042B2 (ja) * 2013-09-12 2016-08-10 Ｊｆｅスチール株式会社 レーザ溶接良否判定装置及びレーザ溶接良否判定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014857A (ja) * 2012-07-11 2014-01-30 Suzuki Motor Corp 画像処理方法及び画像処理システム
WO2019239644A1 (ja) * 2018-06-11 2019-12-19 パナソニックＩｐマネジメント株式会社 溶接条件設定支援装置

Also Published As

Publication number Publication date
US20230018730A1 (en) 2023-01-19
JPWO2021230078A1 (zh) 2021-11-18
JP7507359B2 (ja) 2024-06-28
WO2021230078A1 (ja) 2021-11-18
CN115515744A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN114713948B (zh) 处理装置、焊接系统、处理方法及存储介质
US11446755B2 (en) Apparatus and method for object tracking in welding process
US10803782B2 (en) Unevenness correction data generation method and unevenness correction data generation system
WO2001071421A1 (en) Red-eye correction by image processing
JP7394290B2 (ja) 溶接条件設定支援装置
CN115515744B (zh) 焊接条件设定辅助装置
JP2007172397A (ja) エッジ勾配検出方法、シミ欠陥検出方法、エッジ勾配検出装置、シミ欠陥検出装置
WO2019239644A1 (ja) 溶接条件設定支援装置
US20240335910A1 (en) Welding phenomenon behavior measuring method, measuring device, welding system, and program
JP2007285754A (ja) 欠陥検出方法および欠陥検出装置
JP7165924B2 (ja) 溶接条件設定支援装置
JP2008126274A (ja) アーク溶接におけるスパッタ認識方法及びスパッタ認識装置
CN111385447A (zh) 摄像装置及其驱动方法
JP2004086031A (ja) 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム
JP2012039440A (ja) 暗領域ノイズ補正装置
CN111757002B (zh) 图像处理方法、输出控制方法、图像采集设备及显示设备
JP6561479B2 (ja) 色シェーディング補正が可能な撮像装置
JP2025080094A (ja) スパッタ検出装置
JP2008226176A (ja) 熱目標追跡装置及び熱目標追跡方法
CN106534664A (zh) 摄像装置
JP2008234028A (ja) 欠陥検出方法および欠陥検出装置
JP2010069486A (ja) アーク溶接の監視装置及びアーク溶接の監視方法
JP4699883B2 (ja) 外観検査装置
JPH09192836A (ja) 溶接状況の監視装置
EP3709628A1 (en) Control of an illuminator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant