JP2018192524A - 自動溶接システム、溶接制御方法、及び機械学習モデル - Google Patents
自動溶接システム、溶接制御方法、及び機械学習モデル Download PDFInfo
- Publication number
- JP2018192524A JP2018192524A JP2018020283A JP2018020283A JP2018192524A JP 2018192524 A JP2018192524 A JP 2018192524A JP 2018020283 A JP2018020283 A JP 2018020283A JP 2018020283 A JP2018020283 A JP 2018020283A JP 2018192524 A JP2018192524 A JP 2018192524A
- Authority
- JP
- Japan
- Prior art keywords
- welding
- image
- arc
- machine learning
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Arc Welding Control (AREA)
Abstract
【課題】画像毎に輝度のばらつき、アーク若しくは溶融池の変動、又はスパッタの有無又は出現位置の変動があっても、正確な画像認識を可能とする自動溶接システム、溶接制御方法、及び機械学習モデルを提供する。【解決手段】自動溶接システムは、モデル構築手段と、カメラと、情報取得手段と、制御手段とを含む。モデル構築手段は、アーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、機械学習モデルを構築する。カメラは、アーク溶接における溶融池、アーク、又は溶接ワイヤを撮像する。情報取得手段は、カメラによって得られた画像を入力として機械学習モデルに与え、機械学習モデルから出力される状態関連情報を取得する。制御手段は、取得された状態関連情報に基づいて、アーク溶接を実行する溶接機構を制御する。【選択図】図９
Description
本発明は、アーク溶接の溶接箇所を撮像して得られた画像によって溶接制御を行う自動溶接システム及び溶接制御方法、並びに溶接制御に用いられる情報を出力するための機械学習モデルに関する。
アーク溶接には、多層盛りアーク溶接における初層裏波溶接のように、溶接状態が不安定になりやすいために、熟練工による手溶接又は半自動溶接が主流であり、十分に自動化がなされていないものがある。このようなアーク溶接を自動化するためには、溶融池及びアーク光の状態を常時監視し、これに基づいて溶接トーチの位置及び速度等を制御する必要がある。特許文献１には、溶接進行方向斜め上方に設置されたＣＣＤカメラによって溶融池を撮像し、これによって得られた画像に対して輝度加算処理及び平滑化微分処理を施して溶融池先行量（画像における溶融池先端とアーク中心位置との間の距離）を算出し、溶融池先行量が予め設定された範囲内に収まるように溶接速度の制御を行う方法が開示されている。
アークによって生じた溶滴が規則的又は不規則的に溶融池との短絡を繰り返すことにより、アーク光の輝度は繰り返し変動する。そのため、特許文献１に記載の方法にあっては、アーク光の輝度が高くなるとそれによって溶融池先端が隠され、画像から溶融池先端を検出することが困難となる。また、これを防止するためＣＣＤカメラの露光時間を短くし画像全体の輝度を低下させると、溶融池の輝度が低くなり溶融池先端点、アーク中心位置などの画像特徴点を検出しにくくなる。このように、特許文献１に開示された方法では画像毎の輝度のばらつきが考慮されておらず、輝度が変化した場合に画像認識の精度が低下するという問題がある。また、例えばアーク及びスパッタの領域の輝度は溶融池等の他の領域の輝度に比べて極端に高く、画像内での輝度のばらつきが大きい。アークの領域の形状は画像によって大きく変動し、またスパッタが現れる画像もあれば現れない画像もある。このように輝度の高い領域の形状及び位置が大きく変動する画像に対して輝度加算処理及び平滑化微分処理を施しても、得られる溶融池先端、アーク中心位置等は画像によって大きく変動し、これらを正確に検出することはできない。
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記課題を解決することができる自動溶接システム、溶接制御方法、及び機械学習モデルを提供することにある。
上述した課題を解決するために、本発明の一の態様の自動溶接システムは、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するモデル構築手段と、アーク溶接における溶融池、アーク、又は溶接ワイヤを撮像するカメラと、前記カメラによって得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得する情報取得手段と、前記情報取得手段によって取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御する制御手段とを備える。
この態様において、前記モデル構築手段は、前記画像における溶融池、アーク、又は溶接ワイヤの像の特徴を示す画像特徴情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記自動溶接システムは、前記情報取得手段によって取得された前記画像特徴情報に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成する補正情報生成手段をさらに備え、前記制御手段は、前記補正情報生成手段によって生成された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
また、上記態様において、前記モデル構築手段は、前記画像特徴情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記補正情報生成手段は、前記情報取得手段によって取得された前記画像特徴情報及び前記溶接正常度に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成するように構成されていてもよい。
また、上記態様において、前記モデル構築手段は、前記画像特徴情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されていてもよい。
また、上記態様において、前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されていてもよい。
また、上記態様において、前記画像特徴情報は、前記画像中の溶融池、アーク、又は溶接ワイヤの領域についての位置に関する情報を含んでもよい。
また、上記態様において、前記画像特徴情報は、前記溶融池の領域の中心位置を含み、前記補正情報生成手段は、前記溶融池の領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの位置についての前記補正情報を生成するように構成されていてもよい。
また、上記態様において、前記画像特徴情報は、前記溶接ワイヤの領域の先端位置を含み、前記補正情報生成手段は、前記溶接ワイヤの領域の先端位置に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されていてもよい。
また、上記態様において、前記画像特徴情報は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置を含み、前記補正情報生成手段は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの移動速度についての前記補正情報を生成するように構成されていてもよい。
また、上記態様において、前記画像特徴情報は、突合せ継手における開先の幅を含み、前記補正情報生成手段は、前記突合せ継手における開先の幅に基づいて、前記溶接ワイヤを保持する溶接トーチを周期的に揺動させるウィービング動作の幅についての前記補正情報を生成するように構成されていてもよい。
また、上記態様において、前記画像特徴情報は、前記画像中の溶融池、アーク、及び溶接ワイヤの領域毎に異なるラベルが割り当てられたラベル画像を含んでもよい。
また、上記態様において、前記補正情報生成手段は、前記ラベル画像における前記溶接ワイヤの領域の面積に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されていてもよい。
また、上記態様において、前記補正情報生成手段は、前記ラベル画像における前記溶融池の領域の面積に基づいて、前記溶接ワイヤに生じる溶接電圧又は溶接電流についての前記補正情報を生成するように構成されていてもよい。
また、上記態様において、前記自動溶接システムは、前記ラベル画像における前記アークの領域についての位置又は面積に基づいて、溶接状態が正常であるか否かを判定する溶接状態判定手段と、前記溶接状態判定手段によって前記溶接状態が異常であると判定された場合に、前記溶接状態が異常であることを通知する通知手段とをさらに備えてもよい。
また、上記態様において、前記モデル構築手段は、前記補正情報生成手段による前記補正情報の生成に用いられない情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されていてもよい。
また、上記態様において、前記自動溶接システムは、前記補正情報の生成に用いられない情報である複数の候補情報から、前記機械学習モデルにおける前記画像の認識性能に基づいて、前記画像特徴情報に含むべき情報を決定する決定手段をさらに備え、前記モデル構築手段は、前記決定手段によって決定された前記情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されていてもよい。
また、上記態様において、前記モデル構築手段は、前記アーク溶接に関する物理量を補正するための補正情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記制御手段は、前記情報取得手段によって取得された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
また、上記態様において、前記モデル構築手段は、前記補正情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、前記制御手段は、前記情報取得手段によって取得された前記補正情報及び前記溶接正常度にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されていてもよい。
また、上記態様において、前記モデル構築手段は、前記補正情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されていてもよい。
また、上記態様において、前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されていてもよい。
また、上記態様において、前記カメラは、前記溶融池、アーク、又は溶接ワイヤを時間的に連続して撮像するように構成されており、前記モデル構築手段は、時間的に連続した複数の画像を含む時系列画像を入力とし前記状態関連情報を出力とする前記機械学習モデルを構築するように構成されていてもよい。
また、上記態様において、前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであってもよい。
また、上記態様において、前記自動溶接システムは、複数の前記状態関連情報を複数の組に分割する分割手段をさらに備え、前記モデル構築手段は、前記分割手段によって分割された前記状態関連情報の組を各別に含む前記教師データによって教師あり学習を実行し、前記状態関連情報の組と各別に対応する複数の前記機械学習モデルを構築するように構成されており、前記情報取得手段は、前記カメラによって得られた画像を入力として前記複数の機械学習モデルのそれぞれに与え、前記機械学習モデルのそれぞれから出力される前記状態関連情報の組を取得するように構成されていてもよい。
また、本発明の他の態様の溶接制御方法は、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するステップと、アーク溶接における溶融池又はアークを撮像するステップと、撮像して得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得するステップと、取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御するステップとを有する。
また、本発明の他の態様の機械学習モデルは、アーク溶接を実行する溶接機構の制御に用いられる情報を出力するための機械学習モデルであって、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによる教師あり学習によって構築され、前記溶接機構の制御の際に、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤをカメラによって撮像して得られた画像を入力とし、前記アーク溶接の状態に関する状態関連情報を出力とする。
本発明に係る自動溶接システム、溶接制御方法、及び機械学習モデルによれば、画像毎に輝度のばらつきがあっても正確な画像認識が可能となる。
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。また、以下に示す各実施の形態ではマニピュレータの溶接ロボットを例に挙げて説明するが、本発明の適用対象はこれらに限定されるわけではなく、マニピュレータ以外の自動溶接装置を適用対象とすることも可能である。
（実施の形態１）
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得し、画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得し、画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
＜自動溶接システムの構成＞
図１は、本実施の形態に係る自動溶接システムの構成を示す模式図である。自動溶接システム１０は、溶接ロボット２０と、ロボット制御装置３０と、電源装置４０と、カメラ６０と、補正情報生成装置１００とを備えている。
図１は、本実施の形態に係る自動溶接システムの構成を示す模式図である。自動溶接システム１０は、溶接ロボット２０と、ロボット制御装置３０と、電源装置４０と、カメラ６０と、補正情報生成装置１００とを備えている。
溶接ロボット２０は、垂直多関節型のマニピュレータから構成され、その先端に溶接トーチ２１を有している。本実施の形態に係る溶接ロボット２０は、ＭＩＧ（Metal Inert Gas）溶接又はＭＡＧ（Metal Active Gas）溶接等の溶極式のアーク溶接を行う。かかる溶接ロボット２０は、ロボット制御装置３０及び電源装置４０のそれぞれに接続されている。
溶接トーチ２１にはワイヤ送給装置２３から溶接ワイヤ２４が送り込まれ、溶接トーチ２１の先端からこれが送り出される。電源装置４０は定電圧電源装置であり、溶接ワイヤ２４に電力を供給する。これにより、溶接ワイヤ２４とワーク（被溶接材）５０との間に溶接電圧が印加され、アークが発生する。また、電源装置４０は、溶接中に生じる溶接電流を検出する電流センサ（図示せず）を備えている。
電源装置４０は、ＣＰＵとメモリとを備えており、電源制御用のコンピュータプログラムをＣＰＵが実行することで溶接電力の制御を行う。また、電源装置４０はワイヤ送給装置２３に接続されており、ＣＰＵがワイヤの送給速度を制御する。かかる電源装置４０は、ロボット制御装置３０及び補正情報生成装置１００との間でデータ通信を行う。
カメラ６０は、ＣＣＤ（Charge Coupled Device）カメラである。図２は、カメラ６０の配置位置を説明するための斜視図である。ワーク５０は突合せ継手であり、２つの金属板が開先を設けて突き合わされ、その裏面にセラミックス製の裏当て材５１が取り付けられている。突合せ継手では、開先に沿って一方向に溶接が行われる。以下、溶接方向を「前方」、この前方を見たときの右方を「右方」、前方を見たときの左方を「左方」という。また、本実施の形態では、表面が上方を向くように水平配置されたワーク５０に対して上方から溶接ロボット２０が溶接を行うものとして説明する。
図２に示すように、カメラ６０はワーク５０の溶接箇所の前斜め上方に配置される。かかるカメラ６０は、ワーク５０の溶接箇所に撮像範囲が設定されており、アーク溶接中に溶融池とアークとを撮像する。カメラ６０は、例えば１０２４×７６８ピクセルの静止画像を連続して撮像することができる。
次に、ロボット制御装置３０の構成について説明する。ロボット制御装置３０は、溶接ロボット２０の動作を制御する。図３は、ロボット制御装置３０の構成を示すブロック図である。ロボット制御装置３０は、ＣＰＵ３０１と、メモリ３０２と、複数のスイッチを含む操作パネル３０３と、教示ペンダント３０４と、入出力部３０５と、通信部３０６とを備えている。
溶接ロボット２０の制御用のコンピュータプログラムである制御プログラム３３０がメモリ３０２に格納されており、この制御プログラム３３０をＣＰＵ３０１が実行することで、溶接ロボット２０による溶接動作の制御が行われる。
ロボット制御装置３０に対する指示の入力には、操作パネル３０３及び教示ペンダント３０４が用いられる。オペレータは、教示ペンダント３０４に教示プログラムを入力することができる。ロボット制御装置３０は、教示ペンダント３０４から入力された教示プログラムにしたがって、溶接ロボット２０を制御する。また、この教示プログラムは、図示しないコンピュータによって作成することも可能である。この場合、可搬型記録媒体によって受け渡ししたり、データ通信によって伝送したりして、教示プログラムをロボット制御装置３０に与えることができる。
入出力部３０５には、電源装置４０に設けられた電流センサ及び溶接ロボット２０のアクチュエータの駆動回路（図示せず）が接続されている。電流センサによって検出された溶接電流の電流値が入出力部３０５に入力され、ＣＰＵ３０１に与えられる。また、ＣＰＵ３０１は、制御プログラム３３０により、後述するような溶接ロボット２０の制御を行い、制御信号を溶接ロボット２０の駆動回路に出力する。
通信部３０６は、有線又は無線通信用の通信モジュールである。かかる通信部３０６は、所定の通信プロトコルを使用して電源装置４０及び補正情報生成装置１００との間でデータ通信を行う。
以上のような構成のロボット制御装置３０は、溶接ロボット２０の各軸を制御して、溶接トーチ２１の位置及び溶接トーチ２１からの溶接ワイヤ２４の突き出し長さ（以下、「ワイヤ長」という）を制御する。溶接動作では、溶接トーチ２１とワーク５０との間の距離に応じてワイヤ長が調節される。つまり、溶接トーチ２１がワーク５０に近接すると、ワイヤ長が小さくし、溶接トーチ２１がワーク５０から離反すると、ワイヤ長を大きくする。ワイヤ長の長短に応じて溶接ワイヤ２４における抵抗変化が生じ、これが溶接電圧値の変化を引き起こす。このため、ロボット制御装置３０は、溶接電圧値を用いたフィードバック制御により、溶接電圧値が適正となるように溶接トーチ２１の位置及びワイヤ長を調節する。また、ロボット制御装置３０は、溶接ロボット２０の各軸を制御して、溶接トーチ２１の速度も制御する。なお、本実施形態では画像認識結果に基づき速度制御をする構成としたが、一定速度で溶接トーチ２１を動作させることもできる。
また、ロボット制御装置３０は、溶接ロボット２０にウィービング動作を実行させる。ウィービング動作は、溶接方向に対して交差する方向に溶接トーチ２１を交互に揺動させる動作である。ロボット制御装置３０は、設定されたウィービング周期、振幅、溶接速度によってウィービング動作を行うように溶接ロボット２０を制御する。
さらに、ロボット制御装置３０は、上記のウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御は、溶接線に沿ってビードが形成されるよう、溶接トーチ２１の左右位置を制御する動作である。
次に、補正情報生成装置１００の構成について説明する。図４は、本実施の形態に係る補正情報生成装置１００の構成を示すブロック図である。補正情報生成装置１００は、コンピュータ１０１によって実現される。コンピュータ１０１は、本体１１０と、入力部１２０と、表示部１３０とを備えている。本体１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ハードディスク１１４と、入出力インタフェース１１５と、通信インタフェース１１６と、映像出力インタフェース１１７とを備えている。ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ハードディスク１１４、入出力インタフェース１１５、通信インタフェース１１６、及び映像出力インタフェース１１７は、バスによって相互に接続されている。
アーク溶接に関する物理量の補正情報を生成するためのコンピュータプログラムである補正情報生成プログラム１５０をＣＰＵ１１１が実行することにより、コンピュータ１０１が補正情報生成装置１００として機能する。
ＲＯＭ１１２には、ＣＰＵ１１１に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。ＲＡＭ１１３は、ハードディスク１１４に記録されている補正情報生成プログラム１５０の読み出しに用いられる。また、ＲＡＭ１１３は、ＣＰＵ１１１がコンピュータプログラムを実行するときに、ＣＰＵ１１１の作業領域として利用される。
ハードディスク１１４は、オペレーティングシステム及びアプリケーションプログラム等、ＣＰＵ１１１に実行させるための種々のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータがインストールされている。補正情報生成プログラム１５０も、このハードディスク１１４にインストールされている。
またハードディスク１１４には、画像認識用の機械学習モデル１６０が記憶されている。この機械学習モデル１６０は、畳み込みニューラルネットワーク（Convolutional Neural Network）である。かかる機械学習モデル１６０の詳細については後述する。
入出力インタフェース１１５には、キーボード及びマウスからなる入力部１２０が接続されている。また、入出力インタフェース１１５には、カメラ６０が接続されている。カメラ６０から出力された画像が入出力インタフェース１１５を介してＣＰＵ１１１に与えられる。
通信インタフェース１１６は、有線又は無線通信用の通信モジュールである。かかる通信インタフェース１１６は、所定の通信プロトコルを使用して電源装置４０及びロボット制御装置３０との間でデータ通信を行う。映像出力インタフェース１１７は、ＬＣＤまたはＣＲＴ等で構成された表示部１３０に接続されており、ＣＰＵ１１１から与えられた映像データに応じた映像信号を表示部１３０に出力するようになっている。表示部１３０は、入力された映像信号にしたがって、画像を表示する。
＜自動溶接システムの動作＞
まず、機械学習モデル１６０の構築について説明する。後述する溶接制御を実行するのに先立ち、機械学習モデル１６０の構築を行う。図５は、機械学習モデル１６０の構成を示す概念図である。本実施の形態に係る機械学習モデル１６０は、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、機械学習モデル１６０の構築について説明する。後述する溶接制御を実行するのに先立ち、機械学習モデル１６０の構築を行う。図５は、機械学習モデル１６０の構成を示す概念図である。本実施の形態に係る機械学習モデル１６０は、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
機械学習モデル１６０は、アーク溶接における溶融池及びアークを撮像して得られた画像（以下、「溶接画像」という）を入力とし、画像特徴情報を出力とするモデルである。図６は、画像特徴情報を説明するための図である。図６に示すように、溶接画像には溶融池、アーク、及び溶接ワイヤ２４の像（領域）が含まれる。この溶接画像において、溶接池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報が規定される。具体的には、本実施の形態における画像特徴情報は、アーク中心（ＡｒｃＸ，ＡｒｃＹ）、ワイヤ先端（ＷｉｒｅＸ，ＷｉｒｅＹ）、溶融池先端左端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、溶融池左端（Ｐｏｏｌ＿Ｌｘ）、及び溶融池右端（Ｐｏｏｌ＿Ｒｘ）である。
図７は、本実施の形態に係る自動溶接システム１０における機械学習モデル構築処理の手順を示すフローチャートである。機械学習モデル１６０の構築は、多数の教師データを使用した教師あり学習により実現される。機械学習モデル構築処理において、まず補正情報生成装置１００は、複数の教師データの入力を受け付ける（ステップＳ１０１）。教師データは、溶接画像と、画像特徴情報とによって構成され、教師データにおける画像特徴情報は、溶接画像を参照してオペレータが作成する。また、教師データにおける溶接画像は、１２０×１００ピクセルにサイズが縮小された濃淡画像である。
次に、ＣＰＵ１１１は、教師データを学習前の機械学習モデル（以下、「学習前モデル」という）に与えて、機械学習処理を実行する（ステップＳ１０２）。ここで、バックプロパゲーション等の機械学習処理により、学習前モデルの各層及び層間のパラメータの調整が行われる。
ＣＰＵ１１１は、所定の終了条件（例えば、直近所定個の教師データにおける誤差平均が所定値未満であるか等）を満足したか否かを判定し（ステップＳ１０３）、終了条件を満たしていなければ（ステップＳ１０３においてＮＯ）、ステップＳ１０２へ処理を戻して機械学習処理を繰り返し、終了条件を満たしていれば（ステップＳ１０３においてＹＥＳ）、機械学習モデル構築処理を終了する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置３０、電源装置４０、及び補正情報生成装置１００のそれぞれを起動する。ロボット制御装置３０が溶接ロボット２０の動作を制御し、電源装置４０が溶接を実行する。また、補正情報生成装置１００は、カメラ６０により得られる溶接画像を監視し、アーク溶接に関する物理量の補正情報を逐次算出する。なお、本実施の形態においては、補正情報を生成する対象の物理量を、溶接トーチ２１の位置及び溶接速度、並びにウィービング動作の幅とする。
ロボット制御装置３０及び電源装置４０の動作について説明する。図８は、ロボット制御装置３０及び電源装置４０の動作手順を示すフローチャートである。オペレータは、アーク溶接を開始する場合、教示ペンダント３０４を操作して、ロボット制御装置３０に教示プログラム、各種設定値を入力し、溶接開始を指示する。ロボット制御装置３０のＣＰＵ３０１は、この教示プログラム、各種設定値、及び溶接開始指示を受け付ける（ステップＳ１１１）。
ＣＰＵ３０１は、電源装置４０に対して、溶接開始（溶接電力の供給開始）を指令する（ステップＳ１１２）。電源装置４０は、この指令を受信し（ステップＳ１１３）、電源装置４０に内蔵される電源回路を制御して溶接を開始する（ステップＳ１１４）。これにより、溶接ワイヤ２４とワーク５０との間に溶接電圧が印加され、アークが発生する。
次にＣＰＵ３０１は、溶接ロボット２０に制御信号を送信し、溶接制御を実行する（ステップＳ１１５）。溶接制御には、自動溶接制御（ステップＳ１１５１）、ウィービング動作の制御（ステップＳ１１５２）及び溶接線倣い制御（ステップＳ１１５３）が含まれる。自動溶接制御では、ＣＰＵ１１１が自動的に溶接方向に溶接トーチ２１を移動させながら、溶接電流又は溶接電圧の補正信号を電源装置４０に送信し、電源装置４０が補正信号にしたがい溶接を実行する。
ＣＰＵ３０１は、溶接動作の停止が必要か否かを判定する（ステップＳ１１６）。溶接動作の停止が不要な場合（ステップＳ１１６においてＮＯ）、ロボット制御装置３０は、補正情報生成装置１００から物理量の補正情報を受信し（ステップＳ１１７）、ステップＳ１１５へ処理を戻し、この補正情報によって物理量を補正するように溶接制御を実行する。
例えば、オペレータからの溶接停止の指示の受け付け、溶接ロボット２０に設けられたセンサによる溶接終了位置の検出、及び溶接異常の検出の何れかがあった場合、ＣＰＵ３０１は、溶接動作の停止が必要と判断し（ステップＳ１１６においてＹＥＳ）、溶接制御を停止し（ステップＳ１１８）、電源装置４０に対して溶接停止（溶接電力の供給停止）を指令し（ステップＳ１１９）、補正情報生成装置１００に対して補正情報の生成停止を指令する（ステップＳ１２０）。電源装置４０は、溶接停止の指令を受信し（ステップＳ１２１）、ＣＰＵ４４が電源回路を制御して溶接を停止する（ステップＳ１２２）。これにより、ロボット制御装置３０及び電源装置４０の動作が終了する。
次に、補正情報生成装置１００による補正情報生成処理について説明する。図９は、補正情報生成処理の手順を示すフローチャートである。上記のような自動溶接が行われている間、カメラ６０によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置１００に与えられる（ステップＳ１３１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ１３２）。
次にＣＰＵ１１１は、縮小された溶接画像を機械学習モデル１６０に入力し、機械学習モデル１６０から出力される画像特徴情報を取得する（ステップＳ１３３）。機械学習モデル１６０からは、アーク中心（ＡｒｃＸ，ＡｒｃＹ）、ワイヤ先端（ＷｉｒｅＸ，ＷｉｒｅＹ）、溶融池先端左端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、溶融池左端（Ｐｏｏｌ＿Ｌｘ）、及び溶融池右端（Ｐｏｏｌ＿Ｒｘ）の各画像特徴情報が出力される。
ＣＰＵ１１１は、得られた画像特徴情報に基づいて、補正情報を生成する（ステップＳ１３４）。以下、この補正情報の生成について説明する。本実施の形態では、溶接トーチ２１の左右位置補正量ΔＸ及び上下位置補正量ΔＹ、溶接トーチ２１の速度補正量ΔＶ、並びにウィービング動作の幅（以下、「ウィービング幅」という）の設定値Ｗが算出される。
溶接トーチ２１の左右位置補正量ΔＸは、次式（１）によって算出される。
ＰｏｏｌＣｅｎＸ＝（Ｐｏｏｌ＿Ｌｘ＋Ｐｏｏｌ＿Ｒｘ）／２
ΔＸ＝ＰｏｏｌＣｅｎＸ−Ｘ０ （１）
但し、Ｘ０は溶融池の中心の左右方向位置の基準値であり、予め設定された値である。この補正量ΔＸは、溶融池像の中心ＰｏｏｌＣｅｎＸがＸ０に一致させるように溶接トーチ２１を左右方向に移動させるためのものである。
ＰｏｏｌＣｅｎＸ＝（Ｐｏｏｌ＿Ｌｘ＋Ｐｏｏｌ＿Ｒｘ）／２
ΔＸ＝ＰｏｏｌＣｅｎＸ−Ｘ０ （１）
但し、Ｘ０は溶融池の中心の左右方向位置の基準値であり、予め設定された値である。この補正量ΔＸは、溶融池像の中心ＰｏｏｌＣｅｎＸがＸ０に一致させるように溶接トーチ２１を左右方向に移動させるためのものである。
速度補正量ΔＶを算出する際は、まずΔＬを次式（２）によって算出する。
ＬｅａｄＹ＝（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ＋Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）／２ーＡｒｃＹ
ΔＬ＝ＬｅａｄＹ−Ｌ０ （２）
但し、Ｌ０は溶接池先端位置とアーク中心の距離であり、最も品質がよい裏波ビードを形成できる値に予め設定される。ＬｅａｄＹも溶接池先端位置とアーク中心の距離を示しており、これは溶接画像から抽出された画像特徴情報Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ，ＡｒｃＹから上記のようにして算出される値である。ΔＬは、ＬｅａｄＹとＬ０との差分である。ΔＬ（距離）が算出されると、変換係数βを用いて次式（３）によりΔＶ（速度）が算出される。
ΔＶ＝ΔＬ×β （３）
ＬｅａｄＹ＝（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ＋Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）／２ーＡｒｃＹ
ΔＬ＝ＬｅａｄＹ−Ｌ０ （２）
但し、Ｌ０は溶接池先端位置とアーク中心の距離であり、最も品質がよい裏波ビードを形成できる値に予め設定される。ＬｅａｄＹも溶接池先端位置とアーク中心の距離を示しており、これは溶接画像から抽出された画像特徴情報Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ，ＡｒｃＹから上記のようにして算出される値である。ΔＬは、ＬｅａｄＹとＬ０との差分である。ΔＬ（距離）が算出されると、変換係数βを用いて次式（３）によりΔＶ（速度）が算出される。
ΔＶ＝ΔＬ×β （３）
溶接トーチ２１の上下位置補正量ΔＸは、次式（４）によって算出される。
ΔＹ＝ＷｉｒｅＹ−Ｙ０ （４）
但し、Ｙ０はワイヤ先端の上下方向位置の基準値であり、予め設定された値である。この補正量ΔＹは、ワイヤ先端の上下方向位置ＷｉｒｅＹをＹ０に一致させるように溶接トーチ２１を上下方向に移動させるためのものである。溶融池の前斜め上方にカメラ６０が設置されているため、溶接速度が変化すると上下方向（溶接画像中の縦方向に対応）の適正位置も変化する。そのため、溶接速度を適正に制御した後、溶接トーチ２１の上下方向の位置を補正することになる。
ΔＹ＝ＷｉｒｅＹ−Ｙ０ （４）
但し、Ｙ０はワイヤ先端の上下方向位置の基準値であり、予め設定された値である。この補正量ΔＹは、ワイヤ先端の上下方向位置ＷｉｒｅＹをＹ０に一致させるように溶接トーチ２１を上下方向に移動させるためのものである。溶融池の前斜め上方にカメラ６０が設置されているため、溶接速度が変化すると上下方向（溶接画像中の縦方向に対応）の適正位置も変化する。そのため、溶接速度を適正に制御した後、溶接トーチ２１の上下方向の位置を補正することになる。
ウィービング幅の設定値Ｗは、次のように算出される。
ＬｅａｄＷ＝Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ−Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ
ＩＦ ＬｅａｄＷ ＜ Ｗ０ ＴＨＥＮ Ｗ＝０ （５）
ＩＦ ＬｅａｄＷ ≧ Ｗ０ ＴＨＥＮ Ｗ＝（ＬｅａｄＷ−α） （６）
但し、Ｗ０は開先のギャップ幅であり、ウィービングが必要となる最低限の値に予め設定される。ＬｅａｄＷもギャップ幅を示しており、これは溶接画像から抽出された画像特徴情報Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘのそれぞれが開先の左右位置に相当することから上記のようにして算出される値である。上記の（５）より、ギャップ幅ＬｅａｄＷがＷ０未満である場合、ウィービング幅の設定値Ｗは０となり、ウィービング動作は行われない。上記の（６）より、ギャップ幅ＬｅａＷがＷ０以上である場合、ウィービング幅の設定値Ｗはギャップ幅ＬｅａｄＷよりαだけ小さい値とされる。なお、αは予め設定される値である。
ＬｅａｄＷ＝Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ−Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ
ＩＦ ＬｅａｄＷ ＜ Ｗ０ ＴＨＥＮ Ｗ＝０ （５）
ＩＦ ＬｅａｄＷ ≧ Ｗ０ ＴＨＥＮ Ｗ＝（ＬｅａｄＷ−α） （６）
但し、Ｗ０は開先のギャップ幅であり、ウィービングが必要となる最低限の値に予め設定される。ＬｅａｄＷもギャップ幅を示しており、これは溶接画像から抽出された画像特徴情報Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘのそれぞれが開先の左右位置に相当することから上記のようにして算出される値である。上記の（５）より、ギャップ幅ＬｅａｄＷがＷ０未満である場合、ウィービング幅の設定値Ｗは０となり、ウィービング動作は行われない。上記の（６）より、ギャップ幅ＬｅａＷがＷ０以上である場合、ウィービング幅の設定値Ｗはギャップ幅ＬｅａｄＷよりαだけ小さい値とされる。なお、αは予め設定される値である。
ＣＰＵ１１１は、上記のようにして生成された補正情報を、ロボット制御装置３０へ送信する（ステップＳ１３５）。次にＣＰＵ１１１は、ロボット制御装置３０から補正情報の生成の停止指令を受信したか否かを判定し（ステップＳ１３６）、受信していない場合には（ステップＳ１３６においてＮＯ）、ステップＳ１３１へ処理を戻し、補正情報の生成を繰り返す。他方、停止指令を受信した場合には（ステップＳ１３６においてＹＥＳ）、ＣＰＵ１１１は補正情報生成処理を終了する。
上記のように構成したことにより、本実施の形態に係る自動溶接システム１０にあっては、様々な撮像条件で得られた溶接画像を教師データとして機械学習することで機械学習モデル１６０を構築できるため、画像毎に輝度のばらつきがあっても正確な画像認識が可能となる。
（実施の形態２）
本実施の形態では、機械学習モデルにおいて、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力する。自動溶接システムは、得られた画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、機械学習モデルにおいて、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力する。自動溶接システムは、得られた画像特徴情報を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
＜自動溶接システムの構成＞
本実施の形態に係る電源装置２４０は、出力電圧の調整が可能である。本実施の形態に係る自動溶接システムのその他の構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る電源装置２４０は、出力電圧の調整が可能である。本実施の形態に係る自動溶接システムのその他の構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル２６０について説明する。図１０は、機械学習モデル２６０の構成を示す概念図である。本実施の形態に係る機械学習モデル２６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、本実施の形態に係る機械学習モデル２６０について説明する。図１０は、機械学習モデル２６０の構成を示す概念図である。本実施の形態に係る機械学習モデル２６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
機械学習モデル２６０は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ２４の領域を分割し領域毎にラベリングしたラベル画像を画像特徴情報として出力とするモデルである。図１１は、本実施の形態に係るラベル画像を説明するための図である。溶接画像は、図１１のように溶接ワイヤ２４の領域（以下、「ワイヤ領域」という）２０１、溶融池の領域（以下、「溶融池領域」という）２０２、アークの領域（以下、「アーク領域」という）２０３、及びその他の背景領域２０４に分割できる。本実施の形態におけるラベル画像は、ワイヤ領域２０１の画素値を「１」、溶融池領域２０２の画素値を「２」、アーク領域２０３の画素値を「３」、それ以外の背景領域の画素値を「０」として画素毎にラベル付けをした画像である。
機械学習モデル２６０の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、上記のようなラベル画像とによって構成される。教師データにおけるラベル画像は、溶接画像を参照してオペレータが作成した１２０×１００ピクセルの画像である。また、教師データにおける溶接画像は、１２０×１００ピクセルにサイズが縮小された濃淡画像である。なお、機械学習モデル２６０の構築処理の手順は、実施の形態１において説明した機械学習モデル構築処理の手順（図７参照）と同様であるので、その説明を省略する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。アーク溶接を行う場合、オペレータは、ロボット制御装置３０、電源装置２４０、及び補正情報生成装置１００のそれぞれを起動する。ロボット制御装置３０が溶接ロボット２０の動作を制御し、電源装置２４０が溶接を実行する。また、補正情報生成装置１００は、カメラ６０により得られる溶接画像を監視し、アーク溶接に関する物理量の補正情報を逐次算出する。なお、本実施の形態においては、補正情報を生成する対象の物理量を、溶接トーチ２１の上下方向位置及び溶接電圧とする。
ロボット制御装置３０及び電源装置２４０の動作について説明する。図１２は、本実施の形態に係るロボット制御装置３０及び電源装置２４０の動作手順を示すフローチャートである。ステップＳ１１１乃至Ｓ１１７の処理については、実施の形態１で説明したものと同様であるので、その説明を省略する。
ＣＰＵ３０１は、電源装置４０は、補正情報生成装置１００から溶接電圧の補正情報を受信し（ステップＳ２１８）、補正情報にしたがって溶接電圧を補正する（ステップＳ２１９）。電源装置４０は、溶接停止指令を受信したか否かを判定し（ステップＳ２２０）、指令を受信していない場合には（ステップＳ２２０においてＮＯ）、ステップＳ２１８へ処理を戻す。
例えば、オペレータからの溶接停止の指示の受け付け、溶接ロボット２０に設けられたセンサによる溶接終了位置の検出、及び溶接異常の検出の何れかがあった場合、ＣＰＵ３０１は、溶接動作の停止が必要と判断し（ステップＳ１１６においてＹＥＳ）、溶接制御を停止し（ステップＳ１１８）、電源装置４０に対して溶接停止を指令し（ステップＳ１１９）、補正情報生成装置１００に対して補正情報の生成停止を指令する（ステップＳ１２０）。電源装置４０は、溶接停止の指令を受信した場合（ステップＳ２２０においてＹＥＳ）、電源回路を制御して溶接を停止する（ステップＳ１２２）。これにより、ロボット制御装置３０及び電源装置４０の動作が終了する。
補正情報生成装置１００の動作について説明する。図１３は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ６０によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置１００に与えられる（ステップＳ２３１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ２３２）。
次にＣＰＵ１１１は、縮小された溶接画像を機械学習モデル２６０に入力し、機械学習モデル２６０から出力されるラベル画像を取得する（ステップＳ２３３）。この処理において、ＣＰＵ１１１は、機械学習モデル２６０により、溶接画像をワイヤ領域２０１、溶融池領域２０２、アーク領域２０３、及び背景領域に分割し、それぞれの領域にラベル付けを行ってラベル画像を作成し、作成されたラベル画像を画像特徴情報として出力する。
ＣＰＵ１１１は、得られたラベル画像に基づいて、補正情報を生成する（ステップＳ２３４）。以下、この補正情報の生成について説明する。本実施の形態では、溶接トーチ２１の上下位置補正量ΔＹ及び溶接電圧の補正量ΔＶｏｌが算出される。
溶接トーチ２１の上下位置補正量ΔＹは、次式（７）によって算出される。
ΔＹ＝ＷｉｒｅＡｒｅａ−Ｙ１ （７）
但し、ＷｉｒｅＡｒｅａはワイヤ領域２０１の面積（ワイヤ領域２０１の画素数。以下、「ワイヤ面積」という。）、Ｙ１はワイヤ面積の基準値であり、予め設定された値である。この補正量ΔＹは、ワイヤ面積ＷｉｒｅＡｒｅａをＹ１に一致させるように溶接トーチ２１を上下方向に移動させるためのものである。
ΔＹ＝ＷｉｒｅＡｒｅａ−Ｙ１ （７）
但し、ＷｉｒｅＡｒｅａはワイヤ領域２０１の面積（ワイヤ領域２０１の画素数。以下、「ワイヤ面積」という。）、Ｙ１はワイヤ面積の基準値であり、予め設定された値である。この補正量ΔＹは、ワイヤ面積ＷｉｒｅＡｒｅａをＹ１に一致させるように溶接トーチ２１を上下方向に移動させるためのものである。
溶接電圧の補正量ΔＶｏｌは、次式（８）によって算出される。
ΔＶｏｌ＝ＰｏｏｌＡｒｅａ−Ｐ１ （８）
但し、ＰｏｏｌＡｒｅａは溶融池領域２０２の面積（以下、「溶融池面積」という）、Ｐ１は溶融池面積の基準値であり、予め設定された値である。この補正量ΔＶｏｌは、溶融池面積ＰｏｏｌＡｒｅａをＰ１に一致させるように溶接電圧を補正するためのものである。
ΔＶｏｌ＝ＰｏｏｌＡｒｅａ−Ｐ１ （８）
但し、ＰｏｏｌＡｒｅａは溶融池領域２０２の面積（以下、「溶融池面積」という）、Ｐ１は溶融池面積の基準値であり、予め設定された値である。この補正量ΔＶｏｌは、溶融池面積ＰｏｏｌＡｒｅａをＰ１に一致させるように溶接電圧を補正するためのものである。
ＣＰＵ１１１は、上記のようにして生成された補正情報を、ロボット制御装置３０及び電源装置２４０へ送信する（ステップＳ２３５）。これにより、ロボット制御装置３０が補正情報に基づいて溶接制御を行い、電源装置４０が補正情報に基づいて溶接電圧を制御する。
ＣＰＵ１１１は、アーク領域２０３の面積（以下、アーク面積という）と所定の正常範囲とを比較し、溶接状態が正常であるか否かを判定する（ステップＳ２３６）。正常範囲は、溶接状態が正常である場合のアーク面積の範囲であり、アーク面積が正常範囲内であれば、又は所定回数以上連続して正常範囲を外れていなければ溶接状態が正常であると判定され、アーク面積が所定回数以上連続して正常範囲を外れていれば溶接状態が異常であると判定される。溶接状態が正常であると判定された場合には（ステップＳ２３６においてＹＥＳ）、ＣＰＵ１１１は、ステップＳ２３８へ処理を移す。他方、溶接状態が異常であると判定された場合には（ステップＳ２３６においてＮＯ）、ＣＰＵ１１１は、溶接状態が異常であることを通知するための情報を表示部１３０に表示させ（ステップＳ２３７）、ステップＳ２３８へ処理を移す。これにより、オペレータは溶接状態の異常を確認し、必要があれば溶接停止の指示をロボット制御装置３０に与える。
ＣＰＵ１１１は、ロボット制御装置３０から補正情報の生成の停止指令を受信したか否かを判定し（ステップＳ２３８）、受信していない場合には（ステップＳ２３８においてＮＯ）、ステップＳ２３１へ処理を戻し、補正情報の生成を繰り返す。他方、停止指令を受信した場合には（ステップＳ２３８においてＹＥＳ）、ＣＰＵ１１１は補正情報生成処理を終了する。
（実施の形態３）
本実施の形態では、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力する。自動溶接システムは、得られた画像特徴情報の一部を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力する。自動溶接システムは、得られた画像特徴情報の一部を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル３６０について説明する。図１４は、機械学習モデル３６０の構成を示す概念図である。本実施の形態に係る機械学習モデル３６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、本実施の形態に係る機械学習モデル３６０について説明する。図１４は、機械学習モデル３６０の構成を示す概念図である。本実施の形態に係る機械学習モデル３６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
機械学習モデル３６０は、溶接画像を入力とし、溶接池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態１で説明した画像特徴情報に、補正情報の生成に使用されない情報を追加したものである。本実施の形態では、画像特徴情報に追加する候補の情報（以下、「追加候補情報」という）から、画像特徴情報に追加するもの（画像特徴情報に含むべき情報）を決定する。図１５は、追加候補情報を説明するための図である。ここでは、溶接画像中における溶接トーチ２１の領域の位置（以下、「トーチ位置」という）（ＴｏｒｃｈＸ，ＴｏｒｃｈＹ）及び溶融池の領域の先端中央（以下、「溶融池先端中央点」という）（Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｙ）を画像特徴情報に追加する候補とする。
追加候補情報は、画像特徴情報の認識性能の向上を期待できる情報とする。溶接ワイヤ２４は概ね上下方向に真っ直ぐに延びるので、ワイヤ先端の左右方向位置ＷｉｒｅＸは、溶接トーチ２１の左右方向中央位置ＴｏｒｃｈＸとほぼ同じとなる。このため、ＴｏｒｃｈＸを画像特徴情報に追加することで、ＷｉｒｅＸの認識性能の向上が期待できる。
補正情報生成装置１００は、自動溶接実行中の補正情報の生成に先立って、準備処理を実行する。図１６は、準備処理の手順を示すフローチャートである。準備処理は、追加候補情報から追加情報を決定する追加情報決定処理Ｓ３０１と、機械学習モデル３６０のネットワーク構成を分割するネットワーク構成分割処理Ｓ３０２と、機械学習モデル構築処理Ｓ３０３とを含む。
図１７は、追加情報決定処理Ｓ３０１の手順を示すフローチャートである。まずＣＰＵ１１１が、追加候補情報から評価対象情報を選択する（ステップＳ３１１）。この処理では、上記のＴｏｒｃｈＸ，ＴｏｒｃｈＹ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｙの４つを全て評価対象情報としてもよいし、その一部を評価対象情報としてもよいし、４つ全てを評価対象情報としなくてもよい（つまり、「評価対象情報なし」という選択もある）。
次にＣＰＵ１１１は、選択された評価対象情報を画像特徴情報に追加した教師データを使用して機械学習を実行し、機械学習モデル３６０を構築する（ステップＳ３１２）。ＣＰＵ１１１は、このようにして構築された機械学習モデル３６０の平均認識率を求め、平均認識性能を評価する（ステップＳ３１３）。
ＣＰＵ１１１は、評価対象情報の全組み合わせについて平均認識性能の評価を行ったか否かを判別し（ステップＳ３１４）、評価を行っていない組み合わせが残っている場合には（ステップＳ３１４においてＮＯ）、ステップＳ３１１に処理を戻す。ステップＳ３１１では、評価対象情報として既に選択された組み合わせでは、評価対象情報が選択されない。つまり、ステップＳ３１１の処理が行われる都度、異なる組み合わせで評価対象情報が選択される。
評価対象情報の全組み合わせについて平均認識性能の評価が行われた場合（ステップＳ３１４においてＹＥＳ）、ＣＰＵ１１１は、最も平均認識性能が高かったときの評価対象情報を追加情報として決定し（ステップＳ３１５）、追加情報決定処理を終了する。
図１８は、ネットワーク構成分割処理Ｓ３０２の手順を示すフローチャートである。まずＣＰＵ１１１は、分割数Ｎを最大値（例えば、３）に設定する（ステップＳ３２１）。
次にＣＰＵ１１１は、追加情報決定処理で決定された追加情報を含む画像特徴情報を分割数Ｎの組に分割し（ステップＳ３２２）、分割された画像特徴情報の組を各別に含むＮ組の教師データを作成する（ステップＳ３２３）。つまり、１組目の教師データには１つ目の画像特徴情報の組が含まれ、２組目の教師データには２つ目の画像特徴情報の組が含まれ、Ｎ組目の教師データにはＮ個目の画像特徴情報の組が含まれる。例えば、Ｎ＝３であり、１つ目の画像特徴情報の組がＡｒｃＸ，ＡｒｃＹ，ＷｉｒｅＸ，ＷｉｒｅＹ，ＴｏｒｃｈＸ，ＴｏｒｃｈＹであり、２つ目の画像特徴情報の組がＰｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｙであり、３つ目の画像特徴情報の組がＰｏｏｌ＿Ｌｘ，Ｐｏｏｌ＿Ｒｘである場合、１組目の教師データのそれぞれには画像特徴情報としてＡｒｃＸ，ＡｒｃＹ，ＷｉｒｅＸ，ＷｉｒｅＹ，ＴｏｒｃｈＸ，ＴｏｒｃｈＹが含まれ、２組目の教師データのそれぞれには画像特徴情報としてＰｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｃｙが含まれ、３組目の教師データのそれぞれには画像特徴情報としてＰｏｏｌ＿Ｌｘ，Ｐｏｏｌ＿Ｒｘが含まれる。なお、分割数Ｎが０の場合には、画像特徴情報を分割することなくステップＳ３２４へ処理が進められる。
ＣＰＵ１１１は、上記のようにして作成されたＮ組の教師データによって、各別に機械学習を実行する（ステップＳ３２４）。つまり、１組目の教師データによって１つ目の機械学習モデルが構築され、２組目の教師データによって２つ目の機械学習モデルが構築され、Ｎ組目の教師データによってＮ個目の機械学習モデルが構築される。Ｎが０の場合には、全ての画像特徴情報を含む教師データによって機械学習が行われ、１つの機械学習モデルが構築される。ＣＰＵ１１１は、構築されたＮ個の機械学習モデル全体の平均認識率を求め、平均認識性能を評価する（ステップＳ３２５）。
ＣＰＵ１１１は、画像特徴情報を全ての組み合わせで分割したか否かを判定し（ステップＳ３２６）、分割していない組み合わせが残っている場合（ステップＳ３２６においてＮＯ）、ステップＳ３２２へ処理を戻す。ステップＳ３２２では、分割数Ｎで既に分割された組み合わせでは、画像特徴情報が分割されない。つまり、ステップＳ３２２の処理が行われる都度、異なる組み合わせでＮ個に画像特徴情報が分割される。
画像特徴情報を全ての組み合わせで分割している場合（ステップＳ３２６においてＹＥＳ）、ＣＰＵ１１１は、分割数Ｎが０であるか否かを判定し（ステップＳ３２７）、分割数Ｎが０でない場合は（ステップＳ３２７においてＮＯ）、Ｎをデクリメントし（ステップＳ３２８）、ステップＳ３２２へ処理を戻す。これにより、新たな分割数Ｎによって画像特徴情報が分割される。
分割数Ｎが０の場合（ステップＳ３２７においてＹＥＳ）、ＣＰＵ１１１は、最も平均認識性能が高かったときの分割数Ｎ及び分割した画像特徴情報の組み合わせを、補正情報の生成に使用する分割数Ｎ及び画像特徴情報の組み合わせとして決定し（ステップＳ３２９）、ネットワーク構成分割処理を終了する。
機械学習モデル構築処理Ｓ３０３では、上記の追加情報決定処理Ｓ３０１及びネットワーク構成分割処理Ｓ３０２によって決定された追加情報、分割数Ｎ、及び分割した画像特徴情報の組み合わせを用いて、機械学習を行う。図１９は、機械学習モデル構築処理Ｓ３０３の手順を示すフローチャートである。まず、ＣＰＵ１１１は、追加情報決定処理で決定された追加情報を含む画像特徴情報を分割数Ｎの組に分割し（ステップＳ３３１）、分割された画像特徴情報の組を各別に含むＮ組の教師データを作成する（ステップＳ３３２）。
ＣＰＵ１１１は、上記のようにして作成されたＮ個の教師データによって、各別に機械学習を実行する（ステップＳ３３３）。ＣＰＵ１１１は、所定の終了条件（例えば、直近所定個の教師データにおける誤差平均が所定値未満であるか等）を満足したか否かを判定し（ステップＳ３３４）、終了条件を満たしていなければ（ステップＳ３３４においてＮＯ）、ステップＳ３３３へ処理を戻して機械学習処理を繰り返し、終了条件を満たしていれば（ステップＳ３３４においてＹＥＳ）、機械学習モデル構築処理Ｓ３０３を終了する。以上で準備処理が完了する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態１で説明したものと同様であるので、その説明を省略する。
補正情報生成装置１００の動作について説明する。図２０は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ６０によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置１００に与えられる（ステップＳ３４１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ３４２）。
次にＣＰＵ１１１は、縮小された溶接画像をＮ個の機械学習モデル３６０のそれぞれに入力し、各機械学習モデル３６０から出力される画像特徴情報を取得する（ステップＳ３４３）。ここで得られる画像特徴情報には、補正情報の生成に使用されない情報（トーチ位置及び溶融池先端中央点）が含まれる。
ステップＳ１３４乃至Ｓ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
（実施の形態４）
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで連続撮像し、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得する。
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで連続撮像し、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報を取得する。
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル４６０について説明する。図２１は、機械学習モデル４６０の構成を示す概念図である。本実施の形態に係る機械学習モデル４６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、本実施の形態に係る機械学習モデル４６０について説明する。図２１は、機械学習モデル４６０の構成を示す概念図である。本実施の形態に係る機械学習モデル４６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
機械学習モデル４６０は、複数の溶接画像を入力とし、溶接池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態１で説明したものと同じであるので、その説明を省略する。
溶接条件によって溶接中にアークの輝度が大きく変動することがある。アーク光の輝度が高すぎると、溶融池の先端がアーク光で隠されてしまうことがある。このような溶接画像からは正確に画像特徴情報を抽出することができない。しかし、時系列の複数の溶接画像を用いれば、この問題を解消できる。図２２は、時系列の溶接画像を示す模式図である。時系列の溶接画像においては、アーク光の輝度が突発的に高くなっても一部の画像（図２２では時刻Ｔ２の画像）がその影響を受けるだけであり、他の溶接画像（図２２では時刻Ｔ１及びＴ３の画像）では溶融池の先端などの画像特徴情報の抽出に必要な部分がアーク光で隠されず、画像特徴情報を抽出できることがある。そのため、本実施の形態では、時系列の複数の溶接画像を１組の入力として機械学習モデル４６０に与える。
機械学習モデル４６０の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、複数の溶接画像と、画像特徴情報とによって構成される。教師データにおける画像特徴情報は、溶接画像を参照してオペレータが作成する。また、教師データにおける溶接画像は、カメラ６０によって撮像された時系列画像であり、それぞれが１２０×１００ピクセルに縮小された濃淡画像である。なお、機械学習モデル４６０の構築処理の手順は、実施の形態１において説明した機械学習モデル構築処理の手順（図７参照）と同様であるので、その説明を省略する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態１で説明したものと同様であるので、その説明を省略する。
本実施の形態に係る補正情報生成処理について説明する。図２３は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ６０によって溶融池及びアークが連続撮像され、複数の溶接画像が連続して補正情報生成装置１００に与えられる（ステップＳ４３１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ４３２）。
次にＣＰＵ１１１は、複数（例えば、３つ）の縮小された溶接画像を機械学習モデル４６０に入力し、機械学習モデル４６０から出力される画像特徴情報を取得する（ステップＳ４３３）。これにより、アーク光の輝度が大きく変動した場合でも、正確に画像特徴情報を取得することができる。ステップＳ１３４乃至Ｓ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
（実施の形態５）
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される補正情報を取得し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、自動溶接システムが、溶融池及びアークをカメラで撮像し、カメラから得られた画像を、教師あり学習にて構築された機械学習モデルに入力し、当該機械学習モデルから出力される補正情報を取得し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル５６０について説明する。図２４は、機械学習モデル５６０の構成を示す概念図である。本実施の形態に係る機械学習モデル５６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
まず、本実施の形態に係る機械学習モデル５６０について説明する。図２４は、機械学習モデル５６０の構成を示す概念図である。本実施の形態に係る機械学習モデル５６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。
機械学習モデル５６０は、溶接画像を入力とし、補正情報を出力とするモデルである。補正情報は、実施の形態１と同様に、溶接トーチ２１の左右位置補正量ΔＸ及び上下位置補正量ΔＹ、溶接トーチ２１の速度補正量ΔＶ、並びにウィービング幅の設定値Ｗである。つまり、本実施の形態においては、機械学習モデル５６０によって画像特徴情報を取得するのではなく、補正情報を直接取得する。
機械学習モデル５６０の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、補正情報とによって構成される。教師データにおける補正情報は、溶接画像とその時点における溶接状態を考慮してオペレータが作成する。また、教師データにおける溶接画像は、１２０×１００ピクセルにサイズが縮小された濃淡画像である。なお、機械学習モデル５６０の構築処理の手順は、実施の形態１において説明した機械学習モデル構築処理の手順（図７参照）と同様であるので、その説明を省略する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態１で説明したものと同様であるので、その説明を省略する。
次に、補正情報生成処理について説明する。図２５は、本実施の形態に係る補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、カメラ６０によって溶融池及びアークが撮像され、溶接画像が補正情報生成装置１００に与えられる（ステップＳ５３１）。ＣＰＵ１１１は、受信された溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ５３２）。
次にＣＰＵ１１１は、縮小された溶接画像を機械学習モデル５６０に入力し、機械学習モデル５６０から出力される補正情報を取得する（ステップＳ５３３）。機械学習モデル５６０からは、溶接トーチ２１の左右位置補正量ΔＸ及び上下位置補正量ΔＹ、溶接トーチ２１の速度補正量ΔＶ、並びにウィービング幅の設定値Ｗの各補正情報が出力される。ステップＳ１３５乃至Ｓ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
溶接動作を自動化するためには、画像認識及び制御技術の専門家が、溶接の制御に適した画像特徴情報を選定したり、制御系を設計したりする必要があった。しかし、本実施の形態に係る自動溶接システム１０にあっては、機械学習モデル５６０によって溶接画像から直接補正情報を得ることができるため、画像認識及び制御技術についての知識に乏しいユーザであっても、溶接動作の自動化のためのシステムを設計することができる。
（実施の形態６）
本実施の形態では、機械学習モデルにおいて、画像特徴情報に加えて、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、機械学習モデルにおいて、画像特徴情報に加えて、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態１に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル６６０について説明する。図２６は、機械学習モデル６６０の構成を示す概念図である。本実施の形態に係る機械学習モデル６６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態１の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル６６０について説明する。図２６は、機械学習モデル６６０の構成を示す概念図である。本実施の形態に係る機械学習モデル６６０は、実施の形態１に係る機械学習モデル１６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態１の場合とは異なっている。
機械学習モデル６６０は、溶接画像を入力とし、画像特徴情報及び溶接正常度を出力とするモデルである。ここで、画像特徴情報の出力及び溶接正常度の出力は別々のタスクとして処理される。画像特徴情報については実施の形態１の場合と同様であるため説明を省略する。本実施の形態において、溶接正常度は、アーク溶接が正常であるか否かを示すフラグである。
機械学習モデル６６０の構築は、多数の教師データを使用した教師あり学習により実現される。教師データは、溶接画像と、画像特徴情報及び溶接正常度とによって構成され、教師データにおける画像特徴情報及び溶接正常度は、溶接画像を参照してオペレータが作成する。機械学習モデル６６０の構築処理の手順は、実施の形態１において説明した機械学習モデル構築処理の手順（図７参照）と同様である。但し、本実施の形態の場合、ステップＳ１０２の機械学習処理において、各タスクに設定された優先度を用いる。具体的には、次のようにして機械学習処理が実行される。
まず、画像特徴情報の出力タスクにおける出力結果と教師データとの誤差、及び溶接正常度の出力タスクにおける出力結果と教師データとの誤差のそれぞれに対して重みを付与することにより、各タスクに対して優先度を設定する。そして、全タスクの誤差を次式（９）によって算出する。
全タスクの誤差＝α１×（特徴点出力タスクの誤差）＋α２×（溶接正常度出力タスクの誤差） （９）
但し、α１及びα２は各タスクの誤差に対して付与された重みである。このようにして算出された全タスクの誤差を用いて機械学習処理が実行される。適切な重みを設定することにより、高精度な機械学習モデルを構築することができる。
全タスクの誤差＝α１×（特徴点出力タスクの誤差）＋α２×（溶接正常度出力タスクの誤差） （９）
但し、α１及びα２は各タスクの誤差に対して付与された重みである。このようにして算出された全タスクの誤差を用いて機械学習処理が実行される。適切な重みを設定することにより、高精度な機械学習モデルを構築することができる。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態１で説明したものと同様であるので、その説明を省略する。
補正情報生成装置１００の動作について説明する。図２７は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態１の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ１３１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ１３２）。
次に、ＣＰＵ１１１は、縮小された溶接画像を機械学習モデル６６０に入力し、機械学習モデル６６０から出力される画像特徴情報及び溶接正常度を取得する（ステップＳ６３３）。
ＣＰＵ１１１は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する（Ｓ６３４）。画像特徴情報に基づく補正情報の生成については実施の形態１の場合と同様であるので、その説明を省略する。溶接正常度については、例えば溶接状態が正常ではないことを示す値であった場合、溶接トーチ２１の移動速度が所定量低下するように当該移動速度の補正量を算出する。このようにして算出された補正量を用いて溶接トーチ２１の移動速度が制御されることにより、正常状態への復帰を促すことができる。
ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
上記のように、溶接正常度を用いることにより、自動溶接の制御に用いる溶接画像を選別することができるため、安定した制御を実現することができる。また、一つの畳み込みニューラルネットワークにおいて複数のタスクを処理することにより、高速且つ同期のとれた制御を行うことが可能になる。
（実施の形態７）
本実施の形態では、実施の形態２の場合と同様に、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、実施の形態２の場合と同様に、入力される溶接画像における溶融池及びアークの領域の面積を抽出し、これらを画像特徴情報として出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態２に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態２に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル７６０について説明する。図２８は、機械学習モデル７６０の構成を示す概念図である。本実施の形態に係る機械学習モデル７６０は、実施の形態２に係る機械学習モデル２６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態２の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル７６０について説明する。図２８は、機械学習モデル７６０の構成を示す概念図である。本実施の形態に係る機械学習モデル７６０は、実施の形態２に係る機械学習モデル２６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態２の場合とは異なっている。
機械学習モデル７６０は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ２４の領域を分割し領域毎にラベリングしたラベル画像を画像特徴情報として出力するとともに、溶接正常度を出力する。ラベル画像については、実施の形態２の場合と同様であるので、その説明を省略する。
機械学習モデル７６０の構築は、溶接画像及び上記のラベル画像に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態２及び６の場合と同様であるので、その説明を省略する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態２で説明したものと同様であるので、その説明を省略する。
補正情報生成装置１００の動作について説明する。図２９は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態２の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ２３１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ２３２）。
次に、ＣＰＵ１１１は、縮小された溶接画像を機械学習モデル６６０に入力し、機械学習モデル７６０から出力されるラベル画像及び溶接正常度を取得する（ステップＳ７３３）。
ＣＰＵ１１１は、得られたラベル画像及び溶接正常度に基づいて、補正情報を生成する（Ｓ７３４）。ラベル画像に基づく補正情報の生成については実施の形態２の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態６の場合と同様であるので、それぞれの説明を省略する。また、ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
（実施の形態８）
本実施の形態では、実施の形態３の場合と同様に、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報の一部及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、実施の形態３の場合と同様に、機械学習モデルにおいて、補正情報の生成に用いられない情報を含む画像特徴情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた画像特徴情報の一部及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態３に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態３に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル８６０について説明する。図３０は、機械学習モデル８６０の構成を示す概念図である。本実施の形態に係る機械学習モデル８６０は、実施の形態３に係る機械学習モデル３６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態３の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル８６０について説明する。図３０は、機械学習モデル８６０の構成を示す概念図である。本実施の形態に係る機械学習モデル８６０は、実施の形態３に係る機械学習モデル３６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態３の場合とは異なっている。
機械学習モデル８６０は、溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報及び溶接正常度を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態３の場合と同様であるので、その説明を省略する。
機械学習モデル８６０の構築は、溶接画像及び画像特徴情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態３及び６の場合と同様であるので、その説明を省略する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態３で説明したものと同様であるので、その説明を省略する。
補正情報生成装置１００の動作について説明する。図３１は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態３の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ３４１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ３４２）。
次に、ＣＰＵ１１１は、縮小された溶接画像をＮ個の機械学習モデル８６０のそれぞれに入力し、各機械学習モデル８６０から出力される画像特徴情報及び溶接正常度を取得する（ステップＳ８４３）。
ＣＰＵ１１１は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する（Ｓ８３４）。画像特徴情報に基づく補正情報の生成については実施の形態３の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態６の場合と同様であるので、それぞれの説明を省略する。また、ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
（実施の形態９）
本実施の形態では、実施の形態４の場合と同様に、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報及びアーク溶接の状態の正常度合いを示す溶接正常度を取得し、それらの画像特徴情報及び溶接正常度から算出された補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、実施の形態４の場合と同様に、カメラから得られた複数の溶接画像をまとめて機械学習モデルに入力し、当該機械学習モデルから出力される画像特徴情報及びアーク溶接の状態の正常度合いを示す溶接正常度を取得し、それらの画像特徴情報及び溶接正常度から算出された補正情報に基づいてアーク溶接の自動制御を行う。
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態４に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態４に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル９６０について説明する。図３２は、機械学習モデル９６０の構成を示す概念図である。本実施の形態に係る機械学習モデル９６０は、実施の形態４に係る機械学習モデル４６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態９の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル９６０について説明する。図３２は、機械学習モデル９６０の構成を示す概念図である。本実施の形態に係る機械学習モデル９６０は、実施の形態４に係る機械学習モデル４６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態９の場合とは異なっている。
機械学習モデル９６０は、複数の溶接画像を入力とし、溶接画像における溶融池、アーク及び溶接ワイヤ２４の領域の位置についての画像特徴情報及び溶接正常度を出力とするモデルである。本実施の形態に係る画像特徴情報は、実施の形態４の場合と同様であるので、その説明を省略する。
機械学習モデル９６０の構築は、複数の溶接画像及び画像特徴情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態４及び６の場合と同様であるので、その説明を省略する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態４で説明したものと同様であるので、その説明を省略する。
補正情報生成装置１００の動作について説明する。図３３は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態４の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ４３１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ４３２）。
次に、ＣＰＵ１１１は、複数（例えば、３つ）の縮小された溶接画像を機械学習モデル９６０に入力し、機械学習モデル９６０から出力される画像特徴情報及び溶接正常度を取得する（ステップＳ９３３）。
ＣＰＵ１１１は、得られた画像特徴情報及び溶接正常度に基づいて、補正情報を生成する（Ｓ９３４）。画像特徴情報に基づく補正情報の生成については実施の形態４の場合と同様であり、溶接正常度に基づく補正情報の生成については実施の形態６の場合と同様であるので、それぞれの説明を省略する。また、ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
（実施の形態１０）
本実施の形態では、実施の形態５の場合と同様に、機械学習モデルにおいて、補正情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた補正情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
本実施の形態では、実施の形態５の場合と同様に、機械学習モデルにおいて、補正情報を出力するとともに、アーク溶接の状態の正常度合いを示す溶接正常度を出力する。自動溶接システムは、得られた補正情報及び溶接正常度を用いてアーク溶接に関する物理量の補正情報を生成し、補正情報に基づいてアーク溶接の自動制御を行う。
＜自動溶接システムの構成＞
本実施の形態に係る自動溶接システムの構成は、実施の形態５に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施の形態に係る自動溶接システムの構成は、実施の形態５に係る自動溶接システム１０の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
＜自動溶接システムの動作＞
まず、本実施の形態に係る機械学習モデル１０６０について説明する。図３４は、機械学習モデル１０６０の構成を示す概念図である。本実施の形態に係る機械学習モデル１０６０は、実施の形態５に係る機械学習モデル５６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態５の場合とは異なっている。
まず、本実施の形態に係る機械学習モデル１０６０について説明する。図３４は、機械学習モデル１０６０の構成を示す概念図である。本実施の形態に係る機械学習モデル１０６０は、実施の形態５に係る機械学習モデル５６０と同様に、畳み込みニューラルネットワークにより構成されており、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含んでいる。但し、最終段の全結合層が２つに分岐しており、これによってマルチタスク学習が可能になっている点が、実施の形態５の場合とは異なっている。
機械学習モデル１０６０は、溶接画像を入力とし、補正情報及び溶接正常度を出力とするモデルである。本実施の形態に係る補正情報は、実施の形態５の場合と同様であるので、その説明を省略する。
機械学習モデル１０６０の構築は、溶接画像及び補正情報に加えて、溶接画像を参照してオペレータが作成した溶接正常度を含む教師データを用いる他は、実施の形態５及び６の場合と同様であるので、その説明を省略する。
次に、自動溶接が行われる場合の自動溶接システム１０の動作について説明する。ロボット制御装置３０及び電源装置４０の動作については、実施の形態５で説明したものと同様であるので、その説明を省略する。
補正情報生成装置１００の動作について説明する。図３５は、補正情報生成処理の手順を示すフローチャートである。自動溶接が行われている間、実施の形態５の場合と同様に、溶接画像が補正情報生成装置１００に与えられ（ステップＳ５３１）、ＣＰＵ１１１は、その溶接画像のサイズを１２０×１００ピクセルに縮小し、濃淡画像に変換する（ステップＳ５３２）。
次に、ＣＰＵ１１１は、縮小された溶接画像を機械学習モデル１０６０に入力し、機械学習モデル１０６０から出力される補正情報及び溶接正常度を取得する（ステップＳ１０３３）。
ＣＰＵ１１１は、得られた補正情報及び溶接正常度に基づいて、ロボット制御装置３０に送信するための補正情報を生成する（Ｓ１０３４）。具体的には、ステップＳ１０３３にて取得した補正情報と、溶接正常度に基づいて生成された補正情報とを合わせることにより、ロボット制御装置３０に送信するための補正情報を生成する。なお、溶接正常度に基づく補正情報の生成については実施の形態６の場合と同様であるので、その説明を省略する。また、ステップＳ１３５及びＳ１３６の処理については、実施の形態１において説明したものと同様であるので、その説明を省略する。
（その他の実施の形態）
上述した実施の形態１乃至１０においては、機械学習モデルを、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワークとしたが、これに限定されるものではない。これ以外の構成のニューラルネットワークであってもよい。但し、画像認識精度の観点からは、少なくとも１つずつ、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであることが好ましい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習モデルを用いることもできる。
上述した実施の形態１乃至１０においては、機械学習モデルを、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワークとしたが、これに限定されるものではない。これ以外の構成のニューラルネットワークであってもよい。但し、画像認識精度の観点からは、少なくとも１つずつ、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであることが好ましい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習モデルを用いることもできる。
また、上述した実施の形態１、３、４、６、８及び９においては、画像特徴情報が、アーク中心（ＡｒｃＸ，ＡｒｃＹ）、ワイヤ先端（ＷｉｒｅＸ，ＷｉｒｅＹ）、溶融池先端左端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）、溶融池左端（Ｐｏｏｌ＿Ｌｘ）、及び溶融池右端（Ｐｏｏｌ＿Ｒｘ）である構成について述べたが、これに限定されるものではない。制御対象の物理量、ワークの種類等によっても画像特徴情報は変わり得る。ワークがＶ型開先継手の場合を例に挙げて説明する。図３６Ａは、Ｖ字開先継手における溶接画像の写真であり、図３６Ｂは、当該溶接画像における撮像物を説明するための図である。Ｖ型開先継手では、開先がＶ型をなしているため溶融池先端は三角形となり、溶融池先端点は２点ではなく１点となる。そこで、溶融池先端左端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｌｙ）、溶融池先端右端（Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｘ，Ｐｏｏｌ＿Ｌｅａｄ＿Ｒｙ）に代えて、溶融池先端点を画像特徴情報とすることができる。但し、溶接制御に用いられる補正情報を生成するために、画像特徴情報は、溶接画像中の溶融池又はアークの領域についての位置に関する情報を含むことが好ましい。さらに具体的には、画像特徴情報が、溶融池の領域の先端、幅、横方向端、及び縦方向長さ、アークの領域の中心点、幅、及び縦方向長さ、溶接線の位置、突合せ継手における開先の領域の幅、並びにアークを生じる溶接ワイヤの領域の先端のうちの少なくとも何れか１つを含むことが好ましい。
また、上述した実施の形態１及び６においては、溶融池左端Ｐｏｏｌ＿Ｌｘ及び溶融池右端Ｐｏｏｌ＿Ｒｘを検出し、これらから溶融池の左右方向中心ＰｏｏｌＣｅｎＸを求め、ＰｏｏｌＣｅｎＸに基づいて溶接トーチ２１の左右位置補正量ΔＸを算出する構成について述べたが、これに限定されるものではない。溶融池先端左端及び溶融池先端右端から開先におけるギャップの中心位置である溶接線を求め、この溶接線に基づいて溶接トーチ２１の左右位置補正量ΔＸを算出する構成とすることもできる。また、上記のＶ型開先継手のような溶接画像に溶接線が現れるワークの場合には、溶接画像における溶接線の位置を検出し、この位置に基づいて溶接トーチ２１の左右位置補正量ΔＸを算出する構成とすることができる。例えば隅肉溶接のように、溶接線に対して左右不均等に溶融池が生じるワークに対しては、溶融池の左右方向中心ＰｏｏｌＣｅｎＸでは適切な左右位置補正量ΔＸを求めることが難しいため、溶接線の位置を検出し、これを用いて補正量ΔＸを算出することが好ましい。
また、上述した実施の形態２及び７においては、アーク面積ＡｒｃＡｒｅａを用いて溶接状態の正常／異常を判定する構成について述べたが、これに限定されるものではない。溶接画像からアーク領域の左端及び右端を検出し、これらからアーク領域の幅を求め、アーク領域の幅に基づいて溶接状態の正常／異常を判定する構成とすることもできる。
また、上述した実施の形態２及び７においては、溶融池面積ＰｏｏｌＡｒｅａを用いて溶接電圧の補正量ΔＶｏｌを算出する構成について述べたが、これに限定されるものではない。溶接電流を調節可能な電源装置の場合に、溶融池面積ＰｏｏｌＡｒｅａを用いて溶接電流の補正量を算出し、その補正量に応じて溶接電流を補正する構成とすることもできる。
また、上述した実施の形態１乃至１０においては、カメラ６０が溶融池及びアークを前斜め上方から撮像する構成について述べたが、これに限定されるものではない。これ以外のアングルで溶融池及びアークを撮像する構成とすることもできる。図３７Ａは、前斜め上方から溶融池及びアークを撮像したときの溶接画像の写真であり、図３７Ｂは、当該画像における撮像物を説明するための図である。また、図３８Ａは、後斜め上方から溶融池及びアークを撮像したときの溶接画像の写真であり、図３８Ｂは、当該画像における撮像物を説明するための図である。前斜め上方から撮像した溶接画像では、溶融池の先端が撮像されているのに対して、後斜め上方から撮像した溶接画像では、溶融池の領域の先端が、溶接ワイヤの領域によって隠れていることが分かる。このように、カメラ６０のアングルを変えると、画像中における一部の領域が隠れたり、溶融池及びアークの領域の位置及び形状が変わったりするため、１つのアングルで撮像して得られた溶接画像を含む教師データによって構築された機械学習モデルに対し、別のアングルで撮像された溶接画像を入力すると、正常に画像認識が行えない可能性がある。このため、教師データの溶接画像と同一アングルで撮像された溶接画像を機械学習モデルの入力とすることが好ましい。
また、上述した実施の形態１乃至１０では、単一のコンピュータ１０１によって補正情報生成プログラム１５０のすべての処理が実行される構成について述べたが、本発明はこれに限定されるものではなく、補正情報生成プログラム１５０と同様の処理を、複数の装置（コンピュータ）により分散して実行する分散システムとすることも可能である。また、実施の形態１乃至５では、補正情報生成装置１００と、ロボット制御装置３０とを個別に設ける構成について述べたが、これに限定されるものではない。補正情報生成装置１００に、ロボット制御装置３０としての機能、つまり、自動溶接制御、ウィービング動作の制御、及び溶接線倣い制御を実行する機能、並びに電源装置４０を制御する機能を設けてもよい。
本発明の自動溶接システム、溶接制御方法、及び機械学習モデルは、アーク溶接の溶接箇所を撮像して得られた画像によって溶接制御を行う自動溶接システム及び溶接制御方法、並びに溶接制御に用いられる情報を出力するための機械学習モデル等として有用である。
１０ 自動溶接システム
２０ 溶接ロボット
２１ 溶接トーチ
２４ 溶接ワイヤ
３０ ロボット制御装置
３０１ ＣＰＵ
３３０ 制御プログラム
４０，２４０ 電源装置
５０ ワーク
６０ カメラ
１００ 補正情報生成装置
１１１ ＣＰＵ
１５０ 補正情報生成プログラム
１６０，２６０，３６０，４６０，５６０、６６０，７６０，８６０，９６０，１００６ 機械学習モデル
２０ 溶接ロボット
２１ 溶接トーチ
２４ 溶接ワイヤ
３０ ロボット制御装置
３０１ ＣＰＵ
３３０ 制御プログラム
４０，２４０ 電源装置
５０ ワーク
６０ カメラ
１００ 補正情報生成装置
１１１ ＣＰＵ
１５０ 補正情報生成プログラム
１６０，２６０，３６０，４６０，５６０、６６０，７６０，８６０，９６０，１００６ 機械学習モデル
Claims (25)
- 溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するモデル構築手段と、
アーク溶接における溶融池、アーク、又は溶接ワイヤを撮像するカメラと、
前記カメラによって得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御する制御手段と
を備える、
自動溶接システム。 - 前記モデル構築手段は、前記画像における溶融池、アーク、又は溶接ワイヤの像の特徴を示す画像特徴情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、
前記情報取得手段によって取得された前記画像特徴情報に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成する補正情報生成手段をさらに備え、
前記制御手段は、前記補正情報生成手段によって生成された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項１に記載の自動溶接システム。 - 前記モデル構築手段は、前記画像特徴情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、
前記補正情報生成手段は、前記情報取得手段によって取得された前記画像特徴情報及び前記溶接正常度に基づいて、前記アーク溶接に関する物理量を補正するための補正情報を生成するように構成されている、
請求項２に記載の自動溶接システム。 - 前記モデル構築手段は、前記画像特徴情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されている、
請求項３に記載の自動溶接システム。 - 前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されている、
請求項４に記載の自動溶接システム。 - 前記画像特徴情報は、前記画像中の溶融池、アーク、又は溶接ワイヤの領域についての位置に関する情報を含む、
請求項２乃至５の何れかに記載の自動溶接システム。 - 前記画像特徴情報は、前記溶融池の領域の中心位置を含み、
前記補正情報生成手段は、前記溶融池の領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの位置についての前記補正情報を生成するように構成されている、
請求項６に記載の自動溶接システム。 - 前記画像特徴情報は、前記溶接ワイヤの領域の先端位置を含み、
前記補正情報生成手段は、前記溶接ワイヤの領域の先端位置に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されている、
請求項６又は７に記載の自動溶接システム。 - 前記画像特徴情報は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置を含み、
前記補正情報生成手段は、前記溶融池の領域の先端位置及び前記アークの領域の中心位置に基づいて、前記溶接ワイヤを保持する溶接トーチの移動速度についての前記補正情報を生成するように構成されている、
請求項６乃至８の何れかに記載の自動溶接システム。 - 前記画像特徴情報は、突合せ継手における開先の幅を含み、
前記補正情報生成手段は、前記突合せ継手における開先の幅に基づいて、前記溶接ワイヤを保持する溶接トーチを周期的に揺動させるウィービング動作の幅についての前記補正情報を生成するように構成されている、
請求項２乃至９の何れかに記載の自動溶接システム。 - 前記画像特徴情報は、前記画像中の溶融池、アーク、及び溶接ワイヤの領域毎に異なるラベルが割り当てられたラベル画像を含む、
請求項２乃至１０の何れかに記載の自動溶接システム。 - 前記補正情報生成手段は、前記ラベル画像における前記溶接ワイヤの領域の面積に基づいて、前記溶接ワイヤを保持する溶接トーチの高さについての前記補正情報を生成するように構成されている、
請求項１１に記載の自動溶接システム。 - 前記補正情報生成手段は、前記ラベル画像における前記溶融池の領域の面積に基づいて、前記溶接ワイヤに生じる溶接電圧又は溶接電流についての前記補正情報を生成するように構成されている、
請求項１１又は１２に記載の自動溶接システム。 - 前記ラベル画像における前記アークの領域についての位置又は面積に基づいて、溶接状態が正常であるか否かを判定する溶接状態判定手段と、
前記溶接状態判定手段によって前記溶接状態が異常であると判定された場合に、前記溶接状態が異常であることを通知する通知手段と
をさらに備える、
請求項２乃至１３の何れかに記載の自動溶接システム。 - 前記モデル構築手段は、前記補正情報生成手段による前記補正情報の生成に用いられない情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されている、
請求項２乃至１４の何れかに記載の自動溶接システム。 - 前記補正情報の生成に用いられない情報である複数の候補情報から、前記機械学習モデルにおける前記画像の認識性能に基づいて、前記画像特徴情報に含むべき情報を決定する決定手段をさらに備え、
前記モデル構築手段は、前記決定手段によって決定された前記情報を含む前記画像特徴情報を出力する前記機械学習モデルを構築するように構成されている、
請求項１５に記載の自動溶接システム。 - 前記モデル構築手段は、前記アーク溶接に関する物理量を補正するための補正情報を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、
前記制御手段は、前記情報取得手段によって取得された前記補正情報にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項１に記載の自動溶接システム。 - 前記モデル構築手段は、前記補正情報及び前記アーク溶接の状態の正常度合いを示す溶接正常度を前記状態関連情報として出力する前記機械学習モデルを構築するように構成されており、
前記制御手段は、前記情報取得手段によって取得された前記補正情報及び前記溶接正常度にしたがって前記物理量を補正するよう、前記溶接機構を制御するように構成されている、
請求項１７に記載の自動溶接システム。 - 前記モデル構築手段は、前記補正情報の出力及び前記溶接正常度の出力を別々のタスクとする前記学習を実行するように構成されている、
請求項１８に記載の自動溶接システム。 - 前記モデル構築手段は、前記タスクのそれぞれに対して設定された優先度に基づいて前記学習を実行するように構成されている、
請求項１９に記載の自動溶接システム。 - 前記カメラは、前記溶融池、アーク、又は溶接ワイヤを時間的に連続して撮像するように構成されており、
前記モデル構築手段は、時間的に連続した複数の画像を含む時系列画像を入力とし前記状態関連情報を出力とする前記機械学習モデルを構築するように構成されている、
請求項１乃至２０の何れかに記載の自動溶接システム。 - 前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークである、
請求項１乃至２１の何れかに記載の自動溶接システム。 - 複数の前記状態関連情報を複数の組に分割する分割手段をさらに備え、
前記モデル構築手段は、前記分割手段によって分割された前記状態関連情報の組を各別に含む前記教師データによって教師あり学習を実行し、前記状態関連情報の組と各別に対応する複数の前記機械学習モデルを構築するように構成されており、
前記情報取得手段は、前記カメラによって得られた画像を入力として前記複数の機械学習モデルのそれぞれに与え、前記機械学習モデルのそれぞれから出力される前記状態関連情報の組を取得するように構成されている、
請求項１乃至２２の何れかに記載の自動溶接システム。 - 溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによって教師あり学習を実行し、前記画像を入力とし前記状態関連情報を出力とする機械学習モデルを構築するステップと、
アーク溶接における溶融池又はアークを撮像するステップと、
撮像して得られた画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される状態関連情報を取得するステップと、
取得された前記状態関連情報に基づいて、前記アーク溶接を実行する溶接機構を制御するステップと
を有する、
溶接制御方法。 - アーク溶接を実行する溶接機構の制御に用いられる情報を出力するための機械学習モデルであって、
溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤの像を含む画像と、前記アーク溶接の状態に関する状態関連情報とを含む複数の教師データによる教師あり学習によって構築され、
前記溶接機構の制御の際に、溶接ワイヤを用いたアーク溶接における溶融池、アーク、又は溶接ワイヤをカメラによって撮像して得られた画像を入力とし、
前記アーク溶接の状態に関する状態関連情報を出力とする、機械学習モデル。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017095546 | 2017-05-12 | ||
| JP2017095546 | 2017-05-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018192524A true JP2018192524A (ja) | 2018-12-06 |
| JP7021728B2 JP7021728B2 (ja) | 2022-02-17 |
Family
ID=64569667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018020283A Active JP7021728B2 (ja) | 2017-05-12 | 2018-02-07 | 自動溶接システム、溶接制御方法、及び機械学習モデル |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7021728B2 (ja) |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163859A (zh) * | 2019-05-29 | 2019-08-23 | 广东工业大学 | 基于PoseCNN的焊缝焊接方法、装置及设备 |
| CN111429441A (zh) * | 2020-03-31 | 2020-07-17 | 电子科技大学 | 一种基于yolov3算法的焊口识别定位方法 |
| JP2020182966A (ja) * | 2019-05-08 | 2020-11-12 | 株式会社東芝 | 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体 |
| JP2020201213A (ja) * | 2019-06-13 | 2020-12-17 | 株式会社神戸製鋼所 | ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラム |
| JP2021045773A (ja) * | 2019-09-19 | 2021-03-25 | 川崎重工業株式会社 | アーク溶接システム |
| WO2021100358A1 (ja) * | 2019-11-19 | 2021-05-27 | 株式会社神戸製鋼所 | 自動溶接システム、自動溶接方法、溶接支援装置およびプログラム |
| CN112991304A (zh) * | 2021-03-23 | 2021-06-18 | 武汉大学 | 一种基于激光定向能量沉积监测系统的熔池溅射检测方法 |
| WO2021129671A1 (zh) * | 2019-12-24 | 2021-07-01 | 华中科技大学 | 一种用于电弧增材制造的焊道建模方法、设备及系统 |
| CN113195142A (zh) * | 2018-12-27 | 2021-07-30 | 三菱电机株式会社 | 自动焊接系统、电梯轿厢室部件的制造方法及自动焊接方法 |
| CN113207286A (zh) * | 2018-12-19 | 2021-08-03 | 松下知识产权经营株式会社 | 外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及使用该焊接系统的工件的焊接方法 |
| WO2021166555A1 (ja) * | 2020-02-17 | 2021-08-26 | 株式会社神戸製鋼所 | 自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム |
| JP2021157691A (ja) * | 2020-03-30 | 2021-10-07 | 株式会社神戸製鋼所 | 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム |
| CN113492288A (zh) * | 2020-04-03 | 2021-10-12 | 株式会社日立制作所 | 自动焊接机器人动作控制系统及动作控制方法 |
| JP2021171810A (ja) * | 2020-04-30 | 2021-11-01 | 株式会社神戸製鋼所 | 溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム |
| CN113909637A (zh) * | 2021-09-30 | 2022-01-11 | 北京博清科技有限公司 | 焊接设备的控制方法、控制装置以及焊接系统 |
| CN113950386A (zh) * | 2019-06-06 | 2022-01-18 | 松下知识产权经营株式会社 | 焊接条件设定辅助装置 |
| JP2022059843A (ja) * | 2020-10-02 | 2022-04-14 | 株式会社東芝 | 学習モデルの生成方法、学習済みモデル、画像処理方法、画像処理システム、及び溶接システム |
| JP2022065758A (ja) * | 2020-10-16 | 2022-04-28 | 株式会社神戸製鋼所 | 溶接システム、溶接方法、溶接支援装置、プログラム、学習装置、及び学習済みモデルの生成方法 |
| CN115365655A (zh) * | 2022-08-01 | 2022-11-22 | 常熟天地煤机装备有限公司 | 采用高速摄影监控识别环形窄间隙激光填丝焊接的方法 |
| US11541483B2 (en) * | 2019-06-28 | 2023-01-03 | Tsinghua University | Control device and method for formation of weld seam |
| JP2023001642A (ja) * | 2021-06-21 | 2023-01-06 | 株式会社神戸製鋼所 | 学習済みモデルの生成方法、学習装置、溶接ロボットの制御装置、システム、学習済みモデル、およびプログラム |
| WO2023002753A1 (ja) * | 2021-07-19 | 2023-01-26 | 株式会社神戸製鋼所 | 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム |
| CN115890055A (zh) * | 2023-02-15 | 2023-04-04 | 重庆交通大学 | 用于探究熔池与焊接质量关联规律的焊接实验架及其方法 |
| JP2023514753A (ja) * | 2020-03-20 | 2023-04-07 | シェフラー テクノロジーズ アー・ゲー ウント コー． カー・ゲー | 電気化学電池、特に燃料電池のバイポーラプレートを検査するための方法および検査装置 |
| JP2023521379A (ja) * | 2020-04-08 | 2023-05-24 | ビーダブリューエックスティ・アドバンスト・テクノロジーズ・リミテッド・ライアビリティ・カンパニー | 溶接品質のｉｎ－ｓｉｔｕ検査のための方法 |
| CN116475535A (zh) * | 2023-04-19 | 2023-07-25 | 西安交通大学 | 一种薄板搭接电弧焊偏移量在线识别方法、装置和设备 |
| KR102572304B1 (ko) * | 2023-03-09 | 2023-08-28 | 박종영 | 인공지능 알고리즘에 기초하여 실시간 용접 검사 및 불량 예방 서비스를 제공하는 방법 및 시스템 |
| WO2023171095A1 (ja) * | 2022-03-09 | 2023-09-14 | 株式会社神戸製鋼所 | 溶接における欠陥予測システム、機械学習装置、欠陥予測方法、およびプログラム |
| CN116758463A (zh) * | 2023-06-13 | 2023-09-15 | 江西芯康科技有限公司 | 基于渐进式学习的芯光线共晶熔池状态的识别方法 |
| CN116921817A (zh) * | 2023-09-15 | 2023-10-24 | 中建安装集团有限公司 | 自动tig焊电弧聚集度在线监测及智能预警方法 |
| CN117532216A (zh) * | 2023-12-21 | 2024-02-09 | 重庆工业设备安装集团有限公司 | 钢结构焊接机器人 |
| CN118060669A (zh) * | 2024-04-22 | 2024-05-24 | 广东工业大学 | 一种基于焊接熔池特征识别的自动焊接控制方法 |
| US12011779B2 (en) | 2021-02-24 | 2024-06-18 | Mitsubishi Electric Corporation | Additive manufacturing apparatus, additive manufacturing system, additive manufacturing method, storage medium, and learning device |
| WO2024136457A1 (ko) * | 2022-12-23 | 2024-06-27 | 주식회사 아이티엘 | 인공지능 모델에 기반하여 용접 불량 검출 및 재시공을 수행하기 위한 방법 및 장치 |
| WO2024214385A1 (ja) * | 2023-04-14 | 2024-10-17 | 株式会社神戸製鋼所 | 溶接制御方法、溶接システム、および溶接制御プログラム |
| CN119850596A (zh) * | 2025-02-27 | 2025-04-18 | 深圳市紫宸激光设备有限公司 | 一种基于自动激光焊接的焊后检测方法及相关设备 |
| CN119871466A (zh) * | 2025-03-28 | 2025-04-25 | 太原科技大学 | 一种基于深度学习的高精度高质量视觉引导机器人自动焊接方法 |
| CN121104247A (zh) * | 2025-11-12 | 2025-12-12 | 中恒丰钢构(内蒙古)有限公司 | 一种弧形钢结构焊接系统及装置 |
| CN121403418A (zh) * | 2025-12-30 | 2026-01-27 | 山东星辉液压设备有限公司 | 工业机器人焊接的智能控制方法和系统 |
| WO2026023868A1 (ko) * | 2024-07-26 | 2026-01-29 | 주식회사 아이티엘 | 인공지능 모델에 기반하여 용접 불량 검출 및 재시공을 수행하기 위한 방법 및 장치 |
| US12594627B2 (en) | 2021-11-29 | 2026-04-07 | Mitsubishi Electric Corporation | Additive manufacturing system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08132230A (ja) * | 1994-11-11 | 1996-05-28 | Mitsubishi Heavy Ind Ltd | 立向き溶接アーク点位置認識装置および方法 |
| JP2005111538A (ja) * | 2003-10-09 | 2005-04-28 | Toyota Motor Corp | レーザ溶接品質検査方法及び装置 |
-
2018
- 2018-02-07 JP JP2018020283A patent/JP7021728B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08132230A (ja) * | 1994-11-11 | 1996-05-28 | Mitsubishi Heavy Ind Ltd | 立向き溶接アーク点位置認識装置および方法 |
| JP2005111538A (ja) * | 2003-10-09 | 2005-04-28 | Toyota Motor Corp | レーザ溶接品質検査方法及び装置 |
Cited By (87)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3900870A4 (en) * | 2018-12-19 | 2022-02-16 | Panasonic Intellectual Property Management Co., Ltd. | Visual inspection device, method for improving accuracy of determination for existence/nonexistence of shape failure of welding portion and kind thereof using same, welding system, and work welding method using same |
| CN113207286A (zh) * | 2018-12-19 | 2021-08-03 | 松下知识产权经营株式会社 | 外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及使用该焊接系统的工件的焊接方法 |
| CN113195142A (zh) * | 2018-12-27 | 2021-07-30 | 三菱电机株式会社 | 自动焊接系统、电梯轿厢室部件的制造方法及自动焊接方法 |
| JP7046226B2 (ja) | 2018-12-27 | 2022-04-01 | 三菱電機株式会社 | 自動溶接システム、エレベーターかご室部品の製造方法、および自動溶接方法 |
| JPWO2020137184A1 (ja) * | 2018-12-27 | 2021-09-09 | 三菱電機株式会社 | 自動溶接システム、エレベーターかご室部品の製造方法、および自動溶接方法 |
| CN112001876B (zh) * | 2019-05-08 | 2025-02-28 | 株式会社东芝 | 判定装置、判定系统、焊接系统、判定方法以及存储介质 |
| JP2020182966A (ja) * | 2019-05-08 | 2020-11-12 | 株式会社東芝 | 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体 |
| JP7357463B2 (ja) | 2019-05-08 | 2023-10-06 | 株式会社東芝 | 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体 |
| US11216934B2 (en) | 2019-05-08 | 2022-01-04 | Kabushiki Kaisha Toshiba | Determination device, determination system, welding system, determination method, and storage medium |
| CN112001876A (zh) * | 2019-05-08 | 2020-11-27 | 株式会社东芝 | 判定装置、判定系统、焊接系统、判定方法以及存储介质 |
| CN110163859B (zh) * | 2019-05-29 | 2023-05-05 | 广东工业大学 | 基于PoseCNN的焊缝焊接方法、装置及设备 |
| CN110163859A (zh) * | 2019-05-29 | 2019-08-23 | 广东工业大学 | 基于PoseCNN的焊缝焊接方法、装置及设备 |
| CN113950386A (zh) * | 2019-06-06 | 2022-01-18 | 松下知识产权经营株式会社 | 焊接条件设定辅助装置 |
| JP2020201213A (ja) * | 2019-06-13 | 2020-12-17 | 株式会社神戸製鋼所 | ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラム |
| JP7150666B2 (ja) | 2019-06-13 | 2022-10-11 | 株式会社神戸製鋼所 | ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラム |
| US11541483B2 (en) * | 2019-06-28 | 2023-01-03 | Tsinghua University | Control device and method for formation of weld seam |
| JP7385410B2 (ja) | 2019-09-19 | 2023-11-22 | 川崎重工業株式会社 | アーク溶接システム |
| JP2021045773A (ja) * | 2019-09-19 | 2021-03-25 | 川崎重工業株式会社 | アーク溶接システム |
| KR102758362B1 (ko) * | 2019-11-19 | 2025-01-23 | 가부시키가이샤 고베 세이코쇼 | 자동 용접 시스템, 자동 용접 방법, 용접 지원 장치 및 프로그램 |
| CN114450117A (zh) * | 2019-11-19 | 2022-05-06 | 株式会社神户制钢所 | 自动焊接系统、自动焊接方法、焊接支援装置以及程序 |
| JP7330645B2 (ja) | 2019-11-19 | 2023-08-22 | 株式会社神戸製鋼所 | 自動溶接システム、自動溶接方法、溶接支援装置、及びプログラム |
| WO2021100358A1 (ja) * | 2019-11-19 | 2021-05-27 | 株式会社神戸製鋼所 | 自動溶接システム、自動溶接方法、溶接支援装置およびプログラム |
| JP2021079444A (ja) * | 2019-11-19 | 2021-05-27 | 株式会社神戸製鋼所 | 自動溶接システム、自動溶接方法、溶接支援装置、及びプログラム |
| KR20220078685A (ko) * | 2019-11-19 | 2022-06-10 | 가부시키가이샤 고베 세이코쇼 | 자동 용접 시스템, 자동 용접 방법, 용접 지원 장치 및 프로그램 |
| US12403540B2 (en) | 2019-12-24 | 2025-09-02 | Huazhong University Of Science And Technology | Welding bead modeling method for wire-arc additive manufacturing, device therefor and system therefor |
| WO2021129671A1 (zh) * | 2019-12-24 | 2021-07-01 | 华中科技大学 | 一种用于电弧增材制造的焊道建模方法、设备及系统 |
| JP2021126693A (ja) * | 2020-02-17 | 2021-09-02 | 株式会社神戸製鋼所 | 自動溶接システム、溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム |
| KR102809975B1 (ko) | 2020-02-17 | 2025-05-21 | 가부시키가이샤 고베 세이코쇼 | 자동 용접 시스템, 자동 용접 방법, 학습 장치, 학습 완료 모델의 생성 방법, 학습 완료 모델, 추정 장치, 추정 방법 및 프로그램 |
| KR20220121878A (ko) * | 2020-02-17 | 2022-09-01 | 가부시키가이샤 고베 세이코쇼 | 자동 용접 시스템, 자동 용접 방법, 학습 장치, 학습 완료 모델의 생성 방법, 학습 완료 모델, 추정 장치, 추정 방법 및 프로그램 |
| CN115151367A (zh) * | 2020-02-17 | 2022-10-04 | 株式会社神户制钢所 | 自动焊接系统、自动焊接方法、学习装置、已学习模型的生成方法、已学习模型、推定装置、推定方法以及程序 |
| CN115151367B (zh) * | 2020-02-17 | 2024-01-12 | 株式会社神户制钢所 | 自动焊接系统、自动焊接方法、学习装置、神经网络系统以及推定装置 |
| WO2021166555A1 (ja) * | 2020-02-17 | 2021-08-26 | 株式会社神戸製鋼所 | 自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム |
| JP7321953B2 (ja) | 2020-02-17 | 2023-08-07 | 株式会社神戸製鋼所 | 自動溶接システム、溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム |
| US12611736B2 (en) | 2020-02-17 | 2026-04-28 | Kobe Steel, Ltd. | Automated welding system, learning device, neural network system, and estimation device |
| JP7438382B2 (ja) | 2020-03-20 | 2024-02-26 | シェフラー テクノロジーズ アー・ゲー ウント コー． カー・ゲー | 電気化学電池、特に燃料電池のバイポーラプレートを検査するための方法および検査装置 |
| JP2023514753A (ja) * | 2020-03-20 | 2023-04-07 | シェフラー テクノロジーズ アー・ゲー ウント コー． カー・ゲー | 電気化学電池、特に燃料電池のバイポーラプレートを検査するための方法および検査装置 |
| JP7395238B2 (ja) | 2020-03-30 | 2023-12-11 | 株式会社神戸製鋼所 | 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム |
| JP2021157691A (ja) * | 2020-03-30 | 2021-10-07 | 株式会社神戸製鋼所 | 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム |
| CN111429441A (zh) * | 2020-03-31 | 2020-07-17 | 电子科技大学 | 一种基于yolov3算法的焊口识别定位方法 |
| CN113492288A (zh) * | 2020-04-03 | 2021-10-12 | 株式会社日立制作所 | 自动焊接机器人动作控制系统及动作控制方法 |
| JP2023521379A (ja) * | 2020-04-08 | 2023-05-24 | ビーダブリューエックスティ・アドバンスト・テクノロジーズ・リミテッド・ライアビリティ・カンパニー | 溶接品質のｉｎ－ｓｉｔｕ検査のための方法 |
| JP7704774B2 (ja) | 2020-04-08 | 2025-07-08 | ビーダブリューエックスティ・アドバンスト・テクノロジーズ・リミテッド・ライアビリティ・カンパニー | 溶接品質のｉｎ－ｓｉｔｕ検査のための方法 |
| US12399487B2 (en) | 2020-04-08 | 2025-08-26 | BWXT Advanced Technologies LLC | In-situ inspection method based on digital data model of weld |
| WO2021220698A1 (ja) * | 2020-04-30 | 2021-11-04 | 株式会社神戸製鋼所 | 溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム |
| CN115151365B (zh) * | 2020-04-30 | 2025-04-22 | 株式会社神户制钢所 | 焊接信息的学习模型生成方法、学习模型、程序产品以及焊接系统 |
| JP7551327B2 (ja) | 2020-04-30 | 2024-09-17 | 株式会社神戸製鋼所 | 溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム |
| KR102809291B1 (ko) * | 2020-04-30 | 2025-05-19 | 가부시키가이샤 고베 세이코쇼 | 용접 정보의 학습 모델 생성 방법, 학습 모델, 프로그램 및 용접 시스템 |
| CN115151365A (zh) * | 2020-04-30 | 2022-10-04 | 株式会社神户制钢所 | 焊接信息的学习模型生成方法、学习模型、程序以及焊接系统 |
| JP2021171810A (ja) * | 2020-04-30 | 2021-11-01 | 株式会社神戸製鋼所 | 溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム |
| KR20220158266A (ko) * | 2020-04-30 | 2022-11-30 | 가부시키가이샤 고베 세이코쇼 | 용접 정보의 학습 모델 생성 방법, 학습 모델, 프로그램 및 용접 시스템 |
| EP4063056A4 (en) * | 2020-04-30 | 2023-12-27 | Kabushiki Kaisha Kobe Seiko Sho (Kobe Steel, Ltd.) | LEARNING MODEL GENERATION METHOD, LEARNING MODEL AND PROGRAM FOR WELDING INFORMATION, AND WELDING SYSTEM |
| JP7594403B2 (ja) | 2020-10-02 | 2024-12-04 | 株式会社東芝 | 学習モデルの生成方法、学習済みモデル、画像処理方法、画像処理システム、及び溶接システム |
| JP2022059843A (ja) * | 2020-10-02 | 2022-04-14 | 株式会社東芝 | 学習モデルの生成方法、学習済みモデル、画像処理方法、画像処理システム、及び溶接システム |
| JP2022065758A (ja) * | 2020-10-16 | 2022-04-28 | 株式会社神戸製鋼所 | 溶接システム、溶接方法、溶接支援装置、プログラム、学習装置、及び学習済みモデルの生成方法 |
| JP7420692B2 (ja) | 2020-10-16 | 2024-01-23 | 株式会社神戸製鋼所 | 溶接システム、溶接方法、溶接支援装置、プログラム、学習装置、及び学習済みモデルの生成方法 |
| US12011779B2 (en) | 2021-02-24 | 2024-06-18 | Mitsubishi Electric Corporation | Additive manufacturing apparatus, additive manufacturing system, additive manufacturing method, storage medium, and learning device |
| CN112991304A (zh) * | 2021-03-23 | 2021-06-18 | 武汉大学 | 一种基于激光定向能量沉积监测系统的熔池溅射检测方法 |
| JP7628899B2 (ja) | 2021-06-21 | 2025-02-12 | 株式会社神戸製鋼所 | 学習済みモデルの生成方法、学習装置、溶接ロボットの制御装置、システム、およびプログラム |
| JP2023001642A (ja) * | 2021-06-21 | 2023-01-06 | 株式会社神戸製鋼所 | 学習済みモデルの生成方法、学習装置、溶接ロボットの制御装置、システム、学習済みモデル、およびプログラム |
| US20240335910A1 (en) * | 2021-07-19 | 2024-10-10 | Kabushiki Kaisha Kobe Seiko Sho (Kobe Steel, Ltd.) | Welding phenomenon behavior measuring method, measuring device, welding system, and program |
| KR102947843B1 (ko) * | 2021-07-19 | 2026-04-02 | 가부시키가이샤 고베 세이코쇼 | 용접 현상의 거동의 계측 방법, 계측 장치, 용접 시스템, 및 프로그램 |
| JP7491876B2 (ja) | 2021-07-19 | 2024-05-28 | 株式会社神戸製鋼所 | 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム |
| JP2023014675A (ja) * | 2021-07-19 | 2023-01-31 | 株式会社神戸製鋼所 | 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム |
| WO2023002753A1 (ja) * | 2021-07-19 | 2023-01-26 | 株式会社神戸製鋼所 | 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム |
| CN113909637A (zh) * | 2021-09-30 | 2022-01-11 | 北京博清科技有限公司 | 焊接设备的控制方法、控制装置以及焊接系统 |
| CN113909637B (zh) * | 2021-09-30 | 2024-02-02 | 北京博清科技有限公司 | 焊接设备的控制方法、控制装置以及焊接系统 |
| US12594627B2 (en) | 2021-11-29 | 2026-04-07 | Mitsubishi Electric Corporation | Additive manufacturing system |
| WO2023171095A1 (ja) * | 2022-03-09 | 2023-09-14 | 株式会社神戸製鋼所 | 溶接における欠陥予測システム、機械学習装置、欠陥予測方法、およびプログラム |
| JP7726818B2 (ja) | 2022-03-09 | 2025-08-20 | 株式会社神戸製鋼所 | 溶接における欠陥予測システム、機械学習装置、欠陥予測方法、およびプログラム |
| JP2023131600A (ja) * | 2022-03-09 | 2023-09-22 | 株式会社神戸製鋼所 | 溶接における欠陥予測システム、機械学習装置、欠陥予測方法、およびプログラム |
| CN115365655A (zh) * | 2022-08-01 | 2022-11-22 | 常熟天地煤机装备有限公司 | 采用高速摄影监控识别环形窄间隙激光填丝焊接的方法 |
| CN115365655B (zh) * | 2022-08-01 | 2025-10-28 | 常熟天地煤机装备有限公司 | 采用高速摄影监控识别环形窄间隙激光填丝焊接的方法 |
| WO2024136457A1 (ko) * | 2022-12-23 | 2024-06-27 | 주식회사 아이티엘 | 인공지능 모델에 기반하여 용접 불량 검출 및 재시공을 수행하기 위한 방법 및 장치 |
| CN115890055A (zh) * | 2023-02-15 | 2023-04-04 | 重庆交通大学 | 用于探究熔池与焊接质量关联规律的焊接实验架及其方法 |
| KR102572304B1 (ko) * | 2023-03-09 | 2023-08-28 | 박종영 | 인공지능 알고리즘에 기초하여 실시간 용접 검사 및 불량 예방 서비스를 제공하는 방법 및 시스템 |
| WO2024214385A1 (ja) * | 2023-04-14 | 2024-10-17 | 株式会社神戸製鋼所 | 溶接制御方法、溶接システム、および溶接制御プログラム |
| CN116475535A (zh) * | 2023-04-19 | 2023-07-25 | 西安交通大学 | 一种薄板搭接电弧焊偏移量在线识别方法、装置和设备 |
| CN116758463A (zh) * | 2023-06-13 | 2023-09-15 | 江西芯康科技有限公司 | 基于渐进式学习的芯光线共晶熔池状态的识别方法 |
| CN116921817B (zh) * | 2023-09-15 | 2023-12-15 | 中建安装集团有限公司 | 自动tig焊电弧聚集度在线监测及智能预警方法 |
| CN116921817A (zh) * | 2023-09-15 | 2023-10-24 | 中建安装集团有限公司 | 自动tig焊电弧聚集度在线监测及智能预警方法 |
| CN117532216A (zh) * | 2023-12-21 | 2024-02-09 | 重庆工业设备安装集团有限公司 | 钢结构焊接机器人 |
| CN118060669A (zh) * | 2024-04-22 | 2024-05-24 | 广东工业大学 | 一种基于焊接熔池特征识别的自动焊接控制方法 |
| WO2026023868A1 (ko) * | 2024-07-26 | 2026-01-29 | 주식회사 아이티엘 | 인공지능 모델에 기반하여 용접 불량 검출 및 재시공을 수행하기 위한 방법 및 장치 |
| CN119850596A (zh) * | 2025-02-27 | 2025-04-18 | 深圳市紫宸激光设备有限公司 | 一种基于自动激光焊接的焊后检测方法及相关设备 |
| CN119871466A (zh) * | 2025-03-28 | 2025-04-25 | 太原科技大学 | 一种基于深度学习的高精度高质量视觉引导机器人自动焊接方法 |
| CN121104247A (zh) * | 2025-11-12 | 2025-12-12 | 中恒丰钢构(内蒙古)有限公司 | 一种弧形钢结构焊接系统及装置 |
| CN121403418A (zh) * | 2025-12-30 | 2026-01-27 | 山东星辉液压设备有限公司 | 工业机器人焊接的智能控制方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7021728B2 (ja) | 2022-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7021728B2 (ja) | 自動溶接システム、溶接制御方法、及び機械学習モデル | |
| JP7551327B2 (ja) | 溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム | |
| JP7116006B2 (ja) | 溶接制御装置、溶接制御方法、および溶接制御プログラム | |
| US11292072B2 (en) | Arc start adjustment device, welding system and arc start adjustment method | |
| US20220331912A1 (en) | Automatic welding system, automatic welding method, welding assistance device, and program | |
| JP6126174B2 (ja) | 機械学習装置、アーク溶接制御装置、アーク溶接ロボットシステムおよび溶接システム | |
| JPWO2020129618A1 (ja) | 溶接システム及びそれを用いたワークの溶接方法 | |
| JP6599505B2 (ja) | アークエンド調整装置、溶接システム、アークエンド調整方法及びコンピュータプログラム | |
| WO2024250699A1 (zh) | 一种自动堆焊装置及堆焊控制方法 | |
| US12337475B2 (en) | Repair welding system | |
| JP2023095820A (ja) | 学習モデルの生成方法、制御装置、学習モデル、溶接システム、およびプログラム | |
| WO2020251038A1 (ja) | リペア溶接制御装置およびリペア溶接制御方法 | |
| WO2020262050A1 (ja) | リペア溶接検査装置およびリペア溶接検査方法 | |
| JP2021007962A (ja) | リペア溶接制御装置およびリペア溶接制御方法 | |
| JP7289087B2 (ja) | リペア溶接装置およびリペア溶接方法 | |
| JP7079592B2 (ja) | 消費量調整装置、溶接システム、消費量調整方法及びコンピュータプログラム | |
| JP7385410B2 (ja) | アーク溶接システム | |
| JP7555042B2 (ja) | ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム | |
| JP7360987B2 (ja) | 溶接条件調整装置 | |
| US20250262680A1 (en) | Remote operation method for remote operation welding system, and welding system | |
| WO2024089469A1 (en) | Adaptive welding | |
| CN118382508A (zh) | 异常判定方法、异常时的处理方法、信息处理装置、焊接系统以及程序 | |
| US20260077418A1 (en) | Welding control method, welding system, non-transitory computer readable medium storing welding control program, and multi-layer overlay welding method | |
| JP6411828B2 (ja) | カメラ位置調整装置、溶接ロボットシステムおよびカメラ位置調整方法 | |
| CN120166954A (zh) | 摆动控制方法、焊接控制装置、焊接系统、程序以及焊接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20180320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180323 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201014 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7021728 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R157 | Certificate of patent or utility model (correction) |
Free format text: JAPANESE INTERMEDIATE CODE: R157 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |