JP2017164801A - 機械学習装置、レーザ加工システムおよび機械学習方法 - Google Patents

Abstract

【課題】最適な加工結果が得られるレーザ加工条件データを決定する。【解決手段】レーザ加工システム（１）のレーザ加工条件データを学習する機械学習装置（１０）は、レーザ加工システムの状態量を観測する状態量観測部（１１）と、レーザ加工システムによる加工結果を取得する動作結果取得部（１２）と、状態量観測部からの出力および動作結果取得部からの出力を受け取り、レーザ加工条件データを、レーザ加工システムの状態量および加工結果に関連付けて学習する学習部（１３）と、学習部が学習したレーザ加工条件データを参照して、レーザ加工条件データを出力する意思決定部（１４）とを含む。【選択図】図１

Description

本発明は、レーザ発振器に供給される駆動電力データを含むレーザ加工条件データを学習する機械学習装置、レーザ加工システムおよび機械学習方法に関する。

被加工物に対して、切断や溶接等の加工を行うためのレーザ加工システムにおいては、加工精度や加工品質が高い加工結果が高速で得られるように、最適なレーザ加工条件で加工するのが望ましい。

加工条件を探索するあるいは学習させる種々の技術が存在している。例えば特許文献１には、「工作物に関するデータ、工具に関するデータ、機械に関するデータを記憶した属性データ記憶手段と、前記属性データ記憶手段に記憶されたデータを入力とし、数値制御工作機械による加工条件を決定するための演算式における内部定数を出力とするニューラルネットワークと、前記属性データ記憶手段に記憶されたデータと前記内部定数とから加工条件を求める加工条件演算手段と、前記加工条件を修正したとき、その加工条件の修正値に応じて関連する前記内部定数を修正する内部定数修正手段と、前記内部定数修正手段により修正された内部定数が修正前と同じ入力に対して得られるように前記ニューラルネットワークのウェイトを修正するウェイト修正手段とを備えたことを特徴とする加工条件自動決定装置」が開示されている。

さらに、特許文献２には「加工条件生成部と、前記加工条件の生成に必要な特性データを格納する加工条件特性データ部と、学習機能に基づいて前記加工条件の最適化を行う学習部と、を備えた加工条件生成装置において、前記加工条件の変更内容を格納するための変更データ部を設け、前記変更内容に従って前記加工条件を変更すると共に、前記学習部は、前記変更内容に基づいて前記加工条件生成部又は前記加工条件特性データ部のうちの少なくとも一方を最適化することを特徴とする加工条件生成装置」が開示されている。

さらに、特許文献３には「レーザ加工の加工条件パラメータに対する推論値を人工知能機能により生成する推論値生成手段と、前記推論値生成手段により生成される推論値を表示するための表示手段と加工状態を評価する評価パラメータを入力するための入力手段を備え、かつ、前記推論値生成手段は、前記評価パラメータに応じて、現在加工状態を修正するために最も効果のある加工条件パラメータを選択するための加工条件パラメータ選択手段を備えたレーザ加工機用支援装置」が開示されている。

さらに、特許文献４には「実験加工条件発生部と、前記実験加工条件発生部から出力された加工条件で加工を行い、実加工結果を出力する加工機と、実加工結果に基づいて、所定の加工条件が入力された場合の最適加工条件である加工特性モデルを生成する加工特性モデル部とを備え、前記実験加工条件発生部は、前記加工特性モデルを用いて実験加工条件を発生させることを特徴とする加工条件探索装置」が開示されている。

さらに、特許文献５には、「加工条件と加工結果の関係を示す加工特性モデルを用いて、実験加工条件を生成する実験加工条件生成手段と、上記実験加工条件生成手段により生成された実験加工条件にしたがって実験加工の加工結果を収集し、上記加工結果と上記実験加工条件の組を実験加工データとして蓄積する加工結果収集手段と、実験加工データを用いて新たに生成した加工特性モデルを上記実験加工条件生成手段に出力する第１の加工特性モデル生成手段と、実験加工データ毎に、当該実験加工データ内の加工結果に含まれている加工良否評価を１つずつ変更しながら、変更後の加工良否評価が反映されている新たな加工特性モデルを生成する第２の加工特性モデル生成手段と、上記第２の加工特性モデル生成手段により生成された新たな加工特性モデルを合成する加工特性モデル合成手段と、上記加工特性モデル合成手段により合成された加工特性モデルから最適な加工条件を生成する最適加工条件生成手段とを備えた加工条件探索装置」が開示されている。

特開平４−７５１０８号公報 特開平４−３５４６５３号公報 特開平１１−８５２１０号公報 特開２００８−３６８１２号公報 特開２０１２−２３６２６７号公報

レーザ加工における加工条件には、発振条件としての、光出力、モード、波形、および波長等、出射条件としての、集光光学系、パワー密度、パワー密度分布、およびアシストガス等がある。さらに、その他の加工条件として、加工速度、加工雰囲気等の多くのパラメータが存在する。

また、レーザ加工の加工結果に影響する可能性のあるレーザ加工システムの状態量についても、レーザ発振器や光学系や加工ヘッドや被加工物を支持する構造部品等の温度、レーザ発振器等を冷却する冷却システムの状態などがある。さらに、被加工物も広義のレーザ加工システムの構成品であると解釈した場合には、レーザ加工システムの状態量には、レーザ加工によって変化する被加工物の温度や表面状態等が含まれる。

そのため、加工条件に加えてレーザ加工システムの状態量も考慮しつつ、高速で高品質かつ高精度な加工結果を得るために最適なレーザ加工条件データを決定することは非常に困難であった。

さらに、前述した従来技術においては、加工結果を加工機械の状態量と関連付けていない。このため、従来技術には、加工機械の状態量が変化すると最適な加工条件に設定されないという問題がある。

また、例えば、レーザ加工で切断した被加工物の切断部近傍の表裏面には、数珠状付着物（ドロス）が形成される。ドロスの量等を含む加工結果を定量的に評価することが容易でないので、加工結果をフィードバックしたとしても、最適なレーザ加工条件データを把握することは困難である。

上記のように、レーザ加工条件はパラメータが多く、レーザ加工装置の状態が加工結果に及ぼす影響についても不明確な点が多く、定量的評価が行われていない加工結果も多い。従来では、過去の経験や加工実績、実験結果等に基づいて加工条件を決定してきた。しかしながら、決定された加工条件が本当に最適であるか否かは明確でない。また、加工条件の決定は、操作者の経験や技量に影響を受ける。更には、加工条件の決定に時間や工数を要するという問題があった。

従って、本発明の目的は、以上のような状況を鑑み、多数のレーザ加工条件パラメータ、ならびにレーザ加工結果に影響を与える可能性のあるレーザ加工システムの多数の状態量が存在する場合であっても、レーザ加工システムの状態がレーザ加工の結果に及ぼす影響も考慮して高速で高品質かつ高精度な加工結果を得るために最適あるいは略最適な加工結果が得られるレーザ加工条件データを決定することができる機械学習装置、この機械学習装置を備えたレーザ加工システムおよび機械学習装置の機械学習方法を提供することにある。

前述した目的を達成するために１番目の発明によれば、少なくとも一つのレーザ発振器を備えた少なくとも一つのレーザ装置と、前記レーザ装置からのレーザ光を被加工物に出射する少なくとも一つ以上の加工ヘッドと、該加工ヘッドから出射されるレーザ光の光量を検出する少なくとも一つ以上の出力光検出部と、前記加工ヘッドから出射されて前記被加工物の表面あるいは表面近傍で反射して前記加工ヘッド内の光学系を経由して前記レーザ装置に向かって戻ってくる反射光を検出する少なくとも一つ以上の反射光検出部と、レーザ加工の途中およびレーザ加工後のうちの少なくとも一方における前記被加工物の加工状態および加工結果のうちの少なくとも一方を観測する少なくとも一つ以上の加工結果観測部と、前記加工ヘッドと前記被加工物の相対的位置関係を変更する少なくとも一つ以上の駆動装置と、を備えたレーザ加工システムのレーザ加工条件データを学習する機械学習装置であって、該機械学習装置は、前記レーザ加工システムの状態量を観測する状態量観測部と、前記レーザ加工システムによる加工結果を取得する動作結果取得部と、前記状態量観測部からの出力および前記動作結果取得部からの出力を受け取り、前記レーザ加工条件データを、前記レーザ加工システムの前記状態量および前記加工結果に関連付けて学習する学習部と、前記学習部が学習した前記レーザ加工条件データを参照して、レーザ加工条件データを出力する意思決定部と、を備える、ことを特徴とする機械学習装置が提供される。
２番目の発明によれば、１番目の発明において、前記学習部は、或るレーザ加工条件データに基づいて前記被加工物を加工中に、前記反射光検出部で検出された反射光の光量が、前記加工ヘッド、前記レーザ装置、前記加工ヘッドと前記レーザ装置間のレーザ光伝搬用光学部品の内、少なくともいずれか一つが前記反射光により損傷を受ける警報レベルより低く設定された第１所定レベルより更に低く設定された第２所定レベルを越えると、前記学習部は、学習された前記レーザ加工条件データを参照して、前記反射光検出部で検出される前記反射光の光量が前記第２所定レベルを越えることなしに、前記或るレーザ加工条件データによる加工結果に近い加工結果が得られると予測されるレーザ加工条件データを出力する。
３番目の発明によれば、１番目または２番目の発明において、前記状態量観測部が観測する状態量には、前記レーザ装置のための光出力指令と前記レーザ装置から実際に出射される光出力との関係を示す前記レーザ装置の光出力特性、前記レーザ装置から出射される光出力、前記レーザ装置からの光出力に対する前記加工ヘッドから出射される光出力の比率、前記レーザ発振器に熱的に接続している部分の温度、前記レーザ装置内のレーザ発振に伴って温度が変化する部品を含む各部の温度、前記加工ヘッドの温度、レーザ光を前記レーザ装置から前記加工ヘッドに伝搬する光学系の温度、前記駆動装置の温度、前記加工ヘッドや前記駆動装置を支持している構造部品の温度、前記レーザ発振に伴って温度が上昇する部品を冷却するための流体の種類、温度および流量、前記レーザ装置内の空気の温度および湿度、前記レーザ装置周辺の環境温度および湿度、前記駆動装置の駆動用電動機の実電流、前記駆動装置の位置検出部からの出力、ならびに前記被加工物の厚さを含むサイズ、材質、比熱、密度、熱伝導率、温度および表面状態の内の少なくとも一つ以上が含まれている。
４番目の発明によれば、１番目から３番目のいずれかの発明において、前記意志決定部が出力するレーザ加工条件データには、各前記レーザ装置から出射するレーザ光の光出力、光出力波形、ビームモード、レーザ波長、レーザ光を出射する光学系の焦点距離、Ｆ値、透過率、前記被加工物に出射されるレーザ光の焦点と前記被加工物の加工面との時間変化を含む相対的位置関係、前記被加工物に出射されるレーザ光の前記被加工物の加工面におけるスポットサイズ、パワー密度、パワー密度分布、前記加工ヘッドと前記被加工物との時間変化を含む相対的位置関係、レーザ光の光軸と前記被加工物の加工面との成す角度、加工速度、アシストガスの種類と流量あるいは供給圧力の内の少なくとも一つ以上が含まれている。
５番目の発明によれば、２番目の発明において、前記学習部は、レーザ加工の内容に応じて異なるレーザ加工条件データを学習する学習モデルを備え、前記動作結果取得部が取得した加工速度あるいは所定の加工に要する時間を含むレーザ加工結果とそれぞれのレーザ加工の内容毎に設定されている加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の誤差を計算する誤差計算部と、前記誤差に応じて前記学習モデルを更新する学習モデル更新部とを備える。
６番目の発明によれば、５番目の発明において、前記学習部は、前記或るレーザ加工条件データに基づいて前記被加工物を加工中に、前記反射光検出部で検出された反射光光量が、前記第２所定レベルを越えると、前記誤差計算部は、前記レーザ加工条件データの加工結果に所定の誤差が生じたとする計算結果を出力し、該計算結果に応じて前記学習モデルを更新する。
７番目の発明によれば、２番目の発明において、前記学習部は、レーザ加工の内容に応じて異なっていてレーザ加工条件データの価値を定める価値関数を有し、前記学習部は、さらに、前記動作結果取得部が取得した加工速度あるいは所定の加工に要する時間を含むレーザ加工結果とそれぞれのレーザ加工の内容毎に設定されている加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の差異が小さい場合にはその差異に応じてプラスの報酬を与え、前記差異が大きい場合にその差異に応じてマイナスの報酬を与える報酬計算部と、前記報酬に応じて前記価値関数を更新する価値関数更新部を備える。
８番目の発明によれば、７番目の発明において、前記学習部は、或るレーザ加工条件で前記被加工物を加工中に、前記反射光検出部で検出された反射光光量が、前記第２所定レベルを越えると、前記報酬計算部は、所定のマイナス報酬を与え、前記所定のマイナス報酬に応じて前記価値関数を更新する。
９番目の発明によれば、１番目から８番目のいずれかの機械学習装置を備えたレーザ加工システムであって、前記レーザ装置と、前記加工ヘッドと、前記出力光検出部と、前記反射光検出部と、前記加工結果観測部と、前記駆動装置とをそれぞれ少なくとも一つ以上備えると共に、前記レーザ装置と、前記加工ヘッドと、前記出力光検出部と、前記反射光検出部と、前記加工結果観測部と、前記駆動装置とを制御する制御装置を少なくとも一つ以上備えることを特徴とするレーザ加工システムが提供される。
１０番目の発明によれば、９番目の発明において、前記反射光検出部が検出した反射光の光量が前記第１所定レベルを越えた場合は、前記制御装置が、前記機械学習装置からの次のレーザ加工条件データが出力するのを待たずに、前記レーザ装置からの光出力を遮断あるいは所定の割合まで減じる。
１１番目の発明によれば、９番目または１０番目の発明において、前記レーザ装置あるいは前記制御装置に、前記制御装置からの光出力指令と前記レーザ装置から実際に出射される光出力との間の関係を示す前記レーザ装置の光出力特性を記憶しており、所定のスケジュールに沿って、前記光出力特性を測定し、測定した結果で前記レーザ装置の前記光出力特性を更新する。
１２番目の発明によれば、９番目から１１番目のいずれかの発明において、前記加工結果観測部の少なくとも一つが、デジタル二次元撮像装置、ＣＣＤ測定顕微鏡、接触式表面粗さ・形状測定装置、白色干渉計、レーザ顕微鏡、非接触三次元測定装置のいずれか一つであり、レーザによる切断面の平滑度あるいは面粗度、切断部近傍表裏面の数珠状付着物の単位切断長さ当たりの体積、裏面の単位面積当たりのスパッタ付着量、切断面の酸化物色濃度、切断寸法・形状精度、切断面の垂直度の観測結果データの内、少なくとも一つ以上のデータが、前記レーザ加工条件データの結果として、前記加工結果観測部から前記動作結果取得部に出力される。
１３番目の発明によれば、９番目から１１番目のいずれかの発明において、前記加工結果観測部の少なくとも一つが、デジタル二次元撮像装置、 ＣＣＤ測定顕微鏡、レーザ顕微鏡、光源と赤外線カメラから構成される光励起非破壊検査装置、超音波探傷試験装置、誘導加熱式非破壊検査装置、放射線透過撮像装置、アコースティックエミッション試験装置のいずれか一つであり、レーザによる溶接部のクラック、ブローホール、ピンホール、溶け込み不良、融合不良、アンダーカット・オーバーラップ、ハンピングの観測結果データの内、少なくとも一つ以上のデータが、前記レーザ加工条件データの結果として、前記加工結果観測部から前記動作結果取得部に出力される。
１４番目の発明によれば、９番目から１３番目のいずれかの発明において、前記レーザ加工システムが、複数存在し、前記レーザ加工システム毎にそれぞれ設けられた複数の前記機械学習装置が、通信媒体を介して相互にデータを共有または交換するようになっている。
１５番目の発明によれば、１４番目の発明において、前記機械学習装置を、通信媒体を介して複数の前記レーザ加工システムで共有する。
１６番目の発明によれば、レーザ加工システムの制御装置に出力するレーザ加工条件データを学習する機械学習方法であって、少なくとも一つ以上のレーザ装置からの出力データと、少なくとも一つ以上の加工ヘッドからの出力データと、加工ヘッドと被加工物の相対的位置関係を変えるための少なくとも一つ以上の駆動装置からの出力データとを含むレーザ加工システムの状態量を観測し、レーザ装置に戻ってくる反射光を検出する少なくとも一つ以上の反射光検出部からの出力データと、レーザ加工の途中およびレーザ加工後のうちの少なくとも一方における前記被加工物の加工状態および加工結果のうちの少なくとも一方を観測する少なくとも一つ以上の加工結果観測部からの出力データとをレーザ加工条件データの結果として受取り、前記レーザ加工条件データを前記レーザ加工システムの前記状態量および前記レーザ加工条件データの結果に関連付けて学習することを特徴とする機械学習方法が提供される。

１番目の発明においては、レーザ加工条件データを、レーザ加工システムの状態量と加工結果観測部から出力される加工結果に関連付けて機械学習させる。これにより、人間の介在無しに、あるいは最小限の人間の介在だけで、レーザ加工システムの状態に関わらず、常に略最適なレーザ加工条件で加工を行うことが可能になる。このため、安定的に高品質な加工結果を得ることができる。なお、レーザ加工システムの状態量は、レーザ光の出射によってレーザ加工中に変化する状態量も含む。
２番目の発明においては、反射光のレベルが警報レベルに達する前に、学習部の学習結果を参照して、現在のレーザ加工条件を、反射光が減少し且つ略同等の加工結果が得られると予測されるレーザ加工条件に切替えている。このため、レーザ装置や加工ヘッド等の損傷を回避しながら、加工を継続することができる。
３番目の発明においては、レーザ加工システムの状態を表す多くの状態量を観測することでレーザ加工システムの状態の差によって生じうる加工結果の差を看過することなく学習できる。また、レーザ加工中に発熱等によってレーザ加工システムの状態が変化した場合であっても、その変化も取り入れて略最適なレーザ加工条件データを出力することができる。このため、加工精度や加工品質の低下を防ぐことができる。
４番目の発明においては、多くの加工条件パラメータを制御することによって、略理想的な加工結果あるいは目標とする加工結果に近い加工結果を得ることができる。略理想的な加工結果あるいは目標とする加工結果に近い加工結果を得るために、レーザ加工条件データに、波長やビームモードの異なる複数のレーザ装置や加工ヘッドの中から最適なレーザ装置や加工ヘッドを選択する指令を含めてもよい。
５番目の発明においては、機械学習の結果、レーザ加工の内容に関わらず、それぞれのレーザ加工の内容で、加工速度を含めてほぼ最適なレーザ加工条件データを出力できるようになる。レーザ加工の内容は切断、溶接、マーキング、表面改質、光造形等でありうる。
６番目の発明においては、学習部が、反射光光量が第２所定レベルを越えないレーザ加工条件データを後述する教師あり学習で学習できる。
７番目の発明においては、教師あり学習を用いて充分事前学習した後で、強化学習を行う。強化学習は未知の学習領域を開拓しうるという特徴があるので、従来全く知られていなかった条件領域に目的とするレーザ加工に適したレーザ加工条件がさらに見出される可能性がある。なお、レーザ加工の内容は切断、溶接、マーキング、表面改質、光造形などでありうる。
８番目の発明においては、学習部は、反射光の光量が第２所定レベルを越えないレーザ加工条件データを後述する強化学習で学習できる。
９番目の発明においては、機械学習装置を備えたレーザ加工システムにより、レーザ装置や加工ヘッドやレーザ光学系等の損傷を回避しながら、最適なレーザ加工条件でレーザ加工を行うことができるようになる。
１０番目の発明においては、反射光の光量が警報レベルに近い第１所定レベルを越えると、その時のレーザ加工条件データに代わる次のレーザ加工条件データが機械学習装置から出力される前に、光出力を直ちに遮断するか所定の割合で減じるようにする。これにより、レーザ装置等の損傷が回避できる。
１１番目の発明においては、光出力特性を更新し、その結果をレーザ加工システムの状態量の一部として状態量観測部に取り込むようにする。従って、仮にレーザ装置の劣化等により光出力特性が変化したとしても、光出力指令に対して指令通りの光出力を出力できるようになる。
１２番目の発明においては、レーザ加工条件データの結果として、切断面の加工精度や加工品質等の評価結果が、人間を介さずに取得でき、機械学習装置が、人間を介さずにレーザ加工条件データを学習できる。
１３番目の発明においては、レーザ加工条件データの結果として、溶接部の加工精度や加工品質等の評価結果が人間を介さずに取得でき、機械学習装置が、人間を介さずにレーザ加工条件データを学習できる。
１４番目の発明においては、各レーザ加工システムが取得した学習結果を含むデータを共有することによって、より短時間により精度の高い学習効果が得られる。従って、複数のレーザ加工システムが、より適切なレーザ加工条件データを出力できるようになる。
１５番目の発明においては、学習効果を共有できるだけでなく、データを集中管理すると共に、大規模な高性能プロセッサを利用して学習することが可能になり、学習速度、学習の精度が向上し、より適切なレーザ加工条件データが出力できる。また、出力するレーザ加工条件データの決定に要する時間も短縮できる。また、機械学習装置はクラウドサーバ上に存在しても良い。
１６番目の発明においては、レーザ加工条件データを、レーザ光の出射によってレーザ加工中に変化するレーザ加工システムの状態量も含めたレーザ加工システムの状態量と加工結果観測部から出力される加工結果に関連付けて機械学習する。このため、人間の介在無しに、あるいは最小限の人間の介在だけで、レーザ加工システムの状態に関わらず、常に略最適なレーザ加工条件で加工を行うことが可能になり、安定的に高品質な加工結果を得ることができるようになる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。

本発明の一実施形態のレーザ加工システムの概念的な構成を示すブロック図である。 反射光光量によってレーザ加工条件データが切替わり、光出力波形が変化する状態を模式的に例示したタイムチャートである。 図１に示す機械学習装置の動作の一例を示す第一のフローチャートである。 図１に示す機械学習装置の動作の一例を示す第一のフローチャートである。 本発明の他の実施形態のレーザ加工システムの概念的な構成を示すブロック図である。 図４に示す機械学習装置の動作の一例を示す第一のフローチャートである。 図４に示す機械学習装置の動作の一例を示す第二のフローチャートである。 反射光光量によってレーザ加工条件データが切替わるまでの間、制御装置によって光出力が低減されている状態を模式的に例示したタイムチャートである。 ニューロンのモデルを模式的に示す図である。 図７に示すニューロンを組合せて構成した３層のニューラルネットワークを模式的に示す図である。

以下、本発明に係る機械学習装置、レーザ加工システムおよび機械学習方法の実施例を、図面を参照して説明する。各図面において、同じ部材には同じ参照符号を付している。また、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。なお、これらの図面は見易くするために、縮尺を適宜変更している。

図１は、本発明の一実施形態のレーザ加工システム１の概念的な構成を示すブロック図である。本実施形態のレーザ加工システム１は、少なくとも一つのレーザ発振器を備えた少なくとも一つのレーザ装置２と、レーザ装置２からのレーザ光１９を被加工物に出射するための少なくとも一つ以上の加工ヘッド３と、出力されるレーザ光１９の光量を検出する少なくとも一つ以上の出力光検出部４と、加工ヘッド３から出射されて被加工物７の表面あるいは表面近傍で反射して加工ヘッド３内の光学系を経由してレーザ装置２に向かって戻ってくる反射光を検出する少なくとも一つ以上の反射光検出部５と、レーザ加工中および／またはレーザ加工後の被加工物７の加工状態および／または加工結果を観測する少なくとも一つ以上の加工結果観測部６と、加工ヘッド３と被加工物７の相対的位置関係を変えるための少なくとも一つ以上の駆動装置８と、機械学習装置１０とを備える。ここで、機械学習装置１０は、状態量観測部１１と、動作結果取得部１２と、学習部１３と、意思決定部１４とを備える。

機械学習装置１０の学習部１３は、レーザ加工システム１の状態量を観測する状態量観測部１１からの出力およびレーザ加工システム１による加工結果を取得する動作結果取得部１２からの出力を受け取り、レーザ加工条件データを、レーザ加工システム１の状態量および加工結果に関連付けて学習する。そして、意思決定部１４が、学習部１３が学習したレーザ加工条件データを参照して、レーザ加工条件データを決定して制御装置９に出力する。

なお、加工結果観測部６が、例えば、非接触三次元測定装置等の評価装置であった場合等、加工結果観測部６からの出力データをそのまま機械学習装置１０に入力するのではなく、図１に示したように前処理部１８で処理してもよい。例えば、前処理部１８は、観察面に対して斜めから取得した三次元形状を観察面に対して垂直な方向から見た三次元形状に変換するとか、凸状異物を三次元形状データから凸状異物の体積データに変換するとか、機械学習装置１０で利用しやすいデータに変換しても良い。

前処理部１８の設置位置は図１に示した位置には限定されない。例えば、加工結果観測部６からの出力データを前処理したい場合は、加工結果観測部６の出力信号ラインだけが通る位置に前処理部１８を設けても良い。また、前処理部１８は動作結果取得部１２や状態量観測部１１が同様の前処理機能を備えていれば、特に設けなくても良い。なお、状態量観測部１１および動作結果取得部１２は、機能的なブロックであり、１つのブロックにより両者の機能を達成するものとして捉えることもできる。

また、加工結果観測部６は、基本的には、人間が介在することなく、自動的にレーザ加工中および／またはレーザ加工後の被加工物７の加工状態および／または加工結果を観測するものであることが望ましい。ただし、自動化が困難な場合や高額な費用が必要な場合等は、加工結果観測部６を人間が操作して観測し、人間が観測結果を入力しても良い。

また、駆動装置８は、上記のように、加工ヘッド３と被加工物７の相対的位置関係を変えるためのものである。このため、図１のように駆動装置８を被加工物７側に設けても良いし、加工ヘッド３側に設けても良いし、被加工物７側と加工ヘッド３側の両方に設けても良い。

駆動装置８としては、一般的はリニアモータ等を使用した駆動装置８が考えられる。ただし、駆動装置８は、被加工物７を加工ベッドに移動したり、加工済みの切断面を観測し易いように加工結果観測部６の方向に向けたりするためのロボットであっても良い。被加工物７が平板でなく、立体的な形状をしている場合等は、ロボットのハンドに加工ヘッド３を取付けても良い。なお、図１では、駆動装置８と被加工物７や加工ヘッド３との間に介在する加工ベッドやロボットハンドは省略している。駆動装置８や加工ヘッド３を支持する構造物も省略している。

加工結果観測部６によって、レーザ加工中および／またはレーザ加工後の被加工物７の加工状態および／または加工結果を観測する。そして、レーザ加工条件データを、レーザ光１９の出射によってレーザ加工中に変化するレーザ加工システム１の状態量も含めたレーザ加工システム１の状態量およびレーザ加工の加工結果に関連付けて機械学習させる。これにより、人間の介在無しに、あるいは最小限の人間の介在だけで、レーザ加工システム１の状態に関わらず、常に最適あるいは略最適なレーザ加工条件で加工を行うことが可能になり、安定的に高品質な加工結果を得ることができるようになる。

レーザ加工システム１は、少なくとも一つ以上のレーザ装置２を備え、レーザ装置２は少なくとも一つ以上のレーザ発振器を備えている。レーザ発振器の種類は限定されず、炭酸ガスレーザであっても良いし、ＹＡＧ結晶等を励起媒体とする固体レーザでも良いし、光ファイバを励起媒体とするファイバレーザでも良いし、レーザダイオードからのレーザ光１９をそのまま利用するダイレクトダイオードレーザでも良い。制御装置９は、レーザ装置２の電源部に、それぞれのレーザに適した駆動電流あるいは駆動電力をレーザ発振器に供給するように指令を出す。なお、電源部は、本明細書では、レーザ装置２内に備えられたとして、図１には明示していない。ただし、電源部がレーザ装置２内に備えられることを限定するものではない。

図１において、破線の矢印はレーザ光１９の光線を模擬的に表しているが、空間を伝搬する光線に限定されず、例えば、光ファイバ内を伝搬する光線等も含めて模擬的に示している。加工ヘッド３は、加工ヘッド３から出射されたレーザ光１９が被加工物７の略表面に焦点を結ぶように構成された光学系を備えていることが好ましい。

また、図１では、反射光検出部５は加工ヘッド３に設けられているが、レーザ装置２内の光伝搬経路のいずれかに設けても良く、加工ヘッド３とレーザ装置２内の光伝搬経路の両方に設けても良い。光が空間を伝搬している場合は、例えばハーフミラーで分岐させた光を反射光検出部５が検出してもよく、光が光ファイバ内を伝搬している場合は、例えば光分岐器を使用して分岐した光ファイバの終端からの光を反射光検出部５が検出したり、光ファイバのクラッドからの漏れ光を反射光検出部５が検出したりしてもよい。これらは、反射光検出部５への反射光の入射方法を限定するものではない。

また、図１には図示していないが、レーザ装置２が複数存在する場合、光結合器で複数のレーザ光１９を合波しても良い。レーザ装置２内に複数のレーザ発振器が存在する場合も光結合器で合波して１本のレーザとして出力して良い。

また、図２は反射光光量によってレーザ加工条件データが切替わり、光出力波形が変化する状態を模式的に例示したタイムチャートである。図２に例示したように、学習部１３は、或るレーザ加工条件データ１に基づいて被加工物７を加工中に、動作結果取得部１２からの出力の一つとして受け取った反射光検出部５で検出された反射光光量が、反射光により、加工ヘッド３、レーザ装置２、加工ヘッド３とレーザ装置２間のレーザ光伝搬用光学部品の内、少なくともいずれか一つが損傷を受ける可能性のある警報レベルより低く設定された第１所定レベルより更に低く設定された第２所定レベルを越えると、学習部１３が学習したレーザ加工条件データを参照して、他のレーザ加工条件データ２に変える。

他のレーザ加工条件データ２は、反射光検出部５で検出される反射光光量が第２所定レベルを越えずに、前述した或るレーザ加工条件データ１による加工結果に可能な範囲で近い加工結果が得られると予測されるレーザ加工条件データであるのが好ましい。

図２に示される例では、ＣＷ光からＣＷ光にパルス光が重畳したような出力波形に切替わっている。ただし、レーザ加工条件データの切替え前後におけるレーザ光１９の出力波形は、図２の場合に限定されない。また、レーザ加工条件データとしての出力波形を変更する代わりに、被加工物７の表面からレーザ光１９の焦点位置を離間させても良いし、レーザの出力波形とレーザ光１９の焦点位置の両方を変更しても良い。制御可能なレーザ加工条件のいずれを変更しても良い。

被加工物７の表面からの反射光のレベルが警報レベルに達する前に、学習部１３の学習結果を参照して、反射光が減少し、かつ略同等の加工結果が得られると予測されるレーザ加工条件に切替えているので、レーザ装置２や加工ヘッド３等の損傷を回避しながら、加工を継続することができる。

また、状態量観測部１１が観測する状態量に、制御装置９からの光出力指令に対してレーザ装置２から実際に出射される光出力との関係を示すレーザ装置２の光出力特性、レーザ装置２から出射される光出力、レーザ装置２からの光出力に対する加工ヘッド３から出射される光出力の比率（透過率）、レーザ装置２内のレーザ発振器に熱的に接続している部分の温度、レーザ装置２内のレーザ発振に伴って温度が変化する部品を含む各部の温度、加工ヘッド３の温度、レーザ光１９をレーザ装置２から加工ヘッド３に伝搬する光学系の温度、駆動装置８の温度、加工ヘッド３や駆動装置８を支持している構造部品の温度、レーザ発振に伴って温度が上昇する部品を冷却するための流体の種類、温度、流量、レーザ装置２内の空気の温度、湿度、レーザ装置２周辺の環境温度、湿度、駆動装置８の駆動用電動機の実電流、駆動装置８の位置検出部からの出力、被加工物７の厚さを含むサイズ、材質、比熱、密度、熱伝導率、温度、表面状態の内の少なくとも一つ以上を含むことができる。

レーザ装置２から出射される光出力は、出力光検出部４からの出力によって得ることができるが、出力光検出部４は、図１に示したように、加工ヘッド３に設置するものとは限定されない。出力光検出部４をレーザ装置２内部あるいはレーザ装置２と加工ヘッド３の途中に設置することもできる。出力光検出部４を、光結合器で合波したレーザ光１９の光量を検出する場所に設けてもよい。また、独立して駆動可能なレーザ発振器が複数存在する場合には、それぞれのレーザ発振器の光出力特性が同時に測定できるように、それぞれのレーザ発振器に対して出力光検出部４を設けることが望ましい。

また、各部の温度や湿度、流量は、それぞれ温度検出器や湿度検出器、流量計等で観測することができる。駆動装置８の駆動用電動機の実電流、駆動装置８の位置検出部からの出力を観測することで、急激な加速や減速時のオーバーシュート等の少ない精度の良い駆動を行うための駆動条件データを含むレーザ加工条件データを学習することができる。

また、被加工物７の厚さを含むサイズ、材質、比熱、密度、熱伝導率等は、人間が介在してデータを入力してもよく、あるいは、必要な情報を記録したバーコードを自動的に読込んで入力することも可能である。被加工物７の厚さは厚さ測定器で自動的に測定することも可能である。また、レーザ加工中のプラズマ光をプラズマ分光分析機によって分析して被加工物７の材質を推定してもよい。

被加工物７の比熱、密度、熱伝導率等の熱特性は、レーザ光１９等でパルス的に加熱して温度の変化や熱の広がりを赤外線撮像装置で観察して推定することも可能である。被加工物７の温度や表面状態も、赤外線撮像装置等で観測することが可能である。さらに、レーザ加工開始前における被加工物７の温度だけでなく、レーザ加工中の加工部の温度や加工部近傍の温度をレーザ加工システム１の状態量の一つとして取得することも可能である。

本発明では、レーザ加工システム１の状態を表す多くの状態量を観測することでレーザ加工システム１の状態の差による加工結果の差を見逃すことなく学習できる。また、レーザ加工中に発熱等によってレーザ加工システム１の状態が変化した場合に、その変化も取り入れて略最適なレーザ加工条件データを出力することができるので、レーザ加工システム１の状態の変化による加工精度や加工品質の低下を防ぐことができる。

また、意志決定部が出力するレーザ加工条件データは、各レーザ装置２から出射するレーザ光１９の光出力、光出力波形、ビームモード、レーザ波長、レーザ光１９を出射する光学系の焦点距離、Ｆ値、透過率、被加工物７に出射されるレーザ光１９の焦点と被加工物７の加工面との時間変化を含む相対的位置関係、被加工物７に出射されるレーザ光１９の被加工物７の加工面におけるスポットサイズ、パワー密度、パワー密度分布、加工ヘッド３と被加工物７との時間変化を含む相対的位置関係、レーザ光１９の光軸と被加工物７の加工面との成す角度、加工速度、アシストガスの種類と流量あるいは供給圧力の内の少なくとも一つ以上を含んでも良い。

レーザ波長については、波長可変型のレーザ装置２の使用も考えられるが、波長の異なる複数のレーザ装置２が存在し、使用するレーザ装置２を選択することでレーザ波長を変更することもできる。また、複数のレーザ装置２や複数の加工ヘッド３から適宜選択することによりビームモードを変えることも可能であり、モード可変光学系を用いてビームモードを変更してもよい。

さらに、加工ヘッド３内のズームレンズ系の焦点距離の変化やＡＯ（アダプティブオプティクス）の曲率変化等により、レーザ光１９を出射する光学系の焦点距離やＦ値を変更することができる。また、被加工物７に出射されるレーザ光１９の焦点と被加工物７の加工面の時間変化を含む相対的位置関係は、加工ヘッド３の移動によって変えることもでき、さらに、上記のように光学の焦点距離を変化させることによって変えることもできる。

被加工物７に出射されるレーザ光１９の被加工物７の加工面におけるスポットサイズ、パワー密度、パワー密度分布は、上記のようにビームモードや、光学系の焦点距離やＦ値、レーザ光１９の焦点と被加工物７の加工面との相対的位置関係を変えることによって変えることができる。

また、これらのレーザ加工条件データは、時間的に固定した値に限定されず、時間的に変化するデータでも良い。例えば、上記のように、加工ヘッド３の移動や加工ヘッド３内のズームレンズ系の焦点距離の変化やＡＯ（アダプティブオプティクス）の曲率変化等により、加工対象物表面とレーザ光焦点との距離を時間と共に変化させながらレーザ加工を行っても良い。

加工ヘッド３と被加工物７の相対的位置関係の時間変化である加工速度についても、一定の速度に限定されず、加速度を伴うベクトルとしての加工速度を与えても良い。例えば、急峻に加工方向が変わるような角部分の加工を行う場合に、角近傍では加工速度を変化させるというような指令を含むレーザ加工条件データを出力することもできる。多くの加工条件パラメータを制御することによって、略理想的な加工結果あるいは目標とする加工結果に近い加工結果を得ることができる。

学習部１３は、切断、溶接、マーキング、表面改質、光造形(Additive Manufacturing)等のレーザ加工の内容によって、異なるレーザ加工条件データを学習する学習モデルを備えている。そして、学習部１３は、動作結果取得部１２が取得した加工速度あるいは所定の加工に要する時間を含むレーザ加工結果とそれぞれのレーザ加工内容毎に設定されている加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の誤差を計算する誤差計算部１５と、誤差に応じて学習モデルを更新する学習モデル更新部１６を備えている。

或るレーザ加工条件データに基づいて被加工物７を加工中に、動作結果取得部１２からの出力の一つとして受け取った反射光検出部５で検出された反射光光量が、第２所定レベルを越えると、誤差計算部１５は、レーザ加工条件データの加工結果に所定の誤差が生じたとする計算結果を出力する。そして、学習モデル更新部１６は該計算結果に応じて学習モデルを更新する。

他の加工結果が同等である場合には、加工速度が大きいか、あるいは所定の加工工程の完遂に要した加工時間が短い方が望ましい。このため、加工速度あるいは所定の加工に要する時間を含むレーザ加工結果とそれぞれのレーザ加工内容毎に設定されている略理想的な加工結果あるいは目標とする加工結果との間の誤差を計算して、誤差が小さくなるように、学習モデルを更新する。これにより、レーザ加工内容に関わらず、それぞれのレーザ加工内容について、加工速度あるいは所定の加工に要する時間を含めて最適あるいは略最適なレーザ加工条件データを教師あり学習で学習することができる。本発明では、入力（レーザ加工条件データとレーザ加工システム１の状態量）と出力（レーザ加工による加工結果）をペアで与えることができるので、教師あり学習が適している。ただし、本発明では、学習方法を教師あり学習に限定するものではない。具体的な他の学習方法については後述する。

なお、加工速度が小さいか、あるいは所定の加工に要した時間が長い時の誤差の配分を大きく設定すると、加工速度重視のレーザ加工条件データを学習する。これに対し、加工速度が小さいか、あるいは所定の加工に要した時間が長い時の誤差の配分を小さく設定すると、加工品質重視のレーザ加工条件データを学習する。このため、同じ加工内容に対しても加工速度あるいは所定の加工に要した時間に対する誤差配分の異なる複数の学習モデルを備えるようにしても良い。

また、反射光光量が第２所定レベルを越えると、誤差計算部１５は、レーザ加工条件データの加工結果に所定の誤差が生じたとする計算結果を出力する。これにより、学習部１３は、反射光光量が第２所定レベルを越えないレーザ加工条件データを学習できる。

次に、本実施形態のレーザ加工システム１に備わる機械学習装置１０の動作の一例を説明する。図３Ａおよび図３Ｂは、図１に示す機械学習装置１０の動作の一例を示すフローチャートである。

図３Ａおよび図３Ｂに示されるように、図１に示す機械学習装置１０において、学習動作（学習処理）が開始すると、まず、レーザ加工システム１へのレーザ加工指令がある否かを判定し（ステップＳ１０１）、レーザ加工指令がある場合は、機械学習装置１０は、加工内容が切断か溶接か等、加工内容を確認する（ステップＳ１０２）。次いで、レーザ加工内容毎に設定された略理想的な加工結果あるいは目標とする加工結果を読出し（ステップＳ１０３）、状態量観測部１１から受取ったレーザ加工システム１の最新の状態量とレーザ加工内容に合った学習モデルを参照して、レーザ加工条件データを決定して出力する（ステップＳ１０４）。そして、レーザ加工条件データに基づいて、制御装置９は、レーザ装置２への光出力指令を含むレーザ加工システム１の各部への制御信号を出力し、レーザ装置２からレーザ光１９が出射されてレーザ加工が実行される（ステップＳ１０５）。

レーザ加工中においては、リアルタイムでフィードバックされてくる加工結果として、反射光検出部５で反射光光量を観察し、検出された反射光光量が第２所定レベルを越えないかを監視している（ステップＳ１０６）。機械学習部１３が出力したレーザ加工条件データの実行が終了したか否かを判断して（ステップＳ１０７）、レーザ加工条件データの実行が終了するまではステップＳ１０５に戻ってレーザ光１９を出射し続けてレーザ加工を継続する。

これに対し、レーザ加工条件データの実行が終了と判断された場合は、加工結果観測部６から出力されたレーザ加工の加工結果を受取る（ステップＳ１０８）。次いで、誤差計算部１５で、加工結果観測部６から取得した加工速度あるいは所定の加工に要する時間を含む加工結果と加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の誤差を計算する（ステップＳ１０９）。続いて、誤差の計算結果に応じて学習モデルを更新して（ステップＳ１１０）、ステップＳ１０１に戻り、再度、ステップ１０１以降のフローを実行する。

なお、ステップＳ１０６において、反射光光量が第２所定レベルを越えたと判定された場合は、誤差計算部１５から所定の誤差が生じたと計算結果が出力されて（ステップＳ１１１）、その誤差に応じて学習モデルを更新して（ステップＳ１１２）、ステップＳ１０４に戻って、次のレーザ加工条件データを出力する。

以上のステップＳ１０１〜Ｓ１１２を繰返すことにより、学習部１３は、学習モデルの更新を継続して、レーザ加工条件データを学習する。なお、略理想的な加工結果あるいは目標とする加工結果の代わりに許容可能な加工品質を設定して、許容可能な加工品質以上であれば、加工品質については、誤差がないと計算して、許容可能な加工品質以上の範囲内で、できるだけ加工速度が大きいレーザ加工条件データを学習させることもできる。前述したように、学習モデルは１種類に限定されない。

また、図４は本発明の他の実施形態のレーザ加工システムの概念的な構成を示すブロック図である。図４に示したように、学習部１３は、報酬計算部２０と、報酬に応じて価値関数を更新する価値関数更新部２１とを備えている。切断、溶接、マーキング、表面改質、光造形(Additive Manufacturing)等のレーザ加工の内容によって、レーザ加工条件データの価値を定める価値関数が、それぞれのレーザ加工内容毎に異なる内容で備えられている。

報酬計算部２０は、動作結果取得部１２が取得した加工速度あるいは所定の加工に要する時間を含むレーザ加工結果とそれぞれのレーザ加工内容毎に設定されている加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の差異が小さい場合はその小ささに応じてプラスの報酬を与え、差異が大きい場合にその大きさに応じてマイナスの報酬を与える。

また、この場合、或るレーザ加工条件で被加工物７を加工中に、動作結果取得部１２からの出力の一つとして受け取った反射光検出部５で検出された反射光光量が、第２所定レベルを越えると、報酬計算部２０は、所定のマイナス報酬を与え、価値関数更新部２１は所定のマイナス報酬に応じて価値関数を更新することが好ましい。

図４は、強化学習教師を適用したレーザ加工システム１の例を示している。図１の比較から明らかなように、図４に示す強化学習を適用したレーザ加工システム１は、結果（ラベル）付きデータ記録部１７は備えていない。また、強化学習を適用したレーザ加工システム１における機械学習装置１０は、状態量観測部１１と、動作結果取得部１２と、学習部１３と、意思決定部１４とを備えており、学習部１３は、報酬計算部２０と、価値関数更新部２１とを含んでいる。

教師あり学習の場合と同様に、他の加工結果が同等なら、加工速度が大きい、あるいは所定の加工工程の完遂に要した加工時間が短い方が望ましい。このため、加工速度あるいは所定の加工に要する時間を含むレーザ加工結果とそれぞれのレーザ加工内容毎に設定されている略理想的な加工結果あるいは目標とする加工結果との間の差異が小さい場合はその小ささに応じてプラスの報酬を与え、差異が大きい場合にその大きさに応じてマイナスの報酬を与える。これにより、レーザ加工内容に関わらず、それぞれのレーザ加工内容で、加工速度あるいは所定の加工に要する時間を含めて最適あるいは略最適なレーザ加工条件データを強化学習で学習することができる。

前述のように、本発明の機械学習装置１０の学習方法は、入力と出力のペア（ラベル付きデータ）が大量に与えられる教師あり学習が適している。ここで、強化学習は未知の学習領域を開拓するという特徴がある。このため、充分学習した段階で、強化学習を行うことによって、従来全く知られていなかった条件領域に更に目的とするレーザ加工に適したレーザ加工条件が見出される可能性がある。

なお、加工速度が大きいか、あるいは所定の加工に要した時間が短い時の報酬を大きく設定すると、加工速度重視のレーザ加工条件データを学習する。これに対し、加工速度が小さい、あるいは所定の加工に要した時間が長い時のマイナス報酬を小さく設定すると加工品質重視のレーザ加工条件データを学習する。このため、同じ加工内容に対しても加工速度あるいは所定の加工に要した時間に対する報酬の異なる複数の価値関数を備えるようにしても良い。

また、反射光光量が、第２所定レベルを越えると、報酬計算部２０が、所定のマイナス報酬を与える。このため、学習部１３は、反射光光量が第２所定レベルを越えないレーザ加工条件データを学習できる。

図５Ａおよび図５Ｂは、図４に示す機械学習装置１０の動作の一例を示すフローチャートである。図５Ａおよび図５Ｂに示されるように、図４に示す機械学習装置１０において、学習動作（学習処理）が開始すると、まず、レーザ加工システム１へのレーザ加工指令がある否かを判定し（ステップＳ２０１）、レーザ加工指令がある場合は、機械学習装置１０は、加工内容が切断か溶接か等、加工内容を確認する（ステップＳ２０２）。次いで、レーザ加工内容毎に設定された略理想的な加工結果あるいは目標とする加工結果を読出し（ステップＳ２０３）、状態量観測部１１から受取ったレーザ加工システム１の最新の状態量とレーザ加工内容に合った学習モデルを参照して、レーザ加工条件データを決定して出力する（ステップＳ２０４）。さらに、レーザ加工条件データに基づいて、制御装置９は、レーザ装置２への光出力指令を含むレーザ加工システム１の各部への制御信号を出力し、レーザ装置２からレーザ光１９が出射されてレーザ加工が実行される（ステップＳ２０５）。

レーザ加工中においては、リアルタイムでフィードバックされてくる加工結果として、反射光検出部５で反射光光量を観察し、検出された反射光光量が第２所定レベルを越えないかを監視している（ステップＳ２０６）。機械学習部１３が出力したレーザ加工条件データの実行が終了したか否かを判断して（ステップＳ２０７）、レーザ加工条件データの実行が終了するまではステップＳ２０５に戻ってレーザ光１９を出射し続けてレーザ加工を継続する。

これに対し、レーザ加工条件データの実行が終了と判断された場合は、加工結果観測部６から出力されたレーザ加工の加工結果を受取る（ステップＳ２０８）。次いで、加工結果観測部６から取得した加工速度あるいは所定の加工に要する時間を含む加工結果と加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の差異を判定する（ステップＳ２０９）。そして、報酬計算部２０は、加工結果観測部６から取得した加工速度あるいは所定の加工に要する時間を含む加工結果と加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の差異が小さい場合には、差異の小ささに応じてプラスの報酬を与える（ステップＳ２１０）。これに対し、差異が大きい場合は、差異の大きさに応じてマイナスの報酬を与える（ステップＳ２１１）。次いで、報酬に応じて価値関数更新部２１において、価値関数を更新して（ステップＳ２１２）、ステップＳ２０１に戻り、再度、ステップ２０１以降のフローを実行する。

なお、ステップＳ２０６において、反射光光量が第２所定レベルを越えたと判定された場合は、報酬計算部２０は、マイナスの報酬を与えて（ステップＳ２１３）、その報酬に応じて価値関数更新部２１において、価値関数を更新する（ステップＳ２１４）。その後、ステップＳ２０４に戻って、次のレーザ加工条件データを出力する。

以上のステップＳ２０１〜Ｓ２１４を繰返すことにより、学習部１３は、価値関数あるいは後述の行動価値テーブルの更新を継続して、レーザ加工条件データを学習する。なお、略理想的な加工結果あるいは目標とする加工結果の代わりに許容可能な加工品質を設定して、許容可能な加工品質以上であれば、加工品質については、一定のプラスの報酬を与え、許容可能な加工品質以上の範囲内で、できるだけ加工速度が大きいレーザ加工条件データを学習させることもできる。繰返しになるが、価値関数は１種類に限定されない。

上記のような機械学習装置１０を備えたレーザ加工システム１においては、機械学習装置１０から出力されたレーザ加工条件データに基づいて、制御装置９が、それぞれ少なくとも１つ以上備えられているレーザ装置２、加工ヘッド３、出力光検出部４、反射光検出部５、加工結果観測部６、駆動装置８等のレーザ加工システム１の各部を制御して、レーザ加工を行う。これにより、反射光によるレーザ装置２や加工ヘッド３やレーザ光学系等の損傷を回避しながら、高速で高品質かつ高精度な加工結果を得るのに最適なあるいは略最適なレーザ加工条件でレーザ加工を行うことができる。

レーザ加工システム１は、反射光によるレーザ装置２や加工ヘッド３やレーザ光学系等の損傷をより確実に回避するのが好ましい。ここで、図６は反射光光量によってレーザ加工条件データが切替わるまでの間、制御装置によって光出力が低減されている状態を模式的に例示したタイムチャートである。図６に示したように、反射光検出部５が検出した反射光光量が第２所定レベルよりも警報レベルに近い第１所定レベルを越えた場合は、制御装置９が、機械学習装置１０からの次のレーザ加工条件データが出力されるのを待たずに、レーザ装置２からの光出力を遮断あるいは所定の割合まで減じるようにしても良い。これにより、次のレーザ加工条件データを出力するために必要な処理時間が多少長くなったとしても、レーザ装置２等の損傷が確実に回避できる。

また、反射光検出部５を複数備えていてもよい。そして、例えば、それぞれの反射光検出部５が、伝搬経路の異なる反射光の光量を検出して、反射光量の比率等の反射光の特徴を抽出する。そのような反射光の光量を、動作結果取得部１２を経由して、レーザ加工条件データにフィードバックするようにしても良い。また、複数の反射光検出部５を設けた場合、それぞれの反射光検出部５に対して、第１所定レベルや第２所定レベルを個別に設定しても良い。

また、レーザ加工システム１は、レーザ装置２あるいは制御装置９に、制御装置９からの光出力指令に対してレーザ装置２から実際に出射される光出力との関係を示すレーザ装置２の光出力特性を記憶している。所定のスケジュールに沿って、光出力特性を測定し、測定した結果に基づいてレーザ装置２の光出力特性を更新することが好ましい。

そして、レーザ装置２の光出力特性を更新し、その結果をレーザ加工システム１の状態量の一部として状態量観測部１１に取り込むようにする。これにより、仮にレーザ装置２が劣化等により、光出力特性が変化した場合にも、光出力指令に対して指令通りの光出力を出力できるようになる。なお、前述のように、レーザ発振器が複数存在する場合には、出力光検出部４は、光結合器で合波したレーザ光の光量を検出する場所に設けるようにする。独立して駆動可能なレーザ発振器が複数存在する場合には、それぞれのレーザ発振器の光出力特性が同時に測定できるように、それぞれのレーザ発振器に対しても出力光検出部４を設けることが望ましい。

また、レーザ加工システム１の加工結果観測部６の少なくとも一つが、デジタル二次元撮像装置、ＣＣＤ測定顕微鏡、接触式表面粗さ・形状測定装置、白色干渉計、レーザ顕微鏡（形状測定マイクロスコープ）、非接触三次元測定装置のいずれか一つとすることができる。そして、レーザによる切断面の平滑度あるいは面粗度、切断部近傍表裏面の数珠状付着物（ドロス）の単位切断長さ当たりの体積、裏面の単位面積当たりのスパッタ付着量、切断面のスケール（酸化物）色濃度、切断寸法・形状精度、切断面の垂直度の観測結果データの内、少なくとも一つ以上のデータを、レーザ加工条件データの結果として、加工結果観測部６から動作結果取得部１２に出力することができる。

上記の加工結果観測部６によるレーザ切断加工による加工結果の取得は、通常は、レーザ加工条件データに基づいたレーザ加工が終了した後に行われる。例えば、駆動装置８の具体例であるロボット等によって、レーザ加工後の被加工物７あるいは上記測定装置を移動させ、それにより、レーザ加工による被加工物７の切断面等が上記の測定装置によって観測可能なようにする。これにより、自動的に加工結果を取得できる。

従って、レーザ加工条件データの結果としての、切断面の加工精度や加工品質等の評価結果が、人間を介さずに取得できる。その結果、機械学習装置１０が、人間を介さずにレーザ加工条件データを学習できる。しかし、前述のように、加工結果の取得に人間の介在を全く排除するものではない。

また、反射光検出部５による反射光光量の観測結果は、レーザ加工中にリアルタイムで取得して動作結果取得部１２経由でフィードバック可能なレーザ加工条件データの加工結果とすることができる。中間的な加工結果の観測としては、デジタル二次元撮像装置やＣＣＤ測定顕微鏡等で加工直後の切断線形状を観測して、例えば、切断幅の安定性、直角切断部の加工精度等を加工結果として取得して動作結果取得部１２経由でフィードバックしても良い。

また、レーザ加工システム１の加工結果観測部６の少なくとも一つが、デジタル二次元撮像装置、ＣＣＤ測定顕微鏡、レーザ顕微鏡（形状測定マイクロスコープ）、光源と赤外線カメラから構成される光励起非破壊検査装置、超音波探傷試験装置、誘導加熱式非破壊検査装置、放射線透過撮像装置、アコースティックエミッション試験装置のいずれか一つとすることができる。そして、レーザによる溶接部のクラック、ブローホール、ピンホール、溶け込み不良、融合不良、アンダーカット・オーバーラップ、ハンピングの観測結果データの内、少なくとも一つ以上のデータを、レーザ加工条件データの結果として、加工結果観測部６から動作結果取得部１２に出力することができる。

レーザ切断加工結果の取得と同様に、上記の加工結果観測部６によるレーザ溶接の加工結果の取得は、通常は、レーザ加工条件データに基づいたレーザ加工が終了した後に行われる。例えば、駆動装置８の具体例であるロボット等によってレーザ加工後の被加工物７あるいは上記測定装置を移動させ、それにより、レーザ加工による溶接部等が上記の測定装置によって観測可能なようにする。これにより、自動的に加工結果を取得することができる。

従って、レーザ加工条件データの結果としての、溶接部の加工精度や品質等の評価結果が、人間を介さずに取得できる。その結果、機械学習装置１０が、人間を介さずにレーザ加工条件データを学習できる。しかし、前述のように、加工結果の取得に人間の介在を全く排除するものではない。

また、反射光検出部５による反射光光量の観測結果は、レーザ加工中にリアルタイムで取得して動作結果取得部１２経由でフィードバック可能なレーザ加工条件データの加工結果とすることができる。中間的な加工結果の観測としては、デジタル二次元撮像装置やＣＣＤ測定顕微鏡等で加工直後の溶接部形状を観測して、例えば、アンダーカット・オーバーラップ、ハンピングの観測結果等を加工結果として取得して動作結果取得部１２経由でフィードバックしても良い。

なお、上述した実施形態のレーザ加工システム１は、図１や図４に示されるように１つのレーザ加工システム１に対して１つの機械学習装置１０を備えたものである。しかし、本発明においては、レーザ加工システム１および機械学習装置１０の各々の数は１つに限定されない。レーザ加工システム１が、複数存在し、レーザ加工システム１毎にそれぞれ設けられた複数の機械学習装置１０が、通信媒体を介して相互にデータを共有または交換することが好ましい。各レーザ加工システム１が取得した学習結果を含むデータを共有することによって、より短時間により精度の高い学習効果が得られ、より適切なレーザ加工条件データが出力できるようになる。

更に、機械学習装置１０は、レーザ加工システム１内に在っても、レーザ加工システム１外に在っても良い。また、通信媒体を介して、単一の機械学習装置１０を複数のレーザ加工システム１で共有しても良い。更には、機械学習装置１０がクラウドサーバ上に存在しても良い。

その結果、学習効果を共有できるだけでなく、データを集中管理すると共に、大規模な高性能プロセッサを利用して学習することが可能になる。それゆえ、学習速度、学習の精度が向上し、より適切なレーザ加工条件データを出力できる。また、出力するレーザ加工条件データの決定に要する時間も短縮できる。これらの機械学習装置１０には、汎用の計算機もしくはプロセッサを用いても良いが、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）や大規模ＰＣクラスター等を適用すると、より高速に処理することができる。

最後に、図１や図４に示した機械学習装置１０の学習方法について述べる。機械学習装置１０は、機械学習装置１０に入力されたデータの集合の中にある有用な規則、ルール、知識表現、判断基準などを解析により抽出し、その判断結果を出力するとともに、知識の学習を行う機能を備えている。

機械学習には、教師あり学習、教師なし学習、強化学習などのアルゴリズムがあり、更に、これらの手法を実現するうえで、特徴量そのものの抽出を学習する、「深層学習（ディープラーニング：Deep Learning）」と呼ばれる手法がある。

教師あり学習とは、ある入力と結果（ラベル）のデータの組を大量に機械学習装置１０に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル、すなわちその関係性を帰納的に獲得するものである。教師あり学習は、学習のための適切な入力データと出力データのペアが与えられることによって、比較的容易に学習を進めることができる。

教師なし学習とは、入力データのみを大量に学習装置に与えることで、入力データがどのような分布をしているか学習し、対応する教師出力データを与えなくても、入力データに対して圧縮・分類・整形などを行う装置で学習する手法である。「出力すべきもの」が予め決まっていないという点で教師有り学習とは異なる。データの背後に存在する本質的な構造を抽出するために用いられる。

強化学習とは、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち将来的に得られる報酬を最大にするための学習する方法を学ぶものである。強化学習では、行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習を開始するが、教師あり学習で事前学習を行って、事前学習した状態を初期状態として、条件の良いスタート地点から強化学習をスタートさせることもできる。強化学習には、未知の学習領域を開拓していく行動と、既知の学習領域を利用して行く行動とをバランスよく選択できるという特徴があり、従来全く知られていなかった条件領域に更に目的とするレーザ加工に適したレーザ加工条件が見出される可能性がある。また、レーザ加工条件データの出力により、レーザ発振器や被加工物７の温度等が変化する、すなわち、行動が環境に影響を与えるので、強化学習を適用する意義はあると考えられる。

図１は、教師あり学習の機械学習装置１０を備えたレーザ加工システム１の例を示し、図４は、強化学習の機械学習装置１０を備えたレーザ加工システム１の例を示している。

まず、教師あり学習による学習方法について述べる。教師あり学習では、学習のための適切な入力データと出力データのペアが与えられ、入力データとそれに対応すべき出力データを写像する関数（学習モデル）を生成する。

教師あり学習を行う機械学習器の動作は学習段階と予測段階の２つの段階がある。教師あり学習を行う機械学習器は、学習段階において、入力データとして用いられる状態変数（説明変数）の値と、出力データとして用いられる目的変数の値とを含む教師データを与えると、状態変数の値が入力された時に、目的変数の値を出力することを学習し、このような教師データをいくつも与えることにより、状態変数の値に対する目的変数の値を出力するための予測モデルを構築する。そして、教師あり学習を行う機械学習器は、予測段階において、新しい入力データ（状態変数）が与えられたとき、学習結果（構築された予測モデル）に従って、出力データ（目的変数）を予測して出力する。ここで、結果（ラベル）付きデータ記録部１７は、それまでに得られた結果（ラベル）付きデータを保持し、結果（ラベル）付きデータを誤差計算部１５に提供することができる。あるいは、レーザ装置２の結果（ラベル）付きデータを、メモリカードや通信回線等により、そのレーザ装置２の誤差計算部１５に提供することも可能である。

教師あり学習を行う機械学習器の学習の一例として、例えば以下の式（１）に示すような予測モデルの回帰式を設定し、学習の過程において各状態変数ｘ₁，ｘ₂，ｘ₃，…が取る値を回帰式に当てはめた時に、目的変数ｙの値が得られるように、各係数ａ₀，ａ₁，ａ₂，ａ₃，…の値を調整することにより学習が進められる。なお、学習の方法はこれに限られるものではなく、教師あり学習のアルゴリズムごとに異なる。

教師あり学習のアルゴリズムとしては、ニューラルネットワーク、最小二乗法、ステップワイズ法など様々な方法が周知となっており、本発明に適用する方法としていずれの教師あり学習アルゴリズムを採用しても良い。なお、それぞれの教師あり学習アルゴリズムは周知なので、本明細書における各アルゴリズムの詳細説明は省略する。

次に、強化学習による学習方法について述べる。強化学習の問題設定は次のように考えられる。
・レーザ装置２の機械学習部１３は、レーザ装置２の状態を含む環境の状態を観測し、行動（レーザ加工条件データの出力）を決定する。
・環境は、何らかの規則に従って変化し、更に、行動が、環境に変化を与えることもある。
・行動する度に、報酬信号が帰ってくる。
・最大化したいのは、将来にわたっての報酬の合計である。
・行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習を開始する。

強化学習の代表的な手法としては、Ｑ学習やＴＤ学習が知られている。以下、Ｑ学習の場合で説明するが、Ｑ学習に限定されるものではない。
Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ（ｓ，ａ）を学習する方法であって、ある状態ｓのとき、価値Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択すれば良い。しかし、最初は、状態ｓと行動ａとの組合せについて、価値Ｑ（ｓ，ａ）の正しい値は分かっていないので、エージェント（行動主体）は、ある状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、報酬が与えられる。それにより、エージェントは、より良い行動の選択、すなわち、正しい価値Ｑ（ｓ，ａ）を学習していく。

更に、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ（ｓ，ａ）＝Ｅ［Σ（γ^t）ｒ_t］となるようにすることを目指す。ここでＥ［］は期待値を表し、tは時刻、γは後述する割引率と呼ばれるパラメータ、ｒ_tは時刻tにおける報酬、Σは時刻tによる合計である。この式における期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Ｑ（ｓ，ａ）の更新式は、例えば、下記の式（２）により表すことができる。

即ち、価値関数更新部２１は、下記の式（２）を用いて価値関数Ｑ（ｓ_t，ａ_t）を更新する。

ここで、ｓ_tは、時刻tにおける環境の状態を表し、ａ_tは、時刻tにおける行動を表す。行動ａ_tにより、状態はｓ_t+1に変化する。r_t+1は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓ_t+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。

上述した式（２）は、試行ａ_tの結果、帰ってきた報酬ｒ_t+1を元に、状態ｓ_tにおける行動ａ_tの評価値Ｑ（ｓ_t，ａ_t）を更新する方法を表している。すなわち、状態ｓにおける行動ａの評価値Ｑ（ｓ_t，ａ_t）よりも、報酬ｒ_t+1と行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ（ｓ_t+1，ｍａｘ ａ_t+1）の合計の方が大きければ、Ｑ（ｓ_t，ａ_t）を大きくし、反対に小さければ、Ｑ（ｓ_t，ａ_t）を小さくすることを示している。つまり、ある状態におけるある行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるものである。

ここで、Ｑ（ｓ，ａ）の計算機上での表現方法は、すべての状態行動ペア（ｓ，ａ）に対して、その値を行動価値テーブルとして保持しておく方法と、Ｑ（ｓ，ａ）を近似するような関数を用意する方法がある。後者の方法では、前述の式（２）は、確率勾配降下法などの手法で近似関数のパラメータを調整していくことにより、実現することができる。 なお、近似関数としては、ニューラルネットワークを用いることができる。
上記のように、教師あり学習の学習アルゴリズムや、強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができるので、機械学習装置１０は、ニューラルネットワークを有することが好ましい。

図７は、ニューロンのモデルを模式的に示す図であり、図８は、図７に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。ニューラルネットワークは、図７に示すようなニューロンのモデルを模した演算装置およびメモリ等で構成される。ニューロンは、複数の入力ｘに対する出力（結果）ｙを出力するものである。各入力ｘ（ｘ₁〜ｘ₃）には、この入力ｘに対応する重みｗ（ｗ₁〜ｗ₃）が掛けられ、ニューロンは、以下の式（３）により表現される結果ｙを出力する。なお、入力ｘ、結果ｙおよび重みｗは、すべてベクトルである。

ここで、θは、バイアスであり、ｆ_kは、活性化関数である。

図８に示したように、ニューラルネットワークの左側から複数の入力ｘ（ｘ₁〜ｘ₃）が入力され、右側から結果ｙ（ｙ₁〜ｙ₃）が出力される。入力ｘ₁〜ｘ₃は、３つのニューロンＮ₁₁〜Ｎ₁₃の各々に対して、対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてｗ_１と表記している。

ニューロンＮ₁₁〜Ｎ₁₃は、それぞれ、ｚ₁₁〜ｚ₁₃を出力する。図８において、これらｚ₁₁〜ｚ₁₃は、まとめて特徴ベクトルｚ_１と表記され、入力ベクトルの特徴量を抽出したベクトルと見なすことができる。この特徴ベクトルｚ_１は、重みｗ_１と重みｗ_２との間の特徴ベクトルである。ｚ₁₁〜ｚ₁₃は、２つのニューロンＮ₂₁およびＮ₂₂の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてｗ_２と表記されている。ニューロンＮ₂₁，Ｎ₂₂は、それぞれｚ₂₁，ｚ₂₂を出力する。図８において、これらｚ₂₁，ｚ₂₂は、まとめて特徴ベクトルｚ_２と標記されている。この特徴ベクトルｚ_２は、重みｗ_２と重みｗ_３との間の特徴ベクトルである。ｚ₂₁，ｚ₂₂は、３つのニューロンＮ₃₁〜Ｎ₃₃の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてｗ_３と標記している。

最後に、ニューロンＮ₃₁〜Ｎ₃₃は、それぞれ、結果ｙ_１〜結果ｙ_３を出力する。ニューラルネットワークの動作には、学習モードと価値予測モードがあり、学習モードにおいて、学習データセットを用いて重みｗを学習し、そのパラメータを用いて予測モードにおいて、レーザ加工条件データの出力の行動判断を行う。ここで、予測モードで実際にレーザ加工条件データの出力を行い、得られたデータを即時学習し、次の行動に反映させるオンライン学習も、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行うバッチ学習も行うこともできる。ある程度データが溜まるたびに学習モードを挟むということも可能である。

また、重みｗ_１〜ｗ_３は、誤差逆伝播法（Backpropagation）により学習可能である。なお、誤差の情報は、右側から入り左側に流れる。誤差逆伝搬法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ（教師）との差分を小さくするように、それぞれの重みを調整（学習）する手法である。

図８のニューラルネットワークの中間層（隠れ層）は一層だが、２層以上にすることも可能であり、中間層が２層以上の場合は深層学習と呼ばれている。
以上、教師あり学習と強化学習の学習方法について簡単に述べたが、本発明に適用される機械学習方法は、これらの手法に限定されず、機械学習装置１０で用いることが出来る手法である「教師あり学習」、「教師なし学習」、「半教師あり学習」および「強化学習」等といった様々な手法が適用可能である。

典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

１ レーザ加工システム
２ レーザ装置
３ 加工ヘッド
４ 出力光検出部
５ 反射光検出部
６ 加工結果観測部
７ 被加工物
８ 駆動装置
９ 制御装置
１０ 機械学習装置
１１ 状態量観測部
１２ 動作結果取得部
１３ 学習部
１４ 意志決定部
１５ 誤差計算部
１６ 学習モデル更新部
１７ 結果（ラベル）付きデータ記録部
１８ 前処理部
１９ レーザ光
２０ 報酬計算部
２１ 価値関数更新部

Claims (16)

1. 少なくとも一つのレーザ発振器を備えた少なくとも一つのレーザ装置（２）と、
   前記レーザ装置からのレーザ光を被加工物（７）に出射する少なくとも一つ以上の加工ヘッド（３）と、
   該加工ヘッドから出射されるレーザ光の光量を検出する少なくとも一つ以上の出力光検出部（４）と、
   前記加工ヘッドから出射されて前記被加工物の表面あるいは表面近傍で反射して前記加工ヘッド内の光学系を経由して前記レーザ装置に向かって戻ってくる反射光を検出する少なくとも一つ以上の反射光検出部（５）と、
   レーザ加工の途中およびレーザ加工後のうちの少なくとも一方における前記被加工物の加工状態および加工結果のうちの少なくとも一方を観測する少なくとも一つ以上の加工結果観測部（６）と、
   前記加工ヘッドと前記被加工物の相対的位置関係を変更する少なくとも一つ以上の駆動装置（８）と、を備えたレーザ加工システム（１）のレーザ加工条件データを学習する機械学習装置（１０）であって、該機械学習装置は、
   前記レーザ加工システムの状態量を観測する状態量観測部（１１）と、
   前記レーザ加工システムによる加工結果を取得する動作結果取得部（１２）と、
   前記状態量観測部からの出力および前記動作結果取得部からの出力を受け取り、前記レーザ加工条件データを、前記レーザ加工システムの前記状態量および前記加工結果に関連付けて学習する学習部（１３）と、
   前記学習部が学習した前記レーザ加工条件データを参照して、レーザ加工条件データを出力する意思決定部（１４）と、を備える、ことを特徴とする機械学習装置。
2. 前記学習部は、或るレーザ加工条件データに基づいて前記被加工物を加工中に、前記反射光検出部で検出された反射光の光量が、前記加工ヘッド、前記レーザ装置、前記加工ヘッドと前記レーザ装置間のレーザ光伝搬用光学部品の内、少なくともいずれか一つが前記反射光により損傷を受ける警報レベルより低く設定された第１所定レベルより更に低く設定された第２所定レベルを越えると、
   前記学習部は、学習された前記レーザ加工条件データを参照して、前記反射光検出部で検出される前記反射光の光量が前記第２所定レベルを越えることなしに、前記或るレーザ加工条件データによる加工結果に近い加工結果が得られると予測されるレーザ加工条件データを出力することを特徴とする請求項１に記載の機械学習装置。
3. 前記状態量観測部が観測する状態量には、前記レーザ装置のための光出力指令と前記レーザ装置から実際に出射される光出力との関係を示す前記レーザ装置の光出力特性、前記レーザ装置から出射される光出力、前記レーザ装置からの光出力に対する前記加工ヘッドから出射される光出力の比率、前記レーザ発振器に熱的に接続している部分の温度、前記レーザ装置内のレーザ発振に伴って温度が変化する部品を含む各部の温度、前記加工ヘッドの温度、レーザ光を前記レーザ装置から前記加工ヘッドに伝搬する光学系の温度、前記駆動装置の温度、前記加工ヘッドや前記駆動装置を支持している構造部品の温度、前記レーザ発振に伴って温度が上昇する部品を冷却するための流体の種類、温度および流量、前記レーザ装置内の空気の温度および湿度、前記レーザ装置周辺の環境温度および湿度、前記駆動装置の駆動用電動機の実電流、前記駆動装置の位置検出部からの出力、ならびに前記被加工物の厚さを含むサイズ、材質、比熱、密度、熱伝導率、温度および表面状態の内の少なくとも一つ以上が含まれていることを特徴とする請求項１または２に記載の機械学習装置。
4. 前記意志決定部が出力するレーザ加工条件データには、各前記レーザ装置から出射するレーザ光の光出力、光出力波形、ビームモード、レーザ波長、レーザ光を出射する光学系の焦点距離、Ｆ値、透過率、前記被加工物に出射されるレーザ光の焦点と前記被加工物の加工面との時間変化を含む相対的位置関係、前記被加工物に出射されるレーザ光の前記被加工物の加工面におけるスポットサイズ、パワー密度、パワー密度分布、前記加工ヘッドと前記被加工物との時間変化を含む相対的位置関係、レーザ光の光軸と前記被加工物の加工面との成す角度、加工速度、アシストガスの種類と流量あるいは供給圧力の内の少なくとも一つ以上が含まれていることを特徴とする請求項１から３のいずれか１項に記載の機械学習装置。
5. 前記学習部は、レーザ加工の内容に応じて異なるレーザ加工条件データを学習する学習モデルを備え、
   前記動作結果取得部が取得した加工速度あるいは所定の加工に要する時間を含むレーザ加工結果とそれぞれのレーザ加工の内容毎に設定されている加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の誤差を計算する誤差計算部（１５）と、
   前記誤差に応じて前記学習モデルを更新する学習モデル更新部（１６）とを備えることを特徴とする請求項２に記載の機械学習装置。
6. 前記学習部は、前記或るレーザ加工条件データに基づいて前記被加工物を加工中に、前記反射光検出部で検出された反射光光量が、前記第２所定レベルを越えると、前記誤差計算部は、前記レーザ加工条件データの加工結果に所定の誤差が生じたとする計算結果を出力し、該計算結果に応じて前記学習モデルを更新することを特徴とする請求項５に記載の機械学習装置。
7. 前記学習部は、レーザ加工の内容に応じて異なっていてレーザ加工条件データの価値を定める価値関数を有し、
   前記学習部は、さらに、前記動作結果取得部が取得した加工速度あるいは所定の加工に要する時間を含むレーザ加工結果とそれぞれのレーザ加工の内容毎に設定されている加工速度あるいは所定の加工に要する時間を含む略理想的な加工結果あるいは目標とする加工結果との間の差異が小さい場合にはその差異に応じてプラスの報酬を与え、前記差異が大きい場合にその差異に応じてマイナスの報酬を与える報酬計算部（２０）と、
   前記報酬に応じて前記価値関数を更新する価値関数更新部（２１）を備えることを特徴とする請求項２に記載の機械学習装置。
8. 前記学習部は、或るレーザ加工条件で前記被加工物を加工中に、前記反射光検出部で検出された反射光光量が、前記第２所定レベルを越えると、前記報酬計算部は、所定のマイナス報酬を与え、前記所定のマイナス報酬に応じて前記価値関数を更新することを特徴とする請求項７に記載の機械学習装置。
9. 請求項１から８のいずれか１項に記載の機械学習装置を備えたレーザ加工システム（１）であって、
   前記レーザ装置と、前記加工ヘッドと、前記出力光検出部と、前記反射光検出部と、前記加工結果観測部と、前記駆動装置とをそれぞれ少なくとも一つ以上備えると共に、
   前記レーザ装置と、前記加工ヘッドと、前記出力光検出部と、前記反射光検出部と、前記加工結果観測部と、前記駆動装置とを制御する制御装置を少なくとも一つ以上備えることを特徴とするレーザ加工システム。
10. 前記反射光検出部が検出した反射光の光量が前記第１所定レベルを越えた場合は、前記制御装置が、前記機械学習装置からの次のレーザ加工条件データが出力するのを待たずに、前記レーザ装置からの光出力を遮断あるいは所定の割合まで減じることを特徴とする請求項９に記載のレーザ加工システム。
11. 前記レーザ装置あるいは前記制御装置に、前記制御装置からの光出力指令と前記レーザ装置から実際に出射される光出力との間の関係を示す前記レーザ装置の光出力特性を記憶しており、
    所定のスケジュールに沿って、前記光出力特性を測定し、測定した結果で前記レーザ装置の前記光出力特性を更新することを特徴とする請求項９または請求項１０に記載のレーザ加工システム。
12. 前記加工結果観測部の少なくとも一つが、デジタル二次元撮像装置、ＣＣＤ測定顕微鏡、接触式表面粗さ・形状測定装置、白色干渉計、レーザ顕微鏡、非接触三次元測定装置のいずれか一つであり、
    レーザによる切断面の平滑度あるいは面粗度、切断部近傍表裏面の数珠状付着物の単位切断長さ当たりの体積、裏面の単位面積当たりのスパッタ付着量、切断面の酸化物色濃度、切断寸法・形状精度、切断面の垂直度の観測結果データの内、少なくとも一つ以上のデータが、前記レーザ加工条件データの結果として、前記加工結果観測部から前記動作結果取得部に出力されることを特徴とする請求項９から１１のいずれか１項に記載のレーザ加工システム。
13. 前記加工結果観測部の少なくとも一つが、デジタル二次元撮像装置、 ＣＣＤ測定顕微鏡、レーザ顕微鏡、光源と赤外線カメラから構成される光励起非破壊検査装置、超音波探傷試験装置、誘導加熱式非破壊検査装置、放射線透過撮像装置、アコースティックエミッション試験装置のいずれか一つであり、
    レーザによる溶接部のクラック、ブローホール、ピンホール、溶け込み不良、融合不良、アンダーカット・オーバーラップ、ハンピングの観測結果データの内、少なくとも一つ以上のデータが、前記レーザ加工条件データの結果として、前記加工結果観測部から前記動作結果取得部に出力されることを特徴とする請求項９から１１のいずれか１項に記載のレーザ加工システム。
14. 前記レーザ加工システムが、複数存在し、前記レーザ加工システム毎にそれぞれ設けられた複数の前記機械学習装置が、通信媒体を介して相互にデータを共有または交換するようになっていることを特徴とする請求項９から１３のいずれか１項に記載のレーザ加工システム。
15. 前記機械学習装置を、通信媒体を介して複数の前記レーザ加工システムで共有することを特徴とする請求項１４に記載のレーザ加工システム。
16. レーザ加工システム（１）の制御装置に出力するレーザ加工条件データを学習する機械学習方法であって、
    少なくとも一つ以上のレーザ装置（２）からの出力データと、少なくとも一つ以上の加工ヘッド（３）からの出力データと、加工ヘッドと被加工物（７）の相対的位置関係を変えるための少なくとも一つ以上の駆動装置（８）からの出力データとを含むレーザ加工システムの状態量を観測し、
    レーザ装置に戻ってくる反射光を検出する少なくとも一つ以上の反射光検出部（５）からの出力データと、レーザ加工の途中およびレーザ加工後のうちの少なくとも一方における前記被加工物の加工状態および加工結果のうちの少なくとも一方を観測する少なくとも一つ以上の加工結果観測部（６）からの出力データとをレーザ加工条件データの結果として受取り、
    前記レーザ加工条件データを前記レーザ加工システムの前記状態量および前記レーザ加工条件データの結果に関連付けて学習することを特徴とする機械学習方法。

Images