JP7649264B2 - 三次元形状計測システムおよび工作機械システム - Google Patents

Description

本明細書は、対象物を撮像して得られた画像データに基づいて対象物の三次元形状を計測する三次元形状計測システム、および、これを備えた工作機械システムを開示する。

近年、対象物を撮像して得られた画像に基づいて対象物の三次元形状を計測する技術が提案されている。例えば、特許文献１には、対象物にライン光を照射する光照射部と、対象物によって反射されたライン光の像を撮像する撮像部と、を備えた加工装置が開示されている。特許文献１の工作機械は、ライン光の像を撮像した画像に基づいて、対象物の表面の三次元形状を測定している。

特開２０１９－６９４８６号公報

ところで、画像に基づいて対象物の形状を計測するためには、対象物の表面形状を画像から把握できるように、撮像条件を適切に設定する必要がある。例えば、対象物において光が強く反射した場合、画像にハレーションに起因する白飛びが生じる。かかる白飛びの発生箇所においては、対象物の表面形状が把握できず、結果として、対象物の形状を計測できない。また、対象物に照射する光の光量が不足し、画像の輝度が低くなった場合にも、対象物の表面形状を把握できず、対象物の形状を計測できない。

そのため、画像に基づいて対象物の形状を計測するためには、カメラのゲイン等の撮像条件を適切に設定する必要がある。ここで、形状計測に適した撮像条件は、対象物の材質や表面性状によって異なる。例えば、金属からなる対象物は、樹脂等からなる対象物に比べて、光を反射しやすく、白飛びが発生しやすい。また、材質が同じであっても、表面粗度が小さい対象物は、表面粗度が大きい対象物よりも、光を反射しやすい。そのため、形状計測を適切に行うためには、対象物の材質および表面性状に応じて、撮像条件を変更する必要がある。

従来、こうした撮像条件は、オペレータが設定することが多かったが、オペレータが、適切な撮像条件を特定することは難しかった。結果として、従来の三次元形状計測システムでは、様々な種類の対象物を簡易な手順で適切に形状計測することは難しかった。

そこで、本明細書では、様々な種類の対象物の形状を、より簡易な手順で適切に形状計測できる三次元形状計測システムおよび工作機械システムを開示する。

本明細書で開示する三次元形状計測システムは、対象物を撮像する１以上のカメラを有する撮像ユニットと、前記対象物の材質および表面性状の複数の組み合わせそれぞれの、前記対象物の形状計測のために前記対象物を撮像する計測用撮像における撮像条件を、条件情報として、記憶する記憶装置と、前記撮像ユニットの駆動を制御する計測コントローラと、を備え、前記計測コントローラは、前記対象物の材質および表面性状を特定し、特定された前記対象物の材質および表面性状に対応する前記撮像条件を前記条件情報に基づいて特定し、特定された前記撮像条件で前記計測用撮像を前記撮像ユニットに実行させ、得られた計測用画像に基づいて前記対象物の形状を計測する、ことを特徴とする。

この場合、前記計測コントローラは、前記計測用撮像に先立って、前記撮像ユニットに前記対象物を撮像させ、これにより得られる予備画像に基づいて、前記対象物の材質および表面性状の少なくとも一方を特定してもよい。

また、前記記憶装置は、さらに、前記予備画像を入力とし、前記対象物の材質および表面性状の少なくとも一方を出力とする、学習モデルを記憶しており、前記計測コントローラは、前記学習モデルに基づいて、前記対象物の材質および表面性状の少なくとも一方を特定してもよい。

また、前記撮像ユニットは、工作機械に設けられ、前記工作機械で加工が施されるワークを前記対象物として撮像し、前記計測コントローラは、前記ワークの加工プログラム、および、前記ワークの加工図面、の少なくとも一方に基づいて前記対象物の材質および表面性状の少なくとも一方を特定してもよい。

また、前記計測コントローラは、前記工作機械の数値制御装置から、前記加工プログラムおよび前記加工図面の少なくとも一方を示す情報を取得してもよい。

また、前記対象物の材質および表面性状の少なくとも一方は、オペレータにより指定されてもよい。

また、前記撮像ユニットは、さらに、前記対象物に撮像用光を照射する１以上の光源を有し、前記計測コントローラは、一つの前記計測用画像を取得するために前記対象物を撮像する基礎撮像を１回以上実行し、前記撮像条件は、一つの前記計測用画像を取得するために行う前記基礎撮像の回数と、１回以上行われる前記基礎撮像それぞれでの前記カメラのシャッタースピードと、１回以上行われる前記基礎撮像それぞれでの前記カメラのゲインと、１回以上行われる前記基礎撮像それぞれでの前記撮像用光の輝度分布と、の少なくとも一つを含んでもよい。

また、前記計測コントローラは、前記計測用画像に基づいて前記対象物の点群データを生成し、前記点群データから前記対象物の立体データを生成してもよい。

また、本明細書で開示する工作機械システムは、上記の三次元形状計測システムと、前記対象物に対して機械加工を施す工作機械と、を備え、前記工作機械は、前記計測コントローラが生成した前記立体データに基づいて、工具と前記対象物との干渉チェック、前記工具の経路生成、加工精度の判定、前記対象物の形状が基準形状と一致するかの判定、および、前記対象物が所定の位置に位置しているかの判定、の少なくとも一つを行う、ことを特徴とする。

本明細書で開示する技術によれば、様々な種類の対象物の形状を、より簡易な手順で適切に形状計測できる。

工作機械システムの構成を示すイメージ図である。 形状計測システムの構成を示すブロック図である。 形状計測システムによる対象物の三次元形状計測の原理を示すイメージ図である。 ＨＤＲ画像の生成の様子を示すイメージ図である。 条件情報の一例を示す図である。 加工図面の一例を示す図である。 加工プログラムの一例を示す図である。 コモン変数の値と、材質および表面性状と、の対応関係の一例を示す図である。 シーケンス名と、材質および表面性状と、の対応関係の一例を示す図である。 加工プログラムの他の一例を示す図である。 形状計測システムの処理の流れを示すフローチャートである。 形状計測システムの処理の流れを示すフローチャートである。

以下、図面を参照して三次元形状計測システム１２（以下「形状計測システム１２」と略す）と、形状計測システム１２を組み込んだ工作機械システム１０の構成について説明する。図１は、工作機械システム１０の構成を示すイメージ図である。

図１に示すように、工作機械システム１０は、工作機械１４と、形状計測システム１２と、を有している。工作機械１４は、加工製品を製造するために、ワークに対して所定の加工を施す。かかる工作機械１４の種類は特に限定されないが、例えば、工作機械１４は、金属製のワークに対して金属加工（例えば切削加工やプレス加工等）を施す金属加工機でもよい。図１において、工作機械１４は、主軸１４ａおよび刃物台１４ｂを有した旋盤である。以下の説明では、この工作機械１４で取り扱うワークを、形状計測の対象物１００として取り扱う。ただし、形状計測の対象物１００は、ワークに限らず、他の部材、例えば、工具や治具等でもよい。

かかる工作機械１４は、数値制御装置２０を有している。数値制御装置２０は、加工プログラム６６（「ＮＣプログラム」ともいう）を解析して、工作機械１４を操作するために、ワークに対する工具経路、加工に必要な作業の工程等を、数値および符号で構成した数値情報で指令する装置である。この数値制御装置２０は、ワーク（すなわち対象物１００）の形状を示す立体データ６９（例えば、ＣＡＤデータ等）に基づいて、工具とワークとの干渉チェックや、工具の経路生成、加工精度の判定、対象物１００の形状が基準形状と一致するかの判定、対象物１００が所定の位置にあるかないかの判定等を行う。かかる数値制御装置２０は、物理的には、プロセッサとメモリとを有したコンピュータである。工作機械１４には、さらに、オペレータに情報を提示するとともにオペレータからの指令を受け付ける操作パネル２２も設けられている。

さらに、数値制御装置２０は、対象物１００の加工に必要なデータ、例えば、加工プログラム６６や加工図面６４等を記憶する。数値制御装置２０は、有線通信または無線通信により、計測コントローラ３０と通信可能であり、必要に応じて、加工プログラム６６等を、計測コントローラ３０に送信する。なお、本例では、加工プログラム６６等を、数値制御装置２０が記憶する構成としているが、計測コントローラ３０と通信可能な、別の外部記憶装置が記憶する構成としてもよい。例えば、クラウドデータサーバ等が加工プログラム６６等を記憶し、計測コントローラ３０へ送信してもよい。

形状計測システム１２は、対象物１００の形状を計測するもので、計測コントローラ３０と、撮像ユニット５０と、を有している。撮像ユニット５０は、対象物１００を撮像する。撮像ユニット５０で撮像された画像は、計測用画像６０または予備画像６２として計測コントローラ３０に送信されるが、これについては、後述する。

計測コントローラ３０は、計測用画像６０を撮像する際の撮像条件５６を特定し、特定された撮像条件５６での撮像を撮像ユニット５０に指示する。なお、以下では、撮像条件の符号は省略する。また、計測コントローラ３０は、撮像ユニット５０から送られた計測用画像６０に基づいて、対象物１００の点群データ７４を生成し、この点群データ７４に基づいて、対象物１００の三次元形状を示す立体データ６９を生成する。生成された立体データ６９は、数値制御装置２０に送信される。

次に、形状計測システム１２の構成について、より詳細に説明する。図２は、形状計測システム１２の構成を示すブロック図である。図２に示すように、また、上述した通り、形状計測システム１２は、計測コントローラ３０と、撮像ユニット５０と、を有する。

計測コントローラ３０は、物理的には、プロセッサ３２と、メモリ３４と、通信Ｉ／Ｆ３６と、ＵＩ装置３８と、記憶装置４０と、を有したコンピュータである。この「コンピュータ」には、コンピュータシステムを一つの集積回路に組み込んだマイクロコントローラも含まれる。また、プロセッサ３２とは、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。また、以下に述べる計測コントローラ３０の動作は、１つのプロセッサによって成されるのみでなく、物理的に離れた位置に存在する複数のプロセッサの協働により成されるものであってもよい。同様に、メモリ３４も、物理的に一つの要素である必要はなく、物理的に離れた位置に存在する複数のメモリで構成されてもよい。また、メモリ３４は、例えば、半導体メモリ（例えばＲＡＭ、ＲＯＭ等）を含んでもよい。

通信Ｉ／Ｆ３６は、外部の他の電子機器と、有線通信または無線通信により、データを送受する。通信Ｉ／Ｆ３６は、例えば、数値制御装置２０、および撮像ユニット５０が、通信相手となる。ＵＩ装置３８は、オペレータに各種情報を提示するとともに、オペレータからの指示を受け付ける。かかるＵＩ装置３８は、例えば、ディスプレイやスピーカなどの出力装置と、キーボードやマウス、マイク、タッチパネル等の入力装置と、を有している。なお、本例では、ＵＩ装置３８を、計測コントローラ３０の構成要素として記載しているが、ＵＩ装置３８の一部または全ては、計測コントローラ３０とは、完全に異なる別の装置として構成されてもよい。例えば、ＵＩ装置３８の一部機能は、オペレータが所有するとともに計測コントローラ３０と通信可能な情報端末（例えばスマートホン等）のユーザインターフェースで実現されてもよい。

記憶装置４０は、形状計測に必要な各種データを記憶するもので、物理的には、例えば、ハードディスクドライブ、ソリッドステートドライブ、またはこれらの組み合わせで構成される。なお、本例では、記憶装置４０を計測コントローラ３０の構成要素として記載しているが、記憶装置４０の一部または全ては、計測コントローラ３０とは完全に異なる別の装置として構成されてもよい。例えば、記憶装置４０は、計測コントローラ３０と通信可能なクラウドサーバに設けられた記憶装置でもよい。

記憶装置４０には、条件情報４２と、リファレンスデータ４４と、学習モデル４５と、が記憶されている。条件情報４２は、計測用撮像における撮像条件を、対象物１００の材質および表面性状の複数の組み合わせそれぞれに分けて記録したデータである。この条件情報４２の具体的内容については後述する。リファレンスデータ４４は、対象物１００の材質および表面性状を特定するために、後述する予備画像６２と比較される複数の画像データである。このリファレンスデータ４４の具体的内容についても後述する。また、学習モデル４５についても、後述する。

撮像ユニット５０は、工作機械１４の加工室内に存在する対象物１００を撮像する。撮像ユニット５０は、図２に示すように、カメラ５２と、プロジェクタ５４と、を有する。カメラ５２は、対象物１００を撮像し、画像データを生成する。このカメラ５２で得られた画像データは、計測コントローラ３０に送られる。また、対象物１００を撮像する際の撮像条件、例えば、撮像回数やシャッタースピード等は、計測コントローラ３０から指示される。

プロジェクタ５４は、対象物１００に撮像用光を照射する光源５３として機能する。本例のプロジェクタ５４（光源５３）は、対象物１００を照射する撮像用光の輝度分布を自由に変更することができる。この撮像用光の輝度分布は、計測コントローラ３０から指示される。

次に、形状計測システム１２による対象物１００の三次元形状計測の原理について図３を参照して説明する。対象物１００の三次元形状を計測する場合、計測コントローラ３０は、撮像ユニット５０を駆動して、計測用画像６０を取得する。このとき、対象物１００の全ての面について計測用画像６０が得られるように、カメラ５２に対する対象物１００の相対的な姿勢を変更して、複数回撮像を行う。なお、カメラ５２に対する対象物１００の相対的な姿勢を変更するために、対象物１００を動かしてもよいし、カメラ５２を動かしてもよい。例えば、対象物１００を保持する主軸１４ａを駆動して、対象物１００のカメラ５２に対する姿勢を変更してもよい。

計測コントローラ３０は、得られた計測用画像６０に基づいて、対象物１００の点群データ７４を生成する。点群データ７４は、「ポイントクラウド」とも呼ばれ、対象物１００表面形状を、Ｘ，Ｙ，Ｚ座標値を有する複数の点で表したデータである。かかる点群データ７４は、例えば、ステレオ法や位相シフト法、光切断法等を用いて生成できる。ステレオ法は、カメラ５２を移動して、または、カメラ５２を二台用いて、対象物１００を異なる位置から撮像し、その視差画像から対応点を探索し、三角測量にて高さを求める技術である。また、位相シフト法は、対象物１００に対してプロジェクタ５４でサイン波を位相をずらしながら投影し、複数回撮像して得られる画像の輝度変化から位相を求める技術である。さらに、光切断法は、ライン光を対象物１００に投影し、これをカメラ５２で撮像し、得られた画像に基づいて対象物１００の形状を計測する技術である。こうした技術は、いずれも従来から知られているため、ここでの詳説は省略する。計測コントローラ３０は、点群データ７４が得られれば、この点群データ７４に基づいて、対象物１００の立体データ６９を生成する。生成された立体データ６９は、必要に応じて、数値制御装置２０やオペレータが指定したコンピュータに送信される。

ところで、点群データ７４を適切に生成するためには、計測用画像６０に対象物１００が適切に写っていなければならない。しかしながら、対象物１００を単純にカメラ５２で撮像しただけの場合、黒潰れや白飛びが生じることがある。黒潰れとは、画像のうち、暗い部分が真っ黒になってしまう現象であり、白飛びとは、画像のうち、明るい部分が真っ白になってしまう現象である。黒潰れおよび白飛びのいずれが生じたとしても、計測コントローラ３０は、対象物１００の形状を適切に判断できない。そこで、本例では、一つの計測用画像６０を得るために、対象物１００を所定の撮影条件で１回以上撮像している。以下では、この一つの計測用画像６０を得るために行う撮像を「基礎撮像」と呼び、基礎撮像で得られる画像を「基礎画像７０」と呼ぶ。一つの計測用画像６０を得るために、基礎撮像を１回だけ行った場合、計測コントローラ３０は、得られる一つの基礎画像７０を、計測用画像６０として取り扱う。基礎撮像を２回以上行った場合、計測コントローラ３０は、２以上の基礎画像７０からハイダイナミックレンジ画像７２（以下「ＨＤＲ画像７２」という）を生成し、このＨＤＲ画像７２を計測用画像６０として取り扱う。

ＨＤＲ画像７２は、高い輝度幅を持つように、撮像条件を変えて対象物１００を２回以上撮像して得られる２以上の基礎画像７０を合成した画像である。図４は、ＨＤＲ画像７２の生成の様子を示す図である。図４の例では、対象物１００は、奥側に位置する照明（図示せず）により照らされており、手前側の面に突起１０２を有する。また、図４において、第一基礎画像７０ｆは、突起１０２に露出を合わせて撮像した画像であり、第二基礎画像７０ｓは、奥側のエッジ１０４に露出を合わせて撮像した画像である。この場合、第一基礎画像７０ｆでは、画像全体が明るくなるため、突起１０２の形状を把握できるが、奥側のエッジ１０４は、白飛びによりその形状を把握できない。第二基礎画像７０ｓでは、画像全体が暗くなるため、奥側のエッジ１０４の形状を把握できるが、突起１０２は、黒潰れにより、その形状を把握できない。

ＨＤＲ画像７２は、こうした複数の基礎画像７０を、輝度幅が高くなるように合成して得られる。図４の例によれば、第一基礎画像７０ｆの突起１０２周辺のデータと、第二基礎画像７０ｓの奥側のエッジ１０４周辺のデータと、を合成して、一つのＨＤＲ画像７２を生成している。このようなＨＤＲ画像７２に基づけば、対象物１００の形状を適切に把握できる。

ところで、適切な計測用画像６０を得るために必要な撮像条件（例えば、基礎撮像の回数や、カメラ５２のシャッタースピード、撮像用光の輝度分布等）は、対象物１００の材質や表面性状によって異なる。例えば、一般的に、アルミニウムは、Ｓ４５Ｃ等の鋼材に比べて、白っぽい銀色をしているため、光が反射しやすく、白飛びが生じやすい。また、材質が同じであったとしても、面粗度が荒い対象物１００は、面粗度が細かい対象物１００よりも、光が反射しにくく、白飛びが生じにくい。そのため、適切なＨＤＲ画像７２を取得するためには、対象物１００の材質および表面性状に応じて撮像条件を変更する必要がある。

そこで、本例の計測コントローラ３０は、予め、対象物１００の材質および表面性状の複数の組み合わせそれぞれの、適切な撮像条件を、条件情報４２として記憶している。そして、対象物１００の形状を計測する際には、当該対象物１００の材質および表面性状を特定し、特定された材質および表面性状に対応する撮像条件を特定し、特定された撮像条件で対象物１００を撮像する。以下、この撮像条件の特定について説明する。

図５は、記憶装置４０に記憶されている条件情報４２の一例を示す図である。図５に示すように、条件情報４２では、撮像条件が、対象物１００の材質および表面性状の複数の組み合わせそれぞれに分けて管理されている。本例の場合、表面性状を、対象物１００に施された加工の段階、すなわち「未加工」、「荒加工」、「中仕上げ」、「仕上げ」、「鏡面」等で表している。ただし、ここで挙げた表面性状の表現は一例であり、他の形態で、表面性状を表してもよい。例えば、対象物１００の面粗度、拡散反射率、表面処理の状態等で、表面性状を表してもよい。

また、図５の例では、撮像条件は、一つの計測用画像６０を得るために行う基礎撮像の回数と、基礎撮像それぞれでのシャッタースピード、カメラゲイン、撮像用光の輝度分布と、を含む。ただし、ここで挙げたパラメータは一例であり、適宜、変更されてもよい。例えば、撮像条件は、基礎撮像の回数とカメラゲインのみを含み、シャッタースピードおよび撮像用光の輝度分布は含まなくてもよい。こうした条件情報４２に記録する数値は、予め、実験やシミュレーションにより取得する。また、必要に応じて、オペレータは、新たな材質および表面性状の撮像条件を追加したり、記録済みの撮像条件を修正したりしてもよい。

計測コントローラ３０は、対象物１００の材質および表面性状を特定し、これを条件情報４２に照らし合わせ、対象物１００の材質および表面性状に対応する撮像条件を特定する。例えば、対象物１００の材質が「ＳＳ４００」であり、対象物１００の表面性状が「未加工」の場合、計測コントローラ３０は、対象物１００の形状を計測するために、対象物１００に対して、基礎撮像を１回行う。このとき、カメラ５２のシャッタースピードは「２０」であり、カメラゲインは「２」であり、撮像用光の輝度分布は、「Ｒ，Ｇ，Ｂ＝１６４，１２８，１２８」である。また、対象物１００の材質が「ＳＳ４００」であり、対象物１００の表面性状が「仕上げ」の場合、計測コントローラ３０は、対象物１００の形状を計測するために、対象物１００に対して、基礎撮像を２回行う。１回目の基礎撮像におけるカメラ５２のシャッタースピードは「１０」であり、カメラゲインは「１」であり、撮像用光の輝度分布は、「Ｒ，Ｇ，Ｂ＝６４，６４，９６」である。また、２回目の基礎撮像におけるカメラ５２のシャッタースピードは「１２」であり、カメラゲインは「１」であり、撮像用光の輝度分布は、「Ｒ，Ｇ，Ｂ＝１２８，１２８，１２８」である。

次に、対象物１００の材質および表面性状の特定について説明する。本例の場合、計測コントローラ３０は、対象物１００の加工内容を記録した、加工図面６４および加工プログラム６６の少なくとも一つに基づいて、対象物１００の材質および表面性状の少なくとも一つを特定する。また、加工図面６４および加工プログラム６６で、材質および表面性状が特定できない場合、計測コントローラ３０は、標準的な条件で対象物１００を撮像して予備画像６２を取得し、この予備画像６２を解析して、対象物１００の材質および表面性状の少なくとも一つを特定する。さらに、予備画像６２でも材質および表面性状を特定できない場合、計測コントローラ３０は、オペレータに対して、対象物１００の材質および表面性状の入力を要求する。以下、これについて順番に説明する。

初めに、加工図面６４および加工プログラム６６の少なくとも一つに基づいて、材質および表面性状の少なくとも一つを特定する技術について説明する。材質および表面性状を特定する場合、計測コントローラ３０は、対象物１００の加工図面６４および加工プログラム６６を取得する。図６は、加工図面６４の一例を示す図である。図６に示す通り、通常、加工図面６４には、対象物１００の加工完了後の形状を示す図の他、対象物１００の製品名や材質等が記載されている。計測コントローラ３０は、加工図面６４に対して、ＯＣＲ等の画像解析処理を施し、加工図面６４に記載されたテキストを抽出する。そして、計測コントローラ３０は、抽出されたテキストに基づいて、対象物１００の材質および表面性状の少なくとも一つを特定する。例えば、計測コントローラ３０は、抽出されたテキストの中に、特定の材質を示すテキストがあれば、対象物１００は当該特定の材質であると判断する。同様に、計測コントローラ３０は抽出されたテキストの中に、特定の表面性状を示すテキストがあれば、対象物１００は当該特定の表面性状であると判断する。したがって、例えば、抽出されたテキストの中に「Ｓ４５Ｃ」、「荒加工」というテキストが含まれている場合、計測コントローラ３０は、対象物１００の材質が「Ｓ４５Ｃ」であり、対象物１００の表面性状が「荒加工」であると判断する。

また、別の形態として、計測コントローラ３０は、加工プログラム６６に基づいて、対象物１００の材質および表面性状の少なくとも一つを特定してもよい。加工プログラム６６は、工作機械１４に意図した作業を行わせるための命令を記述したもので、「ＮＣプログラム」とも呼ばれる。加工プログラム６６に基づいて材質等を特定する場合、オペレータは、予め定められたルールに従い、加工プログラム６６に材質等を示す情報を埋め込んでおく。

例えば、通常、加工プログラム６６のうち、括弧で囲まれた部分はコメントを示しており、コメントは、工作機械１４の制御には使用されない。そこで、加工プログラム６６の中に、コメントとして、材質および表面性状の少なくとも一つを示すテキストが記載されている場合には、それを、対象物１００の材質および表面性状の少なくとも一つとして特定してもよい。例えば、図７に示す加工プログラム６６の場合、三行目に、コメントとして「Ｓ４５Ｃ， ＲＯＵＧＨ」が記述されている。このうち、「Ｓ４５Ｃ」は材質の一種である「Ｓ４５Ｃ」を示すテキストであり、「ＲＯＵＧＨ」は、表面性状の一種である「荒加工」を示すテキストである。したがって、この場合、計測コントローラ３０は、対象物１００の材質を「Ｓ４５Ｃ」、対象物１００の表面性状を「荒加工」として特定する。

また、別の形態として、加工プログラム６６で用いる変数または指令の値で、材質および表面性状の少なくとも一つを表してもよい。この場合、計測コントローラ３０は、変数または指令の値と、材質および表面性状と、の対応関係を、予め、記憶しておく。図８は、こうした対応関係を示すデータの一例である。図８における左側のテーブル８０ａは、コモン変数「ＶＣ１０１」の値と、材質と、の対応関係を記録した材質対応テーブル８０ａであり、右側のテーブル８０ｂは、コモン変数「ＶＣ１０２」の値と、表面性状と、の対応関係を記録した表面性状対応テーブル８０ｂである。計測コントローラ３０は、予めこうした対応テーブル８０ａ，８０ｂを記憶装置４０に記憶している。図８の例では、コモン変数「ＶＣ１０１」の値が「１０」の場合、材質「Ｓ４５Ｃ」を表し、コモン変数「ＶＣ１０２」の値が「２０」の場合、表面性状「荒加工」を表す。そのため、加工プログラム６６内に、「ＶＣ１０１＝１０；」、「ＶＣ１０２＝２０；」との記述がある場合、計測コントローラ３０は、対象物１００の材質を「Ｓ４５Ｃ」、表面性状を「荒加工」として特定する。

また、変数に限らず、専用の指令コードを作成し、指令コードの値に、材質や表面性状を割り当ててもよい。例えば、材質を指令するコードとして「ＭＰ」を作成し、ＭＰの値が「１」ならば「Ｓ４５Ｃ」、「２」ならば「ＳＳ４００」等のように設定してもよい。同様に、表面性状を指令するコードとして「ＭＱ」を作成し、ＭＱの値が「０」ならば「未加工」、「１」ならば「荒加工」等のように設定してもよい。この場合、加工プログラム６６に「ＭＰ ２； ＭＱ ０；」との記述があれば、計測コントローラ３０は、材質は「ＳＳ４００」、表面性状は「未加工」と判断する。

また、別の形態として、加工プログラム６６に記述されるシーケンス名（「シーケンス番号」ともいう）を用いて材質および表面性状の少なくとも一つを表してもよい。シーケンス名は、加工プログラム６６中のブロック（行）の相対位置を示し、任意の行の先頭に記述するものである。通常、シーケンス名は「Ｎ＋”英数字”」として記述される。例えば、加工プログラム６６において「Ｎ１００；」という行があった場合、当該行は、シーケンス名「Ｎ１００」を表している。

このシーケンス名で、材質および表面性状の少なくとも一つを表す場合、計測コントローラ３０は、シーケンス名と、材質および表面性状の少なくとも一つと、の対応関係を予め記憶しておく。図９は、こうした対応関係の一例を示す図である。図９の場合、シーケンス名の２文字目は形状計測コマンドを示しており、３文字目は、材質を示しており、４文字目は、表面性状を示す。この場合、計測コントローラ３０は、シーケンス名の２文字目に「Ｚ」がある場合、当該シーケンス名の３文字目は材質を、４文字目は表面性状を表していると判断する。また、図９の例では、三文字目の「Ｓ」は材質「Ｓ４５Ｃ」を表しており、４文字目の「Ａ」は表面性状「荒加工」を表している。したがって、この場合、加工プログラム６６内に「ＮＺＳＡ；」との記述があった場合、計測コントローラ３０は、対象物１００の材質を「Ｓ４５Ｃ」、表面性状を「荒加工」として特定する。

また、別の形態として、加工プログラム６６で指定される工具に基づいて表面性状を特定してもよい。この場合、計測コントローラ３０は、工具番号と、表面性状と、の対応関係を予め記憶しておく。例えば、計測コントローラ３０は、工具番号「０１」は、荒加工用のエンドミルであり、工具番号「０２」は、中仕上げ用のエンドミルである、といったように、工具番号と対応する加工内容（ひいては表面性状）と、を予め記憶しておく。この場合において、加工プログラム６６内に「Ｔ０１； Ｍ０６；」との記述があった場合、計測コントローラ３０は、対象物１００の表面性状を「荒加工」として特定する。

また、別の形態として、加工プログラム６６で指定される加工パラメータに基づいて表面性状を特定してもよい。この場合、計測コントローラ３０は、加工パラメータの数値範囲と、表面性状と、の対応関係を予め記憶しておく。この場合、加工パラメータは、例えば、主軸回転数、切削送り速度、切り込み量等を含む。計測コントローラ３０は、表面性状の種類それぞれごとに、主軸回転数の数値範囲、切削送り速度の数値範囲、切り込み量の数値範囲を記憶しておく。そして、計測コントローラ３０は、加工プログラム６６に記述された、これら加工パラメータの指令値に基づいて、表面性状を特定してもよい。例えば、図１０に示す加工プログラム６６があった場合を考える。加工プログラム６６において、Ｓは主軸回転数、Ｆは切削送り速度、ＰＱはオペレータが定義した切込み量を示す変数である。また、Ｍ３は主軸正転指令、Ｇ０１は切削送り指令である。そのため、図１０の加工プログラム６６は、主軸回転数４０００ｒｐｍで、切削送り速度１００ｍｍ／ｍｉｎで、Ｚ方向に１００ｍｍの位置から２ｍｍ切り込んで加工することを示している。計測コントローラ３０は、こうした数値を、予め記憶しているパラメータの数値範囲と照らし合わせて、表面性状を特定する。

また、別の形態として、材質および表面性状を記述したファイルを作成し、このファイルへのアクセス指令を加工プログラム６６に記述してもよい。例えば、所定のファイルパスのファイルにアクセスすることを示す指令コードとして「ＭＲ」を設定しておくとともに、当該ファイルに、材質および表面性状をテキストもしくはバイナリ形式で記述しておく。そして、加工プログラム６６において「ＭＲ；」との記述があれば、計測コントローラ３０は、所定のファイルパスのファイルにアクセスし、材質および表面性状を特定する。

また、加工図面６４および加工プログラム６６から材質および表面性状を特定できない場合には、対象物１００の撮像画像に基づいて、対象物１００の材質および表面性状を特定してもよい。すなわち、この場合、計測コントローラ３０は、予め、様々な材質および表面性状の物品を撮像した画像群をリファレンスデータ４４として記憶しておく。また、対象物１００の材質および表面性状を特定したい場合、計測コントローラ３０は、撮像ユニット５０を駆動して、対象物１００を撮像し、予備画像６２を取得する。この予備画像６２の撮像条件は、標準的な条件で撮像する。換言すれば、予備画像６２の撮像条件は、対象物１００の材質および表面性状に応じて変更させない。

計測コントローラ３０は、この予備画像６２を、リファレンスデータ４４の画像群と比較し、予備画像６２と類似する画像を特定する。そして、計測コントローラ３０は、特定された画像に写っている物品の材質および表面性状に基づいて、対象物１００の材質および表面性状を特定してもよい。なお、予備画像６２と画像群との比較においては、例えば、パターンマッチング等の技術を用いてもよい。また、加工図面６４、加工プログラム６６、予備画像６２のいずれからも、材質および表面性状が特定できない場合、計測コントローラ３０は、オペレータに対して、材質および表面性状の入力を要求してもよい。

また、別の形態として、計測コントローラ３０は、学習モデル４５を用いて対象物１００の材質および表面性状を特定してもよい。この場合、計測コントローラ３０は、事前に機械学習によって生成された学習モデル４５を記憶装置４０に保持している（図２参照）。学習モデル４５は、材質および表面性状が既知の物品の画像（例えば、材質および表面性状の情報がラベル付けされたリファレンスデータ４４の画像群等）を教師データとして学習器に入力し、画像と、材質および表面性状と、の相関関係を学習させる教師あり学習によって生成できる。教師あり学習による学習モデル４５の生成手法については公知であるため、ここでは詳細な説明を省略する。

計測コントローラ３０は、この学習モデル４５に予備画像６２を入力することにより、対応する材質および表面性状を出力として得ることができる。なお、出力された材質および表面性状は、オペレータの入力によって修正されてもよい。また、別の形態として、学習モデル４５は、一つの予備画像６２に対して、材質および表面性状の組み合わせを複数、出力してもよい。この場合、計測コントローラ３０は、得られた複数の組み合わせを尤度の高い順番で、オペレータに提示する。そして、オペレータの入力によって選択決定された組み合わせを、対象物１００の材質および表面性状として特定してもよい。また、この場合、予備画像６２を入力データとし、オペレータによって修正あるいは選択された材質および表面性状の組み合わせをラベルとする教師データを作成し、学習器による再学習を行うことで、学習モデル４５を更新してもよい。かかる構成とすることで、材質および表面性状を推定する精度を向上させることができる。なお、これまでの説明では、材質および表面性状の双方を特定しているが、材質および表面性状のいずれか一方のみを特定する構成としてもよい。

対象物１００の材質および表面性状が特定できれば、上述した通り、計測コントローラ３０は、特定された材質および表面性状を、条件情報４２に照らし合わせて、計測用画像６０を撮像する際の撮像条件を特定する。そして、対象物１００の形状計測のトリガがＯＮとなれば、形状計測システム１２は、特定された撮像条件で対象物１００を撮像する計測用撮像を実行する。ここで、形状計測のトリガは、オペレータからの操作指示であってもよい。例えば、オペレータが、数値制御装置２０の操作パネル２２または計測コントローラ３０のＵＩ装置３８を操作して、「形状計測開始」を指示した場合に、対象物１００の計測用撮像を実行してもよい。

また、別の形態として、加工プログラム６６に、トリガとなるコードを記述してもよい。例えば、加工プログラム６６に、三次元形状計測の実行を指示する専用のＭコードやＧコードを記述しておき、工作機械１４が、この専用のＭコードやＧコードを実行するタイミングになれば、形状計測システム１２が、計測用撮像を実行してもよい。

次に、こうした形状計測システム１２の処理の流れについて、図１１および図１２を参照して説明する。形状計測システム１２は、起動されれば、まず、システム全体を初期化する（Ｓ１０）。具体的には、計測コントローラ３０は、カメラ５２およびプロジェクタ５４のパラメータ設定を初期化する。

初期化が完了すれば、計測コントローラ３０は、対象物１００の材質および表面性状を特定する（Ｓ１２～Ｓ２４）。具体的には、計測コントローラ３０は、まず、数値制御装置２０と通信を行い、加工図面６４および加工プログラム６６の取得を試みる（Ｓ１２）。加工図面６４および加工プログラム６６が取得できた場合（Ｓ１２でＹｅｓ）、計測コントローラ３０は、加工図面６４および加工プログラム６６を解析し、対象物１００の材質および表面性状を特定する（Ｓ１６）。

一方、加工図面６４および加工プログラム６６が取得できない場合（Ｓ１２でＮｏ）、計測コントローラ３０は、撮像ユニット５０で対象物１００を撮像し、予備画像６２を取得する（Ｓ２０）。続いて、計測コントローラ３０は、得られた予備画像６２を、リファレンスデータ４４と比較し、または、学習モデル４５へ入力して、対象物１００の材質および表面性状を特定する（Ｓ２２）。

加工図面６４等または予備画像６２に基づいて、材質および表面性状が得られた場合（Ｓ１８でＹｅｓ）には、ステップＳ２６に進む。一方、材質および表面性状の少なくとも一方が得られなかった場合（Ｓ１８でＮｏ）、計測コントローラ３０は、オペレータに対して、材質および表面性状の少なくとも一方の入力を要求し、これにより、材質および表面性状を特定する（Ｓ２４）。

材質および表面性状が特定できれば、計測コントローラ３０は、特定された材質および表面性状を、条件情報４２に照らし合わせる。条件情報４２に、特定された材質等に対応する条件が記録されている場合（Ｓ２６でＹｅｓ）、計測コントローラ３０は、対応する条件を、撮像条件として設定する（Ｓ２８）。一方、特定された材質等に対応する条件が、条件情報４２に記録されていない場合（Ｓ２６でＮｏ）、計測コントローラ３０は、特定された材質等に対応する撮像条件の新規登録をオペレータに要求する。この要求を受けて、オペレータが撮像条件の新規登録を行う場合（Ｓ３０でＹｅｓ）、計測コントローラ３０は、この新規登録を受け付けたうえで（Ｓ３２）、ステップＳ２６に戻る。一方、オペレータが新規登録を行わない場合（Ｓ３０でＮｏ）、計測コントローラ３０は、オペレータに対して、撮像条件の入力を要求する。そして、この要求を受けてオペレータが入力した条件を、撮像条件として設定する（Ｓ３４）。

撮像条件の設定が完了すれば、計測コントローラ３０は、対象物１００の形状計測のトリガがＯＮか否かをモニタリングする（Ｓ３６）。形状計測のトリガは、上述した通り、オペレータからの指示、または、加工プログラム６６における特定のコードである。したがって、例えば、計測コントローラ３０は、オペレータからの計測指示の有無をモニタリングしてもよい。また、計測コントローラ３０は、数値制御装置２０から加工の進捗状況として、加工プログラム６６のうち現在実行している行数を定期的に取得し、この実行行数に基づいて、計測を指示するコードが実行されたか否かをモニタリングしてもよい。

形状計測のトリガがＯＮとなれば（Ｓ３６でＹｅｓ）、計測コントローラ３０は、撮像ユニット５０を駆動して、設定された撮像条件で対象物１００を撮像し、計測用画像６０を取得する。さらに、計測コントローラ３０は、得られた計測用画像６０に基づいて、対象物１００の点群データ７４を生成する（Ｓ３８）。

一方、形状計測のトリガがＯＮとなっておらず（Ｓ３６でＮｏ）、また、形状計測システム１２がＯＦＦとなっていない場合（Ｓ４０でＮｏ）、計測コントローラ３０は、さらに、撮像条件の変更の要否を判断する（Ｓ４２）。すなわち、撮像条件が設定された後、対象物１００そのものが変更されたり、対象物１００に対して別の種類の切削加工が施されたりした場合、対象物１００の材質および表面性状が変更している可能性が高い。そこで、計測コントローラ３０は、数値制御装置２０において、加工プログラム６６に記述されたコードのうち、工具交換を指令するコードまたはワーク交換を指令するコードが実行された場合、あるいは、数値制御装置２０で実行する加工プログラム６６そのものが変更された場合には、撮像条件の変更が必要と判断する。撮像条件の変更が必要と判断した場合（Ｓ４２でＹｅｓ）、計測コントローラ３０は、ステップＳ１２に戻る。一方、撮像条件の変更が不要な場合（Ｓ４２でＮｏ）、計測コントローラ３０は、ステップＳ３６に戻る。

以上の説明で明らかな通り、本例では、対象物１００の材質および表面性状の複数の組み合わせそれぞれの、撮像条件を、条件情報４２として記憶している。また、計測コントローラ３０は、対象物１００の材質および表面性状を特定し、特定された対象物１００の材質および表面性状に対応する撮像条件を条件情報４２に基づいて特定し、特定された撮像条件で対象物１００の撮像を実行する。かかる構成とすることで、対象物１００の材質および表面性状が変更されたとしても、適切な条件で対象物１００を撮像できる。そして、結果として、対象物１００の形状を適切に把握できるため、より簡易な手順で適切に対象物１００の形状を計測できる。

なお、形状計測システム１２は、対象物１００の材質および表面性状の複数の組み合わせそれぞれの、撮像条件を、条件情報４２として予め記憶しておき、この条件情報４２に基づいて、対象物１００の撮像条件を特定するのであれば、その他の構成は、適宜変更されてもよい。例えば、上記の説明では、対象物１００の材質および表面性状を特定するために、加工図面６４および加工プログラム６６を優先的に利用し、次いで予備画像６２を利用し、最後に、オペレータに情報入力を求めている。しかし、材質および表面性状を特定する手順は、適宜、変更されてもよい。したがって、例えば、常にオペレータに情報入力を求めてもよい。また、別の形態として、加工図面６４および加工プログラム６６を利用せず、常に予備画像６２を利用して、材質および表面性状を特定してもよい。

また、これまでの説明では、対象物１００の材質および表面性状によっては、ＨＤＲ画像７２を生成し、これを計測用画像６０として取り扱っているが、対象物１００の形状を把握できるのであれば、ＨＤＲ画像７２を一切生成しなくてもよい。また、これまでの説明では、計測コントローラ３０と数値制御装置２０を、互いに独立した別個のコンピュータとしているが、計測コントローラ３０は、数値制御装置２０に組み込まれてもよい。換言すれば、数値制御装置２０が、計測コントローラ３０として機能してもよい。また、各構成要素の個数も適宜、変更されてもよく、例えば、形状計測システム１２が、複数の計測コントローラ３０および複数の撮像ユニット５０を有してもよい。また、一つの工作機械システム１０が、複数の形状計測システム１２を有してもよい。また、上述の説明では、光源５３として、プロジェクタ５４を用いているが、光源５３は、撮像に適した光、すなわち、撮像用光を対象物１００に照射できるのであれば、他の装置でもよい。例えば、光源５３は、撮像用光として、ライン光や点群状光等のパターン光を照射するレーザ光源でもよい。また、これまでの説明では、形状計測システム１２は、工作機械１４を有する工作機械システム１０に組み込まれている。しかし、形状計測システム１２は、工作機械１４とは無関係のシステムに組み込まれてもよいし、他のシステムに組み込まれることなく、単独で設けられてもよい。

１０ 工作機械システム、１２ 形状計測システム、１４ 工作機械、２０ 数値制御装置、２２ 操作パネル、３０ 計測コントローラ、３２ プロセッサ、３４ メモリ、３６ 通信Ｉ／Ｆ、３８ ＵＩ装置、４０ 記憶装置、４２ 条件情報、４４ リファレンスデータ、４５ 学習モデル、５０ 撮像ユニット、５２ カメラ、５３ 光源、５４ プロジェクタ、５６ 撮像条件、６０ 計測用画像、６２ 予備画像、６４ 加工図面、６６ 加工プログラム、６９ 立体データ、７０，７０ｆ，７０ｓ 基礎画像、７２ ＨＤＲ画像、７４ 点群データ、８０ａ 材質対応テーブル、８０ｂ 表面性状対応テーブル、１００ 対象物、１０２ 突起、１０４ エッジ。

Claims (9)

1. 対象物を撮像する１以上のカメラを有する撮像ユニットと、
   前記対象物の材質および表面性状の複数の組み合わせそれぞれの、前記対象物の形状計測のために前記対象物を撮像する計測用撮像における撮像条件を、条件情報として、記憶する記憶装置と、
   前記撮像ユニットの駆動を制御する計測コントローラと、
   を備え、前記計測コントローラは、
   前記対象物の材質および表面性状を特定し、特定された前記対象物の材質および表面性状に対応する前記撮像条件を前記条件情報に基づいて特定し、特定された前記撮像条件で前記計測用撮像を前記撮像ユニットに実行させ、得られた計測用画像に基づいて前記対象物の形状を計測する、
   ことを特徴とする三次元形状計測システム。
2. 請求項１に記載の三次元形状計測システムであって、
   前記計測コントローラは、前記計測用撮像に先立って、前記撮像ユニットに前記対象物を撮像させ、これにより得られる予備画像に基づいて、前記対象物の材質および表面性状の少なくとも一方を特定する、ことを特徴とする三次元形状計測システム。
3. 請求項２に記載の三次元形状計測システムであって、
   前記記憶装置は、さらに、前記予備画像を入力とし、前記対象物の材質および表面性状の少なくとも一方を出力とする、学習モデルを記憶しており、
   前記計測コントローラは、前記学習モデルに基づいて、前記対象物の材質および表面性状の少なくとも一方を特定する、
   ことを特徴とする三次元形状計測システム。
4. 請求項１から３のいずれか１項に記載の三次元形状計測システムであって、
   前記撮像ユニットは、工作機械に設けられ、前記工作機械で加工が施されるワークを前記対象物として撮像し、
   前記計測コントローラは、前記ワークの加工プログラム、および、前記ワークの加工図面、の少なくとも一方に基づいて前記対象物の材質および表面性状の少なくとも一方を特定する、
   ことを特徴とする三次元形状計測システム。
5. 請求項４に記載の三次元形状計測システムであって、
   前記計測コントローラは、前記工作機械の数値制御装置から、前記加工プログラムおよび前記加工図面の少なくとも一方を示す情報を取得する、
   ことを特徴とする三次元形状計測システム。
6. 請求項１から５のいずれか１項に記載の三次元形状計測システムであって、
   前記対象物の材質および表面性状の少なくとも一方は、オペレータにより指定される、ことを特徴とする三次元形状計測システム。
7. 請求項１から６のいずれか１項に記載の三次元形状計測システムであって、
   前記撮像ユニットは、さらに、前記対象物に撮像用光を照射する１以上の光源を有し、
   前記計測コントローラは、一つの前記計測用画像を取得するために前記対象物を撮像する基礎撮像を１回以上実行し、
   前記撮像条件は、一つの前記計測用画像を取得するために行う前記基礎撮像の回数と、１回以上行われる前記基礎撮像それぞれでの前記カメラのシャッタースピードと、１回以上行われる前記基礎撮像それぞれでの前記カメラのゲインと、１回以上行われる前記基礎撮像それぞれでの前記撮像用光の輝度分布と、の少なくとも一つを含む、
   ことを特徴とする三次元形状計測システム。
8. 請求項１から７のいずれか１項に記載の三次元形状計測システムであって、
   前記計測コントローラは、前記計測用画像に基づいて前記対象物の点群データを生成し、前記点群データから前記対象物の立体データを生成する、
   ことを特徴とする三次元形状計測システム。
9. 請求項８に記載の三次元形状計測システムと、
   前記対象物に対して機械加工を施す工作機械と、
   を備え、
   前記工作機械は、前記計測コントローラが生成した前記立体データに基づいて、工具と前記対象物との干渉チェック、前記工具の経路生成、加工精度の判定、前記対象物の形状が基準形状と一致するかの判定、および、前記対象物が所定の位置に位置しているかの判定、の少なくとも一つを行う、
   ことを特徴とする工作機械システム。