JP7741370B2 - 破断面特徴領域判定モデル生成装置、破断面特徴領域判定モデル生成方法、プログラム、破断面特徴領域判定装置、及び、破断面特徴領域判定方法 - Google Patents

Description

本発明は、破断面特徴領域判定モデル生成装置、破断面特徴領域判定モデル生成方法、プログラム、及び、これらを用いた破断面の特徴領域率算出方法に関する。

シャルピー衝撃試験、ＤＷＴＴ試験（Ｄｒｏｐ Ｗｅｉｇｈｔ Ｔｅａｒ Ｔｅｓｔ）等の破断試験は、鉄鋼製品等金属の靭性を評価する試験である。金属の靭性を測る指標としては、破断面面積に対する延性面の割合である延性面率、破断面面積に対する脆性面の割合である脆性面率がよく用いられる。以下、「延性面率」、「脆性面率」をまとめて「破面率」とも称する。

破面率の計測においては、破断面のどこが延性面で脆性面かを判断する必要があるが、その判断には熟練を必要とし、人に依るばらつきが発生する。加えて、延性部と脆性部との境界領域が複雑な形状であるため、破面率の正確な算出には多くの時間を要する。具体的には、従来、破断面の画像に方眼状のマス目を重ね合わせ、破断面内で延性面もしくは脆性面に相当する領域のマス目を数えて、破断面における占有割合を破面率として算出することが行われている。

このような状況から、例えば特許文献１には、破断面の特徴を画像処理によって求め、自動的に破断面を解析する手法が開示されている。

特開昭６０－１４３７７０号公報

山際 謙太、"破断面解析におけるディープラーニングの活用事例の紹介"、材料（Journal of the Society of Materials Science, Japan）、Ｖｏｌ．６９、Ｎｏ．９、ｐｐ．６４４－６４９、２０２０年９月 岡谷 貴之、"画像認識のための深層学習の研究動向─畳込みニューラルネットワークとその利用法の発展─"、人工知能（Journal of the Japanese Society for Artificial Intelligence）、Ｖｏｌ．３１、Ｎｏ．２、ｐｐ．１６９－１７９、２０１６年３月 Dang Ha、"A guide to receptive field arithmetic for Convolutional Neural Networks"［令和３年４月１６日検索］、インターネット〈URL:https://medium.com/mlreview/a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-e0f514068807〉 Olaf Ronneberger、他２名、"U-Net: Convolutional Networks for Biomedical Image Segmentation"［令和３年４月１６日検索］、インターネット〈URL:https://arxiv.org/abs/1505.04597〉

一方、多くの産業分野において、機械学習手法によって学習された識別器を用いることで、膨大なデータから経験や知識を抽出して自動化に繋げる動きが活発である。特に、画像認識分野では、長年重要な問題とされてきた画像分類やセマンティック・セグメンテーションといった諸問題に対して、深層学習(Deep Learning)をはじめとするニューラルネットワークをベースとした識別器により飛躍的な精度向上が確認されている。

例えば、非特許文献１には、破断面解析におけるディープラーニングの活用事例が開示されている。具体的には、非特許文献１には、ディンプル、ファセット、ストライエーションといった破壊組織を撮像した走査型電子顕微鏡（ＳＥＭ）画像を学習データとして、多層型ニューラルネットワークに学習させ、ＳＥＭ画像の破断面を分類する深層学習モデルを作成することが記載されている。しかし、ＳＥＭ画像を得るには走査型電子顕微鏡が必要であり、撮影時間も要することから、より容易に得られるマクロ破断面画像（すなわち、ＳＥＭ画像よりもマクロな破断面画像）から自動的に破断面の延性面、脆性面を判定できることが望ましい。

しかしながら、非特許文献１の方法は、マクロ破断面画像の解析には適用できない。マクロ破断面画像の解析により得たい出力は、ストライエーションといった離散的な分類でなく、脆性面の割合を示す０～１００％といった連続的に変化する量だからである。そこで、非特許文献１に記載の深層学習モデルの出力を離散値から連続値に変更することが考えられるが、本願発明者の実験によると、単に出力を連続値に変更するだけでは十分な精度が得られないことが判明した。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ＳＥＭ画像よりも容易に得られるマクロ破断面画像から自動的に破断面の延性面、脆性面を精度良く判定することが可能なモデルを生成する、破断面特徴領域判定モデル生成装置、破断面特徴領域判定モデル生成方法、プログラム、及び、これらを用いた破断面の特徴領域率算出方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、材料の破断面画像と破断面画像における特徴領域の位置を表す情報とが関連付けられた複数のデータを学習データとして、機械学習により破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成するモデル生成部と、破断面特徴領域判定モデルを出力する出力部と、を備える、破断面特徴領域判定モデル生成装置が提供される。

モデル生成部は、破断面画像の特徴領域の判定において考慮する単位領域を、破壊組織を特定し得る必要最小領域よりも広い領域として、深層学習により破断面特徴領域判定モデルを生成してもよい。

材料の破断面を撮像して得られた原画像は、材料の破断面を、撮像装置の光軸に対して対称性を有するように照明して、撮像装置により撮像した画像であってもよい。

破断面特徴領域判定モデル生成装置は、１つの破断面画像から複数の破断面画像を生成する画像増殖部を有してもよい。画像増殖部は、材料の破断面を撮像して得られた原画像を、左右反転、上下反転、または、回転することにより、破断面画像を増殖し、モデル生成部は、原画像、及び、画像増殖部により増殖された破断面画像を、学習データの破断面画像として用いる。

特徴領域は、脆性面または延性面であってもよい。

破断面特徴領域判定モデルは、当該破断面特徴領域判定モデルに入力された破断面画像の特徴領域を判定し、破断面画像上に特徴領域を示した判定後破断面画像を出力してもよい。

モデル生成部は、学習データとして、出力部から出力された破断面特徴領域判定モデルを用いて得られた判定後破断面画像に対してユーザが特徴領域を補正した補正後破断面画像を用いて、破断面特徴領域判定モデルを再学習してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、材料の破断面画像と破断面画像における特徴領域の位置を表す情報とが関連付けられた複数のデータを学習データとして、機械学習により破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成するモデル生成ステップと、破断面特徴領域判定モデルを出力する出力ステップと、を含む、破断面特徴領域判定モデル生成方法が提供される。

さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、材料の破断面画像と破断面画像における特徴領域の位置を表す情報とが関連付けられた複数のデータを学習データとして、機械学習により破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成するモデル生成部と、破断面特徴領域判定モデルを出力する出力部と、を備える、破断面特徴領域判定モデル生成装置として機能させるプログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、材料の破断面を撮像して破断面画像を取得する破断面画像取得ステップと、上記の破断面特徴領域判定モデル生成装置によって生成された破断面特徴領域判定モデルを用いて、破断面画像取得ステップにより取得された破断面画像における特徴領域を判定し、破断面画像上に特徴領域を示した判定後破断面画像を出力する特徴領域判定ステップと、判定後破断面画像に基づいて、破断面における特徴領域の割合を算出する算出ステップと、を含む、破断面の特徴領域率算出方法が提供される。

以上説明したように本発明によれば、破断面画像と、破断面画像における特徴領域（破断面の延性面、脆性面）の位置を表す情報とを関連付けた学習データを用いて機械学習を行うため、ＳＥＭ画像よりも容易に得られるマクロ破断面画像であっても自動的に破断面の延性面、脆性面を精度良く判定することが可能なモデルを生成することができる。

シャルピー衝撃試験により得られた金属試験片の破断面画像の一例であって、原画像、及び、脆性面部分を示した破断面画像を示す。 本発明の一実施形態に係る破断面特徴領域判定システムの一構成例を示すブロック図である。 同実施形態に係る破断面特徴領域判定モデル生成方法の一例を示すフローチャートである。 破断面画像の増殖処理を説明する説明図である。 Receptive Fieldの大きさの確認方法を説明する説明図である。 同実施形態に係る破断面の特徴領域率算出方法の一例を示すフローチャートである。 撮像装置による破断面の一撮像例を示す模式図である。 撮像装置による破断面の他の撮像例を示す模式図である。 同実施形態に係る破断面特徴領域判定モデル生成装置または破断面特徴領域判定装置として機能する情報処理装置のハードウェア構成の一例を示すブロック図である。 実施例として、破面率（ユーザ判定）と破面率（モデル判定）とを比較した結果を示すグラフである。 実施例として、原画像に対して、人により脆性面を判定した結果と、破断面特徴領域判定モデルにより脆性面を判定した結果との一例を示す画像である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［１．概要］
まず、図１を参照して、本発明の一実施形態の概要を説明する。図１は、シャルピー衝撃試験により得られた金属試験片の破断面画像の一例であって、原画像、及び、脆性面部分を示した破断面画像を示している。

図１に示す原画像は、シャルピー衝撃試験により得られた金属試験片の破断面を、撮像装置によって撮像して得られた破断面画像である。破断面面積に対する延性面または脆性面の面積の割合である破面率を算出するためには、原画像において延性面または脆性面を特定する必要がある。

従来、材料の破断面画像における延性面または脆性面の判定は、人が行っており、例えば次のように行っていた。まず、画像編集ソフトウェアを用いて、破断面画像に対して延性面または脆性面の部分をマーキングすることにより図１中央に示すような判定後破断面画像を得ていた。図１中央の判定後破断面画像内の黒色部分は、人によって脆性面と判定された部分を表している。人は、判定後破断面画像に方眼状のマス目を重ね合わせ、脆性面に相当する領域のマス目を数えて、脆性面率を算出していた。しかし、破断面画像における延性面、脆性面の判定には熟練を必要とし、人に依るばらつきが発生する。加えて、延性部と脆性部との境界領域が複雑な形状であるため、破面率の正確な算出には多くの時間を要する。

そこで、本実施形態に係る手法では、材料の破断面画像と破断面画像における特徴領域（例えば、延性面、脆性面）の位置を表す情報とが関連付けられた複数のデータを学習データとして、機械学習により破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成する。すなわち、本実施形態に係る手法では、例えば、図１中央に示したような判定後破断面画像が学習データとして用いられる。新たに取得された材料の破断面画像を破断面特徴領域判定モデルに入力することにより、例えば図１下側に示すような、破断面画像に対して特徴領域がマーキングされた判定後破断面画像を得ることができる。

上述したように、非特許文献１には、材料の破断面のＳＥＭ画像を学習データとして、多層型ニューラルネットワークに学習させ、ＳＥＭ画像の破断面を分類する深層学習モデルを作成することが記載されている。ここで、材料の破断面の特徴には、マクロ視点によるものとミクロ視点によるものとがある。非特許文献１に記載の手法では、ＳＥＭ画像から確認される破壊組織の模様、すなわちミクロ視点による特徴に着目している。例えば、ＳＥＭ画像にディンプルの模様が表れていれば延性面と判定され、ＳＥＭ画像にリバーパターンの模様が表れていれば脆性面と判定される。

これに対して、本実施形態に係る手法では、ＳＥＭ画像に比べて容易に得られるマクロ破断面画像を用いて、破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成する。本実施形態に係る手法では、マクロ視点による材料の破断面の特徴に着目し、目視により確認される色または形状（模様）等から破断面の特徴領域を判定する。例えば、延性面は鈍い灰白色であり、脆性面は光り輝く銀白色である。このように、本実施形態に係る手法では、ミクロン単位の破壊組織を特定し得るような破断面画像ではなく、それよりも広い領域を撮像した破断面画像を学習データとして用いる。このため、本実施形態では、破断面画像における特徴領域の判定対象の画素は、破壊組織を特定し得る必要最小領域よりも広い領域を表すものとなる。

以下、本実施形態に係る手法について、詳細に説明する。

［２．システム構成］
まず、図２に基づいて、本発明の一実施形態に係る破断面特徴領域判定システム１を説明する。図２は、本実施形態に係る破断面特徴領域判定システム１の一構成例を示すブロック図である。

本実施形態に係る破断面特徴領域判定システム１は、図２に示すように、破断面特徴領域判定モデル生成装置１００と、破断面特徴領域判定装置２００と、画像記憶装置３００と、撮像装置４００とを備える。

（破断面特徴領域判定モデル生成装置）
破断面特徴領域判定モデル生成装置１００は、破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成する。破断面特徴領域判定モデル生成装置１００は、モデル生成部１１０と、出力部１２０と、画像増殖部１３０とを備える。

モデル生成部１１０は、材料の破断面画像と破断面画像における特徴領域の位置を表す情報とが関連付けられた複数のデータを学習データとして、機械学習により破断面特徴領域判定モデルを生成する。ここで、破断面画像における特徴領域の位置を表す情報とは、図１の判定後破断面画像に示したような、特徴領域としてマーキングされた領域を表示し得る情報をいう。例えば、破断面画像における特徴領域の位置を表す情報は、画像データであってもよく、破断面画像での画素位置を特定する情報であってもよい。破断面画像は、例えば、ｊｐｇ、ｂｍｐ、ｐｎｇ等の画像データである。

モデル生成部１１０は、後述する画像記憶装置３００から、学習データとする複数のデータを取得する。モデル生成部１１０は、機械学習として深層学習を用いて、学習データから深層学習器である破断面特徴領域判定モデルを生成する。モデル生成部１１０によるモデル生成処理の詳細については後述する。モデル生成部１１０は、生成した破断面特徴領域判定モデルを出力部１２０へ出力する。

出力部１２０は、破断面特徴領域判定モデルを外部装置へ出力する。例えば、出力部１２０は、破断面特徴領域判定装置２００へ破断面特徴領域判定モデルを出力する。

画像増殖部１３０は、１つの破断面画像から複数の破断面画像を生成する。モデル生成部１１０によるモデル生成処理では多くの学習データが必要である。画像増殖部１３０は、特徴領域の位置が特定された破断面画像を大量に効率よく得るために、１つの破断面画像を回転または反転して、複数の破断面画像を生成する。この際、画像増殖部１３０は、破断面画像における特徴領域の位置を表す情報も、破断面画像と同じ回転または反転を施し、深層学習の学習データとして使えるようにしておく。また、増殖の方法としては、回転、反転の他、明るさの変更、画像サイズの変更などを実施してもよい。

画像増殖部１３０は、例えば画像記憶装置３００に記録された破断面画像と破断面画像における特徴領域の位置を表す情報を取得し、取得した破断面画像と破断面画像における特徴領域の位置を表す情報から複数の破断面画像と破断面画像における特徴領域の位置を表す情報を生成して、画像記憶装置３００に記録する。なお、本実施形態では、画像増殖部１３０は、破断面特徴領域判定モデル生成装置１００に設けられているが、本発明は係る例に限定されず、別の装置に設けてもよい。また、例えば、モデル生成時に破断面画像と破断面画像における特徴領域の位置を表す情報とを画像記憶装置３００から読み出す度に画像を増殖させてもよい。この場合、画像増殖部１３０はモデル生成部１１０に内包されることになる。

（破断面特徴領域判定装置）
破断面特徴領域判定装置２００は、破断面特徴領域判定モデルを用いて破断面画像における特徴領域を判定する。破断面特徴領域判定装置２００は、判定部２１０と、補正処理部２２０と、割合算出部２３０と、表示部２４０と、入力部２５０と、データ出力部２６０とを備える。

判定部２１０は、破断面特徴領域判定モデルを用いて破断面画像における特徴領域を判定し、破断面画像上に特徴領域を示した判定後破断面画像を出力する。判定部２１０は、破断面特徴領域判定モデル生成装置１００から入力された破断面特徴領域判定モデルを用いて、新たに撮像装置４００により取得された材料の破断面画像の特徴領域を判定する。判定部２１０は、破断面画像上に特徴領域を示した判定後破断面画像を、補正処理部２２０、割合算出部２３０、表示部２４０及びデータ出力部２６０へ出力する。なお、判定後破断面画像は、破断面画像の原画像と、破断面画像の特徴領域の位置を表す情報とが関連付けられたデータである。

補正処理部２２０は、判定部２１０により判定された破断面画像における特徴領域を、ユーザの補正指示に基づき補正する。判定部２１０により判定された破断面画像の特徴領域が表示部２４０に表示されると、ユーザは、入力部２５０を介して、破断面画像の特徴領域を補正することができる。入力部２５０からユーザの補正指示が入力されると、補正処理部２２０は補正指示に基づき、破断面画像の特徴領域を補正する。補正処理部２２０は、特徴領域を補正した補正後破断面画像を、表示部２４０に出力する。また、補正処理部２２０は、特徴領域を補正した補正後破断面画像を、割合算出部２３０及びデータ出力部２６０に出力する。なお、補正後破断面画像は、補正後の破断面画像の原画像と、補正後の破断面画像の特徴領域の位置を表す情報とが関連付けられたデータである。また、判定部２１０による特徴領域の判定精度が十分に高い場合には、補正処理部２２０による補正を省略してもよい。

割合算出部２３０は、破断面画像の破断面における特徴領域の割合（以下、「特徴領域率」ともいう。）を算出する。割合算出部２３０は、判定部２１０または補正処理部２２０から特徴領域の位置が特定された破断面画像（判定後破断面画像または補正後破断面画像）が入力されると、特徴領域率を算出し、算出結果を表示部２４０へ出力する。

表示部２４０は、情報を表示する出力部であり、例えばディスプレイ装置である。表示部２４０は、判定部２１０または補正処理部２２０から特徴領域の位置が特定された破断面画像（判定後破断面画像または補正後破断面画像）、割合算出部２３０により算出された特徴領域率等を表示し、ユーザに通知する。

入力部２５０は、ユーザからの指示を受け付けるインタフェース部であって、例えば、マウス、キーボード、タッチパネル等の、ユーザが操作する操作手段である。ユーザは、入力部２５０を操作して、破断面画像の特徴領域を補正し得る。入力部２５０は、入力された補正指示等の入力情報を補正処理部２２０に出力する。

データ出力部２６０は、判定部２１０から入力された判定後破断面画像、及び、補正処理部２２０から入力された補正後破断面画像を、画像記憶装置３００に記録する。データ出力部２６０から出力され、画像記憶装置３００に記録されたデータは、破断面特徴領域判定モデル生成装置１００の学習データとして利用し得る。

（画像記憶装置）
画像記憶装置３００は、材料の破断面画像と破断面画像における特徴領域の位置を表す情報とが関連付けられた複数のデータを記憶する記憶装置である。画像記憶装置３００には、予め、材料の破断面画像に対して人が特徴領域を判定してマーキングした判定後破断面画像が記録されている。また、画像記憶装置３００には、破断面特徴領域判定装置２００から出力された判定後破断面画像及び補正後破断面画像も記録することができる。画像記憶装置３００に記録されたデータは、破断面特徴領域判定モデル生成装置１００によるモデル生成処理の学習データとして利用される。また、画像記憶装置３００には、破断面特徴領域判定モデル生成装置１００により増殖された破断面画像と、増殖された破断面画像における特徴領域の位置を表す情報とが記録される。

（撮像装置）
撮像装置４００は、材料の破断面を撮像する撮像装置である。撮像装置４００の撮像画像は、材料の破断面の特徴を目視により判定可能な程度の解像度（マクロ視点）の破断面画像として、破断面特徴領域判定装置２００へ出力される。

以上、本実施形態に係る破断面特徴領域判定システム１について説明した。なお、図２に示す破断面特徴領域判定システム１の各装置の構成は一例であり、複数の装置の機能を１つの装置が備えてもよく、１つの装置に含まれる複数の機能を異なる装置で実施するように構成することも可能である。

［３．破断面特徴領域判定モデル生成方法］
次に、図３～図５に基づいて、本実施形態に係る破断面特徴領域判定モデル生成方法について説明する。図３は、本実施形態に係る破断面特徴領域判定モデル生成方法の一例を示すフローチャートである。図４は、破断面画像の増殖処理を説明する説明図である。図５は、Receptive Fieldの大きさの確認方法を説明する説明図である。

（Ｓ１１０：学習データ取得）
図３に示すように、まず、破断面特徴領域判定モデル生成装置１００は、材料の破断面画像と破断面画像における特徴領域の位置を表す情報とが関連付けられた複数のデータを、学習データとして画像記憶装置３００から取得する（Ｓ１１０）。画像記憶装置３００には、過去に取得されたデータが記憶されている。これらのデータの破断面画像は、破断面特徴領域判定装置２００に入力される破断面画像を撮像する撮像装置４００と同一の撮像装置により撮像された画像であることが望ましいが、異なる撮像装置により撮像された画像であってもよい。

ここで、後述するモデル生成処理では多くの学習データが必要である。そこで、特徴領域の位置が特定された破断面画像を大量に効率よく得るために、１つの破断面画像から複数の破断面画像を生成し、増殖された破断面画像も学習データとして用いてもよい。この場合、破断面特徴領域判定モデル生成装置１００の画像増殖部１３０は、例えば画像記憶装置３００に記録された破断面画像を取得し、取得した破断面画像を回転または反転して、複数の破断面画像を生成する。具体的には、画像増殖部１３０は、例えば図４に示すように、原画像を、左右反転させたり、上下反転させたり、所定の角度だけ回転（例えば右に９０°回転）させたりして、複数の破断面画像を生成する。これにより、大量破断面画像を効率よく得ることができる。

（Ｓ１２０：モデル生成）
次いで、破断面特徴領域判定モデル生成装置１００のモデル生成部１１０は、ステップＳ１１０により取得した学習データを用いて、機械学習により破断面特徴領域判定モデルを生成する（Ｓ１２０）。モデル生成部１１０は、学習データの破断面画像を入力情報として、生成される破断面特徴領域判定モデルが出力する特徴領域の位置を表す情報が、学習データの特徴領域の位置を表す情報に近づくように、モデルを最適化する。

本実施形態では、機械学習として深層学習を用いる。ここで、深層学習モデルにおけるReceptive field（受容野とも呼ばれる。）の大きさについて説明する。深層学習のネットワーク構造の中のConvolutional Neural Network（ＣＮＮ）では、ある画素の周りの画素との関係性を見る畳み込み操作を繰り返す。Receptive fieldの大きさとは、その画素が特徴領域であるか否かを判定する際に、最終的に、どの程度離れた位置にある画素の情報までを用いるかを表す量である（例えば、非特許文献２参照）。

本実施形態では、深層学習を用いる場合に破断面画像の特徴領域の判定において考慮する単位領域（すなわち、Receptive field）を、破壊組織を特定し得る必要最小領域よりも広い領域に設定する。非特許文献１に例示された画像の大きさから判る通り、破壊組織を特定し得る必要最小領域は１０μｍのオーダーであるが、これよりもReceptive fieldを大きく設定することが望ましい。延性面のまわりには延性面が、脆性面のまわりには脆性面が、それぞれ存在する確率が高い。すなわち、延性面、脆性面はそれぞれがクラスター化する傾向にある。したがって、本実施形態に係るモデル生成処理のように、Receptive fieldを従来よりも広く設定し、判定対象の画素からなるべく離れた位置の画素の破断面の特徴を考慮して特徴領域を判定することで、判定精度を高めることができる。

Receptive fieldの大きさは用いるＣＮＮによって決まる。畳み込み層、プーリング層、転置畳み込み層、活性化層からなるＣＮＮが与えられているときの、Receptive fieldの大きさの確認方法を図５に示す。図５は、模式化されたＣＮＮ、ＣＮＮへの入力画像Ｇ_ｉｎ、及び、ＣＮＮからの出力画像Ｇ_ｏｕｔを示している。

まず、ＣＮＮを構成する畳み込み層（転置畳み込み層）の重みを“１．０”、バイアスを“０．０”とし、活性化層を外す。次いで、中心の１画素（図５の領域Ａ）だけ“０”以外の値が設定され、他の画素は“０”の値が設定された入力画像Ｇ_ｉｎを用意する。そして、入力画像Ｇ_ｉｎをＣＮＮに入力すると、入力画像Ｇ_ｉｎと同一画像サイズの出力画像Ｇ_ｏｕｔが得られる。この出力画像Ｇ_ｏｕｔにおいて、“０．０”以外の値となっている画素の領域（図５の領域Ｂ）の大きさがReceptive fieldの大きさとなる。

なお、Receptive fieldの大きさは、図５に示す方法以外によっても確認することができる（例えば、非特許文献３）。

モデル生成部１１０は、深層学習により破断面特徴領域判定モデルを生成すると、出力部１２０へ破断面特徴領域判定モデルを出力する。

（Ｓ１３０：モデル出力）
破断面特徴領域判定モデル生成装置１００の出力部１２０は、ステップＳ１２０にて生成された破断面特徴領域判定モデルを、破断面特徴領域判定装置２００へ出力する（Ｓ１３０）。

以上、本実施形態に係る破断面特徴領域判定モデル生成方法について説明した。本実施形態に係る破断面特徴領域判定モデル生成方法により、ＳＥＭ画像よりも容易に得られるマクロ破断面画像から自動的に破断面の延性面、脆性面等の特徴領域を判定することが可能なモデルを生成することができる。

［４．破断面の特徴領域率算出方法］
次に、図６～図８に基づいて、本実施形態に係る破断面の特徴領域率算出方法について説明する。図６は、本実施形態に係る破断面の特徴領域率算出方法の一例を示すフローチャートである。図７及び図８は、撮像装置４００による破断面の撮像例を示す模式図である。

（Ｓ２１０：破断面画像取得）
図６に示すように、まず、撮像装置４００を用いて、材料の破断面を撮像し、破断面画像を取得する（Ｓ２１０）。破断面画像は、図７、図８に示すように、撮像装置４００を試験片１０の破断面１５に対向させて撮像することにより取得される。このとき、試験片１０の破断面１５を照明装置４１０により照明する。例えば、図７に示すように、照明装置４１０により斜めから試験片１０の破断面１５を照射してもよい。

また、照明装置４１０は、試験片１０の破断面１５を、撮像装置４００の光軸に対して対称性を有するように照明してもよい。具体的には、図７の右側の照明装置４１０に加え、撮像装置４００の光軸に対して右側の照明装置４１０と対称となる位置に、照明装置（左側の照明装置４１０）を配置してもよい。もしくは、撮像装置４００の光軸を中心とする環状の照明装置を設置してもよい。または、図８に示すように、撮像装置４００と試験片１０の破断面１５との間にハーフミラー４２０を設置し、照明装置４１０から照射された照明光をハーフミラー４２０によって撮像装置４００の光軸と同軸上に反射させて、試験片１０の破断面１５を照明してもよい。この場合にも、撮像装置４００の光軸を中心とする環状の照明装置と同様に、試験片１０の破断面１５を照明することができる。

このように、試験片１０の破断面１５を、撮像装置４００の光軸に対して対称性を有するように照明して、撮像装置４００により試験片１０の破断面１５を撮像することで、撮像された破断面画像を増殖させて学習データとして用いたときの、モデル精度を高めることができる。

データの増殖は、学習データとして用いる破断面画像に対してある種の変換を行っても出力は変わらないとの前提の下、変換後の破断面画像も学習に使う手法である。このようにデータを増殖することで、大量に学習データを必要とする深層学習の弱点を緩和する効果が得られる。

例えば図４に示したように、原画像を、左右反転させたり、上下反転させたり、所定の角度だけ回転（例えば右に９０°回転）させたりすることにより、データを増殖させることができる。ここで、仮に照明が対称性を有しない場合は、撮像された破断面画像を左右反転、上下反転、回転させた画像は現実的には生じ得ないものとなり、データの増殖によるモデルの精度向上効果を得ることは困難である。一方、照明が対称性を有する場合、例えば環状の照明装置を用いた場合、得られた破断面画像を左右反転、上下反転、回転させても現実的にも生じ得るものとなる。このため、照明が対称性を有しない場合と比較して、図４に示したようなデータの増殖によりモデルの精度向上効果が期待できる。

また、照明装置４１０の照明光の色は白色でもよく、特に限定されないが、波長の短い光を用いれば、例えば照明光の色を青色とすれば、破断面のより細かい特徴を捉えた破断面画像を得ることができる。

（Ｓ２２０：特徴領域判定）
次いで、破断面特徴領域判定装置２００の判定部２１０は、破断面特徴領域判定モデル生成装置１００によって生成された破断面特徴領域判定モデルを用いて、ステップＳ２１０により取得された破断面画像の特徴領域を判定する（Ｓ２２０）。判定部２１０は、ステップＳ２１０により取得された破断面画像を入力情報として、破断面特徴領域判定モデルに入力し、破断面特徴領域判定モデルから出力情報として破断面画像上に特徴領域を示した判定後破断面画像を得る。

（Ｓ２３０：判定後破断面画像表示）
その後、判定部２１０は、破断面特徴領域判定モデルから出力情報として得た判定後破断面画像を、表示部２４０に出力する（Ｓ２３０）。表示部２４０は、破断面画像上に特徴領域を示した判定後破断面画像を表示する。

（Ｓ２４０：特徴領域補正）
判定後破断面画像が表示部２４０に表示されると、ユーザは必要に応じて判定後破断面画像の特徴領域を補正する（Ｓ２４０）。破断面特徴領域判定モデルの精度によっては、特徴領域が正しく判定されていない場合がある。このような場合に、ユーザが補正を行う場合は、画像編集ソフトウェアを用いて、破断面画像に対して、特徴領域であるが特徴領域と判定されていない部分をマーキングしたり、特徴領域ではないが特徴領域と判定されている部分のマーキングを削除したりして、判定後破断面画像の特徴領域を補正する。

入力部２５０から入力されたユーザによる補正指示は、補正処理部２２０に出力される。補正処理部２２０は、判定部２１０により判定された判定後破断面画像における特徴領域を、ユーザの補正指示に基づき補正する。補正処理部２２０は、ユーザが補正内容を確認できるように、特徴領域を補正した破断面画像を表示部２４０に出力する。

（Ｓ２５０：画像記録）
ステップＳ２４０にてユーザが判定後破断面画像の特徴領域の補正を終えると、データ出力部２６０は、補正された判定後破断面画像を補正後破断面画像として、画像記憶装置３００に記録する（Ｓ２５０）。画像記憶装置３００に記録された補正後破断面画像は、破断面特徴領域判定モデルの再学習に利用することができる。

（Ｓ２６０：特徴領域率算出）
また、割合算出部２３０は、補正後破断面画像に基づき、破断面における特徴領域の割合を算出する（Ｓ２６０）。割合算出部２３０は、破断面画像における破断面の面積に対する特徴領域の面積の割合を、特徴領域率（＝（特徴領域面積）／（全破断面面積））として求める。特徴領域面積及び全破断面面積は、画素数をカウントすることにより求めてもよい。割合算出部２３０は、ユーザが特徴領域率を知ることができるように、算出した特徴領域率を表示部２４０に出力する。

以上、本実施形態に係る破断面の特徴領域率算出方法について説明した。本実施形態によれば、破断面特徴領域判定モデルを用いて、破断面の延性面、脆性面等の特徴領域を判定することができる。また、初期学習にて生成された破断面特徴領域判定モデルはモデルの精度がそれほど高くない場合もある。この場合にも、ユーザは、破断面特徴領域判定モデルによる判定後破断面画像をもとに特徴領域を補正すればよく、ユーザが一から特徴領域を判定して破断面画像に対してマーキングを行う場合に比べて、作業負荷を著しく軽減することができ、特徴領域率を得るまでの検査時間も短縮できる。

さらに、破断面特徴領域判定モデルによる判定後破断面画像、及び、ユーザによる補正後破断面画像を画像記憶装置３００に記録しておくことで、これらのデータを破断面特徴領域判定モデルの再学習に利用することも可能である。これにより、容易に多くの学習データを用意することができ、破断面特徴領域判定モデルの精度を高めることができる。

なお、図６の説明においては、破断面特徴領域判定モデルによる判定後破断面画像の特徴領域をユーザにより補正する場合について説明したが、破断面特徴領域判定モデルの精度が高く、ユーザによる特徴領域の補正が不要である場合には、ステップＳ２６０の処理は、判定後破断面画像に基づいて特徴領域率を算出するようにしてもよい。

［５．ハードウェア構成］
図９に基づいて、本実施形態に係る破断面特徴領域判定モデル生成装置１００及び破断面特徴領域判定装置２００のハードウェア構成について説明する。図９は、本実施形態に係る破断面特徴領域判定モデル生成装置１００または破断面特徴領域判定装置２００として機能する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

情報処理装置９００は、プロセッサ（図９ではＣＰＵ９０１）と、ＲＯＭ９０３と、ＲＡＭ９０５とを含む。また、情報処理装置９００は、バス９０７と、入力Ｉ／Ｆ９０９と、出力Ｉ／Ｆ９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを含む。

ＣＰＵ９０１は、演算処理装置および制御装置として機能する。ＣＰＵ９０１は、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２５に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムあるいは演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラム、あるいは、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。

バス９０７は、ブリッジを介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バスに接続されている。

入力Ｉ／Ｆ９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等の、ユーザが操作する操作手段である入力装置９２１からの入力を受け付けるインタフェースである。入力Ｉ／Ｆ９０９は、例えば、ユーザが入力装置９２１を用いて入力した情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等として構成されている。入力装置９２１は、例えば、赤外線あるいはその他の電波を利用したリモートコントロール装置、あるいは、情報処理装置９００の操作に対応したＰＤＡ等の外部機器９２７であってもよい。情報処理装置９００のユーザは、入力装置９２１を操作し、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力Ｉ／Ｆ９１１は、入力された情報を、ユーザに対して視覚的または聴覚的に通知可能な出力装置９２３へ出力するインタフェースである。出力装置９２３は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプ等の表示装置であってもよい。あるいは、出力装置９２３は、スピーカ及びヘッドホン等の音声出力装置や、プリンター、移動通信端末、ファクシミリ等であってもよい。出力Ｉ／Ｆ９１１は、出力装置９２３に対して、例えば、情報処理装置９００により実行された各種処理にて得られた処理結果を出力するよう指示する。具体的には、出力Ｉ／Ｆ９１１は、表示装置に対して情報処理装置９００による処理結果を、テキストまたはイメージで表示するよう指示する。また、出力Ｉ／Ｆ９１１は、音声出力装置に対し、再生指示を受けた音声データ等のオーディオ信号をアナログ信号に変換して出力するよう指示する。

ストレージ装置９１３は、情報処理装置９００の記憶部の１つであり、データ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により構成される。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、プログラムの実行により生成された各種データ、及び、外部から取得した各種データ等を格納する。

ドライブ９１５は、記録媒体用リーダライタであり、情報処理装置９００に内蔵あるいは外付けされる。ドライブ９１５は、装着されているリムーバブル記録媒体９２５に記録されている情報を読み出し、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されているリムーバブル記録媒体９２５に情報を書き込むことも可能である。リムーバブル記録媒体９２５は、例えば、磁気ディスク、光ディスク、光磁気ディスクまたは半導体メモリ等である。具体的には、リムーバブル記録媒体９２５は、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、フラッシュメモリ、ＳＤメモリカード（Secure Digital memory card）等であってもよい。また、リムーバブル記録媒体９２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。

接続ポート９１７は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９１７は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ－２３２Ｃポート等である。情報処理装置９００は、接続ポート９１７に接続された外部機器９２７から、直接各種データを取得したり外部機器９２７に各種データを提供したりすることができる。

通信装置９１９は、例えば、通信網９２９に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Wireless USB）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等であってもよい。通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２９は、有線または無線によって接続されたネットワーク等により構成されている。例えば、通信網９２９は、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等である。

以上、情報処理装置９００のハードウェア構成の一例を示した。上述の各構成要素は、汎用的な部材を用いて構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。情報処理装置９００のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて適宜変更可能である。

本実施形態に係る手法の効果を検証すべく、図２に示した破断面特徴領域判定システムを用いて、破断面特徴領域判定モデルを生成し、破断面画像における脆性面の判定と、脆性面率の算出を行った。本検証では、学習データとして１０００サンプルデータを用意し、８００サンプルデータを教師データとし、２００サンプルデータを評価データとした。これらのサンプルデータの破断面画像は、図８に示した照明構成で撮像装置により撮像した。照明光の色は白色とした。画像の空間分解能は６．７μｍ／ｐｉｘｅｌであった。破断面特徴領域判定モデルの生成には、ＣＮＮとして周知のＵ－Ｎｅｔ（非特許文献４）を用いた。このとき、Receptive fieldの大きさは、１．７ｍｍ×１．７ｍｍとした。

まず、教師データのうち１００サンプルデータを用いて最初の破断面特徴領域判定モデルを生成した。そして、最初に生成された破断面特徴領域判定モデルを用いて、別の教師データの１００サンプルデータについて判定後破断面画像を得て、ユーザにより補正し、補正後破断面画像を得た。次いで、補正後破断面画像を得た１００サンプルデータを教師データとして、最初の破断面特徴領域判定モデルを再学習し、２つ目の破断面特徴領域判定モデルを生成した。そして、２つ目の破断面特徴領域判定モデルを用いて、さらに別の教師データの１００サンプルデータについて判定後破断面画像を得て、ユーザにより補正し、補正後破断面画像を得た。その後、補正後破断面画像を得た１００サンプルデータを教師データとして、２つ目の破断面特徴領域判定モデルを再学習し、３つ目の破断面特徴領域判定モデルを生成した。その後も同様の処理を繰り返し、教師データとして用意した８００サンプルデータをすべて用いて学習し終えたときの破断面特徴領域判定モデルを性能評価対象とした。

破断面特徴領域判定モデルの評価データによる性能評価として、図１０に、人により破断面画像の脆性面を判定した結果に基づく脆性面率（破面率（ユーザ判定））と、破断面特徴領域判定モデルにより破断面画像の脆性面を判定した結果に基づく脆性面率（破面率（モデル判定））とを比較した結果を示す。図１０より、破面率（ユーザ判定）と破面率（モデル判定）とはほぼ一致しており、破断面特徴領域判定モデルに十分な精度が備わっていることがわかる。なお、特徴領域判定モデルにより破断面画像の脆性面を判定した結果に基づき脆性面率を算出するまでに要する時間は、人により破断面画像の脆性面を判定した結果に基づき脆性面率を算出するまでに要する時間の約１／１０程度に短縮された。

また、図１１に、原画像に対して、人により脆性面を判定した結果と、破断面特徴領域判定モデルにより脆性面を判定した結果との一例を示す。判定後破断面画像において、白い領域が脆性面と判定された領域である。図１１より、破断面特徴領域判定モデルによる判定結果は、人による判定結果とほぼ同一であることがわかる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

なお、上記説明では、破断面画像の特徴領域として、延性面または破断面が判定された例を示したが、本発明は係る例に限定されない。例えば、破断面画像の特徴領域として、延性面及び破断面の２つの領域を区別して、同時に判定し得る破断面特徴領域判定モデルを生成することも可能である。

１ 破断面特徴領域判定システム
１０ 試験片
１５ 破断面
１００ 破断面特徴領域判定モデル生成装置
１１０ モデル生成部
１２０ 出力部
１３０ 画像増殖部
２００ 破断面特徴領域判定装置
２１０ 判定部
２２０ 補正処理部
２３０ 割合算出部
２４０ 表示部
２５０ 入力部
２６０ データ出力部
３００ 画像記憶装置
４００ 撮像装置
４１０ 照明装置
４２０ ハーフミラー
９００ 情報処理装置

Claims (10)

1. 材料の破断面の特徴を目視により判定可能な程度の解像度の前記材料の破断面画像と、前記破断面画像における特徴領域の位置を表す情報と、が関連付けられた複数のデータを学習データとして、機械学習により破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成するモデル生成部と、
   前記破断面特徴領域判定モデルを出力する出力部と、
   を備え、
   前記特徴領域は、脆性面または延性面であり、
   前記モデル生成部は、前記破断面画像のある画素が前記特徴領域であるか否かの判定において考慮する単位領域を、破壊組織を特定し得る必要最小領域よりも広い領域として、深層学習により前記破断面特徴領域判定モデルを生成する、破断面特徴領域判定モデル生成装置。
2. 前記材料の破断面を撮像して得られた原画像は、前記材料の破断面を、撮像装置の光軸に対して対称性を有するように照明して、前記撮像装置により撮像した画像である、請求項１に記載の破断面特徴領域判定モデル生成装置。
3. １つの破断面画像から複数の破断面画像を生成する画像増殖部を有し、
   前記画像増殖部は、前記材料の破断面を撮像して得られた原画像を、左右反転、上下反転、または、回転することにより、前記破断面画像を増殖し、
   前記モデル生成部は、前記原画像、及び、前記画像増殖部により増殖された破断面画像を、前記学習データの破断面画像として用いる、請求項１または２に記載の破断面特徴領域判定モデル生成装置。
4. 前記破断面特徴領域判定モデルは、当該破断面特徴領域判定モデルに入力された破断面画像の特徴領域を判定し、前記破断面画像上に前記特徴領域を示した判定後破断面画像を出力する、請求項１～３のいずれか１項に記載の破断面特徴領域判定モデル生成装置。
5. 前記モデル生成部は、
   前記学習データとして、前記出力部から出力された前記破断面特徴領域判定モデルを用いて得られた前記判定後破断面画像に対してユーザが前記特徴領域を補正した補正後破断面画像を用いて、
   前記破断面特徴領域判定モデルを再学習する、請求項４に記載の破断面特徴領域判定モデル生成装置。
6. 材料の破断面の特徴を目視により判定可能な程度の解像度の前記材料の破断面画像と、前記破断面画像における特徴領域の位置を表す情報と、が関連付けられた複数のデータを学習データとして、機械学習により破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成するモデル生成ステップと、
   前記破断面特徴領域判定モデルを出力する出力ステップと、
   を含み、
   前記特徴領域は、脆性面または延性面であり、
   前記モデル生成ステップは、前記破断面画像のある画素が前記特徴領域であるか否かの判定において考慮する単位領域を、破壊組織を特定し得る必要最小領域よりも広い領域として、深層学習により前記破断面特徴領域判定モデルを生成する、破断面特徴領域判定モデル生成方法。
7. コンピュータを、
   材料の破断面の特徴を目視により判定可能な程度の解像度の前記材料の破断面画像と、前記破断面画像における特徴領域の位置を表す情報と、が関連付けられた複数のデータを学習データとして、機械学習により破断面画像の特徴領域を判定する破断面特徴領域判定モデルを生成するモデル生成部と、
   前記破断面特徴領域判定モデルを出力する出力部と、
   を備え、
   前記特徴領域は、脆性面または延性面であり、
   前記モデル生成部は、前記破断面画像のある画素が前記特徴領域であるか否かの判定において考慮する単位領域を、破壊組織を特定し得る必要最小領域よりも広い領域として、深層学習により前記破断面特徴領域判定モデルを生成する、破断面特徴領域判定モデル生成装置として機能させるプログラム。
8. 材料の破断面の特徴を目視により判定可能な程度の解像度の前記材料の破断面画像と、前記破断面画像における特徴領域の位置を表す情報と、が関連付けられた複数のデータを学習データとして機械学習により生成された、破断面画像の特徴領域を判定する破断面特徴領域判定モデルを用いて、破断面画像における特徴領域を判定する破断面特徴領域判定装置であって、
   前記特徴領域は、脆性面または延性面であり、
   前記破断面特徴領域判定モデルは、前記破断面画像のある画素が前記特徴領域であるか否かの判定において考慮する単位領域を、破壊組織を特定し得る必要最小領域よりも広い領域として、深層学習により生成される、
   破断面特徴領域判定装置。
9. 材料の破断面の特徴を目視により判定可能な程度の解像度の前記材料の破断面画像と、前記破断面画像における特徴領域の位置を表す情報と、が関連付けられた複数のデータを学習データとして機械学習により生成された、破断面画像の特徴領域を判定する破断面特徴領域判定モデルを用いて、破断面画像における特徴領域を判定する破断面特徴領域判定方法であって、
   前記特徴領域は、脆性面または延性面であり、
   前記破断面特徴領域判定モデルは、前記破断面画像のある画素が前記特徴領域であるか否かの判定において考慮する単位領域を、破壊組織を特定し得る必要最小領域よりも広い領域として、深層学習により生成される、破断面特徴領域判定方法。
10. 前記特徴領域の面積と前記材料の破断面の面積とに基づいて、前記材料の破断面における特徴領域の割合を算出する、請求項９に記載の破断面特徴領域判定方法。