JP7177498B2

JP7177498B2 - 異常品判定方法

Info

Publication number: JP7177498B2
Application number: JP2019548177A
Authority: JP
Inventors: 邦人加藤; 俊介中塚; 宏旭相澤
Original assignee: Tokai National Higher Education and Research System NUC
Current assignee: Tokai National Higher Education and Research System NUC
Priority date: 2017-10-10
Filing date: 2018-10-05
Publication date: 2022-11-24
Anticipated expiration: 2038-10-05
Also published as: WO2019073923A1; JPWO2019073923A1

Description

本発明は、判定対象物が正常品であるか異常品であるかを判定する異常品判定方法に関する。特に、エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行うことにより、判定対象物が正常品であるときの特徴を数値化し、この特徴に基づいて判定対象物が正常品であるか異常品であるかをコンピュータが判定する異常品の判定方法に関する。

コンピュータにデータを繰り返し学習させることで、データに含まれる特徴を数値または数式としてコンピュータが統計的に抽出し、さらに、抽出した特徴を用いて、識別を行う手法として機械学習がある。

機械学習の一つの方法として、オートエンコーダ（自己符号化器）と呼ばれるエンコーダ、デコーダ構造ネットワークを用いた特徴量の抽出方法が知られている。オートエンコーダとは、入力と出力とが同じになるように学習させるニューラルネットワークである。エンコーダで入力を少ない次元の特徴に一旦落とし込み、デコーダで入力を再現するように出力することを繰り返すなかで、入力をよく表す特徴量が抽出される。

オートエンコーダを用いて正常品の特徴を抽出することができれば、この特徴を用いて、正常品と異常品とが混在する判定対象物の集合体から、異常品を精度高く判定して抽出することが可能となる。

非特許文献１は、ニューラルネットワークの一種である「ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ（以下、畳み込みニューラルネットワークとも言う）」に関する技術を開示している。ＣＮＮは、主に画像認識の分野で用いられるニューラルネットワークで、画像の局所的な特徴抽出を担う畳み込み層と、局所ごとの特徴をまとめるプーリング層とを繰り返した構造が特徴である。一般に、ＣＮＮを含めたニューラルネットワークの学習のためには、大量の訓練サンプルを用いた教師あり学習が必要となる。しかし、異常品のサンプル数を学習に十分な数だけ確保することが難しい場合には、学習をうまく行うことができないという問題がある。

非特許文献２は、ニューラルネットワークの一種である「Ａｕｔｏｅｎｃｏｄｅｒ（以下、オートエンコーダ、自己符号化器とも言う）」に関する技術を開示している。非特許文献２が開示するニューラルネットワークは、多階層のニューラルネットワークのパラメータを教師なし学習で初期化した後に、教師あり学習により再学習している。非特許文献２のオートエンコーダは、入力を次元圧縮し、入力の抽象的な特徴をベクトル量である特徴ベクトルに変換し、その特徴ベクトルから入力を再現する。しかし、オートエンコーダで得られる特徴がどのような分布となるかは、これまで操作することができなかった。

非特許文献３は、ニューラルネットワークの一種である「ＡｄｖｅｒｓａｒｉａｌＡｕｔｏｅｎｃｏｄｅｒ（以下、敵対的自己符号化器とも言う）」に関する技術を開示している。敵対的自己符号化器は、オートエンコーダに敵対的学習を取り入れることで、入力をよく表す特徴を抽出しつつ、その特徴を任意の分布に従わせる技術である。

非特許文献４は、ホテリングのＴ^２法を開示した文献である。Ｔ^２法は、大量の正常データのみ、もしくは大量の正常データと少量の異常データを用いた特徴ベクトルから正常モデルを作成し、未知データの個々の異常度を算出することにより、異常データを検出する統計的手法である。しかし、データの特徴量の分布が正規分布に従っていることを仮定しているため、データが正規分布に従っていない場合、十分な検出を行うことはできない。ホテリングのＴ^２法を画像認識分野に適用する場合には、正規分布に従う特徴を選択する必要がある。

「ＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ」ＡｌｅｘＫｒｉｚｈｅｖｓｋｙ、ＩｌｙａＳｕｔｓｋｅｖｅｒ、ＧｅｏｆｆｒｅｙＨｉｎｔｏｎ著、Ａｄｖａｎｃｅｓｉｎｎｅｕｒａｌｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍ，１０９７－１１０５頁（２０１２年）．「Ｒｅｄｕｃｉｎｇｔｈｅｄｉｍｅｎｓｉｎａｌｉｔｙｏｆｄａｔａｗｉｔｈｎｅｕｒａｌｎｅｔｗｏｒｋｓ」ＧｅｏｆｆｒｅｙＨｉｎｔｏｎ、ＲｕｓｌａｎＳａｌａｋｈｕｔｄｉｎｏｖ著、Ｓｃｉｅｎｃｅ，３１３号、５０４－５０７頁（２００６年）．「Ａｄｖｅｒｓａｒｉａｌａｕｔｏｅｎｃｏｄｅｒｓ」ＡｌｉｒｅｚａＭａｋｈｚａｎｉ、ＪｏｎａｔｈｏｎＳｈｌｅｎｓ、ＮａｖｄｅｅｐＪａｉｔｌｙ，ＩａｎＧｏｏｄｆｅｌｌｏｗ、ＢｒｅｎｄａｎＦｒｅｙ著、ＡｒＸｉｖｐｒｅｐｒｉｎｔ，ａｒＸｉｖ：１５１１．０５６４４（２０１５年）「ＴｈｅｇｅｎｅｒａｌｉｚａｔｉｏｎｏｆＳｔｕｄｅｎｔ’ｓｒａｔｉｏ」ＨａｒｏｌｄＨｏｔｅｌｌｉｎｇ著、ＡｎｎａｌｓｏｆＭａｔｈｅｍａｔｉｃａｌＳｔａｔｉｓｔｉｃｓ，２：３６０－３７８頁（１９３１年）．

正常品と異常品が混在する判定対象物の集合のデータをニューラルネットワークに入力し、学習によって正常品の特徴ベクトルを得ようとする場合、異常品の数が正常品よりも極めて少ない場合には学習を効果的に行うことができず、結果として異常品の判定精度が低くなる場合があった。

本発明は、上記課題を解決するためになされたものであって、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの機械学習を行った場合であっても、異常品の判定を精度高く行うことのできる異常品判定方法を提供するものである。

本発明は、エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行い、判定対象物が正常品であるか異常品であるかを判定する異常品判定方法に関する。本発明の異常品判定方法は、複数の判定対象物のデータをエンコーダ、デコーダ構造ネットワークに入力して、判定対象物の特徴を抽出する工程と、ディスクリミネータが、判定対象物の特徴の分布は正規分布に従っているのか否かを判定する工程と、エンコーダ、デコーダ構造ネットワークの更新と、ディスクリミネータの更新と、エンコーダの更新と、をそれぞれ繰り返し、特徴の抽出の誤差を最小化する工程と、エンコーダが、更新によって得られた特徴を用いて、判定対象物の異常度を算出する工程と、算出した異常度のしきい値処理を行うことによって、判定対象物が正常品であるか異常品であるかを判定する工程と、を備えている。本発明の異常品判定方法のディスクリミネータが判定対象物の特徴の分布は正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、このデータとエンコーダ、デコーダ構造ネットワークが抽出した判定対象物の特徴との間の誤差を算出する工程である。ディスクリミネータの判定結果を用いていることで、エンコーダが異常度の算出に用いる判定対象物の特徴が正規分布に従って分布するように収束させられる。

本発明の異常品判定方法は、特徴を抽出するためにエンコーダ、デコーダ構造ネットワークに入力する複数の判定対象物のデータが、異常品よりも正常品を多く含むデータであることが好ましい。

本発明の異常品判定方法は、ディスクリミネータに入力するデータが、多変量の標準正規分布に従ったランダムベクターであることが好ましい。なお、ディスクリミネータに入力する正規分布に従ったデータは、標準正規分布から得た乱数を成分とするベクトルであることが最も好ましい。しかしながら、そのデータの全体としてのヒストグラムが平均値０、標準偏差１の正規分布とほぼ同様になるのであれば、データは疑似乱数であっても良く、データの発生方法は特に限定されない。

本発明の異常品判定方法は、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの機械学習を行った場合であっても、異常品の判定を精度高く行うことができる。

図１は、本発明の異常品判定方法を実行するニューラルネットワークの概念的な構成を示すブロック図である。図２は、本発明の異常品判定方法のフローチャートである。図３は、本発明の敵対的学習工程のフローチャートである。図４は、実施例１で白米の異常品の判定のために、エンコーダ、デコーダ構造のネットワークに入力した画像データ群の一例を示す図である。図５は、実施例１で用いたニューラルネットワークのモデル図である。図６は、実施例１の潜在次元数Ｚ_ｍｉｎ＝２の場合の白米の異常度の分布を示す図である。図７は、実施例１の潜在次元数Ｚ_ｍｉｎ＝４の場合の白米の異常度の分布を示す図である。図８は、実施例１の潜在次元数Ｚ_ｍｉｎ＝８の場合の白米の異常度の分布を示す図である。図９ａは、実施例１の潜在次元数Ｚ_ｍｉｎ＝１６の場合の白米の異常度の分布を示す図である。図９ｂは、実施例１の潜在次元数Ｚ_ｍｉｎ＝１６の場合の白米の異常度の分布を示す図である。図１０は、実施例１の異常品判定方法によって、正常品と判定された一群の白米の画像データである。図１１は、実施例１の異常品判定方法によって、異常品と判定された一群の白米の画像データである。図１２は、比較例の潜在次元数Ｚ_ｍｉｎ＝２の場合の白米の異常度の分布を示す図である。図１３は、比較例の潜在次元数Ｚ_ｍｉｎ＝４の場合の白米の異常度の分布を示す図である。図１４は、比較例の潜在次元数Ｚ_ｍｉｎ＝８の場合の白米の異常度の分布を示す図である。図１５は、比較例の潜在次元数Ｚ_ｍｉｎ＝１６の場合の白米の異常度の分布を示す図である。図１６は、実施例と比較例との異常品判定の精度の比較結果を示すＲＯＣ曲線である。図１７は、実施例２で打撃音の異常の判定のために、エンコーダ、デコーダ構造のネットワークに入力した信号データ群の一例を示す図である。図１８は、実施例２で用いたニューラルネットワークのモデル図である。図１９は、実施例２と比較例との異常品判定の精度の比較結果を示すＲＯＣ曲線である。

以下、本発明の異常品判定方法の実施形態を、図面を参照しつつ詳細に述べる。

図１に、本発明の異常品判定方法を実行するニューラルネットワーク１の構成を概念的に表したブロック図を示す。本発明のニューラルネットワーク１は、エンコーダ、デコーダ構造のネットワークであるオートエンコーダ２のネットワークと、ディスクリミネータ３のネットワークとを備えている。

オートエンコーダ２は、エンコーダ（ｅｎｃｏｄｅｒ、符号化器）１１とデコーダ（ｄｅｃｏｒｄｅｒ、復号器）１２とを備えている。エンコーダ１１は、入力されたデータの次元圧縮を行い、入力データの特徴を表す特徴ベクトルを抽出する。デコーダ１２は、エンコーダ１１が抽出した特徴ベクトルを用いて、入力データを復元する。ディスクリミネータ（ｄｉｓｃｒｉｍｉｎａｔｏｒ、識別器）３には、エンコーダが抽出した特徴と正規分布からサンプリングされたベクトルが入力され、入力された各ベクトルが、エンコーダが抽出した特徴か正規分布からサンプリングされたベクトルかを判定し、判定の結果を用いて、うまくその判定が行えるようにディスクリミネータを更新する。再度エンコーダが抽出した特徴をディスクリミネータに入力し、正規分布からサンプリングされたベクトルであるかを判定し、その判定の結果を用いてエンコーダ２が正規分布に従う特徴抽出を行えるように、エンコーダ２を更新する。このようなオートエンコーダ２とディスクリミネータ３の処理を、敵対的学習という。

ニューラルネットワーク１上で実行する本発明の異常品判定方法のフローチャートを図２に示す。本発明の異常品判定方法は、複数の判定対象物のデータを入力する工程（ステップＳ１）と、ニューラルネットワーク１のオートエンコーダ２とディスクリミネータ３との間で敵対的学習を行わせる工程（ステップＳ２）と、敵対的学習によって得られた特徴を用いて未知のデータから特徴を抽出する工程（ステップＳ３）と、エンコーダ１１によって個々の判定対象物の異常度を算出する工程（ステップＳ４）と、しきい値処理によって判定対象物が正常品であるか異常品であるかを判定する工程（ステップＳ５）と、結果を出力する工程（ステップＳ６）と、を備えている。

本発明の異常品判定方法は、ステップＳ１で、エンコーダ、デコーダ構造のネットワークすなわちオートエンコーダ２に、複数の判定対象物のデータを入力する。この複数の判定対象物のデータは、異常品よりも正常品を多く含むデータである。好ましい実施形態として、正常品に対する異常品の割合は５～２０％である。

異常品よりも正常品を多く含む判定対象物のデータを用いて、ステップＳ２の敵対的学習を実行する。敵対的学習によって、異常度の算出に用いる判定対象物の特徴を、修正し最適化して抽出することができる。本発明の異常品判定方法は、抽出した判定対象物の特徴が、正規分布に従って分布していることを特徴とする。なお、敵対的学習の内容については、図３を参照しつつ以下に詳細に説明する。

敵対的学習によって抽出される判定対象物の特徴は、通常、多変量となる。従って、抽出した特徴は、以下の多変量正規分布の式に従って分布する。

ここで、ｘは確率変数であり、Σは分散共分散であり、μは平均であり、Ｍはｘの次元数である。

予め敵対的学習を行ったニューラルネットワーク１を用いて、正常品か異常品かが未知である判定対象物の判定を行うことができる。ステップＳ３で、本発明の異常品判定方法は、正常品か異常品かが未知であるデータから、エンコーダ１１により特徴ｘ’を抽出する。

異常度の算出には、マハラノビス距離ａ（ｘ’）の公式を用いることができる。

ここで、ｐは確率密度関数であり、Ｄはデータ群である。

非特許文献４に開示されているホテリングのＴ^２理論を適用すると、異常度ａ（ｘ’）の分布は、データの数が十分多い場合、自由度Ｍのカイ二乗分布に従う。そこで、ステップＳ５で異常品のしきい値を決定し、未知データｘ’の異常度がしきい値よりも小さい場合には正常品と判定し、しきい値よりも大きい場合にはこれを異常品と判定することで、未知データが正常品であるか異常品であるかを正確に判定することができる。

本発明の異常品判定方法において、正規分布に従う判定対象物の特徴を抽出するための、敵対的学習の内容を図３のフローチャートに示す。図３において、ＮＢ＿ＥＰＯＣＨとはデータセットを学習させる規定の回数であり、ＳＴＥＰＳ＿ＰＥＲ＿ＥＰＯＣＨとは１回の学習の中で何回ネットワークのパラメータを更新するかを決定する規定の回数である。また、ベクターバッチとは１回の更新で入力されるベクターの集まりであり、イメージバッチとは１回の更新で入力される画像の集まりである。

本発明における敵対的学習では、オートエンコーダ２とディスクリミネータ３内のデータの更新が、別々に行われる。オートエンコーダ２のエンコーダ１１は、複数の判定対象物のデータを入力して、判定対象物の特徴を抽出する。デコーダ１２は、エンコーダ１１の抽出した特徴を用いて、入力データを復元する。この復元の程度を定量的に確認するために、以下の二乗誤差の式を用いる。

ここで、ｙは復元画像の集まり（バッチ）であり、ｔは教師画像（入力画像）の集まり（バッチ）であり、ＢＳはバッチの枚数である。

また、ディスクリミネータ３の判定が教師信号に対してどれほど正確かを以下の交差エントロピーを用いて評価する。

ここで、ｙはディスクリミネータ３の出力信号の集まり（バッチ）であり、ｔは教師信号の集まり（バッチ）であり、ＢＳはバッチの枚数である。

オートエンコーダ２は、以下の損失関数Ｌｏｓｓ_ＡＥを用いて、エンコーダ１１が入力をよく表す特徴を抽出するための最適化とデコーダ１２がその特徴から入力をうまく復元するための最適化を同時に行う。

ここで、ＭＳＥとは二乗誤差であり、Ｅｎとは画像を入力し、入力画像を符号化する演算であり、ＤｅとはＥｎ演算で符号化され得られたベクターを復号化し画像を得る演算であり、ｘはイメージバッチである。

エンコーダ１１により抽出された特徴の集まりと、正規分布からサンプリングしたベクターの集まりを連結させ、ディスクリミネータ３に入力するためのベクターバッチを作成する。ここで、ディスクリミネータ３に入力するベクターは、多変量標準正規分布に従ったランダムベクターであることが好ましい。多変量標準正規分布とは、多変量の確率変数の平均ベクトルがゼロベクトルで、分散共分散行列が単位行列の多変量正規分布である。多変量標準正規分布に従ったランダムベクターの各成分は平均がゼロで分散が１の正規分布、つまり標準正規分布に従った乱数となる。ディスクリミネータ３は、入力された判定対象ベクターが正規分布に従っているのか否かを判定して、０から１の間の値を判定結果として出力する。以下の損失関数Ｌｏｓｓ_Ｄｉｓを用いて、オートエンコーダが抽出した特徴ベクトルと正規分布からサンプリングされたベクターとを判定できるようディスクリミネータを更新する。

ここで、Ｌｏｓｓ_ｄｉｓはディスクリミネータの判別の程度を表す指標であり、ＢＣＥは交差エントロピーであり、Ｄｉｓはベクターを受け取り、オートエンコーダ由来か正規分布由来かを出力する演算であり、Ｅｎは画像を入力して符号化する演算であり、ｘは入力画像の集まり（バッチ）であり、ｚは正規分布からサンプリングされたベクターの集まり（バッチ）であり、Ｏは要素がすべて０のベクターであり、Ｉは要素がすべて１のベクターである。

エンコーダ１１は、ディスクリミネータ３に抽出した特徴を出力する。ディスクリミネータ３は、入力された判定対象物の特徴の分布が正規分布に従っているのか否かを判定して、０から１の間の値を判定結果として出力する。

更に、以下の損失関数Ｌｏｓｓ_Ｅｎを用いて、エンコーダ１１を更新する。

ここで、ＢＣＥは交差エントロピーであり、Ｄｉｓはベクターを受け取り、オートエンコーダ由来か正規分布由来かを出力する演算であり、Ｅｎは画像を入力して符号化する演算であり、ｘは入力画像の集まり（バッチ）であり、Ｉは要素がすべて１のベクターである。

以上の学習により、オートエンコーダ２が抽出する特徴は正規分布に従った特徴となる。エンコーダにより抽出された、正規分布に従った特徴を利用して異常度の算出を行うこととなるため、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの学習を行った場合であっても、異常品の判定を精度高く行うことができる。

（実施例１）
本発明の異常品判定方法を、白米の異常品の判定に適用した実施例を示す。図４は、異常品の判定のために、ニューラルネットワーク１に入力した白米の画像データ群の一例を示す図である。画像データは、二次元配列されている画素の輝度値、色度値を含む画素値として表される。図５は、実施例で用いたニューラルネットワーク１のそれぞれの階層構造と次元を示したモデル図である。エンコーダは、画像データから特徴量を抽出するために、二次元の畳み込み処理を行っている。二次元の畳み込み処理をすることによって、対象の画素とその周囲の画素を考慮した、二次元の空間的な広がりを持つ特徴を抽出する。

本実施例では、敵対的学習に、２９１９４点の白米の画像データを用いた。そして、８６７９点の正常品か異常品かが未知である白米のデータに対して、判定を行った。

図６に、潜在次元数Ｚ_ｍｉｎ＝２とした場合の白米の特徴量と異常度の分布を示す。潜在次元数とはエンコーダ１１により抽出された特徴ベクターの次元数である。図７に、潜在次元数Ｚ_ｍｉｎ＝４とした場合の、白米の特徴量の分布を示す。図８に、潜在次元数Ｚ_ｍｉｎ＝８とした場合の白米の特徴量の分布を示す。図９ａに、潜在次元数Ｚ_ｍｉｎ＝１６の場合の白米の特徴量の分布を示し、図９ｂには、その一部の散布図と度数分布表を拡大表示している。それぞれの散布図の縦軸はある次元の成分を示し、横軸は別の次元の成分を示している。度数分布表の縦軸はサンプル数を示し、横軸は特徴量を示している。図において、薄い色の点で示したデータは、正常品と判定された白米であり、濃い色の点で示したデータは、異常品と判定された白米である。これらのグラフによって、抽出されたいずれの特徴量の分布も、正規分布に従っていることが示されている。

図１０は、実施例の異常品判定方法によって、正常品と判定された一群の白米の画像データである。図１１は、実施例の異常品判定方法によって、異常品と判定された一群の白米の画像データである。異常品と判定された白米は白濁りや割れがみられるのに対し、正常品と判定された白米は、白濁がなく通常の透明に近い色調を有し、割れや欠けが認められなかった。このことから、ニューラルネットワークは、白米の異常品を正しく判定していることが明らかとなった。

（比較例）
比較例として、従来のオートエンコーダによって、同一の白米の画像データを判定した結果を示す。従来のオートエンコーダは、本発明のディスクリミネータによる敵対的学習をおこなわず、従って特徴の分布が正規分布に従うことが保証されない。図１２は、オートエンコーダの潜在次元数Ｚｍｉｎ＝２とした場合の白米の特徴量と異常度の分布を示す。図１３に、潜在次元数Ｚｍｉｎ＝４とした場合の、白米の特徴量の分布を示す。図１４に、潜在次元数Ｚｍｉｎ＝８とした場合の白米の特徴量の分布を示す。図１５に、潜在次元数Ｚｍｉｎ＝１６の場合の白米の特徴量の分布を示す。

図１６に、実施例の異常品判定方法と比較例の異常品判定方法の判定精度の比較結果を示す。図１６は、実施例と比較例のそれぞれの過検出率（ＦａｌｓｅＰｏｓｉｔｉｖｅＲａｔｅ，偽陽性率とも言う。ここでは、正常品を異常品と判定する確率）と検出率（ＴｒｕｅＰｏａｉｔｉｖｅＲａｔｅ，感度とも言う。ここでは、異常品を正しく異常品と判定する確率）の関係を示したＲＯＣ曲線（受信者動作特性曲線）である。ＲＯＣ曲線は、点（０，１）に近いほど分離性能が高い。ＲＯＣ曲線の下側の面積であるＡＵＣ（ＡｒｅａＵｎｄｅｒｔｈｅＣｕｒｖｅ）の対比により、分離性能を定量的に評価することができる。比較例の判定方法のＡＵＣが０．５０８であったのに対し、実施例のＡＵＣは０．９２０であった。このことからも、本発明の異常品判定方法が精度高く異常品を判定できることは明らかである。

（実施例２）
本発明の異常品判定方法を、音声データに適用した実施例を示す。音声データは、締付け固定した「ねじ」を打撃したときの打撃音である。本実施例では、７０Ｎと８０Ｎの締付け力で締めたときに正しい強度で固定されるねじを用いている。

図１７に、異常品の判定のために、ニューラルネットワーク１に入力した一群の音声信号のデータを示す。本実施例では、ねじに４０Ｎ、５０Ｎ、６０Ｎ、７０Ｎ、８０Ｎの５水準の締付け力を与えて締め付けた後に打撃を加え、打撃後の一定期間に亘る音声信号のデータを記録した。図１７は、ねじの打撃音をサンプリングレート２２．０５ｋＨｚで記録したデータの、記録時間と信号強度の関係を示している。敵対的学習に用いたサンプル数は、４０Ｎから６０Ｎの締付け力のサンプル数が１２０、７０Ｎの締付け力のサンプル数が１０４２、８０Ｎの締付け力のサンプル数が１０３６である。このうち、４０Ｎから６０Ｎの締付け力のサンプルが異常品であり、７０Ｎと８０Ｎの締付け力のサンプルが正常品である。

図１８に、本実施例で用いたニューラルネットワークのモデル図を示す。画像データを扱った実施例１と異なる点は、入力するデータが音声信号のデータであるため、一次元の畳み込み処理を行っている点である。本実施例の判定によって得られた特徴量の分布は、正規分布に従っていることが確認された。さらにねじの打撃音を２１８６回測定して得られたデータに対して、正常品か異常品かの判定を行った結果、実施例の異常品判定方法は、締付け力が付属しているねじの音声データを正しく判定していることが確認された。

比較例として、従来のオートエンコーダによって、同一の音声データを判定した。図１９に、実施例の異常品判定方法と比較例の異常品判定方法の判定精度をＲＯＣ曲線で示した比較結果を示す。図１９は、実施例の過検出率（ＦａｌｓｅＰｏｓｉｔｉｖｅＲａｔｅ）と検出率（ＴｒｕｅＰｏａｉｔｉｖｅＲａｔｅ）の関係を実線で示し、比較例の過検出率と検出率との関係を破線で示している。ＲＯＣ曲線の下側の面積であるＡＵＣ（ＡｒｅａＵｎｄｅｒｔｈｅＣｕｒｖｅ）を比較すると、比較例の判定方法のＡＵＣが０．１２１１であったのに対し、実施例のＡＵＣは０．９５７１であった。このことから、本発明の異常品判定方法が精度高く異常品を判定できることが検証された。

本発明の異常品判定方法の利用可能性は、画像データおよび音声データに限定されない。正常品と異常品とが混在する集合体から異常品を精度高く識別して抽出する全ての物品やデータに適用することができる。特に、異常品の数が正常品の数と比較して非常に少ない工業製品や農産物の外観検査、画像データの中の異常な場面の検出、異常な状態が音声に反映させる可能性のある工程等に好適に利用することができる。

１ニューラルネットワーク
２オートエンコーダ
３ディスクリミネータ
１１エンコーダ
１２デコーダ

Claims

エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行い、判定対象物が正常品であるか異常品であるかを判定する判定方法であって、
複数の判定対象物のデータを前記エンコーダ、デコーダ構造ネットワークに入力して、前記判定対象物の特徴を抽出する工程と、
前記ディスクリミネータが、前記判定対象物の前記特徴の分布は正規分布に従っているのか否かを判定する工程と、
前記エンコーダ、デコーダ構造ネットワークの更新と、前記ディスクリミネータの更新と、前記エンコーダの更新と、をそれぞれ繰り返し、前記特徴の抽出の誤差を最小化する工程と、
前記エンコーダが、更新によって得られた前記特徴を用いて、判定対象物の異常度を算出する工程と、
算出した前記異常度のしきい値処理を行うことによって、前記判定対象物が正常品であるか異常品であるかを判定する工程と、
を備えており、
前記ディスクリミネータが、前記判定対象物の前記特徴の分布は正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、前記データと前記エンコーダ、デコーダ構造ネットワークが抽出した前記判定対象物の前記特徴との間の誤差を算出する工程であり、
前記ディスクリミネータの判定結果を用いていることで、前記エンコーダが異常度の算出に用いる前記判定対象物の前記特徴が正規分布に従って分布するように収束させられていることを特徴とする異常品の判定方法。
前記特徴を抽出するために前記エンコーダ、デコーダ構造ネットワークに入力する複数の判定対象物のデータが、異常品よりも正常品を多く含むデータであることを特徴とする請求項１に記載の異常品の判定方法。
前記ディスクリミネータに入力する正規分布に従った前記データは、多変量の標準正規分布に従ったランダムベクターであることを特徴とする請求項１または２に記載の異常品の判定方法。