JP7414629B2 - 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム - Google Patents

Description

この発明は、学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラムに関する。

食品、医薬品または工業製品等の製造工程においては、製造ラインに検査工程を設けて、不良品の検出等の検査が行われる場合がある。製品の検査は、人間が目視で行っており（目視検査）、人的コストが高いという問題があった。このため、検査工程の一部または全部を自動化するべく、機械によって自動的に製品を検査するシステムの開発が進められている。

例えば、特許文献１には、機械学習を利用して欠陥検査する技術が開示されている。具体的には、第１の学習部は、正常データの集合を用いて、正常データを判別するための第１のモデルを学習する。この第１の学習部は、良品画像のみで機械学習を行う。このように、良品画像のみを用いて機械学習を行い、良品と不良品とを選別する検査装置が、広く知られている。

特開２０１８－１２０３００号公報

しかしながら、機械学習を行うためのデータセットについて、数千枚から数万枚の大量の良品画像が必要となる場合がある。このように、大量の画像を準備した場合、データセット中に意図せず不良品データが混入する虞がある。そのような場合、生成される学習済モデルの精度が低くなるという問題が生じる。

本発明の目的は、機械学習のデータセット中の複数の良品画像に混入した不良品画像を効率良く除去する技術を提供することにある。

上記課題を解決するため、本願の第１発明は、学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理装置であって、画像を入力とし、スコアを出力とする第１学習モデルと、複数の標本画像を前記第１学習モデルに入力し、入力された前記標本画像の外れ値検知を行った結果を前記スコアとして出力するように学習させた第１学習済データと、前記学習用画像のそれぞれを、前記第１学習済データを適用した前記第１学習モデルに入力して、外れ値であるか否かを示す前記スコアを取得する異常度算出部と、前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング部と、を有する。

本願の第２発明は、対象物を検査する検査装置を構築するための学習装置であって、学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する、第１発明の学習用データ処理装置と、前記学習用データ処理装置によって不適切な画像が除去された処理済データセットを用いて学習を行う第２学習部と、を有し、前記第２学習部は、前記処理済データセットに含まれる複数の前記学習用画像を、画像を入力および出力とする第２学習モデルに入力し、前記第２学習モデルが入力された前記学習用画像の再構成画像を出力するように学習させた第２学習済データを生成する。

本願の第３発明は、学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理方法であって、ａ）前記学習用画像のそれぞれについて外れ値であるか否かを示すスコアを取得する異常度算出工程と、ｂ）前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング工程と、を有し、前記異常度算出工程において、画像を入力とし、スコアを出力とする第１学習モデルと、複数の標本画像を前記第１学習モデルに入力し、入力された前記標本画像の外れ値検知を行った結果を前記スコアとして出力するように学習させた第１学習済データと、が用いられ、前記異常度算出工程において、前記学習用画像のそれぞれを、第１学習済データを適用した前記第１学習モデルに入力して、外れ値であるか否かを示すスコアを取得する。

本願の第４発明は、コンピュータに、学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理を行わせるためのプログラムであって、前記コンピュータに、ａ）前記学習用画像のそれぞれについて異常度を示すスコアを算出する異常度算出工程と、ｂ）前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング工程と、を実行させ、前記コンピュータは、前記異常度算出工程において、画像を入力とし、スコアを出力とする第１学習モデルと、複数の標本画像を前記第１学習モデルに入力し、入力された前記標本画像の外れ値検知を行った結果を前記スコアとして出力するように学習させた第１学習済データと、が用い、 前記コンピュータは、前記異常度算出工程において、前記学習用画像のそれぞれを、第１学習済データを適用した前記第１学習モデルに入力して、外れ値であるか否かを示すスコアを取得する。

本願の第１発明～第４発明によれば、機械学習のデータセット中の複数の良品画像に混入した不良品画像を効率良く除去することができる。

第１実施形態の検査装置を示す図である。 第１実施形態の情報処理装置のハードウェア構成を示す図である。 第１実施形態の情報処理装置が備える機能的な構成を示す図である。 第１実施形態の情報処理装置が備える機能的な構成の一部を示す図である。 第１実施形態の第１学習処理の流れを示すフローチャートである。 第１実施形態の学習済の第１学習モデルに対して良品画像を入力した様子を概念的に示す図である。 第１実施形態の学習済の第１学習モデルに対して不良品画像を入力した様子を概念的に示す図である。 第１実施形態の欠陥検出部におけるデータクレンジング処理の流れを示すフローチャートである。 第１実施形態のデータクレンジング処理の各段階で得られる画像の例を示した図である。 第１実施形態のデータクレンジング処理の各段階で得られる画像の例を示した図である。 第１実施形態のデータクレンジング処理における良品および不良品の対象物についての差分画像を示した図の例である。 第１実施形態のデータクレンジング処理におけるスコアの統計データを示す図である。 第１実施形態の第２学習処理の流れを示すフローチャートである。 第１実施形態の欠陥検出処理の流れを示すフローチャートである。 第２実施形態の情報処理装置が備える機能的な構成を示す図である。

以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、この実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。図面においては、理解容易のため、必要に応じて各部の寸法や数が誇張または簡略化して図示されている場合がある。

＜１．第１実施形態＞
＜１－１．検査装置の構成＞
図１は、第１実施形態の検査装置１０を示す図である。検査装置１０は、対象物９０の画像を解析することによって、対象物９０の欠陥を検出する。対象物９０は、具体的には錠剤であるが、錠剤に限定されない。検査装置１０は、カメラ１１０と、情報処理装置１２０とを備える。カメラ１１０は、情報処理装置１２０と電気的に接続されている。カメラ１１０は、イメージセンサを備えている。カメラ１１０は、イメージセンサを用いて対象物９０を撮像することにより得られる画像信号を、情報処理装置１２０へ出力する。カメラ１１０に撮像される対象物９０は、所定の位置に停止していてもよいし、ベルトコンベアなどの搬送機構により、所定の方向へ移動していてもよい。

図２は、第１実施形態の情報処理装置１２０のハードウェア構成を示す図である。情報処理装置１２０は、コンピュータとしての構成を備える。具体的には、情報処理装置１２０は、プロセッサ１２１と、ＲＡＭ１２３と、記憶部１２５と、入力部１２７と、表示部１２９と、機器Ｉ／Ｆ１３１と、通信Ｉ／Ｆ１３３とを備える。プロセッサ１２１、ＲＡＭ１２３、記憶部１２５、入力部１２７、表示部１２９、機器Ｉ／Ｆ１３１および通信Ｉ／Ｆ１３３は、バス１３５を介して互いに電気的に接続されている。

プロセッサ１２１は、具体的には、ＣＰＵまたはＧＰＵを含む。ＲＡＭ１２３は、情報の読み出しおよび書き込みが可能な記憶媒体であって、具体的には、ＳＤＲＡＭである。記憶部１２５は、情報の読み出しおよび書き込みが可能な記録媒体であって、具体的には、ＨＤＤ（ハードディスクドライブ）またはＳＳＤ（ソリッドステートドライブ）を含む。なお、記憶部１２５は、可搬性を有する光ディスク、磁気ディスクまたは半導体メモリ等を含んでもよい。記憶部１２５は、プログラムＰを記憶している。プロセッサ１２１は、ＲＡＭ１２３を作業領域として、プログラムＰを実行することにより、各種の機能を実現する。なお、プログラムＰは、ネットワークを介して、情報処理装置１２０に提供または配布されるようにしてもよい。

入力部１２７は、ユーザの操作入力を受け付ける入力デバイスであり、具体的には、マウスまたはキーボードなどである。表示部１２９は、各種情報を表す画像を表示する表示デバイスであり、具体的には、液晶ディスプレイである。

機器Ｉ／Ｆ１３１は、カメラ１１０を情報処理装置１２０に電気的に接続するためのインターフェースである。通信Ｉ／Ｆ１３３は、情報処理装置１２０をインターネットなどのネットワークと接続するためのインターフェースである。カメラ１１０は、通信Ｉ／Ｆ１３３を介して情報処理装置１２０と接続されてもよい。すなわち、検査装置１０は、カメラ１１０を備えていることは必須ではなく、情報処理装置１２０のみを備えていてもよい。

図３は、第１実施形態の情報処理装置１２０が備える機能的な構成を示す図である。図４は、情報処理装置１２０が備える機能的な構成の一部をより詳細に示す図である。

図３に示すように、情報処理装置１２０は、第１学習部２０と、学習用データ処理部３０と、第２学習部４０と、欠陥検出部５０とを有する。

第１学習部２０、学習用データ処理部３０および第２学習部４０は、検査装置を構成する欠陥検出部５０を構築するための構成である。欠陥検出部５０の後述する第２学習モデルＭ２を精度よく学習させるためには、多数の対象物の良品の画像（以下「良品画像」という）が必要となる。しかしながら、多数の対象物の画像を含む学習用のデータセットを準備する際に、不良品の画像（以下「不良品画像」という）が混入する恐れがある。そこで、この情報処理装置１２０は、不良品画像が混入している可能性がある学習用のデータセットを用いて、学習用のデータセットに含まれる複数の学習用画像から不適切な不良品画像を除去する学習用データ処理部３０を有する。

本実施形態では、検査装置の一部である欠陥検出部５０と、欠陥検出部５０を構築するための第１学習部２０、学習用データ処理部３０および第２学習部４０が同じ情報処理装置１２０内に含まれているが、本発明はこれに限られない。第１学習部２０、学習用データ処理部３０および第２学習部４０は、検査装置１０に備えられていることは必須ではなく、別のコンピュータに備えられていてもよい。

第１学習部２０は、学習用データ処理部３０の後述する第１学習モデルＭ１の学習を行う。具体的には、第１学習部２０は、第１学習モデルＭ１に対して、教師なし学習を行う。

学習用データ処理部３０は、学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理装置の一例である。学習用データ処理部３０は、第２学習部４０が欠陥検出部５０の後述する第２学習モデルＭ２の学習を行う際に用いられる学習用のデータセットＤ３０に対して処理を行う。

学習用データ処理部３０は、第１学習モデルＭ１、第１学習済データＤ１、第１画像再構成部３１、異常度算出部３２およびデータクレンジング部３３を有する。第１学習モデルＭ１および第１学習済データＤ１は、記憶部１２５に保存されている。第１画像再構成部３１、異常度算出部３２およびデータクレンジング部３３は、プロセッサ１２１がプログラムＰに従って動作することにより実現される機能である。

第１学習モデルＭ１は、画像を入力とし、画像を出力とする学習モデルである。第１学習モデルＭ１は、例えば、ニューラルネットワークを用いたオートエンコーダ、または、変分オートエンコーダ（Variational Autoencoder）である。

第１学習済データＤ１は、第１学習部２０が第１学習モデルＭ１に対して学習を行うことにより得られた学習済データである。第１学習部２０は、機械学習によって第１学習済データＤ１を生成し、記憶部１２５に記憶させる。

具体的には、第１学習済データＤ１は、学習用の対象物の画像である複数の標本画像Ｄ２０を第１学習モデルＭ１に入力し、入力された標本画像Ｄ２０の再構成画像を出力するように学習させた学習済データである。

複数の標本画像Ｄ２０は、複数の対象物９０をカメラ１１０で撮像することによって得られる画像である。このとき、複数の標本画像Ｄ２０は、全て良品の画像であることが好ましい。しかしながら、現実的な準備の観点から、第１学習部２０が第１学習モデルＭ１の学習に用いる複数の標本画像Ｄ２０と、学習用データ処理部３０がデータクレンジング処理を行う対象となるデータセットＤ３０に含まれる複数の学習用画像とは、同じものを用いる。すなわち、第１学習済データＤ１は、データセットＤ３０に含まれる複数の学習用画像を標本画像Ｄ２０として入力して学習させた学習済データである。

第１学習済データＤ１を適用した第１学習モデルＭ１（以下「学習済第１学習モデルＬ１」と称する）は、標本画像Ｄ２０を入力とし、入力された標本画像の再構成画像を出力するように動作する。学習に用いられる複数の標本画像Ｄ２０の大部分は良品の画像であるため、学習済第１学習モデルＬ１に良品の画像が入力された場合、出力される再構成画像の再現度が高いのに対して、学習済第１学習モデルＬ１に不良品の画像が入力された場合、出力される再構成画像の再現度が低くなる。

第１画像再構成部３１は、入力された画像の再構成画像を出力する。具体的には、第１画像再構成部３１は、複数の学習用画像が含まれるデータセットＤ３０を、学習済第１学習モデルＬ１へと入力し、データセットＤ３０に含まれる複数の学習用画像のそれぞれの再構成画像を含む第１再構成画像Ｄ３１を生成する処理を実行する。第１画像再構成部３１は、学習済第１学習モデルＬ１から出力された第１再構成画像Ｄ３１を、異常度算出部３２へと引き渡す。

異常度算出部３２は、データセットＤ３０に含まれる学習用画像のそれぞれについて異常度を示すスコアを算出する。図４に示すように、異常度算出部３２は、第１差分画像生成部３２１と、スコア算出部３２２とを有する。

第１差分画像生成部３２１は、第１画像再構成部３１へ入力されたデータセットＤ３０に含まれる複数の学習用画像のそれぞれと、第１画像再構成部３１から出力された第１再構成画像Ｄ３１のそれぞれとについて、差分を取り、差分画像Ｄ３２１を生成する。

スコア算出部３２２は、差分画像Ｄ３２１に基づいて、データセットＤ３０に含まれる学習用画像のそれぞれについて、異常度を示すスコアを算出する。スコアは、例えば、差分画像Ｄ３２１の全ての画素についての輝度の合計値である。そして、スコア算出部３２２は、データセットＤ３０の学習用画像毎のスコアを全て含むスコアデータＤ３２をデータクレンジング部３３へと引き渡す。

データクレンジング部３３は、異常度算出部３２の算出したスコアに基づいて、データセットＤ３０から不適切な学習用画像を除去する。データクレンジング部３３は、閾値算出部３３１と、不良品データ除去部３３２とを有する。

閾値算出部３３１は、スコアデータＤ３２に含まれる全スコアに基づいて、良品の範囲を示す閾値Ｄ３３を算出する。本実施形態では、閾値算出部３３１は、スコアデータＤ３２に含まれるスコアを統計的に処理し、その結果に基づいて閾値Ｄ３３を算出する。不良品データ除去部３３２は、閾値Ｄ３３に基づいて、データセットＤ３０から、良品の範囲に含まれない学習用画像を除去した処理済データセットＤ４０を生成する。

第２学習部４０は、図３に示すように、欠陥検出部５０の後述する第２学習モデルＭ２の学習を行う。具体的には、学習用データ処理部３０によって不適切な学習用画像が除去された処理済データセットＤ４０を用いて、欠陥検出部５０の第２学習モデルＭ２の学習を行う。

欠陥検出部５０は、対象物９０をカメラ１１０で撮像することによって得られた対象物画像に基づいて、対象物９０の欠陥を検出する。欠陥検出部５０は、第２学習モデルＭ２と、第２学習済データＤ２と、第２画像再構成部５１と、第２差分画像生成部５２と、欠陥検出処理部５３とを有する。第２学習モデルＭ２および第２学習済データＤ２は、記憶部１２５に保存されている。第２画像再構成部５１、第２差分画像生成部５２および欠陥検出処理部５３は、プロセッサ１２１がプログラムＰに従って動作することにより実現される機能である。

第２学習モデルＭ２は、画像を入力とし、画像を出力とする学習モデルである。第２学習モデルＭ２は、例えば、ニューラルネットワークを用いたオートエンコーダ、または、変分オートエンコーダ（Variational Autoencoder）である。第１学習モデルＭ１と、第２学習モデルＭ２とは、全く同じ学習モデルが用いられてもよいし、異なる学習モデルが用いられてもよい。例えば、第１学習モデルＭ１と、第２学習モデルＭ２とに、同じオートエンコーダが用いられてもよいし、層数や入出力パラメータ数の異なるオートエンコーダが用いられてもよい。

第２学習済データＤ２は、第２学習部４０が第２学習モデルＭ２に対して学習を行うことにより得られた学習済データである。第２学習部４０は、機械学習によって第２学習済データＤ２を生成し、記憶部１２５に記憶させる。

具体的には、第２学習済データＤ２は、処理済データセットＤ４０を第２学習モデルＭ２に入力し、入力された処理済データセットＤ４０に含まれる学習用画像の再構成画像を出力するように学習させた学習済データである。

第２学習済データＤ２を適用した第２学習モデルＭ２（以下「学習済第２学習モデルＬ２」と称する）は、処理済データセットＤ４０に含まれる学習用画像を入力し、入力された学習用画像の再構成画像を出力するように動作する。学習に用いられる処理済データセットＤ４０に含まれる学習用画像は、学習用データ処理部３０のデータクレンジング処理により、良品画像である確率が非常に高まっている。このため、学習済第２学習モデルＬ２は、入力画像が良品画像である場合も、入力画像が不良品画像である場合も、再構成画像として良品に近い画像を出力する。

第２画像再構成部５１は、入力された画像の再構成画像を出力する。具体的には、第２画像再構成部５１には、欠陥検査を行うべき対象物９０をカメラ１１０で撮像することによって得られた対象物画像Ｄ５０が入力される。そして、第２画像再構成部５１は、対象物画像Ｄ５０を学習済第２学習モデルＬ２へと入力し、学習済第２学習モデルＬ２によって再構成された第２再構成画像Ｄ５１を第２差分画像生成部５２へと引き渡す。

第２差分画像生成部５２は、第２画像再構成部５１へ入力された対象物画像Ｄ５０と、第２画像再構成部５１から出力された第２再構成画像Ｄ５１について、差分を取り、第２差分画像Ｄ５２を生成する。

欠陥検出処理部５３は、第２差分画像Ｄ５２に基づいて欠陥の有無を検出し、欠陥の有無を検査結果Ｄ６０として出力する。

プロセッサ１２１は、欠陥検出処理部５３によって出力される検査結果Ｄ６０を、表示部１２９に表示してもよい。

＜１－２．第１学習処理＞
第１学習部２０が行う第１学習処理Ｓ１０について、図５を参照しつつ説明する。図５は、本実施形態の第１学習処理Ｓ１０の流れを示すフローチャートである。第１学習処理Ｓ１０では、第１学習モデルＭ１を用いて、入力画像の再構成画像を出力するためのパラメータ等である第１学習済データＤ１を生成する。

図５に示すように、情報処理装置１２０は、まず、複数の標本画像Ｄ２０を準備する準備工程を行う（ステップＳ１１）。具体的には、プロセッサ１２１は、複数の対象物９０をカメラ１１０で撮像することによって、複数の標本画像Ｄ２０を取得する。そして、プロセッサ１２１は、取得した複数の標本画像Ｄ２０を記憶部１２５に記憶させる。

この複数の標本画像Ｄ２０が、処理前のデータセットＤ３０としても用いられる。このとき、準備される複数の対象物９０の大部分が良品であるが、まれに不良品が混入している場合がある。このため、複数の標本画像Ｄ２０には、ごく一部分に不良品が混入している虞がある。

準備工程Ｓ１１が完了すると、第１学習部２０は、準備工程Ｓ１１で取得した複数の標本画像Ｄ２０の一部（例えば１００枚分の画像）を小データセットとして、第１学習モデルＭ１に入力して第１学習済データＤ１を生成する、第１学習工程を実行する（ステップＳ１２）。なお、「学習済データを生成する」の用語は、既に生成された学習済データを更新することを含む。

具体的には、第１学習工程Ｓ１２では、第１学習部２０は、小データセットを学習済第１学習モデルＬ１（第１回の第１学習工程Ｓ１２では第１学習モデルＭ１）に入力し、再構成画像を生成する。そして、入力した画像と再構成画像とがどの程度近似しているかの評価指標を算出する。評価指標には、例えば、入力された標本画像と出力された再構成画像との差分（誤差）の２乗和が用いられる。その後、算出した評価指標に基づいて、バックプロパゲーションにより、第１学習モデルＭ１を構成するニューラルネットの重み付けのパラメータ等を含む第１学習済データＤ１を更新する。

続いて、第１学習部２０は、第１学習モデルＭ１の学習が終了したか否かを判断する（ステップＳ１３）。具体的には、直前の第１学習工程Ｓ１２で算出された評価指標が、所定の範囲内に収束したか否かを判断する。すなわち、直前の第１学習工程Ｓ１２で生成された第１学習済データＤ１を適用した第１学習モデルＭ１が、標本画像に近似した再構成画像を所望の精度で生成しているか否かを判断する。具体的には、例えば、第１学習工程Ｓ１２で算出された評価指標が所定の閾値よりも小さい場合、第１学習モデルＭ１の学習が終了したと判断する。なお、ステップＳ１３において、全ての標本画像Ｄ２０についての学習が所定の回数終了した場合にも、学習が終了したと判断してもよい。

ステップＳ１３において、第１学習モデルＭ１の学習が終了していないと判断すると（ステップＳ１３：Ｎｏ）、プロセッサ１２１は、第１学習工程Ｓ１２に戻り、次の小データセットについて学習を行う。

ステップＳ１３において第１学習モデルＭ１の学習が終了したと判断すると（ステップＳ１３：Ｙｅｓ）、プロセッサ１２１は、第１学習部２０が生成した第１学習済データＤ１を記憶部１２５に保存する保存工程を実行する（ステップＳ１４）。

図６は、本実施形態の第１学習済データＤ１を適用した第１学習モデルＭ１、すなわち、学習済第１学習モデルＬ１に対して、良品画像Ｇ１１を入力した様子を概念的に示す図である。図７は、学習済第１学習モデルＬ１に対して、不良品画像Ｇ１２を入力した様子を概念的に示す図である。

図６および図７に示すように、第１学習モデルＭ１は、具体的には、エンコーダとデコーダとを有するニューラルネットワークである。エンコーダは、入力画像を次元圧縮することにより潜在変数を求める。デコーダは、潜在変数から元の入力画像を再現する。なお、図６において示される第１学習モデルＭ１の入力層および出力層の要素数や、隠れ層の数は、一例に過ぎず、これに限られない。

図６に示すように、学習済第１学習モデルＬ１に欠陥の無い対象物９０を撮像した良品画像Ｇ１１を入力した場合、学習済第１学習モデルＬ１から出力される再構成画像Ｇ２１は、比較的再現度が高い。すなわち、再構成画像Ｇ２１は、入力した良品画像Ｇ１１との差分が小さい。これに対し、図７に示すように、学習済第１学習モデルＬ１に欠陥部分９１を有する対象物９０を撮像した不良品画像Ｇ１２を入力した場合、学習済第１学習モデルＬ１から出力される再構成画像Ｇ２２は、不良品の欠陥部分９１を十分に再現しない。すなわち、再構成画像Ｇ２２は、入力した不良品画像Ｇ１２との差分が大きい。欠陥部分９１は、例えば、対象物９０に付着した汚れまたは異物、欠け等である。

＜１－３．データクレンジング処理＞
次に、学習用データ処理部３０が行うデータクレンジング処理Ｓ２０について、図８を参照しつつ説明する。図８は、本実施形態のデータクレンジング処理Ｓ２０の流れを示すフローチャートである。データクレンジング処理Ｓ２０は、学習済第１学習モデルＬ１を用いて、学習用のデータセットＤ３０に含まれる複数の学習用画像から不適切な画像を除去するデータ処理である。

図８に示すように、情報処理装置１２０は、まず、処理前のデータセットＤ３０を準備する準備工程を行う（ステップＳ２１）。具体的には、本実施形態において、処理前のデータセットＤ３０に含まれる複数の学習用画像は第１学習処理Ｓ１０で用いられた複数の標本画像Ｄ２０と同じものであるため、プロセッサ１２１は、記憶部１２５から複数の標本画像Ｄ２０を処理前のデータセットＤ３０として読み出す。

次に、第１画像再構成部３１は、準備工程Ｓ２１によって得られたデータセットＤ３０の各学習用画像から学習済第１学習モデルＬ１を用いて第１再構成画像Ｄ３１を生成する、第１画像再構成工程を行う（ステップＳ２２）。具体的には、第１画像再構成部３１は、データセットＤ３０に含まれる学習用画像を学習済第１学習モデルＬ１に入力し、その出力である第１再構成画像Ｄ３１を取得する。そして、プロセッサ１２１は、取得した第１再構成画像Ｄ３１を記憶部１２５に記憶させる。

続いて、第１差分画像生成部３２１は、記憶部１２５に記憶されたデータセットＤ３０の学習用画像と、第１画像再構成工程Ｓ２２で当該学習用画像から生成された第１再構成画像Ｄ３１とから第１差分画像Ｄ３２１を生成する第１差分画像生成工程を行う（ステップＳ２３）。具体的には、学習用画像の各画素の輝度と、第１再構成画像Ｄ３１の各画素の輝度との差分をとることにより、第１差分画像Ｄ３２１を生成する。そして、プロセッサ１２１は、取得した第１差分画像Ｄ３２１を記憶部１２５に記憶させる。

ここで、図９および図１０は、本実施形態に係るデータクレンジング処理の各段階で得られる画像の例を示した図である。なお、図９における学習用画像Ｇ３１は、対象物９０が良品である場合の画像であるのに対し、図１０における学習用画像Ｇ３２は、対象物９０が欠陥部分９１を有する不良品である場合の画像である。図１１は、図９および図１０に示す第１差分画像Ｇ５１，Ｇ５２を拡大して示した図である。

対象物９０が良品である場合、図９に示すように、第１画像再構成工程Ｓ２２で入力される学習用画像Ｇ３１と、第１画像再構成工程Ｓ２２で生成される第１再構成画像Ｇ４１とが、近似した画像となる。すなわち、この場合、第１再構成画像Ｇ４１の各画素の輝度は、学習用画像Ｇ３１の各画素の輝度と近似する。このため、図９に示すように、第１差分画像Ｇ５１は、近似した画像の輝度が相殺され、各画素の輝度が小さい画像となる。

一方、対象物９０が不良品である場合、図１０に示すように、第１画像再構成工程Ｓ２２で入力される学習用画像Ｇ３２には、欠陥部分９１が現れている。このような場合、前述の通り、欠陥部分９１を含む学習用画像Ｇ３２から生成された第１再構成画像Ｇ４２は、学習用画像Ｇ３２から欠陥部分９１が除かれたような画像となる。

したがって、第１差分画像Ｇ５２のうち、対象物９０の正常な部分については、学習用画像Ｇ３２と近似した画像の輝度が相殺され、各画素の輝度が小さい。一方、第１差分画像Ｇ４２のうち、欠陥部分９１については、学習用画像Ｇ３２と第１再構成画像Ｇ４２の輝度の差が大きいため、当該部分の輝度は、正常な部分に比べて大きくなる。したがって、図１０に示すように、第１差分画像Ｇ５２において欠陥部分９１は白っぽく表示されている。このように、第１差分画像Ｇ５２を得ることにより、欠陥部分９１を特異的に抽出することができる。

その後、データセットＤ３０に含まれる学習用画像のそれぞれについて、スコア算出部３２２が異常度を示すスコアを算出するスコア算出工程を行う（ステップＳ２４）。本実施形態において、スコアは、差分画像Ｄ３２１のすべての画素についての輝度の合計値である。そして、スコア算出部３２２は、データセットＤ３０の学習用画像毎のスコアをすべて含むスコアデータＤ３２をデータクレンジング部３３の閾値算出部３３１へと引き渡す。

閾値算出部３３１は、スコアデータＤ３２に含まれる全スコアに基づいて、良品の範囲を示す閾値Ｄ３３を算出する閾値算出工程を行う（ステップＳ２５）。本実施形態の閾値算出部３３１は、スコアデータＤ３２に含まれる全スコアを統計処理し、その処理結果に基づいて閾値Ｄ３３を算出する。

図１２は、スコアデータＤ３２の一例に含まれるスコアをヒストグラムで表示した図である。図１２において、横軸はスコアの値であり、縦軸は各スコアにおけるデータ数である。

本実施形態では、上述のように、差分画像Ｄ３２１において、対象物９０の欠陥部分９１の輝度が大きくなる。このため、良品の差分画像Ｄ３２１におけるスコアはおおよそ正規分布となり、不良品の差分画像Ｄ３２１におけるスコアは良品のスコアに比べて大きい値を取る。したがって、スコアデータＤ３２に含まれる全スコアの度数分布において、図１２に示すように、正規分布の右裾（スコアが大きい方）が長い度数分布が得られる。

このようなスコアデータＤ３２に対して、閾値算出部３３１は、閾値算出工程Ｓ２５において、スコアの平均値Ｓや標準偏差σ等の値を求める統計処理を行う。そして、閾値算出部３３１は、良品の範囲を示す閾値Ｄ３３を算出する。閾値Ｄ３３には、良品の下限値を示す第１閾値Ｔｈ１と、良品のスコア上限値を示す第２閾値Ｔｈ２とを含む。

本実施形態では、第１閾値Ｔｈ１および第２閾値Ｔｈ２は、スコアの平均値Ｓおよび標準偏差σを基準として、以下のように算出される。
Ｔｈ１＝Ｓ―３＊σ
Ｔｈ２＝Ｓ＋３＊σ

なお、本実施形態の閾値算出部３３１は、統計処理を行って閾値Ｄ３３を算出したが、本発明はこれに限られない。閾値算出部３３１は、予め指定された枚数分の差分画像Ｄ３２１をスコアの大きい順に選択し、これらの差分画像Ｄ３２１が排除されるように閾値Ｄ３３を設定してもよい。また、閾値算出部３３１は、良品のスコア下限値である第１閾値Ｔｈ１を設けず、良品のスコア上限値である第２閾値Ｔｈ２をスコアの平均値Ｓの定数倍として算出してもよい。閾値算出部３３１の閾値Ｄ３３の算出方法はこれらに限られず、対象物９０の種類や目的等の条件に応じて、適宜選択され得る。

最後に、不良品データ除去部３３２は、閾値Ｄ３３に基づいて、データセットＤ３０から、良品の範囲に含まれない学習用画像を除去する不良品データ除去工程を行う（ステップＳ２６）。具体的には、不良品データ除去部３３２は、第１閾値Ｔｈ１よりも小さいスコアを有する差分画像Ｄ３２１に対応する学習用画像と、第２閾値Ｔｈ２よりも大きいスコアを有する差分画像Ｄ３２１に対応する学習用画像とを、データセットＤ３０から除去し、処理済データセットＤ４０を生成する。そして、プロセッサ１２１は、生成された処理済データセットＤ４０を記憶部１２５に記憶させる。

このデータクレンジング処理Ｓ２０によって、処理前のデータセットＤ３０から不良品画像が除去された処理済データセットＤ４０が生成される。この処理済データセットＤ４０を用いて、欠陥検出に用いられる第２学習モデルＭ２の学習を行うことにより、第２学習モデルＭ２の機械学習の精度を高めることができる。

＜１－４．第２学習処理＞
第２学習部４０が行う第２学習処理Ｓ３０について、図１３を参照しつつ説明する。図１３は、本実施形態の第２学習処理Ｓ３０の流れを示すフローチャートである。第２学習処理Ｓ３０では、第２学習モデルＭ２を用いて、入力画像の再構成画像を出力するためのパラメータ等である第２学習済データＤ２を生成する。

図１３に示すように、情報処理装置１２０は、まず、処理済データセットＤ４０を準備する準備工程を行う（ステップＳ３１）。具体的には、プロセッサ１２１は、記憶部１２５に記憶された処理済データセットＤ４０を読み出す。

準備工程Ｓ３１が完了すると、第２学習部４０は、準備工程Ｓ３１で取得した処理済データセットＤ４０に含まれる複数の学習用画像の一部（例えば１００枚分の画像）を小データセットとして、第２学習モデルＭ２に入力して第２学習済データＤ２を生成する、第２学習工程を実行する（ステップＳ３２）。本実施形態の第２学習工程Ｓ３２は、第１学習処理Ｓ１０の第１学習工程Ｓ１２と同様に行われる。

続いて、第２学習部４０は、第２学習モデルＭ２の学習が終了したか否かを判断する（ステップＳ３３）。本実施形態のステップＳ３３は、第１学習処理Ｓ１０のステップＳ１３と同様に行われる。

ステップＳ３３において、第２学習モデルＭ２の学習が終了していないと判断すると（ステップＳ３３：Ｎｏ）、プロセッサ１２１は、第２学習工程Ｓ３２に戻り、次の小データセットについて学習を行う。

ステップＳ３３において第２学習モデルＭ２の学習が終了したと判断すると（ステップＳ３３：Ｙｅｓ）、プロセッサ１２１は、第２学習部４０が生成した第２学習済データＤ２を記憶部１２５に保存する保存工程を実行する（ステップＳ３４）。

このように、第１学習処理Ｓ１０と同様の手順で第２学習処理Ｓ３０を行うことにより、学習済第２学習モデルＬ２は、学習済第１学習モデルＬ１と同様に、入力画像に基づいて、欠陥部分を十分に再現しない再構成画像を出力する学習モデルとして学習させることができる。このとき、第２学習処理Ｓ３０では、第１学習処理Ｓ１０で学習に用いられた処理前のデータセットＳ３０よりも不良品の混入率の低い処理済データセットＤ４０を用いて機械学習を行うことができる。これにより、学習済第２学習モデルＬ２は、より精度よく学習を行うことができる。

＜１－５．欠陥検出処理＞
最後に、欠陥検出部５０における学習済第２学習モデルＬ２を用いた欠陥検出処理Ｓ４０について、図１４を参照しつつ説明する。この欠陥検出処理Ｓ４０では、対象物９０を撮像して得られた対象物画像Ｄ５０に基づいて、対象物９０の欠陥を検出する。図１４は、本実施形態の欠陥検出部５０における欠陥検出処理の流れを示すフローチャートである。

図１４に示すように、情報処理装置１２０は、まず、検査対象となる対象物９０を撮影して、対象物画像Ｄ５０を取得する撮像工程を行う（ステップＳ４１）。具体的には、プロセッサ１２１は、カメラ１１０を用いて、検査対象である対象物を撮像することによって、対象物画像Ｄ５０を取得する。そして、プロセッサ１２１は、取得した対象物画像Ｄ５０を記憶部１２５に記憶させる。

次に、第２画像再構成部５１は、撮像工程Ｓ４１によって得られた対象物画像Ｄ５０から学習済第２学習モデルＬ２を用いて第２再構成画像Ｄ５１を生成する、第２画像再構成工程を実行する（ステップＳ４２）。具体的には、第２画像再構成部５１は、対象物画像Ｄ５０を、第２学習済データＤ２を適用した第２学習モデルＭ２に入力し、その出力である第２再構成画像Ｄ５１を取得する。そして、プロセッサ１２１は、取得した第２再構成画像Ｄ５１を記憶部１２５に記憶させる。

続いて、第２差分画像生成部５２は、記憶部１２５に記憶された対象物画像Ｄ５０および第２再構成画像Ｄ５１から第２差分画像Ｄ５２を生成する、第２差分画像生成工程を実行する（ステップＳ４３）。具体的には、第２差分画像生成部５２は、対象物画像Ｄ５０の各画素の輝度と、第２再構成画像Ｄ５１の各画素の輝度との差分を取ることにより、第２差分画像Ｄ５２を生成する。そして、プロセッサ１２１は、生成された第２差分画像Ｄ５２を記憶部１２５に記憶させる。

最後に、欠陥検出処理部５３は、第２差分画像Ｄ５２に基づいて、対象物９０に欠陥が有るか否かを判断する、欠陥検出工程を実行する（ステップＳ４４）。上述のように、第２差分画像Ｄ５２において、対象物９０の欠陥部分９１は輝度が大きい領域となる。この特徴を用いて、欠陥検出処理部５３は、対象物９０に欠陥が有るか否かを判断する。具体的な判断方法は、適宜、選択し得る。そして、欠陥検出処理部５３は、欠陥検出の有無を検査結果Ｄ６０として出力する。

＜２．第２実施形態＞
図１５は、第２実施形態の情報処理装置１２０Ａが備える機能的な構成を示す図である。図１５に示す情報処理装置１２０Ａは、第１実施形態と異なる構成である第１学習部２０Ａおよび学習用データ処理部３０Ａと、第１実施形態と同様の構成である第２学習部４０および欠陥検出部５０とを有する。なお、図１５中、第１実施形態と同様の構成については、同じ符号を付している。

第１学習部２０Ａは、学習用データ処理部３０Ａの後述する第１学習モデルＭ１Ａの学習を行う。具体的には、第１学習部２０Ａは、第１学習モデルＭ１Ａに対して、教師なし学習を行う。

学習用データ処理部３０Ａは、学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理装置の一例である。学習用データ処理部３０Ａは、第１学習モデルＭ１Ａ、第１学習済データＤ１Ａ、異常度算出部３２Ａおよびデータクレンジング部３３Ａを有する。

第１学習モデルＭ１Ａは、One Class SVM（One Class Support Vector Machine）である。One Class SVMは、分類（Classification）を行うことにより、外れ値検知を行うことができる。なお、第１学習モデルＭ１Ａは、One Classニューラルネットワークをはじめとする、その他の教師なし学習を行う機械学習モデルであってもよい。

第１学習済データＤ１Ａは、第１学習部２０Ａが第１学習モデルＭ１Ａに対して学習を行うことにより得られた学習済データである。第１学習部２０Ａは、機械学習によって第１学習済データＤ１Ａを生成する。

具体的には、第１学習済データＤ１Ａは、学習用の対象物の画像である複数の標本画像Ｄ２０を第１学習モデルＭ１Ａに入力し、特徴量を算出することにより、適切に外れ値検知を行うように学習させた学習済データである。

第１学習済データＤ１Ａを適用した第１学習モデルＭ１Ａ（以下「学習済第１学習モデルＬ１Ａ」と称する）は、標本画像Ｄ２０を入力とし、入力された標本画像が外れ値であるか否かをスコアとして出力する。

異常度算出部３２Ａは、データセットＤ３０に含まれる学習用画像のそれぞれを学習済第１学習モデルＬ１Ａに入力し、それぞれの学習用画像に対するスコアを取得する。そして、異常度算出部３２Ａは、データセットＤ３０の学習用画像毎のスコアを全て含むスコアデータＤ３２Ａをデータクレンジング部３３Ａへと引き渡す。

データクレンジング部３３Ａは、異常度算出部３２Ａの算出したスコアに基づいて、データセットＤ３０から不適切な学習用画像を除去する。すなわち、データクレンジング部３３Ａは、予め学習済第１学習モデルＬ１Ａが外れ値と判断した学習用画像を、データセットＤ３０から除去した処理済データセットＤ４０Ａを出力する。

＜３．変形例＞
以上、実施形態について説明してきたが、本発明は上記のようなものに限定されるものではなく、様々な変形および組み合わせが可能である。

この発明は詳細に説明されたが、上記の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。上記各実施形態および各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせたり、省略したりすることができる。

１０ 検査装置
２０，２０Ａ 第１学習部
３１ 第１画像再構成部
３２，３２Ａ 異常度算出部
３３，３３Ａ データクレンジング部
４０ 第２学習部
５０ 欠陥検出部
９０ 対象物
３２１ 第１差分画像生成部
３２２ スコア算出部
３３１ 閾値算出部
３３２ 不良品データ除去部
Ｄ１，Ｄ１Ａ 第１学習済データ
Ｄ２ 第２学習済データ
Ｄ２０ 標本画像
Ｄ３０ データセット
Ｄ３１ 第１再構成画像
Ｄ３２，Ｄ３２Ａ スコアデータ
Ｄ３２１ 第１差分画像
Ｄ３３ 閾値
Ｄ４０，Ｄ４０Ａ 処理済データセット
Ｌ１，Ｌ１Ａ 学習済第１学習モデル
Ｌ２ 学習済第２学習モデル
Ｍ１，Ｍ１Ａ 第１学習モデル
Ｍ２ 第２学習モデル
Ｐ プログラム

Claims (4)

1. 学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理装置であって、
   画像を入力とし、スコアを出力とする第１学習モデルと、
   複数の標本画像を前記第１学習モデルに入力し、入力された前記標本画像の外れ値検知を行った結果を前記スコアとして出力するように学習させた第１学習済データと、
   前記学習用画像のそれぞれを、前記第１学習済データを適用した前記第１学習モデルに入力して、外れ値であるか否かを示す前記スコアを取得する異常度算出部と、
   前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング部と、
   を有する、学習用データ処理装置。
2. 対象物を検査する検査装置を構築するための学習装置であって、
   学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する、請求項１に記載の学習用データ処理装置と、
   前記学習用データ処理装置によって不適切な画像が除去された処理済データセットを用いて学習を行う第２学習部と、
   を有し、
   前記第２学習部は、前記処理済データセットに含まれる複数の前記学習用画像を、画像を入力および出力とする第２学習モデルに入力し、前記第２学習モデルが入力された前記学習用画像の再構成画像を出力するように学習させた第２学習済データを生成する、学習装置。
3. 学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理方法であって、
   ａ）前記学習用画像のそれぞれについて外れ値であるか否かを示すスコアを取得する異常度算出工程と、
   ｂ）前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング工程と、
   を有し、
   前記異常度算出工程において、
   画像を入力とし、スコアを出力とする第１学習モデルと、
   複数の標本画像を前記第１学習モデルに入力し、入力された前記標本画像の外れ値検知を行った結果を前記スコアとして出力するように学習させた第１学習済データと、
   が用いられ、
   前記異常度算出工程において、前記学習用画像のそれぞれを、第１学習済データを適用した前記第１学習モデルに入力して、外れ値であるか否かを示すスコアを取得する、学習用データ処理方法。
4. コンピュータに、学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理を行わせるためのプログラムであって、
   前記コンピュータに、
   ａ）前記学習用画像のそれぞれについて異常度を示すスコアを算出する異常度算出工程と、
   ｂ）前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング工程と、
   を実行させ、
   前記コンピュータは、前記異常度算出工程において、
   画像を入力とし、スコアを出力とする第１学習モデルと、
   複数の標本画像を前記第１学習モデルに入力し、入力された前記標本画像の外れ値検知を行った結果を前記スコアとして出力するように学習させた第１学習済データと、
   が用い、
   前記コンピュータは、前記異常度算出工程において、前記学習用画像のそれぞれを、第１学習済データを適用した前記第１学習モデルに入力して、外れ値であるか否かを示すスコアを取得する、プログラム。

Images