JP6874864B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び記録媒体に関する。

特許文献１には、入力医用画像中の異常成分を分離する画像成分分離装置が記載されている。特許文献１に記載の画像成分分離装置は、被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する。次いで、入力医用画像と正常画像の差分を求めることにより、入力医用画像中の異常成分を分離する。

特許第４８９５２０４号公報

しかしながら、特許文献１に記載の画像成分分離装置では、被写体中の所定の構造物を表す入力医用画像の全体から正常画像を生成する。このため、特許文献１に記載の画像成分分離装置では、生成される正常画像が、入力医用画像の全体の影響を受けうるため、異常成分の分離が入力医用画像の個体差に大きく影響されうる。

本発明の目的は、上述した課題に鑑み、画像の個体差の影響を低減しつつ異常を判別することができる画像処理装置、画像処理方法及び記録媒体を提供することにある。

本発明の一観点によれば、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部と、前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成部と、前記第１の推測画像と、前記検査画像とを比較する比較部と、前記比較部による比較結果を出力する出力部と、を備え、前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理装置が提供される。

本発明の他の観点によれば、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、前記第１の推測画像と、前記検査画像とを比較する比較ステップと、前記比較ステップによる比較結果を出力する出力ステップと、を備え、前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法が提供される。

本発明のさらに他の観点によれば、コンピュータに、検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、前記第１の推測画像と、前記検査画像とを比較する比較ステップと、前記比較ステップによる比較結果を出力する出力ステップと、を備え、前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法を実行させるプログラムが記録された記録媒体が提供される。

本発明のさらに他の観点によれば、物体を含む第１の画像の一部を使って、前記物体の少なくとも所定の領域を含む第２の画像を生成する第１の生成部と、前記第１の画像の前記一部を使って、前記第２の画像と前記第１の画像との差分を推測して第３の画像を生成する第２の生成部と、前記第２の画像と、前記第１の画像とを比較する比較部と、前記比較部による比較結果を出力する出力部と、を備え、前記比較部は、前記第２の画像と前記第１の画像との差分を、前記第３の画像と比較する画像処理装置が提供される。

本発明によれば、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。

図１は、本発明の一実施形態による画像処理装置の機能構成を示すブロック図である。 図２は、本発明の一実施形態による画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを示すフローチャートである。 図４は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その１）である。 図５は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その２）である。 図６は、本発明の一実施形態による画像処理装置の動作におけるパッチ切り出しステップを説明する概略図（その３）である。 図７は、本発明の一実施形態による画像処理装置の動作における正常画像学習ステップを示すフローチャートである。 図８は、本発明の一実施形態による画像処理装置の動作における正常画像学習ステップを説明する概略図（その１）である。 図９は、本発明の一実施形態による画像処理装置の動作における正常画像学習ステップを説明する概略図（その２）である。 図１０は、本発明の一実施形態による画像処理装置の動作における正常画像生成ステップを示すフローチャートである。 図１１は、本発明の一実施形態による画像処理装置の動作における正常画像生成ステップを説明する概略図である。 図１２は、本発明の一実施形態による画像処理装置の動作における差分画像学習ステップを示すフローチャートである。 図１３は、本発明の一実施形態による画像処理装置の動作における差分画像学習ステップを説明する概略図である。 図１４は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを示すフローチャートである。 図１５は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを説明する概略図（その１）である。 図１６は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップを説明する概略図（その２）である。 図１７は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップにおいて閾値を固定した場合を説明する概略図である。 図１８は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップにおける閾値と正常画像のピクセル値の取りうる値の範囲との関係を説明する概略図（その１）である。 図１９は、本発明の一実施形態による画像処理装置の動作における不良品検出ステップにおける閾値と正常画像のピクセル値の取りうる値の範囲との関係を説明する概略図（その２）である。 図２０は、本発明の一実施形態の変形例による画像処理装置の機能構成を示すブロック図である。 図２１は、本発明の他の実施形態による画像処理装置の機能構成を示すブロック図である。 図２２は、本発明のさらに他の実施形態による画像処理装置の機能構成を示すブロック図である。

［一実施形態］
本発明の一実施形態による画像処理装置及び画像処理方法について図１乃至図２０を用いて説明する。

まず、本実施形態による画像処理装置の構成について図１及び図２を用いて説明する。図１は、本実施形態による画像処理装置の機能構成を示すブロック図である。図２は、本実施形態による画像処理装置のハードウェア構成の一例を示すブロック図である。

本実施形態では、画像処理装置が、検査対象である検査対象品を含む検査画像を処理することにより、検査対象品が正常品であるか不良品であるかを判定して、異常として不良品を検出する検査を行う場合を例に説明する。ただし、本実施形態による画像処理装置は、不良品を検出する検査を行う場合のみならず、物体について異常を検出する場合に広く用いることができる。

図１に示すように、本実施形態による画像処理装置１００は、学習データ保存部１０と、パッチ切り出し部１２と、パッチ処理済みデータ保存部１４とを備えている。また、画像処理装置１００は、正常画像学習部１６と、正常画像学習モデル記憶部１８とを備えている。また、画像処理装置１００は、検査データ保存部２０と、正常画像生成部２２と、生成正常データ保存部２４とを備えている。

また、本実施形態による画像処理装置１００は、差分計算部２６と、差分画像学習部２８と、差分画像学習モデル記憶部３０と、差分画像生成部３２と、閾値設定部３４と、不良品検出部３６とを備えている。

学習データ保存部１０は、正常画像学習部１６による学習に用いられる学習画像を保存する。学習画像は、検査対象品の正常品を含む画像、すなわち、検査対象品の正常な状態を表す画像である。

パッチ切り出し部１２は、学習データ保存部１０から学習画像のデータを読み込み、学習画像に対してパッチ切り出しステップを実施する。すなわち、パッチ切り出し部１２は、学習画像からパッチサイズの画像をパッチ画像として切り出す。また、パッチ切り出し部１２は、パッチ画像からその中心部の画像を中心画像として切り出す。中心画像は、検査対象品の少なくとも所定の領域を含んでいる。パッチ切り出し部１２は、中心画像が切り出されたパッチ画像である中心除去済みパッチ画像と、その中心画像との対を画像対として関連付けて出力する。パッチ切り出し部１２は、学習画像について出力した画像対をパッチ処理済みデータ保存部１４に保存する。

また、パッチ切り出し部１２は、検査データ保存部２０から検査画像のデータを読み込み、学習画像の場合と同様に、検査画像に対してパッチ切り出し処理を実施する。パッチ切り出し部１２は、学習画像の場合と同様に、検査画像について、中心除去済みパッチ画像と、その中心画像との対を画像対として関連付けて出力する。パッチ切り出し部１２は、検査画像について出力した画像対をパッチ処理済みデータ保存部１４に保存する。

パッチ処理済みデータ保存部１４は、パッチ切り出し部１２により出力される学習画像についての画像対を保存する。また、パッチ処理済みデータ保存部１４は、パッチ切り出し部１２により出力される検査画像についての画像対を保存する。

正常画像学習部１６は、パッチ処理済みデータ保存部１４から学習画像についての画像対を読み込み、読み込んだ画像対を用いて学習モデルを作成する。正常画像学習部１６は、学習画像についての画像対のうち、中心除去済みパッチ画像を学習データ、中心画像を教師データとして学習を実施する。これにより、正常画像学習部１６は、中心除去済みパッチ画像から中心画像を復元する学習モデルである正常画像学習モデルを作成する。正常画像学習部１６は、作成した正常画像学習モデルを正常画像学習モデル記憶部１８に保存する。

正常画像学習モデル記憶部１８は、正常画像学習部１６による学習の結果作成された学習済みの正常画像学習モデルを保存する。

検査データ保存部２０は、検査画像を保存する。検査画像は、検査対象である検査対象品を含む画像である。検査対象品は、特に限定されるものではない。本実施形態による画像処理装置は、例えば、完成品、部品等のあらゆる物体を検査対象品とすることができる。

正常画像生成部２２は、第１の生成部として機能し、学習画像又は検査画像についての画像対のうちの中心除去済みパッチ画像からその中心部の画像である中心画像を推測し、中心除去済みパッチ画像から推測した推測画像を正常画像として生成する。正常画像は、学習画像又は検査画像に含まれる検査対象品の少なくとも所定の領域を含んでいる。正常画像生成部２２は、パッチ処理済みデータ保存部１４から学習画像又は検査画像についての画像対のうちの中心除去済みパッチ画像を読み込む。正常画像生成部２２は、読み込んだ中心除去済みパッチ画像から、その中心除去済みパッチ画像の中心画像を推測して正常画像として生成する。

正常画像生成部２２は、推測画像である正常画像の生成に際して、正常画像学習モデル記憶部１８から学習済みの正常画像学習モデルを読み込む。正常画像生成部２２は、読み込んだ正常画像学習モデルを用いて、学習画像又は検査画像におけるパッチ画像の一部である中心除去済みパッチ画像からその中心画像を推測して、推測した推測画像を正常画像として生成する。正常画像生成部２２は、生成した正常画像を生成正常データ保存部２４に保存する。

こうして、正常画像生成部２２は、学習画像又は検査画像について、パッチ画像の一部である中心除去済みパッチ画像を使って正常画像を推測して生成する。学習画像について生成された正常画像は、後述する閾値設定のために用いられる。また、検査画像について生成された正常画像は、後述する不良検出のために用いられる。

生成正常データ保存部２４は、正常画像生成部２２により生成された正常画像を保存する。

差分計算部２６は、学習画像についての画像対のうちの中心除去済みパッチ画像から正常画像生成部２２により生成された正常画像と、その中心除去済みパッチ画像と画像対をなす中心画像との差分を計算する。これにより、差分計算部２６は、学習画像について、中心画像と正常画像とのピクセルごとのピクセル値の差の絶対値をピクセル値とする差分画像を生成する。なお、差分計算部２６の差分の計算方法は、後述する不良品検出部３６の差分の計算方法と同様である。

差分画像学習部２８は、差分計算部２６により生成された差分画像と、その差分画像を生成した正常画像の推測に用いた中心除去済みパッチ画像とを用いて学習モデルを作成する。差分画像学習部２８は、中心除去済みパッチ画像を学習データ、差分画像を教師データとして学習を実施する。これにより、差分画像学習部２８は、中心除去済みパッチ画像から差分画像を復元する学習モデルである差分画像学習モデルを作成する。差分画像学習部２８は、作成した差分画像学習モデルを差分画像学習モデル記憶部３０に記憶する。

差分画像学習モデル記憶部３０は、差分画像学習部２８による学習の結果作成された学習済みの差分画像学習モデルを保存する。

差分画像生成部３２は、第２の生成部として機能し、検査画像についての画像対のうちの中心除去済みパッチ画像から差分画像を推測して生成する。差分画像生成部３２は、パッチ処理済みデータ保存部１４から検査画像についての画像対のうちの中心除去済みパッチ画像を読み込む。差分画像生成部３２は、読み込んだ中心除去済みパッチ画像から差分画像を推測して生成する。差分画像生成部３２は、推測画像である差分画像の生成に際して、差分画像学習モデル記憶部３０から学習済みの差分画像学習モデルを読み込む。差分画像生成部３２は、読み込んだ差分画像学習モデルを用いて、検査画像におけるパッチ画像の一部である中心除去済みパッチ画像から差分画像を推測して生成する。

閾値設定部３４は、差分画像生成部３２により生成された差分画像に基づき、不良品検出部３６における不良検出に用いられる閾値を設定する。閾値設定部３４は、例えば、差分画像の各ピクセル値をピクセルごとの閾値として設定することができる。また、閾値設定部３４は、例えば、差分画像の各ピクセル値に一定の乗率を掛けてマージンを設けたものをピクセルごとの閾値として設定することができる。

不良品検出部３６は、比較部として機能し、検査画像についての画像対のうちの中心画像と、その中心除去済みパッチ画像から生成した正常画像とを比較し、閾値設定部３４により設定された閾値に基づき不良を検出する。さらに、不良品検出部３６は、出力部として機能し、不良の検出結果を出力する。また、不良品検出部３６は、判定部として機能し、検出結果に基づき、検査画像に含まれる検査対象品が正常品であるか不良品であるかを判定する。

不良品検出部３６は、パッチ処理済みデータ保存部１４から検査画像についての画像対のうちの中心画像を読み込む。また、不良品検出部３６は、その画像対のうちの中心除去済みパッチ画像から生成された正常画像を生成正常データ保存部２４から読み込む。不良品検出部３６は、それぞれ読み込んだ中心画像と正常画像との差分を計算する。これにより、不良品検出部３６は、検査画像について、中心画像と正常画像とのピクセルごとのピクセル値の差の絶対値をピクセル値とする差分画像を生成する。

不良品検出部３６は、検査画像について生成された差分画像を、差分画像生成部３２により生成された差分画像と比較する。より具体的には、不良品検出部３６は、検査画像について生成された差分画像のピクセル値を、閾値設定部３４により設定された閾値とピクセルごとに比較して、検査画像について、中心画像における不良ピクセルを検出する。不良品検出部３６は、検出した不良ピクセルに基づき、検査画像に含まれる検査対象品が正常品であるか不良品であるかの検査対象品の良否を判定して、異常である不良品を判別して検出する。

不良品検出部３６は、不良品の検出結果を出力する。検出結果の出力方法は特に限定されるものではなく、種々の方法を用いることができる。例えば、不良品検出部３６は、検出結果を表示装置に表示させたり、検出結果を音声として音声出力装置から出力したり、記憶装置に記憶されたデータベースに検出結果を格納することができる。

上述した画像処理装置１００は、例えばコンピュータ装置により構成される。画像処理装置１００のハードウェア構成の一例について図２を用いて説明する。なお、画像処理装置１００は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。

図２に示すように、画像処理装置１００は、ＣＰＵ（Central Processing Unit）１００２と、ＲＯＭ（Read Only Memory）１００４と、ＲＡＭ（Random Access Memory）１００６と、ＨＤＤ（Hard Disk Drive）１００８とを備えている。また、画像処理装置１００は、出力装置１０１０と、入力装置１０１２とを備えている。ＣＰＵ１００２、ＲＯＭ１００４、ＲＡＭ１００６、ＨＤＤ１００８、出力装置１０１０及び入力装置１０１２は、共通のバスライン１０１４に接続されている。

ＣＰＵ１００２は、画像処理装置１００の全体の動作を制御する。また、ＣＰＵ１００２は、上記のパッチ切り出し部１２、正常画像学習部１６、正常画像生成部２２、差分計算部２６、差分画像学習部２８、差分画像生成部３２、閾値設定部３４及び不良品検出部３６の各部の機能を実現するプログラムを実行する。ＣＰＵ１００２は、ＨＤＤ１００８等に記憶されたプログラムをＲＡＭ１００６にロードして実行することにより、パッチ切り出し部１２、正常画像学習部１６、正常画像生成部２２の各部の機能を実現する。また、ＣＰＵ１００２は、ＨＤＤ１００８等に記憶されたプログラムをＲＡＭ１００６にロードして実行することにより、差分計算部２６、差分画像学習部２８、差分画像生成部３２、閾値設定部３４及び不良品検出部３６の各部の機能を実現する。

なお、パッチ切り出し部１２、正常画像学習部１６、正常画像生成部２２、差分計算部２６、差分画像学習部２８、差分画像生成部３２、閾値設定部３４及び不良品検出部３６は、それぞれ電気回路構成（circuitry）により実現されていてもよい。ここで、電気回路構成（circuitry）とは、単一のデバイス（single device）、複数のデバイス（multiple devices）、チップセット（chipset）又はクラウド（cloud）を概念的に含む文言である。

ＲＯＭ１００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ１００６は、ＣＰＵ１００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ１００８には、ＣＰＵ１００２が実行するプログラムが記憶されている。

また、ＨＤＤ１００８は、上記の学習データ保存部１０、パッチ処理済みデータ保存部１４、正常画像学習モデル記憶部１８、生成正常データ保存部２４及び差分画像学習モデル記憶部３０の各部の機能を実現する記憶装置である。なお、学習データ保存部１０、パッチ処理済みデータ保存部１４、正常画像学習モデル記憶部１８、生成正常データ保存部２４及び差分画像学習モデル記憶部３０の各部の機能を実現する記憶装置は、ＨＤＤ１００８に限定されるものではない。種々の記憶装置をこれら各部の機能を実現するものとして用いることができる。

出力装置１０１０は、不良品検出部３６による検出結果が出力されるものであり、例えば、表示装置、音声出力装置である。

入力装置１０１２は、例えば、キーボード、マウス等である。また、入力装置１０１２は、出力装置１０１０である表示装置に組み込まれたタッチパネルであってもよい。画像処理装置１００のオペレータは、入力装置１０１２を介して、画像処理装置１００の設定を行ったり、処理の実行の指示を入力したりすることができる。

なお、画像処理装置１００のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。

次に、上記本実施形態による画像処理装置１００の動作についてさらに図３乃至図１６を用いて説明する。本実施形態による画像処理装置１００は、動作することにより画像処理方法を実行する。

本実施形態による画像処理装置１００の動作は、パッチ切り出しステップ（図３参照）と、正常画像学習ステップ（図７参照）と、正常画像生成ステップ（図１０参照）とを含んでいる。また、画像処理装置１００の動作は、差分画像学習ステップ（図１２参照）と、不良品検出ステップ（図１４参照）とを含んでいる。パッチ切り出しステップは、パッチ切り出し部１２により実施される。正常画像学習ステップは、正常画像学習部１６により実施される。正常画像生成ステップは、正常画像生成部２２により実施される。差分画像学習ステップは、差分画像学習部２８により実施される。不良品検出ステップは、不良品検出部３６により実施される。

まず、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップについて図３乃至図６を用いて説明する。図３は、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップを示すフローチャートである。図４乃至図６は、本実施形態による画像処理装置１００の動作におけるパッチ切り出しステップを説明する概略図である。

パッチ切り出し部１２により実施されるパッチ切り出しステップは、画像からのパッチ画像の切り出し、パッチ画像の中心部の画像の除去等を行う。パッチ切り出しステップは、学習画像及び検査画像のそれぞれについて実施される。

まず、図３に示すように、ステップＳ１０１において、パッチ切り出し部１２は、パッチ切り出しステップを実施すべき画像のデータを読み込む。学習画像についてパッチ切り出しステップを実施する場合、パッチ切り出し部１２は、学習データ保存部１０から学習画像を読み込む。一方、検査画像についてパッチ切り出しステップを実施する場合、パッチ切り出し部１２は、検査データ保存部２０から画像データを読み込む。

次いで、ステップＳ１０２において、パッチ切り出し部１２は、ステップＳ１０１で読み込んだ画像に対してパッチ切り出し処理を実施する。図４に示すように、ステップＳ１０１で読み込んだ画像ＩＭには、検査対象品Ｔが含まれている。画像ＩＭは、学習画像又は検査画像である。画像ＩＭが学習画像である場合、画像ＩＭに含まれる検査対象品Ｔは正常品である。画像ＩＭが検査画像である場合、画像ＩＭに含まれる検査対象品Ｔは、正常品であるか不良品であるかを判定すべきものである。

パッチ切り出し処理において、パッチ切り出し部１２は、図４に示すように、読み込んだ画像ＩＭから、あらかじめ設定されたパッチサイズの矩形状の画像をパッチ画像ＩＭｐとして画像ＩＭの例えば左上から切り出す。なお、パッチ画像ＩＭｐを切り出すパッチサイズは、画像ＩＭよりも小さいサイズの範囲で、検査に要求される精度等に応じて適宜設定することができる。

さらに、パッチ切り出し処理において、パッチ切り出し部１２は、図５に示すように、切り出したパッチ画像ＩＭｐの中心部から、あらかじめ設定されたサイズの矩形状の画像を切り出して除去する。こうして、パッチ切り出し部１２は、中心部の画像が除去された枠状のパッチ画像ＩＭｐである中心除去済みパッチ画像ＩＭｒを作成するとともに、パッチ画像ＩＭｐの中心部から切り出した画像である中心画像ＩＭｃを作成する。パッチ切り出し処理前のパッチ画像ＩＭｐは、第１の領域である中心除去済みパッチ画像ＩＭｒと、第２の領域である中心画像ＩＭｃとを含み、両画像から構成されていると考えることができる。なお、中心画像ＩＭｃを切り出すサイズは、パッチ画像ＩＭｐよりも小さいサイズの範囲で、検査に要求される精度等に応じて適宜設定することができる。

その後、パッチ切り出し部１２は、図６に示すように、あらかじめ設定されたスライドサイズの分だけ画像ＩＭにおいてスライド方向に移動した箇所から、上記と同様にパッチ画像ＩＭｐを切り出して、中心除去済みパッチ画像ＩＭｒ及び中心画像ＩＭｃを作成する。なお、スライドサイズは、パッチ画像ＩＭｐを切り出すパッチサイズのスライド方向の幅と同じ又はその幅以下に設定することができる。

パッチ切り出し部１２は、上述した図４乃至図６に示す動作を、画像ＩＭの全領域についてパッチ画像ＩＭｐの切り出しが行われるまで繰り返して行い、画像ＩＭについて中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対である画像対を作成していく。

なお、上記では、パッチ画像ＩＭｐ及び中心画像ＩＭｃをいずれも矩形の形状としているが、これらの形状は、矩形等の四角形の形状に限定されるものではない。パッチ画像ＩＭｐ及び中心画像ＩＭｃの形状は、四角形の形状ほか、例えば、円形、三角形等の、周囲の画像である中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対が作成することができる形状であればよい。パッチ画像ＩＭｐ及び中心画像ＩＭｃの形状は、互いに同一の形状である必要はなく、互いに異なる形状であってもよい。

また、上記では、パッチ画像ＩＭｐの中心部から画像を切り出しているが、パッチ画像ＩＭｐからあらかじめ設定されたサイズの画像を切り出していれば、パッチ画像ＩＭｐから画像を切り出す領域は中心部に限定されるものではない。すなわち、パッチ切り出し部１２は、パッチ画像ＩＭｐからその一部を切り出して、中心画像ＩＭｃに代えてパッチ画像ＩＭｐの一部である部分画像を作成してもよい。中心画像ＩＭｃに代えてパッチ画像ＩＭｐの一部である部分画像を作成する場合も、中心画像ＩＭｃに代えて部分画像を用いる点を除いて同様に処理することができる。

次いで、ステップＳ１０３において、パッチ切り出し部１２は、ステップＳ１０２で画像ＩＭについて作成された中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの対である画像対を、パッチ処理済みデータ保存部１４に保存する。

上述のようにして、パッチ切り出し部１２は、学習画像及び検査画像のそれぞれについてパッチ切り出しステップを実施する。なお、学習画像についてのパッチ切り出しステップは、学習ステップの前に実施する。一方、検査画像についてのパッチ切り出しステップは、正常画像生成ステップの前であれば、学習ステップの前に実施することもできるし、学習ステップの後に実施することもできる。

次に、本実施形態による画像処理装置１００の動作における正常画像学習ステップについて図７乃至図９を用いて説明する。図７は、本実施形態による画像処理装置１００の動作における正常画像学習ステップを示すフローチャートである。図８及び図９は、本実施形態による画像処理装置１００の動作における正常画像学習ステップを説明する概略図である。

正常画像学習部１６により実施される正常画像学習ステップは、学習画像についてのパッチ切り出しステップの後に実施される。正常画像学習ステップは、パッチ切り出しステップが実施された学習画像のデータを使った教師あり機械学習を行って、学習モデルを作成する。

まず、図７に示すように、ステップＳ２０１において、正常画像学習部１６は、パッチ処理済みデータ保存部１４から、教師あり機械学習に使う学習用データを読み込む。ここで正常画像学習部１６が読み込む学習用データは、学習画像について作成された中心除去済みパッチ画像と中心画像との対である画像対のデータである。

次いで、ステップＳ２０２において、正常画像学習部１６は、ステップＳ２０１で読み込んだ学習用データの画像対のうち、中心除去済みパッチ画像を学習データ、中心画像を教師データとして学習を行う学習処理を実施する。正常画像学習部１６は、検査対象品の正常な状態を表す画像である学習画像について作成された中心除去済みパッチ画像及び中心画像を用いて学習モデルを学習させる。

図８及び図９は、ステップＳ２０２の正常画像学習部１６による学習のイメージを示している。正常画像学習部１６は、図８に示すように、学習用データの中心除去済みパッチ画像ＩＭｒから、教師データとする中心画像ＩＭｃを復元して中心画像ＩＭｃを推測した推測画像を生成する学習モデルである正常画像学習モデルＭｎを作成する。ここで、正常画像学習部１６は、正常画像学習モデルＭｎを作成する手法として、例えば、オートエンコーダのように入力を再現することのできる手法を用いることができる。また、正常画像学習部１６は、学習の手法として例えばディープラーニングを用いた機械学習を実施することができる。正常画像学習部１６は、図９に示すように、学習画像である画像ＩＭについて、切り出されたパッチ画像ＩＭｐから作成された中心除去済みパッチ画像ＩＭｒと中心画像ＩＭｃとの画像対を複数用いて正常画像学習モデルＭｎを作成するための学習を行う。こうして、検査対象品の正常な状態を表す画像である学習画像について作成された中心除去済みパッチ画像ＩＭｒ及び中心画像ＩＭｃを用いて学習させた正常画像学習モデルＭｎが作成される。

次いで、ステップＳ２０３において、正常画像学習部１６は、ステップＳ２０２で作成された学習済みの正常画像学習モデルを正常画像学習モデル記憶部１８に保存する。

上述のようにして、正常画像学習部１６は、パッチ画像の一部である中心除去済みパッチ画像から、パッチ画像の他の一部である中心画像を復元する正常画像学習モデルを作成する。正常画像学習部１６は、以下に説明する正常画像生成ステップの前にあらかじめ学習ステップを実施して正常画像学習モデルを作成して正常画像学習モデル記憶部１８に保存しておくことができる。

一般的に、ディープラーニングをはじめとする機械学習では、高い精度を出すためには、大量の正解データが必要となる。正常品及び不良品の判別の場合には、正解データとして正常品及び不良品のいずれについても十分な量のデータを収集する必要がある。しかしながら、実際の現場では、不良品についてデータを十分に収集することは困難である。

これに対して、本実施形態では、検査対象品の正常品を含む画像である学習画像から作成された中心除去済みパッチ画像及び中心画像を用いて機械学習を行うため、検査対象品の不良品を含む画像を学習画像として用意する必要がない。したがって、本実施形態によれば、十分な量の学習用データを容易に用意することができるため、学習モデルを容易に作成することができる。

次に、本実施形態による画像処理装置１００の動作における正常画像生成ステップについて図１０及び図１１を用いて説明する。図１０は、本実施形態による画像処理装置１００の動作における正常画像生成ステップを示すフローチャートである。図１１は、本実施形態による画像処理装置１００の動作における正常画像生成ステップを説明する概略図である。

正常画像生成部２２により実施される正常画像生成ステップは、学習モデルと学習画像又は検査画像の中心除去済みパッチ画像とを使って、学習画像又は検査画像の中心画像を推測した推測画像である正常画像を生成する。学習画像について生成された正常画像は、閾値設定のために用いられる。検査画像について生成された正常画像は、不良検出のために用いられる。

まず、図１０に示すように、ステップＳ３０１において、正常画像生成部２２は、パッチ処理済みデータ保存部１４から、正常画像を生成するための対象データを読み込む。ここで正常画像生成部２２が読み込む対象データは、学習データ保存部１０の学習画像のデータ又は検査データ保存部２０の検査画像のデータからパッチ切り出しステップで作成された中心除去済みパッチ画像のデータである。正常画像生成部２２は、パッチ切り出し部１２により学習画像又は検査画像について作成される画像対のうち、中心除去済みパッチ画像を学習モデルに入力する画像とする。

次いで、ステップＳ３０２において、正常画像生成部２２は、正常画像学習モデル記憶部１８から、学習済みの学習モデルを読み込む。なお、ステップＳ３０１及びステップＳ３０２は、いずれが先に実施されてもよいし、同時に実施されてもよい。

次いで、ステップＳ３０３において、正常画像生成部２２は、ステップＳ３０１で読み込んだ中心除去済みパッチ画像を使って、ステップＳ３０２で読み込んだ学習モデルを用いて正常画像を生成する。正常画像生成部２２は、正常画像として、ステップＳ３０１で読み込んだ学習画像又は検査画像についての中心除去済みパッチ画像から、検査対象品が正常品である場合の中心画像を学習モデルにより推測して生成する。

図１１は、ステップＳ３０３の正常画像生成部２２による検査画像についての正常画像の生成のイメージを示している。正常画像生成部２２は、図１１に示すように、検査画像である画像ＩＭについて、切り出されたパッチ画像ＩＭｐから作成された中心除去済みパッチ画像ＩＭｒを正常画像学習モデルＭｎに対する入力とする。正常画像生成部２２は、中心除去済みパッチ画像ＩＭｒの入力に対する正常画像学習モデルＭｎの出力として、検査対象品が正常品である場合の中心画像ＩＭｃを推測した画像である正常画像ＩＭｎを生成する。なお、検査画像である画像ＩＭに含まれる検査対象品Ｔには、傷等の欠陥Ｄが生じている場合がある。学習画像についても、図１１に示す検査画像の場合と同様に正常画像を生成することができる。

次いで、ステップＳ３０４において、正常画像生成部２２は、ステップＳ３０３で作成された正常画像を生成正常データ保存部２４に保存する。

上述のようにして、正常画像生成部２２は、学習画像又は検査画像から作成された複数の中心除去済みパッチ画像のそれぞれについて、学習モデルにより正常画像を生成する。

不良品を検出する方法としては、機械学習を使わず、正常品のテンプレートを用意し、テンプレートと検査画像との差分に基づき不良品を検出する手法が考えられる。しかしながら、このようなテンプレートを用いた方法では、不良品の検出が、検査対象品の個体差、すなわち検査画像の個体差の影響を受ける場合がある。

これに対して、本実施形態では、検査画像における中心除去済みパッチ画像から正常画像を推測して生成し、推測された正常画像を基準に不良品を検出する。このため、本実施形態では、正常品のテンプレートを用いる場合とは異なり、ロバスト性の高い不良品の検出を実現することができる。

さらに、本実施形態では、後述するように不良検出のための閾値を設定するため、正常品の画像にバリエーションがある場合であっても、高い精度で不良品を検出することができる。

次に、本実施形態による画像処理装置１００の動作における差分画像学習ステップについて図１２及び図１３を用いて説明する。図１２は、本実施形態による画像処理装置１００の動作における差分画像学習ステップを示すフローチャートである。図１３は、本実施形態による画像処理装置１００の動作における差分画像学習ステップを説明する概略図である。

差分画像学習部２８により実施される差分画像学習ステップは、学習画像についての正常画像生成ステップの後に実施される。差分画像学習ステップは、パッチ切り出しステップが実施された学習画像のデータ、及び差分計算部２６により生成された差分画像のデータを使った教師あり機械学習を行って、学習モデルを作成する。

まず、図１２に示すように、ステップＳ４０１において、差分計算部２６は、差分画像学習部２８における機械学習に用いられる差分画像を生成する。差分画像の生成では、差分計算部２６は、学習画像についての画像対のうちの中心除去済みパッチ画像から正常画像生成部２２により生成された正常画像と、その中心除去済みパッチ画像と画像対をなす中心画像との差分を計算する。これにより、差分計算部２６は、学習画像について、中心画像と正常画像とのピクセルごとのピクセル値の差の絶対値をピクセル値とする差分画像を生成する。

次いで、ステップＳ４０２において、差分画像学習部２８は、学習画像について作成された中心除去済みパッチ画像を学習データ、ステップＳ４０１で生成された差分画像を教師データとして学習を行う学習処理を実施する。差分画像学習部２８は、学習データとして用いる中心除去済みパッチ画像をパッチ処理済みデータ保存部１４から読み込む。差分画像学習部２８は、学習画像について作成された中心除去済みパッチ画像及び差分画像を用いて学習モデルを学習させる。

図１３は、ステップＳ４０２の差分画像学習部２８による学習のイメージを示している。差分画像学習部２８は、図１３に示すように、学習用データの中心除去済みパッチ画像ＩＭｒから、教師データとする差分画像ＩＭｄを復元して差分画像ＩＭｄを推測した推測画像を生成する学習モデルである差分画像学習モデルＭｄを作成する。ここで、差分画像学習部２８は、差分画像学習モデルＭｄを作成する手法として、オートエンコーダのように入力を再現することのできる手法を用いることができる。また、差分画像学習部２８は、学習の手法として例えばディープラーニングを用いた機械学習を実施することができる。差分画像学習部２８は、学習画像である画像ＩＭについて、切り出されたパッチ画像ＩＭｐから作成された中心除去済みパッチ画像ＩＭｒと差分画像ＩＭｄとの画像対を複数用いて差分画像学習モデルＭｄを作成するための学習を行う。こうして、学習画像について作成された中心除去済みパッチ画像ＩＭｒ及び差分画像ＩＭｄを用いて学習させた差分画像学習モデルＭｄが作成される。

次いで、ステップＳ４０３において、差分画像学習部２８は、ステップＳ４０２で作成された学習済みの差分画像学習モデルを差分画像学習モデル記憶部３０に保存する。

次に、本実施形態による画像処理装置１００の動作における不良品検出ステップについて図１４乃至図１６を用いて説明する。図１４は、本実施形態による画像処理装置の動作における不良品検出ステップを示すフローチャートである。図１５及び図１６は、本実施形態による画像処理装置１００の動作における不良品検出ステップを説明する概略図である。

不良品検出部３６により実施される不良品検出ステップは、検査画像について作成された中心除去済みパッチ画像と中心画像との画像対のうちの中心画像と、その中心除去済みパッチ画像から生成された正常画像との差分を計算する。さらに、不良品検出ステップでは、計算された差分に基づき、異常である不良品を判別して検出する。

まず、図１４に示すように、ステップＳ５０１において、不良品検出部３６は、対象データの一方として、パッチ処理済みデータ保存部１４から、検査画像について作成された中心除去済みパッチ画像と中心画像との画像対のうちの中心画像のデータを読み込む。また、ステップＳ５０１において、不良品検出部３６は、対象データの他方として、生成正常データ保存部２４から、読み込んだ中心画像と画像対をなす中心除去済みパッチ画像から学習モデルにより生成された正常画像のデータを読み込む。正常画像は、中心除去済みパッチ画像から推測された中心画像である。

次いで、ステップＳ５０２において、不良品検出部３６は、ステップＳ５０１で読み込んだ２種類の中心画像の差分、すなわち中心画像と正常画像との差分を計算する。これにより、不良品検出部３６は、検査画像について、中心画像と正常画像とのピクセルごとのピクセル値の差の絶対値をピクセル値とする差分画像を生成する。

このように、不良品検出部３６及び上述の差分計算部２６は、２種類の中心画像の差分を計算する。これらの際には、例えば、ＲＧＢ画像その他のカラー画像の２種類の中心画像をそのまま差分の計算に用いるほかに、別の種類の画像や別の色空間の画像への変換、フィルタ処理を行ってから差分の計算に用いることもできる。例えば、グレースケール画像、２値化画像等の別の種類の画像に変換したり、ＨＳＶやＹＣｂＣｒといった別の色空間の画像に変換したりしてから差分の計算に用いることができる。また、例えば、平均化フィルタ、メディアンフィルタ等の前処理フィルタや、ソーベルフィルタ、ラプラシアンフィルタ等のエッジ抽出フィルタを用いたフィルタ処理を行ってから差分の計算に用いることができる。

一方、ステップＳ５０３において、差分画像生成部３２は、検査画像について作成された中心除去済みパッチ画像から差分画像を推測して生成する。差分画像生成部３２は、差分画像学習ステップで学習された差分画像学習モデルを用いて差分画像を推測する。

次いで、ステップＳ５０４において、閾値設定部３４は、ステップＳ５０３で差分画像生成部３２により生成された差分画像に基づき、不良品検出部３６における不良検出に用いられる閾値を設定する。例えば、閾値設定部３４は、差分画像の各ピクセル値をピクセルごとの閾値として設定し、又は差分画像の各ピクセル値に一定の乗率を掛けたものをピクセルごとの閾値として設定する。こうして、本実施形態では、閾値設定部３４により不良検出のための閾値が自動的に設定される。

次いで、ステップＳ５０５において、不良品検出部３６は、ステップＳ５０２で計算された差分が、ステップＳ５０４で設定された閾値を超えるか否かをピクセルごとに判定する。

不良品検出部３６は、差分が閾値を超えていないと判定すると（ステップＳ５０５、ＮＯ）、当該ピクセルを異常のない正常ピクセルであると判定する（ステップＳ５０７）。一方、不良品検出部３６は、差分が閾値を超えていると判定すると（ステップＳ５０５、ＹＥＳ）、当該ピクセルを異常のある不良ピクセルであると判定する（ステップＳ５０６）。こうして、不良品検出部３６は、検査画像から作成された中心画像について、不良ピクセルを検出する。

不良品検出部３６は、こうして検出される不良ピクセルに基づき、検査画像から作成された中心画像が正常であるか不良であるかを判定する。例えば、不良品検出部３６は、不良ピクセルの総数、不良ピクセルが連続する領域の面積又は不良ピクセルを含む領域の数に基づき、中心画像が正常であるか不良であるかを判定することができる。すなわち、不良品検出部３６は、不良ピクセルが連続する領域の面積又は不良ピクセルを含む領域の数が所定の閾値を超えた場合に、中心画像が不良であると判定することができる。

図１５は、検査画像である画像ＩＭから作成された中心画像ＩＭｃが正常であると判定される場合のイメージを示している。不良品検出部３６は、図１５に示すように、中心画像ＩＭｃと正常画像ＩＭｎとの差分を計算する。

差分画像生成部３２は、対応する中心除去済みパッチ画像ＩＭｒから差分画像学習モデルＭｄを用いて推測画像である差分画像ＩＭｔを推測して生成する。さらに、閾値設定部３４は、差分画像生成部３２により生成された差分画像ＩＭｔに基づき閾値を設定する。

不良品検出部３６は、計算した中心画像ＩＭｃと正常画像ＩＭｎとの差分が、閾値設定部３４により設定された閾値を超えるか否かをピクセルごとに判定して、不良ピクセルを検出する。不良品検出部３６は、こうして不良ピクセルを検出した結果、例えばそれら不良ピクセルの総数が閾値を超えないため、中心画像ＩＭｃが正常であると判定する。図１５に示す場合、中心画像ＩＭｃは、欠陥Ｄを含んでいないため、例えば不良ピクセルの総数が閾値を超えず、正常であると判定される。

一方、図１６は、検査画像である画像ＩＭから作成された中心画像ＩＭｃが不良であると判定される場合のイメージを示している。不良品検出部３６は、図１６に示すように、図１５に示す場合と同様に不良ピクセルを検出した結果、例えばそれら不良ピクセルの総数が閾値を超えるため、中心画像ＩＭｃが不良であると判定する。図１６に示す場合、中心画像ＩＭｃは、欠陥Ｄを含んでいるため、例えば不良ピクセルの総数が閾値を超え、不良であると判定される。

次いで、ステップＳ５０８において、不良品検出部３６は、検査画像について作成された中心画像が正常であるか不良であるかの判定結果を出力する。

不良品検出部３６は、上述したステップＳ５０１からステップＳ５０８までのステップを、検査画像について作成された複数の中心画像のそれぞれについて実施する。

次いで、ステップＳ５０９において、不良品検出部３６は、ステップＳ５０８で出力された判定結果に基づき、不良品を検出してその検出結果を出力する。不良品の検出に際して、不良品検出部３６は、検査画像について不良と判定された中心画像の数が零又は所定数以下である場合には、検査画像に含まれる検査対象品が正常品であると判定する。一方、不良品検出部３６は、検査画像について不良と判定された中心画像の数が所定数を超える場合には、検査画像に含まれる検査対象品が不良品であると判定する。

こうして、不良品検出部３６は、検査画像に含まれる検査対象品が正常品であるか不良品であるかの検査対象品の良否を判定して不良品を検出し、その検出結果を出力する。

上述のように、本実施形態では、検査対象品の正常品を含む学習画像を用いて、中心除去済みパッチ画像から中心画像を復元する正常画像学習モデルを作成するため、不良品を含む画像を収集する必要がない。したがって、本実施形態によれば、十分な量の学習用データを容易に用意することができるため、学習モデルを容易に作成することができる。

また、本実施形態では、検査画像における中心除去済みパッチ画像から正常画像を推測して生成し、推測された正常画像を基準に不良品を検出する。このため、本実施形態によれば、ロバスト性の高い不良品の検出を実現することができる。

さらに、本実施形態では、不良ピクセルを検出するために用いる閾値を、差分画像生成部３２により差分画像学習モデルを用いて生成された差分画像に基づき、閾値設定部３４により設定する。これにより、本実施形態では、正常品の画像に、個々の品ごとに変動する変動部分が含まれている場合であっても、高い精度で不良品を検出することができる。

正常品の画像には、個々の品ごとに変動する刻印、ラベル等の変動部分が含まれている場合がある。変動部分は、典型的には、例えば、シリアル番号、ロット番号、日付等を表示する刻印、ラベル等の画像部分である。これらのような変動部分を含む場合、検査対象品の画像と、正常画像生成部２２により生成された対応する正常画像との差分が、上記のような変動部分に起因する差分であるのか、本来検出すべき不良に起因する差分であるのか判別が困難なことがある。このため、差分と固定の閾値とを比較して不良を検出する場合、閾値を大きく設定すると不良を見逃し、閾値を小さく設定すると、正常品の変動部分を不良として誤って検出するおそれがある。

例えば、図１７に示すように、検査対象品Ｔを含む画像ＩＭには、検査対象品Ｔごとに、「ＡＢＣ１２３」、「ＡＢＣ１２４」、…のように変動する変動部分が含まれている。このような変動部分を含むパッチ画像ＩＭｐの中心除去済みパッチ画像ＩＭｒから正常画像生成部２２により正常画像学習モデルＭｎを用いて出力される正常画像ＩＭｎは、変動部分を平均した平均的な画像になる。このため、閾値を小さく設定すると、正常品の変動部分を不良として誤って検出するおそれがある。一方、閾値を大きく設定すると、不良を見逃すおそれがある。

これに対して、本実施形態では、閾値の設定のために用いる差分画像学習モデルの学習において、正常画像中のあるピクセルのピクセル値の取りうる範囲に応じて、閾値の基準となる差分が出力されるように学習される。図１８及び図１９は、それぞれ正常画像中のあるピクセルのピクセル値の分布を示している。

変動部分が少なく、正常画像中のあるピクセルのピクセル値の取りうる範囲が狭い図１８に示す場合、閾値の基準となる差分が小さくなるように差分画像学習モデルが学習される。一方、図１８に示す場合と比較して変動部分が多く、正常画像中のあるピクセルのピクセル値の取りうる範囲が広い図１９に示す場合、閾値の基準となる差分が図１８に示す場合よりも大きくなるように差分画像学習モデルが学習される。

このように、本実施形態では、正常画像における変動部分に応じて不良検出のための閾値を設定することができるため、高い精度で不良を検出することができる。また、本実施形態では、このような閾値を閾値設定部３４により自動的に設定することができるため、人手による閾値設定の手間を低減することができる。

以上のとおり、本実施形態によれば、検査対象品を含む検査画像の一部を使って、検査対象品の少なくとも所定の領域を含む推測画像を正常画像として生成するので、画像の個体差の影響を低減しつつ高い精度で異常である不良品を判別することができる。

なお、本実施形態による画像処理装置１００は、図２０に示すように、検出結果保存部３８と、検出結果表示部４０とを備えるように構成することもできる。図２０は、本実施形態の変形例による画像処理装置の機能構成を示すブロック図である。

図２０に示す場合、不良品検出部３６は、不良品の検出結果を検出結果保存部３８に保存する。不良品検出部３６は、検出結果として、例えば、検査画像を識別する識別子とともに、検査対象品が正常品であるか不良品であるかを示す情報、不良品である場合には不良箇所を示す画像のデータ等を検出結果保存部３８に保存することができる。また、不良品検出部３６は、不良ピクセルの検出結果を検出結果保存部３８に保存することもできる。

検出結果保存部３８は、不良品検出部３６により出力された不良品又は不良ピクセルの検出結果を保存する。検出結果保存部３８には、例えば、検出結果を格納するデータベースが保存されている。検出結果保存部３８の機能は、学習データ保存部１０等と同様にＨＤＤ１００８により実現される。

検出結果表示部４０は、検出結果保存部３８に保存された不良品又は不良ピクセルの検出結果を表示する。検出結果表示部４０は、検出結果の表示に際して、不良ピクセルを表示することにより、不良箇所を示す画像を表示することができる。検出結果表示部４０は、表示装置としての出力装置１０１０により実現される。

また、上記図８に示す場合においては、正常画像学習部１６は、パッチ画像ＩＭｐを構成する枠状領域の中心除去済みパッチ画像ＩＭｒから、パッチ画像ＩＭｐを構成する中心領域の中心画像ＩＭｃを復元する学習モデルを学習して作成している。しかしながら、これに限定されるものではない。例えば、正常画像学習部１６は、中心除去済みパッチ画像ＩＭｒから、中心画像ＩＭｃを含むパッチ画像ＩＭｐの全体を復元してパッチ画像ＩＭｐを推測した推測画像を生成する学習モデルを学習して作成することもできる。この場合、正常画像生成部２２は、このような学習モデルを用いて、正常画像として、正常品である場合のパッチ画像ＩＭｐの全体を推測した推測画像を生成することができる。また、不良品検出部３６は、検査画像についてのパッチ画像ＩＭｐの全体と、そのパッチ画像ＩＭｐの全体を推測した推測画像と比較して不良品を検出することができる。

［他の実施形態］
上記各実施形態において説明した画像処理装置は、他の実施形態によれば、図２１に示すように構成することもできる。図２１は、他の実施形態による画像処理装置の機能構成を示すブロック図である。

図２１に示すように、画像処理装置２０００は、検査対象を含む検査画像の一部を使って、検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部２００２を備えている。また、画像処理装置２０００は、検査画像の一部を使って、第１の推測画像と検査画像との差分を推測して第２の推測画像を生成する第２の生成部２００４を備えている。また、画像処理装置２０００は、第１の推測画像と、検査画像とを比較する比較部２００６と、比較部２００６による比較結果を出力する出力部２００８とを備えている。比較部２００６は、第１の推測画像と検査画像との差分を、第２の推測画像と比較する。

他の実施形態による画像処理装置２０００によれば、検査対象を含む検査画像の一部を使って、検査対象の少なくとも所定の領域を含む推測画像を生成するため、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。

また、上記各実施形態において説明した画像処理装置は、さらに他の実施形態によれば、図２２に示すように構成することもできる。図２２は、さらに他の実施形態による画像処理装置の機能構成を示すブロック図である。

図２２に示すように、さらに他の実施形態による画像処理装置３０００は、物体を含む第１の画像の一部を使って、物体の少なくとも所定の領域を含む第２の画像を生成する第１の生成部３００２を備えている。また、画像処理装置３０００は、第１の画像の一部を使って、第２の画像と第１の画像との差分を推測して第３の画像を生成する第２の生成部３００４を備えている。また、画像処理装置３０００は、第２の画像と、第１の画像とを比較する比較部３００６と、比較部３００６による比較結果を出力する出力部３００８とを備えている。比較部３００６は、第２の画像と第１の画像との差分を、第３の画像と比較する。

さらに他の実施形態による画像処理装置３０００によれば、物体を含む第１の画像の一部を使って、物体の少なくとも所定の領域を含む第２の画像を生成するため、画像の個体差の影響を低減しつつ高い精度で異常を判別することができる。

［変形実施形態］
本発明は、上記実施形態に限らず、種々の変形が可能である。

例えば、上記実施形態では、検査対象品から不良品を検出する検査の場合を例に説明したが、これに限定されるものではない。本発明は、何らかの物体について正常状態であるか異常状態であるかを判定して、物体の異常状態、すなわち正常状態以外の状態を検出する場合に広く適用することができる。本発明は、例えば、建築物等の物体の破損を異常として検出する場合、異常物を検出する場合等にも適用することができる。

また、上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部と、
前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成部と、
前記第１の推測画像と、前記検査画像とを比較する比較部と、
前記比較部による比較結果を出力する出力部と、
を備え、
前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理装置。

（付記２）
前記検査画像は、第１の領域と第２の領域とを含み、
前記第１の生成部は、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記第１の推測画像を生成し、
前記第２の生成部は、前記検査画像における前記第１の領域の前記画像を使って、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を推測して前記第２の推測画像を生成し、
前記比較部は、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を、前記第２の推測画像と比較する付記１記載の画像処理装置。

（付記３）
前記第１の生成部は、前記第１の領域の前記画像から前記第２の領域の前記画像を推測するように学習させた第１の学習モデルを用いて前記第１の推測画像を生成する付記２記載の画像処理装置。

（付記４）
前記第１の学習モデルは、前記検査対象の正常な状態を表す画像を用いて学習させたものである付記３記載の画像処理装置。

（付記５）
前記第２の生成部は、前記第１の領域の前記画像から、前記第２の領域の前記第１の推測画像と前記第２の領域の前記画像との差分を推測するように学習させた第２の学習モデルを用いて前記第２の推測画像を生成する付記２乃至４のいずれかに記載の画像処理装置。

（付記６）
前記第２の学習モデルは、前記第１の領域と前記第２の領域とを含む前記検査対象の正常な状態を表す画像についての、前記第２の領域の前記第１の推測画像と前記第２の領域の画像との差分画像を用いて学習させたものである付記５記載の画像処理装置。

（付記７）
前記第２の生成部により生成された前記第２の推測画像に基づき閾値を設定する閾値設定部を有し、
前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記閾値設定部により設定された前記閾値と比較することにより、前記検査画像における不良を検出する付記１乃至６のいずれかに記載の画像処理装置。

（付記８）
前記閾値設定部は、ピクセルごとの前記閾値を設定し、
前記比較部は、前記第１の推測画像と前記検査画像との差分をピクセルごとに前記閾値と比較することにより、前記検査画像における不良ピクセルを検出する付記７記載の画像処理装置。

（付記９）
前記第１の推測画像は、前記少なくとも所定の領域に前記検査対象の正常な状態を表す画像を含む付記１乃至８のいずれかに記載の画像処理装置。

（付記１０）
前記比較部による前記比較結果に基づいて、前記検査対象の良否を判定する判定部を備える付記１乃至９のいずれかに記載の画像処理装置。

（付記１１）
検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、
前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、
前記第１の推測画像と、前記検査画像とを比較する比較ステップと、
前記比較ステップによる比較結果を出力する出力ステップと、
を備え、
前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法。

（付記１２）
コンピュータに、
検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、
前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、
前記第１の推測画像と、前記検査画像とを比較する比較ステップと、
前記比較ステップによる比較結果を出力する出力ステップと、
を備え、
前記比較ステップは、前記第１の推測画像と前記検査画像との差分を、前記第２の推測画像と比較する画像処理方法を実行させるプログラムが記録された記録媒体。

（付記１３）
物体を含む第１の画像の一部を使って、前記物体の少なくとも所定の領域を含む第２の画像を生成する第１の生成部と、
前記第１の画像の前記一部を使って、前記第２の画像と前記第１の画像との差分を推測して第３の画像を生成する第２の生成部と、
前記第２の画像と、前記第１の画像とを比較する比較部と、
前記比較部による比較結果を出力する出力部と、
を備え、
前記比較部は、前記第２の画像と前記第１の画像との差分を、前記第３の画像と比較する画像処理装置。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年１月２９日に出願された日本出願特願２０１８−０１２３０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０…学習データ保存部
１２…パッチ切り出し部
１４…パッチ処理済みデータ保存部
１６…正常画像学習部
１８…正常画像学習モデル記憶部
２０…検査データ保存部
２２…正常画像生成部
２４…生成正常データ保存部
２６…差分計算部
２８…差分画像学習部
３０…差分画像学習モデル記憶部
３２…差分画像生成部
３４…閾値設定部
３６…不良品検出部
３８…検出結果保存部
４０…検出結果表示部
１００…画像処理装置

Claims (9)

1. 検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成部と、
   前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成部と、
   前記第１の推測画像と、前記検査画像とを比較する比較部と、
   前記比較部による比較結果を出力する出力部と、
   を備え、
   前記検査画像は、第１の領域と第２の領域とを含み、
   前記第１の生成部は、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記第１の推測画像を生成し、
   前記第２の生成部は、前記検査画像における前記第１の領域の前記画像を使って、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を推測して前記第２の推測画像を生成し、
   前記比較部は、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を、前記第２の推測画像と比較する画像処理装置。
2. 前記第１の生成部は、前記第１の領域の前記画像から前記第２の領域の前記画像を推測するように学習させた第１の学習モデルを用いて前記第１の推測画像を生成する請求項１記載の画像処理装置。
3. 前記第１の学習モデルは、前記検査対象の正常な状態を表す画像を用いて学習させたものである請求項２記載の画像処理装置。
4. 前記第２の生成部は、前記第１の領域の前記画像から、前記第２の領域の前記第１の推測画像と前記第２の領域の前記画像との差分を推測するように学習させた第２の学習モデルを用いて前記第２の推測画像を生成する請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第２の学習モデルは、前記第１の領域と前記第２の領域とを含む前記検査対象の正常な状態を表す画像についての、前記第２の領域の前記第１の推測画像と前記第２の領域の前記画像との差分画像を用いて学習させたものである請求項４記載の画像処理装置。
6. 前記第２の生成部により生成された前記第２の推測画像に基づき閾値を設定する閾値設定部を有し、
   前記比較部は、前記第１の推測画像と前記検査画像との差分を、前記閾値設定部により設定された前記閾値と比較することにより、前記検査画像における不良を検出する請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記閾値設定部は、ピクセルごとの前記閾値を設定し、
   前記比較部は、前記第１の推測画像と前記検査画像との差分をピクセルごとに前記閾値と比較することにより、前記検査画像における不良ピクセルを検出する請求項６記載の画像処理装置。
8. 検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、
   前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、
   前記第１の推測画像と、前記検査画像とを比較する比較ステップと、
   前記比較ステップによる比較結果を出力する出力ステップと、
   を備え、
   前記検査画像は、第１の領域と第２の領域とを含み、
   前記第１の生成ステップは、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記第１の推測画像を生成し、
   前記第２の生成ステップは、前記検査画像における前記第１の領域の前記画像を使って、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を推測して前記第２の推測画像を生成し、
   前記比較ステップは、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を、前記第２の推測画像と比較する画像処理方法。
9. コンピュータに、
   検査対象を含む検査画像の一部を使って、前記検査対象の少なくとも所定の領域を含む第１の推測画像を生成する第１の生成ステップと、
   前記検査画像の前記一部を使って、前記第１の推測画像と前記検査画像との差分を推測して第２の推測画像を生成する第２の生成ステップと、
   前記第１の推測画像と、前記検査画像とを比較する比較ステップと、
   前記比較ステップによる比較結果を出力する出力ステップと、
   を備え、
   前記検査画像は、第１の領域と第２の領域とを含み、
   前記第１の生成ステップは、前記検査画像における前記第１の領域の画像を使って、前記第２の領域の前記第１の推測画像を生成し、
   前記第２の生成ステップは、前記検査画像における前記第１の領域の前記画像を使って、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を推測して前記第２の推測画像を生成し、
   前記比較ステップは、前記第２の領域の前記第１の推測画像と、前記検査画像における前記第２の領域の前記画像との差分を、前記第２の推測画像と比較する画像処理方法を実行させるプログラム。

Images