JP2022123734A - 画像判定方法、画像判定システムおよび画像判定プログラム - Google Patents

Abstract

【課題】効率よく判定精度の向上を図る画像判定方法、画像判定システムおよび画像判定プログラムを提供する。【解決手段】画像判定方法は、画像判定装置が、製造ラインにおける製品の画像を取得し、深層学習ネットワークである判定モデルを用いて分類判定する判定工程Ｓ１０７と、学習装置が、画像が判定モデルへ入力された場合の画像に対する判定モデルの着目点を抽出して可視化することによって判定モデルの判定結果を解析する第１の解析工程Ｓ１１１と、画像が判定モデルへ入力された場合の高次元空間における画像の特徴量を次元圧縮による低次元表現へ変換して可視化することによって判定モデルの判定結果を解析する第２の解析工程Ｓ１１２と、第１の解析工程Ｓ１１１および第２の解析工程Ｓ１１２における解析結果に基づいて分類された前記画像に基づいて判定モデルを学習する学習工程Ｓ１０４と、を含む。【選択図】図１２

Description

開示の実施形態は、画像判定方法、画像判定システムおよび画像判定プログラムに関する。

従来、ＡＩ（Artificial Intelligence）の分野において、ＣＮＮ（Convolutional Neural Network）等の深層学習ネットワークを判定モデルとして用いた画像判定により、画像中の物体を分類する技術が知られている（たとえば、特許文献１参照）。

こうした技術を利用することにより、たとえば製造ラインで製造された製品の画像から、かかる製品が良品であるか不良品であるか、また不良品であればどのような不良があるのかを分類することができる。

特開２０１８－０２２４８４号公報

しかしながら、上述した従来技術には、効率よく判定精度の向上を図るうえで、さらなる改善の余地がある。

たとえば、深層学習ネットワークは、言わば一種の関数であり、ブラックボックスである。このため、従来技術では、誤判定が生じた場合などに、判定精度の向上のために学習用画像を再分類して判定モデルの再学習を行いたくとも、そもそもの判定根拠が不明確なため、適切に学習用画像を再分類することが難しかった。

また、判定精度の向上のためには、大量の学習用画像を用いて判定モデルを学習し、かかる判定モデルを大量の検証用画像を用いて検証することが望ましいが、従来技術では、その検証の多くを人が目視で行う必要があり、煩雑であった。

実施形態の一態様は、上記に鑑みてなされたものであって、効率よく判定精度の向上を図ることができる画像判定方法、画像判定システムおよび画像判定プログラムを提供することを目的とする。

実施形態の一態様に係る画像判定方法は、判定工程と、第１の解析工程と、第２の解析工程と、学習工程とを含む。前記判定工程は、製造ラインにおける製品の画像を取得し、深層学習ネットワークである判定モデルを用いて分類判定する。前記第１の解析工程は、前記画像が前記判定モデルへ入力された場合の前記画像に対する前記判定モデルの着目点を抽出して可視化することによって前記判定モデルの判定結果を解析する。前記第２の解析工程は、前記画像が前記判定モデルへ入力された場合の高次元空間における前記画像の特徴量を次元圧縮による低次元表現へ変換して可視化することによって前記判定モデルの判定結果を解析する。前記学習工程は、前記第１の解析工程および前記第２の解析工程における解析結果に基づいて分類された前記画像に基づいて前記判定モデルを学習する。

実施形態の一態様によれば、効率よく判定精度の向上を図ることができる。

図１は、実施形態に係る画像判定方法の概要説明図（その１）である。 図２は、実施形態に係る画像判定方法の概要説明図（その２）である。 図３は、実施形態に係る学習装置のブロック図である。 図４は、解析部のブロック図である。 図５は、着目点抽出部による可視化の具体例の説明図（その１）である。 図６は、着目点抽出部による可視化の具体例の説明図（その２）である。 図７は、次元圧縮部による可視化の具体例の説明図（その１）である。 図８は、次元圧縮部による可視化の具体例の説明図（その２）である。 図９は、次元圧縮部による可視化の具体例の説明図（その３）である。 図１０は、実施形態に係る画像判定装置のブロック図である。 図１１は、実施形態に係るプロジェクタ制御装置のブロック図である。 図１２は、実施形態に係る画像判定装置１００が実行する処理手順を示す処理シーケンスである。 図１３は、学習装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下、添付図面を参照して、本願の開示する画像判定方法、画像判定システムおよび画像判定プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、実施形態に係る画像判定方法の概要について、図１および図２を参照して説明する。図１は、実施形態に係る画像判定方法の概要説明図（その１）である。また、図２は、実施形態に係る画像判定方法の概要説明図（その２）である。

なお、以下では、製造ラインにおいて製品として丸形のクッキーが製造され、かかるクッキーの出荷前検査等において、欠けや焦げ、割れなどのある不良品を検知する場合を例に挙げて説明を行う。また、以下では、画像判定用の判定モデルが、深層学習ネットワークであるものとする。

図１に示すように、実施形態に係る画像判定システム１は、学習装置１０と、画像判定装置１００と、プロジェクタ制御装置２００とを含む。

画像判定装置１００およびプロジェクタ制御装置２００は、いわゆるエッジコンピューティングにおけるエッジプラットフォームに相当する装置であり、カメラ１５０、コンベア装置３００、プロジェクタ４００（図２参照）等を含む製造ラインに設けられる。

学習装置１０は、イントラネットやインターネット、携帯電話回線網等のネットワークＮを介して製造ラインと通信可能に設けられる。学習装置１０は、主たる機能として、たとえば製造ラインから学習用画像を収集し、収集した学習用画像を分類して学習用データセットを生成し、かかるデータセットを用いた深層学習により判定モデルを学習する（機能Ｆ１）。また、学習装置１０は、ネットワークＮを介し、学習した判定モデルを画像判定装置１００へ配信する。

画像判定装置１００は、コンベア装置３００を流れるクッキーＰ１，Ｐ２，Ｐ３…の画像を取得し、学習装置１０によって学習された判定モデルを用いて画像判定を行い、学習装置１０およびプロジェクタ制御装置２００に対し、判定結果を出力する（機能Ｆ２）。

たとえば、図１には、画像判定装置１００が画像判定により、クッキーＰ１は「欠け」のある不良品であり、クッキーＰ２は「焦げ」のある不良品であると判定した例を示している。なお、判定結果は少なくとも、判定された画像の分類クラスおよびそのスコア（類似度、確度等）を含む。

また、学習装置１０に対する判定結果には、実際に判定された画像が学習用画像として含まれる。学習装置１０は、かかる判定結果を、たとえばオペレータ（「ユーザ」の一例に相当）等の人手を介して検証し、誤判定等があれば、判定精度の向上のために学習用画像を再分類して判定モデルを再学習する。

このようなフィードバックを繰り返すことにより、画像判定システム１は、判定モデルの判定精度を向上させることができる。

ところで、既に述べたが、深層学習ネットワークは、言わば一種の関数であり、ブラックボックスである。このため、従来は、誤判定が生じた場合などに、学習用画像を再分類して判定モデルの再学習を行いたくとも、そもそもの判定根拠が不明確なため、適切に学習用画像を再分類することが難しかった。

また、判定精度の向上のためには、大量の学習用画像を用いて判定モデルを学習し、かかる判定モデルを大量の検証用画像を用いて検証することが望ましいが、従来は、その検証の多くをオペレータ等が目視で行う必要があり、煩雑であった。

そこで、実施形態に係る画像判定方法では、製造ラインにおける製品の画像を取得し、深層学習ネットワークである判定モデルを用いて分類判定し、上記画像が判定モデルへ入力された場合の上記画像に対する判定モデルの着目点を抽出して可視化することによって判定モデルの判定結果を解析し、上記画像が判定モデルへ入力された場合の高次元空間における上記画像の特徴量を次元圧縮による低次元表現へ変換して可視化することによって判定モデルの判定結果を解析し、着目点抽出および次元圧縮による解析結果に基づいて分類された上記画像に基づいて判定モデルを学習することとした。

具体的には、図１に示すように、実施形態に係る画像判定方法では、学習装置１０が、２つの手法により判定モデルの判定結果を解析する（ステップＳ１）。第１の手法では、学習装置１０は、勾配荷重クラス活性化マッピング手法（Ｇｒａｄ－ＣＡＭ：Gradient-weighted Class Activation Mapping）を用いた「着目点抽出」により、判定モデルによる判定根拠を可視化する。

これにより、オペレータは、判定モデルが「どこを見て分類（判定）したか」を一目で把握できるようになるため、たとえば誤判定している場合に、対象画像を適切に分類し直すことが可能となる。なお、かかる第１の手法による可視化の具体例については、図５および図６を用いた説明で後述する。

また、第２の手法では、学習装置１０は、ＵＭＡＰ（Uniform Manifold Approximation and Projection）を用いた「次元圧縮」（次元削減とも言う）により、判定結果をより見やすい形で可視化する。

ＵＭＡＰは、機械学習による非線形次元圧縮手法であり、リーマン幾何学と代数トポロジーに基づき、高次元空間のデータ構造を保ち、トポロジー間のクロス・エントロピーを最小にしながら低次元のデータに変換する。すなわち、実施形態に係る画像判定方法では、かかるＵＭＡＰを用いて、画像が判定モデルへ入力された場合の高次元空間における画像の特徴量を次元圧縮による低次元表現へ変換して可視化する。

このため、第２の手法によれば、低次元の埋め込み空間に、判定結果の分布をよりバラツキの少ない形で明示することが可能となり、誤判定している画像をオペレータが一目で分かるように可視化することが可能となる。かかる第２の手法による可視化の具体例については、図７～図９を用いた説明で後述する。

そして、学習装置１０は、かかる２つの手法による解析結果に基づき、学習用画像を再分類して再学習を行い（ステップＳ２）、再学習した判定モデルを画像判定装置１００へ配信する。そして、画像判定装置１００は、再学習された判定モデルを用いて、以降の画像判定を行うこととなる。

したがって、実施形態に係る画像判定方法によれば、効率よく判定精度の向上を図ることができる。

一方、プロジェクタ制御装置２００は、製造ラインに設けられたプロジェクタ４００を制御する装置である。具体的には、図２に示すように、実施形態に係る画像判定方法では、プロジェクタ制御装置２００は、画像判定装置１００の判定結果に応じたプロジェクタ投影を行う。

より具体的には、プロジェクタ制御装置２００は、コンベア装置３００を流れるクッキーＰ１，Ｐ２，Ｐ３…に対し、プロジェクタ４００によりマーカーを投影させる（ステップＳ３）。

このとき、プロジェクタ制御装置２００は、コンベア装置３００のコンベアの搬送速度と同じ速度でマーカーをスクロールさせる（ステップＳ３１）。言い換えれば、プロジェクタ制御装置２００は、マーカーが対象のクッキーＰ１，Ｐ２，Ｐ３…をトラッキングするように、プロジェクタ４００によりマーカーを投影させる。

また、プロジェクタ制御装置２００は、分類クラスや取るべき処置に応じて、マーカーの色や形を変更させる（ステップＳ３２）。たとえば、プロジェクタ制御装置２００は、分類クラスが「欠け」のクッキーＰ１と、「焦げ」のクッキーＰ２とで、マーカーの色や形を変更させる。

また、たとえば、プロジェクタ制御装置２００は、「コンベアから除去すべき」や、「生産へフィードバックすべき」といった取るべき処置に応じて、マーカーの色や形を変更させる。また、プロジェクタ制御装置２００は、判定結果に含まれる上述のスコアに応じて、「ＡＩが判定に悩んだもの」、すなわちスコアがグレーゾーンのものに、それと分かるマーカーを投影し、ライン担当者の目視によるチェックを促すようにしてもよい。

これにより、実施形態に係る画像判定方法によれば、判定モデルの高い判定精度に応じて、その結果を適切に製造ラインに反映させることが可能となる。なお、プロジェクタ制御装置２００は、「判定結果反映装置」の一例である。したがって、判定結果反映装置は、製造ラインに設けられ、画像判定装置１００の判定結果を反映すべき他の装置であってもよい。たとえば、判定結果反映装置は、画像判定装置１００の判定結果に応じて火加減を調節するクッキーのベイク装置等であってもよい。

以下、上述した実施形態に係る画像判定方法を適用した画像判定システム１の構成について、さらに具体的に説明する。

図３は、実施形態に係る学習装置１０のブロック図である。また、図４は、解析部１３ｄのブロック図である。なお、図３、図４、および、後に示す図１０，１１では、本実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図３、図４、図１０および図１１に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

なお、図３、図４、図１０および図１１を用いた説明では、これまでに既に述べた構成要素については、説明を簡略するか、省略する場合がある。

図３に示すように、実施形態に係る学習装置１０は、通信部１１と、記憶部１２と、制御部１３とを備える。また、学習装置１０は、操作部３と、表示部５とが接続される。操作部３は、キーボードやマウス、タッチパネル等によって実現される。表示部５は、ディスプレイ等によって実現される。

通信部１１は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１は、ネットワークＮに対し有線または無線で接続され、画像判定装置１００を含む製造ラインとの間で情報の送受信を行う。

記憶部１２は、たとえば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示す例では、記憶部１２は、収集情報データベース（ＤＢ）１２ａと、学習用データセット１２ｂと、判定モデル１２ｃとを記憶する。

収集情報データベース１２ａは、通信部１１を介し、後述する収集部１３ａによって収集される判定結果を含む各種のデータが格納されるデータベースである。学習用データセット１２ｂは、収集情報データベース１２ａへ格納された判定結果、および、操作部３を介したオペレータの操作等に基づき、後述する分類部１３ｂによって分類クラスごとに分類された学習用画像のデータセットである。判定モデル１２ｃは、後述する学習部１３ｃによって学習される深層学習ネットワークである。

制御部１３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１２に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部１３は、収集部１３ａと、分類部１３ｂと、学習部１３ｃと、解析部１３ｄと、表示制御部１３ｅと、配信部１３ｆとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

収集部１３ａは、通信部１１を介し、画像判定装置１００からの判定結果を収集する。また、収集部１３ａは、収集した判定結果を収集情報データベース１２ａへ格納する。

分類部１３ｂは、収集情報データベース１２ａへ格納された判定結果、および、操作部３を介したオペレータの操作等に基づき、学習用画像を「正常」、「欠け」、「焦げ」、「割れ」といった分類クラスごとに分類し、学習用データセット１２ｂを生成する。学習部１３ｃは、学習用データセット１２ｂに基づき、判定モデル１２ｃを学習する。

解析部１３ｄは、収集情報データベース１２ａへ格納された判定結果、および、判定モデル１２ｃに基づき、上述した第１の手法および第２の手法によって判定結果を解析する。図４に示すように、解析部１３ｄは、着目点抽出部１３ｄａと、次元圧縮部１３ｄｂとを有する。

着目点抽出部１３ｄａは、上述したＧｒａｄ－ＣＡＭを用いた着目点抽出により、学習用画像を判定モデル１２ｃへ入力したときの判定モデル１２ｃによる判定根拠を可視化する。

次元圧縮部１３ｄｂは、上述したＵＭＡＰを用いた次元圧縮により、低次元の埋め込み空間に、判定結果の分布を可視化する。なお、ＵＭＡＰは、次元圧縮手法の一例であり、他の手法を用いることを限定するものではない。たとえば、主成分分析や、ｔ分布型確率的近傍埋め込み法（ｔ－ＳＮＥ：t-distributed Stochastic Neighbor Embedding）等を用いてもよいが、計算速度は、ＵＭＡＰがより高速である。

ここで、着目点抽出部１３ｄａおよび次元圧縮部１３ｄｂによる可視化の具体例について、図５～図９を用いて説明する。図５は、着目点抽出部１３ｄａによる可視化の具体例の説明図（その１）である。また、図６は、着目点抽出部１３ｄａによる可視化の具体例の説明図（その２）である。

また、図７は、次元圧縮部１３ｄｂによる可視化の具体例の説明図（その１）である。また、図８は、次元圧縮部１３ｄｂによる可視化の具体例の説明図（その２）である。また、図９は、次元圧縮部１３ｄｂによる可視化の具体例の説明図（その３）である。

まず、図６を用いた説明では、図５に示すように、判定モデル１２ｃが、欠けＣがあると判定するクッキーＰの画像について考える。着目点抽出部１３ｄａは、このような欠けＣがあると判定される画像ｐ１，ｐ２，ｐ３…を判定モデル１２ｃへ入力し、欠けＣがあると判定された判定根拠を可視化する。

深層学習ネットワークは、畳み込み層とプーリング層を何層にもわたって積み重ねた特徴抽出部と、その特徴量出力を受け取ってクラスラベルと照合して教師あり学習を行う識別部との２つの部分に分けられる。また、識別部は通常、全結合の多層ニューラルネットワークで構成され、その最終層は特徴量を各分類クラスのスコアに変換するソフトマックス層になっている。

スコアは、入力画像に各分類クラスのタグが付与される確率（類似度と言い換えても可）や確度である。判定モデル１２ｃによる判定結果は、かかるスコアが最大となる分類クラスである。

着目点抽出部１３ｄａは、Ｇｒａｄ－ＣＡＭにより、分類クラスごとのスコアへの影響が大きい画像箇所を微分係数（勾配と言い換えても可）の平均化によって特定し、ヒートマップ化する。

図６には、かかるヒートマップの例を示している。図６の例では、画像ｐ１，ｐ２については、欠けＣの部分のみがヒートマップ化され、判定モデル１２ｃが、まさに欠けＣに着目して欠けＣがあると判定していることが分かる。したがって、画像ｐ１，ｐ２は、分類クラス「欠け」の学習用画像として適していることが一目で分かる。

一方で、画像ｐ３については、欠けＣの部分だけでなく、焦げＢの部分もヒートマップ化され、判定モデル１２ｃが、欠けＣだけでなく焦げＢにも着目していることが分かる。言い換えれば、画像ｐ３は、分類クラス「欠け」の学習用画像としては、ノイズ成分を含むものであることが一目で分かる。こうした場合に、かかるヒートマップは、オペレータに、画像ｐ３が分類クラス「欠け」の学習用画像としては適さないとして、学習用から除外させることができる。これにより、効率よく判定精度の向上に資することができる。

また、図７～図９に示すように、次元圧縮部１３ｄｂは、たとえば判定モデル１２ｃの高次元空間の特徴量マップを低次元（ここでは、３次元）に次元圧縮し、低次元の埋め込み空間に判定結果の分布を可視化する。また、次元圧縮部１３ｄｂは、かかる可視化情報を、オペレータに操作可能なＧＵＩ（Graphic User Interface）ツールとして生成する。

たとえば、図７に示すように、次元圧縮部１３ｄｂは、各判定結果に対応するチェックボックスを有するＧＵＩツールを生成する。かかるＧＵＩツールにおいて、図７に示すように、「欠け」および「焦げ」がチェックされたものとする。

すると、図７に示すように、「欠け」の判定結果を受けた各画像と、「焦げ」の判定を受けた各画像との、次元圧縮された低次元空間における分布が可視化される。なお、図中の低次元空間における丸印の各々は、各画像に対応しており、次元圧縮部１３ｄｂは、オペレータがその一つ一つを選択可能となるようにＧＵＩツールを生成する。

ここで、図中のカーソルＣｒが指すように、たとえば「欠け」と判定されているものの、特徴量としては「欠け」よりも「焦げ」の方にきわめて近い画像があり、オペレータがこれを選択したものとする。

すると、図８に示すように、次元圧縮部１３ｄｂは、かかる画像のファイル名や分類クラスのラベル名といった画像の詳細情報が示されるようにＧＵＩツールを生成する。同図の場合、その詳細情報によれば、該当の画像「ＩＭＧ＿１００１．ｐｎｇ」が分類クラス「欠け」であるにも関わらず、その特徴量は「焦げ」にきわめて近いため、本来であれば該当の画像が「焦げ」と判定されるべき誤判定であることが分かる。

したがって、オペレータは、かかるＧＵＩツールにより、誤判定を一目で把握することができる。そして、オペレータは、分類部１３ｂに該当の画像の分類をやり直させたうえで、学習部１３ｃが判定モデル１２ｃを学習することにより、判定モデル１２ｃの判定精度を向上させることができる。

なお、図９に示すように、ＧＵＩツールにおいて、さらに「割れ」のチェックボックスがチェックされた場合には、低次元空間にさらに「割れ」の各画像の分布が可視化されることとなる。また、図７～図９には図示していないが、オペレータは、ＧＵＩツール上の低次元空間を任意に３６０°回転させたり、拡大したり、縮小したりすることが可能である。

図３の説明に戻る。表示制御部１３ｅは、解析部１３ｄの解析結果を表示部５に表示させる。表示部５から操作部３へ破線の矢印で示すように、オペレータが、図５～図９に示したような解析部１３ｄの解析結果に基づいて再分類を指示すると、分類部１３ｂは、学習用データセット１２ｂの学習用画像を再分類し、学習部１３ｃに判定モデル１２ｃを学習させる。

配信部１３ｆは、通信部１１を介し、学習部１３ｃによって学習された判定モデル１２ｃを画像判定装置１００へ配信する。

次に、画像判定装置１００の構成について説明する。図１０は、実施形態に係る画像判定装置１００のブロック図である。

図１０に示すように、実施形態に係る画像判定装置１００は、通信部１０１と、記憶部１０２と、制御部１０３とを備える。

通信部１０１は、上述した通信部１１と同様に、たとえば、ＮＩＣ等によって実現される。通信部１０１は、ネットワークＮ、カメラ１５０およびプロジェクタ制御装置２００に対し有線または無線で接続され、学習装置１０、カメラ１５０およびプロジェクタ制御装置２００との間で情報の送受信を行う。

記憶部１０２は、上述した記憶部１２と同様に、たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図１０に示す例では、記憶部１０２は、判定モデル１０２ａを記憶する。判定モデル１０２ａは、学習装置から配信される判定モデル１２ｃに相当する。

制御部１０３は、上述した制御部１３と同様に、コントローラであり、たとえば、ＣＰＵやＭＰＵ等によって、記憶部１０２に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１０３は、上述した制御部１３と同様に、たとえば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。

制御部１０３は、取得部１０３ａと、判定部１０３ｂと、出力部１０３ｃとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

取得部１０３ａは、通信部１０１を介し、学習装置１０から配信される判定モデル１２ｃを取得し、判定モデル１０２ａとして記憶部１０２へ記憶させる。また、取得部１０３ａは、通信部１０１を介し、カメラ１５０によって撮影されるクッキーＰの画像を取得し、判定部１０３ｂへ出力する。

判定部１０３ｂは、取得部１０３ａによって取得された画像を判定モデル１０２ａへ入力し、判定モデル１０２ａから判定結果を取得する。また、判定部１０３ｂは、取得した判定結果を出力部１０３ｃへ出力する。

出力部１０３ｃは、通信部１０１を介し、判定部１０３ｂからの判定結果を学習装置１０およびプロジェクタ制御装置２００に対し出力する。

次に、プロジェクタ制御装置２００の構成について説明する。図１１は、実施形態に係るプロジェクタ制御装置２００のブロック図である。

図１１に示すように、実施形態に係るプロジェクタ制御装置２００は、通信部２０１と、記憶部２０２と、制御部２０３とを備える。

通信部２０１は、上述した通信部１１，１０１と同様に、たとえば、ＮＩＣ等によって実現される。通信部２０１は、画像判定装置１００およびコンベア装置３００に対し有線または無線で接続され、画像判定装置１００およびコンベア装置３００との間で情報の送受信を行う。

記憶部２０２は、上述した記憶部１２，１０２と同様に、たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図１１に示す例では、記憶部２０２は、投影設定情報２０２ａを記憶する。投影設定情報２０２ａは、画像判定装置１００からの判定結果に応じたマーカーの投影に関する設定情報である。

制御部２０３は、上述した制御部１３，１０３と同様に、コントローラであり、たとえば、ＣＰＵやＭＰＵ等によって、記憶部２０２に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２０３は、上述した制御部１３，１０３と同様に、たとえば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。

制御部２０３は、取得部２０３ａと、投影制御部２０３ｂとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

取得部２０３ａは、通信部２０１を介し、画像判定装置１００から出力される判定結果を取得し、投影制御部２０３ｂへ出力する。また、取得部２０３ａは、通信部２０１を介し、コンベア装置３００からコンベアの搬送速度を取得し、投影制御部２０３ｂへ出力する。

投影制御部２０３ｂは、取得部２０３ａによって取得された判定結果、搬送速度および投影設定情報２０２ａに基づき、プロジェクタ４００によるマーカーの投影を制御する。

次に、実施形態に係る画像判定システム１が実行する処理手順について、図１２を用いて説明する。図１２は、実施形態に係る画像判定装置１００が実行する処理手順を示す処理シーケンスである。

図１２に示すように、まず画像判定システム１の運用前等において、学習装置１０が学習用画像を収集する（ステップＳ１０１）。そして、学習装置１０は、学習用画像を分類し（ステップＳ１０２）、学習用データセット１２ｂを生成する（ステップＳ１０３）。

そして、学習装置１０は、学習用データセット１２ｂを用いて判定モデル１２ｃを学習し（ステップＳ１０４）、画像判定装置１００へ判定モデル１２ｃを配信する（ステップＳ１０５）。

画像判定装置１００は、カメラ１５０によって撮影された画像を取得し（ステップＳ１０６）、判定モデル１０２ａを用いて画像を判定する（ステップＳ１０７）。そして、判定結果を学習装置１０およびプロジェクタ制御装置２００へ出力する（ステップＳ１０８，Ｓ１０９）。

学習装置１０は、画像判定装置１００からの判定結果を収集し（ステップＳ１１０）、着目点抽出による解析（ステップＳ１１１）、および、次元圧縮による解析（ステップＳ１１２）を実行する。

そして、学習装置１０は、それらの解析結果に基づき、学習用画像を再分類させる（ステップＳ１１３）。そして、ステップＳ１０４からの処理を繰り返す。

一方、プロジェクタ制御装置２００は、画像判定装置１００からの判定結果に応じたプロジェクタ投影を行うことを繰り返す（ステップＳ１１４）。

なお、上述してきた実施形態に係る学習装置１０、画像判定装置１００およびプロジェクタ制御装置２００は、たとえば図１３に示すような構成のコンピュータ１０００によって実現される。学習装置１０を例に挙げて説明する。図１３は、学習装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インタフェース（Ｉ／Ｆ）１５００、入出力インタフェース（Ｉ／Ｆ）１６００、および、メディアインタフェース（Ｉ／Ｆ）６７を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インタフェース１５００は、通信ネットワークを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信ネットワークを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インタフェース１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インタフェース１６００を介して出力装置へ出力する。

メディアインタフェース１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、当該プログラムを、メディアインタフェース１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、たとえばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または、半導体メモリ等である。

たとえば、コンピュータ１０００が実施形態に係る学習装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３の各機能を実現する。また、ＨＤＤ１４００には、記憶部１２内のデータが記憶される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを、記録媒体１８００から読み取って実行するが、他の例として、他の装置から、通信ネットワークを介してこれらのプログラムを取得してもよい。

上述してきたように、実施形態に係る画像判定システム１は、判定部１０３ｂと、着目点抽出部１３ｄａ（「第１の解析部」の一例に相当）と、次元圧縮部１３ｄｂ（「第２の解析部」の一例に相当）と、学習部１３ｃとを含む。判定部１０３ｂは、製造ラインにおける製品の画像を取得し、深層学習ネットワークである判定モデルを用いて分類判定する。着目点抽出部１３ｄａは、上記画像が判定モデルへ入力された場合の上記画像に対する判定モデルの着目点を抽出して可視化することによって判定モデルの判定結果を解析する。次元圧縮部１３ｄｂは、上記画像が判定モデルへ入力された場合の高次元空間における上記画像の特徴量を次元圧縮による低次元表現へ変換して可視化することによって判定モデルの判定結果を解析する。学習部１３ｃは、着目点抽出部１３ｄａおよび次元圧縮部１３ｄｂによる解析結果に基づいて分類された上記画像に基づいて判定モデルを学習する。

したがって、実施形態に係る画像判定システム１によれば、効率よく判定精度の向上を図ることができる。

なお、上述した実施形態では、学習用画像の再分類に際し、オペレータの操作を要することとしたが、これに限られるものではなく、解析部１３ｄの解析結果に基づいて分類部１３ｂが自動的に再分類を行うようにしてもよい。

かかる場合、分類部１３ｂは、たとえば解析部１３ｄが可視化したヒートマップや低次元空間マップを画像解析する画像解析機能を有し、その画像解析結果に基づいて学習用画像の再分類を行うこととなる。

また、上述した実施形態では、着目点抽出のアルゴリズムとしてＧｒａｄ－ＣＡＭを用いることしたが、これに限られるものではなく、たとえばＧｕｉｄｅｄ Ｂａｃｋｐｒｏｐａｇａｔｉｏｎの結果にＧｒａｄ－ＣＡＭの出力を重ねるＧｕｉｄｅｄ Ｇｒａｄ－ＣＡＭと呼ばれるアルゴリズム等を用いることとしてもよい。

また、上述した実施形態では、製造ラインにおける製品がクッキーＰであることとしたが、無論、製品の種別を限定するものではない。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像判定システム
１０ 学習装置
１２ｃ 判定モデル
１３ 制御部
１３ａ 収集部
１３ｂ 分類部
１３ｃ 学習部
１３ｄ 解析部
１３ｄａ 着目点抽出部
１３ｄｂ 次元圧縮部
１３ｅ 表示制御部
１３ｆ 配信部
１００ 画像判定装置
１０２ａ 判定モデル
１０３ 制御部
１０３ａ 取得部
１０３ｂ 判定部
１０３ｃ 出力部
２００ プロジェクタ制御装置
２０３ 制御部
２０３ａ 取得部
２０３ｂ 投影制御部
３００ コンベア装置
４００ プロジェクタ

Claims (10)

1. 製造ラインにおける製品の画像を取得し、深層学習ネットワークである判定モデルを用いて分類判定する判定工程と、
   前記画像が前記判定モデルへ入力された場合の前記画像に対する前記判定モデルの着目点を抽出して可視化することによって前記判定モデルの判定結果を解析する第１の解析工程と、
   前記画像が前記判定モデルへ入力された場合の高次元空間における前記画像の特徴量を次元圧縮による低次元表現へ変換して可視化することによって前記判定モデルの判定結果を解析する第２の解析工程と、
   前記第１の解析工程および前記第２の解析工程における解析結果に基づいて分類された前記画像に基づいて前記判定モデルを学習する学習工程と
   を含むことを特徴とする画像判定方法。
2. 前記学習工程は、
   前記第１の解析工程において、一つの前記画像について異なる複数の分類クラスに対応する前記着目点が抽出された場合に、当該画像を学習用画像から除外して前記判定モデルを学習する
   ことを特徴とする請求項１に記載の画像判定方法。
3. 前記第２の解析工程は、
   前記低次元表現による前記判定モデルの判定結果の分布をＧＵＩ化し、該ＧＵＩを介してユーザに前記画像を分類させる
   ことを特徴とする請求項１または２に記載の画像判定方法。
4. 前記第１の解析工程は、
   Ｇｒａｄ－ＣＡＭを用いて前記着目点を抽出して可視化する
   ことを特徴とする請求項１、２または３に記載の画像判定方法。
5. 前記第２の解析工程は、
   ＵＭＡＰを用いた前記次元圧縮により前記画像の特徴量を前記低次元表現へ変換して可視化する
   ことを特徴とする請求項１～４のいずれか一つに記載の画像判定方法。
6. 前記判定モデルの判定結果を前記製造ラインに反映する判定結果反映工程
   をさらに含むことを特徴とする請求項１～５のいずれか一つに記載の画像判定方法。
7. 前記製造ラインは、
   当該製造ライン上の前記製品に対してマーカーを投影するプロジェクタを有しており、
   前記判定結果反映工程は、
   前記製品の分類クラスおよび取るべき処置に応じて、少なくとも前記マーカーの色および形を変更させる
   ことを特徴とする請求項６に記載の画像判定方法。
8. 前記判定結果反映工程は、
   前記製品の搬送速度と同じ速度で前記マーカーをスクロールさせる
   ことを特徴とする請求項７に記載の画像判定方法。
9. 製造ラインにおける製品の画像を取得し、深層学習ネットワークである判定モデルを用いて分類判定する判定部と、
   前記画像が前記判定モデルへ入力された場合の前記画像に対する前記判定モデルの着目点を抽出して可視化することによって前記判定モデルの判定結果を解析する第１の解析部と、
   前記画像が前記判定モデルへ入力された場合の高次元空間における前記画像の特徴量を次元圧縮による低次元表現へ変換して可視化することによって前記判定モデルの判定結果を解析する第２の解析部と、
   前記第１の解析部および前記第２の解析部による解析結果に基づいて分類された前記画像に基づいて前記判定モデルを学習する学習部と
   を備えることを特徴とする画像判定システム。
10. 製造ラインにおける製品の画像を取得し、深層学習ネットワークである判定モデルを用いて分類判定する判定手順と、
    前記画像が前記判定モデルへ入力された場合の前記画像に対する前記判定モデルの着目点を抽出して可視化することによって前記判定モデルの判定結果を解析する第１の解析手順と、
    前記画像が前記判定モデルへ入力された場合の高次元空間における前記画像の特徴量を次元圧縮による低次元表現へ変換して可視化することによって前記判定モデルの判定結果を解析する第２の解析手順と、
    前記第１の解析手順および前記第２の解析手順における解析結果に基づいて分類された前記画像に基づいて前記判定モデルを学習する学習手順と
    をコンピュータに実行させることを特徴とする画像判定プログラム。

Images