JP7790868B2 - システム、統合管理装置、エッジデバイス - Google Patents

Description

本発明は、統合管理装置、及び統合装置を備えるシステムに関する。

機械学習や深層学習を用いた画像認識、分類処理が様々な技術領域で利用されている。特許文献１には機械学習のアルゴリズムデータ（学習済モデル）をコンテナで管理し、配信するためのレポジトリサービスが記載されている。

米国特許出願公開第２０１９／０２７８６４０号明細書

特許文献１に記載された管理システムでは、機械学習のレポジトリサービスを提供することにより、機械学習の運用を容易にすることを実現している。しかしながら、それぞれが光検出装置を含む１以上のエッジデバイスを用いる場合に、各エッジデバイスで設定されている条件が異なることが想定される。各エッジデバイスで設定されている条件が異なることから、エッジデバイスへの配信を考えると、期待した推論精度が実現できない可能性がある。

本発明は、エッジデバイスでの推論精度を向上する事を目的とする。

一形態に係るシステムは、１以上のエッジデバイスと、前記エッジデバイスを管理する統合管理装置と、を備え、前記エッジデバイスは光検出装置を含み、前記統合管理装置は、第１学習済モデルと、前記第１学習済モデルの生成に用いた光検出装置の条件を設定する第１条件と、を紐づけて管理しており、前記統合管理装置は、前記第１学習済モデルと、前記第１条件とを前記エッジデバイスに配信可能に構成されている。

一形態に係るシステムは、２以上のエッジデバイスと、前記２以上のエッジデバイスを管理する統合管理装置と、を備え、前記エッジデバイスは光検出装置を含み、前記統合管理装置は、第１学習済モデルと、前記第１学習済モデルの生成に用いた光検出装置の条件を設定する第１条件と、を紐づけて管理している。

一形態に係るエッジデバイスは、光検出装置を含み、前記エッジデバイスには、第１学習済モデルと、前記第１学習済モデルを生成するときに設定された条件と、が配信される。

本発明によれば、エッジデバイスでの推論精度を向上することができる。

実施形態１のエッジデバイス管理システムを示すブロック図である。 実施形態１と比較例とを示すブロック図である。 実施形態１の動作を示すフロー図である。 実施形態１のコンテナの例である。 実施形態２のエッジデバイス管理システムを示すブロック図である。 実施形態３のエッジデバイス管理システムを示すブロック図である。 実施形態４のエッジデバイス管理システムを示すブロック図である。 実施形態５のアプリケーションを示す概念図である。 実施形態１のコンテナの一例を示す図である。 実施形態１のコンテナの他の例を示す図である。 実施形態１のエッジデバイスへのデプロイフローの一例を示すフロー図である。

以下に示す実施形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。なお、各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略する。

以下において、説明が共通する場合は、ａ、ｂ等の添字を省略して説明する。

（実施形態１）
図１乃至図４、図９乃至図１１を参照しながら、実施形態１に係るエッジデバイス管理システム（以下「システム」）について説明する。

図１は、システムの基本的な構成を示した図である。システムは、１以上のエッジデバイス３００と、統合管理装置２００と、を備える。エッジデバイス３００と、統合管理装置２００と、は、統合管理装置２００で管理される学習済モデルをエッジデバイス３００にデプロイできるよう接続されている。エッジデバイスと統合管理装置とは物理的に離れた場所に配置されていてもよい。無線通信や有線通信を用いて統合管理装置２００からエッジデバイス３００に学習済モデル等のデータをデプロイできればよい。例えば、エッジデバイス３００が工場に配置されており、統合管理装置２００が離れた位置に配された管理センターに配置されていてもよい。また、エッジデバイス３００及び統合管理装置２００の一方が、ある国に配置されており、他方がある国とは別の国に配置されていてもよい。

システムは、例えば、検査システムとして利用することができる。以下では、システムが、検査システムである場合について説明する。なお、各実施形態に係るシステムは、検査システムのほかにも、種々のシステムに採用することができる。種々のシステムとしては、例えば、画像データに特定のものが存在するか否かを特定する画像認識用のシステムや、配送センターの自動振り分けシステム等が挙げられる。

以下、図１を参照しながら、本実施形態に係るシステムを説明する。

（エッジデバイス３００）
エッジデバイス３００は、光検出装置３０１と、コンピュータ装置３０２と、を含む。コンピュータ装置３０２は、少なくとも、入力部、記憶部、及び出力部を含む。コンピュータ装置３０２の入力部には、統合管理装置２００から光検出装置３０１の制御に関する情報が伝達される。

光検出装置３０１としては、例えば、イメージセンサーや、測光センサー、測距センサーを用いることができる。以下では、光検出装置３０１がイメージセンサーである場合について説明する。

コンピュータ装置３０２は、光検出装置３０１を制御する。コンピュータ装置３０２は、さらに、統合管理装置２００から配信される学習済モデルを記憶部で記憶することができる。また、コンピュータ装置３０２は、学習モデルを作成する際の設定条件や得られたデータを記憶部で記憶することができる。図１では、統合管理装置２００において、学習済モデルと撮像条件とがコンテナで管理されており、当該コンテナがコンピュータ装置３０２にデプロイされている。そして、コンテナの情報に基づいて光検出装置３０１を制御している。コンテナとは、仮想的に構築された「特定アプリケーションの実行環境」を指す。本実施形態において、コンテナとは、光検出装置３０１の撮像と学習済データの推論とを行うための実行環境である。コンテナを導入することにより、この実行環境を高速かつ簡単に構築することができ、環境管理の負荷を軽減することができる。具体的には、本件のようにコンテナで管理しない場合には、複数のアプリケーションは連結されている。したがって、特定のアプリケーションのアップデートを行うと、別のアプリケーションで不具合が生じる可能性がある。コンテナを導入することで不具体が生じる可能性を低くでき、管理の負荷を低減することができる。なお、以下の形態ではコンテナを利用する場合について説明するが、撮像条件と学習済モデルとを紐づけて管理できればコンテナ以外の方法を用いても構わない。

（統合管理装置２００）
統合管理装置２００は、１以上のエッジデバイス３００を制御する。図１では、統合管理装置２００は、２以上のエッジデバイス３００を制御するが、１つのエッジデバイス３００を制御するものであってもよい。統合管理装置２００は、エッジデバイス環境提供部２１０を少なくとも含む。図１では、統合管理装置２００は、学習済モデルデータベース２２０、撮像条件データベース２３０、統合管理装置エンドポイント２４０、学習実行部２５０をさらに含む。

学習済モデルデータベース２２０は、第１撮像条件で生成された第１対象物（第１ワーク）の第１学習済モデル、第２撮像条件で生成された第１ワークの第２学習済モデル、のように複数の撮像条件で生成された複数の学習済モデルが管理されている。つまり、同じワークを互いに異なる撮像条件で生成された、第１学習済モデルと第２学習済モデルとを含む。ここで同じワークとは、完全に同一のワークである必要はない。例えば、ワークが製品Ａである場合は、複数の製品Ａは同じワークに相当するものとする。具体的には、製品Ａが赤色のインクタンクである場合は、ワークとして赤色のインクタンクを用い、同じワークとして同種の赤色のインクタンクを用いてもよい。また、学習済モデルデータベース２２０は、第１撮像条件で生成された第２対象物（第２ワーク）の第３学習済モデルを管理していてもよい。つまり、学習済モデルデータベース２２０は、同じ対象物を異なる撮像条件で撮像した複数の学習済モデルを含んでいてもよいし、異なる対象物を同じ撮像条件で撮像した複数の学習済モデルを含んでいてもよい。また、異なる対象物を異なる撮像条件で撮像した画像であってもよい。また、両者を含んでいてもよい。

撮像条件データベース２３０は、学習済モデルデータベース２２０に管理される学習済モデルを生成するときの各撮像条件を管理している。そして、統合管理装置２００は、学習済モデルと、その学習済モデルを生成するときの撮像条件とを配信可能に構成されている。

エッジデバイス環境提供部２１０は、紐づけられた学習済モデルと撮像条件とをエッジデバイス３００に配信する。図１では、コンテナ２１１によって、学習済モデルと撮像条件とが紐づけて管理され、コンテナ２１１をエッジデバイス３００にデプロイしている。つまり、コンテナ２１１は、学習済モデルと、その学習済モデルを撮像するときの撮像条件とを、結びつけて管理している。例えば、図１において、コンテナ２１１ａ～コンテナ２１１ｃは、それぞれ同じ撮像条件で撮像されている。撮像条件とは、例えば、露光時間、ゲインである。具体的には、露光時間を１ｍｓ、２倍のゲインを撮像条件としてコンテナ２１１ａ～２１１ｃで管理されている。コンテナ２１１ａ～２１１ｃは、同じワークの学習済モデルであってもよいし、実施形態２で説明するように異なるワークの学習済モデルであってもよい。撮像条件とは、他にも、ＩＳＯ感度設定、Ｆ値設定、ハイダイナミックレンジの有無、ホワイトバランスの調整等の種々の条件が挙げられる。なお、撮像条件は、統合管理装置が管理するエッジデバイスに含まれる光検出装置の条件であることが好ましいが、これに限られない。例えば、統合管理装置が管理しないエッジデバイスに含まれる光検出装置で得られた画像に基づいて学習済モデルを形成し、このときの撮像条件と学習済モデルとをコンテナで管理してもよい。

コンテナ２１１は図９に示すように撮像パラメータ３０７や学習済モデル３０９と共に、推論アプリケーション３０８および機械学習ライブラリ３１０を含んでいてもよい。コンピュータ装置３０２にコンテナ２１１がデプロイされる際、エッジデバイス環境取得部３１１はエッジデバイス３００の撮像条件、ファームウェアバージョン、設置情報等を撮像アプリケーション３１２および撮像ライブラリ３１３を通じて取得する。そして、コンテナ内の撮像パラメータ３０７を参照し、整合を確認した上でコンテナ２１１はデプロイされる。

この際、不整合が生じた場合でも、図１１に示すようなフローでエッジデバイス３００の情報を上書きし、使用することもできる。

図１１ではデプロイフローの一例を示している。ステップＳ１でエッジデバイスのコンピュータ装置３０２に対して、コンテナ２１１のデプロイが開始される。ステップＳ２ではエッジデバイス環境取得部３１１を通じてエッジデバイスの情報を統合管理装置２００が取得する。その後、ステップＳ３でエッジデバイス情報とコンテナ情報の整合性を確認する。これには例えば、撮像デバイスの設置情報やライブラリ、ファームウェアバージョンなどが含まれる。ステップＳ３で整合が確認された場合、コンテナのデプロイ（ステップＳ６）に進み、手順を終了する（ステップＳ７）。ステップＳ３にて不整合となった場合、エッジデバイスをコンテナに整合するために更新手続きを進めるか確認する（ステップＳ４）。操作者が同意しない場合は、手順を終了する（ステップＳ７）。操作者が同意した場合は、エッジデバイスの情報を更新する（ステップＳ５）。更新の方法としては、電子メディアや通信により自動で行う他、手動による更新を行うことができる。手動での更新を必要とする場合は、操作者にその通知を出して指示を出す方法などが含まれる。エッジデバイスの更新が終了すると、コンテナをエッジデバイスにデプロイし（ステップＳ６）、終了する（ステップＳ７）。

なお、コンテナ２１１の構成は、図１０のように軽量化のために機械学習ライブラリが含まれない構成とすることもできる。つまり、コンテナ２１１は、推論アプリケーション３０８と学習済モデル３０９とを含み、機械学習ライブラリ３１０はコンテナ２１１外に配される。この場合、推論アプリケーション３０８や学習済モデル３０９と機械学習ライブラリ３１０の整合が必要になるため、ライブラリパラメータ３１４を付加する事により解決する。ライブラリパラメータは一般的に、機械学習ライブラリ３１０に比べて容量が軽い。したがって、コンテナ２１１が、機械学習ライブラリ３１０の代わりにライブラリパラメータ３１４を有していたとしても、機械学習ライブラリ３１０を有する場合に比べてコンテナ２１１を軽量化することが可能となる。

なお、エッジデバイスへとコンテナをデプロイするに当たり、コンテナ情報とエッジデバイス情報とで同一のものがなく、不整合である場合は、類似のコンテナ情報や最適なコンテナ情報を選択して配信してもよい。

操作者７００が、各エッジデバイス３００で検査を行うワークの情報を統合管理装置２００の統合管理装置エンドポイント２４０に入力すると、統合管理装置エンドポイント２４０からエッジデバイス環境提供部２１０にワークの情報が伝達される。つまり、操作者７００が段取り替えのための情報を統合管理装置２００の統合管理装置エンドポイント２４０に入力する。そして、対象のワークの学習済モデルとその学習済モデルが生成されたときの撮像条件とがエッジデバイス環境提供部２１０へと送信され、コンテナ２１１で紐づけて管理される。そして、対象のコンテナ２１１を対応するエッジデバイス３００へと配信する。例えば、エッジデバイス３００ａ、３００ｂ、３００ｃで同じワークを検査する場合は、コンテナ２１１ａの情報がコンピュータ装置３０２ａ、３０２ｂ、３０２ｃに入力される。なお、コンテナ２１１ａをコンピュータ装置３０２ａに配信し、コンテナ２１１ａと同じ情報を管理するコンテナ２１１ｂ、２１１ｃとを、コンピュータ装置３０２ｂ、３０２ｃにそれぞれ配信してもよい。

エッジデバイス３００へ検査をしたいワークに対応した学習済モデルを入力するのみでは、学習済モデルを生成したエッジデバイスと検査を行うエッジデバイスとの撮像条件等の設定条件の違いにより正確に検査を行うことができない可能性がある。本実施形態では、統合管理装置２００からエッジデバイス３００へ、学習済モデルだけではなく、その学習済モデルを撮像するときの撮像条件も入力する。これにより、エッジデバイス３００に学習済モデルを配信し、推論を行う際に、学習済モデルの生成と同じ撮像条件で撮像を行うことができ、推論精度を向上させることができる。

図２を用いて本実施形態の効果を説明する。ワークにキズ１００があり、ワークの欠陥を検査することを想定している。各図において、ワークが上から下に移動していると想定している。例えば、学習済モデルを生成したエッジデバイス３００ａにより撮像された図を図２（ａ）に示す。また、撮像条件が入力されておらず、学習済モデルが入力されたエッジデバイス３００ｂにより撮像された図を図２（ｂ）に示す。さらに、撮像条件が入力されておらず、学習済モデルが入力されたエッジデバイス３００ｃにより撮像された図を図２（ｃ）に示す。また、学習済モデルと撮像条件とが入力されたエッジデバイス３００ａ、３００ｂ、３００ｃにより撮像された図を図２（ｄ）、図２（ｅ）、図２（ｆ）にそれぞれ示す。図２（ａ）は適正な条件で撮像されているため、ワークのキズ１００ａを検知できる。しかしながら、図２（ｂ）は露光条件が適正ではなくぶれて撮像されているため、キズ１００ｂを正しく検知することができない。また、図２（ｃ）は、ゲインが適正でなく、白飛びして撮像されているため、キズ１００ｃを検知することができない。一方で、図２（ｄ）～図２（ｆ）に示すように、学習済モデルと撮像条件とを入力したエッジデバイスでは、精度よく撮像を行うことができ、キズを正確に検知することができる。

ワークによって最適な条件は異なる。例えば、図１において、学習済モデルが生成されたときの撮像条件が条件Ａであり標準の設定の撮像条件が条件Ｂである場合について説明する。このとき、エッジデバイス３００ａは、学習済モデルを生成したときの条件Ａと学習済モデルとを有するため最適な条件で撮像することができる。一方で、エッジデバイス３００ｂは、条件Ｂであるため学習済モデルのみが入力されても最適な条件にすることができず、エッジデバイス３００ａに比べて検査精度が落ちる可能性がある。これに対して、本実施形態では、製品の検査における最適な条件と、ワークの学習済モデルと、を紐づけて管理し、両者をエッジデバイスに入力している。したがって、各エッジデバイスで、エッジデバイス３００ａと同等の検査精度とすることができる。

次に、図１と図３を用いて、エッジデバイス３００ａで学習した学習済モデルを他のエッジデバイス３００ｂ、３００ｃで用いるときの実行フローについて説明する。

図３に示すように、実行フローは、学習フローと、デプロイフローとに分かれる。

まず、学習フローを説明する。エッジデバイス３００ａの光検出装置３０１ａを用いて第１条件でワークを撮像する（ステップＳ１０１）。第１条件とは、例えば、露光時間を１ｍｓとし、ゲインを２倍にするものとする。撮像された画像は、統合管理装置２００の学習実行部２５０へと送られる。

送られた画像を用いて学習が実行され、学習済モデルが生成される（ステップＳ１０２）。学習済モデルの生成は、機械学習により行うことができる。学習済モデルは、検査時にワークの画像が入力されると、欠陥の有無を判定し、良否を判断して出力する。学習済モデルは、学習済モデルデータベース２２０へ格納される。そして、第１条件も撮像条件データベース２３０へ格納される。このとき、学習済モデルデータベース２２０と、撮像条件データベース２３０とは、リレーショナルデータベース等で紐づけて、エッジデバイス環境提供部２１０で管理される（ステップＳ１０３）。

機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどを利用してもよい。またニューラルネットワークを利用して、学習するための特徴量、結合重みづけ係数を自ら生成する深層学習（ディープラーニング）であってもよい。たとえば、深層学習のモデルとして、ＣＮＮモデル（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ）を用いてもよい。

学習済モデルを複数作成する場合は、撮像条件やワークを変えて上記のステップＳ１０１～ステップ１０３を繰り返す。

次に、デプロイフローを説明する。まず、エッジデバイス３００ａの学習済モデルを他のエッジデバイス３００ｂ、３００ｃに展開できるよう、操作者７００は、統合管理装置エンドポイント２４０にＲＥＳＴ ＡＰＩ等を用いてアクセスし、指令を行う（ステップＳ２０１）。なお、操作者７００がアクセスするのではなく、プログラミングによりエッジデバイス３００ａの学習済モデルを他のエッジデバイス３００ｂ、３００ｃにデプロイするように設定しておくこともできる。例えば、スクリプト等によりスケジューリングしておき、毎週末にデプロイしてもよい。

統合管理装置エンドポイント２４０からの指令を受け、エッジデバイス環境提供部２１０は、学習済モデルデータベースよりエッジデバイスに適した学習済モデルと、撮像条件をセットでコンテナに取り込む（ステップＳ２０２）。このとき、学習済モデルを学習済モデルデータベース２２０から複製し、撮像条件を撮像条件データベース２３０から複製してコンテナ２１１に取り込んでいる。コンテナ２１１の仕組みやオーケストレーションには、コンテナ化したアプリケーションのデプロイ、スケーリング、および管理を行うための、コンテナオーケストレーションシステムを利用できる。コンテナオーケストレーションシステムは、同様のことを実行可能であればどのような仕組みを用いても構わない。

なお、学習済モデルが保存されるコンテナと推論コンテナとを分けて管理し、各コンテナを紐づけて管理してもよい。

次に、統合管理装置２００から、エッジデバイス３００ａ、３００ｂ、３００ｃのそれぞれに対応するコンテナ２１１ａ、２１１ｂ、２１１ｃが配信される（ステップＳ２０３）。

そして、各エッジデバイスで撮像と推論を行う（ステップＳ３０１）。ステップＳ３０１で所定の推論精度が確保できている場合は、検査するワークを用いて検査を実行する。ステップＳ３０１で所定の推論精度が確保できていない場合は、撮像条件を変えてステップＳ１０１からステップＳ３０１までを再度実行し、所定の推論精度になるまでステップＳ１０１からステップＳ３０１までを実行する。

以上の実行フローにより、エッジデバイス３００ａで学習した学習済モデルを他のエッジデバイス３００ｂ、３００ｃで用いることができる。

図４に、撮像条件と学習済モデルとをコンテナで一体に管理する場合の一例を示すが、これに限られない。図４に示すように、システム管理者はＡＰＩ等を通じて、撮像条件と学習済モデルとを管理するＤｅｐｌｏｙｍｅｎｔ．ｙａｍｌを実行する。そして、本ｙａｍｌファイルを用いてエッジデバイスにデプロイされる。具体的には、図４では、露光時間、ゲイン、照明装置の照明強度、及び照明装置の角度の撮像条件と、学習済モデルと、がそれぞれ紐づけられて管理されている。図１では照明装置は示されていないが、図８に示すようにエッジデバイスに含まれる照明装置に角度と照明強度とが入力される。そして、エッジデバイスに上記の撮像条件と学習済モデルとが入力され、ワークの推定が実行される。

上記の説明では、統合管理装置２００からエッジデバイス３００ａにもコンテナ２１１ａを配信したが、エッジデバイス３００ａは学習済モデルの生成に用いたエッジデバイスであるため、コンテナ２１１ａは配信しなくてもよい。

また、コンテナにより学習済モデルと撮像条件とを管理し、コンテナを配信する例を説明したが、コンテナで学習済モデルを管理し、コンテナの学習済モデルと紐づけた上でコンテナとは別で撮像条件を管理してもよい。

本実施形態によれば、学習済モデルと当該学習済モデルを生成する際の条件とを紐づけて、統合管理装置２００で管理されている。そして、エッジデバイスに、学習済モデルと条件とが配信され、撮像と推論を行っている。これにより、エッジデバイスでの推論精度を高めることができる。さらに、ワークの検査において、学習済検査を開始するまでのデッドタイムを短くすることができる。

（実施形態２）
図５を参照しながら実施形態２に係るエッジデバイス管理システムについて説明する。実施形態２に係るシステムは、統合管理装置２００が管理する複数のエッジデバイスが、第１ワークを検査するエッジデバイスと、第１ワークとは異なる第２ワークを検査するエッジデバイスと、を含む点が実施形態１とは異なる。以下で説明する以外の構成は、実施形態１と同様であるため、説明を省略することがある。

図５に示すように、第１ワーク（製品Ａ）を検査するエッジデバイス３００ａ、３００ｃと、第２ワーク（製品Ｂ）を検査するエッジデバイス３００ｂ、３００ｄとを統合管理装置２００が管理する。そして、エッジデバイスで撮像するワークに適合したコンテナを各エッジデバイスに配信している。例えば、図５では、第１ワークに対応する学習済モデルと撮像条件とを管理するコンテナ２１１ａ、２１１ｃがエッジデバイス３００ａ、３００ｃに配信される。また、第２ワークに対応する学習済モデルと撮像条件とを管理するコンテナ２１１ｂ、２１１ｄがエッジデバイス３００ｂ、３００ｄに配信される。

学習済モデルの作成方法や、学習済モデルと撮像条件との管理の仕組みは、実施形態１と同様であるため説明を省略する。

本実施形態によればエッジデバイスで検査する製品が変わったときの段取り替えが完了するまでの時間を、学習済モデルのみを入力する場合に比較して短くすることができる。例えば、所定の期間はエッジデバイスで製品Ａを検査し、所定の期間は同じエッジデバイスで製品Ｂを検査する場合がある。製品ごとに最適な撮像条件は異なるため、エッジデバイスに検査する製品に対応する学習済モデルを入力するだけではエッジデバイスの撮像条件が最適な撮像条件になるまでに時間がかかる。したがって、検査する製品が変わるたびに段取り替えが完了するまでに時間が必要になる。これに対して、本実施形態によれば、学習済モデルと撮像条件とをエッジデバイスに配信するため、最適な撮像条件になるまでの時間を短縮でき、推論精度を高めることができる。また、エッジデバイスごとに異なるワークを検査することが可能となる。

（実施形態３）
図６を参照しながら実施形態３に係るエッジデバイス管理システムについて説明する。実施形態３に係るシステムは、各エッジデバイス３００が学習実行部２５０を含む点が実施形態２と異なる。以下で説明する以外の構成は、実施形態２と同様であるため、説明を省略することがある。

実施形態３に係るシステムは、各エッジデバイス３００ａ、３００ｂ、３００ｃが、対応する学習実行部２５０ａ、２５０ｂ、２５０ｃを備える。エッジデバイス３００に含まれる学習実行部２５０が、学習済モデルを生成している。具体的には、光検出装置３０１から得られる学習モデルを学習実行部２５０に入力し、学習実行部２５０で学習済モデルが生成されている。

そして、各エッジデバイス３００で生成された学習済モデルを統合管理装置２００の学習済モデルデータベース２２０と、撮像条件データベース２３０へ入力している。そして、複数のエッジデバイス３００の学習済モデルとその学習済モデルを生成したときの撮像条件とを統合管理装置２００でまとめて管理している。

本実施形態におけるフローの例を以下で説明する。まず、操作者７００が、統合管理装置エンドポイント２４０を通じて学習実行部２５０での学習の実施の有無や、学習済モデルの更新について指示を出す。

次にエッジデバイス３００の光検出装置３０１で撮像された画像が、学習実行部２５０に送られ、学習が実行される。

学習がある程度進み、所定の精度が得られたた学習済モデルは、統合管理装置２００の学習済モデルデータベース２２０へと格納される。このとき、学習が行われる前に格納されていた学習済モデルが存在する場合は、新しく生成された学習済モデルに更新してもよい。所定の精度とは、適宜設定することができるが、例えば検査工程において良否判定の確率が８０％以上の精度とすることである。

学習済モデルデータベース２２０へと学習済モデルを格納する際に同時に又はその前後にその学習済モデルを生成する際の撮像条件も撮像条件データベース２３０へと格納される。そして、学習済モデルデータベース２２０と撮像条件データベース２３０とは、対応する学習済モデルと撮像条件とは、紐づけて管理される。

本実施形態によれば、学習済モデルと撮像条件とをセットで管理し、エッジデバイスに学習済モデルと撮像条件とを配信することにより、推論精度を高くすることができる。また、本実施形態のように、学習実行部２５０を各エッジデバイス３００の一部として構成し、エッジデバイスにおいて再学習を行うことにより、学習済モデルの精度を高くすることも可能となる。

（実施形態４）
図７を参照しながら実施形態４に係るエッジデバイスの管理システムについて説明する。実施形態４に係るシステムは、エッジデバイス３００から、前処理部３０３を介して、学習実行部２５０に光検出装置３０１からのデータが入力される点が実施形態１と異なる。また、学習実行部２５０から、後処理部３０４を介して、学習済モデルデータベース２２０へとデータが入力される点が実施形態１と異なる。さらに、推論フローにおいて、前処理部３０３ｂから推論実行部２６０にデータが入力される点が実施形態１と異なる。以下で説明する以外の構成は、実施形態２と同様であるため、説明を省略することがある。

図７において、光検出装置３０１ａから後処理部３０４ａまでは学習フローを示し、光検出装置３０１ｂから後処理部３０４ｂまでは推論フローを示す。学習フローと推論フローでは、前処理部からデータが入力される構成が異なる。

前処理部３０３と後処理部３０４は、統合管理装置２００に含まれていてもよいし、エッジデバイス３００に含まれていてもよい。

前処理部３０３は、光検出装置３０１で得られた画像データのトリミング、対象領域の特定、反転、補正等を行う。補正は、例えば、平均化、明度やコントラストの補正である。また、エッジ強調を行ってもよい。

学習実行部２５０での学習時は、機械学習のアルゴリズムの制御を行うハイパーパラメータを追加で管理してもよい。

後処理部３０４は、検査の良否判定の情報や生産ライン情報を含むことができる。

本実施形態によれば、撮像条件と学習済モデルとを管理するシステムにおいて、前処理および後処理を組み合わせて管理することができる。したがって、より推論精度を高くでき、再現性を高めることができる。また、学習時における追加学習も行うことができる。さらに、後処理部を有することにより、アノテーション処理等にも役立てることができる。したがって、産業制御システム（Ｓｕｐｅｒｖｉｓｏｒｙ Ｃｏｎｔｒｏｌ Ａｎｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ）、製造実行システム（Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｅｘｅｃｕｔｉｏｎ Ｓｙｓｔｅｍ）等の各種管理システムとの連携を行いやすくなる。

（実施形態５）
図８を参照しながら実施形態５に係るエッジデバイスの管理システムについて説明する。実施形態５に係るシステムは、エッジデバイスが照明装置３０５やロボット３０６を含み、撮像条件だけではなく、光検出装置以外の装置の動作条件も統合管理装置２００が管理する点が実施形態１とは異なる。以下で説明する以外の構成は、実施形態１と同様であるため、説明を省略することがある。

図８に、エッジデバイスの管理システムを検査アプリケーションとして利用する場合の概念図を示す。管理システムは、光検出装置３０１と、照明装置３０５と、ロボット３０６と、生産ライン６００を含む。

エッジデバイス３００は、生産ライン６００を流れるワークを検査する。エッジデバイス３００の光検出装置３０１がワークを撮像する。光検出装置の撮像範囲には、照明装置３０５により光が照射されている。エッジデバイス３００からの画像データにより、統合管理装置２００は、ワークの良否判定を行う。ロボット３０６は、欠陥があると判定されたワークを生産ラインから移動させる。

ワークの検査を行うにあたり、生産ライン６００の稼働速度、照明装置３０５の照明強度、角度、色温度、ロボット３０６の可動範囲、稼働角度、角速度等、各構成には様々な条件が付いている。これらの条件の少なくともいずれか１つを統合管理装置２００で管理している。そして、統合管理装置２００からエッジデバイス３００に学習済モデルを配信するときに、撮像条件に加えてこれらの条件を配信することにより、精度よく撮像を行うことができる。またロボットの可動範囲や稼働速度等を統一的に管理することにより、ワークの検査工程において、デッドタイムを少なくできる可能性がある。

上記の実施形態１乃至実施形態５に記載の事項は、適宜組み合わせることが可能である。

また、所定の期間は複数のエッジデバイスで同じワークを検査する実施形態１を採用し、他の期間はエッジデバイスごとに異なるワークを検査する実施形態２を採用してもよい。言い換えると、各エッジデバイスは、常に同じワークを検査しているのではなく、期間に応じて適宜選択されるワークや条件を変更することが可能である。

また、上記の実施形態１乃至実施形態５では、光検出装置３０１がイメージセンサーであり、統合管理装置２００が学習済モデルと撮像条件とを管理することを説明したが、条件は撮像条件に限られない。図７の画像パラメータ等を学習済モデルと紐づけて管理してもよい。また、光検出装置３０１が測距センサーである場合は、距離を測定するためのパルス間隔等の条件を学習済モデルへと配信することができる。

２００ 統合管理装置
３００ エッジデバイス

Claims (12)

1. 第１エッジデバイスと、第２エッジデバイスと、前記第１エッジデバイスおよび第２エッジデバイスを管理する統合管理装置と、を備え、
   前記第１エッジデバイスおよび前記第２エッジデバイスは光検出装置を含み、
   前記統合管理装置は、第１学習済モデルと、前記第１学習済モデルの生成に用いた光検出装置の条件を設定する第１撮像条件と、を紐づけて第１コンテナで管理しており、
   前記第１撮像条件は、露光時間、ゲイン、ＩＳＯ感度設定、Ｆ値設定、ハイダイナミックレンジの有無、及びホワイトバランスの調整の少なくともいずれか１つであり、
   前記第１コンテナが前記第１エッジデバイスまたは前記第２エッジデバイスに配信されることを特徴とするシステム。
2. 前記統合管理装置は、さらに、第２学習済モデルと、前記第２学習済モデルを生成するときの第２撮像条件と、を紐づけて管理していることを特徴とする請求項１に記載のシステム。
3. 前記第１学習済モデルと前記第２学習済モデルとは同じ対象物に基づく学習済モデルであり、
   前記第１撮像条件と前記第２撮像条件とは互いに異なる撮像条件であることを特徴とする請求項２に記載のシステム。
4. 前記第１学習済モデルと前記第２学習済モデルとは異なる対象物に基づく学習済モデルであり、
   前記第１撮像条件と前記第２撮像条件とは互いに同じ撮像条件であることを特徴とする請求項２に記載のシステム。
5. 前記第１学習済モデルと前記第２学習済モデルとは異なる対象物に基づく学習済モデルであり、
   前記第１撮像条件と前記第２撮像条件とは互いに異なる撮像条件であることを特徴とする請求項２に記載のシステム。
6. 前記第１エッジデバイスに、前記統合管理装置から、前記第１コンテナが配信され、
   前記第２エッジデバイスに、前記統合管理装置から、前記第２学習済モデルと前記第２撮像条件とを管理している第２コンテナが配信されることを特徴とする請求項３乃至５のいずれか１項に記載のシステム。
7. 前記光検出装置はイメージセンサーであり、
   前記第１学習済モデルは、前記第１エッジデバイスの前記イメージセンサーから得られる画像に基づいて生成されていることを特徴とする請求項１乃至６のいずれか１項に記載のシステム。
8. 前記第１コンテナには、機械学習ライブラリは含まれないことを特徴とする請求項１乃至７のいずれか１項に記載のシステム。
9. 前記統合管理装置が、学習実行部を含み、
   前記第１エッジデバイスから得られる画像は前記学習実行部に送られ、前記学習実行部で前記第１学習済モデルが生成されることを特徴とする請求項１乃至８のいずれか１項のいずれか１項に記載のシステム。
10. 前記統合管理装置は、第１データベースと第２データベースとを含み、
    前記第１データベースは、前記第１学習済モデルと前記第２学習済モデルとを含む複数の学習済モデルを管理し、
    前記第２データベースは、前記第１撮像条件と前記第２撮像条件とを含む複数の条件を管理することを特徴とする請求項２乃至６のいずれか１項に記載のシステム。
11. 前記システムは、生産ラインを含み、
    前記第１撮像条件には、前記生産ラインの稼働速度が含まれることを特徴とする請求項１乃至１０のいずれか１項に記載のシステム。
12. 前記システムは、ロボットを備え、
    前記第１学習済モデルによって欠陥を有すると判断されたワークを移動させることを特徴とする請求項１１に記載のシステム。