JP2022012178A - 学習システム、モデル生成装置、学習方法およびプログラム - Google Patents

Abstract

【課題】秘匿化した学習モデルの訓練を少ない計算量で実行させる。【解決手段】学習システムは、モデル生成装置と、ｎ個の計算装置とを備える。モデル生成装置は、分割部と、秘密分散部と、シェア送信部とを有する。分割部は、ｍ×ｎ個の訓練データを、ｎ個の計算装置に一対一に対応した、ｍ個の訓練データを含むｎ個のグループに分割する。秘密分散部は、ｎ個のグループのそれぞれについて秘密分散法における分散処理によりｍ個の分散訓練データを生成するものであって、ｎ個のグループのうちのｉ番目のグループに含まれるｍ個の訓練データのそれぞれについて、ｎ個の元（Ｐ１，Ｐ２，…，Ｐｉ，…，Ｐｎ）のうちのｉ番目の元（Ｐｉ）を用いて秘密分散法における分散処理により分散訓練データを生成する。シェア送信部は、ｎ個の計算装置のそれぞれに、対応するｍ個の分散訓練データを送信する。【選択図】図２

Description

本発明の実施形態は、学習システム、モデル生成装置、学習方法およびプログラムに関する。

近年、個人情報等の活用による高度な電気通信サービス、および、企業情報を遠隔サーバに預けるクラウドサービス等が提供されている。例えば、個人情報を活用してユーザの趣味嗜好に合わせた情報を提供するサービス、工場の機器等から得られる多種類のセンサ情報に基づく故障予知のサービス等が提供されている。これらのサービス提供を実現する手段の一つとして、機械学習を用いた方法がある。

近年、大規模な機械学習の計算を、クラウド事業者に委託する場合がある。しかし、クラウド事業者に機械学習の計算を委託した場合、訓練データの漏洩のリスク、および、訓練後の学習モデルの漏洩のリスクが生じる。

ところで、入力情報を秘匿しながら計算を行う秘匿計算技術が研究されている。秘匿計算技術を利用することにより、訓練データおよび学習モデルを秘匿化した状態で、クラウド事業者に機械学習を委託することが可能となると考えられる。

秘匿計算の方法には、大きく分けて準同型暗号を用いた方法と秘密分散法とがある。一般的に、準同型暗号を用いた方法は、秘密分散法と比較して計算量が多くなる。一方、秘密分散法は、一般的に３台以上の別々に管理された装置が必要となり、準同型暗号を用いた方法と比較してシステムの規模が大きくなる。従って、秘密分散法を用いて秘匿化した機械学習を実行させる場合、できるだけ少ない計算量で実行できることが好ましい。

特開２０１９－１４４４０５号公報 特許第６５５６６５９号公報

Naohisa Nishida， et al.， "精度劣化を抑えた秘匿BinarizedCNNの提案(Efficient Secure Binarized CNN Protocol Reducing Accuracy Degradation)"，Computer Security Symposium 2019， P1588-1595，２０１９年１０月２１－２４日 Sameer Wagh， et al.， "Neuromorphic Electronic Circuits for Building Autonomous Cognitive Systems"，Privacy Enhancing Technologies Symposium (PETS) 2019

本発明が解決しようとする課題は、訓練データおよび学習モデルのパラメータ群を秘匿化した学習モデルの訓練を、少ない計算量で実行させることができる学習システム、モデル生成装置、学習方法およびプログラムを提供することにある。

実施形態に係る学習システムは、学習モデルを訓練する。前記学習システムは、モデル生成装置と、ｎ個（ｎは、３以上の整数）の計算装置とを備える。前記ｎ個の計算装置は、前記モデル生成装置とネットワークを介して接続される。

前記モデル生成装置は、取得部と、分割部と、秘密分散部と、シェア送信部とを有する。前記取得部は、前記学習モデルを訓練するためのｍ×ｎ個（ｍは、２以上の整数）の訓練データを取得する。前記分割部は、前記ｍ×ｎ個の訓練データを、前記ｎ個の計算装置に一対一に対応した、ｍ個の訓練データを含むｎ個のグループに分割する。前記秘密分散部は、前記ｎ個のグループのそれぞれについて秘密分散法における分散処理によりｍ個の分散訓練データを生成するものであって、前記ｎ個のグループのうちのｉ番目（ｉは、１以上ｎ以下の整数）のグループに含まれる前記ｍ個の訓練データのそれぞれについて、ｎ個の元（Ｐ１，Ｐ２，…，Ｐｉ，…，Ｐｎ）のうちのｉ番目の元（Ｐｉ）を用いて前記秘密分散法における分散処理により分散訓練データを生成する。前記シェア送信部は、前記ｎ個の計算装置のそれぞれに、対応する前記ｍ個の分散訓練データを送信する。

前記ｎ個の計算装置のそれぞれは、シェア受信部と、訓練部と、パラメータ送信部とを有する。前記シェア受信部は、前記モデル生成装置から前記ｍ個の分散訓練データを受信する。前記訓練部は、受信した前記ｍ個の分散訓練データにより、前記学習モデルと同一の構造の分散学習モデルを訓練する。前記パラメータ送信部は、前記分散学習モデルにおける訓練後の分散パラメータ群を前記モデル生成装置に送信する。

前記モデル生成装置は、パラメータ受信部と、パラメータ復元部とをさらに有する。前記パラメータ受信部は、前記ｎ個の計算装置のうちの、ｋ１個（ｋ１は、２以上、ｎ－１以下の予め定められた整数）の計算装置のそれぞれから訓練後の前記分散パラメータ群を受信する。前記パラメータ復元部は、前記ｋ１個の計算装置のそれぞれから受信した前記分散パラメータ群に基づき、前記秘密分散法における復元処理により前記学習モデルのパラメータ群を生成する。

第１実施形態に係る学習システムの構成を示す図。 第１実施形態に係るモデル生成装置および計算装置の学習時の構成図。 第１実施形態に係る推論装置および計算装置の推論時の構成図。 秘密分散法について説明するための図。 訓練データに対する秘密分散処理の内容を示す図。 訓練処理における１番目の処理のフローチャート。 訓練処理における２番目の処理のフローチャート。 訓練処理における３番目の処理のフローチャート。 訓練処理における４番目の処理のフローチャート。 訓練処理における５番目の処理のフローチャート。 推論処理における１番目の処理のフローチャート。 推論処理における２番目の処理のフローチャート。 推論処理における３番目の処理のフローチャート。 第２実施形態に係る学習システムの構成を示す図。 第２実施形態に係るモデル生成装置および計算装置の学習時の構成図。 第２実施形態に係る推論装置の構成図。 第２実施形態に係る推論処理のフローチャート。 情報処理装置のハードウェア構成の一例を示す図。

以下、図面を参照しながら実施形態に係る学習システム１０について説明する。
（第１実施形態）

図１は、第１実施形態に係る学習システム１０の構成を示す図である。第１実施形態に係る学習システム１０は、訓練データおよび学習モデルのパラメータ群を秘匿化しながら学習モデルの訓練を実行させるとともに、入力データおよび結果データを秘匿化しながら学習モデルを用いた推論を実行させる。

学習システム１０は、管理装置２０と、ｎ個（ｎは、３以上の整数）の計算装置３０とを備える。

管理装置２０は、情報処理装置により実現される。ｎ個の計算装置３０のそれぞれは、管理装置２０とは異なる情報処理装置により実現される。ｎ個の計算装置３０のそれぞれは、管理装置２０とネットワークを介して接続される。ｎ個の計算装置３０のそれぞれは、ネットワーク上のサーバであってよい。また、ｎ個の計算装置３０のそれぞれは、ネットワーク上の複数の情報処理装置により構成されるクラウドにより実現されてもよい。

管理装置２０は、モデル生成装置４０と、推論装置４２とを有する。

モデル生成装置４０は、ｍ×ｎ個（ｍは、２以上の整数）の訓練データを取得する。ここで、学習モデルは、構造が予め定められている。例えば、学習モデルがニューラルネットワークである場合、レイヤ構造および各レイヤのノード数等が予め定められている。本実施形態において、学習モデルは、入力されるデータと、出力するデータとが同一となるように訓練がされるモデルである。例えば、学習モデルは、オートエンコーダである。オートエンコーダは、入力レイヤに含まれるノード数と、出力レイヤに含まれるノード数とが同一であり、隠れレイヤに含まれるノード数が入力レイヤおよび出力レイヤに含まれるノード数よりも少ない３レイヤ構造のニューラルネットワークである。

モデル生成装置４０は、ｍ×ｎ個の訓練データを秘密分散法による分散処理により秘匿化したｍ×ｎ個の分散訓練データを生成する。そして、モデル生成装置４０は、ｎ個の計算装置３０のそれぞれに、ｍ×ｎ個の分散訓練データのうちの、対応するｍ個の分散訓練データを送信する。

ｎ個の計算装置３０のそれぞれは、受信したｍ個の分散訓練データを用いて、予め定められた構造の分散学習モデルを訓練する。分散学習モデルは、管理装置２０において管理されている学習モデルと同一の構造を有する。そして、ｎ個の計算装置３０のそれぞれは、訓練後の分散学習モデルに設定されているパラメータ群である分散パラメータ群をモデル生成装置４０に送信する。

モデル生成装置４０は、ｎ個の計算装置３０のうちの少なくともｋ１個（ｋ１は、２以上、ｎ－１以下の予め定められた整数）の計算装置３０のそれぞれから、分散パラメータ群を受信する。そして、モデル生成装置４０は、秘密分散法における復元処理により、受信したｋ１個の分散パラメータ群から、予め定められた構造の学習モデルのパラメータ群を復元する。

モデル生成装置４０は、ｃ個（ｃは、２以上の整数）の判定用データを取得する。モデル生成装置４０は、復元したパラメータ群およびｃ個の判定用データを用いて判定閾値を生成する。そして、モデル生成装置４０は、生成した判定閾値を推論装置４２に与える。

さらに、モデル生成装置４０は、復元した学習モデルのパラメータ群を秘密分散法による分散処理により秘匿化したｎ個のシェアパラメータ群を生成する。そして、モデル生成装置４０は、ｎ個の計算装置３０のそれぞれに、対応するシェアパラメータ群を送信する。

推論装置４２は、入力データを取得する。推論装置４２は、入力データを秘密分散法による分散処理により秘匿化したｎ個の分散入力データを生成する。そして、モデル生成装置４０は、ｎ個の計算装置３０のそれぞれに、対応する分散入力データを送信する。

ｎ個の計算装置３０のそれぞれは、予め受信したシェアパラメータ群が設定された分散学習モデルを用いて、受信した分散入力データから、分散結果データを算出する。そして、ｎ個の計算装置３０のそれぞれは、算出した分散結果データを推論装置４２に送信する。

推論装置４２は、ｎ個の計算装置３０のうちの少なくともｋ２個（ｋ２は、２以上、ｎ－１以下の予め定められた整数）の計算装置３０のそれぞれから、分散結果データを受信する。そして、推論装置４２は、秘密分散法における復元処理により、受信したｋ２個の分散結果データから、結果データを復元する。結果データは、入力データに基づき学習モデルにより推論されたデータである。

推論装置４２は、入力データ、復元された結果データおよび判定閾値に基づき、入力データの評価結果を表す判定結果を生成する。そして、推論装置４２は、判定結果を出力する。

図２は、第１実施形態に係るモデル生成装置４０および計算装置３０の学習時の機能構成を示す図である。

モデル生成装置４０は、取得部５０と、分割部５２と、秘密分散部５４と、シェア送信部５６と、パラメータ受信部６４と、パラメータ復元部６６と、判定データ取得部６８と、閾値算出部７０と、モデル秘密分散部７２と、モデル送信部７４とを備える。ｎ個の計算装置３０のそれぞれは、シェア受信部５８と、訓練部６０と、パラメータ送信部６２と、モデル受信部７６と、モデル記憶部７８とを備える。

取得部５０は、ｍ×ｎ個の訓練データを取得する。ｍ×ｎ個の訓練データは、学習モデルを訓練するためのデータセットである。

例えば、ｍ×ｎ個の訓練データのそれぞれは、システムを監視するために設置された複数のセンサから同時刻に出力された複数の出力値を含むデータである。また、ｍ×ｎ個の訓練データは、時系列に並んだデータセットであってもよい。また、学習モデルをシステムの異常を検知するように訓練する場合、例えば、ｍ×ｎ個の訓練データは、システムの正常動作時における複数のセンサの出力値のデータセットであり、且つ、センサの異常を検知するためデータセットである。なお、ｍ×ｎ個の訓練データは、システムの異常を検知するように学習モデルを訓練するためのデータセットに限らず、どのようなデータセットであってもよい。

分割部５２は、取得部５０により取得されたｍ×ｎ個の訓練データを、ｎ個のグループに分割する。ｎ個のグループは、ｎ個の計算装置３０に一対一に対応する。ｎ個のグループは、ｍ個の訓練データを含む。

秘密分散部５４は、ｎ個のグループのそれぞれについて、秘密分散法における分散処理によりｍ個の分散訓練データを生成する。この場合において、秘密分散部５４は、ｎ個のグループのうちのｉ番目（ｉは、１以上ｎ以下の任意の整数）のグループに含まれるｍ個の訓練データのそれぞれについて、ｎ個の元（Ｐ_１，Ｐ_２，…，Ｐ_ｉ，…，Ｐ_ｎ）のうちのｉ番目の元（Ｐ_ｉ）を用いて、秘密分散法における分散処理により分散訓練データを生成する。このような処理をすることにより、秘密分散部５４は、ｎ個のグループのそれぞれに対応するｍ個の分散訓練データを生成することができる。

シェア送信部５６は、ｎ個の計算装置３０のそれぞれに、対応するｍ個の分散訓練データを送信する。

ｎ個の計算装置３０のそれぞれのシェア受信部５８は、モデル生成装置４０からｍ個の分散訓練データを受信する。ｎ個の計算装置３０のそれぞれの訓練部６０は、受信したｍ個の分散訓練データにより、学習モデルと同一の構造の分散学習モデルを訓練する。ｎ個の計算装置３０のそれぞれのパラメータ送信部６２は、分散学習モデルにおける訓練後の分散パラメータ群をモデル生成装置４０に送信する。

パラメータ受信部６４は、ｎ個の計算装置３０のうちの、少なくともｋ１個の計算装置３０のそれぞれから訓練後の分散パラメータ群を受信する。パラメータ復元部６６は、ｋ１個の計算装置３０から受信したｋ１個の分散パラメータ群に基づき、秘密分散法における復元処理により学習モデルのパラメータ群を生成する。

判定データ取得部６８は、ｃ個の判定用データを取得する。ｃ個の判定用データは、学習モデルに入力されるデータと学習モデルから出力されるデータとの誤差値を評価する判定閾値を生成するためのデータセットである。

ｃ個の判定用データのそれぞれは、ｍ×ｎ個の訓練データと同一環境で取得したデータセットである。例えば、ｍ×ｎ個の訓練データがシステムの正常動作時における複数のセンサの出力値のデータセットであり、且つ、センサの異常を検知するためデータセットである場合、ｃ個の判定用データも、同様のデータセットである。

閾値算出部７０は、秘密分散法における復元処理により生成されたパラメータ群が設定された学習モデルに対して、ｃ個の判定用データを入力することにより、判定閾値を算出する。判定閾値は、入力データと結果データとが同一であると判定するか、入力データと結果データとが同一ではないと判定するかの誤差値の境界を表す。閾値算出部７０は、判定閾値を推論装置４２に与える。

モデル秘密分散部７２は、パラメータ復元部６６により復元された学習モデルのパラメータ群について、秘密分散法における分散処理によりｎ個のシェアパラメータ群を生成する。例えば、モデル秘密分散部７２は、パラメータ群に含まれるそれぞれのパラメータについて、秘密分散法における分散処理によりｎ個のシェアパラメータ群を生成する。ｎ個のシェアパラメータ群は、ｎ個の計算装置３０に一対一で対応する。

モデル送信部７４は、ｎ個の計算装置３０のそれぞれに、ｎ個のシェアパラメータ群のうちの対応するシェアパラメータ群を送信する。

ｎ個の計算装置３０のそれぞれのモデル受信部７６は、モデル生成装置４０からシェアパラメータ群を受信する。ｎ個の計算装置３０のそれぞれのモデル記憶部７８は、受信したシェアパラメータ群を記憶する。

図３は、第１実施形態に係る推論装置４２および計算装置３０の推論時の機能構成を示す図である。

推論装置４２は、入力データ取得部８０と、入力データ秘密分散部８２と、分散入力データ送信部８４と、結果受信部９２と、結果復元部９４と、閾値記憶部９６と、判定部９８とを備える。ｎ個の計算装置３０のそれぞれは、さらに、分散入力データ受信部８６と、推論部８８と、結果送信部９０とを備える。

入力データ取得部８０は、推論処理において、学習モデルにより推論させるための入力データを取得する。入力データは、ｍ×ｎ個の訓練データを出力した環境から取得されるデータである。例えば、ｍ×ｎ個の訓練データのそれぞれが、システムを監視するために設置された複数のセンサから同時刻に出力された複数の出力値を含むデータである場合、入力データも同一の複数のセンサから同時刻に出力された複数の出力値を含むデータである。

入力データ秘密分散部８２は、取得した入力データについて、秘密分散法における分散処理によりｎ個の分散入力データを生成する。ｎ個の分散入力データは、ｎ個の計算装置３０に一対一で対応する。分散入力データ送信部８４は、ｎ個の計算装置３０のそれぞれに、ｎ個の分散入力データのうちの対応する分散入力データを送信する。

ｎ個の計算装置３０のそれぞれの分散入力データ受信部８６は、推論装置４２から分散入力データを受信する。ｎ個の計算装置３０のそれぞれの推論部８８は、モデル記憶部７８からシェアパラメータ群を取得する。そして、ｎ個の計算装置３０のそれぞれの推論部８８は、シェアパラメータ群が設定された分散学習モデルと、受信した分散入力データとに基づき、分散結果データを生成する。推論部８８が生成する分散結果データは、学習モデルに入力データを与えて得られる結果データを、秘密分散法における分散処理により分散したｎ個の分散結果データのうちの、計算装置３０に対応するデータである。ｎ個の計算装置３０のそれぞれの結果送信部９０は、推論部８８により生成された分散結果データを推論装置４２に送信する。

結果受信部９２は、ｎ個の計算装置３０のうちの、ｋ２個の計算装置３０のそれぞれから分散結果データを受信する。結果復元部９４は、ｋ２個の計算装置３０から受信したｋ２個の分散結果データに基づき、秘密分散法における復元処理により結果データを生成する。

閾値記憶部９６は、モデル生成装置４０の閾値算出部７０により算出された判定閾値を記憶する。判定部９８は、入力データ、復元された結果データおよび判定閾値に基づき、入力データの評価結果を表す判定結果を生成する。

より具体的には、判定部９８は、入力データと結果データとの誤差値を算出する。続いて、判定部９８は、誤差値と判定閾値とを比較する。判定部９８は、誤差値が判定閾値より小さい場合、入力データと復元された結果データとが同一であることを示す判定結果を出力する。また、判定部９８は、誤差値が判定閾値以上の場合、入力データと復元された結果データとが同一ではないことを示す判定結果を出力する。そして、判定部９８は、判定結果を出力する。

図４は、秘密分散法について説明するための図である。本実施形態に係る学習システム１０は、秘密分散法として、Ｓｈａｍｉｒのしきい値秘密分散法を用いる。なお、Ｓｈａｍｉｒのしきい値秘密分散法をしきい値秘密分散法とも記載する。

しきい値秘密分散法は、分散処理において、１つの元データからｎ個の分散データを生成し、ｎ個の分散データをｎ台の機器に分散して送信する。また、しきい値秘密分散法は、復元処理において、ｎ個の分散データのうちの予め定められた個数（Ｋ個）の分散データを取得し、取得したＫ個の分散データに基づき元データを復元する。なお、Ｋ、ｎは、Ｋ≦ｎの関係を満たす。しきい値秘密分散法は、（ｎ－Ｋ）個の分散データが消失しても元データを復元できる耐消失性と、Ｋ個未満の分散データからは元データを復元できない機密性とを有する。

データ保有者が、しきい値秘密分散法を用いて元データ（ａ）をｎ台のサーバ｛Ｓ_１，Ｓ_２，…，Ｓ_ｎ｝に安全に分散して保管させたいとする。この場合、データ保有者は、次のような、秘密分散法における分散処理を行う。

まず、データ保有者は、ａ∈Ｋとなる体Ｋを選択する。続いて、データ保有者は、（Ｋ－１）個（１＜Ｋ≦ｎ）のランダムなＫの元（ｒ_１，ｒ_２，…，ｒ_ｋ－１）を選択する。続いて、データ保有者は、下記の式（１）に示す、ａを切片とする（Ｋ－１）次多項式（Ｗ（Ｐ））を生成する。

続いて、データ保有者は、ｎ個のＫの元（Ｐ_１，Ｐ_２，…，Ｐ_ｎ）を選択し、ｎ個の多項式（Ｗ（Ｐ_１），Ｗ（Ｐ_２），…Ｗ（Ｐ_ｎ））を演算する。そして、データ保有者は、Ｗ（Ｐ_ｔ）を、サーバＳ_ｔに送信する。ｔは、１以上、ｎ以下の任意の整数である。なお、この場合、データ保有者は、異なる２つのサーバに同一のＷ（Ｐ_ｔ）を送信しない。また、Ｗ（Ｐ_ｔ）は、サーバＳ_ｔに送信される元データ（ａ）の分散データであり、［ａ］ｔ：＝Ｗ（Ｐ_ｔ）とも表記する。

データ保有者は、以上の処理を実行することにより、しきい値秘密分散法を用いて元データ（ａ）をｎ台のサーバ｛Ｓ_１，Ｓ_２，…，Ｓ_ｎ｝に安全に分散して保管させることができる。

つぎに、データ保有者が、しきい値秘密分散法を用いて、ｎ台のサーバ｛Ｓ_１，Ｓ_２，…，Ｓ_ｎ｝に分散して保管された分散データ（［ａ］_ｔ１，［ａ］_ｔ２，…，［ａ］_ｔｎ）から、元データ（ａ）を復元したいとする。この場合、データ保有者は、次の処理を行う。

まず、データ保有者は、ｎ台のサーバ｛Ｓ_１，Ｓ_２，…，Ｓ_ｎ｝のうちＫ台のサーバ｛Ｓｔ_１，Ｓｔ_２，…，Ｓｔ_Ｋ｝を選択する。なお、この場合、データ保有者は、全て異なるサーバを選択する。続いて、データ保有者は、Ｋ台のサーバ｛Ｓｔ_１，Ｓｔ_２，…，Ｓｔ_Ｋ｝からＫ個の分散データ（［ａ］_ｔ１，［ａ］_ｔ２，…，［ａ］_ｔＫ）を取得する。

続いて、データ保有者は、下記の式（２）を演算して、元データ（ａ）を復元する。

なお、式（２）において、λ_ｔｊは、Ｌａｇｒａｎｇｅ補間法におけるＬａｇｒａｎｇｅ係数である。

データ保有者は、以上の処理を行うことにより、しきい値秘密分散法を用いて、ｎ台のサーバ｛Ｓ_１，Ｓ_２，…，Ｓ_ｎ｝に分散して保管された分散データ（［ａ］_ｔ１，［ａ］_ｔ２，…，［ａ］_ｔｎ）から、元データ（ａ）を復元することができる。

実施形態において、モデル生成装置４０は、分散処理におけるデータ保有者に対応する処理を実行する。また、実施形態において、推論装置４２は、復元処理におけるデータ保有者に対応する処理を実行する。また、実施形態において、ｎ個の計算装置３０のそれぞれは、サーバに対応する処理を実行する。

図５は、ｇ番目の訓練データＸ_ｇに対する秘密分散法における処理の内容を示す図である。

ｍ×ｎ個の訓練データのそれぞれ、ｃ個の判定用データのそれぞれおよび入力データは、同一のデータ構造を有する。例えば、学習モデルがオートエンコーダであり、且つ、入力レイヤおよび出力レイヤのノード数がｈ個（ｈは、２以上の整数）である場合、これらのデータは、１×ｈ個のサブデータを含む配列である。例えば、これらのデータは、同時刻におけるｈ個のセンサの出力値である。

ここで、ｍ×ｎ個の訓練データのうちのｇ番目（ｇは、１以上、ｍ×ｎ以下の任意の整数）の訓練データをＸ_ｇとする。また、Ｘ_ｇは、ｈ個のサブデータ（ｘ_ｇ－１，ｘ_ｇ－２，…，ｘ_ｇ－ｈ）を含む配列であるとする。

モデル生成装置４０は、Ｘ_ｇに対して秘密分散法における分散処理をする場合、Ｘ_ｇに含まれるｈ個のサブデータのそれぞれについて、秘密分散法における分散処理によりｎ個の分散サブデータを生成する。

つまり、この場合、モデル生成装置４０は、１番目のサブデータ（ｘ_ｇ－１）について、ｎ個の分散サブデータ（ｘ´_ｇ－１（Ｐ_１），ｘ´_ｇ－１（Ｐ_２），…，ｘ´_ｇ－１（Ｐ_ｎ））を生成する。また、モデル生成装置４０は、２番目のサブデータ（ｘ_ｇ－２）について、ｎ個の分散サブデータ（ｘ´_ｇ－２（Ｐ_１），ｘ´_ｇ－２（Ｐ_２），…，ｘ´_ｇ－２（Ｐ_ｎ））を生成する。また、モデル生成装置４０は、ｈ番目のサブデータ（ｘ_ｇ－ｈ）について、ｎ個の分散サブデータ（ｘ´_ｇ－ｈ（Ｐ_１），ｘ´_ｇ－ｇ（Ｐ_２），…，ｘ´_ｇ－ｈ（Ｐ_ｎ））を生成する。

また、モデル生成装置４０は、１つの訓練データに対して秘密分散法における分散処理をした場合、ｎ個の分散訓練データを生成する。例えば、Ｘ_ｇに対して秘密分散法における分散処理をした場合、モデル生成装置４０は、ｎ個の分散訓練データ（ｘ´_ｇ（Ｐ_１），ｘ´_ｇ（Ｐ_２），…，ｘ´_ｇ（Ｐ_ｎ））を生成する。

ここで、ｎ個の分散訓練データのそれぞれは、同一の元に基づき生成されたｈ個の分散サブデータを含む配列である。例えば、ｎ個の分散訓練データのうちのＰ_１を元とする分散訓練データ（ｘ´_ｇ（Ｐ_１））は、Ｐ_１を元とするｈ個の分散サブデータ（ｘ´_ｇ－１（Ｐ_１），ｘ´_ｇ－２（Ｐ_１），…，ｘ´_ｇ－ｈ（Ｐ_１））を含む配列である。また、Ｐ_２を元とする分散訓練データ（ｘ´_ｇ（Ｐ_２））は、Ｐ_２を元とするｈ個の分散サブデータ（ｘ´_ｇ－１（Ｐ_２），ｘ´_ｇ－２（Ｐ_２），…，ｘ´_ｇ－ｈ（Ｐ_２））を含む配列である。また、Ｐ_ｎを元とする分散訓練データ（ｘ´_ｇ（Ｐ_ｎ））は、Ｐ_ｎを元とするｈ個の分散サブデータ（ｘ´_ｇ－１（Ｐ_ｎ），ｘ´_ｇ－２（Ｐ_ｎ），…，ｘ´_ｇ－ｈ（Ｐ_ｎ））を含む配列である。

そして、訓練処理において、ｎ個の計算装置３０のそれぞれは、取得した分散訓練データに含まれるｈ個の分散サブデータのそれぞれを、分散学習モデル（例えばオートエンコーダ）の入力レイヤに含まれるｈ個のノードのうちの対応するノードに与える。

また、推論装置４２も、入力データに対して同様の処理を行う。そして、推論処理において、ｎ個の計算装置３０のそれぞれは、取得した分散入力データに含まれるｈ個の分散サブデータのそれぞれを、分散学習モデルの入力レイヤに含まれるｈ個のノードのうちの対応するノードに与える。

図６、図７、図８、図９および図１０は、学習システム１０の訓練処理の流れを示すフローチャートである。学習システム１０は、訓練処理において、図６、図７、図８、図９および図１０に示す流れで処理を行う。

まず、Ｓ１１において、取得部５０は、学習モデルを訓練するためのｍ×ｎ個の訓練データを取得する。本例においては、取得部５０は、ｍ×ｎ個の訓練データとして、Ｘ_１，…，Ｘ_ｍ，Ｘ_ｍ＋１，…，Ｘ_２ｍ，…，Ｘ_{（ｎ－１）ｍ＋１}，…，Ｘ_ｎｍを取得する。Ｘ_１，…，Ｘ_ｎｍのそれぞれは、平文である。例えば、Ｘ_１，…，Ｘ_ｎｍは、時系列に連続したデータである。

続いて、Ｓ１２において、分割部５２は、ｍ×ｎ個の訓練データを、それぞれがｍ個の訓練データを含むｎ個のグループに分割する。例えば、Ｘ_１，…，Ｘ_ｎｍが時系列に連続したデータである場合、分割部５２は、１つのグループに含まれるｍ個の訓練データが時系列に連続するように、［Ｘ_１，…，Ｘ_ｍ］，［Ｘ_ｍ＋１，…，Ｘ_２ｍ］，…，［Ｘ_{（ｎ－１）ｍ＋１}，…，Ｘ_ｎｍ］といったように分割する。

続いて、Ｓ１３において、秘密分散部５４は、ｎ個のグループのそれぞれについて、秘密分散法における分散処理によりｍ個の分散訓練データを生成する。この場合において、秘密分散部５４は、ｎ個のグループのうちのｉ番目のグループに含まれるｍ個の訓練データのそれぞれについて、ｎ個の元（Ｐ_１，Ｐ_２，…，Ｐ_ｉ，…，Ｐ_ｎ）のうちのｉ番目の元（Ｐ_ｉ）を用いて秘密分散法における分散処理により分散訓練データを生成する。

本例においては、Ｘ_ｇに対して元Ｐ_ｉにより秘密分散した分散訓練データをＸ´_ｇ（Ｐ_ｉ）と表す。秘密分散部５４は、１番目のグループに含まれる［Ｘ_１，…，Ｘ_ｍ］のそれぞれについて、元Ｐ_１により分散処理をした［Ｘ´_１（Ｐ_１），…，Ｘ´_ｍ（Ｐ_１）］を生成する。また、秘密分散部５４は、２番目のグループに含まれる［Ｘ_ｍ＋１，…，Ｘ_２ｍ］のそれぞれについて、元Ｐ_２により分散処理をした［Ｘ´_ｍ＋１（Ｐ_２），…，Ｘ´_２ｍ（Ｐ_２）］を生成する。また、秘密分散部５４は、ｉ番目のグループに含まれる［Ｘ_{（ｉ－１）ｍ＋１}，…，Ｘ_ｉｍ］のそれぞれについて、元Ｐ_ｉにより分散処理をした［Ｘ´_{（ｉ－１）ｍ＋１}（Ｐ_ｉ），…，Ｘ´_ｉｍ（Ｐ_ｉ）］を生成する。また、秘密分散部５４は、ｎ番目のグループに含まれる［Ｘ_{（ｎ－１）ｍ＋１}，…，Ｘ_ｎｍ］のそれぞれについて、元Ｐ_ｎにより分散処理をした［Ｘ´_{（ｎ－１）ｍ＋１}（Ｐ_ｎ），…，Ｘ´_ｎｍ（Ｐ_ｎ）］を生成する。

続いて、Ｓ１４において、シェア送信部５６は、ｎ個の計算装置３０のそれぞれに、対応するｍ個の分散訓練データを送信する。

続いて、Ｓ１５において、ｎ個の計算装置３０のそれぞれのシェア受信部５８は、モデル生成装置４０からｍ個の分散訓練データを受信する。例えば、第１の計算装置３０－１は、［Ｘ´_１（Ｐ_１），…，Ｘ´_ｍ（Ｐ_１）］を受信する。例えば、第２の計算装置３０－２は、［Ｘ´_ｍ＋１（Ｐ_２），…，Ｘ´_２ｍ（Ｐ_２）］を受信する。例えば、第ｉの計算装置３０－ｉは、［Ｘ´_{（ｉ－１）ｍ＋１}（Ｐ_ｉ），…，Ｘ´_ｉｍ（Ｐ_ｉ）］を受信する。例えば、第ｎの計算装置３０－ｎは、［Ｘ´_{（ｎ－１）ｍ＋１}（Ｐ_ｎ），…，Ｘ´_ｎｍ（Ｐ_ｎ）］を受信する。

続いて、Ｓ１６において、ｎ個の計算装置３０のそれぞれの訓練部６０は、受信したｍ個の分散訓練データにより分散学習モデルを訓練する。分散学習モデルは、学習モデルと同一の構造である。モデル生成装置４０およびｎ個の計算装置３０のそれぞれは、学習モデルおよび分散学習モデルの構造を共有している。例えば、分散学習モデルがオートエンコーダである場合、入力レイヤおよび出力レイヤのノード数、および、中間レイヤのノード数を共有している。そして、分散学習モデルがオートエンコーダである場合、ｎ個の計算装置３０のそれぞれの訓練部６０は、分散訓練データを入力した場合に、入力した分散訓練データと同一のデータが出力されるように、分散学習モデルを訓練する。

続いて、Ｓ１７において、ｎ個の計算装置３０のそれぞれのパラメータ送信部６２は、分散学習モデルにおける訓練後の分散パラメータ群をモデル生成装置４０に送信する。例えば、分散学習モデルがオートエンコーダである場合、パラメータ送信部６２は、訓練した結果として得られた複数の重みおよび複数のバイアスを、訓練後の分散パラメータ群としてモデル生成装置４０に送信する。なお、ｎ個の計算装置３０のそれぞれは、互いに異なるｍ個の分散訓練データにより分散学習モデルを訓練する。従って、ｎ個の計算装置３０のそれぞれは、互いに異なる分散パラメータ群をモデル生成装置４０に送信する。

続いて、Ｓ１８において、モデル生成装置４０のパラメータ受信部６４は、ｎ個の計算装置３０のうちの、ｋ１個の計算装置３０のそれぞれから訓練後の分散パラメータ群を受信する。ここで、ｋ１個は、学習モデルを表す式の逆関数を、秘密分散法における復元処理により復元するために必要となるシェアの数である。学習モデルを表す式の逆関数は、学習もでるから出力される結果データを変数とし、学習モデルに入力される訓練データを値とする関数である。また、この場合において、シェアは、訓練後の分散パラメータ群である。

続いて、Ｓ１９において、パラメータ復元部６６は、ｋ１個の計算装置３０から受信したｋ１個の分散パラメータ群に基づき、秘密分散法における復元処理により学習モデルのパラメータ群を生成する。

より具体的には、パラメータ復元部６６は、ｋ１個の計算装置３０のそれぞれ毎に、結果データを変数とし、訓練データを値とする式で表したモデル式の逆関数に、対応する分散パラメータ群を代入する。続いて、パラメータ復元部６６は、対応する分散パラメータ群を代入したｋ１個の逆関数を用いて、秘密分散法における復元処理により、学習モデルの逆関数を復元する。そして、パラメータ復元部６６は、復元した学習モデルの逆関数に基づき、学習モデルのパラメータ群を生成する。

続いて、Ｓ２０において、判定データ取得部６８は、ｃ個の判定用データを取得する。本例においては、判定データ取得部６８は、ｃ個の判定用データとして、［Ｙ_１，…，Ｙｃ］を取得する。

続いて、Ｓ２１において、閾値算出部７０は、秘密分散法における復元処理により生成されたパラメータ群が設定された学習モデルに対してｃ個の判定用データを入力することにより、判定閾値を算出する。判定閾値は、入力データと結果データとが同一であると判定するか同一ではないと判定するかの誤差値の境界を表す。判定データ取得部６８は、判定結果の精度（Ａｃｃｕｒａｃｙ）が最も高くなるような判定閾値を算出する。本例においては、判定データ取得部６８は、判定閾値としてｄを算出する。閾値算出部７０は、判定閾値を推論装置４２に与える。

続いて、Ｓ２２において、モデル秘密分散部７２は、復元された学習モデルのパラメータ群について、秘密分散法における分散処理によりｎ個のシェアパラメータ群を生成する。例えば、モデル秘密分散部７２は、パラメータ群に含まれるそれぞれのパラメータについて、秘密分散法における分散処理によりｎ個のシェアパラメータ群を生成する。例えば、学習モデルがオートエンコーダである場合、モデル秘密分散部７２は、復元された複数の重みおよび複数のバイアスのそれぞれについて、秘密分散法における分散処理によりｎ個のシェアパラメータ群を生成する。なお、ｎ個のシェアパラメータ群は、ｎ個の計算装置３０に一対一で対応する。

続いて、Ｓ２３において、モデル送信部７４は、ｎ個の計算装置３０のそれぞれに、ｎ個のシェアパラメータ群のうちの対応するシェアパラメータ群を送信する。

続いて、Ｓ２４において、ｎ個の計算装置３０のそれぞれのモデル受信部７６は、モデル生成装置４０からシェアパラメータ群を受信する。そして、Ｓ２５において、ｎ個の計算装置３０のそれぞれのモデル記憶部７８は、受信したシェアパラメータ群を記憶する。

このように、訓練処理において、学習システム１０は、Ｓ１１からＳ２５の処理を実行する。これにより、学習システム１０は、訓練データをｎ個の計算装置３０に対して秘匿化した状態で、ｎ個の計算装置３０に学習モデルを訓練させることができる。

図１１、図１２および図１３は、学習システム１０の推論処理の流れを示すフローチャートである。学習システム１０は、推論処理において、図１１、図１２および図１３に示す流れで処理を行う。

まず、Ｓ６１において、推論装置４２の入力データ取得部８０は、学習モデルにより推論させるための入力データを取得する。本例においては、入力データ取得部８０は、入力データとして、Ｚ_１を取得する。なお、入力データ取得部８０は、時系列に並んだ複数の入力データ（Ｚ_１，…，Ｚ_ｓ）（ｓは、２以上の整数）を取得してもよい。この場合、推論装置４２およびｎ個の計算装置３０のそれぞれは、複数の入力データ（Ｚ_１，…，Ｚ_ｓ）のそれぞれに対して、Ｚ_１と同一の処理を実行する。

続いて、Ｓ６２において、入力データ秘密分散部８２は、取得した入力データについて、秘密分散法における分散処理によりｎ個の分散入力データを生成する。本例においては、Ｚ_１に対して元Ｐ_ｉで秘密分散した分散訓練データをＺ_１´（Ｐ_ｉ）と表す。従って、入力データ秘密分散部８２は、Ｚ´_１（Ｐ_１），Ｚ´_１（Ｐ_２），…，Ｚ´_１（Ｐ_ｉ），…，Ｚ´_１（Ｐ_ｎ）を生成する。ｎ個の分散入力データは、ｎ個の計算装置３０に一対一で対応する。

続いて、Ｓ６３において、分散入力データ送信部８４は、ｎ個の計算装置３０のそれぞれに、ｎ個の分散入力データのうちの対応する分散入力データを送信する。

続いて、Ｓ６４において、ｎ個の計算装置３０のそれぞれの分散入力データ受信部８６は、推論装置４２から分散入力データを受信する。例えば、第１の計算装置３０－１は、Ｚ´_１（Ｐ_１）を受信する。例えば、第２の計算装置３０－２は、Ｚ´_１（Ｐ_２）を受信する。例えば、第ｉの計算装置３０－ｉは、Ｚ´_１（Ｐ_ｉ），を受信する。例えば、第ｎの計算装置３０－ｎは、Ｚ´_１（Ｐ_ｎ）を受信する。

続いて、Ｓ６５において、ｎ個の計算装置３０のそれぞれの推論部８８は、モデル記憶部７８から、シェアパラメータ群を取得する。そして、推論部８８は、シェアパラメータ群が設定された分散学習モデルと、受信した分散入力データとに基づき、分散結果データを生成する。ｎ個の計算装置３０のそれぞれの推論部８８が生成する分散結果データは、学習モデルに入力データを与えて得られる結果データを、秘密分散法における分散処理により分散したｎ個の分散結果データのうちの、対応する分散結果データである。例えば、分散学習モデルがオートエンコーダである場合、推論部８８は、取得した分散入力データに含まれるｈ個の分散サブデータのそれぞれを、入力レイヤに含まれるｈ個のノードのうちの対応するノードに与える。

本例においては、第１の計算装置３０－１の推論部８８は、ｄｅｃ´_１（Ｐ_１）を生成する。第２の計算装置３０－２の推論部８８は、ｄｅｃ´_１（Ｐ_２）を生成する。第ｉの計算装置３０－ｉの推論部８８は、ｄｅｃ´_１（Ｐ_ｉ）生成する。例えば、第ｎの計算装置３０－ｎの推論部８８は、ｄｅｃ´_１（Ｐ_ｎ）を生成する。

ここで、ｎ個の計算装置３０のそれぞれの推論部８８は、例えば、非特許文献１（Naohisa Nishida， et al.， “精度劣化を抑えた秘匿BinarizedCNNの提案(Efficient Secure Binarized CNN Protocol Reducing Accuracy Degradation)”，Computer Security Symposium 2019， P1588-1595，２０１９年１０月２１－２４日）に示された処理方法で、推論処理を実行する。

非特許文献１には、マルチパーティ計算（ＭＰＣ）を行うことで、Ｓｈａｍｉｒのしきい値秘密分散法により算出された分散データに対するニューラルネットワークによる推論処理をサーバに実行させる手法が記載されている。分散データは、マルチパーティ計算を行うことで、和、積、論理和および論理積を実行することができる。マルチパーティ計算は、自分の持つ秘密情報を相手に漏らすことなく、サーバ間で通信を行って、秘密情報に対する計算を実行する手法である。例えば、Ｓｈａｍｉｒのしきい値秘密分散法を用いた場合、サーバは、分散データ（シェア）同士の和、分散データ（シェア）と平文の和、分散データ（シェア）と平文の積を他のサーバと通信することなく、実行可能である。ただし、サーバは、分散データ（シェア）同士の積を算出する場合には、他のサーバと通信する。

続いて、Ｓ６６において、ｎ個の計算装置３０のそれぞれの結果送信部９０は、生成された分散結果データを推論装置４２に送信する。

続いて、Ｓ６７において、推論装置４２の結果受信部９２は、ｎ個の計算装置３０のうちの、ｋ２個の計算装置３０のそれぞれから分散結果データを受信する。ｋ２個は、結果データを秘密分散法における復元処理により復元するために必要となるシェアの数である。この場合、シェアは、計算装置３０において分散入力データから推論された分散結果データである。

続いて、Ｓ６８において、結果復元部９４は、ｋ２個の計算装置３０から受信したｋ２個の分散結果データに基づき、秘密分散法における復元処理により結果データを生成する。本例においては、結果復元部９４は、ｋ２個の分散結果データｄｅｃ´_１から、結果データｄｅｃ_１を復元する。なお、結果復元部９４は、複数の入力データ（Ｚ_１，…，Ｚ_ｓ）を取得した場合には、複数の入力データのそれぞれに対応する複数の結果データ（ｄｅｃ_１，…，ｄｅｃ_ｓ）を復元する。

続いて、Ｓ６９において、判定部９８は、入力データと結果データとの誤差値を算出する。さらに、判定部９８は、算出した誤差値と、閾値記憶部９６に記憶された判定閾値（ｄ）とを比較する。

続いて、Ｓ７０において、判定部９８は、誤差値が判定閾値（ｄ）より小さい場合、入力データと復元された結果データとが同一であることを示す判定結果を出力する。また、判定部９８は、誤差値が判定閾値（ｄ）以上の場合、入力データと復元された結果データとが同一ではないことを示す判定結果を出力する。なお、複数の入力データ（Ｚ_１，…，Ｚ_ｓ）を取得した場合、判定部９８は、複数の入力データのそれぞれに対する判定結果を出力してもよいし、複数の入力データのそれぞれに対する判定結果に基づき、複数の入力データが取得されたシステムに何らかの異常が発生したことを表す情報を出力してもよい。そして、判定部９８は、判定結果を出力する。

このように、推論処理において、学習システム１０は、Ｓ６１からＳ７０の処理を実行する。これにより、学習システム１０は、入力データをｎ個の計算装置３０に対して秘匿化した状態で、ｎ個の計算装置３０に推論処理をさせることができる。

以上のように、本実施形態に係る学習システム１０は、ｎ個の計算装置３０に対して訓練データ、学習モデルのパラメータ群および入力データを秘匿化した状態、ｎ個の計算装置３０に対して学習処理のための計算および推論処理のための計算をさせることができる。さらに、本実施形態に係る学習システム１０は、学習処理において、ｎ個の計算装置３０のそれぞれに対して、対応する元により秘匿化したｍ個の分散訓練データを送信して、分散学習モデルを訓練させる。従って、本実施形態に係る学習システム１０は、ｎ個の計算装置３０のそれぞれに対して与えるデータ量を少なくし、ｎ個の計算装置３０のそれぞれにおける訓練時の計算量を少なくすることができる。

（第２実施形態）
つぎに、第２実施形態に係る学習システム１０について説明する。第２実施形態に係る学習システム１０は、第１実施形態と略同一の機能および構成を有する。第２実施形態の説明については、第１実施形態と同一の機能および構成を有する構成要素については同一の符号を付けて、相違点を除き詳細な説明を省略する。

図１４は、第２実施形態に係る学習システム１０の構成を示す図である。第２実施形態に係る学習システム１０は、訓練データおよび学習モデルのパラメータ群を秘匿化しながら学習モデルの訓練を実行させる。

第２実施形態に係るモデル生成装置４０は、学習モデルのパラメータ群を復元した後、復元したパラメータ群を、判定閾値とともに推論装置４２に与える。なお、第２実施形態に係るモデル生成装置４０は、復元したパラメータ群からｎ個のシェアパラメータ群を生成せず、ｎ個の計算装置３０にもシェアパラメータ群を送信しない。

第２実施形態に係る推論装置４２は、推論処理において、復元したパラメータ群を設定した学習モデルを用いて、入力データから結果データを算出する。そして、第２実施形態に係る推論装置４２は、入力データ、結果データおよび判定閾値に基づき、入力データの評価結果を表す判定結果を生成する。そして、推論装置４２は、判定結果を出力する。なお、第２実施形態に係るｎ個の計算装置３０のそれぞれは、推論時において処理を実行しない。

図１５は、第２実施形態に係るモデル生成装置４０および計算装置３０の学習時の機能構成を示す図である。

第２実施形態に係るモデル生成装置４０は、取得部５０と、分割部５２と、秘密分散部５４と、シェア送信部５６と、パラメータ受信部６４と、パラメータ復元部６６と、判定データ取得部６８と、閾値算出部７０とを備える。すなわち、第２実施形態に係るモデル生成装置４０は、第１実施形態と比較して、モデル秘密分散部７２およびモデル送信部７４を備えない構成である。第２実施形態に係るｎ個の計算装置３０のそれぞれは、シェア受信部５８と、訓練部６０と、パラメータ送信部６２とを備える。すなわち、第２実施形態に係るｎ個の計算装置３０のそれぞれは、第１実施形態と比較して、モデル受信部７６およびモデル記憶部７８を備えない構成である。

第２実施形態において、パラメータ復元部６６は、復元した学習モデルのパラメータ群を推論装置４２に与える。

図１６は、第２実施形態に係る推論装置４２の機能構成を示す図である。

第２実施形態に係る推論装置４２は、入力データ取得部８０と、第２モデル記憶部１００と、第２推論部１０２と、閾値記憶部９６と、判定部９８と、を備える。すなわち、第２実施形態に係る推論装置４２は、第１実施形態と比較し、入力データ秘密分散部８２、分散入力データ送信部８４、結果受信部９２および結果復元部９４を備えず、第２モデル記憶部１００および第２推論部１０２をさらに備える。

第２モデル記憶部１００は、モデル生成装置４０のパラメータ復元部６６により復元された学習モデルのパラメータ群を記憶する。第２推論部１０２は、第２モデル記憶部１００からパラメータ群を取得する。そして、第２推論部１０２は、パラメータ群が設定された学習モデルと、取得した入力データとに基づき、結果データを生成する。判定部９８は、入力データ、第２推論部１０２により生成された結果データおよび判定閾値に基づき、入力データの評価結果を表す判定結果を生成する。

図１７は、第２実施形態に係る学習システム１０の推論処理の流れを示すフローチャートである。第２実施形態に係る学習システム１０は、学習処理において、第１実施形態で説明した図６～図８に示すＳ１１からＳ２１の処理を行う。また、第２実施形態に係る学習システム１０は、推論処理において、図１７に示す流れで処理を行う。

まず、Ｓ８１において、入力データ取得部８０は、学習モデルにより推論させるための入力データを取得する。

続いて、Ｓ８２において、第２推論部１０２は、第２モデル記憶部１００から、パラメータ群を取得する。そして、第２推論部１０２は、パラメータ群が設定された学習モデルと、取得した入力データとに基づき、結果データを生成する。例えば、学習モデルがオートエンコーダである場合、第２推論部１０２は、取得した入力データに含まれるｈ個の分散サブデータのそれぞれを、入力レイヤに含まれるｈ個のノードのうちの対応するノードに与える。

続いて、Ｓ８３において、判定部９８は、入力データと結果データとの誤差値を算出する。さらに、判定部９８は、算出した誤差値と、閾値記憶部９６に記憶された判定閾値（ｄ）とを比較する。

続いて、Ｓ８４において、判定部９８は、誤差値が判定閾値（ｄ）より小さい場合、入力データと復元された結果データとが同一であることを示す判定結果を出力する。また、判定部９８は、誤差値が判定閾値（ｄ）以上の場合、入力データと復元された結果データとが同一ではないことを示す判定結果を出力する。なお、複数の入力データ（Ｚ_１，…，Ｚ_ｓ）を取得した場合、判定部９８は、複数の入力データのそれぞれに対する判定結果を出力してもよいし、複数の入力データのそれぞれに対する判定結果に基づき、複数の入力データが取得されたシステムに何らかの異常が発生したことを表す情報を出力してもよい。そして、判定部９８は、判定結果を出力する。

以上のように、本実施形態に係る学習システム１０は、ｎ個の計算装置３０に対して訓練データ、学習モデルのパラメータ群および入力データを秘匿化した状態、ｎ個の計算装置３０に対して学習処理のための計算および推論処理のための計算をさせることができる。従って、本実施形態に係る学習システム１０は、ｎ個の計算装置３０のそれぞれに対して与えるデータ量を少なくし、ｎ個の計算装置３０のそれぞれにおける訓練時の計算量を少なくすることができる。

（ハードウェア構成）
図１８は、計算装置３０、モデル生成装置４０および推論装置４２のハードウェア構成の一例を示す図である。計算装置３０は、例えば図１８に示すようなハードウェア構成の情報処理装置により実現される。モデル生成装置４０および推論装置４２も、同様のハードウェア構成により実現される。情報処理装置は、ＣＰＵ（Central Processing Unit）３０１と、ＲＡＭ（Random Access Memory）３０２と、ＲＯＭ（Read Only Memory）３０３と、操作入力装置３０４と、表示装置３０５と、記憶装置３０６と、通信装置３０７とを備える。そして、これらの各部は、バスにより接続される。なお、情報処理装置は、操作入力装置３０４および表示装置３０５を備えない構成であってもよい。

ＣＰＵ３０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ３０１は、ＲＡＭ３０２の所定領域を作業領域として、ＲＯＭ３０３および記憶装置３０６等に記憶されたプログラムとの協働により各種処理を実行する。

ＲＡＭ３０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ３０２は、ＣＰＵ３０１の作業領域として機能する。ＲＯＭ３０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

操作入力装置３０４は、マウスおよびキーボード等の入力デバイスである。操作入力装置３０４は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ３０１に出力する。

表示装置３０５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスである。表示装置３０５は、ＣＰＵ３０１からの表示信号に基づいて、各種情報を表示する。

記憶装置３０６は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置３０６は、ＣＰＵ３０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。通信装置３０７は、ＣＰＵ３０１からの制御に応じて外部の機器とネットワークを介して通信する。

情報処理装置をモデル生成装置４０として機能させるためのプログラムは、取得モジュールと、分割モジュールと、秘密分散モジュールと、シェア送信モジュールと、パラメータ受信モジュールと、パラメータ復元モジュールと、判定データ取得モジュールと、閾値算出モジュールと、モデル秘密分散モジュールと、モデル送信モジュールとを含む。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、情報処理装置を、取得部５０、分割部５２、秘密分散部５４、シェア送信部５６、パラメータ受信部６４、パラメータ復元部６６、判定データ取得部６８、閾値算出部７０、モデル秘密分散部７２およびモデル送信部７４として機能させる。なお、これらの一部または全部がハードウェア回路で実現されてもよい。

情報処理装置を推論装置４２として機能させるためのプログラムは、入力データ取得モジュールと、入力データ秘密分散モジュールと、分散入力データ送信モジュールと、結果受信モジュールと、結果復元モジュールと、判定モジュールとを含む。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、情報処理装置を、入力データ取得部８０、入力データ秘密分散部８２、分散入力データ送信部８４、結果受信部９２、結果復元部９４および判定部９８として機能させる。なお、これらの一部または全部がハードウェア回路で実現されてもよい。また、このプログラムは、記憶装置３０６を閾値記憶部９６として機能させる。

情報処理装置を計算装置３０として機能させるためのプログラムは、シェア受信モジュールと、訓練モジュールと、パラメータ送信モジュールと、モデル受信モジュールと、分散入力データ受信モジュールと、推論モジュールと、結果送信モジュールとを含む。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、情報処理装置を、シェア受信部５８、訓練部６０、パラメータ送信部６２、モデル受信部７６、分散入力データ受信部８６、推論部８８および結果送信部９０として機能させる。なお、これらの一部または全部がハードウェア回路で実現されてもよい。また、このプログラムは、記憶装置３０６をモデル記憶部７８として機能させる。

また、情報処理装置で実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、情報処理装置で実行されるプログラムを、ＲＯＭ３０３等に予め組み込んで提供するように構成してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 学習システム
２０ 管理装置
３０ 計算装置
４０ モデル生成装置
４２ 推論装置
５０ 取得部
５２ 分割部
５４ 秘密分散部
５６ シェア送信部
５８ シェア受信部
６０ 訓練部
６２ パラメータ送信部
６４ パラメータ受信部
６６ パラメータ復元部
６８ 判定データ取得部
７０ 閾値算出部
７２ モデル秘密分散部
７４ モデル送信部
７６ モデル受信部
７８ モデル記憶部
８０ 入力データ取得部
８２ 入力データ秘密分散部
８４ 分散入力データ送信部
８６ 分散入力データ受信部
８８ 推論部
９０ 結果送信部
９２ 結果受信部
９４ 結果復元部
９６ 閾値記憶部
９８ 判定部
１００ 第２モデル記憶部
１０２ 第２推論部

Claims (12)

1. 学習モデルを訓練する学習システムであって、
   モデル生成装置と、
   前記モデル生成装置とネットワークを介して接続されたｎ個（ｎは、３以上の整数）の計算装置と、
   を備え、
   前記モデル生成装置は、
   前記学習モデルを訓練するためのｍ×ｎ個（ｍは、２以上の整数）の訓練データを取得する取得部と、
   前記ｍ×ｎ個の訓練データを、前記ｎ個の計算装置に一対一に対応した、ｍ個の訓練データを含むｎ個のグループに分割する分割部と、
   前記ｎ個のグループのそれぞれについて秘密分散法における分散処理によりｍ個の分散訓練データを生成するものであって、前記ｎ個のグループのうちのｉ番目（ｉは、１以上ｎ以下の整数）のグループに含まれる前記ｍ個の訓練データのそれぞれについて、ｎ個の元（Ｐ１，Ｐ２，…，Ｐｉ，…，Ｐｎ）のうちのｉ番目の元（Ｐｉ）を用いて前記秘密分散法における分散処理により分散訓練データを生成する秘密分散部と、
   前記ｎ個の計算装置のそれぞれに、対応する前記ｍ個の分散訓練データを送信するシェア送信部と、
   を有し、
   前記ｎ個の計算装置のそれぞれは、
   前記モデル生成装置から前記ｍ個の分散訓練データを受信するシェア受信部と、
   受信した前記ｍ個の分散訓練データにより、前記学習モデルと同一の構造の分散学習モデルを訓練する訓練部と、
   前記分散学習モデルにおける訓練後の分散パラメータ群を前記モデル生成装置に送信するパラメータ送信部と、
   を有し、
   前記モデル生成装置は、
   前記ｎ個の計算装置のうちの、ｋ１個（ｋ１は、２以上、ｎ－１以下の予め定められた整数）の計算装置のそれぞれから訓練後の前記分散パラメータ群を受信するパラメータ受信部と、
   前記ｋ１個の計算装置のそれぞれから受信した前記分散パラメータ群に基づき、前記秘密分散法における復元処理により前記学習モデルのパラメータ群を生成するパラメータ復元部とをさらに有する
   学習システム。
2. 前記パラメータ復元部は、
   前記ｋ１個の計算装置のそれぞれ毎に、結果データを変数とし、訓練データを値とする式で表したモデル式の逆関数に、対応する前記分散パラメータ群を代入し、
   対応する前記分散パラメータ群を代入したｋ１個の逆関数を用いて、前記秘密分散法における復元処理により、前記学習モデルの逆関数を復元し、
   復元した前記学習モデルの逆関数に基づき、前記学習モデルの前記パラメータ群を生成する
   請求項１に記載の学習システム。
3. 前記学習モデルは、入力されるデータと、出力するデータとが同一となるように訓練がされるモデルである
   請求項１または２に記載の学習システム。
4. 前記モデル生成装置は、
   前記学習モデルに入力されるデータと前記学習モデルから出力されるデータとの誤差値を評価するためのｃ個（ｃは、２以上）の判定用データを取得する判定データ取得部と、
   前記秘密分散法における復元処理により生成された前記パラメータ群が設定された前記学習モデルに対して前記ｃ個の判定用データを入力することにより、入力データと結果データとが同一であると判定するか同一ではないと判定するかの前記誤差値の境界を表す判定閾値を算出する閾値算出部と、
   をさらに有する請求項３に記載の学習システム。
5. 前記学習モデルは、入力レイヤに含まれるノード数と、出力レイヤに含まれるノード数とが同一であり、隠れレイヤに含まれるノード数が前記入力レイヤおよび前記出力レイヤに含まれるノード数よりも少ない３レイヤ構造のニューラルネットワークである
   請求項４に記載の学習システム。
6. 前記入力レイヤおよび前記出力レイヤのノード数は、ｈ個（ｈは、３以上の整数）であり、
   前記ｍ×ｎ個の訓練データのそれぞれ、前記入力データおよび前記結果データのそれぞれは、ｈ個のサブデータを含み、
   前記分散訓練データは、ｈ個の分散サブデータを含み、
   前記モデル生成装置の前記秘密分散部は、前記ｉ番目のグループに含まれる前記ｍ個の訓練データのそれぞれに対して、前記ｈ個のサブデータのそれぞれ毎に前記ｉ番目の元（Ｐｉ）を用いて前記秘密分散法における分散処理により分散サブデータを生成し、
   前記ｎ個の計算装置のそれぞれの前記訓練部は、前記分散学習モデルの前記入力レイヤに含まれるｈ個のノードのそれぞれに、前記ｈ個の分散サブデータのうちの対応する１つの分散サブデータを与える
   請求項５に記載の学習システム。
7. 前記秘密分散法は、Ｓｈａｍｉｒのしきい値秘密分散法である
   請求項１から６の何れか１項に記載の学習システム。
8. 推論装置をさらに備え、
   前記モデル生成装置は、
   復元された前記学習モデルの前記パラメータ群について、前記秘密分散法における分散処理によりｎ個のシェアパラメータ群を生成するモデル秘密分散部と、
   前記ｎ個の計算装置のそれぞれに、前記ｎ個のシェアパラメータ群のうち対応するシェアパラメータ群を送信するモデル送信部と、
   をさらに有し、
   前記ｎ個の計算装置のそれぞれは、
   前記モデル生成装置から前記シェアパラメータ群を受信するモデル受信部と、
   をさらに有し、
   前記推論装置は、
   推論処理において、前記学習モデルにより推論させるための入力データについて、前記秘密分散法における分散処理によりｎ個の分散入力データを生成する入力データ秘密分散部と、
   前記ｎ個の計算装置のそれぞれに、前記ｎ個の分散入力データのうち対応する分散入力データを送信する分散入力データ送信部と、
   をさらに有し、
   前記ｎ個の計算装置のそれぞれは、
   受信した前記シェアパラメータ群が設定された前記分散学習モデルと、受信した前記分散入力データとに基づき、前記学習モデルに前記入力データを与えて得られる結果データを前記秘密分散法における分散処理により分散したｎ個の分散結果データのうちの、対応する分散結果データを生成する推論部と、
   前記分散結果データを前記推論装置に送信する結果送信部と、
   をさらに有し、
   前記推論装置は、
   前記ｎ個の計算装置のうちの、ｋ２個（ｋ２は、２以上、ｎ－１以下の予め定められた整数）の前記計算装置のそれぞれから受信した前記分散結果データに基づき、前記秘密分散法における復元処理により前記結果データを生成する結果復元部をさらに有する
   請求項１から７の何れか１項に記載の学習システム。
9. 推論装置をさらに備え、
   前記推論装置は、
   復元された前記学習モデルの前記パラメータ群が設定された前記学習モデルと、前記学習モデルにより推論させるための入力データとに基づき、前記学習モデルに前記入力データを与えて得られる結果データを生成する第２推論部を有する
   請求項１から７の何れか１項に記載の学習システム。
10. ネットワークを介してｎ個（ｎは、３以上の整数）の計算装置と接続されたモデル生成装置であって、
    前記モデル生成装置は、
    学習モデルを訓練するためのｍ×ｎ個（ｍは、２以上の整数）の訓練データを取得する取得部と、
    前記ｍ×ｎ個の訓練データを、前記ｎ個の計算装置に一対一に対応した、ｍ個の訓練データを含むｎ個のグループに分割する分割部と、
    前記ｎ個のグループのそれぞれについて秘密分散法における分散処理によりｍ個の分散訓練データを生成するものであって、前記ｎ個のグループのうちのｉ番目（ｉは、１以上ｎ以下の整数）のグループに含まれる前記ｍ個の訓練データのそれぞれについて、ｎ個の元（Ｐ１，Ｐ２，…，Ｐｉ，…，Ｐｎ）のうちのｉ番目の元（Ｐｉ）を用いて前記秘密分散法における分散処理により分散訓練データを生成する秘密分散部と、
    前記ｎ個の計算装置のそれぞれに、対応する前記ｍ個の分散訓練データを送信するシェア送信部と、
    を有し、
    前記ｎ個の計算装置のそれぞれは、
    前記モデル生成装置から前記ｍ個の分散訓練データを受信するシェア受信部と、
    受信した前記ｍ個の分散訓練データにより、前記学習モデルと同一の構造の分散学習モデルを訓練する訓練部と、
    前記分散学習モデルにおける訓練後の分散パラメータ群を前記モデル生成装置に送信するパラメータ送信部と、
    を有し、
    前記モデル生成装置は、
    前記ｎ個の計算装置のうちの、ｋ１個（ｋ１は、２以上、ｎ－１以下の予め定められた整数）の計算装置のそれぞれから訓練後の前記分散パラメータ群を受信するパラメータ受信部と、
    前記ｋ１個の計算装置のそれぞれから受信した前記分散パラメータ群に基づき、前記秘密分散法における復元処理により前記学習モデルのパラメータ群を生成するパラメータ復元部とをさらに有する
    モデル生成装置。
11. モデル生成装置とネットワークを介して接続されたｎ個（ｎは、３以上の整数）の計算装置とにより、学習モデルを訓練する学習方法であって、
    前記モデル生成装置が、前記学習モデルを訓練するためのｍ×ｎ個（ｍは、２以上の整数）の訓練データを取得し、
    前記モデル生成装置が、前記ｍ×ｎ個の訓練データを、前記ｎ個の計算装置に一対一に対応した、ｍ個の訓練データを含むｎ個のグループに分割し、
    前記モデル生成装置が、前記ｎ個のグループのそれぞれについて秘密分散法における分散処理によりｍ個の分散訓練データを生成するものであって、前記ｎ個のグループのうちのｉ番目（ｉは、１以上ｎ以下の整数）のグループに含まれる前記ｍ個の訓練データのそれぞれについて、ｎ個の元（Ｐ１，Ｐ２，…，Ｐｉ，…，Ｐｎ）のうちのｉ番目の元（Ｐｉ）を用いて前記秘密分散法における分散処理により分散訓練データを生成し、
    前記モデル生成装置が、前記ｎ個の計算装置のそれぞれに、対応する前記ｍ個の分散訓練データを送信し、
    前記ｎ個の計算装置のそれぞれが、前記モデル生成装置から前記ｍ個の分散訓練データを受信し、
    前記ｎ個の計算装置のそれぞれが、受信した前記ｍ個の分散訓練データにより、前記学習モデルと同一の構造の分散学習モデルを訓練し、
    前記ｎ個の計算装置のそれぞれが、前記分散学習モデルにおける訓練後の分散パラメータ群を前記モデル生成装置に送信し、
    前記モデル生成装置が、前記ｎ個の計算装置のうちの、ｋ１個（ｋ１は、２以上、ｎ－１以下の予め定められた整数）の計算装置のそれぞれから訓練後の前記分散パラメータ群を受信し、
    前記モデル生成装置が、前記ｋ１個の計算装置のそれぞれから受信した前記分散パラメータ群に基づき、前記秘密分散法における復元処理により前記学習モデルのパラメータ群を生成する
    学習方法。
12. ネットワークを介してｎ個（ｎは、３以上の整数）の計算装置と接続されたモデル生成装置として、情報処理装置を機能させるためのプログラムであって、
    前記情報処理装置を、
    学習モデルを訓練するためのｍ×ｎ個（ｍは、２以上の整数）の訓練データを取得する取得部と、
    前記ｍ×ｎ個の訓練データを、前記ｎ個の計算装置に一対一に対応した、ｍ個の訓練データを含むｎ個のグループに分割する分割部と、
    前記ｎ個のグループのそれぞれについて秘密分散法における分散処理によりｍ個の分散訓練データを生成するものであって、前記ｎ個のグループのうちのｉ番目（ｉは、１以上ｎ以下の整数）のグループに含まれる前記ｍ個の訓練データのそれぞれについて、ｎ個の元（Ｐ１，Ｐ２，…，Ｐｉ，…，Ｐｎ）のうちのｉ番目の元（Ｐｉ）を用いて前記秘密分散法における分散処理により分散訓練データを生成する秘密分散部と、
    前記ｎ個の計算装置のそれぞれに、対応する前記ｍ個の分散訓練データを送信するシェア送信部と、
    して機能させ、
    前記ｎ個の計算装置のそれぞれは、
    前記モデル生成装置から前記ｍ個の分散訓練データを受信するシェア受信部と、
    受信した前記ｍ個の分散訓練データにより、前記学習モデルと同一の構造の分散学習モデルを訓練する訓練部と、
    前記分散学習モデルにおける訓練後の分散パラメータ群を前記モデル生成装置に送信するパラメータ送信部と、
    を有し、
    前記情報処理装置を、
    前記ｎ個の計算装置のうちの、ｋ１個（ｋ１は、２以上、ｎ－１以下の予め定められた整数）の計算装置のそれぞれから訓練後の前記分散パラメータ群を受信するパラメータ受信部と、
    前記ｋ１個の計算装置のそれぞれから受信した前記分散パラメータ群に基づき、前記秘密分散法における復元処理により前記学習モデルのパラメータ群を生成するパラメータ復元部
    としてさらに機能させるプログラム。

Images