JP7112151B1 - 機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム - Google Patents

Abstract

【課題】セキュリティを考慮した、畳み込みニューラルネットワークを用いた機械学習に関する技術を提供する。【解決手段】機械学習装置は、画像データを取得するデータ取得部と、画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部とを備え、畳み込みニューラルネットワークは複数の層から構成され、機械学習計算部は、準同型暗号による暗号実行領域において演算する暗号処理部と、平文実行領域において演算する平文処理部と、暗号処理部および平文処理部がアクセス可能な共有メモリと、畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部とを有し、暗号処理部は、入力層から第Ｎ層までの演算を実行し、平文処理部は、第（Ｎ＋１）層から出力層までの演算を実行し、共有メモリは暗号処理部および平文処理部が実行した演算の結果を記憶する。【選択図】図１６

Description

本開示は、機械学習装置、機械学習システム、機械学習方法、および機械学習プログラムに関する。

近年、畳み込みニューラルネットワークの学習モデルを用いた画像認識により、複雑なデータの分析を高精度に行うことが可能となっている。

一方、分析対象が医療画像など個人のプライバシーに直結した機微データである場合は、プライバシー情報を秘匿（暗号化）したまま分析処理を行うことが求められる。

例えば、特許文献１では、準同型暗号を用いたニューラルネットワークのシステムに関する技術が開示されている。

特開２０１９－４６４６０号公報

準同型暗号を用いた畳み込みニューラルネットワークにより画像認識を行えば、プライバシー情報を暗号化したまま分析処理を行うことができる。しかしながら、一般的に、準同型暗号を用いた演算は、セキュリティレベルは高いものの、計算量が膨大になってしまい、実用的な計算コストで実行することが難しいという課題があった。

そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、ユーザの求める実用的な計算コストとセキュリティレベルに応じた、畳み込みニューラルネットワークを用いた機械学習に関する技術を提供することである。

上記目的を達成するため、本開示に係る機械学習装置は、画像データを取得するデータ取得部と、画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、畳み込みニューラルネットワークは複数の層から構成され、機械学習計算部は、準同型暗号による暗号実行領域において演算する暗号処理部と、平文実行領域において演算する平文処理部と、暗号処理部および平文処理部がアクセス可能な共有メモリと、畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部と、を有し、暗号処理部は、入力層から第Ｎ層までの演算を実行し、平文処理部は、第（Ｎ＋１）層から出力層までの演算を実行し、共有メモリは、暗号処理部および平文処理部が実行した演算の結果を記憶する。

また、上記目的を達成するため、本開示に係る機械学習システムは、画像データを取得するデータ取得部と、画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、畳み込みニューラルネットワークは複数の層から構成され、機械学習計算部は、準同型暗号による暗号実行領域において演算する暗号処理部と、平文実行領域において演算する平文処理部と、暗号処理部および平文処理部がアクセス可能な共有メモリと、畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部と、を有し、暗号処理部は、入力層から第Ｎ層までの演算を実行し、平文処理部は、第（Ｎ＋１）層から出力層までの演算を実行し、共有メモリは、暗号処理部および平文処理部が実行した演算の結果を記憶する。

また、上記目的を達成するため、本開示に係る機械学習方法は、画像データを取得するステップと、画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行うステップと、を備え、畳み込みニューラルネットワークは複数の層から構成され、畳み込みニューラルネットワークを用いた計算処理を行うステップは、畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付けるステップと、準同型暗号による暗号実行領域において、入力層から第Ｎ層までの演算を実行するステップと、平文実行領域において、第（Ｎ＋１）層から出力層までの演算を実行するステップと、暗号実行領域および平文実行領域からアクセス可能な共有メモリが、暗号実行領域および平文実行領域における演算の結果を記憶するステップと、を有する。

また、上記目的を達成するため、本開示に係る機械学習プログラムは、制御部と、記憶部と、を備えるコンピュータに実行させる機械学習プログラムであって、制御部が、画像データを取得するステップと、記憶部が、画像データを記憶するステップと、制御部が、記憶部が記憶した画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行うステップと、を備え、畳み込みニューラルネットワークは複数の層から構成され、畳み込みニューラルネットワークを用いた計算処理を行うステップは、制御部が、畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付けるステップと、制御部が、準同型暗号による暗号実行領域において、入力層から第Ｎ層までの演算を実行するステップと、制御部が、平文実行領域において、第（Ｎ＋１）層から出力層までの演算を実行するステップと、を有し、記憶部は、暗号実行領域および平文実行領域からアクセス可能な共有メモリを含み、共有メモリが、暗号実行領域および平文実行領域における演算の結果を記憶するステップ、をさらに有する。

本開示によれば、ユーザの求める実用的な計算コストとセキュリティレベルに応じた畳み込みニューラルネットワークを用いた機械学習を実現することができる。

機械学習システム１の全体図である。 本実施形態の機械学習装置１００のハードウェア構成を示す図である。 本実施形態に係る機械学習装置１００の機能的構成を示すブロック図である。 鍵格納部１２１の一例を示す図である。 学習モデル格納部１２２の一例を示す図である。 ユーザが画像データとラベルを入力するための画面の一例を示す図である。 一般的な畳み込みニューラルネットワークのモデル概念図である。 中間層の一例を示した図である。 機械学習装置１００が実行する処理の一例を示すフローチャートである。 本実施形態に係る機械学習システム２を示す図である。 本実施形態における機械学習装置３００の機能的構成を示すブロック図である。 提供部３３２４が提供する画面の一例を示す図である。 提供部３３２４が提供する画面の一例を示す図である。 機械学習装置３００が実行する処理の一例を示すフローチャートである。 本実施形態に係る機械学習装置４００の機能的構成を示すブロック図である。 共有メモリ４３１に関し、機能ブロック図とハードウェアとの対応関係を示す図である。 アカウント制御を用いて実行権限を分けた場合を示す図である。 機械学習装置４００が実行する処理の一例を示すフローチャートである。 本実施形態に係る機械学習装置５００の機能的構成を示すブロック図である。 機械学習システム３の全体図である。 本実施形態に係る暗号処理装置６００の機能的構成を示すブロック図である。 本実施形態に係る平文処理装置７００の機能的構成を示すブロック図である。 本実施形態に係るシステム管理装置８００の機能的構成を示すブロック図である。 物理的に異なる実行環境において畳み込みニューラルネットワークを用いた計算処理を行う場合の具体例を示す図である。 機械学習システム３が実行する処理の一例を示すシーケンス図である。 機械学習システム４の具体的構成を示す図である。

以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。

＜本発明の概要＞
近年、畳み込みニューラルネットワークを用いて高精度で画像認識を行うことが可能となり、複雑なデータの分析を行うケースが増加しており、画像認識の対象となる画像データに個人情報等の機微データが含まれる場合は、プライバシーへの配慮が求められる。そこで、畳み込みニューラルネットワークに係る計算過程を、暗号化したまま演算を行うことができる準同型暗号を用いて実行すれば、プライバシーを保護しつつ、画像データの分析処理を行うことができる。

しかしながら、一般的に、準同型暗号を用いた演算は、セキュリティレベルは高いものの、計算コストが膨大になってしまうという課題がある。そこで、本発明では、当該課題を解決すべく、畳み込みニューラルネットワークを用いた画像認識において、畳み込み演算のフィルタリング処理が繰り返される過程で、画像を目視で識別することが困難になっていくことに着目した。すなわち、本発明では、ユーザが予め定めた計算過程までを、準同型暗号による暗号実行領域において処理し、それ以降の計算過程は平文実行領域において処理を行う。

目視で画像を識別することが困難になる一定の計算過程以降では、平文実行領域において計算を行うことにより、計算過程の画像が第三者に流出したとしても、当該画像を目視で識別することが困難なため、暗号化されていなくても、機微データの内容を第三者に知られることを防ぐことができる。それと同時に、全ての計算過程を準同型暗号による暗号実行領域において実行しないため、計算コストを抑えることができる。

＜実施形態１＞
（機械学習システム１の構成）
図１は、機械学習システム１の全体図である。図１に示すように、本実施形態に係る機械学習システム１は、機械学習装置１００と、ユーザによって使用される一つ以上の端末装置２００とを備える。

機械学習装置１００と、端末装置２００とは、ネットワークＮＷを介して通信可能に接続される。ネットワークＮＷは、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等から構成されるが、任意のネットワークから構成されてもよい。また、機械学習システム１を構成する装置等は、ネットワークＮＷを介さず、ローカルに接続されてもよい。機械学習システム１は、ユーザからの入力に基づいて機械学習の学習モデルを構築し、又はユーザからの入力および学習モデルを用いて、機械学習による推論を行う。

端末装置２００は、ユーザからの入力を受け付け、その入力内容を、ネットワークＮＷを介して機械学習装置１００に送信する。また、端末装置２００は、機械学習装置１００からネットワークＮＷを介して送信されたデータを受信し、ユーザに提示する。

（機械学習装置１００のハードウェア構成）
図２は、本実施形態の機械学習装置１００のハードウェア構成を示す図である。機械学習装置１００は、汎用のコンピュータである。機械学習装置１００は、例えば、サーバコンピュータ、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ等により実現される。

図２に示すように、機械学習装置１００は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信ＩＦ１４と、入出力ＩＦ１５と、を備える。

プロセッサ１１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。メモリ１２は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリにより実現される。メモリ１２に記憶されるプログラムは、本発明に係る機械学習を実行するプログラム等である。ストレージ１３は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）により実現される。通信ＩＦ１４は、機械学習装置１００が外部の装置と通信するため、信号を送受信するためのインタフェースである。入出力ＩＦ１５は、ユーザからの入力を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。

なお、端末装置２００においても、図２に示したハードウェア構成と同様の構成としてもよい。端末装置２００の各構成要素の動作は、上述の機械学習装置１００と同様に、メモリ１２に記憶されたプログラムに従ったプロセッサ１１により実現する。

（機械学習装置１００の機能的構成）
図３は、本実施形態に係る機械学習装置１００の機能的構成を示すブロック図である。図３を参照して、実施形態１に係る機械学習装置１００の機能的構成について説明する。

機械学習装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。

通信部１１０は、機械学習装置１００が他の装置と通信するための処理を行う。ここでいう他の装置とは、ネットワークＮＷで接続されたＰＣでもよいし、スマートフォン、タブレットなどの端末である。また、ヘッドマウントディスプレイ等のウェアラブル端末、ＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）／ＭＲ（Mixed Reality）装置等であってもよい。また、他の装置は、入出力装置、例えば、フラッシュメモリやＨＤＤ、ＳＳＤなどによりデータの入出力を行う装置であってもよい。

通信部１１０は、また、ネットワークＮＷを介した装置やローカルに接続された装置等と、セキュリティが確保されたセキュアな通信チャネルでデータを送受信する。セキュアな通信チャネルの構築、通信方法は、共通鍵（セッション鍵など）や公開鍵等を用いた周知の技術であるため、説明を省略する。

記憶部１２０は、例えば、ＲＡＭ等の揮発性のメモリ、フラッシュメモリ、ＨＤＤ、ＳＳＤ等により構成され、機械学習装置１００が利用するデータ、およびプログラムを記憶する。記憶部１２０は、例えば、後述する暗号処理部１３２２が暗号実行領域において演算するため、データを暗号化し、又は暗号化されたデータを復号するための鍵を記憶する鍵格納部１２１、機械学習装置１００において使用する学習モデルを記憶する学習モデル格納部１２２を含む。なお、鍵は、機械学習装置１００内で記憶するのではなく、機械学習装置１００とネットワークを介して、又は接続される鍵管理装置（不図示）において記憶するようにしてもよい。また、機械学習装置１００が、機械学習のために利用した画像データ等は、セキュリティ向上のため、使用後は記憶部１２０から削除することが好ましい。

鍵格納部１２１（後述する図４参照）は、暗号処理部１３２２が暗号実行領域において演算するために、データを暗号化し、又は暗号化されたデータを復号するための鍵を記憶する。鍵格納部１２１は、例えば、ＩＤ、鍵データや、鍵ファイルの保存されている場所のパスを記憶する。ＩＤは、ユーザや、組織など任意のグループ毎に割り当てて鍵を利用する構成としてもよいし、セッション毎に割り当てて鍵を利用する構成としてもよい。

学習モデル格納部１２２（後述する図５参照）は、機械学習装置１００において使用する学習モデルを記憶する。学習モデル格納部１２２は、学習モデルに加え、複数の学習モデルを区別するためのＩＤ、学習モデルが適用できる範囲などを示すタグ、画像診断において特定の部位の特定までも可能とする学習モデルか否かの区別、当該学習モデルを用いて計算を行う際の計算コスト（計算量、計算時間、費用、計算資源等を含む。）および計算速度、当該学習モデルを用いて推論を行った場合の精度などを関連付けて記憶してもよい。

制御部１３０は、機械学習装置１００のプロセッサが記憶部１２０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１３０は、機械学習装置１００の動作を制御する。具体的には、制御部１３０は、データ取得部１３１と、機械学習計算部１３２と、受付部１３２１と、暗号処理部１３２２と、平文処理部１３２３と、を含む。

データ取得部１３１は、機械学習により学習モデルのパラメータを更新する場面（以下、特に言及する場合を除き、学習モデルを新たに生成する場合も含む。）においては、教師データとなる画像データおよび当該画像データに対するラベルを取得する。「ラベル」は、例えば、画像データが示す対象物の種別を示したり、画像データにおいて特定したい対象物の範囲（位置）を示したりするものを含む。また、データ取得部１３１は、学習モデルを用いて推論を行う場面においては、推論対象となる画像データを取得する。例えば、ユーザは、端末装置２００等において画像データおよびラベルを入力し、データ取得部１３１は、ネットワークＮＷを介して、ユーザが入力した画像データおよびラベルを取得する。

機械学習計算部１３２は、データ取得部１３１において取得した画像データ等に基づいて、畳み込みニューラルネットワークを用いた計算処理を行う。この計算処理は、具体的には、学習モデルのパラメータを更新するための学習、もしくは、取得した画像データ等から学習モデルを用いて行う推論のための計算処理である。なお、畳み込みニューラルネットワークは複数の層から構成される。「層」については、図７および図８（後述）において説明する。

機械学習計算部１３２は、計算処理の過程において、予めユーザから暗号実行領域において演算する範囲を取得しておき、計算処理の過程の一部を準同型暗号による暗号実行領域において演算し、計算処理の過程の一部を平文実行領域において演算する。機械学習計算部１３２は、具体的には、受付部１３２１と、暗号処理部１３２２と、平文処理部１３２３と、を有する。

受付部１３２１は、畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層（ただし、Ｎは自然数。）を指定する層指定情報を受け付ける。すなわち、層指定情報により第Ｎ層が指定されたとき、入力層から第Ｎ層までは暗号実行領域において演算し、第（Ｎ＋１）層から出力層までの演算を平文実行領域において演算する。

受付部１３２１は、第Ｎ層を指定する層指定情報を受け付けるが、ここで取得する層指定情報は、「Ｎ」を示す具体的な数字であって、畳み込みニューラルネットワークにおいて、中間層のどの層までを暗号実行領域において演算するかという範囲を示すものである。畳み込みニューラルネットワークは、一般的には、入力層（０層）、中間層（１層～Ｍ層）、出力層（Ｍ＋１層）といった複数の層を有する。ここで、Ｍは任意の自然数である。このとき、ユーザは、中間層の第Ｎ層までを暗号実行領域において演算することを決め、受付部１３２１は、暗号実行領域において演算を行う境界の層となるＮを取得する。

また、層指定情報は、「Ｎ」を示す具体的な数字の他に、「Ｎ」を指定することができる情報であってもよい。例えば、ユーザから受け付けた計算コストの条件であってもよい。受付部１３２１は、層指定情報として、計算コストの条件を受け付けた場合は、その計算コストで実行することができる「Ｎ」を算出する。

暗号処理部１３２２は、準同型暗号による暗号実行領域において演算する機能を有する。暗号処理部１３２２は、機械学習計算部１３２における計算処理の過程において、入力層（０層）から中間層のＮ層までの計算処理を準同型暗号による暗号実行領域において演算する。

暗号処理部１３２２は、具体的には、鍵格納部１２１において管理する暗号化のための鍵（公開鍵）を用いて、データ取得部１３１が取得した画像データ等を暗号化する。このとき、暗号処理部１３２２は、暗号化の方法について、暗号化状態のまま演算が可能な準同型暗号方式（Paillier方式等、Lifted-Ellgamal方式、Somewhat Homomorphic Encryption方式、Fully Homomorphic Encryption方式等）を用いる。

暗号処理部１３２２は、データ取得部１３１が取得した画像データ等および機械学習に用いる学習モデルを暗号化し、暗号実行領域において演算する。

暗号処理部１３２２は、入力層（０層）からユーザの指定した中間層のＮ層までの計算処理を暗号化実行領域において演算した後、鍵格納部１２１において管理する復号のための鍵（秘密鍵）を用いて、データを復号する。

平文処理部１３２３は、平文実行領域において演算する機能を有する。平文処理部１３２３は、暗号処理部１３２２において演算されたＮ層までの演算結果を取得し、引き続き（Ｎ＋１）層から出力層までの演算を平文実行領域において行う。これにより、推論または学習モデルのパラメータの更新を行う。

なお、上述した機械学習装置１００の機能の一部を、端末装置２００が担ってもよい。例えば、予め、機械学習装置１００と端末装置２００とで、画像データ等を準同型暗号で暗号化するための鍵を共有しておき、端末装置２００において、推論や機械学習の対象となる画像データを準同型暗号で暗号化するようにしてもよい。

端末装置２００は、準同型暗号で暗号化された画像データを機械学習装置１００に送信し、機械学習装置１００は、通信部１１０を介して受信した当該画像データを、記憶部１２０に格納する。そして、データ取得部１３１は、暗号化された画像データを記憶部１２０から取得し、暗号処理部１３２２へ送る。次いで、暗号処理部１３２２は、暗号化された画像データについて演算を実行する。その際、上述したように暗号処理部１３２２が演算結果を復号するのに代えて、平文処理部１３２３が演算結果を復号するようにしてもよい。すなわち、暗号処理部１３２２では、準同型暗号で暗号化されたデータのみ扱うようにする。このような構成をとることで、機械学習装置１００においては、画像データが準同型暗号で暗号化された状態、もしくは、復号されても人間が画像を目視では識別困難な状態であるため、機械学習装置１００は、よりセキュリティを高めて、計算処理を実行することができる。

（データベースの具体例）
図４は、鍵格納部１２１の一例を示す図である。鍵格納部１２１は、例えば、ユーザ、セッションなど鍵の利用場面を識別するための「ＩＤ」、鍵（公開鍵「ｋｅｙ１」および秘密鍵「ｋｅｙ２」）の値を、関連付けて記憶する。図４において、「ID」が「0000001」の公開鍵は「0KJFDEMNFS679FDDFHKL…」、秘密鍵は、「2SFSHLJHFSKLJADL7DJLH…」である。同様に、「ID」が「0000002」の公開鍵は「43JFLKEJFDHKLFS3JKLFN…」、秘密鍵は、「FDLK732492SFGKJHKSDH…」であり、「ID」が「0000003」の公開鍵は「JLKJ02SFHL89JLKHJKF897…」、秘密鍵は、「40389439LFKSJFLKJFSLH…」である。なお、図４は、鍵管理の一例であって、鍵の管理方法は、これらに限られない。例えば、鍵と復号権限を持つユーザとを関連付けて記憶してもよい。

図５は、学習モデル格納部１２２の一例を示す図である。学習モデル格納部１２２は、複数の学習モデルを区別するための「ＩＤ」、学習モデルが適用できる範囲などを示す「タグ」、画像診断において特定の部位の特定までも可能とする学習モデルか否かの区別する「部位特定」、当該学習モデルを用いて計算を行う際のコスト（計算量）を示す「コスト／ＭB」、および計算速度を示す「計算速度／Ｍb」、当該学習モデルを用いて推論を行った場合の精度を示す「精度」、学習モデルのファイル名を示す「ファイル」が関連付けて記憶されている。

図５において、「ＩＤ」が「0001」の学習モデルは、「タグ」欄が「CT、ガン、腎臓、医療、画像診断」であり、これらの用途に適用可能で、部位特定には対応していないことを示している。また、「コスト」は10円/Mb、「計算速度」は１Mbあたり5'10、「精度」は80%で、学習モデル自身は「0001.json」というファイルに記憶されていることを示している。

また、「ＩＤ」が「0002」の学習モデルは、「タグ」欄が「CT、ガン、腎臓、医療、画像診断」であり、これらの用途に適用可能で、「部位特定」欄が「〇」であることから、部位特定に対応していることを示している。また、「コスト」は45円/Mb、「計算速度」は1Mbあたり6'00、「精度」は85%で、学習モデル自身は「0002.json」というファイルに記憶されていることを示している。

「ＩＤ」が「0003」や「0004」についても同様であるので、説明を省略する。なお、学習モデル格納部１２２は、上述した項目に限らず、学習モデルを適用する組織（会社、部署など）、業界（医療、食品、ＥＣなど）や、所有者等に関連付けて記憶されていてもよい。

（画像データおよびラベルの具体例）
図６は、ユーザが画像データとラベルを入力するための画面の一例を示す図である。データ取得部１３１は、ユーザから対象となる画像データの入力を受け付けると、当該画像データを読み込んだ上で、画面４０１に示すような画像４１０やファイル情報（ファイル名、ファイル生成日時等）をユーザが操作する端末装置２００に表示させる。このとき、データ取得部１３１は、ユーザからラベルも取得する。画面４０１において、ユーザは、入力した画像データが「正常」を示すデータか「異常」を示すデータかを選択し、ラベル付けを行う。また、ユーザは、異常部分を示す部位の特定まで行う学習モデルのラベル付けを行う場合には、当該部位の範囲を画面上で指定し、ラベル付けを行う。例えば、図６において、指定された部位特定の範囲は、画像４１０の斜線部分にて示されている。

このようにして、データ取得部１３１は、画像データおよび当該画像データに対するラベルを関連付けた教師データを取得する。そして、機械学習計算部１３２は、教師データに基づいて、画像データに対するラベルを出力するように畳み込みニューラルネットワークの学習モデルのパラメータを生成（更新）する。ラベルの出力として、例えば、入力した画像データについて、ガンの診断を行う場合、正常を示す画像か異常を示す（ガンの疑い）画像であるかを出力する。また、ガンの疑いがあると出力するときは、その部位特定も出力するようにしてもよい。

なお、推論を行うために画像データの入力のみを行う場合は、ラベル付けは不要であり、画像データの入力のみが行われる。

（畳み込みニューラルネットワークの一例）
図７は、一般的な畳み込みニューラルネットワークのモデル概念図である。ニューラルネットワークは、入力層（０層）、中間層（１層からＭ層）、出力層（Ｍ＋１層）といった複数の層を有する。機械学習計算部１３２は、その計算処理過程において、受付部１３２１が暗号実行領域で演算する範囲の境界（第Ｎ層）を示す層指定情報を取得し、暗号処理部１３２２において暗号実行領域での演算を、平文処理部１３２３において平文実行領域での演算を行う。

暗号処理部１３２２は、データ取得部１３１において取得した画像データ等と選択された学習モデルを、鍵格納部１２１に記憶する鍵（公開鍵）を用いて準同型暗号で暗号化し、推論または学習モデルのパラメータ更新のための演算を暗号実行領域において行う。具体的には、暗号処理部１３２２は、０層から中間層の第Ｎ層までの演算処理を行う。また、暗号処理部１３２２は、暗号実行領域における演算結果を、鍵格納部１２１に記憶する鍵（暗号化した公開鍵と対になる秘密鍵）を用いて復号する。復号した結果は、平文処理部１３２３へ送ってもよい。なお、暗号実行領域における演算結果を記憶部１２０に格納する場合は、セキュリティ上、暗号化したまま格納し、平文処理部１３２３において、演算結果を復号することが好ましい。

平文処理部１３２３は、暗号処理部１３２２において復号した画像データ等および学習モデルを用いて、第（Ｎ＋１）層から第（Ｍ＋１）層までの計算過程について、平文実行領域において演算処理を行う。

図８は、中間層の一例を示した図である。畳み込みニューラルネットワークは、中間層として、一般的に、畳み込み演算を行うための畳み込み層、ＲｅＬｕ層、プーリング層、全結合層などを有する。本発明において、「層」とは、畳み込み層、ＲｅＬｕ層、プーリング層など各層単位を、１層、２層、３層としてもよいし、畳み込み、ＲｅＬｕ、プーリングといった一連の処理を一つの処理単位として１層、２層、３層としてもよい。この場合、例えば、「畳み込み」、「ＲｅＬｕ」、「プーリング」の組み合わせを一層としてもよいし、「畳み込み」、「プーリング」の組み合わせや、「ＲｅＬｕ」、「プーリング」の組み合わせを一層としてもよい。なお、ＲｅＬｕ層は、活性化層の一例であって他の活性化関数を用いてもよい。

なお、畳み込みニューラルネットワークは、一般的に、全結合層を中間層の後半で用いることが多いが、全結合層を暗号化実行領域で演算してもよい。

（処理の流れ）
図９は、機械学習装置１００が実行する処理の一例を示すフローチャートである。

制御部１３０は、画像データ等のデータ、又は画像データ等のデータおよびラベルを、通信部１１０を介して、端末装置２００から取得する（ステップＳ１０１）。

制御部１３０は、暗号実行領域で行う演算と平文実行領域で行う演算との境界となる、第Ｎ層を指定する層指定情報を、通信部１１０を介して、端末装置２００から取得する（ステップＳ１０２）。

制御部１３０は、取得した画像等のデータと適用する学習モデルを準同型暗号で暗号化する。そして、０層から第Ｎ層までを暗号化実行領域において演算し、その後復号する（ステップＳ１０３）。

制御部１３０は、ステップＳ１０３において復号した演算結果に基づいて、第（Ｎ＋１）層から出力層までを平文実行領域において演算し、推論又は学習モデルのパラメータの更新を行う。そして、制御部１３０は、演算結果を記憶部１２０に格納し、処理を終了する（ステップＳ１０４）。

（効果の説明）
本実施形態に係る機械学習装置１００は、機械学習における演算の一部を暗号化実行領域において、その他の部分を平文実行領域において演算することで、全てを暗号化実行領域において演算する場合と比較して、計算コストを削減し、現実的な時間で演算することを可能にする。

畳み込みニューラルネットワークを用いた機械学習モデルでは、一般的に中間層の処理過程において、畳み込み演算のフィルタリング処理が繰り返されることにより、入力層に入力された画像データは、目視で識別が困難な状態となっていく。すなわち、畳み込み演算を繰り返した後の入力データは、人間によって識別することが困難であるから、暗号化していなくとも情報漏洩のリスクが低い。本実施形態に係る機械学習装置１００は、この点に着目し、ユーザが指定した第Ｎ層までを暗号化実行領域において演算し、第（Ｎ＋１）層以降を平文実行領域において演算することで、計算コストの削減と、セキュリティの確保の両立を実現することができる。

＜実施形態２＞
実施形態１に係る機械学習システム１は、ユーザから層指定情報を取得した後、暗号実行領域および平文実行領域において計算処理を行う。これに対し、実施形態２に係る機械学習システム２は、ユーザが層指定情報を指定する際、入力画像を平文実行領域において計算したときに入力画像が畳み込み演算によりどのように変化するか、また、計算コストがどのように変化するかなどの情報をユーザに提供する。ユーザは、提供された情報を参照して、ユーザが求める計算コストやセキュリティレベルに応じた層指定情報を容易に指定することができるようになる。

（機械学習システム２の構成）
図１０は、本実施形態に係る機械学習システム２を示す図である。図１０に示すように、本実施形態に係る機械学習システム２は、機械学習装置３００と、ユーザによって使用される一つ以上の端末装置２００と、を備える。機械学習装置３００は、第１実施形態に係る機械学習装置１００と比較して、提供部３３２４と、推定部３３２５と（図１１において詳述。）をさらに備える。提供部３３２４は、ユーザが入力した画像データを平文実行領域において計算した場合にどのように変化するか、また計算コストなどの情報を示すことで、ユーザが暗号実行領域において演算を行う範囲の選択を補助する機能を備える。

（機械学習装置３００の機能的構成）
図１１は、本実施形態における機械学習装置３００の機能的構成を示すブロック図である。機械学習装置３００は、通信部１１０と、記憶部１２０と、制御部３３０と、を備える。機械学習装置３００における通信部１１０および記憶部１２０の機能構成は、機械学習装置１００と同様であるため、説明を省略する。

制御部３３０は、機械学習装置３００のプロセッサが記憶部１２０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部３３０は、機械学習装置３００の動作を制御する。具体的には、制御部３３０は、データ取得部１３１と、機械学習計算部３３２と、受付部１３２１と、暗号処理部１３２２と、平文処理部１３２３と、提供部３３２４と、推定部３３２５と、を含む。制御部３３０は、提供部３３２４および推定部３３２５を備えること以外は、機械学習装置１００における制御部１３０と同様であるため、重複する説明を省略する。

提供部３３２４は、データ取得部１３１において取得するユーザから入力される画像データについて、入力層から出力層までの演算を、平文処理部１３２３が実行した場合の当該演算に関する平文途中演算情報を提供する。平文途中演算情報とは、入力層から出力層までの途中過程における演算に関する情報であり、平文実行領域における、途中の層で入力又は出力されるデータ、途中の層までにかかる計算時間（および、ここから推定される推論又は学習に係る全時間）、途中の層までにかかる計算量（および、ここから推定される推論又は学習にかかる全計算量）、計算量から算出される料金などを含むものである。平文途中演算情報は、例えば、平文処理部１３２３が、ユーザから入力される一つの画像データについて入力層から出力層までの演算を実行し、当該演算に関する情報に基づいて算出することができる。平文途中演算情報は、例えば、通信部１１０を介して、ユーザが利用する端末装置２００に送信されてもよいし、機械学習装置１００における表示装置（不図示）に表示されてもよい。

提供部３３２４は、例えば、平文途中演算情報として、入力層に入力される画像データと、入力層から出力層までの各層に入力されるデータとの情報の差を、ユーザが比較できる態様で提供してもよい。また、提供部３３２４は、必ずしもユーザが比較できる態様で提供せず、平文途中演算情報として、各層に入力される画像データを提供してもよい。

提供部３３２４は、畳み込み演算が繰り返されることで目視による識別が困難になることを前提とし、各層に入力される画像データをユーザに提供することで、どの層に入力される画像データまで目視で識別可能かということに関する参考情報（情報の差）を提供し、ときには、比較を行うことにより、暗号化して機械学習を行う必要のある層を判断するための情報を提供する。例えば、サンプルの画像データについて、ある中間層である第１の層と、第１の層より後に処理が実行される第２の層とに入力されるデータのそれぞれをユーザに提示してもよい。これにより、サンプルの画像データが、層の処理によって、どのように変化し、情報の差がでるか、ユーザが比較でき、ユーザが層指定情報を指定するのを支援する。

提供部３３２４は、入力層から出力層までの全ての入力画像データを提供しなくともよく、入力層から出力層までの複数の所定の層について、暗号処理部１３２２が演算を行った場合に入力される画像データと、平文処理部１３２３が演算を行った場合に入力される画像データとを、ユーザが比較できる態様で提供してもよい。このとき、複数の所定の層の選び方については、５層ごとに１層を抽出するなど、周期性をもって選択してもよいし、ランダムに複数の層を抽出してもよい。

提供部３３２４は、さらに、暗号処理部１３２２が演算を行った場合に、途中の層に入力される画像データに代えて、マスク画像を提供してもよい。すなわち、暗号処理部１３２２が演算を行った場合に入力される画像データは暗号化されているため、人にとって識別不能なデータであることから、あえてその画像データを提示する必要性に乏しく、代わりにマスク画像を提供することで、人にとって識別不能なデータであることを示してもよい。

提供部３３２４は、例えば、入力層から所定の層までを暗号処理部１３２２が演算し、当該所定の層の次の層から出力層までを平文処理部１３２３が実行した場合の計算コストを、ユーザが比較できる態様で提供してもよい。提供部３３２４は、所定の層までを暗号実行領域において演算し、残りを平文実行領域においてに演算した場合の計算時間および／又は計算量などをユーザに提供することで、暗号化して機械学習を行う必要のある層を判断するための情報提供をすることができる。

提供部３３２４は、推定部３３２５（後述）が算出する層指定推定情報を提供してもよい。層指定推定情報は、データ取得部１３１が取得した画像データに関連するデータと、当該画像データについて指定された層指定情報の相関関係に基づいて算出される情報である。層指定推定情報は、例えば、第Ｎ層を具体的に特定する数値であってもよいし、Ｎの範囲であってもよい。

推定部３３２５は、データ取得部が取得した画像データに関連するデータと、当該画像データについて指定された層指定情報との相関関係を学習する。画像データに関連するデータとは、画像データを取り扱う業界（医療、食品、ＥＣ等）、内容（診断、マーケティング等）、組織、ユーザなどである。推定部３３２５は、何層目まで暗号化するかを、画像データに関連するデータと相関関係を学習する。そして、推定部３３２５は、学習した結果、入力される画像データに関連するデータと相関関係にある層指定情報を、層指定推定情報として算出する。上述したように、提供部３３２４が、推定部３３２５が算出した層指定推定情報を、平文途中演算情報とともにユーザに提供することで、層指定情報を指定する際の目安となる。これにより、ユーザは層指定情報を容易に指定することができるようになる。

（提供部３３２４が提供する平文途中演算情報の具体例）
図１２は、提供部３３２４が提供する画面の一例を示す図である。画面４０２には、平文処理部１３２３が演算を実行した場合に、計算過程５層の各層に入力される画像データ（「牛」を示す画像）を示しており、ユーザが暗号実行領域において演算を行う範囲を「選択中」であることを示すアイコン４１２が表示されている。

図１２において、「Input」の部分には、ユーザが入力した入力画像が表示される。また、画面４０２には、平文途中演算情報として、複数の層（計算過程１～５）における入力画像が、表示されている。一般的に、畳み込みニューラルネットワークにおいて、畳み込み演算のフィルタリング処理が繰り返される過程で、入力画像は目視で識別しにくくなるため、深い層における入力画像ほど、識別が困難な画像となっている。例えば、画面４０２の入力画像(Input）は、牛であり、Inputと計算過程１で示される画像は、目視では、殆ど区別がつかない。一方、計算過程３～５で示される画像は、牛の輪郭がなく、目視では、画像が示す対象物を識別することが困難であることが分かる。

また、画面４０２には、複数の層に入力される画像データだけではなく、途中の層までを暗号実行領域において演算し、それ以降を平文実行領域において演算した場合の計算時間（「Time」）や費用（「Cost」）も合わせて示されている。例えば、計算過程１に対して、「Time」は「5'36」であり、「Cost」は「$4」である。すなわち、計算過程１までを暗号実行領域において演算し、それ以降を平文実行領域において演算した場合の計算時間は「5'36」、費用は「$4」であることを示している。畳み込みニューラルネットワークにおける処理の層が深くなる（計算過程１から５へ進む）につれて、暗号実行領域において演算する計算量が増加していくため、計算時間や費用も増加していく。なお、図１２では、計算コストとして、計算時間や費用が提示されているが、演算にかかる計算量や、計算資源なども計算コストとしてユーザに提示してもよい。

また、ユーザが、ボタン４２２をクリック等することで、上述の「牛」の入力画像ではなく、別の画像や、プラットフォーム側で予め用意したサンプル画像、情報量の差が示されるイラスト等の画像を入力画像として変更できるようにしてもよい。この場合、これらのサンプル画像に基づいて、平文途中演算情報が提供される。

図１３は、提供部３３２４が提供する画面の一例を示す図である。画面４０３の領域４２５には、ユーザが暗号実行領域において演算を行う範囲として「計算過程２」を選択したことが示されている。また、ユーザは、「決定」ボタン４１３をクリック等することにより「計算過程２」を層指定情報として入力できる。なお、層の指定は、例えば、各計算過程において示されている画像データや、当該画像データの下方に示されているアイコン（図１３では鍵アイコン）をクリック等することにより行われてもよいし、キーボードや音声により行われてもよい。

図１３では、ユーザが選択した層である計算過程２までの層における画像データをマスク画像で示している。ある層までを暗号実行領域において演算する場合、その層までに入力される画像データは暗号化されるため、人による識別は不可能であり、その暗号化された画像データを敢えてユーザに提示する必要性は乏しい。マスク画像によって代替して表示を行うことにより、暗号実行領域における演算を減らすことができる。しかしながら、ユーザが演算結果をイメージしやすくするために、暗号実行領域における演算結果を表示することを妨げるものではない。

（処理の流れ）
図１４は、機械学習装置３００が実行する処理の一例を示すフローチャートである。

制御部１３０は、画像データ等のデータ、又は画像データ等のデータおよびラベルを、通信部１１０を介して、端末装置２００から取得する（ステップＳ２０１）。

制御部１３０は、入力層から出力層までの各層において、平文処理部１３２３が実行した場合の当該演算に関する平文途中演算情報を、通信部１１０を介して、端末装置２００に提供する（ステップＳ２０２）。

制御部１３０は、暗号実行領域で行う演算と平文実行領域で行う演算との境界となる、第Ｎ層を指定する層指定情報を、通信部１１０を介して、端末装置２００から取得する（ステップＳ２０３）。

制御部１３０は、取得した画像等のデータと適用する学習モデルを準同型暗号で暗号化する。そして、０層から第Ｎ層までを暗号化実行領域において演算し、その後復号する（ステップＳ２０４）。

制御部１３０は、ステップＳ２０４において復号した演算結果に基づいて、第（Ｎ＋１）層から出力層までを平文実行領域において演算し、推論又は学習モデルのパラメータの更新を行う。そして、制御部１３０は、演算結果を記憶部１２０に格納し、処理を終了する（ステップＳ２０５）。

（効果の説明）
本実施形態に係る機械学習装置３００は、機械学習における演算の一部を暗号実行領域において、その他の部分を平文実行領域において演算することを前提として、入力画像を平文実行領域で処理した場合の、平文途中演算情報をユーザに提供する。平文途中演算情報を参照することにより、ユーザは、ユーザが求める実用的な計算コストや、セキュリティレベルに応じた、境界となる層の選択が可能となる。

＜実施形態３＞
実施形態１および実施形態２は、画像を目視で識別することが困難になるまで、畳み込みニューラルネットワークを用いた計算処理の一部を暗号実行領域において行う。これにより、計算過程の画像が第三者に流出したとしても、当該画像を秘匿することができる。一方で、例えば、暗号処理部と平文処理部とが同じ権限で実行可能だとすると、悪意のある第三者が当該権限を奪取したときに、暗号処理部における計算過程の画像に対し、復号のための鍵を用いて入力画像の復元を試みることのおそれがある。

そこで、実施形態３に係る機械学習装置は、暗号実行領域において演算する暗号処理部と平文実行領域において演算する平文処理部との権限を分けることで、セキュリティを高める。仮に、悪意ある第三者が暗号処理部の権限を奪取しても、平文処理部の権限を有していなければ、復号のための鍵にアクセスできないため、暗号化された画像を復号し、入力画像を認識することは困難である。また、悪意ある第三者が平文処理部の権限を奪取しても、畳み込みニューラルネットワークにおける計算過程は、暗号処理部における処理を経て、平文処理部における処理へと進んでいるため、入力画像の復元はより困難である。

上記構成を実現するために、本実施形態に係る機械学習装置では、実施形態１または２で述べた機械学習システム１または２で行う処理を１つのコンピュータ上で実行する際に、暗号処理部が実行する処理と、平文処理部が実行する処理との権限を分け、暗号処理部から平文処理部へのデータの受け渡しは共有メモリを介して行う。これにより、ある処理の権限を奪取した悪意ある第三者による他の処理へのアクセスを防止し、悪意ある第三者にハッキングされた場合のセキュリティを高めることができる。

また、近年、畳み込みニューラルネットワークを用いた画像処理においては、モデル情報および計算途中の画像から元の画像に復元を試みる研究もされている。このため、たとえ、暗号化された画像や、目視で識別困難な画像であったとしても、計算途中の画像等の流出リスクを減らすことは重要である。本実施形態に係る機械学習装置は、上述のように、暗号処理部から平文処理部へのデータの受け渡しは共有メモリを介して行うため、計算途中における画像流出の可能性を低減させることも可能であり、よりセキュリティに配慮した構成となっている。

（機械学習装置４００の機能的構成）
図１５は、本実施形態に係る機械学習装置４００の機能的構成を示すブロック図である。図１５を参照して、本実施形態に係る機械学習装置４００の機能的構成について説明する。なお、実施形態１と共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。

機械学習装置４００は、通信部１１０と、記憶部１２０と、制御部４３０と、を備え、制御部４３０は、データ取得部１３１と、共有メモリ４３１と、機械学習部４３２とを含む。機械学習部４３２は、受付部１３２１と、暗号処理部４３２２と、平文処理部４３２３とを有する。

共有メモリ４３１は、例えば、揮発性メモリなどであり、暗号処理部４３２２（後述）および平文処理部４３２３（後述）がアクセス可能である。暗号処理部４３２２および平文処理部４３２３は、実行した演算の結果（データ）を共有メモリ４３１に記憶させる。また、暗号処理部４３２２および平文処理部４３２３が行う演算で必要な鍵やモデル情報などを、データ取得部１３１が記憶部１２０から読み出し、共有メモリ４３１に記憶させてもよい。これにより、機械学習装置４００の暗号処理部４３２２と平文処理部４３２３は、共有メモリ４２３を介して、計算過程のデータを共有することができる。

暗号処理部４３２２は、まず、データ取得部１３１が取得した画像データ等を、鍵格納部１２１において管理する暗号化のための鍵（公開鍵）を用いて準同型暗号による暗号化を行う。そして、暗号化した画像データ等と、学習モデル格納部１２２の学習モデルを用いて、入力層（第０層）からユーザの指定した中間層の第Ｎ層までの計算処理を暗号化実行領域において演算する。なお、データ取得部１３１が、準同型暗号によって暗号化された画像データを取得していた場合は、暗号処理部４３２２による上記暗号化は省略する。

また、当該演算の前に、データ取得部１３１が、鍵格納部１２１から暗号化のための鍵（公開鍵）、および学習モデル格納部１２２から入力層から第Ｎ層までに関するモデル情報（第１のモデル情報）を読み出し、共有メモリ４３１に記憶させておいてもよい。暗号処理部４３２２は、共有メモリ４３１から鍵やモデル情報を読み出して、演算に用いることにより、処理速度を速めることができる。

次に、暗号処理部４３２２は、入力層（第０層）から第Ｎ層までの演算の結果を、共有メモリ４３１に記憶させる。このとき、暗号処理部４３２２は、第Ｎ層までの演算の結果だけでなく、入力層（第０層）から第Ｎ層までの各層における計算過程の全てのデータ又は、計算過程の一部のデータを共有メモリ４３１に記憶させてもよい。この際、演算の結果を一時的に外部の記憶装置に出力した後、共有メモリ４３１に記憶させるようにしてもよい。なお、暗号処理部４３２２の演算終了後、暗号処理部４３２２が演算で用いた第１のモデル情報は、共有メモリ４３１から削除することが望ましい。上述したように、モデル情報および計算途中の画像から元の画像を復元することができる。このため、悪意ある第三者が平文処理部の権限を奪取した場合、モデル情報と計算途中の画像から、元の入力画像の復元を試みるおそれがある。したがって、元の入力画像への復元を困難にするため、モデル情報の一部である第１のモデル情報は、当該演算結果が復号できる者にはアクセスできないようにしておくことが重要である。

平文処理部４３２３は、共有メモリ４３１から、暗号処理部４３２２が実行した第Ｎ層までの演算の結果を取得し、取得した演算の結果に基づいて、第（Ｎ＋１）層から出力層までの演算を行う。このとき、平文処理部４３２３は、学習モデル格納部１２２の学習モデルを用いて、第（Ｎ＋１）層から出力層までの演算を行う。また、平文処理部４３２３は、共有メモリ４３１から取得した暗号処理部４３２２が実行した第Ｎ層までの演算結果を、鍵格納部１２１において管理する復号のための鍵（秘密鍵）を用いて復号する。

なお、平文処理部４３２３が、暗号処理部４３２２の演算結果を取得する前に、データ取得部１３１が、鍵格納部１２１から復号のための鍵（秘密鍵）、および学習モデル格納部１２２から第（Ｎ＋１）層から出力層までに関するモデル情報（第２のモデル情報）を読み出し、共有メモリ４３１に記憶させておいてもよい。平文処理部４３２３は、共有メモリ４３１から鍵やモデル情報を読み出して、演算に用いることにより、処理速度を速めることができる。

また、暗復号で用いる鍵は、処理の都度、または一定期間ごとに使い捨て等して、変更することが望ましい。これにより、元の入力画像や計算途中の画像の復号を困難にし、セキュリティを高めることができる。

平文処理部４３２３は、第２のモデル情報を用いて、第（Ｎ＋１）層から出力層までの演算を平文実行領域において行い、これにより推論または学習モデルのパラメータの更新を行う。

（共有メモリを用いた処理の具体例）
図１６は、共有メモリ４３１に関し、機能ブロック図とハードウェアとの対応関係を示す図である。共有メモリ４３１は、暗号処理部４３２２および平文処理部４３２３のいずれからもアクセス可能な記憶領域である。暗号処理部４３２２および平文処理部４３２３は、プロセッサの機能として処理を実行する。また、共有メモリ４３１は、鍵格納部１２１において管理する鍵や、暗号処理部４３２２が実行した演算の結果および平文処理部４３２３が実行した演算の結果を記憶する。

暗号処理部４３２２は、演算の結果を共有メモリ４３１に記憶させる。平文処理部４３２３は、共有メモリ４３１から、暗号処理部４３２２が実行した演算の結果を取得する。このとき、平文処理部４３２３は、鍵格納部１２１から復号のための鍵（秘密鍵）を取得し、暗号処理部４３２２が実行した演算の結果について復号する。

図１７は、アカウント制御を用いて実行権限を分けた場合を示す図である。１台のコンピュータ内で暗号処理部４３２２と平文処理部４３２３の実行権限を分ける場合、例えば、２つのアカウント（アカウント１，アカウント２）を用意し、それぞれのアカウントに実行権限を１つずつ割り当てることで実現できる。具体的には、図１７において示すように、暗号処理部４３２２の実行権限をアカウント１に付与し、平文処理部４３２３の実行権限をアカウント２に与える。なお、アカウント１およびアカウント２には、共有メモリ４３１へのアクセス権限（データの読み出しと書き込みを行う権限）が与えられている。

機械学習装置４００では、アカウントを分離することにより、１台のコンピュータ内で、暗号処理部４３２２の実行権限と、平文処理部４３２３の実行権限とを分けることができる。これにより、例えば、アカウント１は、平文処理部４３２３の実行権限がないため、復号鍵を取得する権限はない。すなわち、悪意ある第三者が、暗号処理部４３２２の権限を有するアカウント１を奪取しても、アカウント１は鍵格納部１２１から復号鍵を取得できないため、不正に取得された画像等のデータの復号は困難である。また、悪意ある第三者が、平文処理部４３２３の権限を有するアカウント２を奪取しても、畳み込みニューラルネットワークの計算過程が進んでいるため、もとの入力画像の復元は困難である。

なお、入力画像の復元を困難にするため、暗号処理部４３２２の演算終了後、第１のモデル情報は、共有メモリ４３１から削除することが望ましい。上述したように、モデル情報、および計算途中の画像から元の画像を復元することができる。このため、悪意ある第三者が平文処理部の権限を有するアカウント２を奪取した場合、元の入力画像の復元を試みるおそれがある。したがって、第１のモデル情報は、アカウント２がアクセスできないようにすることにより、よりセキュリティが高まる。

さらに、機械学習装置４００は、暗号処理部４３２２と平文処理部４３２３が共通してアクセス可能な共有メモリ４３１を用いることで、計算過程のデータの流出を防ぐことができる。また、悪意のある第三者が計算過程の演算の結果を遡って取得することを防止することもできる。すなわち、磁気ディスク装置などの記憶装置を介して情報を共有すると、悪意のある第三者にアカウントが乗っ取られた際に過去の演算の結果を取得されるリスクが発生するが、揮発性メモリなどを共有メモリ４３１として用いることで、暗号処理部４３２２および平文処理部４３２３の演算の結果は一次的に記憶されるのみとなり、悪意のある第三者が過去の演算の結果を不正に取得することを予防できる。

（処理の流れ）
図１８は、機械学習装置４００が実行する処理の一例を示すフローチャートである。

制御部４３０は、画像データ等のデータ、又は画像データ等のデータおよびラベルを取得する（ステップＳ３０１）。

制御部４３０は、暗号実行領域で行う演算と平文実行領域で行う演算との境界となる第Ｎ層を指定する層指定情報を取得する（ステップＳ３０２）。

制御部４３０は、取得した画像等のデータと適用する学習モデルを準同型暗号で暗号化する。そして、入力層（第０層）から第Ｎ層まで暗号化実行領域において演算し、共有メモリ４３１に記憶する（ステップＳ３０３）。

制御部４３０は、ステップＳ３０３において行った演算の結果を共有メモリ４３１から取得し、当該演算の結果に基づいて、復号鍵を用いて演算の結果を復号する。そして、復号した演算の結果に基づいて、第（Ｎ＋１）層から出力層までを平文実行領域において演算し、推論又は学習モデルのパラメータの更新を行う。次いで、制御部４３０は、出力層までの演算の結果を出力し、処理を終了する（ステップＳ３０４）。

（効果の説明）
本実施形態に係る機械学習装置４００は、暗号処理部４３２２が実行する処理と平文処理部４３２３が実行する処理の権限を分け、暗号処理部４３２２から平文処理部４３２３への情報の受け渡しは共有メモリ４３１を介して行う。これにより、暗号処理部４３２２又は平文処理部４３２３の権限を奪取した悪意ある第三者が、他の処理にアクセスすることを防止し、セキュリティを高めることができる。

また、機械学習装置４００は、暗号処理部４３２２と平文処理部４３２３の両方がアクセス可能な共有メモリ４３１を用いることで、演算の結果の共有が可能となる。揮発性メモリなどに構成した共有メモリ４３１を用いることで、演算の結果を短期的に記憶し、過去のデータを上書きすることで、悪意ある第三者が不正なアクセスを試みた場合にも、元の画像等の復元につながるデータの取得を困難にし、セキュリティを高めることができる。

また、入力画像の復元を困難にするため、暗号処理部４３２２の演算終了後、第１のモデル情報を、共有メモリ４３１から削除することで、第１のモデル情報、および平文処理部４３２３において復号される第Ｎ層までの演算結果に基づいて、元の入力画像に復元することを防ぐことができ、よりセキュリティを高めることができる。

＜実施形態４＞
実施形態４は、実施形態３の変形例である。本実施形態に係る機械学習装置は、実施形態３に係る機械学習装置と比較して、学習モデルに対するアクセス権限を分ける。本実施形態に係る機械学習装置は、暗号処理部の実行権限と平文処理部の実行権限を分けるだけでなく、学習モデルのモデル情報へのアクセス権限も分けることで、悪意のある第三者に一部の権限を奪取されても、元の画像等の復元をより困難にすることを可能とする。

図１９は、本実施形態に係る機械学習装置５００の機能的構成を示すブロック図である。以下、図１９を参照して、実施形態４に係る機械学習装置５００の機能的構成について説明する。なお、実施形態３と共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。

機械学習装置５００は、通信部１１０と、記憶部５２０と、制御部５３０と、を備える。記憶部５２０は、鍵格納部１２１と、学習モデル格納部５２２と、を含み、制御部５３０は、データ取得部５３１と、共有メモリ５３２と、機械学習計算部５３３と、を含む。機械学習計算部５３３は、受付部１３２１と、暗号処理部５３２２と、平文処理部５３２３と、を有する。

学習モデル格納部５２２は、入力層から第Ｎ層までに関する第１のモデル情報と、第（Ｎ＋１）層から出力層までに関する第２のモデル情報とを記憶する。第１のモデル情報は、学習モデルのうち、暗号処理部５３２２における演算のために必要となる学習モデルの情報である。第２のモデル情報は、学習モデルの情報のうち、平文処理部５３２３における演算のために必要となる学習モデルの情報である。

第１のモデル情報と、第２のモデル情報は、例えば、同じ記憶領域に格納され、アクセス権限が設定される。第１のモデル情報は、暗号処理部の実行権限を有する者がアクセス可能であり、第２のモデル情報は、平文処理部の実行権限を有する者がアクセス可能である。また、第１のモデル情報と、第２のモデル情報とを異なる記憶領域に格納してもよい。この場合、第１のモデル情報は、暗号処理部の実行権限を有する者がアクセス可能であり、第２のモデル情報は、平文処理部の実行権限を有する者がアクセス可能である。

暗号処理部５３２２は、データ取得部５３１を介して取得した画像等のデータと第１のモデル情報を取得し、暗号実行領域における入力層から第Ｎ層までの演算を行う。そして、暗号処理部５３２２は、演算結果を共有メモリ５３２に記憶させる。

平文処理部５３２３は、共有メモリ５３２から、暗号処理部５３２２が実行した第Ｎ層までの演算の結果を取得する。そして、データ取得部５２１を介して取得した第２のモデル情報を用いて、平文実行領域における第（Ｎ＋１）層から出力層までの演算を行い、これにより推論又は学習モデルのパラメータの更新を行う。この際、平文処理部５３２３は、鍵格納部１２１において管理する復号のための鍵（秘密鍵）を用いて第Ｎ層までの演算の結果を復号する。

なお、各モデル情報は、機械学習装置５００以外の装置が記憶していてもよく、データ取得部５３１は、各モデル情報を、機械学習装置５００以外の装置等から別々に取得してもよい。

（効果の説明）
本実施形態に係る機械学習装置５００は、暗号処理部５３２２が実行する処理と平文処理部５３２３が実行する処理の権限を分けるだけでなく、学習モデルへのアクセス権限も分ける。これにより、悪意ある第三者が実行権限の一部を奪取したとしても、実施形態３に係る機械学習装置４００よりも、取得できる情報を減らすことができる。したがって、元の画像等を復元することをより困難にし、セキュリティを高めることができる。

＜実施形態５＞
実施形態３に係る機械学習装置は、１つのコンピュータにおいて、暗号処理部と平文処理部の実行権限を分けることで、悪意ある第三者が一部の権限を奪取しても、元の画像等の復元を困難にし、セキュリティを高めた。実施形態５に係る機械学習システムは、実施形態１又は２で述べた機械学習システムにおける暗号処理部の処理と平文処理部の処理を異なる端末装置で実行させるなど、暗号処理部と平文処理部とを物理的に異なる実行環境において演算を実行することで、悪意ある第三者が一部の実行環境の権限を奪取しても元の画像等の復元を困難にし、セキュリティを高める。物理的に異なる実行環境において演算することで、１つのコンピュータにおいて実行権限を分けるよりも、実行権限の分離をより確実なものにし、セキュリティを高めることができる。

（機械学習システム３の構成）
図２０は、機械学習システム３の全体図である。図２０に示すように、本実施形態に係る機械学習システム３は、暗号実行領域の演算を行う暗号処理装置６００と、平文実行領域の演算を行う平文処理装置７００と、その余の機械学習のための処理を行うシステム管理装置８００とを備える。

暗号処理装置６００と、平文処理装置７００と、システム管理装置８００とは、ネットワークＮＷを介してデータを送受信することができる。

機械学習システム３の機能は、実施形態１に係る機械学習装置１００の機能を、暗号処理装置６００と、平文処理装置７００と、システム管理装置８００とに分ける。暗号処理装置６００と、平文処理装置７００と、システム管理装置８００とがネットワークＮＷを介して通信することで、機械学習装置１００の機能を３つに分割した装置により実現するものである。

機械学習システム３の機能は、具体的には、以下の構成で実現できる。例えば、実施形態１に係る機械学習装置１００の記憶部１２０における鍵格納部１２１と学習モデル格納部１２２の機能は、システム管理装置８００に機能的に配置する。機械学習装置１００の制御部１３０におけるデータ取得部１３１と機械学習計算部１３２の暗号処理部１３２２の機能は、暗号処理装置６００に機能的に配置する。機械学習装置１００の制御部１３０における機械学習計算部１３２の平文処理部１３２３の機能は、平文処理装置７００に機能的に配置する。機械学習装置１００の制御部１３０における機械学習計算部１３２の受付部１３２１の機能は、システム管理装置８００に機能的に配置する。

ただし、前述の例はあくまで一例であり、機械学習システム３の機能は、少なくとも暗号処理装置６００に暗号処理部１３２２の機能が配置され、平文処理装置７００に平文処理部１３２３の機能が配置されればよい。その他の機能は、暗号処理装置６００、平文処理装置７００、システム管理装置８００のいずれかに配置されてもよい。

また、例えば、実施形態１に係る機械学習装置１００の記憶部１２０における鍵格納部１２１と学習モデル格納部１２２の機能は、暗号処理装置６００および平文処理装置７００の双方に機能的に配置してもよい。

また、例えば、実施形態１に係る機械学習装置１００の制御部１３０におけるデータ取得部１３１の機能は、システム管理装置８００に機能的に配置されてもよい。機械学習装置１００の受付部１３２１の機能は、暗号処理装置６００に機能的に配置されてもよい。

（暗号処理装置６００の機能的構成）
図２１は、本実施形態に係る暗号処理装置６００の機能的構成を示すブロック図である。以下、図２１を参照して、本実施形態に係る暗号処理装置６００の機能的構成について説明する。

暗号処理装置６００は、通信部６１０と、記憶部６２０と、制御部６３０とを備える。

通信部６１０は、暗号処理装置６００が他の装置と通信するための処理を行う。通信部６１０は、他の装置との通信は、セキュアな通信チャネルを構築する。

記憶部６２０は、例えば、ＲＡＭ等の揮発性のメモリ、フラッシュメモリ、ＨＤＤ、ＳＳＤ等により構成され、暗号処理装置６００が利用するデータ、およびプログラムを記憶する。

制御部６３０は、暗号処理装置６００のプロセッサが記憶部６２０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部６３０は、暗号処理装置６００の動作を制御する。具体的には、制御部６３０は、データ取得部６３１と、機械学習計算部６３２と、を含む。

データ取得部６３１は、ユーザが入力した画像データ等とラベルを取得する。

機械学習計算部６３２は、データ取得部６３１において取得した画像データ等に基づいて、畳み込みニューラルネットワークを用いた計算処理を行う。この計算処理は、具体的には、学習モデルのパラメータを更新するための学習、もしくは、取得した画像データ等から学習モデルを用いて行う推論のための計算処理である。なお、畳み込みニューラルネットワークは複数の層から構成される。

機械学習計算部６３２は、暗号処理部６３２２を有する。暗号処理部６３２２は、通信部６１０を介してシステム管理装置８００の鍵格納部８２１（後述）から取得した暗号化のための鍵を用いて、準同型暗号により画像データ等を暗号化する。なお、データ取得部６３１が、準同型暗号により暗号化された画像データを取得していた場合は、当該暗号化を省略する。

暗号処理部６３２２は、通信部６１０を介して、システム管理装置８００の学習モデル格納部８２２（後述）から取得したモデル情報と、通信部６１０を介して取得したシステム管理装置８００の受付部８３１（後述）が取得した層指定情報を用いて、入力層から第Ｎ層までの計算処理を準同型暗号による暗号実行領域において演算する。

暗号処理部６３２２は、通信部６１０を介して、暗号実行領域における演算の結果を平文処理装置７００に送信する。平文処理装置７００は、通信部７１０を介して、暗号実行領域における演算の結果を取得する。

（平文処理装置７００の機能的構成）
図２２は、本実施形態に係る平文処理装置７００の機能的構成を示すブロック図である。以下、図２２を参照して、本実施形態に係る平文処理装置７００の機能的構成について説明する。

平文処理装置７００は、通信部７１０と、記憶部７２０と、制御部７３０とを備える。

通信部７１０は、平文処理装置７００が他の装置と通信するための処理を行う。通信部７１０は、他の装置との通信は、セキュアな通信チャネルを構築する。

記憶部７２０は、例えば、ＲＡＭ等の揮発性のメモリ、フラッシュメモリ、ＨＤＤ、ＳＳＤ等により構成され、平文処理装置７００が利用するデータ、およびプログラムを記憶する。

制御部７３０は、平文処理装置７００のプロセッサが記憶部７２０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部７３０は、平文処理装置７００の動作を制御する。具体的には、制御部７３０は、機械学習計算部７３２を含む。

機械学習計算部７３２は、通信部７１０を介して、暗号処理装置６００から取得した暗号実行領域における演算の結果に基づき、畳み込みニューラルネットワークを用いた計算処理を行う。この計算処理は、具体的には、学習モデルのパラメータを更新するための学習、もしくは、取得した画像データ等から学習モデルを用いて行う推論のための計算処理である。なお、畳み込みニューラルネットワークは複数の層から構成される。

機械学習計算部７３２は、平文処理部７３２３を有する。平文処理部７３２３は、通信部７１０を介してシステム管理装置８００の鍵格納部８２１（後述）から取得した復号のための鍵を用いて、暗号実行領域における演算の結果を復号する。

平文処理部７３２３は、通信部７１０を介してシステム管理装置８００の学習モデル格納部８２２（後述）から取得したモデル情報と、通信部７１０を介して取得したシステム管理装置８００の受付部８３１（後述）が取得した層指定情報を用いて、第（Ｎ＋１）層から出力層までの計算処理を平文実行領域において演算する。これにより、推論または学習モデルのパラメータの更新を行う。

平文処理部７３２３は、推論または学習モデルのパラメータの更新を行い、通信部７１０を介して、当該学習モデルをシステム管理装置８００に送信し、システム管理装置８００の学習モデル格納部８２２（後述）に記憶されている学習モデルを更新する。

（システム管理装置８００の機能的構成）
図２３は、本実施形態に係るシステム管理装置８００の機能的構成を示すブロック図である。以下、図２３を参照して、本実施形態に係るシステム管理装置８００の機能的構成について説明する。

システム管理装置８００は、通信部８１０と、記憶部８２０と、制御部８３０とを備える。

通信部８１０は、システム管理装置８００が他の装置と通信するための処理を行う。通信部８１０は、他の装置との通信は、セキュアな通信チャネルを構築する。

記憶部８２０は、例えば、ＲＡＭ等の揮発性のメモリ、フラッシュメモリ、ＨＤＤ、ＳＳＤ等により構成され、システム管理装置８００が利用するデータ、およびプログラムを記憶する。記憶部８２０は、鍵格納部８２１と、学習モデル格納部８２２と、を含む。
鍵格納部８２１は、データを暗号化し、又は暗号化されたデータを復号するための鍵を記憶する。学習モデル格納部８２２は、機械学習システム３において使用する学習モデルを記憶する。

制御部８３０は、システム管理装置８００のプロセッサが記憶部８２０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部８３０は、システム管理装置８００の動作を制御する。制御部８３０は、受付部８３１を含む。

受付部８３１は、畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層（ただし、Ｎは自然数。）を指定する層指定情報を受け付ける。

システム管理装置８００は、通信部８１０を介して、暗号処理装置６００または／および平文処理装置７００に対して、層指定情報を送信する。

（物理的に異なる実行環境において演算を行う場合の具体例）
図２４は、物理的に異なる実行環境において畳み込みニューラルネットワークを用いた計算処理を行う場合の具体例を示す図である。

本実施形態に係る機械学習システム３のシステムでは、ニューラルネットワークを用いた計算処理を、準同型暗号による暗号実行領域と、平文実行領域に分けて行う。そして、暗号実行領域における処理を暗号処理装置６００において行い、平文実行領域における処理を平文処理装置７００において行うことで、物理的に異なる実行環境において計算処理を行う。

図２４に示すように、暗号処理装置６００において、暗号処理部６３２２が、データ取得部６３１（図２１参照）が取得した画像データ等を暗号化し、暗号実行領域において、入力層（第０層）から第Ｎ層までの演算を実行する。暗号処理装置６００は、入力層から第Ｎ層までの演算の結果を、ネットワークを介して平文処理装置７００に送信する。平文処理装置７００において、平文処理部７３２３は、暗号処理装置６００から送信された演算の結果を復号した上で、平文実行領域において、第（Ｎ＋１）層から出力層までの演算を行う。このように、機械学習システム３は、暗号処理部６３２２と平文処理部７３２３とを異なる実行環境において計算処理させることで、悪意のある第三者に、計算処理に係る装置がハッキングされた際のリスクを軽減し、セキュリティを高めることができる。

（処理の流れ）
図２５は、機械学習システム３が実行する処理の一例を示すシーケンス図である。なお、ステップの順番は図２５で示す例に限られない。

暗号処理装置６００は、画像データ等のデータ、又は画像データ等のデータおよびラベルを取得する（ステップＳ４０１）。

システム管理装置８００は、暗号実行領域で行う演算と平文実行領域で行う演算との境界となる第Ｎ層を指定する層指定情報を取得する（ステップＳ４０２）。

システム管理装置８００は、暗号処理装置６００に対して、層指定情報、学習モデル、暗号化のための鍵（暗号鍵）を送信する（ステップＳ４０３）。

暗号処理装置６００は、取得した画像等のデータと適用する学習モデルを準同型暗号で暗号化する。そして、第０層から第Ｎ層まで暗号化実行領域において演算する（ステップＳ４０４）。

暗号処理装置６００は、暗号実行領域における演算結果を平文処理装置７００に送信する（ステップＳ４０５）。

システム管理装置８００は、層指定情報、学習モデル、復号のための鍵（秘密鍵）を平文処理装置７００に送信する（ステップＳ４０６）。なお、復号のための鍵は、セキュリティが確保された通信路において送信される他に、予め、平文処理装置７００とシステム管理装置８００とが共有しておいてもよい。

平文処理装置７００は、暗号処理装置６００が行った演算の結果に基づいて、復号鍵を用いて演算結果を復号する。そして、復号した演算の結果に基づいて、第（Ｎ＋１）層から出力層までを平文実行領域において演算し、推論又は学習モデルのパラメータの更新を行う（ステップＳ４０７）。

平文処理装置７００は更新された学習モデルをシステム管理装置８００に送信し、システム管理装置８００は記憶している学習モデルのパラメータを更新する（ステップＳ４０８）。

（効果の説明）
本実施形態に係る機械学習システム３は、暗号処理部６３２２が実行する処理と、平文処理部７３２３が実行する処理とを、物理的な実行環境に分けて行う。これにより、暗号処理部６３２２又は平文処理部７３２３の実行環境をハッキングした悪意ある第三者が、他の処理にアクセスすることを防止し、元の画像等を取得することを予防してセキュリティを高めることができる。機械学習システム３は、物理的な実行環境を分けることにより、１つのコンピュータ上で実行権限を分けるよりも、他の処理へのアクセスを困難にし、セキュリティを高めることができる。

＜実施形態６＞
実施形態６は、実施形態５の変形例である。実施形態５に係る機械学習システム３は、暗号処理装置６００と平文処理装置７００のいずれにおいても、システム管理装置８００の学習モデル格納部８２２に記憶された学習モデルを取得し、それぞれ畳み込みニューラルネットワークのための計算を行った。実施形態６に係る機械学習システム３は、暗号処理装置６００は、学習モデルのうち入力層から第Ｎ層までに関する情報（「第１のモデル情報」）を取得して演算を行い、平文処理装置７００は、学習モデルのうち第（Ｎ＋１）層から出力層までに関する情報（「第２のモデル情報」）を取得して演算を行う。また、第１のモデル情報および第２のモデル情報は、システム管理装置８００からではなく、信頼できるサーバ等から別々に取得するようにしてもよい。

暗号処理装置６００の暗号処理部６３２２は、第１のモデル情報を取得し、データ取得部６３１が取得した画像データ等と第１のモデル情報を用いて、入力層から第Ｎ層までの暗号実行領域における演算を行う。

平文処理装置７００の平文処理部７３２３は、第２のモデル情報を取得し、暗号処理部６３２２が行った演算の結果と、第２のモデル情報を用いて、第（Ｎ＋１）層から出力層までの平文実行領域における演算を行い、推論またはモデル情報のパラメータの更新を行う。

また、実施形態６における機械学習システム３は、前述のように、暗号処理部６３２２と平文処理部７３２３の両方において、それぞれの演算に必要な学習モデルの情報を取得するのではなく、層指定情報として指定されるＮについて、一般的に用いられる値がある程度決まっている場合には、予め暗号処理装置６００と平文処理装置７００に、第１のモデル情報と第２のモデル情報を記憶しておいてもよい。

すなわち、層指定情報として、例えば、Ｎ＝５がよく用いられる場合には、暗号処理装置６００の記憶部６２０に第１のモデル情報として、予め、入力層から第５層までのモデル情報を記憶し、平文処理装置７００の記憶部７２０に第２のモデル情報として、第６層から出力層までのモデル情報を記憶してもよい。

（効果の説明）
実施形態６における機械学習システム３は、実施形態５のように、暗号処理部６３２２と平文処理部７３２３の物理的な実行環境を分けるだけでなく、各処理部は、学習モデルの全てのパラメータではなく、自己の演算に必要な学習モデルのパラメータのみを取得することで、悪意のある第三者がハッキングした際に、当該第三者が取得する情報をできる限り少なくすることにより、元の画像等を復元することを困難にし、セキュリティを高めることができる。

＜実施形態７＞
実施形態７は、実施形態５の変形例である。実施形態７に係る機械学習システム４は、少なくとも２以上の暗号処理装置と、少なくとも２以上の平文処理装置とを備える。また、暗号処理装置と平文処理装置とは、少なくとも一組のペアリングがされており、ペアリングされた暗号処理装置と平文処理装置とを用いて畳み込みニューラルネットワークの入力層から出力層までの計算処理を実行する。

また、実施形態７に係る機械学習システムは、ペアリングされていない暗号処理装置と平文処理装置は、畳み込みニューラルネットワークの入力層から出力層までの計算処理とは異なる処理に関する通信を行う。

実施形態７に係る機械学習システムは、ペアリングされている暗号処理装置と平文処理装置の間で通信するだけでなく、ペアリングされていない暗号処理装置と平文処理装置の間でも通信を行うことにより、悪意のある第三者が、畳み込みニューラルネットワークの入力層から出力層までの一つの計算処理がどの装置により行われているか判別することを困難にさせる。すなわち、ペアリングされた暗号処理装置と平文処理装置との間でのみ通信を行えば、悪意のある第三者は、通信が行われていることを感知すれば、一つの計算処理においてどの装置がペアリングされているか容易に判別可能である。一方で、ペアリングされていない暗号処理装置と平文処理装置との間でも入力層から出力層までの計算処理とは異なる処理に関する通信（ダミーの通信でもよい）を行うことで、ペアリングされている端末を判別することを困難にさせる。

（具体例）
図２６は、機械学習システム４の具体的構成を示す図である。機械学習システム４は、２以上の暗号処理装置６００－１～６００－Ｐ（Ｐは２以上の整数。以下、特に、区別する場合を除き、「暗号処理装置６００」と記載する。）と、２以上の平文処理装置７００－１～７００－Ｑ（Ｑは２以上の整数。以下、特に区別する場合を除き、「平文処理装置７００」と記載する。）を含み、これらはネットワークを介して接続されている。例えば、暗号処理装置６００－１と平文処理装置７００－１、暗号処理装置６００－２と平文処理装置７００－２、暗号処理装置６００－Ｐと平文処理装置７００－Ｑがペアリングされているとき、これらは、一つの畳み込みニューラルネットワークの入力層から出力層までの計算処理を実行する。一方で、ペアリングされていない暗号処理装置６００と平文処理装置７００は、畳み込みニューラルネットワークの入力層から出力層までの計算処理とは無関係の通信、すなわちダミーの通信を行う。これにより、悪意のある第三者がどの装置間でペアリングされているか感知することを防止し、ハッキングなどをさせにくくするシステムとすることが可能となる。

また、望ましくは、ペアリングされた装置間とペアリングされていない装置間において、同程度の通信が行われるとよい。これにより悪意のある第三者がペアリングされている装置の組合せを感知することをより難しくすることが可能となる。なお、ペアリングは、図示しない管理装置等により管理され、一定期間ごとに変更してもよい。ペアリングがランダムに変更されることにより、ハッキングの可能性をさらに低減させることができる。

（効果の説明）
実施形態７に係る機械学習システム４は、複数の暗号処理装置６００と複数の平文処理装置７００を備え、一つの畳み込みニューラルネットワークの入力層から出力層までの計算処理を実行するためにペアリングされた暗号処理装置６００と平文処理装置７００の組合せと、ペアリングされていない組合せを含む。これにより、悪意のある第三者が、どの装置がペアリングされているか感知することを困難にし、元の画像等の入手や復元を困難にし、セキュリティを高めることが可能となる。

以上で実施形態の説明を終了するが、上記実施形態は一例に過ぎない。そのため、機械学習装置１００，３００，４００，５００、暗号処理装置６００、平文処理装置７００、システム管理装置８００の具体的な構成、処理内容等は上記実施形態で説明したものに限られない。

また、本開示に係る機械学習装置は、上記装置によらず、例えば、コンピュータがプログラムを実行することで、その機能を実現してもよい。情報提供システムの機能を実現するためのプログラムは、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ－ＲＯＭ（Compact Disc－Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。

以上、本開示の好ましい実施形態について説明したが、上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

１，２，３，４ 機械学習システム、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信ＩＦ、１５ 入出力ＩＦ、１００，３００，４００，５００ 機械学習装置、１１０，６１０，７１０，８１０ 通信部、１２０，４２０，６２０，７２０，８２０ 記憶部、１２１，８２１ 鍵格納部、１２２，５２２，８２２ 学習モデル格納部、４３１，５３２ 共有メモリ、１３０，４３０，５３０，６３０，７３０，８３０ 制御部、１３１，５３１，６３１ データ取得部、１３２，３３２，４３２，５３３，６３２，７３２ 機械学習計算部、２００ 端末装置、６００ 暗号処理装置、７００ 平文処理装置、８００ システム管理装置、４０１，４０２，４０３ 画面、４１０ 画像、４１２ アイコン、４１３ ボタン、１３２１，８３１ 受付部、１３２２，４３２２，５３２２，６３２２ 暗号処理部、１３２３，４３２３，５３２３，７３２３ 平文処理部、３３２４ 提供部、３３２５ 推定部。

Claims (11)

1. 画像データを取得するデータ取得部と、
   前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、
   前記畳み込みニューラルネットワークは複数の層から構成され、
   前記機械学習計算部は、
   準同型暗号による暗号実行領域において演算する暗号処理部と、
   平文実行領域において演算する平文処理部と、
   前記暗号処理部および前記平文処理部がアクセス可能な共有メモリと、
   前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部と、を有し、
   前記暗号処理部は、前記入力層から前記第Ｎ層までの演算を実行し、
   前記平文処理部は、第（Ｎ＋１）層から前記出力層までの演算を実行し、
   前記共有メモリは、前記暗号処理部および前記平文処理部が実行した演算の結果を記憶する機械学習装置。
2. 前記暗号処理部は、前記入力層から前記第Ｎ層までの演算の結果を前記共有メモリに記憶させ、
   前記平文処理部は、前記共有メモリから、前記暗号処理部が実行した前記第Ｎ層までの演算の結果を取得し、前記取得した演算の結果に基づいて、前記第（Ｎ＋１）層から前記出力層までの演算を実行する、請求項１に記載の機械学習装置。
3. 前記暗号処理部は、前記入力層から前記第Ｎ層までに関する第１のモデル情報を用いて、前記入力層から前記第Ｎ層までの前記演算を実行し、
   前記平文処理部は、第（Ｎ＋１）層から前記出力層までに関する第２のモデル情報を用いて、前記第（Ｎ＋１）層から前記出力層までの演算を実行する、請求項１または請求項２に記載の機械学習装置。
4. 画像データを取得するデータ取得部と、
   前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、
   前記畳み込みニューラルネットワークは複数の層から構成され、
   前記機械学習計算部は、
   準同型暗号による暗号実行領域において演算する暗号処理部と、
   平文実行領域において演算する平文処理部と、
   前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部と、を有し、
   前記暗号処理部は、前記入力層から前記第Ｎ層までの演算を実行し、
   前記平文処理部は、第（Ｎ＋１）層から前記出力層までの演算を実行し、
   前記暗号処理部と、前記平文処理部とは、物理的に異なる実行環境において演算を実行する機械学習システム。
5. 前記データ取得部および前記暗号処理部を含む暗号処理装置と、
   前記平文処理部を含む平文処理装置と、をさらに備え、
   前記暗号処理装置と、前記平文処理装置とは、ネットワークを介してデータを送受信する、請求項４に記載の機械学習システム。
6. 前記暗号処理装置は、前記入力層から前記第Ｎ層までに関する第１のモデル情報を取得し、
   前記平文処理装置は、前記第（Ｎ＋１）層から前記出力層までに関する第２のモデル情報を取得し、
   前記暗号処理部は、前記第１のモデル情報を用いて、前記入力層から前記第Ｎ層までの前記演算を実行し、
   前記平文処理部は、前記第２のモデル情報を用いて、前記第（Ｎ＋１）層から前記出力層までの演算を実行する、請求項５に記載の機械学習システム。
7. 少なくとも２以上の前記暗号処理装置と、少なくとも２以上の前記平文処理装置とを備え、
   前記暗号処理装置と前記平文処理装置とは、少なくとも一組のペアリングをされており、
   前記機械学習計算部は、前記ペアリングされた前記暗号処理装置と前記平文処理装置とを用いて前記計算処理を実行する、
   請求項５または請求項６に記載の機械学習システム。
8. 前記ペアリングされていない前記暗号処理装置および前記平文処理装置は、前記計算処理とは異なる処理に関する通信を行う、請求項７に記載の機械学習システム。
9. 画像データを取得するデータ取得部と、
   前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行う機械学習計算部と、を備え、
   前記畳み込みニューラルネットワークは複数の層から構成され、
   前記機械学習計算部は、
   準同型暗号による暗号実行領域において演算する暗号処理部と、
   平文実行領域において演算する平文処理部と、
   前記暗号処理部および前記平文処理部がアクセス可能な共有メモリと、
   前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付ける受付部と、を有し、
   前記暗号処理部は、前記入力層から前記第Ｎ層までの演算を実行し、
   前記平文処理部は、第（Ｎ＋１）層から前記出力層までの演算を実行し、
   前記共有メモリは、前記暗号処理部および前記平文処理部が実行した演算の結果を記憶する機械学習システム。
10. 画像データを取得するステップと、
    前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行うステップと、を備え、
    前記畳み込みニューラルネットワークは複数の層から構成され、
    前記畳み込みニューラルネットワークを用いた計算処理を行うステップは、
    前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付けるステップと、
    準同型暗号による暗号実行領域において、前記入力層から前記第Ｎ層までの演算を実行するステップと、
    平文実行領域において、第（Ｎ＋１）層から前記出力層までの演算を実行するステップと、
    前記暗号実行領域および前記平文実行領域からアクセス可能な共有メモリが、前記暗号実行領域および前記平文実行領域における演算の結果を記憶するステップと、を有する機械学習方法。
11. 制御部と、記憶部と、を備えるコンピュータに実行させる機械学習プログラムであって、
    前記制御部が、画像データを取得するステップと、
    前記記憶部が、前記画像データを記憶するステップと、
    前記制御部が、前記記憶部が記憶した前記画像データに基づいて、畳み込みニューラルネットワークを用いた計算処理を行うステップと、を備え、
    前記畳み込みニューラルネットワークは複数の層から構成され、
    前記畳み込みニューラルネットワークを用いた計算処理を行うステップは、
    前記制御部が、前記畳み込みニューラルネットワークの入力層から出力層に向けての途中の層である第Ｎ層を指定する層指定情報を受け付けるステップと、
    前記制御部が、準同型暗号による暗号実行領域において、前記入力層から前記第Ｎ層までの演算を実行するステップと、
    前記制御部が、平文実行領域において、第（Ｎ＋１）層から前記出力層までの演算を実行するステップと、を有し、
    前記記憶部は、前記暗号実行領域および前記平文実行領域からアクセス可能な共有メモリを含み、
    前記共有メモリが、前記暗号実行領域および前記平文実行領域における演算の結果を記憶するステップ、をさらに有する機械学習プログラム。

Images