JP7729467B2 - 学習装置 - Google Patents

Description

本発明は、学習装置、学習方法、記録媒体、推論装置に関する。

よりよい性能を得ることなどを目的として、各参加者において学習した学習器を組み合わせることがある。

例えば、非特許文献１には、各ステップにおいて参加者がそれぞれ決定木を作成し、作成した決定木を組み合わせることでよりよい性能のモデルを作成する勾配ブースティングフォーレスト（GBF:Gradient Boosting Forest）という技術が記載されている。

また、関連する文献として、例えば、特許文献１がある。特許文献１には、ＧＢＤＴ（Gradient Boosting Decision Tree）などについて記載されている。

特開２０２１－１４０２９６号公報

Ｆｅｎｇ Ｗａｎｇ ｅｔ ａｌ., Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｆｏｒｅｓｔ： ａ Ｔｗｏ－Ｓｔａｇｅ Ｅｎｓｅｍｂｌｅ Ｍｅｔｈｏｄ Ｅｎａｂｌｉｎｇ Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ ｏｆ ＧＢＤＴｓＩＣＯＮＩＰ ２０２１： Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ｐｐ７５－８６［令和４年３月８日検索］，インターネット＜https://link.springer.com/chapter/10.1007/978-3-030-92270-2_7＞

非特許文献１に記載のような技術の場合、各参加者が学習した学習器を組み合わせる。そのため、最終的に作成される学習器は、例えば、各参加者が有する学習データに応じたものとなる。一方で、例えば、各参加者が持つ学習データに分布の偏りがある場合などにおいては、性能を高めつつ、かつ、より特定の個人に適した学習器を用意したい場合がある。しかしながら、非特許文献１に記載のように組み合わせるだけでは、上記のような場合に対応することは難しかった。

そこで、本発明の目的は、上述した課題を解決することが可能な学習装置、学習方法、記録媒体を提供することにある。

かかる目的を達成するため本開示の一形態である学習装置は、
他の学習装置から学習器を受信する受信部と、
受信部が受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する生成部と、
を有する
という構成をとる。

また、本開示の他の形態である学習方法は、
情報処理装置が、
他の学習装置から学習器を受信し、
受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する
という構成をとる。

また、本開示の他の形態である記録媒体は、
情報処理装置に、
他の学習装置から学習器を受信し、
受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する
処理を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。

また、本開示の他の形態である推論装置は、
特徴量の入力に対してラベルを推論する推論装置であって、
他の学習装置から受信した学習器と、自装置が有するデータを用いて自装置が有するデータに適した予測を行うように算出された結合係数と、を記憶する記憶装置と、
特徴量の入力に応じて、記憶装置が記憶する学習器と結合係数とを用いた推論を行う推論部と、
を有する
という構成をとる。

上述したような各構成によると、性能を高めつつ、かつ、より特定の個人に適した学習器を用意することができる。

本開示の概要を説明するための図である。 本開示の第１の実施形態における学習システムの構成例を示す図である。 学習装置の構成例を示すブロック図である。 学習データの一例を示す図である。 バリデーションデータの一例を示す図である。 アルゴリズムの一例を示す図である。 アルゴリズムの他の一例を示す図である。 学習装置の動作例を示すフローチャートである。 本開示の第２の実施形態における学習装置のハードウェア構成例を示す図である。 学習装置の構成例を示すブロック図である 推論装置の構成例を示すブロック図である。

［第１の実施形態］
本開示の第１の実施形態について、図１から図８までを参照して説明する。図１は、本開示の概要を説明するための図である。図２は、学習システム１００の構成例を示す図である。図３は、学習装置３００の構成例を示すブロック図である。図４は、学習データ情報３４１の一例を示す図である。図５は、バリデーションデータ情報３４２の一例を示す図である。図６、図７は、学習システム１００で行われるアルゴリズムの一例を示す図である。図８は、学習装置３００の動作例を示すフローチャートである。

本開示の第１の実施形態では、図１で示すように、学習システム１００内の他の参加者から受信した学習器と、自装置で学習した学習器などとに基づいて、自装置が有する学習データやバリデーションデータなどのデータに対してより適切な予測を行うように結合学習器を生成する学習装置３００を有する学習システム１００について説明する。後述するように、本実施形態において説明する学習装置３００は、学習システム１００内の他の参加者から学習器である決定木を受信すると、受信した決定木に自装置が有する学習データを入力することで、新たな特徴量を算出する。そして、学習装置３００は、学習データと算出した特徴量とに基づいて、自装置の新たな学習器である決定木を生成する。

また、学習装置３００は、生成した決定木や他の参加者から受信した決定木と、予め記憶するバリデーションデータなどと、を用いて、各決定木に対応する結合係数を算出する。例えば、学習装置３００は、決定木とバリデーションデータとに基づいて、自身のバリデーションデータに対する予測性能が最適になるように、決定木ごとの結合係数を算出する。その後、学習装置３００は、算出した結合係数を用いて、他学習装置２００から受信した決定木や生成した決定木と、過去の結合決定木と、を結合することで、新たな結合決定木を生成する。つまり、学習装置３００は、結合係数を用いた結合を行うことで、適切化学習器である結合決定木を生成する。

例えば、図１で示すように、本実施形態において説明する学習システム１００では、上記のような処理を繰り返すことができる。つまり、学習システム１００は、他学習装置２００が決定木を生成する、他学習装置２００が生成した決定木を用いて学習装置３００が決定木を生成する、結合係数を算出する、各決定木を結合する、という１連のステップを例えば予め定められた条件を満たすまで複数回繰り返すことができる。

なお、学習データには、例えば、性別、年齢、身長、体重、…、などの複数の特徴量と、病気か否かなどを示すラベルと、が含まれている。特徴量は、説明変数、または、属性などとも呼ばれうる。また、ラベルは、目的変数などとも呼ばれうる。特徴量やラベルの具体例は、上記例示した以外であってよい。また、バリデーションデータとは、学習器を評価する際などに用いることができる検証用のデータのことをいう。バリデーションデータには、学習データと同様に、複数の特徴量とラベルとが含まれている。また、決定木とは、入力データに対して、その特徴量の条件分岐によりラベルの説明性能が十分によくなるまで二分木で振り分ける作業を複数回行い、訓練するモデルのことをいう。決定木には、回帰タスクを扱う回帰木や、分類タスクを扱う分類木などが含まれる。

また、本実施形態においては、学習器として決定木を用いる場合について説明する。しかしながら、本発明の対象となる学習器は、決定木に限定されない。例えば、学習システム１００内の各参加者は、学習器として、浅いニューラルネットやサポートベクターマシンなどを生成してもよい。学習システム１００内の各参加者が学習器としてニューラルネットやサポートベクターマシンなどを生成する場合であっても、問題なく本発明を適用することができる。

図２は、学習システム１００の全体的な構成例を示している。図２を参照すると、学習システム１００は、１つまたは複数の他学習装置２００と、学習装置３００と、を有している。図２で示すように、他学習装置２００と学習装置３００とは、互いに通信可能なようネットワークなどを介して接続されている。

他学習装置２００は、当該他学習装置２００が有する訓練データに基づいた学習を行うことで、学習器である決定木を生成する情報処理装置である。また、他学習装置２００は、生成した決定木を他の他学習装置２００や学習装置３００に対して送信することができる。

また、他学習装置２００は、予め定められた所定係数などを用いて、他の他学習装置２００や学習装置３００などから受信した学習器である決定木を結合するよう構成してもよい。ここで、上記所定係数は、例えば、学習システム１００内の他学習装置２００や学習装置３００などの各参加者が持つデータの数によって予め定めることができる。例えば、上記所定係数は、自装置が有する訓練データの数を、学習システム１００内の他学習装置２００や学習装置３００が有する訓練データの数の和で割ることなどにより算出してもよい。

例えば、以上のように、他学習装置２００は、自装置が有する訓練データに基づいて学習器である決定木を生成したり、生成した決定木を学習システム１００内の他の情報処理装置などに送信したりする。また、他学習装置２００は、学習システム１００内の他の情報処理装置などから決定木を受信して、受信した決定木を予め定められた所定係数などを用いて結合することができる。例えば、他学習装置２００は、非特許文献１に記載の方法などで、上記各処理を実現してよい。

学習装置３００は、自装置が有する学習データやバリデーションデータなどのデータに対してより適切な予測を行うように結合学習器である結合決定木を生成する情報処理装置である。図３は、学習装置３００の構成例を示している。図３を参照すると、学習装置３００は、主な構成要素として、例えば、操作入力部３１０と、画面表示部３２０と、通信Ｉ／Ｆ部３３０と、記憶部３４０と、演算処理部３５０と、を有している。

なお、図３では、１台の情報処理装置を用いて学習装置３００としての機能を実現する場合について例示している。しかしながら、学習装置３００は、例えば、クラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。また、学習装置３００は、操作入力部３１０や画面表示部３２０を有さないなど上記例示した構成の一部を含まなくてもよいし、上記例示した以外の構成を有してもよい。

操作入力部３１０は、キーボード、マウスなどの操作入力装置からなる。操作入力部３１０は、学習装置３００を操作する操作者の操作を検出して演算処理部３５０に出力する。

画面表示部３２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部３２０は、演算処理部３５０からの指示に応じて、記憶部３４０に格納されている各種情報などを画面表示することができる。

通信Ｉ／Ｆ部３３０は、データ通信回路などからなる。通信Ｉ／Ｆ部３３０は、通信回線を介して接続された外部装置との間でデータ通信を行う。

記憶部３４０は、ハードディスクやメモリなどの記憶装置である。記憶部３４０は、演算処理部３５０における各種処理に必要な処理情報やプログラム３４５を記憶する。プログラム３４５は、演算処理部３５０に読み込まれて実行されることにより各種処理部を実現する。プログラム３４５は、通信Ｉ／Ｆ部３３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部３４０に保存されている。記憶部３４０で記憶される主な情報としては、例えば、学習データ情報３４１、バリデーションデータ情報３４２、学習器情報３４３、係数情報３４４などがある。

学習データ情報３４１は、学習器である決定木を学習する際に用いる学習データを含んでいる。例えば、学習データ情報３４１は、通信Ｉ／Ｆ部３３０を介して外部装置から取得する、操作入力部３１０を用いて入力する、などの方法を用いて予め取得されており、記憶部３４０に格納されている。

図４は、学習データ情報３４１の一例を示している。図４を参照すると、学習データ情報３４１では、複数の特徴量と、ラベルと、が関連付けられている。例えば、図４で示す例では、特徴量（ｘ_１、ｘ_２、…、ｘ_ｄ）と、ラベルｙ_１と、が関連付けられている。図４で示すように、学習データ情報３４１には複数の学習データが含まれてよい。

バリデーションデータ情報３４２は、決定木の性能などを検証する際に用いるデータであるバリデーションデータを含んでいる。例えば、バリデーションデータ情報３４２は、通信Ｉ／Ｆ部３３０を介して外部装置から取得する、操作入力部３１０を用いて入力する、などの方法を用いて予め取得されており、記憶部３４０に格納されている。

図５は、バリデーションデータ情報３４２の一例を示している。図５を参照すると、バリデーションデータ情報３４２では、学習データ情報３４１と同様に、複数の特徴量と、ラベルと、が関連付けられている。例えば、図５で示す例では、特徴量（ｘ_１１、ｘ_１２、…、ｘ_１ｄ）と、ラベルｙ_１０と、が関連付けられている。図５で示すように、バリデーションデータ情報３４２には複数のバリデーションデータが含まれてよい。

学習器情報３４３は、他学習装置２００から受信した決定木や後述する結合部３５５が結合した結合決定木などを示す情報を含んでいる。例えば、学習器情報３４３では、決定木の送信元を示す識別情報などと決定木とが関連付けられている。学習器情報３４３には、ステップごとの、決定木や結合決定木が含まれてよい。例えば、学習器情報３４３は、後述する受信部３５１が他学習装置２００から決定木を受信すること、結合部３５５が結合決定木を生成すること、などに応じて更新される。

係数情報３４４は、他学習装置２００から受信した決定木や後述する学習部３５３が生成した決定木などの各決定木に対応する結合係数を含んでいる。例えば、係数情報３４４では、決定木の識別情報と結合係数とが関連付けられている。係数情報３４４には、ステップごと、決定木ごとの結合係数が含まれてよい。例えば、係数情報３４４は、後述する係数算出部３５４が結合係数を算出することなどに応じて更新される。

演算処理部３５０は、ＣＰＵ（Central Processing Unit）などの演算装置とその周辺回路を有する。演算処理部３５０は、記憶部３４０からプログラム３４５を読み込んで実行することにより、上記ハードウェアとプログラム３４５とを協働させて各種処理部を実現する。演算処理部３５０で実現される主な処理部としては、例えば、受信部３５１、特徴量追加算出部３５２、学習部３５３、係数算出部３５４、結合部３５５、推論部３５６、出力部３５７などがある。

受信部３５１は、他学習装置２００から学習器である決定木を受信する。例えば、受信部３５１は、各ステップにおいて、学習システム１００に含まれる各他学習装置２００から学習器を受信することができる。また、受信部３５１は、受信した決定木を学習器情報３４３として記憶部３４０に格納する。

なお、受信部３５１は、例えば、前ステップにおける決定木との間の差分を示す情報などを他学習装置２００から受信してもよい。この場合、受信部３５１は、受信した差分を示す情報に基づいて対応する決定木を更新するよう構成してもよい。

特徴量追加算出部３５２は、受信部３５１が受信した決定木と、学習データ情報３４１に含まれる学習データと、に基づいて、追加の学習データを算出する。例えば、特徴量追加算出部３５２は、受信部３５１が受信した決定木に対して学習データ情報３４１に含まれる各学習データを入力することで、学習器から出力を得る。特徴量追加算出部３５２は、上記出力を、追加の特徴量として取得することができる。

例えば、学習データ情報３４１に特徴量ｘ_ｉ、ラベルｙ_ｉを含む（ｘ_ｉ、ｙ_ｉ）という学習データが含まれるとする（iは任意でよい）。また、他学習装置２００からｆ_１（）、ｆ_２（）、…という決定木を受信したとする。この場合、特徴量追加算出部３５２は、各決定木に特徴量ｘｉを入力することで、ｆ_１（ｘ_ｉ）、ｆ_２（ｘ_ｉ）、…という追加の特徴量を算出する。その結果、後述する学習部３５３による学習対象となる学習データは、（ｘ_ｉ、ｆ_１（ｘ_ｉ）、ｆ_２（ｘ_ｉ）、…、ｙ_ｉ）となる。

例えば、特徴量追加算出部３５２は、上述したような処理を、決定木ごと、学習データごとに行うことができる。例えば、特徴量追加算出部３５２は、任意の方法で抽出した決定木ごとに、上記のような処理を行ってもよい。

学習部３５３は、特徴量追加算出部３５２が算出した特徴量と、学習データ情報３４１が示す学習データと、に基づく学習を行うことで、学習器である決定木を生成する。また、学習部３５３は、生成した決定木を学習器情報３４３として記憶部３４０に格納する。

例えば、上述したように、特徴量追加算出部３５２により追加の特徴量が算出されている。そこで、学習部３５３は、（ｘ_ｉ、ｆ_１（ｘ_ｉ）、ｆ_２（ｘ_ｉ）、…、ｙ_ｉ）などのように、追加の特徴量を含む学習データを用いて機械学習を行うことで、決定木を生成する。

なお、学習部３５３は、上述したように特徴量追加算出部３５２により算出された追加の特徴量をそのまま学習データに追加して機械学習を行ってもよいし、例えば、特徴量追加算出部３５２により算出された追加の特徴量を線形結合した結果などを学習データに追加して機械学習を行うよう構成してもよい。学習部３５３は、特徴量追加算出部３５２により算出された追加の特徴量と、追加の特徴量を線形結合した結果と、を共に学習データに追加して機械学習を行ってもよい。

係数算出部３５４は、バリデーションデータ情報３４２が示すバリデーションデータを用いて、結合係数を決定木ごとに算出する。例えば、係数算出部３５４は、バリデーションデータ情報３４２が示すバリデーションデータに対する予測性能が最適になるように、結合係数を算出する。係数算出部３５４は、受信部３５１が受信した決定木や学習部３５３が生成した決定木ごとに結合係数を算出することができる。また、係数算出部３５４は、算出した結合係数を係数情報３４４として記憶部３４０に格納する。

例えば、バリデーションデータ情報３４２に特徴量ｘ_{１ｉ 、}ラベルｙ_１ｉを含む（ｘ_１ｉ ,ｙ_１ｉ）というバリデーションデータが含まれるとする。また、他学習装置２００や学習部３５３によりｆ_１１（）、ｆ_１２（）、…という決定木を受信したり生成したりしたとする。この場合、まず、係数算出部３５４は、各決定木にバリデーションデータを入力することで出力を得る。例えば、係数算出部３５４は、バリデーションデータ（ｘ_１ｉ ,ｙ_１ｉ）を決定木ｆ_１１（）に入力することで出力ｕ_ｉを得る。また、係数算出部３５４は、バリデーションデータ（ｘ_１ｉ ,ｙ_１ｉ)を決定木ｆ_１２（）に入力することで出力ｖ_ｉを得る。そして、係数算出部３５４は、（ｕ_ｉ、ｖ_ｉ、ｙ_１ｉ）を使うことで、決定木ごとの結合係数を算出する。例えば、係数算出部３５４は、線形回帰を行うことなどにより、結合係数を算出してよい。例えば、係数算出部３５４は、バリデーションデータ（ｘ_１ｉ ,ｙ_１ｉ）と出力ｕ_ｉとを用いた線形回帰を行うことで決定木ｆ１１（）に対応する結合係数を決定してよい。

具体的には、例えば、係数算出部３５４は、バリデーションデータ（ｘ_１ｉ ,ｙ_１ｉ）とｕ_ｉ、ｖ_ｉを用いて、数１に対する線形回帰を行うことで、各決定木に対応する係数ａ_ｉを決定することができる。

なお、係数算出部３５４は、バリデーションデータ全体を用いて結合係数を算出してもよいし、バリデーションデータのうちの一部を用いて結合係数を算出してもよい。例えば、モデルの構造や分岐条件などの学習部３５３が生成した決定木についてのモデル情報を参照すると、各バリデーションデータが落ちる葉ノードを特定することができる。そこで、係数算出部３５４は、例えば、葉ノードごとのバリデーションデータを用いて線形回帰を行うことなどにより、葉ノードごとに結合係数を算出してもよい。葉ノードごとに結合係数を算出する場合も、葉ノードごとに結合させることで、上述した場合と同様に結合決定木を生成することができる。なお、係数算出部３５４がバリデーションデータ全体を用いて結合係数を算出する場合、決定木全体に対する結合係数を算出している、ということもできる。

また、係数算出部３５４は、上記例示した以外の方法を用いて結合係数を算出してもよい。例えば、係数算出部３５４は、バリデーションデータの代わりに学習データ情報３４１が示す学習データを用いて結合係数を算出してもよい。ただし、過度な偏りを抑制する、という観点からすると、学習データを用いるよりもバリデーションデータを用いて結合係数を算出する方が望ましい。係数算出部３５４は、その他任意の方法で結合係数を算出してもよい。

結合部３５５は、係数算出部３５４が算出した結合係数を用いて、受信部３５１が受信した決定木や学習部３５３が生成した決定木と、学習器情報３４３に含まれる１ステップ前の結合決定木とを結合することで、新たな結合決定木を生成する。また、結合部３５５は新たに生成した結合決定木を学習器情報３４３として記憶部３４０に格納する。

例えば、結合部３５５は、下記数２を解くことにより結合係数を用いた結合を行う。
ここで、ｆ^{（ｔ－１）}が１ステップ前の結合決定木を示しており、ｆ^（ｔ）が新たに生成される結合決定木を示している。また、ａ_ｋが結合係数を示しており、ｆ_ｋは受信部３５１が受信した決定木や学習部３５３が生成した決定木を示す。ｋは、例えば、学習システム１００に含まれる他学習装置２００や学習装置３００の数に応じた値となる。

推論部３５６は、結合決定木を用いた推論を行う。例えば、推論部３５６は、最新の結合決定木を用いて推論を行うことができる。

なお、数３で示すように、最新の結合決定木ｆ_{ｆｉｎａｌ}（）には、過去のステップで受信したり生成したりした決定木や結合係数などが含まれる。そのため、推論部３５６は、過去のステップで生成した決定木や結合係数なども用いて推論を行う、ということもできる。
なお、ｆｔ（）は数４で示すように、tステップ目にモデルに追加される項であり、それぞれの参加者の作った決定木ｆ_ｋ（）の線形和となる。
なお、数５は、tステップ目にk番目の参加者の作った決定木の係数を示す。

出力部３５７は、決定木や結合決定木の出力を行ったり、推論部３５６による推論結果の出力を行ったりする。

例えば、出力部３５７は、学習部３５３が生成した決定木や結合部３５５が生成した結合決定木などを、通信Ｉ／Ｆ部３３０を介して他学習装置２００などの外部装置に対して送信することができる。出力部３５７は、学習部３５３や結合部３５５による処理の後など、任意のタイミングで出力を行ってよい。

また、出力部３５７は、推論部３５６による推論の結果を画面表示部３２０上に表示させたり、通信Ｉ／Ｆ部３３０を介して外部装置へと送信したりすることができる。

以上が、学習装置３００の構成例である。なお、図６は、非特許文献１に記載されている、回帰タスクを扱う場合における学習システム１００のアルゴリズム例を示している。図６で示す例では、他学習装置２００や学習装置３００などの参加者がＫ組学習システム１００に含まれる場合について例示している。図６で例示するように、学習システム１００では、各参加者が生成した決定木ｆ_ｋ（）などを、結合係数ａを用いて結合している。ここで、上述したように、結合係数ａは、バリデーションデータに対する予測性能が最適になるように算出されている。そのため、結合係数ａを用いた結合を行うことで、性能を高めつつ、かつ、バリデーションデータを有する学習装置３００により適した形で結合決定木を生成することができる。

なお、図６で示す例では、回帰タスクを扱う場合における学習システム１００のアルゴリズム例を例示しているが、回帰タスクの代わりに分類タスクを扱う場合であっても、回帰タスクの場合と同様に、結合係数ａを用いた結合を行う。そのため、分類タスクを扱う場合であっても、回帰タスクの場合と同様に、結合係数ａを用いた結合を行うことで、性能を高めつつ、かつ、バリデーションデータを有する学習装置３００により適した形で結合決定木を生成することができる。例えば、非特許文献１には、図７で示すような分類タスクを扱う場合におけるアルゴリズム例が記載されている。図７を参照すると、分類タスクを扱う場合であっても、回帰タスクの場合と同様に、結合係数ａを用いた結合を行っていることが分かる。

続いて、図８を参照して、学習装置３００の動作例について説明する。図８は、学習装置３００の動作例を示すフローチャートである。図８を参照すると、受信部３５１は、他学習装置２００から学習器である決定木を受信する（ステップＳ１０１）。

特徴量追加算出部３５２は、受信部３５１が受信した決定木と、学習データ情報３４１に含まれる学習データと、に基づいて、追加の学習データを算出する（ステップＳ１０２）。例えば、特徴量追加算出部３５２は、受信部３５１が受信した決定木に対して学習データ情報３４１に含まれる各学習データを入力することで、学習器から出力を得る。特徴量追加算出部３５２は、上記出力を、追加の特徴量として取得することができる。

学習部３５３は、特徴量追加算出部３５２が算出した特徴量と、学習データ情報３４１が示す学習データと、に基づく学習を行うことで、学習器である決定木を生成する（ステップＳ１０３）。つまり、学習部３５３は、学習データ情報３４１が示す学習データに特徴量追加算出部３５２が算出した特徴量を加えて学習を行うことで、決定木を生成する。

係数算出部３５４は、バリデーションデータ情報３４２が示すバリデーションデータを用いて、結合係数を決定木ごとに算出する（ステップＳ１０４）。例えば、係数算出部３５４は、バリデーションデータ情報３４２が示すバリデーションデータに対する予測性能が最適になるように、結合係数を算出する。係数算出部３５４は、受信部３５１が受信した決定木や学習部３５３が生成した決定木ごとに結合係数を算出することができる。

結合部３５５は、係数算出部３５４が算出した結合係数を用いて、受信部３５１が受信した決定木や学習部３５３が生成した決定木と、学習器情報３４３に含まれる１ステップ前の結合決定木とを結合することで、新たな結合決定木を生成する（ステップＳ１０５）。

以上が、学習装置３００の動作例である。

このように、学習装置３００は、特徴量追加算出部３５２と学習部３５３とを有している。このような構成によると、学習部３５３は、特徴量追加算出部３５２が算出した特徴量を加えた学習データを用いた学習を行うことにより学習器である決定木を生成することができる。その結果、他学習装置２００による学習の成果も取り込んだ形で決定木を生成することができる。これにより、性能を高めつつ、自装置が有するデータにより適した学習器である決定木を生成することができる。

また、学習装置３００は、係数算出部３５４と結合部３５５とを有している。このような構成によると、結合部３５５は、係数算出部３５４が算出し結合係数を用いて、各決定木を算出することができる。上述したように、結合係数は、バリデーションデータに対する予測性能が最適になるように、結合係数を算出する。そのため、上記結合係数を用いて各決定木を結合することで、性能を高めつつ、バリデーションデータを有する学習装置３００により適した学習器である決定木を生成することができる。

なお、本実施形態においては、学習装置３００が特徴量追加算出部３５２と係数算出部３５４とをともに有する場合について例示した。しかしながら、学習装置３００は、特徴量追加算出部３５２と係数算出部３５４とのうちのいずれか一つのみを有してもよい。

例えば、学習装置３００が特徴量追加算出部３５２を有さない場合、学習部３５３は、学習データ情報３４１に含まれる学習データに基づく学習を行って決定木を生成する。このような場合であっても、上述したように、バリデーションデータに対する予測性能が最適になるように結合係数を算出するため、結合係数を用いて各決定木を結合することで、性能を高めつつ、バリデーションデータを有する学習装置３００により適した学習器である決定木を生成することができる。

また、例えば、学習装置３００が係数算出部３５４を有さない場合、結合部３５５は、他学習装置２００による学習の成果も取り込んだ形で生成される決定木と、１ステップ前の結合決定木とを結合する。その結果、性能を高めつつ、自装置が有するデータにより適した学習器である決定木を生成することができる。なお、学習装置３００が係数算出部３５４を有さない場合、結合部３５５は、結合係数を用いずに生成した決定木と１ステップ前の結合決定木とを結合してよい。

また、上述したように、本実施形態においては、学習器として決定木を用いる場合について説明した。しかしながら、本発明の対象となる学習器は、決定木に限定されない。例えば、学習器は、浅いニューラルネットやサポートベクターマシンなどであってもよい。もちろん、最終的に生成される学習器も、上記各学習器に応じたものであってよい。例えば、学習器として決定木を用いた場合、最終的に生成される結合決定木はＧＢＤＴ（Gradient Boosting Decision Tree）モデルになる。また、学習器としてニューラルネットを用いた場合、最終的に生成されるモデルは勾配ブースティングニューラルネットとなる。

［第２の実施形態］
次に、本開示の第２の実施形態について、図９から図１１までを参照して説明する。図９は、学習装置４００のハードウェア構成例を示す図である。図１０は、学習装置４００の構成例を示すブロック図である。図１１は、推論装置５００の構成例を示すブロック図である。

本開示の第２の実施形態においては、他装置から学習器を受け取って、自身のデータに対して最適な予測を行うように学習器を結合する情報処理装置である学習装置４００の構成例について説明する。図９は、学習装置４００のハードウェア構成例を示している。図９を参照すると、学習装置４００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３（記憶装置）
・ＲＡＭ４０３にロードされるプログラム群４０４
・プログラム群４０４を格納する記憶装置４０５
・情報処理装置外部の記録媒体４１０の読み書きを行うドライブ装置４０６
・情報処理装置外部の通信ネットワーク４１１と接続する通信インタフェース４０７
・データの入出力を行う入出力インタフェース４０８
・各構成要素を接続するバス４０９

また、学習装置４００は、プログラム群４０４をＣＰＵ４０１が取得して当該ＣＰＵ４０１が実行することで、図１０に示す受信部４２１、生成部４２２としての機能を実現することができる。なお、プログラム群４０４は、例えば、予め記憶装置４０５やＲＯＭ４０２に格納されており、必要に応じてＣＰＵ４０１がＲＡＭ４０３などにロードして実行する。また、プログラム群４０４は、通信ネットワーク４１１を介してＣＰＵ４０１に供給されてもよいし、予め記録媒体４１０に格納されており、ドライブ装置４０６が該プログラムを読み出してＣＰＵ４０１に供給してもよい。

なお、図９は、学習装置４００のハードウェア構成例を示している。学習装置４００のハードウェア構成は上述した場合に限定されない。例えば、学習装置４００は、ドライブ装置４０６を有さないなど、上述した構成の一部から構成されてもよい。

受信部４２１は、他の学習装置から学習器を受信する。

生成部４２２は、受信部４２１が受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する。例えば、生成部４２２は、自装置が有するデータを用いて算出した結合係数を用いて受信部４２１が受信した学習器を結合することで、自装置が有するデータに適した予測を行うように適切化学習器を生成する。または、生成部４２２は、受信部が受信した学習器を用いて算出される追加の特徴量を追加した学習データを用いて学習器を生成することで、適切化学習器を生成する。例えば、生成部４２２は、上記例示した方法のいずれか、または、その組み合わせを行うことで、適切化学習器を生成することができる。

このように、学習装置４００は、受信部４２１と生成部４２２とを有している。このような構成によると、生成部４２２は、受信部４２１が受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成することができる。その結果、性能を高めつつ、自装置が有するデータにより適した学習器を生成することができる。

なお、上述した学習装置４００は、当該学習装置４００などの情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、学習装置４００などの情報処理装置に他の学習装置から学習器を受信し、受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する、処理を実現するためのプログラムである。

また、上述した学習装置４００などの情報処理装置により実行される学習方法は、学習装置４００などの情報処理装置が、他の学習装置から学習器を受信し、受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する、という方法である。

上述した構成を有する、プログラム、又は、プログラムを記録したコンピュータが読み取り可能な記録媒体、又は、学習方法、の発明であっても、上述した学習装置４００と同様の作用・効果を奏するために、上述した本開示の目的を達成することができる。

また、上述した学習装置４００などが生成した適切化学習器を用いた推論を行う推論装置５００などであっても、同様に本開示の目的を達成することが出来る。例えば、推論装置５００は、図１１で示すように、他の学習装置から受信した学習器と、自装置が有するデータを用いて自装置が有するデータに適した予測を行うように算出された結合係数と、を記憶する記憶装置５２１と、特徴量の入力に応じて、記憶装置が記憶する学習器と結合係数とを用いた推論を行う推論部５２２と、を有する。なお、推論装置５００のハードウェア構成は学習装置４００と同様であってよい。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における学習装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
他の学習装置から学習器を受信する受信部と、
前記受信部が受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する生成部と、
を有する
学習装置。
（付記２）
付記１に記載の学習装置であって、
自装置が有するデータを用いて、データに適した予測を行うように結合係数を算出する算出部を有し、
前記生成部は、前記算出部が算出した結合係数を用いて前記受信部が受信した学習器を結合することで、自装置が有するデータに適した予測を行うように前記適切化学習器を生成する
学習装置。
（付記３）
付記２に記載の学習装置であって、
前記算出部は、自装置が有するデータを学習器に入力した結果を用いた線形回帰を行うことで、データに適した予測を行うように結合係数を算出する
学習装置。
（付記４）
付記２または付記３に記載の学習装置であって、
前記算出部は、検証用のデータであるバリデーションデータを用いて前記結合係数を算出する
学習装置。
（付記５）
付記２から付記４までのうちのいずれか１項に記載の学習装置であって、
前記算出部は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
学習装置。
（付記６）
付記１から付記５までのうちのいずれか１項に記載の学習装置であって、
前記受信部が受信した学習器と、学習データと、を用いて追加の特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量を前記学習データに加えて学習することで学習器を生成する学習部と、
を有し、
前記生成部は、前記学習部が生成した学習器を用いて、前記適切化学習器を生成する
学習装置。
（付記７）
付記６に記載の学習装置であって、
自装置が有するデータを用いて前記受信部が受信した学習器に対応する結合係数を算出する算出部を有し、
前記生成部は、前記算出部が算出した結合係数を用いて前記受信部が受信した学習器と前記学習部が生成した学習器とを結合することで、前記適切化学習器を生成する
学習装置。
（付記８）
情報処理装置が、
他の学習装置から学習器を受信し、
受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する
学習方法。
（付記９）
情報処理装置に、
他の学習装置から学習器を受信し、
受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する
処理を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
（付記１０）
特徴量の入力に対してラベルを推論する推論装置であって、
他の学習装置から受信した学習器と、自装置が有するデータを用いて自装置が有するデータに適した予測を行うように算出された結合係数と、を記憶する記憶装置と、
特徴量の入力に応じて、前記記憶装置が記憶する学習器と結合係数とを用いた推論を行う推論部と、
を有する
推論装置。

以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１００ 学習システム
２００ 他学習装置
３００ 学習装置
３１０ 操作入力部
３２０ 画面表示部
３３０ 通信I／F部
３４０ 記憶部
３４１ 学習データ情報
３４２ バリデーションデータ情報
３４３ 学習器情報
３４４ 係数情報
３４５ プログラム
３５０ 演算処理部
３５１ 受信部
３５２ 特徴量追加算出部
３５３ 学習部
３５４ 係数算出部
３５５ 結合部
３５６ 推論部
３５７ 出力部
４００ 学習装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０３ ＲＡＭ
４０４ プログラム群
４０５ 記憶装置
４０６ ドライブ装置
４０７ 通信インタフェース
４０８ 入出力インタフェース
４０９ バス
４１０ 記録媒体
４１１ 通信ネットワーク
４２１ 受信部
４２２ 生成部
５００ 推論装置
５２１ 記憶装置
５２２ 推論部

Claims (8)

1. 他の学習装置から学習器を受信する受信部と、
   前記受信部が受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する生成部と、
   自装置が有するデータを用いて、データに適した予測を行うように結合係数を算出する算出部と、
   を有し、
   前記生成部は、前記算出部が算出した結合係数を用いて前記受信部が受信した学習器を結合することで、自装置が有するデータに適した予測を行うように前記適切化学習器を生成し、
   前記算出部は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
   学習装置。
2. 請求項１に記載の学習装置であって、
   前記算出部は、自装置が有するデータを学習器に入力した結果を用いた線形回帰を行うことで、データに適した予測を行うように結合係数を算出する
   学習装置。
3. 請求項１または請求項２に記載の学習装置であって、
   前記算出部は、検証用のデータであるバリデーションデータを用いて前記結合係数を算出する
   学習装置。
4. 請求項１から請求項３までのうちのいずれか１項に記載の学習装置であって、
   前記受信部が受信した学習器と、学習データと、を用いて追加の特徴量を算出する特徴量算出部と、
   前記特徴量算出部が算出した特徴量を前記学習データに加えて学習することで学習器を生成する学習部と、
   を有し、
   前記生成部は、前記学習部が生成した学習器を用いて、前記適切化学習器を生成する
   学習装置。
5. 請求項４に記載の学習装置であって、
   自装置が有するデータを用いて前記受信部が受信した学習器に対応する結合係数を算出する算出部を有し、
   前記生成部は、前記算出部が算出した結合係数を用いて前記受信部が受信した学習器と前記学習部が生成した学習器とを結合することで、前記適切化学習器を生成する
   学習装置。
6. 情報処理装置が、
   他の学習装置から学習器を受信し、
   受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成し、
   適切化学習器を生成する際、自装置が有するデータを用いて、データに適した予測を行うように結合係数を算出し、算出した結合係数を用いて受信した学習器を結合することで、自装置が有するデータに適した予測を行うように前記適切化学習器を生成し、
   前記結合係数を算出する際は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
   学習方法。
7. 情報処理装置に、
   他の学習装置から学習器を受信し、
   受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する
   処理を実現させ、
   適切化学習器を生成する際、自装置が有するデータを用いて、データに適した予測を行うように結合係数を算出し、算出した結合係数を用いて受信した学習器を結合することで、自装置が有するデータに適した予測を行うように前記適切化学習器を生成し、
   前記結合係数を算出する際は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
   プログラム。
8. 他の学習装置から学習器を受信する受信部と、
   前記受信部が受信した学習器と、自装置が有するデータと、を用いて、自装置が有するデータに適した予測を行うように適切化学習器を生成する生成部と、
   前記受信部が受信した学習器と、学習データと、を用いて追加の特徴量を算出する特徴量算出部と、
   前記特徴量算出部が算出した特徴量を前記学習データに加えて学習することで学習器を生成する学習部と、
   を有し、
   前記生成部は、前記学習部が生成した学習器を用いて、前記適切化学習器を生成する
   学習装置。