JPH0318965A - ニューラルネットにおける学習方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ この発明はニューラルネットにおける学習方法に関し、
特に、パターン認識で必要とされる複雑なデータを認識
するのに有効な学習方式に関する。

［従来の技術および発明が解決しようとする課ｍ］従来
、多層バーセブトロン型ニューラルネットにおいてバッ
クプロパゲーション学習則を用いて学習を行なわせる場
合、パターン認識など、学習させるデータが複雑なもの
になるほど学習が困難になり、カテゴリの本質的な特徴
を抽出しにくくなる。各データに固有の特徴を学習して
しまう結果、学習の収束が遅く、泥化能力（未学習デー
タを正しく認識する能力）が低下するという問題点があ
った。

それゆえに、この発明の主たる目的は、バックプロパゲ
ーション学習則で学習させるデータとして、各カテゴリ
の本質的な特徴を与え、各データに固有の特徴を取除く
ことにより、泥化能力を高め、学習の高速な収束を促す
ニューラルネットにおける学習方式を提供することであ
る。

［課題を解決するための手段］ この発明は多層パーセプトロン型ニューラルネットにお
いてバックプロパゲーション学習則を用いて学習を行な
うニューラルネットにおける学習方式であって、学習デ
ータのカテゴリごとにＮ。

個のデータから平均データを作り、初期学習を行なわせ
ることによって、カテゴリごとの特徴を最初に学習させ
、学習を十分に行なわせた後、学習データのカテゴリご
とにＮ２　（Ｎ、＞Ｎ２）個のデータから平均データを
作って学習を行なわせ、以下Ｎｉ＝１になるまで平均デ
ータでの学習を行なわせることにより、カテゴリごとの
あるいは各カテゴリのデータの部分集合ごとの本質的な
特徴をニューラルネットに学習させ、各データ固有の特
徴を学習させないようにするものである。

［作用］ この発明にかかるニューラルネットにおける学習方式は
、初期学習に少数の平均学習データを用いて学習させ、
各データ固有の特徴を学習させないようにすることによ
り、泥化能力を高め、学習の高速な収束を促すものであ
る。

［発明の実施例］ 第１図はこの発明が適用される多層バーセプトロン型ニ
ューラルネットを示す図である。第１図を参照して、ニ
ューラルネットは入力層２と中間層３と出力層４とを含
み、それぞれはコネクション１によって接続されている
。入力層２には学習させるデータが入力され、バックプ
ロパゲーション学習則によりコネクション１の重みを変
えて学習が行なわれる。

第２図は複数の学習データから平均データを構成する様
子を示す図であり、第３図は従来の学習方式とこの発明
の学習方式の解空間の複雑さを比べるための概念図であ
り、第４図は従来の方式とこの発明による方式による泥
化能力を比較して示す概念図である。

この発明による学習方式では、バックプロパゲーション
学習則によりコネクション１の重みを変えていく学習を
行なう際に、第２図（ａ）に示すように、学習開始前に
各カテゴリごとにＮ７個の学習データ５から平均値６を
求め、新しい学習データとして学習を開始する。この学
習データによる学習を十分に行なわせた後、第２図（ｂ
）に示すように、各カテゴリごとにＮ２個の学習データ
７から平均値８を求め、新しい学習データとして学習を
継続させる。ただし、Ｎ、＞Ｎ２である。

以後、必要な回数だけこの操作を繰返し、Ｎ１−１、す
なわちもとのデータで学習を行なわせたところでこの発
明の方式による学習が終了する。

従来の学習方式では、複雑なデータを学習させる際に、
第３図（ａ）に示すような複雑な解空間において、最終
的に求める解（最深部）を求めるために、最急降下法を
用いて探査を行なう。このとき、複雑な空間の探査はど
ローカル　Ｅニマム（局所的極小値）解９が多数存在す
るため、解を求めるためのステップ数が増大する。これ
に対して、この発明による方式では、第３図（ｂ）に示
すように、平均学習データによって作られた滑らかな解
空間の探査を行なうため、ローカル・ミニマム解９が少
なく、そのため目的の解を求めるためのステップ数が少
なくてすむ。つまり、学習が高速に収束する。

また、第４図（ａ）に示すように、学習データの理想的
な特徴１０を得ることを目標として学習を行なわせるの
に、従来の方式では各データ固有の特徴を含んだ特徴１
１を得ることになり、汎化能力欠ける。なぜならば、複
雑な学習データにおいて、抽出すべき特徴は、その学習
データの属するカテゴリの本質的特徴、学習データの部
分集合に共通な特徴、各学習データ固有の特徴など複数
あり、理想的には本質的な特徴、共通点の多い特徴など
を抽出した後、固Ｈの特徴を抽出すべきであるが、従来
の方式のように、最初から学習データそのもので学習を
行なわせると、特に学習データの変動が大きい場合、本
質的な特徴や共通点の多い特徴を学習する前に、固有の
特徴を学習してしまうことになるからである。この場合
、学習した特徴は、同一カテゴリにおける他のデータの
特徴との関係は少なく、したがって未学習データの認識
が難しくなる。

これに対して、この発明による方式では、第４図（ｂ）
に示すように、Ｎ４個のデータに共通の特徴１２と、Ｎ
２個のデータに共通の特徴１３とＮ、の値に応じた特徴
を得ることができる。すなわち、学習すべきデータの属
するカテゴリの本質的な特徴や、学習データの部分集合
に共通した特徴から先に学習し、最後に元データで学習
を行なう。つまり、基本特徴を抽出し終えた後に、固有
の特徴を学習するので、最終的に特徴１０に近づき、し
たがって泥化能力が高くなる。

［発明の効果］ 以上のように、この発明によれば、多層パーセプトロン
型ニューラルネットをパックプロパゲーション学習則で
複雑なデータを学習させる際に、データの持つ本質的な
特徴から学習をさせることができるため、高速でかつ泥
化能力の高い学習を行なわせることができる。

【図面の簡単な説明】

第１図は多層バーセブトロン型ニューラルネットの一例
としての多層ニューラルネットを示す図である。第２図
は複数の学習データから平均データを構成する様子を示
す図である。第３図は従来の学習方式とこの発明による
学習方式での解空間の複雑さを比べるための概念図であ
る。第４図は従来の方式とこの発明による方式における
泥化能力を比較して示した概念図である。 図において、１はコネクション、２は入力層、３は中間
層、４は出力層、５はＮ、個のデータ、６はＮ３個のデ
ータからの平均データ、７はＮ２個のデータ、８はＮ２
個のデータからの平均データ、９は最急降下法で解を求
める際のローカル・ミニマム解、１０は学習データの理
想的な特徴、１１は各データ固有の特徴、１２はＮ１個
のデータに共通の特徴、１３はＮ２個のデータに共通の
特徴を示す。 第１図 第２ 図 第３図 Ｃａ） （ｂ）

Claims (1)

1. 【特許請求の範囲】 多層パーセプトロン型ニューラルネットにおいてバック
   プロパゲーション学習則を用いて学習を行なうニューラ
   ルネットにおける学習方式であって、 学習を行なわせようとする際、学習データのカテゴリご
   とにＮ＿１個のデータから平均データを作り、初期学習
   を行なわせることによって、カテゴリごとの特徴を最初
   に学習させ、学習を十分に行なわせた後、学習データの
   カテゴリごとにＮ＿２（Ｎ＿１＞Ｎ＿２）個のデータか
   ら平均データを作って学習を行なわせ、以下Ｎ＿ｉ＝１
   になるまで平均データでの学習を行なわせることにより
   、カテゴリごとのあるいは各カテゴリのデータの部分集
   合ごとの本質的な特徴をニューラルネットに学習させ、
   各データ固有の特徴を学習させないようにしたことを特
   徴とする、ニューラルネットにおける学習方式。