JPH07117949B2 - ニューラルネットにおける学習方法 - Google Patents
ニューラルネットにおける学習方法Info
- Publication number
- JPH07117949B2 JPH07117949B2 JP1153250A JP15325089A JPH07117949B2 JP H07117949 B2 JPH07117949 B2 JP H07117949B2 JP 1153250 A JP1153250 A JP 1153250A JP 15325089 A JP15325089 A JP 15325089A JP H07117949 B2 JPH07117949 B2 JP H07117949B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- neural network
- category
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 21
- 238000000034 method Methods 0.000 title claims description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】 ［産業上の利用分野］ この発明はニューラルネットにおける学習方法に関し、
特に、パターン認識で必要とされる複雑なデータを認識
するのに有効な学習方法に関する。
特に、パターン認識で必要とされる複雑なデータを認識
するのに有効な学習方法に関する。
［従来の技術および発明が解決しようとする課題］ 従来、多層パーセプトロン型ニューラルネットにおいて
バックプロパゲーション学習則を用いて学習を行なわせ
る場合、パターン認識など、学習させるデータが複雑な
ものになるほど学習が困難になり、カテゴリの本質的な
特徴を抽出しにくくなる。各データに固有の特徴を学習
してしまう結果、学習の収束が遅く、汎化能力（未学習
データを正しく認識する能力）が低下するという問題点
があった。
バックプロパゲーション学習則を用いて学習を行なわせ
る場合、パターン認識など、学習させるデータが複雑な
ものになるほど学習が困難になり、カテゴリの本質的な
特徴を抽出しにくくなる。各データに固有の特徴を学習
してしまう結果、学習の収束が遅く、汎化能力（未学習
データを正しく認識する能力）が低下するという問題点
があった。
それゆえに、この発明の主たる目的は、バックプロパゲ
ーション学習則で学習させるデータとして、各カテゴリ
の本質的な特徴を与え、各データに固有の特徴を取除く
ことにより、汎化能力を高め、学習の高速な収束を促す
ニューラルネットにおける学習方法を提供することであ
る。
ーション学習則で学習させるデータとして、各カテゴリ
の本質的な特徴を与え、各データに固有の特徴を取除く
ことにより、汎化能力を高め、学習の高速な収束を促す
ニューラルネットにおける学習方法を提供することであ
る。
［課題を解決するための手段］ この発明は多層バーセプトロン型ニューラルネットにお
いてバックプロパゲーション学習則を用いて学習を行な
うニューラルネットにおける学習方法であって、学習デ
ータのカテゴリごとにN1個のデータから平均データを作
り、共通の特徴を得るために初期学習を行なわせること
によって、カテゴリごとの特徴を最初に学習させ、学習
を十分に行なわせた後、学習データのカテゴリごとにN2
（N1＞N2）個のデータから平均データを作って学習を行
なわせ、以下Ni＝１になるまで平均データでの学習を行
なわせることにより、カテゴリごとのあるいは各カテゴ
リのデータの部分集合ごとの本質的な特徴をニューラル
ネットに学習させ、各データ固有の特徴を学習させない
ようにするものである。
いてバックプロパゲーション学習則を用いて学習を行な
うニューラルネットにおける学習方法であって、学習デ
ータのカテゴリごとにN1個のデータから平均データを作
り、共通の特徴を得るために初期学習を行なわせること
によって、カテゴリごとの特徴を最初に学習させ、学習
を十分に行なわせた後、学習データのカテゴリごとにN2
（N1＞N2）個のデータから平均データを作って学習を行
なわせ、以下Ni＝１になるまで平均データでの学習を行
なわせることにより、カテゴリごとのあるいは各カテゴ
リのデータの部分集合ごとの本質的な特徴をニューラル
ネットに学習させ、各データ固有の特徴を学習させない
ようにするものである。
［作用］ この発明にかかるニューラルネットにおける学習方法
は、初期学習に少数の平均学習データを用いて学習さ
せ、各データ固有の特徴を学習させないようにすること
により、汎化能力を高め、学習の高速な収束を促すもの
である。
は、初期学習に少数の平均学習データを用いて学習さ
せ、各データ固有の特徴を学習させないようにすること
により、汎化能力を高め、学習の高速な収束を促すもの
である。
［発明の実施例］ 第１図はこの発明が適用される多層パーセプトロン型ニ
ューラルネットを示す図である。第１図を参照して、ニ
ューラルネットは入力層２と中間層３と出力層４とを含
み、それぞれはコネクション１によって接続されてい
る。入力層２には学習させるデータが入力され、バック
プロパゲーション学習則によりコネクション１の重みを
変えて学習が行なわれる。
ューラルネットを示す図である。第１図を参照して、ニ
ューラルネットは入力層２と中間層３と出力層４とを含
み、それぞれはコネクション１によって接続されてい
る。入力層２には学習させるデータが入力され、バック
プロパゲーション学習則によりコネクション１の重みを
変えて学習が行なわれる。
第２図は複数の学習データから平均データを構成する様
子を示す図であり、第３図は従来の学習方式とこの発明
の学習方式の解空間の複雑さを比べるための概念図であ
り、第４図は従来の方式とこの発明による方式による汎
化能力を比較して示す概念図である。
子を示す図であり、第３図は従来の学習方式とこの発明
の学習方式の解空間の複雑さを比べるための概念図であ
り、第４図は従来の方式とこの発明による方式による汎
化能力を比較して示す概念図である。
この発明による学習方法は、予め定義されたカテゴリに
対して、提示された未知データがいずれのカテゴリに属
するかを推定するというクラスタリングを行ない、いず
れのカテゴルに属するかがわかっているデータを用い
て、ニューラルネットの学習を行なう。そして、そのと
きのデータを学習データと称する。たとえば、10種類の
カテゴリに対するクラスタリングを、ニューラルネット
に学習させるために、各カテゴリに、100個の学習デー
タ（したがって、全部で1000個の学習データ）を使うも
のとする。このとき、それぞれ同一カテゴリに属する10
0個の学習データの平均値を使って、10種類のカテゴリ
／各カテゴリごとに１個の学習データ（全部で10個の学
習データ）でニューラルネットを学習させると、その学
習済みニューラルネットは元の学習データ（全部で1000
個）に対しても、ある程度認識能力を有しており、元の
学習データ1000個を使って、同じ認識率になるまで学習
させるよりは、はるかに高速に学習が行なわれる。次
に、各カテゴリに属する100個の学習データを、たとえ
ば20個ずつの平均値を算出し、新たな10種類のカテゴリ
／各カテゴリごとに５個の学習データ（全部で50個の学
習データ）でニューラルネットの学習を続行させる。同
様にして、たとえば10個ずつの平均値、５個ずつの平均
値…最終的には元の学習データで学習を行なわせる。
対して、提示された未知データがいずれのカテゴリに属
するかを推定するというクラスタリングを行ない、いず
れのカテゴルに属するかがわかっているデータを用い
て、ニューラルネットの学習を行なう。そして、そのと
きのデータを学習データと称する。たとえば、10種類の
カテゴリに対するクラスタリングを、ニューラルネット
に学習させるために、各カテゴリに、100個の学習デー
タ（したがって、全部で1000個の学習データ）を使うも
のとする。このとき、それぞれ同一カテゴリに属する10
0個の学習データの平均値を使って、10種類のカテゴリ
／各カテゴリごとに１個の学習データ（全部で10個の学
習データ）でニューラルネットを学習させると、その学
習済みニューラルネットは元の学習データ（全部で1000
個）に対しても、ある程度認識能力を有しており、元の
学習データ1000個を使って、同じ認識率になるまで学習
させるよりは、はるかに高速に学習が行なわれる。次
に、各カテゴリに属する100個の学習データを、たとえ
ば20個ずつの平均値を算出し、新たな10種類のカテゴリ
／各カテゴリごとに５個の学習データ（全部で50個の学
習データ）でニューラルネットの学習を続行させる。同
様にして、たとえば10個ずつの平均値、５個ずつの平均
値…最終的には元の学習データで学習を行なわせる。
次いで、第２図ないし第４図を参照して、この発明の１
実施例について説明する。
実施例について説明する。
バックプロパゲーション学習則によりコネクション１の
重みを変えていく学習を行なう際に、第２図（ａ）に示
すように、学習開始前に各カテゴリごとにN1個の学習デ
ータ５から平均値６を求め、新しい学習データとして学
習を開始する。この学習データによる学習を十分に行な
わせた後、第２図（ｂ）に示すように、各カテゴリごと
にN2個の学習データ７から平均値８を求め、新しい学習
データとして学習を継続させる。ただし、N1＞N2であ
る。以後、必要な回数だけこの操作を繰返し、Ni＝１、
すなわちもとのデータで学習を行なわせたところでこの
発明の方式による学習が終了する。
重みを変えていく学習を行なう際に、第２図（ａ）に示
すように、学習開始前に各カテゴリごとにN1個の学習デ
ータ５から平均値６を求め、新しい学習データとして学
習を開始する。この学習データによる学習を十分に行な
わせた後、第２図（ｂ）に示すように、各カテゴリごと
にN2個の学習データ７から平均値８を求め、新しい学習
データとして学習を継続させる。ただし、N1＞N2であ
る。以後、必要な回数だけこの操作を繰返し、Ni＝１、
すなわちもとのデータで学習を行なわせたところでこの
発明の方式による学習が終了する。
従来の学習方式では、複雑なデータを学習させる際に、
第３図（ａ）に示すような複雑な解空間において、最終
的に求める解（最深部）を求めるために、最急降下法を
用いて探査を行なう。このとき、複雑な空間の探査ほど
ローカル・ミニマム（局所的極小値）解９が多数存在す
るため、解を求めるためのステップ数が増大する。これ
に対して、この発明による方式では、第３図（ｂ）に示
すように、平均学習データによって作られた滑らかな解
空間の探査を行なうため、ローカル・ミニマム解９が少
なく、そのため目的の解を求めるためのステップ数が少
なくてすむ。つまり、学習が高速に収束する。
第３図（ａ）に示すような複雑な解空間において、最終
的に求める解（最深部）を求めるために、最急降下法を
用いて探査を行なう。このとき、複雑な空間の探査ほど
ローカル・ミニマム（局所的極小値）解９が多数存在す
るため、解を求めるためのステップ数が増大する。これ
に対して、この発明による方式では、第３図（ｂ）に示
すように、平均学習データによって作られた滑らかな解
空間の探査を行なうため、ローカル・ミニマム解９が少
なく、そのため目的の解を求めるためのステップ数が少
なくてすむ。つまり、学習が高速に収束する。
また、第４図（ａ）に示すように、学習データの理想的
な特徴10を得ることを目標として学習を行なわせるの
に、従来の方式では各データ固有の特徴を含んだ特徴11
を得ることになり、汎化能力欠ける。なぜならば、複雑
な学習データにおいて、抽出すべき特徴は、その学習デ
ータの属するカテゴリの本質的特徴、学習データの部分
集合に共通な特徴、各学習データ固有の特徴など複数あ
り、理想的には本質的な特徴，共通点の多い特徴などを
抽出した後、固有の特徴を抽出すべきであるが、従来の
方式のように、最初から学習データそのもので学習を行
なわせると、特に学習データの変動が大きい場合、本質
的な特徴や共通点の多い特徴を学習する前に、固有の特
徴を学習してしまうことになるからである。この場合、
学習した特徴は、同一カテゴリにおける他のデータの特
徴との関係は少なく、したがって未学習データの認識が
難しくなる。
な特徴10を得ることを目標として学習を行なわせるの
に、従来の方式では各データ固有の特徴を含んだ特徴11
を得ることになり、汎化能力欠ける。なぜならば、複雑
な学習データにおいて、抽出すべき特徴は、その学習デ
ータの属するカテゴリの本質的特徴、学習データの部分
集合に共通な特徴、各学習データ固有の特徴など複数あ
り、理想的には本質的な特徴，共通点の多い特徴などを
抽出した後、固有の特徴を抽出すべきであるが、従来の
方式のように、最初から学習データそのもので学習を行
なわせると、特に学習データの変動が大きい場合、本質
的な特徴や共通点の多い特徴を学習する前に、固有の特
徴を学習してしまうことになるからである。この場合、
学習した特徴は、同一カテゴリにおける他のデータの特
徴との関係は少なく、したがって未学習データの認識が
難しくなる。
これに対して、この発明による方式では、第４図（ｂ）
に示すように、N1個のデータに共通の特徴12と、N2個の
データに共通の特徴13とNiの値に応じた特徴を得ること
ができる。すなわち、学習すべきデータの属するカテゴ
リの本質的な特徴や、学習データの部分集合に共通した
特徴から先に学習し、最後に元データで学習を行なう。
つまり、基本特徴を抽出し終えた後に、固有の特徴を学
習するので、最終的に特徴10に近づき、したがって汎化
能力が高くなる。
に示すように、N1個のデータに共通の特徴12と、N2個の
データに共通の特徴13とNiの値に応じた特徴を得ること
ができる。すなわち、学習すべきデータの属するカテゴ
リの本質的な特徴や、学習データの部分集合に共通した
特徴から先に学習し、最後に元データで学習を行なう。
つまり、基本特徴を抽出し終えた後に、固有の特徴を学
習するので、最終的に特徴10に近づき、したがって汎化
能力が高くなる。
［発明の効果］ 以上のように、この発明によれば、多層パーセプトロン
型ニューラルネットをバックプロパゲーション学習則で
複雑なデータを学習させる際に、データの持つ本質的な
特徴から学習をさせることができるため、高速でかつ汎
化能力の高い学習を行なわせることができる。
型ニューラルネットをバックプロパゲーション学習則で
複雑なデータを学習させる際に、データの持つ本質的な
特徴から学習をさせることができるため、高速でかつ汎
化能力の高い学習を行なわせることができる。
第１図は多層パーセプトロン型ニューラルネットの一例
としての多層ニューラルネットを示す図である。第２図
は複数の学習データから平均データを構成する様子を示
す図である。第３図は従来の学習方法とこの発明による
学習方法での解空間の複雑さを比べるための概念図であ
る。第４図は従来の方法とこの発明による方法における
汎化能力を比較して示した概念図である。 図において、１はコネクション、２は入力層、３は中間
層、４は出力層、５はN1個のデータ、６はN1個のデータ
からの平均データ、７はN2個のデータ、８はN2個のデー
タからの平均データ、９は最急降下法で解を求める際の
ローカル・ミニマム解、10は学習データの理想的な特
徴、11は各データ固有の特徴、12はNi個のデータに共通
の特徴、13はN2個のデータに共通の特徴を示す。
としての多層ニューラルネットを示す図である。第２図
は複数の学習データから平均データを構成する様子を示
す図である。第３図は従来の学習方法とこの発明による
学習方法での解空間の複雑さを比べるための概念図であ
る。第４図は従来の方法とこの発明による方法における
汎化能力を比較して示した概念図である。 図において、１はコネクション、２は入力層、３は中間
層、４は出力層、５はN1個のデータ、６はN1個のデータ
からの平均データ、７はN2個のデータ、８はN2個のデー
タからの平均データ、９は最急降下法で解を求める際の
ローカル・ミニマム解、10は学習データの理想的な特
徴、11は各データ固有の特徴、12はNi個のデータに共通
の特徴、13はN2個のデータに共通の特徴を示す。
Claims (1)
- 【請求項１】多層パーセプトロン型ニューラルネットに
おいてバックプロパゲーション学習則を用いて学習を行
なうニューラルネットにおける学習方法であって、 学習を行なわせようとする際、学習データのカテゴリご
とにN1個のデータから平均データを作り、共通の特徴を
得るために初期学習を行なわせることによって、カテゴ
リごとの特徴を最初に学習させ、学習を十分に行なわせ
た後、学習データのカテゴリごとにN2（N1＞N2）個のデ
ータから平均データを作って学習を行なわせ、以下Ni＝
１になるまで平均データでの学習を行なわせることによ
り、カテゴリごとのあるいは各カテゴリのデータの部分
集合ごとの本質的な特徴をニューラルネットに学習さ
せ、各データ固有の特徴を学習させないようにしたこと
を特徴とする、ニューラルネットにおける学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1153250A JPH07117949B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1153250A JPH07117949B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0318965A JPH0318965A (ja) | 1991-01-28 |
| JPH07117949B2 true JPH07117949B2 (ja) | 1995-12-18 |
Family
ID=15558352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1153250A Expired - Fee Related JPH07117949B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07117949B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2520331B2 (ja) * | 1991-03-25 | 1996-07-31 | 株式会社エイ・ティ・アール自動翻訳電話研究所 | ニュ―ラルネットワ―クの学習方法 |
| FR2781992B1 (fr) * | 1998-08-06 | 2000-09-15 | Hermes Sellier | Sac, rabat pour sac et son procede de montage |
-
1989
- 1989-06-15 JP JP1153250A patent/JPH07117949B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0318965A (ja) | 1991-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801404B (zh) | 一种基于自适应空间自注意力图卷积的交通预测方法 | |
| Lang et al. | A time-delay neural network architecture for isolated word recognition | |
| CN107506823B (zh) | 一种用于对话生成的混合神经网络模型的构建方法 | |
| JP2940933B2 (ja) | パターン認識方式 | |
| CN104751842B (zh) | 深度神经网络的优化方法及系统 | |
| CN108665070A (zh) | 基于极限学习机的极限ts模糊推理方法及系统 | |
| CN112613559B (zh) | 基于相互学习的图卷积神经网络节点分类方法、存储介质和终端 | |
| CN116646927B (zh) | 一种基于分段滤波与纵横聚类的风电功率预测方法 | |
| CN114912357B (zh) | 基于用户模型学习的多任务强化学习用户运营方法及系统 | |
| CN113962371B (zh) | 一种基于类脑计算平台的图像识别方法及系统 | |
| CN115170888A (zh) | 基于视觉信息和语义属性的电子元器件零样本识别模型及方法 | |
| CN113033410B (zh) | 基于自动数据增强的域泛化行人重识别方法、系统及介质 | |
| CN120197959A (zh) | 一种基于图注意网络的混沌工程系统风险预测方法 | |
| CN114898777A (zh) | 基于深度直推式迁移网络的跨库语音情感识别方法及装置 | |
| JPH06161978A (ja) | 多層パーセプトロン形神経状回路網における学習プロセスを実現するために適用されるバックプロパゲーション・アルゴリズムの収束の加速方法 | |
| JPH0318965A (ja) | ニューラルネットにおける学習方法 | |
| JP2020091813A (ja) | ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置 | |
| JP2736361B2 (ja) | ニューラルネット構成方法 | |
| Sitepu et al. | Efficient Computer Vision inference using modular neural network techniques | |
| CN113033695A (zh) | 一种电子器件故障的预测方法 | |
| Gordienko | Construction of efficient neural networks: Algorithms and tests | |
| KR20220089591A (ko) | 머신러닝을 사용한 군 수리부속 수요예측 모델과 실용화 시스템 | |
| Rezende et al. | A methodology for creating generic game playing agents for board games | |
| Ludermir | Logical networks capable of computing weighted regular languages | |
| JPH03294983A (ja) | 文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |