JPH0778787B2 - ニューラルネットにおける学習方法 - Google Patents
ニューラルネットにおける学習方法Info
- Publication number
- JPH0778787B2 JPH0778787B2 JP1153252A JP15325289A JPH0778787B2 JP H0778787 B2 JPH0778787 B2 JP H0778787B2 JP 1153252 A JP1153252 A JP 1153252A JP 15325289 A JP15325289 A JP 15325289A JP H0778787 B2 JPH0778787 B2 JP H0778787B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- value
- neural network
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 18
- 238000000034 method Methods 0.000 title claims description 12
- 230000006870 function Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Description
【発明の詳細な説明】 ［産業上の利用分野］ この発明はニューラルネットにおける学習方法に関し、
特に、パターン認識で必要とされる複雑なデータを認識
するのに有効な学習方法に関する。
特に、パターン認識で必要とされる複雑なデータを認識
するのに有効な学習方法に関する。
［従来の技術および発明が解決しようとする課題］ 従来より、多層パーセプトロン型ニューラルネットにお
いて、バックプロパゲーション学習則を用いて学習を行
なわせる場合、パターン認識など、学習させるデータが
複雑になるほど学習が困難になるという問題点があっ
た。
いて、バックプロパゲーション学習則を用いて学習を行
なわせる場合、パターン認識など、学習させるデータが
複雑になるほど学習が困難になるという問題点があっ
た。
それゆえに、この発明の主たる目的は、バックプロパゲ
ーション型学習方式において、認識しにくいデータを、
認識しやすいデータよりも数多く学習させることによ
り、各データを均一に認識できるようなニューラルネッ
トにおける学習方法を提供することである。
ーション型学習方式において、認識しにくいデータを、
認識しやすいデータよりも数多く学習させることによ
り、各データを均一に認識できるようなニューラルネッ
トにおける学習方法を提供することである。
［課題を解決するための手段］ この発明は複数の入力層と複数の出力層とがコネクショ
ンを介して接続された多層パーセプトロン型ニューラル
ネットにおいて、コネクションの重みを変えながら学習
を行なうニューラルネットにおける学習方法であって、
コネクションの重みの変更を行なう前に、予め定義され
たカテゴリに対して、予めいずれのカテゴリに属するか
が分かっている学習データを用いて、提示された未知デ
ータがいずれのカテゴリに属するかを示す認識結果およ
び正しく認識された学習データに対するニューラルネッ
トワークの出力値を調べ、それらを掛合わせた値を各デ
ータの学習度と見なし、各学習データＸに対して、 Ｍ（Ｘ）＝｛0,1,k,2k,4k,6k｝ （ｋは正の定数であり、Ｘが正しく認識されかつＸの学
習度が予め定める第１の値よりも高い場合Ｍ（Ｘ）＝0,
予め定める第１の値と第２の値との間である中位の場合
Ｍ（Ｘ）＝1,予め定める第２の値よりも低い場合Ｍ
（Ｘ）＝k,Xが誤認識されかつＸの学習度が低い場合Ｍ
（Ｘ）＝2k,中位の場合Ｍ（Ｘ）＝4k,高い場合Ｍ（Ｘ）
＝6k）なる関数Ｍを作り、 ΔＷ（ｎ＋１）＝αΔＷ（ｎ）−εΣＭ（ｊ）dE/dWj （dE/dWjは学習データｊに対するコネクションの重みの
変化量） によって計算される値に従って、コネクションの重みdE
/dWをΣＭ（ｊ）dE/dWjに変更するものである。
ンを介して接続された多層パーセプトロン型ニューラル
ネットにおいて、コネクションの重みを変えながら学習
を行なうニューラルネットにおける学習方法であって、
コネクションの重みの変更を行なう前に、予め定義され
たカテゴリに対して、予めいずれのカテゴリに属するか
が分かっている学習データを用いて、提示された未知デ
ータがいずれのカテゴリに属するかを示す認識結果およ
び正しく認識された学習データに対するニューラルネッ
トワークの出力値を調べ、それらを掛合わせた値を各デ
ータの学習度と見なし、各学習データＸに対して、 Ｍ（Ｘ）＝｛0,1,k,2k,4k,6k｝ （ｋは正の定数であり、Ｘが正しく認識されかつＸの学
習度が予め定める第１の値よりも高い場合Ｍ（Ｘ）＝0,
予め定める第１の値と第２の値との間である中位の場合
Ｍ（Ｘ）＝1,予め定める第２の値よりも低い場合Ｍ
（Ｘ）＝k,Xが誤認識されかつＸの学習度が低い場合Ｍ
（Ｘ）＝2k,中位の場合Ｍ（Ｘ）＝4k,高い場合Ｍ（Ｘ）
＝6k）なる関数Ｍを作り、 ΔＷ（ｎ＋１）＝αΔＷ（ｎ）−εΣＭ（ｊ）dE/dWj （dE/dWjは学習データｊに対するコネクションの重みの
変化量） によって計算される値に従って、コネクションの重みdE
/dWをΣＭ（ｊ）dE/dWjに変更するものである。
［作用］ この発明にかかるニューラルネットにおける学習方式
は、コネクションの重みを変更する前に、各データの学
習度を算出し、所定の学習式を用いて算出した値に応じ
てコネクションの重みを変更することによって、認識し
にくいデータをより多く学習させ、各データを均一に認
識できるようにして、学習の収束を促す。
は、コネクションの重みを変更する前に、各データの学
習度を算出し、所定の学習式を用いて算出した値に応じ
てコネクションの重みを変更することによって、認識し
にくいデータをより多く学習させ、各データを均一に認
識できるようにして、学習の収束を促す。
［発明の実施例］ 第１図はこの発明が適用される多層パーセプトロン型ニ
ューラルネットを示す図である。第１図を参照して、ニ
ューラルネットは入力層２と中間層３と出力層４とを含
み、それぞれはコネクション１によって接続されてい
る。入力層２には学習させるべきデータが入力され、バ
ックプロパゲーション学習則によりコネクション１の重
みを変えて学習が行なわれる。
ューラルネットを示す図である。第１図を参照して、ニ
ューラルネットは入力層２と中間層３と出力層４とを含
み、それぞれはコネクション１によって接続されてい
る。入力層２には学習させるべきデータが入力され、バ
ックプロパゲーション学習則によりコネクション１の重
みを変えて学習が行なわれる。
第２図はこの発明による学習方式のフロー図であり、第
３図は複雑なデータをこの発明によってニューラルネッ
トに学習させる際の学習の収束状態を示す図である。
３図は複雑なデータをこの発明によってニューラルネッ
トに学習させる際の学習の収束状態を示す図である。
第２図を参照して、この発明では、学習させるデータを
入力層２に入力し、コネクション１の重みを変える前
に、ステップ（図示ではSPと略称する）SP1において、
学習データを認識し、ステップSP2において、学習デー
タごとの認識結果と、その出力で最も発火したユニット
の値を調べ、それらの値を掛合わせたものを学習データ
に対する学習度として算出する。そして、ステップSP3
において学習データＸに対して正しく認識されたか否か
を判別する。
入力層２に入力し、コネクション１の重みを変える前
に、ステップ（図示ではSPと略称する）SP1において、
学習データを認識し、ステップSP2において、学習デー
タごとの認識結果と、その出力で最も発火したユニット
の値を調べ、それらの値を掛合わせたものを学習データ
に対する学習度として算出する。そして、ステップSP3
において学習データＸに対して正しく認識されたか否か
を判別する。
ここで、学習データＸに対して、 Ｍ（Ｘ）＝｛0,1,k,2k,4k,6k｝ （ｋは正の定数であり、 Ｘが正しく認識されかつ Ｘの学習度が高い場合Ｍ（Ｘ）＝0, 中位の場合Ｍ（Ｘ）＝1, 低い場合Ｍ（Ｘ）＝k, Ｘが誤認識されかつ Ｘの学習度が低い場合Ｍ（Ｘ）＝2k, 中位の場合Ｍ（Ｘ）＝4k, 高い場合Ｍ（Ｘ）＝6k） なる関数Ｍを作る。関数Ｍができあがれば、学習を行な
うが、この発明では従来のバックプロパゲーション学習
則を次のように改善して用いる。
うが、この発明では従来のバックプロパゲーション学習
則を次のように改善して用いる。
ΔＷ（ｎ＋１）＝αΔＷ（ｎ）−εΣＭ（ｊ）dE/dWj｝ （dE/dWjは学習データｊに対するコネクションの重みの
変化量） この式の意味するところは以下のとおりである。すなわ
ち、従来の学習式ΔＷ（ｎ＋１）＝αΔＷ（ｎ）−εdE
/dWにおいて、この発明の概念に従って、学習データｊ
を他の学習データよりＬ倍多く学習させるためには、学
習データｊをＬ個に増やして学習させなければならな
い。しかしながら、学習途中にそのような学習データ数
の動的な変更は困難であり、計算時間も多くかかってし
まう。ここでdE/dWのうちdE/dWj部分をＬ倍すると、学
習データｊの付加的な学習も可能であるし、計算時間も
従来の学習とほとんど変わらないため、dE/dWをΣＭ
（ｊ）dE/dWjと変更することにより、学習データｊをＭ
（ｊ）倍学習させることが可能となる。もし、学習デー
タが均等に認識されている状態ならば、Ｍ（ｊ）の値は
すべて等しくなり、従来方式の学習式と同じになる。
変化量） この式の意味するところは以下のとおりである。すなわ
ち、従来の学習式ΔＷ（ｎ＋１）＝αΔＷ（ｎ）−εdE
/dWにおいて、この発明の概念に従って、学習データｊ
を他の学習データよりＬ倍多く学習させるためには、学
習データｊをＬ個に増やして学習させなければならな
い。しかしながら、学習途中にそのような学習データ数
の動的な変更は困難であり、計算時間も多くかかってし
まう。ここでdE/dWのうちdE/dWj部分をＬ倍すると、学
習データｊの付加的な学習も可能であるし、計算時間も
従来の学習とほとんど変わらないため、dE/dWをΣＭ
（ｊ）dE/dWjと変更することにより、学習データｊをＭ
（ｊ）倍学習させることが可能となる。もし、学習デー
タが均等に認識されている状態ならば、Ｍ（ｊ）の値は
すべて等しくなり、従来方式の学習式と同じになる。
上述の動作を第２図に示すフロー図を参照して説明する
と、ステップSP3において学習データＸが正しく認識さ
れたことを判別すると、ステップSP4においてＸが予め
定める第１の値よりも大きいか否かを判別し、大きけれ
ば、ステップSP5においてデータの学習を行なわず、Ｘ
が大きくなければ、ステップSP6においてＸが予め定め
る第１の値と第２の値との間である中位か否かを判別
し、中位であればステップSP7においてデータの学習を
普通に行ない、Ｘが中位でなければステップSP8におい
てＸが予め定める第２の値よりも小さいか否かを判別す
る。Ｘが小さければデータの学習をｋ倍行なう。
と、ステップSP3において学習データＸが正しく認識さ
れたことを判別すると、ステップSP4においてＸが予め
定める第１の値よりも大きいか否かを判別し、大きけれ
ば、ステップSP5においてデータの学習を行なわず、Ｘ
が大きくなければ、ステップSP6においてＸが予め定め
る第１の値と第２の値との間である中位か否かを判別
し、中位であればステップSP7においてデータの学習を
普通に行ない、Ｘが中位でなければステップSP8におい
てＸが予め定める第２の値よりも小さいか否かを判別す
る。Ｘが小さければデータの学習をｋ倍行なう。
また、ステップSP3においてＸが誤認識されたことを判
別すると、ステップSP10において、Ｘが小さいか否かを
判別し、Ｘが小ければステップSP11においてデータの学
習を2k倍行ない、Ｘが小さくなければステップSP12にお
いてＸが中位であるか否かを判別し、中位であればステ
ップSP13においてデータの学習を4k倍行なう。Ｘが中位
でなければステップSP14においてＸが大きいか否かを判
別し、大きければステップSP15においてデータの学習を
6k倍行なう。
別すると、ステップSP10において、Ｘが小さいか否かを
判別し、Ｘが小ければステップSP11においてデータの学
習を2k倍行ない、Ｘが小さくなければステップSP12にお
いてＸが中位であるか否かを判別し、中位であればステ
ップSP13においてデータの学習を4k倍行なう。Ｘが中位
でなければステップSP14においてＸが大きいか否かを判
別し、大きければステップSP15においてデータの学習を
6k倍行なう。
上述の学習を行なうことによって、従来の方式では第３
図に示す学習すべき状態５に対して学習途中の状態６か
ら徐々に収束していくのに対して、この発明による学習
方式では、多くの学習が必要な部分７の学習を多く行な
わせ、あまり学習を必要としない部分８は最小限の学習
に抑えることができ、状態５への収束を速くすることが
できる。
図に示す学習すべき状態５に対して学習途中の状態６か
ら徐々に収束していくのに対して、この発明による学習
方式では、多くの学習が必要な部分７の学習を多く行な
わせ、あまり学習を必要としない部分８は最小限の学習
に抑えることができ、状態５への収束を速くすることが
できる。
［発明の効果］ 以上のように、この発明によれば、多層パーセプトロン
型ニューラルネットに、バックプロパゲーション学習則
の学習式を改善した式を適用することにより、複雑な学
習データを迅速に学習させることができる。
型ニューラルネットに、バックプロパゲーション学習則
の学習式を改善した式を適用することにより、複雑な学
習データを迅速に学習させることができる。
第１図は多層パーセプトロン型ニューラルネットの一例
としての３層の場合の構成を示す図である。第２図はこ
の発明による学習方式のフロー図である。第３図は複雑
なデータをニューラルネットに学習させる際の学習の収
束状態を示す図である。 図において、１はコネクション、２は入力層、３は中間
層、４は出力層、５は学習すべき状態、６は学習途中の
状態、７は多くの学習が必要な部分、８はあまり学習が
必要でない部分を示す。
としての３層の場合の構成を示す図である。第２図はこ
の発明による学習方式のフロー図である。第３図は複雑
なデータをニューラルネットに学習させる際の学習の収
束状態を示す図である。 図において、１はコネクション、２は入力層、３は中間
層、４は出力層、５は学習すべき状態、６は学習途中の
状態、７は多くの学習が必要な部分、８はあまり学習が
必要でない部分を示す。
Claims (1)
- 【請求項１】複数の入力層と複数の出力層とがコネクシ
ョンを介して接続された多層パーセプトロン型ニューラ
ルネットにおいて、前記コネクションの重みを変えなが
ら学習を行なうニューラルネットにおける学習方法にお
いて、 コネクションの重みの変更を行なう前に、予め定義され
たカテゴリに対して、いずれのカテゴリに属するかが分
かっている学習データを用いて、提示された未知データ
がいずれのカテゴリに属するかを示す認識結果および正
しく認識された学習データに対するニューラルネットワ
ークの出力値を調べ、それらを掛合わせた値を各データ
の学習度とみなし、各学習データＸに対して、 Ｍ（Ｘ）＝｛0,1,k,2k,4k,6k｝ （ｋは正の定数であり、Ｘが正しく認識されかつＸの学
習度が予め定める第１の値よりも高い場合Ｍ（Ｘ）＝0,
前記予め定める第１の値とその第１の値よりも低い第２
の値との間の中位の場合Ｍ（Ｘ）＝1,前記予め定める第
２の値よりも低い場合Ｍ（Ｘ）＝k,Xが誤認識されかつ
Ｘの学習度が前記低い場合Ｍ（Ｘ）＝2k,前記中位の場
合Ｍ（Ｘ）＝4k,前記高い場合Ｍ（Ｘ）＝6k） なる関数Ｍを作り、 ΔＷ（ｎ＋１）＝αΔＷ（ｎ）−εΣＭ（ｊ）dE/dWj （dE/dWjは学習データｊに対するコネクションの重みの
変化量） によって計算される値に従って、コネクションの重みdE
/dWをΣＭ（ｊ）dE/dWjに変更することを特徴とする、
ニューラルネットにおける学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1153252A JPH0778787B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1153252A JPH0778787B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0318967A JPH0318967A (ja) | 1991-01-28 |
| JPH0778787B2 true JPH0778787B2 (ja) | 1995-08-23 |
Family
ID=15558395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1153252A Expired - Fee Related JPH0778787B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0778787B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009150497A (ja) * | 2007-12-21 | 2009-07-09 | Nippon Pop Rivets & Fasteners Ltd | 溶接スタッド |
-
1989
- 1989-06-15 JP JP1153252A patent/JPH0778787B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0318967A (ja) | 1991-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Castillo et al. | Functional networks with applications: a neural-based paradigm | |
| CN1846218B (zh) | 形成人工神经网络的方法 | |
| CN110991633B (zh) | 一种基于忆阻网络的残差神经网络模型及其应用方法 | |
| JP2746350B2 (ja) | 学習機械シナプス・プロセッサ・システム装置 | |
| JPH0760428B2 (ja) | 線形微分方程式を用いて接続の重みが生成されるような分散並列処理ネットワーク | |
| JPH07121495A (ja) | １つ以上のニューラルネットワークを使用したエキスパートシステムの構築方法 | |
| US5586223A (en) | High speed segmented neural network and fabrication method | |
| JPH0778787B2 (ja) | ニューラルネットにおける学習方法 | |
| JPH04316153A (ja) | ニューロプロセッサ | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JPH076146A (ja) | 並列データ処理システム | |
| CA2135857A1 (en) | Neural network utilizing logarithmic function and method of using same | |
| JPH05159087A (ja) | ニューロプロセッサ | |
| Rossi et al. | Geometrical initialization, parametrization and control of multilayer perceptrons: application to function approximation | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| JPH02100757A (ja) | 並列ニューラルネットワーク学習方式 | |
| JPH05197707A (ja) | 情報処理システム | |
| JP3095798B2 (ja) | アナログ逆伝搬学習回路とその駆動方法 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JPH036769A (ja) | ニューラルネットワーク並列シミュレーション方法及びそれに用いる装置 | |
| JP3304476B2 (ja) | 神経回路網の構成方法，学習方法及び汎化能力評価方法 | |
| JPH0325562A (ja) | ニューラルネットを用いた情報処理装置 | |
| JPH07101415B2 (ja) | 情報処理装置及びその学習方法 | |
| JPH03246747A (ja) | ネットワーク構成データ処理装置の学習処理方式 | |
| JPH0883261A (ja) | ニューロ演算装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |