JPH0749847A - 直列結合型リカレントニューラルネットワークの学習方式 - Google Patents
直列結合型リカレントニューラルネットワークの学習方式Info
- Publication number
- JPH0749847A JPH0749847A JP5195044A JP19504493A JPH0749847A JP H0749847 A JPH0749847 A JP H0749847A JP 5195044 A JP5195044 A JP 5195044A JP 19504493 A JP19504493 A JP 19504493A JP H0749847 A JPH0749847 A JP H0749847A
- Authority
- JP
- Japan
- Prior art keywords
- series
- learning
- neural network
- rnn
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 10
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 18
- 238000010168 coupling process Methods 0.000 claims description 21
- 238000005859 coupling reaction Methods 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 9
- 210000004205 output neuron Anatomy 0.000 claims description 6
- 230000008878 coupling Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 誤差逆伝搬法（ＢＰ法）による学習を能力高
く行い得ると共に、本来の能力を充分に発揮し得る直列
結合型ＲＮＮの学習方式を提供するものである。 【構成】 自己ループを有する直列結合型ＲＮＮに対し
て結合荷重を零に近付けるための付加項を評価関数に加
えて付加項形評価関数を得て、この付加項形評価関数に
基づいてＢＰ法を遂行することにより、自己ループを有
する直列結合型ＲＮＮにおける学習が自己ループ無しの
直列結合型ＲＮＮの学習（その近似能力やパラメータ推
定能力等）を代行した形で行われるようになる。
く行い得ると共に、本来の能力を充分に発揮し得る直列
結合型ＲＮＮの学習方式を提供するものである。 【構成】 自己ループを有する直列結合型ＲＮＮに対し
て結合荷重を零に近付けるための付加項を評価関数に加
えて付加項形評価関数を得て、この付加項形評価関数に
基づいてＢＰ法を遂行することにより、自己ループを有
する直列結合型ＲＮＮにおける学習が自己ループ無しの
直列結合型ＲＮＮの学習（その近似能力やパラメータ推
定能力等）を代行した形で行われるようになる。
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、複数のニューロを直列
に結合した直列結合型リカレントニューラルネットワー
ク（以下、直列結合型ＲＮＮと称する）の学習方式に関
し、詳しくは誤差逆伝搬法を用いた直列結合型ＲＮＮの
学習方式に関する。
に結合した直列結合型リカレントニューラルネットワー
ク（以下、直列結合型ＲＮＮと称する）の学習方式に関
し、詳しくは誤差逆伝搬法を用いた直列結合型ＲＮＮの
学習方式に関する。
【０００２】
【従来の技術】従来、リカレントニューラルネットワー
ク（ＲＮＮ）のネットワークを構成している各ユニット
間はランダムに結合されている。これは各ユニットが動
的な非線形ユニットで構成されているからで、その動作
は次式に示す微分方程式（状態方程式／数１、数２）で
表わされる所定の時系列パターンを成している。
ク（ＲＮＮ）のネットワークを構成している各ユニット
間はランダムに結合されている。これは各ユニットが動
的な非線形ユニットで構成されているからで、その動作
は次式に示す微分方程式（状態方程式／数１、数２）で
表わされる所定の時系列パターンを成している。
【０００３】
【数１】
【０００４】
【数２】
【０００５】但し、ここでｘi，ｙi，Ｘiは、それぞれ
ｉ番目ユニットの時刻ｔにおける内部状態、出力、外部
入力を表わすもので、ｗijはｊ番目のユニットからｉ番
目のユニットへの結合荷重を表わす。又、τiはｉ番目
のユニットの時定数であり、Ｎは総ユニット数である。
更に、特性関数ｆ（ｘ）には、通常非線形のシグモイド
関数ｆ（ｘ）＝ｔａｎｈ（ｘ）か線形関数ｆ（ｘ）＝ｘ
かの何れかが選択される。
ｉ番目ユニットの時刻ｔにおける内部状態、出力、外部
入力を表わすもので、ｗijはｊ番目のユニットからｉ番
目のユニットへの結合荷重を表わす。又、τiはｉ番目
のユニットの時定数であり、Ｎは総ユニット数である。
更に、特性関数ｆ（ｘ）には、通常非線形のシグモイド
関数ｆ（ｘ）＝ｔａｎｈ（ｘ）か線形関数ｆ（ｘ）＝ｘ
かの何れかが選択される。
【０００６】このようなＲＮＮには、２Ｎ個のユニット
を直列に棒状結合した直列結合型のものがある。直列結
合型ＲＮＮには、更に図１に示す如く自己ループを有す
るものと図２に示す如く自己ループ無しのものとがあ
る。何れの直列結合型ＲＮＮも互いに隣接しているユニ
ットからの情報のみが経過時刻に反映し、最終段のユニ
ットを出力ユニットとする。又、何れの直列結合型ＲＮ
ＮもＮ個の周波数成分を持つ複数減衰正弦波（数３）を
近似できる能力を持つ。
を直列に棒状結合した直列結合型のものがある。直列結
合型ＲＮＮには、更に図１に示す如く自己ループを有す
るものと図２に示す如く自己ループ無しのものとがあ
る。何れの直列結合型ＲＮＮも互いに隣接しているユニ
ットからの情報のみが経過時刻に反映し、最終段のユニ
ットを出力ユニットとする。又、何れの直列結合型ＲＮ
ＮもＮ個の周波数成分を持つ複数減衰正弦波（数３）を
近似できる能力を持つ。
【０００７】
【数３】
【０００８】一般に自己ループを有する直列結合型ＲＮ
Ｎと自己ループ無しの直列結合型ＲＮＮとを学習能力に
おいて比較した場合、自己ループを有する直列結合型Ｒ
ＮＮの方が自己ループ無しの直列結合型ＲＮＮよりも優
れることが知られている。
Ｎと自己ループ無しの直列結合型ＲＮＮとを学習能力に
おいて比較した場合、自己ループを有する直列結合型Ｒ
ＮＮの方が自己ループ無しの直列結合型ＲＮＮよりも優
れることが知られている。
【０００９】
【発明が解決しようとする課題】ところで、ＲＮＮには
各ニューロ間を互いに隣接するもの同士で結合した完全
結合型（図示せず）のものもある。この完全結合型ＲＮ
Ｎの学習則には、最急降下法に基づく誤差逆伝搬法（ｅ
ｒｒｏｒ Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ／以下、
ＢＰ法と略す）が用いられている。このＢＰ法の基本式
は次式（数４）で表わされる。
各ニューロ間を互いに隣接するもの同士で結合した完全
結合型（図示せず）のものもある。この完全結合型ＲＮ
Ｎの学習則には、最急降下法に基づく誤差逆伝搬法（ｅ
ｒｒｏｒ Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ／以下、
ＢＰ法と略す）が用いられている。このＢＰ法の基本式
は次式（数４）で表わされる。
【００１０】
【数４】
【００１１】但し、Ｅは時刻Ｔ１から時刻Ｔ２までの学
習の評価関数で、ｙ（ｔ）は時刻ｔにおける出力ユニッ
トの出力値で、Ｔ（ｔ）は時刻ｔにおける教師信号であ
る。ここで、次式（数５）に従って評価関数Ｅを最小に
するように、結合係数ｗijを更新して行くのがＢＰ法で
ある。
習の評価関数で、ｙ（ｔ）は時刻ｔにおける出力ユニッ
トの出力値で、Ｔ（ｔ）は時刻ｔにおける教師信号であ
る。ここで、次式（数５）に従って評価関数Ｅを最小に
するように、結合係数ｗijを更新して行くのがＢＰ法で
ある。
【００１２】
【数５】
【００１３】尚、この式において、結合係数の初期値は
小さな乱数で与えられる。完全結合型ＲＮＮは、出力ニ
ューロにその他の全てのニューロが結合している為、Ｂ
Ｐ法においては全てのニューロに誤差が逆伝搬されるこ
とになる。従って、完全結合型ＲＮＮは、このＢＰ法と
いう学習法を用いると、その能力を充分に発揮すること
ができる。
小さな乱数で与えられる。完全結合型ＲＮＮは、出力ニ
ューロにその他の全てのニューロが結合している為、Ｂ
Ｐ法においては全てのニューロに誤差が逆伝搬されるこ
とになる。従って、完全結合型ＲＮＮは、このＢＰ法と
いう学習法を用いると、その能力を充分に発揮すること
ができる。
【００１４】一方、直列結合型ＲＮＮは、全てのニュー
ロが出力ニューロに結合されているわけではないので、
誤差が直接逆伝搬しない。即ち、出力ニューロから遠い
箇所で結合されているニューロ程、誤差の情報が失われ
てしまい易く、結合係数の学習が困難になる。これは、
出力ニューロから遠くにあるニューロの活性値が小さく
なってしまうからである。結果として、直列結合型ＲＮ
Ｎの場合、ＢＰ法を導入しようとすると本来の能力を発
揮できないという難点がある。特に自己ループ無しの直
列結合型ＲＮＮの場合、ＢＰ法で時系列波形を学習させ
ると、ｔ＝１の点を学習しないため、近似能力に支障を
来すという問題がある。
ロが出力ニューロに結合されているわけではないので、
誤差が直接逆伝搬しない。即ち、出力ニューロから遠い
箇所で結合されているニューロ程、誤差の情報が失われ
てしまい易く、結合係数の学習が困難になる。これは、
出力ニューロから遠くにあるニューロの活性値が小さく
なってしまうからである。結果として、直列結合型ＲＮ
Ｎの場合、ＢＰ法を導入しようとすると本来の能力を発
揮できないという難点がある。特に自己ループ無しの直
列結合型ＲＮＮの場合、ＢＰ法で時系列波形を学習させ
ると、ｔ＝１の点を学習しないため、近似能力に支障を
来すという問題がある。
【００１５】本発明は、かかる問題点を解決すべくなさ
れたもので、その技術的課題は、ＢＰ法による学習を合
理的に行い得ると共に、本来の能力を充分に発揮し得る
直列結合型ＲＮＮの学習方式を提供することにある。
れたもので、その技術的課題は、ＢＰ法による学習を合
理的に行い得ると共に、本来の能力を充分に発揮し得る
直列結合型ＲＮＮの学習方式を提供することにある。
【００１６】
【課題を解決するための手段及び作用】本発明によれ
ば、出力ニューロを含む複数のニューロを直列に結合し
て成り、学習則に所定の評価関数に基づく誤差逆伝搬法
を用いた直列結合型ＲＮＮの学習方式において、誤差逆
伝搬法は、自己ループを有する直列結合型ＲＮＮに対し
て結合荷重を零に近付けるための付加項を所定の評価関
数に加えた付加項形評価関数に基づいて行われる直列結
合型ＲＮＮの学習方式が得られる。
ば、出力ニューロを含む複数のニューロを直列に結合し
て成り、学習則に所定の評価関数に基づく誤差逆伝搬法
を用いた直列結合型ＲＮＮの学習方式において、誤差逆
伝搬法は、自己ループを有する直列結合型ＲＮＮに対し
て結合荷重を零に近付けるための付加項を所定の評価関
数に加えた付加項形評価関数に基づいて行われる直列結
合型ＲＮＮの学習方式が得られる。
【００１７】又、本発明によれば、上記直列結合型ＲＮ
Ｎの学習方式の遂行により自己ループ無しの直列結合型
ＲＮＮを成す直列結合型ＲＮＮが得られる。
Ｎの学習方式の遂行により自己ループ無しの直列結合型
ＲＮＮを成す直列結合型ＲＮＮが得られる。
【００１８】
【実施例】以下に実施例を挙げ、本発明の直列結合型Ｒ
ＮＮの学習方式について、詳細に説明する。最初に、本
発明の直列結合型ＲＮＮの学習方式の概要を簡単に説明
する。この学習方式は、図１に示した如く自己ループを
有する直列結合型ＲＮＮに対し、結合荷重を零に近付け
るための付加項を上述した所定の評価関数Ｅに加え、こ
れにより得られる付加項形評価関数Ｅ´に基づいてＢＰ
法を行うものである。 ここで、所定の評価関数Ｅは次
式（数６）で示され、付加項は（数７）で示される。
ＮＮの学習方式について、詳細に説明する。最初に、本
発明の直列結合型ＲＮＮの学習方式の概要を簡単に説明
する。この学習方式は、図１に示した如く自己ループを
有する直列結合型ＲＮＮに対し、結合荷重を零に近付け
るための付加項を上述した所定の評価関数Ｅに加え、こ
れにより得られる付加項形評価関数Ｅ´に基づいてＢＰ
法を行うものである。 ここで、所定の評価関数Ｅは次
式（数６）で示され、付加項は（数７）で示される。
【００１９】
【数６】
【００２０】
【数７】
【００２１】但し、ここでωiiはｉ番目のユニットにお
ける自己ループ結合荷重を表わす。従って、本発明で用
いるＢＰ法における付加項形評価関数Ｅ´は、次式（数
８）のように示される。
ける自己ループ結合荷重を表わす。従って、本発明で用
いるＢＰ法における付加項形評価関数Ｅ´は、次式（数
８）のように示される。
【００２２】
【数８】
【００２３】この（数８）式に基づくＢＰ法による学習
を行えば、評価関数Ｅの値を下げるように推移するの
で、ｉ番目のユニットにおける自己ループ結合荷重ωii
の値も減少して零に近付くようになる。
を行えば、評価関数Ｅの値を下げるように推移するの
で、ｉ番目のユニットにおける自己ループ結合荷重ωii
の値も減少して零に近付くようになる。
【００２４】更に、通常付加項形評価関数Ｅ´が所定値
より小さく、しかも学習回数が規定回数になっていれば
学習を終了するが、この学習終了時点では自己ループを
有する直列結合型ＲＮＮが図２に示したような自己ルー
プ無しの直列結合型ＲＮＮとなる。即ち、このＢＰ法に
よる学習を遂行すれば、自己ループを有する直列結合型
ＲＮＮにおける学習が自己ループ無しの直列結合非自己
ループ型ＲＮＮにおける学習（その近似能力やパラメー
タ推定能力等）を代行した形で行われる。
より小さく、しかも学習回数が規定回数になっていれば
学習を終了するが、この学習終了時点では自己ループを
有する直列結合型ＲＮＮが図２に示したような自己ルー
プ無しの直列結合型ＲＮＮとなる。即ち、このＢＰ法に
よる学習を遂行すれば、自己ループを有する直列結合型
ＲＮＮにおける学習が自己ループ無しの直列結合非自己
ループ型ＲＮＮにおける学習（その近似能力やパラメー
タ推定能力等）を代行した形で行われる。
【００２５】
【発明の効果】以上に述べた通り、本発明によれば、自
己ループを有する直列結合型ＲＮＮに対して結合荷重を
零に近付けるための付加項を従来の評価関数に加えて得
た付加項形評価関数に基づいてＢＰ法を行っているの
で、自己ループを有する直列結合自己ループ型ＲＮＮの
学習が自己ループ無しの直列結合非自己ループ型ＲＮＮ
をの学習を代行した形で行い得るようになる。これによ
り、ＢＰ法による学習が合理的に行われ、本来の能力を
充分に発揮し得る直列結合型ＲＮＮの学習方式が提供さ
れるので、直列結合型ＲＮＮが長所とする使用すべきコ
ンピュータに対するメモリ数の減少化を図る上で、従来
に無く学習能力の向上が保証されるので、コンピュータ
業界に対して多大な貢献が期待される。
己ループを有する直列結合型ＲＮＮに対して結合荷重を
零に近付けるための付加項を従来の評価関数に加えて得
た付加項形評価関数に基づいてＢＰ法を行っているの
で、自己ループを有する直列結合自己ループ型ＲＮＮの
学習が自己ループ無しの直列結合非自己ループ型ＲＮＮ
をの学習を代行した形で行い得るようになる。これによ
り、ＢＰ法による学習が合理的に行われ、本来の能力を
充分に発揮し得る直列結合型ＲＮＮの学習方式が提供さ
れるので、直列結合型ＲＮＮが長所とする使用すべきコ
ンピュータに対するメモリ数の減少化を図る上で、従来
に無く学習能力の向上が保証されるので、コンピュータ
業界に対して多大な貢献が期待される。
【図１】本発明の直列結合型ＲＮＮの学習方式に係る直
列結合自己ループ型ＲＮＮの基本構成説明図である。
列結合自己ループ型ＲＮＮの基本構成説明図である。
【図２】本発明の直列結合型ＲＮＮの学習方式に係る直
列結合非自己ループ型ＲＮＮの基本構成説明図である。
列結合非自己ループ型ＲＮＮの基本構成説明図である。
Claims (2)
- 【請求項１】 出力ニューロを含む複数のニューロを直
列に結合して成り、学習則に所定の評価関数に基づく誤
差逆伝搬法を用いた直列結合型リカレントニューラルネ
ットワークの学習方式において、前記誤差逆伝搬法は、
自己ループを有する直列結合型リカレントニューラルネ
ットワークに対して結合荷重を零に近付けるための付加
項を前記所定の評価関数に加えた付加項形評価関数に基
づいて行われることを特徴とする直列結合型リカレント
ニューラルネットワークの学習方式。 - 【請求項２】 請求項１記載の直列結合型リカレントニ
ューラルネットワークの学習方式の遂行により自己ルー
プ無しの直列結合型リカレントニューラルネットワーク
を成すことを特徴とする直列結合型リカレントニューラ
ルネットワークの学習方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5195044A JPH0749847A (ja) | 1993-08-06 | 1993-08-06 | 直列結合型リカレントニューラルネットワークの学習方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5195044A JPH0749847A (ja) | 1993-08-06 | 1993-08-06 | 直列結合型リカレントニューラルネットワークの学習方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0749847A true JPH0749847A (ja) | 1995-02-21 |
Family
ID=16334615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5195044A Pending JPH0749847A (ja) | 1993-08-06 | 1993-08-06 | 直列結合型リカレントニューラルネットワークの学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0749847A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5960391A (en) * | 1995-12-13 | 1999-09-28 | Denso Corporation | Signal extraction system, system and method for speech restoration, learning method for neural network model, constructing method of neural network model, and signal processing system |
-
1993
- 1993-08-06 JP JP5195044A patent/JPH0749847A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5960391A (en) * | 1995-12-13 | 1999-09-28 | Denso Corporation | Signal extraction system, system and method for speech restoration, learning method for neural network model, constructing method of neural network model, and signal processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5131073A (en) | Neuron unit and neuron unit network | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| JPH0749847A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH04229362A (ja) | 学習機械 | |
| JPH076146A (ja) | 並列データ処理システム | |
| US5481646A (en) | Neuron unit and neuron unit network | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| KR950002423B1 (ko) | 신경회로망장치 | |
| JP3508783B2 (ja) | パルス密度型信号処理回路網における結合係数更新方法並びに結合係数更新装置 | |
| US5191637A (en) | Neuron unit and neuron unit network | |
| JPH06301663A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH0744513A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH096881A (ja) | ニューラルネットワーク | |
| US5185851A (en) | Neuron unit and neuron unit network | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JPH05274456A (ja) | 時系列パターンの学習方式 | |
| JPH07105165A (ja) | ニューラルネットワーク情報処理装置 | |
| JPH05233860A (ja) | 時系列パターンの学習方式 | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| JPH11175494A (ja) | ニューラルネットワーク | |
| JPH0744195A (ja) | 音声認識用リカレントニューラルネットワーク | |
| JP2798793B2 (ja) | 神経回路網装置 | |
| JPH0264880A (ja) | パイプライン処理を用いたニューラルアーキテクチュア | |
| JPH0744512A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| Toulson et al. | A Trading System for FTSE-100 Futures Using Neural Networks and Wavelets |