JPH0744513A - 直列結合型リカレントニューラルネットワークの学習方式 - Google Patents
直列結合型リカレントニューラルネットワークの学習方式Info
- Publication number
- JPH0744513A JPH0744513A JP5193246A JP19324693A JPH0744513A JP H0744513 A JPH0744513 A JP H0744513A JP 5193246 A JP5193246 A JP 5193246A JP 19324693 A JP19324693 A JP 19324693A JP H0744513 A JPH0744513 A JP H0744513A
- Authority
- JP
- Japan
- Prior art keywords
- series
- learning
- self
- rnn
- loop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010168 coupling process Methods 0.000 title claims abstract description 34
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 34
- 230000008878 coupling Effects 0.000 title claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 title claims description 10
- 230000000306 recurrent effect Effects 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 15
- 210000002569 neuron Anatomy 0.000 claims description 4
- 210000004205 output neuron Anatomy 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【目的】 合理的に学習を行い得ると共に、本来の能力
を充分に発揮し得る直列結合型ＲＮＮの学習方式を提供
する。 【構成】 自己ループを有する直列結合型ＲＮＮの状態
方程式に基づいて、この状態方程式の結合係数の更新を
繰り返すことにより、結合係数を零に近付けてデータア
クセス端子Ｐより教師信号Ｓとして与えられる時系列波
形の特徴量を抽出する。この結果、自己ループを有する
直列結合型ＲＮＮにおける学習が自己ループ無しの直列
結合型ＲＮＮの学習（その近似能力やパラメータ推定能
力）を代行した形で行われるようになる。
を充分に発揮し得る直列結合型ＲＮＮの学習方式を提供
する。 【構成】 自己ループを有する直列結合型ＲＮＮの状態
方程式に基づいて、この状態方程式の結合係数の更新を
繰り返すことにより、結合係数を零に近付けてデータア
クセス端子Ｐより教師信号Ｓとして与えられる時系列波
形の特徴量を抽出する。この結果、自己ループを有する
直列結合型ＲＮＮにおける学習が自己ループ無しの直列
結合型ＲＮＮの学習（その近似能力やパラメータ推定能
力）を代行した形で行われるようになる。
Description
【０００１】
【産業上の利用分野】本発明は、複数のニューロを直列
に結合した直列結合型リカレントニューラルネットワー
ク（以下、直列結合型ＲＮＮと称する）の学習方式に関
する。
に結合した直列結合型リカレントニューラルネットワー
ク（以下、直列結合型ＲＮＮと称する）の学習方式に関
する。
【０００２】
【従来の技術】従来、リカレントニューラルネットワー
ク（ＲＮＮ）のネットワークを構成している各ユニット
間はランダムに結合されている。これは各ユニットが動
的な非線形ユニットで構成されているからで、その動作
は所定の時系列パターンを成している。
ク（ＲＮＮ）のネットワークを構成している各ユニット
間はランダムに結合されている。これは各ユニットが動
的な非線形ユニットで構成されているからで、その動作
は所定の時系列パターンを成している。
【０００３】このようなＲＮＮには、複数のニューロの
ユニットを直列に棒状結合した直列結合型のものがあ
る。更に、直列結合型ＲＮＮには例えば４個のユニット
を用いるとすると、図１に示す如く自己ループを有する
ものと図２に示す如く自己ループ無しのものとがある。
何れの直列結合型ＲＮＮも、互いに隣接しているユニッ
トからの情報のみが経過時刻に反映し、最終段のユニッ
トが出力ユニットとなる。このような直列結合型ＲＮＮ
における動作は、次式に示す一般状態方程式（数１、数
２）で表わされる。
ユニットを直列に棒状結合した直列結合型のものがあ
る。更に、直列結合型ＲＮＮには例えば４個のユニット
を用いるとすると、図１に示す如く自己ループを有する
ものと図２に示す如く自己ループ無しのものとがある。
何れの直列結合型ＲＮＮも、互いに隣接しているユニッ
トからの情報のみが経過時刻に反映し、最終段のユニッ
トが出力ユニットとなる。このような直列結合型ＲＮＮ
における動作は、次式に示す一般状態方程式（数１、数
２）で表わされる。
【０００４】
【数１】
【０００５】
【数２】
【０００６】但し、ｘi ，ｙi ，Ｘi は、それぞれi番
目ニューロにおける内部活性度，出力値，外部入力を表
わし、ｗijはｊ番目ニューロからｉ番目ニューロへの結
合係数（結合荷重とも呼ばれる）を表わす。又、τi は
ｉ番目ニューロにおける内部活性度の時定数で、Ｎは総
ニューロ数である。更に、特性関数ｆ（ｘ）には、シグ
モイド関数か線形関数かが選択される。
目ニューロにおける内部活性度，出力値，外部入力を表
わし、ｗijはｊ番目ニューロからｉ番目ニューロへの結
合係数（結合荷重とも呼ばれる）を表わす。又、τi は
ｉ番目ニューロにおける内部活性度の時定数で、Ｎは総
ニューロ数である。更に、特性関数ｆ（ｘ）には、シグ
モイド関数か線形関数かが選択される。
【０００７】ここで、結合係数ｗijはｉ−ｊが±1,0で
ある場合を除き、ｗij＝0.0となる。自己ループを有す
る直列結合型ＲＮＮの場合、内部活性度ｘiや外部入力
Ｘiを適切な初期値にすると、任意な複合減衰正弦波を
近似できる。このとき、特定のユニットの出力値に結合
荷重を乗じた値を用いてそのユニットの内部活性度が算
出される。
ある場合を除き、ｗij＝0.0となる。自己ループを有す
る直列結合型ＲＮＮの場合、内部活性度ｘiや外部入力
Ｘiを適切な初期値にすると、任意な複合減衰正弦波を
近似できる。このとき、特定のユニットの出力値に結合
荷重を乗じた値を用いてそのユニットの内部活性度が算
出される。
【０００８】一般に自己ループを有する直列結合型ＲＮ
Ｎと自己ループ無しの直列結合型ＲＮＮとを教師信号と
して与えられる時系列波形に対する学習能力において比
較した場合、自己ループを有する直列結合型ＲＮＮの方
が自己ループ無しの直列結合型ＲＮＮよりも優れること
が知られている。
Ｎと自己ループ無しの直列結合型ＲＮＮとを教師信号と
して与えられる時系列波形に対する学習能力において比
較した場合、自己ループを有する直列結合型ＲＮＮの方
が自己ループ無しの直列結合型ＲＮＮよりも優れること
が知られている。
【０００９】
【発明が解決しようとする課題】ところで、図２に示し
たような自己ループ無しの直列結合型ＲＮＮの場合、各
ユニットにおける自己結合係数ｗii（自己ループに固有
なもの）はｗii＝0.0となっている。そこで、例えば２
つのユニットから成る自己ループ無しの直列結合型ＲＮ
Ｎを構成すると、その状態方程式は次式（数３、数４）
の如く簡単に表わされる。
たような自己ループ無しの直列結合型ＲＮＮの場合、各
ユニットにおける自己結合係数ｗii（自己ループに固有
なもの）はｗii＝0.0となっている。そこで、例えば２
つのユニットから成る自己ループ無しの直列結合型ＲＮ
Ｎを構成すると、その状態方程式は次式（数３、数４）
の如く簡単に表わされる。
【００１０】
【数３】
【００１１】
【数４】
【００１２】ここで、ｗ11＝ｗ00＝0.0という現行方式
でデータアクセス端子Ｐから教師信号Ｓとして与えられ
る時系列波形に対する学習を行うとすると、上述したよ
うにｗiiが0.0であるので、内部活性度に適正値が得ら
れなくなり、その結果として教師信号を近似した形の収
束が図り得なくなってしまう。
でデータアクセス端子Ｐから教師信号Ｓとして与えられ
る時系列波形に対する学習を行うとすると、上述したよ
うにｗiiが0.0であるので、内部活性度に適正値が得ら
れなくなり、その結果として教師信号を近似した形の収
束が図り得なくなってしまう。
【００１３】本発明は、かかる問題点を解決すべくなさ
れたもので、その技術的課題は、合理的に学習を行い得
ると共に、本来の能力を充分に発揮し得る直列結合型Ｒ
ＮＮの学習方式を提供することにある。
れたもので、その技術的課題は、合理的に学習を行い得
ると共に、本来の能力を充分に発揮し得る直列結合型Ｒ
ＮＮの学習方式を提供することにある。
【００１４】
【課題を解決するための手段及び作用】本発明によれ
ば、出力ニューロを含む複数のニューロを直列に結合し
て成る直列結合型ＲＮＮの学習方式において、自己ルー
プを有する直列結合型リカレントニューラルネットワー
クの状態方程式に基づいて、該状態方程式の結合係数の
更新を繰り返して該結合係数を零に近付けることによ
り、時系列波形の特徴量を抽出する直列結合型ＲＮＮの
学習方式が得られる。
ば、出力ニューロを含む複数のニューロを直列に結合し
て成る直列結合型ＲＮＮの学習方式において、自己ルー
プを有する直列結合型リカレントニューラルネットワー
クの状態方程式に基づいて、該状態方程式の結合係数の
更新を繰り返して該結合係数を零に近付けることによ
り、時系列波形の特徴量を抽出する直列結合型ＲＮＮの
学習方式が得られる。
【００１５】又、本発明によれば、上記直列結合型ＲＮ
Ｎの学習方式の遂行により自己ループ無しの直列結合型
ＲＮＮを成す直列結合型ＲＮＮが得られる。
Ｎの学習方式の遂行により自己ループ無しの直列結合型
ＲＮＮを成す直列結合型ＲＮＮが得られる。
【００１６】
【実施例】以下に実施例を挙げ、本発明の直列結合型Ｒ
ＮＮの学習方式について、詳細に説明する。最初に、本
発明の直列結合型ＲＮＮの学習方式の概要を簡単に説明
する。この学習方式は、自己ループを有する直列結合型
ＲＮＮの状態方程式に基づいて、この状態方程式の結合
係数の更新を繰り返すことにより、結合係数を零に近付
けて時系列波形の特徴量を抽出するものである。
ＮＮの学習方式について、詳細に説明する。最初に、本
発明の直列結合型ＲＮＮの学習方式の概要を簡単に説明
する。この学習方式は、自己ループを有する直列結合型
ＲＮＮの状態方程式に基づいて、この状態方程式の結合
係数の更新を繰り返すことにより、結合係数を零に近付
けて時系列波形の特徴量を抽出するものである。
【００１７】即ち、ここではｗ11＝ｗ00＝0.0という従
来方式で学習の前提を設定せずに、一旦図１に示したよ
うな自己ループを有する直列結合型ＲＮＮの状態方程式
に基づいて、データアクセス端子Ｐから教師信号Ｓとし
て与えられる時系列波形に対する学習を行い、その結果
得られたパラメータ（結合係数ｗijや内部活性度の時定
数τi に関するもの）に基づいて再度学習を行う。この
際、ｗ11及びｗ00を少しずつ小さな値に変更しながら他
のパラメータで学習を遂行する。
来方式で学習の前提を設定せずに、一旦図１に示したよ
うな自己ループを有する直列結合型ＲＮＮの状態方程式
に基づいて、データアクセス端子Ｐから教師信号Ｓとし
て与えられる時系列波形に対する学習を行い、その結果
得られたパラメータ（結合係数ｗijや内部活性度の時定
数τi に関するもの）に基づいて再度学習を行う。この
際、ｗ11及びｗ00を少しずつ小さな値に変更しながら他
のパラメータで学習を遂行する。
【００１８】例えば、１回目の学習で得られたｗ00，ｗ
11をそれぞれ２回目の学習ではｗ00' ＝0.9＊ｗ00，ｗ
11' ＝0.9＊ｗ11（但し、＊は演算因子）という具合に
少し小さな値で自己ループに対応する荷重を固定するこ
とにより、その他のパラメータで学習を行う。この学習
結果が収束し始めると、更にｗ00，ｗ11をそれぞれ少し
ずつ小さな値に変更して再度学習する。このように自己
ループの荷重を少しずつ小さくする操作を繰り返すと、
学習の収束性が補償されるので、ｗ00，ｗ11がそれぞれ
充分に零に近付いた時点で学習を終了する。
11をそれぞれ２回目の学習ではｗ00' ＝0.9＊ｗ00，ｗ
11' ＝0.9＊ｗ11（但し、＊は演算因子）という具合に
少し小さな値で自己ループに対応する荷重を固定するこ
とにより、その他のパラメータで学習を行う。この学習
結果が収束し始めると、更にｗ00，ｗ11をそれぞれ少し
ずつ小さな値に変更して再度学習する。このように自己
ループの荷重を少しずつ小さくする操作を繰り返すと、
学習の収束性が補償されるので、ｗ00，ｗ11がそれぞれ
充分に零に近付いた時点で学習を終了する。
【００１９】この学習終了時点では自己ループを有する
直列結合型ＲＮＮが図２に示したような自己ループ無し
の直列結合型ＲＮＮとなる。即ち、この結合係数の更新
を反復する学習を遂行すれば、ｗ00，ｗ11が0.0とな
り、自己ループを有する直列結合型ＲＮＮにおける学習
が自己ループ無しの直列結合型ＲＮＮにおける学習（そ
の近似能力やパラメータ推定能力）を代行した形で行わ
れる。
直列結合型ＲＮＮが図２に示したような自己ループ無し
の直列結合型ＲＮＮとなる。即ち、この結合係数の更新
を反復する学習を遂行すれば、ｗ00，ｗ11が0.0とな
り、自己ループを有する直列結合型ＲＮＮにおける学習
が自己ループ無しの直列結合型ＲＮＮにおける学習（そ
の近似能力やパラメータ推定能力）を代行した形で行わ
れる。
【００２０】
【発明の効果】以上に述べた通り、本発明によれば、自
己ループを有する直列結合型ＲＮＮに対して結合係数の
更新を繰り返して結合係数を零に近付けることにより、
時系列波形の特徴量を抽出しているので、自己ループを
有する直列結合自己ループ型ＲＮＮの学習が自己ループ
無しの直列結合非自己ループ型ＲＮＮをの学習を代行し
た形で行い得るようになる。これにより、任意な複合減
衰正弦波を対象にして学習を合理的に行い得るので、直
列結合型ＲＮＮの本来の能力を充分に発揮できるように
なる。即ち、この学習方式によれば直列結合型ＲＮＮが
長所とする使用すべきコンピュータに対するメモリ数の
減少化を図る上で、従来に無く学習能力の向上が保証さ
れるので、コンピュータ業界に対して多大な貢献が期待
される。例えば、この学習方式は自己ループ無しで電気
的等価回路を考慮する必要のある音声合成方式に適用可
能であり、音声波形の特徴量（音響パラメータ）を有効
に抽出できる。
己ループを有する直列結合型ＲＮＮに対して結合係数の
更新を繰り返して結合係数を零に近付けることにより、
時系列波形の特徴量を抽出しているので、自己ループを
有する直列結合自己ループ型ＲＮＮの学習が自己ループ
無しの直列結合非自己ループ型ＲＮＮをの学習を代行し
た形で行い得るようになる。これにより、任意な複合減
衰正弦波を対象にして学習を合理的に行い得るので、直
列結合型ＲＮＮの本来の能力を充分に発揮できるように
なる。即ち、この学習方式によれば直列結合型ＲＮＮが
長所とする使用すべきコンピュータに対するメモリ数の
減少化を図る上で、従来に無く学習能力の向上が保証さ
れるので、コンピュータ業界に対して多大な貢献が期待
される。例えば、この学習方式は自己ループ無しで電気
的等価回路を考慮する必要のある音声合成方式に適用可
能であり、音声波形の特徴量（音響パラメータ）を有効
に抽出できる。
【図１】本発明の直列結合型ＲＮＮの学習方式に係る直
列結合自己ループ型ＲＮＮの基本構成説明図である。
列結合自己ループ型ＲＮＮの基本構成説明図である。
【図２】本発明の直列結合型ＲＮＮの学習方式に係る直
列結合非自己ループ型ＲＮＮの基本構成説明図である。
列結合非自己ループ型ＲＮＮの基本構成説明図である。
Ｐ…データアクセス端子 Ｓ…教師信号
Claims (2)
- 【請求項１】 出力ニューロを含む複数のニューロを直
列に結合して成る直列結合型リカレントニューラルネッ
トワークの学習方式において、自己ループを有する直列
結合型リカレントニューラルネットワークの状態方程式
に基づいて、該状態方程式の結合係数の更新を繰り返し
て該結合係数を零に近付けることにより、時系列波形の
特徴量を抽出することを特徴とする直列結合型リカレン
トニューラルネットワークの学習方式。 - 【請求項２】 請求項１記載の直列結合型リカレントニ
ューラルネットワークの学習方式の遂行により自己ルー
プ無しの直列結合型リカレントニューラルネットワーク
を成すことを特徴とする直列結合型リカレントニューラ
ルネットワークの学習方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5193246A JPH0744513A (ja) | 1993-08-04 | 1993-08-04 | 直列結合型リカレントニューラルネットワークの学習方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5193246A JPH0744513A (ja) | 1993-08-04 | 1993-08-04 | 直列結合型リカレントニューラルネットワークの学習方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0744513A true JPH0744513A (ja) | 1995-02-14 |
Family
ID=16304768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5193246A Pending JPH0744513A (ja) | 1993-08-04 | 1993-08-04 | 直列結合型リカレントニューラルネットワークの学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0744513A (ja) |
-
1993
- 1993-08-04 JP JP5193246A patent/JPH0744513A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102622515B (zh) | 一种天气预测方法 | |
| CN102622418A (zh) | 一种基于bp神经网络的预测装置及设备 | |
| JPH07114524A (ja) | 信号処理装置 | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| JPH0744513A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JP3114276B2 (ja) | 階層型ニューラルネットワークの学習方法 | |
| KR950002423B1 (ko) | 신경회로망장치 | |
| JPH07334478A (ja) | パルス密度型信号処理回路網における結合係数更新方法 並びに結合係数更新装置 | |
| JPH0749847A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH06175998A (ja) | 時系列予測方法 | |
| JP2654686B2 (ja) | ニューラルネットワーク | |
| TWI730452B (zh) | 立體類神經網路系統 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JPH06301663A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
| JP3130913B2 (ja) | 信号処理装置 | |
| JP3359074B2 (ja) | ニューラルネットワークの学習方法 | |
| JPH0744195A (ja) | 音声認識用リカレントニューラルネットワーク | |
| JPH11175494A (ja) | ニューラルネットワーク | |
| JPH05233860A (ja) | 時系列パターンの学習方式 | |
| JPH0744512A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH05274456A (ja) | 時系列パターンの学習方式 | |
| JP2813567B2 (ja) | 推論規則決定装置及び推論規則決定方法 | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク | |
| JPH04186402A (ja) | フアジイ推論における学習方式 |