JPH06301661A - 並列結合型リカレントニューラルネットワークの学習方式 - Google Patents
並列結合型リカレントニューラルネットワークの学習方式Info
- Publication number
- JPH06301661A JPH06301661A JP5084976A JP8497693A JPH06301661A JP H06301661 A JPH06301661 A JP H06301661A JP 5084976 A JP5084976 A JP 5084976A JP 8497693 A JP8497693 A JP 8497693A JP H06301661 A JPH06301661 A JP H06301661A
- Authority
- JP
- Japan
- Prior art keywords
- parallel
- rnn
- learning
- stage
- connection type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 7
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 210000002569 neuron Anatomy 0.000 claims abstract description 10
- 210000004205 output neuron Anatomy 0.000 claims abstract description 8
- 230000002250 progressing effect Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 description 19
- 238000005859 coupling reaction Methods 0.000 description 19
- 230000008878 coupling Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000012886 linear function Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 誤差逆伝搬法（ＢＰ法）による学習を行い得
る並列結合型ＲＮＮの学習方式を提供するものである。 【構成】 完全結合型ＲＮＮの状態方程式に基づくＢＰ
法による学習アルゴリズムを並列結合型ＲＮＮに導入す
る。ニューロ１及び出力ニューロ２、ニューロ３及び出
力ニューロ４、ニューロ５及び出力ニューロ６から成
り、対構成で完全結合された３つのユニットを並列接続
した並列結合型ＲＮＮにおいて、第３段目以降のユニッ
トに関する教師データ（第１段目のユニットの学習によ
り得られる）のウィンドゥ幅を変更すると共に、各段に
おける次段への移行を所定の評価関数に従わせることに
より、ＢＰ法による学習を実行可能とする。
る並列結合型ＲＮＮの学習方式を提供するものである。 【構成】 完全結合型ＲＮＮの状態方程式に基づくＢＰ
法による学習アルゴリズムを並列結合型ＲＮＮに導入す
る。ニューロ１及び出力ニューロ２、ニューロ３及び出
力ニューロ４、ニューロ５及び出力ニューロ６から成
り、対構成で完全結合された３つのユニットを並列接続
した並列結合型ＲＮＮにおいて、第３段目以降のユニッ
トに関する教師データ（第１段目のユニットの学習によ
り得られる）のウィンドゥ幅を変更すると共に、各段に
おける次段への移行を所定の評価関数に従わせることに
より、ＢＰ法による学習を実行可能とする。
Description
【０００１】
【産業上の利用分野】本発明は、複数のニューロを完全
結合して成るユニットの複数個を並列に接続した並列結
合型リカレントニューラルネットワーク（以下、並列結
合型ＲＮＮと称する）の学習方法に関し、詳しくは誤差
逆伝搬法を用いた並列結合型ＲＮＮの学習方法に関す
る。
結合して成るユニットの複数個を並列に接続した並列結
合型リカレントニューラルネットワーク（以下、並列結
合型ＲＮＮと称する）の学習方法に関し、詳しくは誤差
逆伝搬法を用いた並列結合型ＲＮＮの学習方法に関す
る。
【０００２】
【従来の技術】従来、リカレントニューラルネットワー
ク（ＲＮＮ）のネットワークを構成している各ユニット
間は、図７に示す如くランダムに結合されている。これ
は各ユニットが動的な非線形ユニットで構成されている
からで、その動作は以下に示す微分方程式（状態方程式
／数１、数２）で表される所定の時系列パターンを成し
ている。
ク（ＲＮＮ）のネットワークを構成している各ユニット
間は、図７に示す如くランダムに結合されている。これ
は各ユニットが動的な非線形ユニットで構成されている
からで、その動作は以下に示す微分方程式（状態方程式
／数１、数２）で表される所定の時系列パターンを成し
ている。
【０００３】
【数１】
【０００４】
【数２】
【０００５】但し、ここでｘi、ｙi、Ｘiは、それぞれ
ｉ番目のユニットの時刻ｔにおける内部状態、出力、外
部入力を表わすもので、ｗiｊはｊ番目のユニットから
ｉ番目のユニットへの結合荷重を表わす。又、τiはｉ
番目のユニットの時定数であり、Ｎは総ユニット数であ
る。更に、特性関数ｆ（ｘ）には、通常非線形のシグモ
イド関数ｆ（ｘ）＝ｔａｎｈ（ｘ）か線形関数ｆ（ｘ）
＝ｘかの何れかが選択される。
ｉ番目のユニットの時刻ｔにおける内部状態、出力、外
部入力を表わすもので、ｗiｊはｊ番目のユニットから
ｉ番目のユニットへの結合荷重を表わす。又、τiはｉ
番目のユニットの時定数であり、Ｎは総ユニット数であ
る。更に、特性関数ｆ（ｘ）には、通常非線形のシグモ
イド関数ｆ（ｘ）＝ｔａｎｈ（ｘ）か線形関数ｆ（ｘ）
＝ｘかの何れかが選択される。
【０００６】このようなＲＮＮには図８に示す如く、各
ニューロ間が互いに隣接するもの同士で結合された完全
結合型のものがある。この完全結合型ＲＮＮの動作は、
以下に示す一般状態方程式（数３、数４）で表わされ
る。
ニューロ間が互いに隣接するもの同士で結合された完全
結合型のものがある。この完全結合型ＲＮＮの動作は、
以下に示す一般状態方程式（数３、数４）で表わされ
る。
【０００７】
【数３】
【０００８】
【数４】
【０００９】但し、ここでｘi、ｙi、Ｘiは、それぞれ
ｉ番目ニューロにおける内部活性度、出力値、外部入力
を表わし、ｗijはｊ番目のニューロからｉ番目のニュー
ロへの結合係数を表わす。又τは内部活性度の時定数
で、Ｎは総ニューロ数である。更に、特性関数ｆ（ｘ）
には、ここでもシグモイド関数か線形関数かが選択され
る。
ｉ番目ニューロにおける内部活性度、出力値、外部入力
を表わし、ｗijはｊ番目のニューロからｉ番目のニュー
ロへの結合係数を表わす。又τは内部活性度の時定数
で、Ｎは総ニューロ数である。更に、特性関数ｆ（ｘ）
には、ここでもシグモイド関数か線形関数かが選択され
る。
【００１０】完全結合型ＲＮＮは、その状態が微分方程
式で表わされるので、時系列パターンの処理能力に優れ
る上、外部入力がない場合でも自励発振するという性質
を持つ。殊に、特性関数を線形関数にすると、２Ｎ個の
ニューロがあればＮ個の周波数成分を持つ複合減衰正弦
波（数５）を近似できるという能力がある。
式で表わされるので、時系列パターンの処理能力に優れ
る上、外部入力がない場合でも自励発振するという性質
を持つ。殊に、特性関数を線形関数にすると、２Ｎ個の
ニューロがあればＮ個の周波数成分を持つ複合減衰正弦
波（数５）を近似できるという能力がある。
【００１１】
【数５】
【００１２】一方、ＲＮＮには、複数のニューロを完全
結合して成るユニットの複数個を更に並列に接続した並
列結合型のものがある。即ち、並列結合型ＲＮＮは、
Ｍ、Ｎを２以上の自然数とした場合、Ｎ個のニューロで
構成された完全結合型ＲＮＮをＭ段用いて構成される。
例えば図９に示すものでは、３個のニューロで構成され
た完全結合型ＲＮＮを３段用いた構成になっている。並
列結合型ＲＮＮでは各段の完全結合型ＲＮＮにおいて１
周波数を出力ユニットから抽出し、このとき入力されて
いる教師信号と出力信号との間の差値を次段目への教師
信号用のデータとしている。更に、最終段では合成操作
を行ってＮ個の周波数成分を持つ複合減衰正弦波を近似
する。
結合して成るユニットの複数個を更に並列に接続した並
列結合型のものがある。即ち、並列結合型ＲＮＮは、
Ｍ、Ｎを２以上の自然数とした場合、Ｎ個のニューロで
構成された完全結合型ＲＮＮをＭ段用いて構成される。
例えば図９に示すものでは、３個のニューロで構成され
た完全結合型ＲＮＮを３段用いた構成になっている。並
列結合型ＲＮＮでは各段の完全結合型ＲＮＮにおいて１
周波数を出力ユニットから抽出し、このとき入力されて
いる教師信号と出力信号との間の差値を次段目への教師
信号用のデータとしている。更に、最終段では合成操作
を行ってＮ個の周波数成分を持つ複合減衰正弦波を近似
する。
【００１３】
【発明が解決しようとする課題】ところで、完全結合型
ＲＮＮの学習則には、最急降下法に基づく誤差逆伝搬法
（ｅｒｏｒｒ Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ／以
下、ＢＰ法と略す）が用いられる。このＢＰ法の基本式
は次式（数６）で表わされる。
ＲＮＮの学習則には、最急降下法に基づく誤差逆伝搬法
（ｅｒｏｒｒ Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ／以
下、ＢＰ法と略す）が用いられる。このＢＰ法の基本式
は次式（数６）で表わされる。
【００１４】
【数６】
【００１５】但し、Ｅ［ｗ（ｔ）］は時刻ｔにおける結
合係数ｗ（ｔ）の状態にある評価関数、ｙ（ｔ）は時刻
ｔにおける出力ユニットの出力値で、Ｙ（ｔ）は時刻ｔ
における教師信号である。ここで、次式（数７）に従っ
て評価関数Ｅを最小とするように結合係数ｗijを更新し
て行くのがＢＰ法である。
合係数ｗ（ｔ）の状態にある評価関数、ｙ（ｔ）は時刻
ｔにおける出力ユニットの出力値で、Ｙ（ｔ）は時刻ｔ
における教師信号である。ここで、次式（数７）に従っ
て評価関数Ｅを最小とするように結合係数ｗijを更新し
て行くのがＢＰ法である。
【００１６】
【数７】
【００１７】尚、この式において、結合係数の初期値は
小さな乱数で与えられる。
小さな乱数で与えられる。
【００１８】完全結合型ＲＮＮは、出力ニューロにその
他の全てのニューロが結合している為、ＢＰ法において
は全てのニューロに誤差が伝搬されることになる。従っ
て、完全結合型ＲＮＮは、このＢＰ法という学習則を用
いると、その能力を充分に発揮することができる。
他の全てのニューロが結合している為、ＢＰ法において
は全てのニューロに誤差が伝搬されることになる。従っ
て、完全結合型ＲＮＮは、このＢＰ法という学習則を用
いると、その能力を充分に発揮することができる。
【００１９】そこで、並列結合型ＲＮＮの場合、各段を
構成する完全結合型ＲＮＮ自体の学習則にはＢＰ法を採
用できるが、ＢＰ法によれば完全結合型ＲＮＮにおける
ｔ＝０での出力ユニットの出力と教師データとは初期状
態にあっては必ず一致し、２段目以降の完全結合型ＲＮ
Ｎにおけるｔ＝０での出力ユニットの出力がｙ（０）＝
０となってしまう。即ち、並列結合型ＲＮＮの場合、ｔ
＞０の動作状態では２段目以降の出力ユニットの出力が
全部ｙ（ｔ）＝０となってしまう為、ＢＰ法による学習
を行い得ないという不便がある。
構成する完全結合型ＲＮＮ自体の学習則にはＢＰ法を採
用できるが、ＢＰ法によれば完全結合型ＲＮＮにおける
ｔ＝０での出力ユニットの出力と教師データとは初期状
態にあっては必ず一致し、２段目以降の完全結合型ＲＮ
Ｎにおけるｔ＝０での出力ユニットの出力がｙ（０）＝
０となってしまう。即ち、並列結合型ＲＮＮの場合、ｔ
＞０の動作状態では２段目以降の出力ユニットの出力が
全部ｙ（ｔ）＝０となってしまう為、ＢＰ法による学習
を行い得ないという不便がある。
【００２０】本発明は、かかる問題点を解決すべくなさ
れたもので、その技術的課題は、ＢＰ法による学習を行
い得る並列結合型ＲＮＮの学習方式を提供することにあ
る。
れたもので、その技術的課題は、ＢＰ法による学習を行
い得る並列結合型ＲＮＮの学習方式を提供することにあ
る。
【００２１】
【課題を解決するための手段および作用】本発明によれ
ば、出力ニューロを含む複数のニューロを完全結合して
成るユニットを複数単位で並列接続して構成されると共
に、学習則にＢＰ法を用いた並列結合型ＲＮＮの学習方
法であって、ＢＰ法は完全結合型ＲＮＮの状態方程式に
基づいて、初期状態では複数のユニットのうち第１段目
のユニットに関する出力信号と入力された教師信号との
差で得られると共に、第２段目のユニットで参照される
教師データのウィンドゥ幅を変更して初期点と成し、進
行状態では該初期点より作動し、各段における次段への
移行を所定の評価関数に従って該評価関数が所定の評価
値未満である場合に行う並列結合型ＲＮＮの学習方法が
得られる。
ば、出力ニューロを含む複数のニューロを完全結合して
成るユニットを複数単位で並列接続して構成されると共
に、学習則にＢＰ法を用いた並列結合型ＲＮＮの学習方
法であって、ＢＰ法は完全結合型ＲＮＮの状態方程式に
基づいて、初期状態では複数のユニットのうち第１段目
のユニットに関する出力信号と入力された教師信号との
差で得られると共に、第２段目のユニットで参照される
教師データのウィンドゥ幅を変更して初期点と成し、進
行状態では該初期点より作動し、各段における次段への
移行を所定の評価関数に従って該評価関数が所定の評価
値未満である場合に行う並列結合型ＲＮＮの学習方法が
得られる。
【００２２】又、本発明によれば、出力ニューロを含む
複数のニューロを完全結合して成るユニットを複数単位
で並列接続して構成されると共に、ＢＰ法を学習則とす
る並列結合型ＲＮＮが得られる。
複数のニューロを完全結合して成るユニットを複数単位
で並列接続して構成されると共に、ＢＰ法を学習則とす
る並列結合型ＲＮＮが得られる。
【００２３】
【実施例】以下に実施例を挙げ、本発明の並列結合型Ｒ
ＮＮの学習方式について、図面を参照して詳細に説明す
る。図１は本発明の一実施例である並列結合型ＲＮＮの
基本構成を示したものである。
ＮＮの学習方式について、図面を参照して詳細に説明す
る。図１は本発明の一実施例である並列結合型ＲＮＮの
基本構成を示したものである。
【００２４】この並列結合型ＲＮＮは、ニューロ１及び
出力ニューロ２と、ニューロ３及び出力ニューロ４と、
ニューロ５及び出力ニューロ６とで対構成された３個の
完全結合型ＲＮＮ（ユニット）を並列に接続して構成さ
れている。この並列結合型ＲＮＮにおいては、１段目の
ユニットの出力ニューロ２がデータアクセス端子Ｐ１に
接続され、２段目のユニットの出力ニューロ４がデータ
アクセス端子Ｐ２に接続され、３段目のユニットの出力
ニューロ５がデータアクセス端子Ｐ３に接続されてい
る。又、データアクセス端子の相互間、即ち、Ｐ１及び
Ｐ２と、Ｐ２及びＰ３との間は後述する教師データ（Ｅ
ｒｒｏｒ１、Ｅｒｒｏｒ２）を伝送するためにそれぞれ
接続されている。
出力ニューロ２と、ニューロ３及び出力ニューロ４と、
ニューロ５及び出力ニューロ６とで対構成された３個の
完全結合型ＲＮＮ（ユニット）を並列に接続して構成さ
れている。この並列結合型ＲＮＮにおいては、１段目の
ユニットの出力ニューロ２がデータアクセス端子Ｐ１に
接続され、２段目のユニットの出力ニューロ４がデータ
アクセス端子Ｐ２に接続され、３段目のユニットの出力
ニューロ５がデータアクセス端子Ｐ３に接続されてい
る。又、データアクセス端子の相互間、即ち、Ｐ１及び
Ｐ２と、Ｐ２及びＰ３との間は後述する教師データ（Ｅ
ｒｒｏｒ１、Ｅｒｒｏｒ２）を伝送するためにそれぞれ
接続されている。
【００２５】この並列結合型ＲＮＮは、ＢＰ法を導入す
べく構成されたものである。この為、初期状態では完全
結合型ＲＮＮの状態方程式に基づいて、第１段目のユニ
ットに関する出力信号とそのときに入力された教師信号
との差で得られ、且つ第２段目のユニットで参照される
教師データのウィンドゥ幅を変更し、所定時間ずらすこ
とによって初期点を得る。このウィンドゥ幅の変更方法
は、１段目のユニットで得られた教師データのｔ＞０の
場合において、最初にｄ［Ｅｒｒｏｒ１（Ｔ）］／ｄｔ
＝０を満たす時間を第２段目のユニットの初期点とす
る。これにより求められた時間（初期点）をｔ＝０とす
れば、ＢＰ法に基づく学習アルゴリズムを実行できる。
又、第２段目以降のユニットに対し、進行状態にあって
は初期点より作動し、各段における次段への移行を評価
関数Ｅが所定の評価値Ｅ１未満である場合に行わせる。
尚、評価関数Ｅを微分したものに対して別な評価値Ｅ２
を与え、例えば更にｄＥ／ｄｎ＜ε2である場合を上述
したＥ＜ε1である判定に併用させて移行の目安にすれ
ば、学習の実行を一層安定させることができる。
べく構成されたものである。この為、初期状態では完全
結合型ＲＮＮの状態方程式に基づいて、第１段目のユニ
ットに関する出力信号とそのときに入力された教師信号
との差で得られ、且つ第２段目のユニットで参照される
教師データのウィンドゥ幅を変更し、所定時間ずらすこ
とによって初期点を得る。このウィンドゥ幅の変更方法
は、１段目のユニットで得られた教師データのｔ＞０の
場合において、最初にｄ［Ｅｒｒｏｒ１（Ｔ）］／ｄｔ
＝０を満たす時間を第２段目のユニットの初期点とす
る。これにより求められた時間（初期点）をｔ＝０とす
れば、ＢＰ法に基づく学習アルゴリズムを実行できる。
又、第２段目以降のユニットに対し、進行状態にあって
は初期点より作動し、各段における次段への移行を評価
関数Ｅが所定の評価値Ｅ１未満である場合に行わせる。
尚、評価関数Ｅを微分したものに対して別な評価値Ｅ２
を与え、例えば更にｄＥ／ｄｎ＜ε2である場合を上述
したＥ＜ε1である判定に併用させて移行の目安にすれ
ば、学習の実行を一層安定させることができる。
【００２６】そこで次に図２に示すフローチャートを参
照して、本発明の一実施例に係る並列結合型ＲＮＮにお
ける学習アルゴリズムを説明する。この学習方式では、
先ず完全結合型ＲＮＮの状態方程式（数３）において、
必要とする結合係数の初期化（通常は小さな乱数で与え
られる）を行って第１段目のユニットから教師データの
抽出（ステップＳ１）を行う。次に、この教師データの
ｔ＞０の場合におけるｄ［Ｅｒｒｏｒ１（Ｔ）］／ｄｔ
＝０を満たす時間を初期点とすることで、初期点の設定
（ステップＳ２）を行う。
照して、本発明の一実施例に係る並列結合型ＲＮＮにお
ける学習アルゴリズムを説明する。この学習方式では、
先ず完全結合型ＲＮＮの状態方程式（数３）において、
必要とする結合係数の初期化（通常は小さな乱数で与え
られる）を行って第１段目のユニットから教師データの
抽出（ステップＳ１）を行う。次に、この教師データの
ｔ＞０の場合におけるｄ［Ｅｒｒｏｒ１（Ｔ）］／ｄｔ
＝０を満たす時間を初期点とすることで、初期点の設定
（ステップＳ２）を行う。
【００２７】引き続き、初期点より作動させてＢＰ法に
よるＲＮＮ学習ルーチン（ステップＳ３）を第２段目の
ユニットから行う。次にＲＮＮ学習ルーチンで使用する
評価関数ＥがＥ＜ε1またはＥ’（Ｅを微分したもの）
＜ε2であるか否かを判定（ステップＳ４）し、この結
果、条件を満たしていなければＲＮＮ学習ルーチン（ス
テップＳ３）の前にリターンして学習を継続するが、条
件を満たしていればＭ＝Ｍ＋１（ステップＳ５）として
次段（第３段目）のユニットに移行する。これにより、
教師データ（Ｅｒｒｏｒ２）が第３段目のユニットに伝
送される。この次段への移行に際し、更に最終段に到達
したか否かを判定（ステップＳ６）し、到達していなけ
れば最終段の直前段のユニットまで継続的に学習を行い
得るようにＲＮＮ学習ルーチン（ステップＳ３）の前に
リターンするが、到達していれば合成ルーチン（ステッ
プＳ７）を行ってから学習を完了する。
よるＲＮＮ学習ルーチン（ステップＳ３）を第２段目の
ユニットから行う。次にＲＮＮ学習ルーチンで使用する
評価関数ＥがＥ＜ε1またはＥ’（Ｅを微分したもの）
＜ε2であるか否かを判定（ステップＳ４）し、この結
果、条件を満たしていなければＲＮＮ学習ルーチン（ス
テップＳ３）の前にリターンして学習を継続するが、条
件を満たしていればＭ＝Ｍ＋１（ステップＳ５）として
次段（第３段目）のユニットに移行する。これにより、
教師データ（Ｅｒｒｏｒ２）が第３段目のユニットに伝
送される。この次段への移行に際し、更に最終段に到達
したか否かを判定（ステップＳ６）し、到達していなけ
れば最終段の直前段のユニットまで継続的に学習を行い
得るようにＲＮＮ学習ルーチン（ステップＳ３）の前に
リターンするが、到達していれば合成ルーチン（ステッ
プＳ７）を行ってから学習を完了する。
【００２８】図３〜図５は、この学習方式によるユニッ
ト各段における教師信号と出力信号との関係を示したも
ので、図３は第１段目のユニットに関するものであり、
図４は第２段目のユニットに関するものであり、図５は
第３段目のユニットに関するものである。図３には教師
データに対するウィンドゥ幅の変更に伴う初期点の設定
による第１段目のユニットにおけるｔ＝０の時間的ずれ
が示されている。図４には初期点作動による評価関数の
基づく複合減衰正弦波の近似化が行われている様子が示
され、図５には更に複合減衰正弦波の近似化が進められ
た様子が示されている。これらの図３〜図５からは、こ
の学習方式によれば、並列結合型ＲＮＮにおいてもＢＰ
法を学習則に採用できることが判る。
ト各段における教師信号と出力信号との関係を示したも
ので、図３は第１段目のユニットに関するものであり、
図４は第２段目のユニットに関するものであり、図５は
第３段目のユニットに関するものである。図３には教師
データに対するウィンドゥ幅の変更に伴う初期点の設定
による第１段目のユニットにおけるｔ＝０の時間的ずれ
が示されている。図４には初期点作動による評価関数の
基づく複合減衰正弦波の近似化が行われている様子が示
され、図５には更に複合減衰正弦波の近似化が進められ
た様子が示されている。これらの図３〜図５からは、こ
の学習方式によれば、並列結合型ＲＮＮにおいてもＢＰ
法を学習則に採用できることが判る。
【００２９】図６は、この学習方式の最終処理である合
成波形と原波形との関係を示したものである。図６から
は、最終的な合成波形においても、充分に学習できてい
ることが判る。
成波形と原波形との関係を示したものである。図６から
は、最終的な合成波形においても、充分に学習できてい
ることが判る。
【００３０】尚、実施例ではニューロ及び出力ニューロ
が対構成で完全結合されたユニットを３段並列接続した
例を示したが、本発明は出力ニューロを含むＮ個のニュ
ーロで完全結合されたユニットをＭ段用いる場合にも適
用可能である。
が対構成で完全結合されたユニットを３段並列接続した
例を示したが、本発明は出力ニューロを含むＮ個のニュ
ーロで完全結合されたユニットをＭ段用いる場合にも適
用可能である。
【００３１】
【発明の効果】以上に述べた通り、本発明によれば、完
全結合型ＲＮＮのユニットを複数並列接続した並列結合
型ＲＮＮにおいて、第２段目以降のユニットに関する教
師データのウィンドゥ幅を変更すると共に、各段におけ
る次段への移行を評価関数に従わせることにより、ＢＰ
法による学習を能力高く行い得るものとしている。特
に、ニューロ及び出力ニューロが完全結合されたユニッ
トを複数並列接続した並列結合型ＲＮＮの場合は、各ニ
ューロ間の結合数が少ないので、使用すべきコンピュー
タに対するメモリ数の減少化に寄付できる上、学習能力
も保証される為、コンピュータ業界に対して多大な貢献
が期待される。
全結合型ＲＮＮのユニットを複数並列接続した並列結合
型ＲＮＮにおいて、第２段目以降のユニットに関する教
師データのウィンドゥ幅を変更すると共に、各段におけ
る次段への移行を評価関数に従わせることにより、ＢＰ
法による学習を能力高く行い得るものとしている。特
に、ニューロ及び出力ニューロが完全結合されたユニッ
トを複数並列接続した並列結合型ＲＮＮの場合は、各ニ
ューロ間の結合数が少ないので、使用すべきコンピュー
タに対するメモリ数の減少化に寄付できる上、学習能力
も保証される為、コンピュータ業界に対して多大な貢献
が期待される。
【図１】本発明の一実施例に係る並列結合型ＲＮＮの基
本構成を示したものである。
本構成を示したものである。
【図２】図１に示す並列結合型ＲＮＮに係る学習アルゴ
リズムを示したフローチャートである。
リズムを示したフローチャートである。
【図３】図１に示す並列結合型ＲＮＮの第１段目ユニッ
トに係る教師信号と出力信号との関係を示した波形図で
ある。
トに係る教師信号と出力信号との関係を示した波形図で
ある。
【図４】図１に示す並列結合型ＲＮＮの第２段目ユニッ
トに係る教師信号と出力信号との関係を示した波形図で
ある。
トに係る教師信号と出力信号との関係を示した波形図で
ある。
【図５】図１に示す並列結合型ＲＮＮの第３段目ユニッ
トに係る教師信号と出力信号との関係を示した波形図で
ある。
トに係る教師信号と出力信号との関係を示した波形図で
ある。
【図６】図１に示す並列結合型ＲＮＮに係る合成波形と
原波形との関係を示した図である。
原波形との関係を示した図である。
【図７】従来のＲＮＮにおけるユニット構成を示した図
である。
である。
【図８】従来の完全結合型ＲＮＮの基本構成を示した図
である。
である。
【図９】従来の完全結合型ＲＮＮの基本構成（本発明に
も適用可能）を示した図である。
も適用可能）を示した図である。
Ｐ１、Ｐ２、Ｐ３ データアクセス端子
Claims (2)
- 【請求項１】 出力ニューロを含む複数のニューロを完
全結合して成るユニットを複数単位で並列続続して、構
成されると共に学習則に誤差逆伝搬法を用いた並列結合
型リカレントニューラルネットワークの学習方式であっ
て、前記誤差逆伝搬法は完全結合型リカレントニューラ
ルネットワークの状態方程式に基づいて、初期状態では
前記複数のユニットのうちの第１段目のユニットに関す
る出力信号と入力された教師信号との差で得られると共
に、第２段目のユニットで参照される教師データのウィ
ンドゥ幅を変更して初期点と成し、進行状態では該初期
点より作動し、各段における次段への移行を所定の評価
関数に従って該評価関数が所定の評価値未満である場合
に行うことを特徴とする並列結合型リカレントニューラ
ルネットワークの学習方式。 - 【請求項２】 出力ニューロを含む複数のニューロを完
全結合して成るユニットを複数単位で並列接続して、構
成されると共に誤差逆伝搬法を学習則とすることを特徴
とする並列型リカレントニューラルネットワーク。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5084976A JPH06301661A (ja) | 1993-04-13 | 1993-04-13 | 並列結合型リカレントニューラルネットワークの学習方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5084976A JPH06301661A (ja) | 1993-04-13 | 1993-04-13 | 並列結合型リカレントニューラルネットワークの学習方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06301661A true JPH06301661A (ja) | 1994-10-28 |
Family
ID=13845655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5084976A Pending JPH06301661A (ja) | 1993-04-13 | 1993-04-13 | 並列結合型リカレントニューラルネットワークの学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06301661A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030028992A (ko) * | 2001-10-05 | 2003-04-11 | 주식회사 거성전자통신 | 병렬 유선 접속 방식에 의한 어학 실습 장치 |
| CN110849627A (zh) * | 2019-11-27 | 2020-02-28 | 哈尔滨理工大学 | 一种宽度迁移学习网络及基于宽度迁移学习网络的滚动轴承故障诊断方法 |
-
1993
- 1993-04-13 JP JP5084976A patent/JPH06301661A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030028992A (ko) * | 2001-10-05 | 2003-04-11 | 주식회사 거성전자통신 | 병렬 유선 접속 방식에 의한 어학 실습 장치 |
| CN110849627A (zh) * | 2019-11-27 | 2020-02-28 | 哈尔滨理工大学 | 一种宽度迁移学习网络及基于宽度迁移学习网络的滚动轴承故障诊断方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5129039A (en) | Recurrent neural network with variable size intermediate layer | |
| JP3178884B2 (ja) | ニューラルネットワーク装置 | |
| US5455891A (en) | System and method for a learning neural network for generating random directions for weight changes | |
| Lee et al. | A neural-net approach to real time flow-shop sequencing | |
| JPH07114524A (ja) | 信号処理装置 | |
| WO2019160138A1 (ja) | 因果推定装置、因果推定方法、及びプログラム | |
| JPH076146A (ja) | 並列データ処理システム | |
| JPH04149663A (ja) | 逆モデル生成方法および該方法による制御システム | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| JPH05181828A (ja) | 知識情報処理装置 | |
| Cheng | Derivation of the backpropagation algorithm based on derivative amplification coefficients | |
| JPH06301663A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
| JPH05204885A (ja) | ニューラルネットワークの学習高速化装置及び方法 | |
| Tsoi et al. | Building MLP networks by construction | |
| JPH0749847A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH0430280A (ja) | ニューラルネットワークの学習方法 | |
| JPH0451386A (ja) | ニューラルネットワーク及びその構築方法 | |
| JP3608237B2 (ja) | ニューラルネットワークの学習装置 | |
| Stäger et al. | Improved training of neural networks with complex search spaces | |
| JPH04215171A (ja) | 情報処理装置 | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| JPH11175494A (ja) | ニューラルネットワーク |