JPH0460752A - ニューラルネットワークの学習装置 - Google Patents
ニューラルネットワークの学習装置Info
- Publication number
- JPH0460752A JPH0460752A JP2172051A JP17205190A JPH0460752A JP H0460752 A JPH0460752 A JP H0460752A JP 2172051 A JP2172051 A JP 2172051A JP 17205190 A JP17205190 A JP 17205190A JP H0460752 A JPH0460752 A JP H0460752A
- Authority
- JP
- Japan
- Prior art keywords
- weight
- value
- learning
- neural network
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Devices For Executing Special Programs (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
この発明は、ニューラルネットワークの学習時において
、シナプス結合の重みの値を外部より強制的に再設定す
ることができるニューラルネットワークの学習装置に関
する。
、シナプス結合の重みの値を外部より強制的に再設定す
ることができるニューラルネットワークの学習装置に関
する。
最近、誤差逆伝播学習方式によって学習する多層ニュー
ラルネットワークが、音声認識の分野や文字認識の分野
で利用されるようになってきている。従来、この分野に
おいてよく用いられているニューラルネットワークは３
層に代表される多層パーセプトロン型ニューラルネット
ワークである。 ３層パーセプトロン型ニューラルネットワークは、第２
図に示すように入力層２＋、中間層２２および出力層２
３の３層から構成されている。 上記入力層２１の各ユニット２５，２５．・と中間層２
２の各ユニット２６．２６．・と出力層２３の各ユニッ
ト２７．２７．・・・とはシナプス結合によって接続さ
れてネットワークを構成している。そして、入力層２１
のユニット２５，２５．・に入力データが入力されると
、このネットワークの構造に応じた出力データを出力層
２３のユニット２７２７・から出力するのである。上記
各ユニットは、他のユニットからの入力を受は取る部分
と、入力されたデータを所定の規ａｌｌで変換する部分
と、変換した結果を上層を構成するユニットへ出力する
部分とから成る。そして、他のユニットとのシナプス結
合部には結合の強さを表す重みが付加されている。この
重みは、ユニット間の結合の強さを表すものであり、こ
の結合重みの値を変えるとネットワークの構造が変わり
、同じ入力データに対して異なる出力値を出力す゛るよ
うになるのである。 上記ニューラルネットワークの学Ｒとは、既知のカテゴ
リに属する学習データを入力層２１のユニット２５．２
５．・・・に与える一方、上記入力データが属するカテ
ゴリを表すような教師データを出力層２３のユニット２
７，２７．・・・に呈示して、教師データと同じデータ
を出力するように結合の重みを設定することである。こ
のような学習は誤差逆伝播法によって行われる。 こうして学習されたニューラルネットワークはある認識
対象の特徴パターンを表すような入力データを入力ｌ９
２１のユニット２５．２５．・・に入力したときに、こ
の入力データが属するカテゴリを表すようなデータを出
力層２３のユニット２７゜２７、・・・から出力するの
である。したがって、この出力データによって表される
カテゴリに基づいて、上記入力データ（すなわち、特徴
パターン）が属するカテゴリを正しく識別できるのであ
る。 上述のような３層パーセプトロン型のニューラルネット
ワークにおける中間層２２のユニット２６．２６．・・
・の数は試行錯誤によって決定されるので、中間層２２
のユニット数は認識の精度等を考慮して予想される必要
数よりもかなり多く設定されるのが普通である。そのた
め、ニューラルネットワーク全体の計算時間が長くなっ
たり、学習や認識にあまり影響しないユニットが生じ、
学習や認識の効率が悪くなるという問題がある。 そこで、先に本発明者は、第４図に示すようなニューラ
ルネットワークの学習の際における学習の進行状況を監
視するモニター４を有するニューラルネットワークの学
習装置を提案した（特願平１−５２６８４）。 このニューラルネットワークの学習装置においては、ニ
ューラルネットワークの中間層２の各ユニットにおける
入力層ｌの全ユニットとのシナプス結合部に付加された
結合重みＷｄおよび出力層３の各ユニットにおける中間
層２の全ユニットとのシナプス結合部に付加された結合
重みＷｕの値、出力層３の各ユニットからの出力データ
および教師データが学習装置のモニター４に入力され、
ニューラルネットワークの学習過程における結合重みＷ
ｄ 、 Ｗ ｕの値が監視される。そして、例えば、
学習が収束に近付いた際に学習に影響しないユニットか
ある場合や、学習が収束に近付いた際に類似した結合重
みの値を呈しているユニットがある場合や、学習が収束
しない状態で類似した結合重みの値を呈しているユニッ
トがある場合に、そのユニットに係る結合重みＷｄ、Ｗ
ｕの値を零にして、学習の効率を良くすると共に中間層
２のユニット数を最適に設定し直して最適なニューラル
ネットワークの構造を決定するのである。第４図におい
ては、第２図に示す３層パーセブトロン型ニューラルネ
ットワークの各層内の各ユニット、各ユニット間の接続
、結合重みＷｄ、Ｗｕ、入力データおよび出力データを
簡略化して表現している。
ラルネットワークが、音声認識の分野や文字認識の分野
で利用されるようになってきている。従来、この分野に
おいてよく用いられているニューラルネットワークは３
層に代表される多層パーセプトロン型ニューラルネット
ワークである。 ３層パーセプトロン型ニューラルネットワークは、第２
図に示すように入力層２＋、中間層２２および出力層２
３の３層から構成されている。 上記入力層２１の各ユニット２５，２５．・と中間層２
２の各ユニット２６．２６．・と出力層２３の各ユニッ
ト２７．２７．・・・とはシナプス結合によって接続さ
れてネットワークを構成している。そして、入力層２１
のユニット２５，２５．・に入力データが入力されると
、このネットワークの構造に応じた出力データを出力層
２３のユニット２７２７・から出力するのである。上記
各ユニットは、他のユニットからの入力を受は取る部分
と、入力されたデータを所定の規ａｌｌで変換する部分
と、変換した結果を上層を構成するユニットへ出力する
部分とから成る。そして、他のユニットとのシナプス結
合部には結合の強さを表す重みが付加されている。この
重みは、ユニット間の結合の強さを表すものであり、こ
の結合重みの値を変えるとネットワークの構造が変わり
、同じ入力データに対して異なる出力値を出力す゛るよ
うになるのである。 上記ニューラルネットワークの学Ｒとは、既知のカテゴ
リに属する学習データを入力層２１のユニット２５．２
５．・・・に与える一方、上記入力データが属するカテ
ゴリを表すような教師データを出力層２３のユニット２
７，２７．・・・に呈示して、教師データと同じデータ
を出力するように結合の重みを設定することである。こ
のような学習は誤差逆伝播法によって行われる。 こうして学習されたニューラルネットワークはある認識
対象の特徴パターンを表すような入力データを入力ｌ９
２１のユニット２５．２５．・・に入力したときに、こ
の入力データが属するカテゴリを表すようなデータを出
力層２３のユニット２７゜２７、・・・から出力するの
である。したがって、この出力データによって表される
カテゴリに基づいて、上記入力データ（すなわち、特徴
パターン）が属するカテゴリを正しく識別できるのであ
る。 上述のような３層パーセプトロン型のニューラルネット
ワークにおける中間層２２のユニット２６．２６．・・
・の数は試行錯誤によって決定されるので、中間層２２
のユニット数は認識の精度等を考慮して予想される必要
数よりもかなり多く設定されるのが普通である。そのた
め、ニューラルネットワーク全体の計算時間が長くなっ
たり、学習や認識にあまり影響しないユニットが生じ、
学習や認識の効率が悪くなるという問題がある。 そこで、先に本発明者は、第４図に示すようなニューラ
ルネットワークの学習の際における学習の進行状況を監
視するモニター４を有するニューラルネットワークの学
習装置を提案した（特願平１−５２６８４）。 このニューラルネットワークの学習装置においては、ニ
ューラルネットワークの中間層２の各ユニットにおける
入力層ｌの全ユニットとのシナプス結合部に付加された
結合重みＷｄおよび出力層３の各ユニットにおける中間
層２の全ユニットとのシナプス結合部に付加された結合
重みＷｕの値、出力層３の各ユニットからの出力データ
および教師データが学習装置のモニター４に入力され、
ニューラルネットワークの学習過程における結合重みＷ
ｄ 、 Ｗ ｕの値が監視される。そして、例えば、
学習が収束に近付いた際に学習に影響しないユニットか
ある場合や、学習が収束に近付いた際に類似した結合重
みの値を呈しているユニットがある場合や、学習が収束
しない状態で類似した結合重みの値を呈しているユニッ
トがある場合に、そのユニットに係る結合重みＷｄ、Ｗ
ｕの値を零にして、学習の効率を良くすると共に中間層
２のユニット数を最適に設定し直して最適なニューラル
ネットワークの構造を決定するのである。第４図におい
ては、第２図に示す３層パーセブトロン型ニューラルネ
ットワークの各層内の各ユニット、各ユニット間の接続
、結合重みＷｄ、Ｗｕ、入力データおよび出力データを
簡略化して表現している。
しかしながら、上述のような結合重みＷ ｕ 、 Ｗ
ｄの値を監視して、学習の状態に応じて結合重みＷｕ。 Ｗｄの値を零にするようなニューラルネットワークの学
習装置の場合には、モニター４によって監視できる結合
重みＷｕ、Ｗｄの値はある学習時点における結合重みＷ
ｕ、Ｗｄの値に限られている。したがって、上述のよう
な学習に影響しないユニットや類似した結合重みの値を
呈しているユニットの存在は、現在の学習時点における
結合重みＷｕ。 Ｗｄの値に基づいて判定されるのである。 ところが、学習時における学習の進行状況は、その学習
時点の結合重みＷｕ、Ｗｄの値のみならず結合重みＷｕ
、Ｗｄの値の履歴との兼合いによって表されるものであ
る。したかつて、ある学習時点における結合重みＷｕ
、Ｗｄの値のみては適確に学習の進行状況を判定できな
いという問題がある。 そこで、この発明の目的は、ニューラルネットワークの
学習時におけるシナプス結合の重みの値の履歴に基づい
て学習の進行状況を監視し、学習過程において設定され
た結合重みの値を必要に応じて再設定できるニューラル
ネットワークの学習装置を提供することにある。
ｄの値を監視して、学習の状態に応じて結合重みＷｕ。 Ｗｄの値を零にするようなニューラルネットワークの学
習装置の場合には、モニター４によって監視できる結合
重みＷｕ、Ｗｄの値はある学習時点における結合重みＷ
ｕ、Ｗｄの値に限られている。したがって、上述のよう
な学習に影響しないユニットや類似した結合重みの値を
呈しているユニットの存在は、現在の学習時点における
結合重みＷｕ。 Ｗｄの値に基づいて判定されるのである。 ところが、学習時における学習の進行状況は、その学習
時点の結合重みＷｕ、Ｗｄの値のみならず結合重みＷｕ
、Ｗｄの値の履歴との兼合いによって表されるものであ
る。したかつて、ある学習時点における結合重みＷｕ
、Ｗｄの値のみては適確に学習の進行状況を判定できな
いという問題がある。 そこで、この発明の目的は、ニューラルネットワークの
学習時におけるシナプス結合の重みの値の履歴に基づい
て学習の進行状況を監視し、学習過程において設定され
た結合重みの値を必要に応じて再設定できるニューラル
ネットワークの学習装置を提供することにある。
上記目的を達成するため、第１の発明は、学習過程にお
いて設定されたニューラルネットワークの各ユニット間
のシナプス結合の重みの値を監視し、あるシナプス結合
の重みの値が所定の条件を満たす場合にはその重みの値
を所定の値に再設定するニューラルネットワークの学習
装置において、上記学習過程において設定された各シナ
プス結合の重みの値の履歴を格納する重み履歴格納部と
、上記重み履歴格納部に格納された各シナプス結合の重
みの値を読み出して、現在の学習の直前における所定回
数の学習に係る各シナプス結合の重みの値の時系列が所
定の条件に当て嵌まるか否かを判別し、上記所定の条件
に当て嵌まるような重みの値を呈するシナプス結合があ
る場合には、以後の学習における当該シナプス結合の重
みの値を所定値に固定するための指示信号を出力する制
御部と、上記制御部からの指示信号に基づいて、以後の
学習過程において設定される当該シナプス結合の重みの
値を上記所定値に再設定する重み設定部を備えたことを
特徴としている。 また、第２の発明は、上記第１の発明のニューラルネッ
トワークの学習装置において、上記制御部から出力され
る上記指示信号に基づいて動作を開始して、シナプス結
合の重みの値を所定値に固定しておく期間を計時する計
時手段を備えて、上記重み設定部は、上記制御部からの
指示信号に基づいてあるシナプス結合の重みの値を所定
値に固定する際に、上記計時手段によって計時される期
間内に各学習過程において設定される当該シナプス結合
の重みの値を上記所定値に再設定することを特徴として
いる。 また、第３の発明は、上記第１の発明または第２の発明
のニューラルネットワークの学習装置において、上記制
御部は、ある／ナプス結合の重みの値が所定期間更新さ
れていない状態や一定値を境にして振動している状態を
所定の方法によって検知した場合に上記指示信号を出力
することを特徴としている。
いて設定されたニューラルネットワークの各ユニット間
のシナプス結合の重みの値を監視し、あるシナプス結合
の重みの値が所定の条件を満たす場合にはその重みの値
を所定の値に再設定するニューラルネットワークの学習
装置において、上記学習過程において設定された各シナ
プス結合の重みの値の履歴を格納する重み履歴格納部と
、上記重み履歴格納部に格納された各シナプス結合の重
みの値を読み出して、現在の学習の直前における所定回
数の学習に係る各シナプス結合の重みの値の時系列が所
定の条件に当て嵌まるか否かを判別し、上記所定の条件
に当て嵌まるような重みの値を呈するシナプス結合があ
る場合には、以後の学習における当該シナプス結合の重
みの値を所定値に固定するための指示信号を出力する制
御部と、上記制御部からの指示信号に基づいて、以後の
学習過程において設定される当該シナプス結合の重みの
値を上記所定値に再設定する重み設定部を備えたことを
特徴としている。 また、第２の発明は、上記第１の発明のニューラルネッ
トワークの学習装置において、上記制御部から出力され
る上記指示信号に基づいて動作を開始して、シナプス結
合の重みの値を所定値に固定しておく期間を計時する計
時手段を備えて、上記重み設定部は、上記制御部からの
指示信号に基づいてあるシナプス結合の重みの値を所定
値に固定する際に、上記計時手段によって計時される期
間内に各学習過程において設定される当該シナプス結合
の重みの値を上記所定値に再設定することを特徴として
いる。 また、第３の発明は、上記第１の発明または第２の発明
のニューラルネットワークの学習装置において、上記制
御部は、ある／ナプス結合の重みの値が所定期間更新さ
れていない状態や一定値を境にして振動している状態を
所定の方法によって検知した場合に上記指示信号を出力
することを特徴としている。
第１の発明では、ニューラルネットワークの学習過程に
おいて、所定の手順によって各ユニット間のシナプス結
合の重みの値が設定される。そして、この各学習毎に設
定された各シナプス結合の重みの値が重み履歴格納部に
入力され、その結果各シナプス結合の重みの値の履歴が
上記重み履歴格納部に格納される。そうすると、上記重
み履歴格納部に格納された各シナプス結合の重みの値が
制御部に読み出され、現在の学習の直前における所定回
数の学習に係る各シナプス結合の重みの値の時系列が所
定の条件に当て嵌まるか否かが判別される。そして、上
記所定の条件に当て嵌まるような重みの値を呈するシナ
プス結合がある場合には、以後の学習における当該シナ
プス結合の重みの値を所定値に固定するための指示信号
が出力される。そうすると、重み設定部は、上記制御部
からの指示信号に基づいて、以後の学習過程において設
定される当該シナプス結合の重みの値を上記所定値に再
設定する。 したがって、現在の学習の直前における所定回数の学習
に係るシナプス結合の重みの値の履歴に基づいて学習の
進行状況が監視され、学習過程において設定されるシナ
プス結合の重みの値が必要に応じて上記所定値に固定さ
れる。 また、第２の発明では、上記第１の発明における上記制
御部から以後の学習におけるあるシナプス結合の重みの
値を所定値に固定するための指示信号か出力されると、
計時手段が動作を開始して当該シナプス結合の重みの値
を上記所定値に固定しておく期間が計時される。そして
、上記重み設定部によって、上記計時手段によって計時
される期間内に各学習過程において設定される当該シナ
プス結合の重みの値か上記所定値に再設定される。 し１＝かって、現在の学習の直航における所定回数の学
とに係るシナプス結合の重みの値の履歴に基づいて学習
の進行状況が監視され、学習過程において設定される重
みの値が必要に応じて上記計時手段によって計時される
期間たけ上記所定値に固定される。 また、第３の発明では、上記第１または第２の発明にお
ける制御部は、あるシナプス結合の重みの値が所定期間
更新されない状態や一定値を境にして振動している状態
を所定の方法によって検知した場合に上記指示信号を出
力する。 したかって、現在の学習の直前における所定回数の学習
に係るシナプス結合の重みの値の履歴に基づいて学習の
進行状況が監視され、あるシナプス結合に係る学習が局
所最適解に陥っている場合にはそのシナプス結合に係る
学習を停止して学習の進行が図られる。
おいて、所定の手順によって各ユニット間のシナプス結
合の重みの値が設定される。そして、この各学習毎に設
定された各シナプス結合の重みの値が重み履歴格納部に
入力され、その結果各シナプス結合の重みの値の履歴が
上記重み履歴格納部に格納される。そうすると、上記重
み履歴格納部に格納された各シナプス結合の重みの値が
制御部に読み出され、現在の学習の直前における所定回
数の学習に係る各シナプス結合の重みの値の時系列が所
定の条件に当て嵌まるか否かが判別される。そして、上
記所定の条件に当て嵌まるような重みの値を呈するシナ
プス結合がある場合には、以後の学習における当該シナ
プス結合の重みの値を所定値に固定するための指示信号
が出力される。そうすると、重み設定部は、上記制御部
からの指示信号に基づいて、以後の学習過程において設
定される当該シナプス結合の重みの値を上記所定値に再
設定する。 したがって、現在の学習の直前における所定回数の学習
に係るシナプス結合の重みの値の履歴に基づいて学習の
進行状況が監視され、学習過程において設定されるシナ
プス結合の重みの値が必要に応じて上記所定値に固定さ
れる。 また、第２の発明では、上記第１の発明における上記制
御部から以後の学習におけるあるシナプス結合の重みの
値を所定値に固定するための指示信号か出力されると、
計時手段が動作を開始して当該シナプス結合の重みの値
を上記所定値に固定しておく期間が計時される。そして
、上記重み設定部によって、上記計時手段によって計時
される期間内に各学習過程において設定される当該シナ
プス結合の重みの値か上記所定値に再設定される。 し１＝かって、現在の学習の直航における所定回数の学
とに係るシナプス結合の重みの値の履歴に基づいて学習
の進行状況が監視され、学習過程において設定される重
みの値が必要に応じて上記計時手段によって計時される
期間たけ上記所定値に固定される。 また、第３の発明では、上記第１または第２の発明にお
ける制御部は、あるシナプス結合の重みの値が所定期間
更新されない状態や一定値を境にして振動している状態
を所定の方法によって検知した場合に上記指示信号を出
力する。 したかって、現在の学習の直前における所定回数の学習
に係るシナプス結合の重みの値の履歴に基づいて学習の
進行状況が監視され、あるシナプス結合に係る学習が局
所最適解に陥っている場合にはそのシナプス結合に係る
学習を停止して学習の進行が図られる。
以下、この発明を図示の実施例により詳細に説明する。
本実施例は、通常の誤差逆伝播学習によって設定された
ニューラルネットワークのシナプス結合の重みの値が所
定期間更新されていない場合や一定値を境にして振動し
ている場合には、以後の所定回数の学習期間において設
定される結合重みの値を固定することによって学習の進
行を図るものである。 第１図はこの発明に係るニューラルネットワークの学習
装置のブロック図である。ニューラルネットワークの学
習とは、上述のように既知のカテゴリに属する学習デー
タをニューラルネットワークの入力層の各ユニットに与
える一方、上記学Ｅデータが属するカテゴリを表すよう
な教師データを出力層の各ユニットに呈示して、教師デ
ータと同じデータを出力するように結合の重みを設定す
ることである。したがって、ニューラルネットワークの
学習装置には、ニューラルネットワークの出力層の各ユ
ニットからの出力データと教師データとの誤差を算出し
、この算出された誤差の値に基づいて各結合重みの値を
設定するという機能を有している。 以下、このようなニューラルネットワークの学習装置本
来の機能によるシナプス結合の重みの値の設定を通常学
習と言う。これに対して、本実施例において説明される
、上記通常学習によって設定されたシナプス結合の重み
の値の再設定（固定）を再学習と言う。また、単に学習
という場合には、通常学習および再学習の再学習を実施
するような学習を指す。 第１図に示すニューラルネットワークの学習装置は、上
述のようなニューラルネットワークの学習装置としての
本来の機能（すなわち、通常学習機能）に係る部位は省
略し、上記再学習に係る部位のみを記載している。また
、このニューラルネットワークの学習装置によって学習
される多層パーセブトロン型ニューラルネットワークは
、ニューラルネットワークを構成する各層を任意の上層
１８とその上層１８に対する下層１９とで代表して表現
している。さらに、上記上層１８を構成する各ユニット
および下層１９を構成する各ユニット、各ユニット間の
接続を省略して表現している。そして、上層１８の各ユ
ニットと下層１９の各ユニット間のシナプス結合の結合
重みは、上層１８のｉ番目のユニットと下層１９のｊ番
目のユニットとの間のシナプス結合における結合重みＷ
ｌｊによって代表して表現している。 上記ニューラルネットワークの学習装置は重み管理部１
１１重み履歴メモリ１２およびロック解除カウンタ１３
を有している。ニューラルネットワークの結合重みＷｉ
ｊの値は、上述の誤差逆伝播学習による上記通常学習に
よって、１回の学習データおよび教師データの入力毎に
（すなわち、１回の学習毎に）、入力された学習データ
に係る出力データの値か教師データの値に近付くように
設定される。こうし、て、設定された各学習毎の結合重
みの値Ｗｌｊは重み履歴メモリ１２に順次格納される。 したがって、重み履歴メモリ１２には各結合重みの履歴
が格納されることになる。 上記重み管理部１１は、ニューラルネットワークに学習
データが入力される毎に起動されて次のような結合重み
のチエツクを行なう。すなわち、重み履歴メモリ１２に
格納されたニューラルネットワークの上層１８のｉ番目
のユニットと下層１９のｊ番目のユニットとの間の結合
重みＷＩＪの値の履歴に基づいて、前回の学習時までの
所定回数の学習における結合重みＷｌｊの値の平均値を
算出する。そして、上記ロック解除カウンタ１３の内容
に応じて、上記結合重みＷｉｊの平均値が所定の条件を
満たす場合には、以降の各学習過程において設定される
結合重みＷｉｊの値を所定学習回数だけ所定値に固定す
るのである。 上記重み管理部１１は、重み入力部１４．演算部１５．
制御部１６および重み設定部１７から構成される。 上記重み入力部１４は、上層１８のｉ番目のユニットと
下層１９のｊ番目のシナプス結合に付加された結合重み
Ｗｌｊの現在の通常学習（を回目の学習とする）におい
て設定された値（以下、結合重みＷ （ｔ）と略記する
）を読み取り、この読み取った結合重みＷｉｊの値Ｗ
（ｔ）を演算部１５に送出すると共に、重み履歴メモリ
１２に格納する。演算部１５は重み履歴メモリ１２から
読み出した結合重みＷｉｊの履歴から、学習回数（ｔ−
Ｔ）から学習回数（ｔ−１）までの結合重みＷｉｊの平
均値ａｖｅＷを算出する。 そして、算出結果を重み入力部１４から入力された結合
重みＷｉｊの値Ｗ （ｔ）と共に制御部１６に送出する
。 上記制御部Ｉ６は、ロック解除カウンタ１３の内容が“
０°であって、演算部１５から入力された結合重みＷｌ
ｊの値Ｗ（ｔ）と平均値ａｖｅＷの値とに基づいて、後
に詳述するようにして結合重みＷｌｊの値が所定期間更
新されていない状態または一定値を境にして振動してい
る状態を検知する。そして、上述の状態を検知した場合
には、結合重みＷｌｊの値を所定学習回数だけ値Ｗ （
ｔ）にロックするために、ロック解除カウンタ１３を所
定値にセットする。そうすると、重み設定部１７は、ロ
ック解除カウンタ１３の内容が“０°になるまで、各通
常学習毎に設定される結合重みＷｌｊの値をｔ回目の通
常学習における結合重みの値Ｗ （ｔ）に再設定し続け
る。こうすることによって、所定学習回数だけ結合重み
Ｗｌｊの値か値Ｗ （ｔ）に固定されるのである。すな
わち、上記ロック解除カウンタ１３によって計時手段を
構成するのである。 一方、ロック解除カウンタ１３の内容が“０”であって
、結合重みＷｌｊの値が所定期間更新されていない状態
または一定値を境にして振動している状態を検知しない
場合には何もしない。したがって、その場合にはロック
解除カウンタ１３の内容は“０”のままであり、重み設
定部１７は結合重みＷｉｊの値を再設定しない。つまり
、結合重みＷｉｊの値は、誤差逆伝播学習による通常学
習時に設定された値に保持されるのである。 上述のように、結合重みＷｉｊの値が所定期間更新され
ていない場合や一定値を境にして振動している場合には
、その結合重みＷＩＪに係る学習が局所最適解に陥って
いると考えられる。そこで、そのような場合には、上述
のように結合重みＷｉｊの値を固定して学習を一時停止
することによって、そのような状態から脱出できるので
ある。 第３図は上記制御部１６の制御に基づいて実施される一
回の再学習に係る重み制御処理動作のフローチャートで
ある。以下、第３図に従って重み制御処理動作について
詳細に説明する。 ここで、 ＷＱ）＋ を回目の通常学習によって設定されたノナプ
ス結合の結合重みＷｉｊの値 Ｃｎｔ：ロツク解除カウンタ１３の内容（初期値は“０
”） ＣＭＡＸ ：結合重みＷｉｊの値を固定しておく期間（
学習回数） ａｖｅＷ ： （ｔ−Ｔ）回目の学習から（ｔ−１）回
目の学習までの各学習による結合重みＷｉｊ の値の平均値 Ａ 定数 ＷＩＩｌｅＩｎ、変数 とする。 ステップＳ１で、ロック解除カウンタ１３の内容Ｃｎｔ
が“０″であるか否かが判別される。その結果、“０”
であれば結合重みＷＩＪの値を固定する必要が無いとし
てステップＳ２に進む。一方、そうでなければステップ
Ｓ７に進む。 ステップＳ２で、現在の（を回目の）通常学習において
設定された結合重みＷｉｊの値Ｗ （ｔ）が読み出され
る。 ステップＳ３で、重み履歴メモリ１２に格納された（ｔ
−Ｔ）回目の学習から（ｔ−１）回目の学習までの各学
習に係る結合重みＷｌｊの値が読み出され、読み出され
た結合重みの値の平均値ａｖｅＷが算出される。 ステップＳ４で、を回目の通常学習に係る結合重みＷｉ
ｊの値ＷＱ）と平均値ａｖｅＷとの差の絶対値か定数Ａ
より小さいか否かが判別される。その結果、定数Ａより
小さい場合には、結合重みＷｉｊの値が所定期間（Ｔ回
の学習期間）更新されていない状態または一定値（ａｖ
ｅＷ）を境にして振動している状態であるとしてステッ
プＳ５に進み、結合重みＷｉｊの値を固定する動作に入
る。 一方、定数Ａ以上である場合には一回の再学習に係る重
み制御処理動作を終了する。すなわち、を回目までの通
常学習は順調に進行し、を回目の通常学習によって設定
された結合重みＷｉｊの値Ｗ （ｔ）は有効であるので
、結合重みＷｉｊの値をそのまま値Ｗ （ｔ）に保持し
ておくのである。 ステップＳ５で、変数Ｗｍｅｍの内容がｔ回目の通常学
習に係る結合重みＷｉｊの値Ｗ （ｔ）に更新される。 ステップＳ６で、ロック解除カウンタ１３の内容Ｃｎｔ
がＣＭＡＸに更新されて一回の再学習に係る重み制御処
理動作を終了する。 ステップＳ７で、通常学習によって設定された結合重み
ＷＩＪの値を固定する上記再学習の処理動作に入り、ま
ずロック解除カウンタ１３の内容Ｃｎｔがデクリメント
される。 ステップＳ８で、変数Ｗｍｅｍの内容が重み設定部１７
から出力されて、通常学習によって設定された結合重み
Ｗｉｊの値が変数Ｗｆｆｌｅｍの内容に再設定されて一
回の再学習に係る重み制御処理動作を終了する。 このような結合重みＷｉＪの値の再設定処理動作をロッ
ク解除カウンタ１３の内容が“０゛になるまで繰り返す
ことによって、ＣＭＡＸ回の学習期間だけ結合重みＷｉ
ｊの値が値Ｗ （ｔ）に固定されるのである。そして、
ＣＭＡＸ回の学習期間が経過するとロック解除カウンタ
１３の内容が“０”となって、結合重みＷｉｊの値は誤
差逆伝播学習による通常学習によって設定された値を保
持するようになるのである。 上述のように、本実施例においては、重み履歴メモリ１
２に格納された（ｔ−Ｔ）回目の学習から（１−ｌ）回
目の学習までの各学Ｈによる結合重みＷｉｊの値に基づ
いて、演算部１５によって平均値ａｖｅＷを算出する。 そうすると、制御部１６は、ロック解除カウンタ１３の
内容が“０”であって、重み入力部１４から入力された
ｔ回目の通常学習によって設定された結合重みＷｌｊの
値Ｗ （ｔ）と演算部１５によって算出された平均値ａ
ｖｅＷとの差の絶対値が定数Ａより小さい場合には、ロ
ック解除カウンタ１３の内容を所定値ＣＭＡＸに設定す
る。 こうすることによって、次回の学習からロック解除カウ
ンタ１３の内容が“０”になるまで、すなわち、ＣＭＡ
Ｘ回の学習期間だけ、通常学習によって設定された結合
重みＷｉｊの値が重み設定部１７によって値Ｗ（ｔ）に
再設定され、ＣＭＡＸ回の学習期間だけ結合重みＷｌｊ
の値が値Ｗ （ｔ）に固定されるのである。 したがって、を回目の通常学習によって設定された結合
重みＷｉｊの値Ｗ（ｔ）と直前のＴ回の学習による結合
重みＷｉｊの平均値ａｖｅＷとの差の絶対値が定数Ａよ
り小さい場合、すなわち、結合重みＷｉｊに係る学習が
局所最適解に陥っているような場合には、ＣＭＡＸ回の
学習期間だけ結合重みＷｉｊに係る学習を停止すること
によって、局所最適解からの脱出を図ることができるの
である。 換言すれば、（ｔ−Ｔ）回目、の学習から（ｔ−１）回
目の学習までの各学習による結合重みＷｉｊの値の履歴
に基づいて学習の進行状況を適確に判定して、必要に応
じて結合重みＷＩＪの値を再設定できるのである。 この発明における結合重みＷｌｊの値か所定期間更新さ
れていない状態または結合重みＷｌｊの一定値を境にし
て振動している状態の検知のアルゴリズムは上記実施例
におけるアルゴリズムに限定されるものではない。 上記実施例においては、３層パーセプトロン型ニューラ
ルネットワークにおける学習を例にして説明している。 しかしながら、この発明はこれに限定されるものではな
く、４層以上のパーセプトロン型ニューラルネットワー
クであっても構わない。 上記実施例においては、この発明のニューラルネットワ
ークの学習装置をパーセブトロン型ニューラルネットワ
ークの学習に適用した場合を例にして説明しているが、
他のニューラルネットワークに適用しても何等差し支え
ない。
ニューラルネットワークのシナプス結合の重みの値が所
定期間更新されていない場合や一定値を境にして振動し
ている場合には、以後の所定回数の学習期間において設
定される結合重みの値を固定することによって学習の進
行を図るものである。 第１図はこの発明に係るニューラルネットワークの学習
装置のブロック図である。ニューラルネットワークの学
習とは、上述のように既知のカテゴリに属する学習デー
タをニューラルネットワークの入力層の各ユニットに与
える一方、上記学Ｅデータが属するカテゴリを表すよう
な教師データを出力層の各ユニットに呈示して、教師デ
ータと同じデータを出力するように結合の重みを設定す
ることである。したがって、ニューラルネットワークの
学習装置には、ニューラルネットワークの出力層の各ユ
ニットからの出力データと教師データとの誤差を算出し
、この算出された誤差の値に基づいて各結合重みの値を
設定するという機能を有している。 以下、このようなニューラルネットワークの学習装置本
来の機能によるシナプス結合の重みの値の設定を通常学
習と言う。これに対して、本実施例において説明される
、上記通常学習によって設定されたシナプス結合の重み
の値の再設定（固定）を再学習と言う。また、単に学習
という場合には、通常学習および再学習の再学習を実施
するような学習を指す。 第１図に示すニューラルネットワークの学習装置は、上
述のようなニューラルネットワークの学習装置としての
本来の機能（すなわち、通常学習機能）に係る部位は省
略し、上記再学習に係る部位のみを記載している。また
、このニューラルネットワークの学習装置によって学習
される多層パーセブトロン型ニューラルネットワークは
、ニューラルネットワークを構成する各層を任意の上層
１８とその上層１８に対する下層１９とで代表して表現
している。さらに、上記上層１８を構成する各ユニット
および下層１９を構成する各ユニット、各ユニット間の
接続を省略して表現している。そして、上層１８の各ユ
ニットと下層１９の各ユニット間のシナプス結合の結合
重みは、上層１８のｉ番目のユニットと下層１９のｊ番
目のユニットとの間のシナプス結合における結合重みＷ
ｌｊによって代表して表現している。 上記ニューラルネットワークの学習装置は重み管理部１
１１重み履歴メモリ１２およびロック解除カウンタ１３
を有している。ニューラルネットワークの結合重みＷｉ
ｊの値は、上述の誤差逆伝播学習による上記通常学習に
よって、１回の学習データおよび教師データの入力毎に
（すなわち、１回の学習毎に）、入力された学習データ
に係る出力データの値か教師データの値に近付くように
設定される。こうし、て、設定された各学習毎の結合重
みの値Ｗｌｊは重み履歴メモリ１２に順次格納される。 したがって、重み履歴メモリ１２には各結合重みの履歴
が格納されることになる。 上記重み管理部１１は、ニューラルネットワークに学習
データが入力される毎に起動されて次のような結合重み
のチエツクを行なう。すなわち、重み履歴メモリ１２に
格納されたニューラルネットワークの上層１８のｉ番目
のユニットと下層１９のｊ番目のユニットとの間の結合
重みＷＩＪの値の履歴に基づいて、前回の学習時までの
所定回数の学習における結合重みＷｌｊの値の平均値を
算出する。そして、上記ロック解除カウンタ１３の内容
に応じて、上記結合重みＷｉｊの平均値が所定の条件を
満たす場合には、以降の各学習過程において設定される
結合重みＷｉｊの値を所定学習回数だけ所定値に固定す
るのである。 上記重み管理部１１は、重み入力部１４．演算部１５．
制御部１６および重み設定部１７から構成される。 上記重み入力部１４は、上層１８のｉ番目のユニットと
下層１９のｊ番目のシナプス結合に付加された結合重み
Ｗｌｊの現在の通常学習（を回目の学習とする）におい
て設定された値（以下、結合重みＷ （ｔ）と略記する
）を読み取り、この読み取った結合重みＷｉｊの値Ｗ
（ｔ）を演算部１５に送出すると共に、重み履歴メモリ
１２に格納する。演算部１５は重み履歴メモリ１２から
読み出した結合重みＷｉｊの履歴から、学習回数（ｔ−
Ｔ）から学習回数（ｔ−１）までの結合重みＷｉｊの平
均値ａｖｅＷを算出する。 そして、算出結果を重み入力部１４から入力された結合
重みＷｉｊの値Ｗ （ｔ）と共に制御部１６に送出する
。 上記制御部Ｉ６は、ロック解除カウンタ１３の内容が“
０°であって、演算部１５から入力された結合重みＷｌ
ｊの値Ｗ（ｔ）と平均値ａｖｅＷの値とに基づいて、後
に詳述するようにして結合重みＷｌｊの値が所定期間更
新されていない状態または一定値を境にして振動してい
る状態を検知する。そして、上述の状態を検知した場合
には、結合重みＷｌｊの値を所定学習回数だけ値Ｗ （
ｔ）にロックするために、ロック解除カウンタ１３を所
定値にセットする。そうすると、重み設定部１７は、ロ
ック解除カウンタ１３の内容が“０°になるまで、各通
常学習毎に設定される結合重みＷｌｊの値をｔ回目の通
常学習における結合重みの値Ｗ （ｔ）に再設定し続け
る。こうすることによって、所定学習回数だけ結合重み
Ｗｌｊの値か値Ｗ （ｔ）に固定されるのである。すな
わち、上記ロック解除カウンタ１３によって計時手段を
構成するのである。 一方、ロック解除カウンタ１３の内容が“０”であって
、結合重みＷｌｊの値が所定期間更新されていない状態
または一定値を境にして振動している状態を検知しない
場合には何もしない。したがって、その場合にはロック
解除カウンタ１３の内容は“０”のままであり、重み設
定部１７は結合重みＷｉｊの値を再設定しない。つまり
、結合重みＷｉｊの値は、誤差逆伝播学習による通常学
習時に設定された値に保持されるのである。 上述のように、結合重みＷｉｊの値が所定期間更新され
ていない場合や一定値を境にして振動している場合には
、その結合重みＷＩＪに係る学習が局所最適解に陥って
いると考えられる。そこで、そのような場合には、上述
のように結合重みＷｉｊの値を固定して学習を一時停止
することによって、そのような状態から脱出できるので
ある。 第３図は上記制御部１６の制御に基づいて実施される一
回の再学習に係る重み制御処理動作のフローチャートで
ある。以下、第３図に従って重み制御処理動作について
詳細に説明する。 ここで、 ＷＱ）＋ を回目の通常学習によって設定されたノナプ
ス結合の結合重みＷｉｊの値 Ｃｎｔ：ロツク解除カウンタ１３の内容（初期値は“０
”） ＣＭＡＸ ：結合重みＷｉｊの値を固定しておく期間（
学習回数） ａｖｅＷ ： （ｔ−Ｔ）回目の学習から（ｔ−１）回
目の学習までの各学習による結合重みＷｉｊ の値の平均値 Ａ 定数 ＷＩＩｌｅＩｎ、変数 とする。 ステップＳ１で、ロック解除カウンタ１３の内容Ｃｎｔ
が“０″であるか否かが判別される。その結果、“０”
であれば結合重みＷＩＪの値を固定する必要が無いとし
てステップＳ２に進む。一方、そうでなければステップ
Ｓ７に進む。 ステップＳ２で、現在の（を回目の）通常学習において
設定された結合重みＷｉｊの値Ｗ （ｔ）が読み出され
る。 ステップＳ３で、重み履歴メモリ１２に格納された（ｔ
−Ｔ）回目の学習から（ｔ−１）回目の学習までの各学
習に係る結合重みＷｌｊの値が読み出され、読み出され
た結合重みの値の平均値ａｖｅＷが算出される。 ステップＳ４で、を回目の通常学習に係る結合重みＷｉ
ｊの値ＷＱ）と平均値ａｖｅＷとの差の絶対値か定数Ａ
より小さいか否かが判別される。その結果、定数Ａより
小さい場合には、結合重みＷｉｊの値が所定期間（Ｔ回
の学習期間）更新されていない状態または一定値（ａｖ
ｅＷ）を境にして振動している状態であるとしてステッ
プＳ５に進み、結合重みＷｉｊの値を固定する動作に入
る。 一方、定数Ａ以上である場合には一回の再学習に係る重
み制御処理動作を終了する。すなわち、を回目までの通
常学習は順調に進行し、を回目の通常学習によって設定
された結合重みＷｉｊの値Ｗ （ｔ）は有効であるので
、結合重みＷｉｊの値をそのまま値Ｗ （ｔ）に保持し
ておくのである。 ステップＳ５で、変数Ｗｍｅｍの内容がｔ回目の通常学
習に係る結合重みＷｉｊの値Ｗ （ｔ）に更新される。 ステップＳ６で、ロック解除カウンタ１３の内容Ｃｎｔ
がＣＭＡＸに更新されて一回の再学習に係る重み制御処
理動作を終了する。 ステップＳ７で、通常学習によって設定された結合重み
ＷＩＪの値を固定する上記再学習の処理動作に入り、ま
ずロック解除カウンタ１３の内容Ｃｎｔがデクリメント
される。 ステップＳ８で、変数Ｗｍｅｍの内容が重み設定部１７
から出力されて、通常学習によって設定された結合重み
Ｗｉｊの値が変数Ｗｆｆｌｅｍの内容に再設定されて一
回の再学習に係る重み制御処理動作を終了する。 このような結合重みＷｉＪの値の再設定処理動作をロッ
ク解除カウンタ１３の内容が“０゛になるまで繰り返す
ことによって、ＣＭＡＸ回の学習期間だけ結合重みＷｉ
ｊの値が値Ｗ （ｔ）に固定されるのである。そして、
ＣＭＡＸ回の学習期間が経過するとロック解除カウンタ
１３の内容が“０”となって、結合重みＷｉｊの値は誤
差逆伝播学習による通常学習によって設定された値を保
持するようになるのである。 上述のように、本実施例においては、重み履歴メモリ１
２に格納された（ｔ−Ｔ）回目の学習から（１−ｌ）回
目の学習までの各学Ｈによる結合重みＷｉｊの値に基づ
いて、演算部１５によって平均値ａｖｅＷを算出する。 そうすると、制御部１６は、ロック解除カウンタ１３の
内容が“０”であって、重み入力部１４から入力された
ｔ回目の通常学習によって設定された結合重みＷｌｊの
値Ｗ （ｔ）と演算部１５によって算出された平均値ａ
ｖｅＷとの差の絶対値が定数Ａより小さい場合には、ロ
ック解除カウンタ１３の内容を所定値ＣＭＡＸに設定す
る。 こうすることによって、次回の学習からロック解除カウ
ンタ１３の内容が“０”になるまで、すなわち、ＣＭＡ
Ｘ回の学習期間だけ、通常学習によって設定された結合
重みＷｉｊの値が重み設定部１７によって値Ｗ（ｔ）に
再設定され、ＣＭＡＸ回の学習期間だけ結合重みＷｌｊ
の値が値Ｗ （ｔ）に固定されるのである。 したがって、を回目の通常学習によって設定された結合
重みＷｉｊの値Ｗ（ｔ）と直前のＴ回の学習による結合
重みＷｉｊの平均値ａｖｅＷとの差の絶対値が定数Ａよ
り小さい場合、すなわち、結合重みＷｉｊに係る学習が
局所最適解に陥っているような場合には、ＣＭＡＸ回の
学習期間だけ結合重みＷｉｊに係る学習を停止すること
によって、局所最適解からの脱出を図ることができるの
である。 換言すれば、（ｔ−Ｔ）回目、の学習から（ｔ−１）回
目の学習までの各学習による結合重みＷｉｊの値の履歴
に基づいて学習の進行状況を適確に判定して、必要に応
じて結合重みＷＩＪの値を再設定できるのである。 この発明における結合重みＷｌｊの値か所定期間更新さ
れていない状態または結合重みＷｌｊの一定値を境にし
て振動している状態の検知のアルゴリズムは上記実施例
におけるアルゴリズムに限定されるものではない。 上記実施例においては、３層パーセプトロン型ニューラ
ルネットワークにおける学習を例にして説明している。 しかしながら、この発明はこれに限定されるものではな
く、４層以上のパーセプトロン型ニューラルネットワー
クであっても構わない。 上記実施例においては、この発明のニューラルネットワ
ークの学習装置をパーセブトロン型ニューラルネットワ
ークの学習に適用した場合を例にして説明しているが、
他のニューラルネットワークに適用しても何等差し支え
ない。
以上より明らかなように、第１の発明のニューラルネッ
トワークの学習装置は、重み履歴格納部に格納された各
シナプス結合の重みの値の履歴を制御部によって読み出
して、現在の学習の直前における所定回数の学習に係る
重みの値の時系列が所定の条件に当て嵌まるような重み
の値を呈するシナプス結合がある場合には、制御部から
出力される指示信号に基づいて、以後の各学習過程にお
いて設定される当該シナプス結合の重みの値を重み設定
部によって所定値に再設定するようにしたので、上記シ
ナプス結合の重みの値の履歴を監視して学習過程におい
て設定されたシナプス結合の重みの値を必要に応じて再
設定できる。 すなわち、上記所定の条件をシナプス結合の重みの値の
履歴に基づく学習の進行状況の判定条件とすれば、シナ
プス結合の重みの値の履歴に基づいて学習の進行を制御
できる。 また、第２の発明のニューラルネットワークの学習装置
は、ニューラルネットワークのシナプス結合の重みの値
を所定値に固定しておく期間を計時する計時手段を備え
て、重み設定部は、上記計時手段によって計時される期
間内に各学習過程において設定されるあるシナプス結合
の重みの値を上記所定値に再設定するので、上記シナプ
ス結合の重みの値の履歴を監視して学習過程において設
定されたシナプス結合の重みの値を必要に応じて上記計
時手段によって計時される期間たけ再設定できる。 また、第３の発明のニューラルネットワークの学習装置
は、上記制御部は、あるシナプス結合の重みの値が所定
期間更新されていない状態や一定値を境として振動して
いる状態を所定の方法によって検知した場合に上記指示
信号を出力するので、上記シナプス結合の重みの値の履
歴を監視して、あるソナプス結合に係る学習が局所最適
解に陥っている場合にそのンナブス結合に係る学習を停
止して、局所最適解からの脱出を図ることができる。
トワークの学習装置は、重み履歴格納部に格納された各
シナプス結合の重みの値の履歴を制御部によって読み出
して、現在の学習の直前における所定回数の学習に係る
重みの値の時系列が所定の条件に当て嵌まるような重み
の値を呈するシナプス結合がある場合には、制御部から
出力される指示信号に基づいて、以後の各学習過程にお
いて設定される当該シナプス結合の重みの値を重み設定
部によって所定値に再設定するようにしたので、上記シ
ナプス結合の重みの値の履歴を監視して学習過程におい
て設定されたシナプス結合の重みの値を必要に応じて再
設定できる。 すなわち、上記所定の条件をシナプス結合の重みの値の
履歴に基づく学習の進行状況の判定条件とすれば、シナ
プス結合の重みの値の履歴に基づいて学習の進行を制御
できる。 また、第２の発明のニューラルネットワークの学習装置
は、ニューラルネットワークのシナプス結合の重みの値
を所定値に固定しておく期間を計時する計時手段を備え
て、重み設定部は、上記計時手段によって計時される期
間内に各学習過程において設定されるあるシナプス結合
の重みの値を上記所定値に再設定するので、上記シナプ
ス結合の重みの値の履歴を監視して学習過程において設
定されたシナプス結合の重みの値を必要に応じて上記計
時手段によって計時される期間たけ再設定できる。 また、第３の発明のニューラルネットワークの学習装置
は、上記制御部は、あるシナプス結合の重みの値が所定
期間更新されていない状態や一定値を境として振動して
いる状態を所定の方法によって検知した場合に上記指示
信号を出力するので、上記シナプス結合の重みの値の履
歴を監視して、あるソナプス結合に係る学習が局所最適
解に陥っている場合にそのンナブス結合に係る学習を停
止して、局所最適解からの脱出を図ることができる。
第１図はこの発明のニューラルネットワークの学習装置
における一実施例のブロック図、第２図は３層パーセブ
トロン型ニューラルネットワークの概念図、第３図は一
回の再学習に係る重み制御処理動作のフローチャート、
第４図はモニターを有するニューラルネットワークの学
習装置の一例を示す図である。 １１・・重み管理部、 １２・・重み履歴メモリ、１
３・・ロック解除カウンタ、 １４・・・重み入力部、 １５・・・演算部、１６
・・・制御部、 １７・・・重み設定部。
における一実施例のブロック図、第２図は３層パーセブ
トロン型ニューラルネットワークの概念図、第３図は一
回の再学習に係る重み制御処理動作のフローチャート、
第４図はモニターを有するニューラルネットワークの学
習装置の一例を示す図である。 １１・・重み管理部、 １２・・重み履歴メモリ、１
３・・ロック解除カウンタ、 １４・・・重み入力部、 １５・・・演算部、１６
・・・制御部、 １７・・・重み設定部。
Claims (3)
- （１）学習過程において設定されたニューラルネットワ
ークの各ユニット間のシナプス結合の重みの値を監視し
、あるシナプス結合の重みの値が所定の条件を満たす場
合にはその重みの値を所定の値に再設定するニューラル
ネットワークの学習装置において、 上記学習過程において設定された各シナプス結合の重み
の値の履歴を格納する重み履歴格納部と、上記重み履歴
格納部に格納された各シナプス結合の重みの値を読み出
して、現在の学習の直前における所定回数の学習に係る
各シナプス結合の重みの値の時系列が所定の条件に当て
嵌まるか否かを判別し、上記所定の条件に当て嵌まるよ
うな重みの値を呈するシナプス結合がある場合には、以
後の学習における当該シナプス結合の重みの値を所定値
に固定するための指示信号を出力する制御部と、 上記制御部からの指示信号に基づいて、以後の学習過程
において設定される当該シナプス結合の重みの値を上記
所定値に再設定する重み設定部を備えたことを特徴とす
るニューラルネットワークの学習装置。 - （２）請求項１に記載のニューラルネットワークの学習
装置において、 上記制御部から出力される上記指示信号に基づいて動作
を開始して、シナプス結合の重みの値を所定値に固定し
ておく期間を計時する計時手段を備えて、 上記重み設定部は、上記制御部からの指示信号に基づい
てあるシナプス結合の重みの値を所定値に固定する際に
、上記計時手段によって計時される期間内に各学習過程
において設定される当該シナプス結合の重みの値を上記
所定値に再設定することを特徴とするニューラルネット
ワークの学習装置。 - （３）請求項１または請求項２に記載のニューラルネッ
トワークの学習装置において、 上記制御部は、あるシナプス結合の重みの値が所定期間
更新されていない状態や一定値を境にして振動している
状態を所定の方法によって検知した場合に上記指示信号
を出力することを特徴とするニューラルネットワークの
学習装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2172051A JP2540654B2 (ja) | 1990-06-28 | 1990-06-28 | ニュ―ラルネットワ―クの学習装置 |
| US07/723,495 US5287533A (en) | 1990-06-28 | 1991-06-28 | Apparatus for changing individual weight value of corresponding synaptic connection for succeeding learning process when past weight values satisfying predetermined condition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2172051A JP2540654B2 (ja) | 1990-06-28 | 1990-06-28 | ニュ―ラルネットワ―クの学習装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0460752A true JPH0460752A (ja) | 1992-02-26 |
| JP2540654B2 JP2540654B2 (ja) | 1996-10-09 |
Family
ID=15934626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2172051A Expired - Fee Related JP2540654B2 (ja) | 1990-06-28 | 1990-06-28 | ニュ―ラルネットワ―クの学習装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5287533A (ja) |
| JP (1) | JP2540654B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5313559A (en) * | 1991-02-15 | 1994-05-17 | Hitachi, Ltd. | Method of and system for controlling learning in neural network |
| US5555345A (en) * | 1991-03-25 | 1996-09-10 | Atr Interpreting Telephony Research Laboratories | Learning method of neural network |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5627941A (en) * | 1992-08-28 | 1997-05-06 | Hitachi, Ltd. | Method of configuring a neural network and a diagnosis/control system using the neural network |
| US5412670A (en) * | 1992-11-30 | 1995-05-02 | Ricoh Corporation | N-bit parity neural network encoder |
| US9460382B2 (en) * | 2013-12-23 | 2016-10-04 | Qualcomm Incorporated | Neural watchdog |
| JP2022125660A (ja) | 2021-02-17 | 2022-08-29 | キオクシア株式会社 | 記憶装置及び記憶方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3584145A (en) * | 1968-12-23 | 1971-06-08 | Bell Telephone Labor Inc | Time division multiplexing of video redundancy reduction data compressors |
| US3794981A (en) * | 1972-06-02 | 1974-02-26 | Singer Co | Realtime computer operation |
| US4161782A (en) * | 1977-12-23 | 1979-07-17 | Otis Engineering Corporation | Microprocessor computerized pressure/temperature/time down-hole recorder |
| FR2515725A1 (fr) * | 1981-11-04 | 1983-05-06 | Flopetrol Etu Fabrications | Procede et dispositif d'enregistrement d'une grandeur variable, notamment dans un puits |
| US4799185A (en) * | 1985-02-07 | 1989-01-17 | Brandt, Inc. | Protective circuit for memory devices |
| US4827259A (en) * | 1986-11-04 | 1989-05-02 | Electric Power Research Institute | Circuit for high-frequency sampling and compression of data for high-frequency electrical transient signals superimposed in a low frequency steady-state signal |
| US4858147A (en) * | 1987-06-15 | 1989-08-15 | Unisys Corporation | Special purpose neurocomputer system for solving optimization problems |
| US5014219A (en) * | 1988-05-06 | 1991-05-07 | White James A | Mask controled neural networks |
| JPH0243665A (ja) * | 1988-08-04 | 1990-02-14 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネットワーク装置 |
| US5093899A (en) * | 1988-09-17 | 1992-03-03 | Sony Corporation | Neural network with normalized learning constant for high-speed stable learning |
| US4912655A (en) * | 1988-12-14 | 1990-03-27 | Gte Laboratories Incorporated | Adjusting neural networks |
| US5046020A (en) * | 1988-12-16 | 1991-09-03 | E. I. Du Pont De Nemours And Company | Distributed parallel processing network wherein the connection weights are generated using stiff differential equations |
| US4972363A (en) * | 1989-02-01 | 1990-11-20 | The Boeing Company | Neural network using stochastic processing |
| DE69027874T2 (de) * | 1989-02-23 | 1997-02-06 | Matsushita Electric Ind Co Ltd | Lernmaschine mit Mehreingangs- Einausgangsschaltungen, die in einer hierarchischen Struktur verbunden sind |
| EP0385436B1 (en) * | 1989-02-28 | 1996-05-01 | Fujitsu Limited | An error absorbing system in a neuron computer |
| US5195169A (en) * | 1989-03-03 | 1993-03-16 | Sharp Kabushiki Kaisha | Control device for controlling learning of a neural network |
| JPH02231670A (ja) * | 1989-03-03 | 1990-09-13 | Sharp Corp | ニューラル・ネットワークの学習装置 |
| US5119469A (en) * | 1989-05-17 | 1992-06-02 | United States Of America | Neural network with weight adjustment based on prior history of input signals |
| US5222195A (en) * | 1989-05-17 | 1993-06-22 | United States Of America | Dynamically stable associative learning neural system with one fixed weight |
| US5056037A (en) * | 1989-12-28 | 1991-10-08 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Analog hardware for learning neural networks |
-
1990
- 1990-06-28 JP JP2172051A patent/JP2540654B2/ja not_active Expired - Fee Related
-
1991
- 1991-06-28 US US07/723,495 patent/US5287533A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5313559A (en) * | 1991-02-15 | 1994-05-17 | Hitachi, Ltd. | Method of and system for controlling learning in neural network |
| US5555345A (en) * | 1991-03-25 | 1996-09-10 | Atr Interpreting Telephony Research Laboratories | Learning method of neural network |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2540654B2 (ja) | 1996-10-09 |
| US5287533A (en) | 1994-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5448681A (en) | Intelligent controller with neural network and reinforcement learning | |
| JPH0738186B2 (ja) | 自己拡張形ニユーラル・ネットワーク | |
| Tesauro | Scaling relationships in back-propagation learning: Dependence on training set size | |
| JPH0460752A (ja) | ニューラルネットワークの学習装置 | |
| Sinha | Short term load forecasting using artificial neural networks | |
| CN110335466A (zh) | 交通流量预测方法和设备 | |
| Anderson et al. | Reinforcement learning with modular neural networks for control | |
| JPH03189856A (ja) | 外部評価基準の学習方式 | |
| Farag et al. | Neuro-fuzzy modeling of complex systems using genetic algorithms | |
| Qiao et al. | Semi-Intermittent Control Based Fixed/Predefined-Time Synchronization of Spatiotemporal Memristive Neural Networks | |
| Barreto et al. | A self-organizing NARX network and its application to prediction of chaotic time series | |
| JPH0895938A (ja) | 時系列データの学習方法及び時系列データの学習装置 | |
| JP2803283B2 (ja) | 予測型心電図波形認識装置 | |
| US20230043618A1 (en) | Computation apparatus, neural network system,neuron model apparatus, computation method and program | |
| JPH02231670A (ja) | ニューラル・ネットワークの学習装置 | |
| Lee et al. | A multi-layer feed-forward neural network with dynamically adjustable structures | |
| EP0970420A1 (en) | Associative neuron in an artificial neural network | |
| RU2774625C1 (ru) | Модифицированный интеллектуальный контроллер с нечеткими правилами и блоком обучения нейросети | |
| JPH05159086A (ja) | ニューラルネットワークの学習方式 | |
| JPH04102163A (ja) | ネットワーク構成データ処理装置の学習処理方式 | |
| Moore | A reinforcement-learning neural network for the control of nonlinear systems | |
| JPH05324598A (ja) | ニューラル・ネットワーク学習装置における学習方式 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| Ruchti et al. | Estimation of artificial neural network parameters for nonlinear system identification | |
| JPH02244255A (ja) | ニユーロコンピユータ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |