JPH1055347A - 神経回路網型逐次学習方法および装置 - Google Patents
神経回路網型逐次学習方法および装置Info
- Publication number
- JPH1055347A JPH1055347A JP8212443A JP21244396A JPH1055347A JP H1055347 A JPH1055347 A JP H1055347A JP 8212443 A JP8212443 A JP 8212443A JP 21244396 A JP21244396 A JP 21244396A JP H1055347 A JPH1055347 A JP H1055347A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- weight
- storage unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 少ない記憶容量と計算量で、忘却の抑制を実
現する逐次型学習装置を提供する。 【解決手段】 学習するデータを入力する入力部１と、
入力されたデータを格納するデータ格納部２と、過去の
学習した重みを保持する重み格納部３と、重み格納部３
に格納されている過去の重みを考慮して、データ格納部
２に格納されているデータを学習し、学習後の重みを重
み格納部３に格納する学習部４と、学習部４の学習結果
を出力する出力部５と、全体の動作を制御する制御部６
で構成する。
現する逐次型学習装置を提供する。 【解決手段】 学習するデータを入力する入力部１と、
入力されたデータを格納するデータ格納部２と、過去の
学習した重みを保持する重み格納部３と、重み格納部３
に格納されている過去の重みを考慮して、データ格納部
２に格納されているデータを学習し、学習後の重みを重
み格納部３に格納する学習部４と、学習部４の学習結果
を出力する出力部５と、全体の動作を制御する制御部６
で構成する。
Description
【０００１】
【発明の属する技術分野】本発明は、与えられたデータ
を逐次に学習する神経回路網型逐次学習方法および装置
に関するものである。
を逐次に学習する神経回路網型逐次学習方法および装置
に関するものである。
【０００２】
【従来の技術】従来の神経回路網型逐次学習機械は、一
般に入力されるデータから時間的に近傍なデータをある
数だけ格納し、それらを用いて学習を行っている。この
時、用いられなくなったデータに関しては、逐次型学習
装置から忘れ去られる現象が起こる。この忘れ去られる
現象を回避するための方法として、格納するデータを選
別する方法があるが、これは選別する計算時間がかかり
経済的ではない。
般に入力されるデータから時間的に近傍なデータをある
数だけ格納し、それらを用いて学習を行っている。この
時、用いられなくなったデータに関しては、逐次型学習
装置から忘れ去られる現象が起こる。この忘れ去られる
現象を回避するための方法として、格納するデータを選
別する方法があるが、これは選別する計算時間がかかり
経済的ではない。
【０００３】
【発明が解決しようとする課題】本発明の目的は、従来
の神経回路網型逐次学習機械における忘却の抑制を、少
ない記憶容量と計算量で実現することにある。
の神経回路網型逐次学習機械における忘却の抑制を、少
ない記憶容量と計算量で実現することにある。
【０００４】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、多数のユニットからなる層間結合の人工
神経回路を備えた学習装置において、過去の学習した重
みを保存する手段を備え、逐次に入力されるデータを学
習する場合に、過去の重みを考慮して学習し、該学習後
の重みを保存して、以後の学習に利用する。これによ
り、従来の忘却の影響が抑制できる。また、各人工神経
ユニットが独立に重みの修正量を計算する並列計算が保
たれるため、計算時間がかからない。
め、本発明は、多数のユニットからなる層間結合の人工
神経回路を備えた学習装置において、過去の学習した重
みを保存する手段を備え、逐次に入力されるデータを学
習する場合に、過去の重みを考慮して学習し、該学習後
の重みを保存して、以後の学習に利用する。これによ
り、従来の忘却の影響が抑制できる。また、各人工神経
ユニットが独立に重みの修正量を計算する並列計算が保
たれるため、計算時間がかからない。
【０００５】
【発明の実施の形態】以下、本発明の一実施例を図面に
より説明する。図１は、本発明の一実施例を示す逐次型
学習装置の構成図である。図１において、１は学習する
データを入力する入力部、２は入力部１で入力されたデ
ータを格納するデータ格納部、３は過去の学習した重み
を保存する重み格納部、４は重み格納部３に保存されて
いる過去の重みを考慮しながら、データ格納部２に格納
されているデータを学習し、学習後の重みを重み格納部
に格納する学習部、５は学習部４での学習した結果を出
力する出力部、６は全体を制御する制御部である。
より説明する。図１は、本発明の一実施例を示す逐次型
学習装置の構成図である。図１において、１は学習する
データを入力する入力部、２は入力部１で入力されたデ
ータを格納するデータ格納部、３は過去の学習した重み
を保存する重み格納部、４は重み格納部３に保存されて
いる過去の重みを考慮しながら、データ格納部２に格納
されているデータを学習し、学習後の重みを重み格納部
に格納する学習部、５は学習部４での学習した結果を出
力する出力部、６は全体を制御する制御部である。
【０００６】次に、本逐次型学習装置の動作概要につい
て説明する。学習するデータの入力と出力の組が入力部
１において入力され、データ格納部２で格納される。デ
ータ格納部２では、格納しておけるデータ数に制限があ
るので、時間的に近傍である数に制限して格納する。学
習部４は、データ格納部２に格納されているデータを入
力し、重み格納部３に格納されている過去の学習の重み
を用いて学習を行う。学習部４における学習は、与えら
れた入出力データに合うように、神経回路網内の重みを
修正することであり、学習の終了条件を満たした後の重
みが重み格納部３に保存される。また、学習した結果
は、出力部５において出力される。
て説明する。学習するデータの入力と出力の組が入力部
１において入力され、データ格納部２で格納される。デ
ータ格納部２では、格納しておけるデータ数に制限があ
るので、時間的に近傍である数に制限して格納する。学
習部４は、データ格納部２に格納されているデータを入
力し、重み格納部３に格納されている過去の学習の重み
を用いて学習を行う。学習部４における学習は、与えら
れた入出力データに合うように、神経回路網内の重みを
修正することであり、学習の終了条件を満たした後の重
みが重み格納部３に保存される。また、学習した結果
は、出力部５において出力される。
【０００７】この実施例における学習部４の動作につい
て、一つ前の過去（ｔ−１）の重みを考慮する場合を例
に以下に詳述する。
て、一つ前の過去（ｔ−１）の重みを考慮する場合を例
に以下に詳述する。
【０００８】学習部４は、図２のような入力層４１、中
間層４２、出力層４３からなる多層の人工の神経回路網
で構成される。各層内は、多数の多入力−出力の人工神
経ユニット４００で構成される。この人工神経回路網
は、人工神経ユニット間の重みとして、与えられる入力
（Ｉ）と出力（Ｔ）の関係を学習する。
間層４２、出力層４３からなる多層の人工の神経回路網
で構成される。各層内は、多数の多入力−出力の人工神
経ユニット４００で構成される。この人工神経回路網
は、人工神経ユニット間の重みとして、与えられる入力
（Ｉ）と出力（Ｔ）の関係を学習する。
【０００９】いま、データ格納部２に格納されているデ
ータを
ータを
【００１０】
【外１】
【００１１】とし、重み格納部３で格納されている重み
を
を
【００１２】
【外２】
【００１３】とする。また、従来の誤差逆伝搬法などで
修正される重みの修正量を
修正される重みの修正量を
【００１４】
【外３】
【００１５】とすると、各人工神経ユニット４００にお
いて修正される重みの修正量
いて修正される重みの修正量
【００１６】
【外４】
【００１７】は、次の式（１）で表される。
【００１８】
【数１】
【００１９】λはある定数である。なお、誤差逆伝搬法
については、例えば文献「Ｄ．Ｅ．Ｒumelhart，Ｇ．
Ｅ．Ｈinton and Ｒ．Ｊ．Ｗilliams（１９８６）．
“Ｌearning internal representations by error prop
agation”,in ＰarallelＤistributed Ｐrocessing：Ｅ
xplorations in the Ｍicrostructure ofＣognition，
Ｖol．１，Ｄ．Ｅ．Ｒumelhard and Ｊ．Ｌ．ＭcClella
nd（eds）ＭＩＴ Ｐress Ｃambridge ＭＡ．」に記載さ
れている。
については、例えば文献「Ｄ．Ｅ．Ｒumelhart，Ｇ．
Ｅ．Ｈinton and Ｒ．Ｊ．Ｗilliams（１９８６）．
“Ｌearning internal representations by error prop
agation”,in ＰarallelＤistributed Ｐrocessing：Ｅ
xplorations in the Ｍicrostructure ofＣognition，
Ｖol．１，Ｄ．Ｅ．Ｒumelhard and Ｊ．Ｌ．ＭcClella
nd（eds）ＭＩＴ Ｐress Ｃambridge ＭＡ．」に記載さ
れている。
【００２０】人工神経回路網の入出力関係を、
【００２１】
【数２】
【００２２】で表すと、重み修正後の人工神経網の出力
と与えられたデータの誤差Ｅは、次の式（３）で表され
る。
と与えられたデータの誤差Ｅは、次の式（３）で表され
る。
【００２３】
【数３】
【００２４】学習は式（１）を繰り返し行い、式（３）
がある条件を満した時に終了する。学習の終了後、重み
がある条件を満した時に終了する。学習の終了後、重み
【００２５】
【外５】
【００２６】が重み格納部３に格納される。学習終了後
に、出力が知りたいデータを人工神経回路網へ入力し、
出力を調べる。さらに、学習データが入力されれば、学
習を繰り返す。
に、出力が知りたいデータを人工神経回路網へ入力し、
出力を調べる。さらに、学習データが入力されれば、学
習を繰り返す。
【００２７】図３に全体のフローチャートを示す。入力
部１にて学習するデータを入力し（ステップ１０１）、
データ格納部２に格納する（ステップ１０２）。データ
格納部２には、入力されるデータから時間的に近傍な所
定のデータ数だけ格納され、古いものから捨てられてい
く。学習部４は、人工神経回路網にデータ格納部２に格
納されているデータを入力し（ステップ１０３）、式
（３）にて出力値の誤差を計算する（ステップ１０
４）。次に、学習部４は、重み格納部３に格納されてい
る過去の学習の重みを用いて、各々の神経ユニットにお
いて誤差を修正する量と、重み格納部３から得られた過
去の重みとの差分を計算し、式（１）により、神経ユニ
ット間の重みの修正量を計算する（ステップ１０５）。
そして、式（３）で表わされる人工神経回路網の出力値
の誤差が所定の範囲内におさまるか判定し（ステップ１
０６）、おさまらなければ、ステップ１０４，１０５の
処理を繰り返す。人工神経回路網の出力値の誤差が所定
の範囲内におさまるか、もしくは、重み修正回数があら
かじめ定めた上限に達した場合、その時の人工神経回路
網の重みを、重み格納部３に格納する（ステップ１０
７）。その後、出力を求めたい入力を人工神経回路網に
入力し、式（２）により出力を計算し、出力部５から出
力する（ステップ１０８）。さらに、学習するデータが
あれば、ステップ１０１に戻り、なければ終了とする
（ステップ１０９）。
部１にて学習するデータを入力し（ステップ１０１）、
データ格納部２に格納する（ステップ１０２）。データ
格納部２には、入力されるデータから時間的に近傍な所
定のデータ数だけ格納され、古いものから捨てられてい
く。学習部４は、人工神経回路網にデータ格納部２に格
納されているデータを入力し（ステップ１０３）、式
（３）にて出力値の誤差を計算する（ステップ１０
４）。次に、学習部４は、重み格納部３に格納されてい
る過去の学習の重みを用いて、各々の神経ユニットにお
いて誤差を修正する量と、重み格納部３から得られた過
去の重みとの差分を計算し、式（１）により、神経ユニ
ット間の重みの修正量を計算する（ステップ１０５）。
そして、式（３）で表わされる人工神経回路網の出力値
の誤差が所定の範囲内におさまるか判定し（ステップ１
０６）、おさまらなければ、ステップ１０４，１０５の
処理を繰り返す。人工神経回路網の出力値の誤差が所定
の範囲内におさまるか、もしくは、重み修正回数があら
かじめ定めた上限に達した場合、その時の人工神経回路
網の重みを、重み格納部３に格納する（ステップ１０
７）。その後、出力を求めたい入力を人工神経回路網に
入力し、式（２）により出力を計算し、出力部５から出
力する（ステップ１０８）。さらに、学習するデータが
あれば、ステップ１０１に戻り、なければ終了とする
（ステップ１０９）。
【００２８】実際にＸＯＲ問題において、本発明を用い
た性能について図４に示す。図４より、従来手法に比
べ、本発明では早期に全体の誤差が減少していることが
わかる。従来手法で、誤差の振動が見られるのは、過去
のデータを忘れている忘却現象がおきているためであ
り、その振動のため誤差の減少が遅くなっている。本発
明では、全体の誤差の振動が早期に収まり、また、速く
減少しているので、過去のデータについて、良く覚えて
いることを示しており、従来手法の忘却の減少を抑制し
ていることがわかる。また、この例では、単に格納する
データを単純に時間的に近接するデータに限って学習を
行っているので、格納するデータの選別に多くの計算を
用いなくても、効果的に忘却の影響を軽減できることが
わかる。
た性能について図４に示す。図４より、従来手法に比
べ、本発明では早期に全体の誤差が減少していることが
わかる。従来手法で、誤差の振動が見られるのは、過去
のデータを忘れている忘却現象がおきているためであ
り、その振動のため誤差の減少が遅くなっている。本発
明では、全体の誤差の振動が早期に収まり、また、速く
減少しているので、過去のデータについて、良く覚えて
いることを示しており、従来手法の忘却の減少を抑制し
ていることがわかる。また、この例では、単に格納する
データを単純に時間的に近接するデータに限って学習を
行っているので、格納するデータの選別に多くの計算を
用いなくても、効果的に忘却の影響を軽減できることが
わかる。
【００２９】以上、本実施例では、データ格納部におい
て格納するデータを時間的に近傍なものに限定したが、
ある規則にしたがって選別する処理を含ませることも可
能である。
て格納するデータを時間的に近傍なものに限定したが、
ある規則にしたがって選別する処理を含ませることも可
能である。
【００３０】
【発明の効果】以上説明したように、本発明によれば、
過去の学習した重みを保存し、過去の重みを考慮するこ
とによって、逐次に入力されるデータを学習する場合
に、従来手法の忘却の影響が抑制できる。さらに、各人
工神経ユニットが独立に重みの修正量を計算できる並列
計算が保たれている。したがって、本発明は、逐次にデ
ータが入力されるようなオンライン学習・予測などの装
置に効果的に用いることができ、気象、交通、株価予測
など幅広い応用が考えられる。
過去の学習した重みを保存し、過去の重みを考慮するこ
とによって、逐次に入力されるデータを学習する場合
に、従来手法の忘却の影響が抑制できる。さらに、各人
工神経ユニットが独立に重みの修正量を計算できる並列
計算が保たれている。したがって、本発明は、逐次にデ
ータが入力されるようなオンライン学習・予測などの装
置に効果的に用いることができ、気象、交通、株価予測
など幅広い応用が考えられる。
【図１】本発明の一実施例を示す神経回路網型逐次学習
装置の構成図である。
装置の構成図である。
【図２】図１の学習部の多層人工神経回路網の構成例で
ある。
ある。
【図３】図１の全体の処理フローチャートである。
【図４】本発明と従来の全体の誤差の変化を比較した図
である。
である。
【符号の説明】 １ 入力部 ２ データ格納部 ３ 重み格納部 ４ 学習部 ５ 出力部 ６ 制御部
Claims (2)
- 【請求項１】 学習するデータの入力と出力の組を入力
し、前記入力されたデータを格納し、前記格納されたデ
ータを、すでに格納されている過去の重みを考慮して学
習し、前記学習後の重みを格納し、前記学習した結果を
出力することを特徴とする神経回路網型逐次学習方法。 - 【請求項２】 学習するデータの入力と出力の組を入力
する入力手段と、 前記入力されたデータを格納するデータ格納手段と、 過去の学習した重みを格納する重み格納手段と、 前記重み格納手段に格納されている重みを考慮して、前
記データ格納手段に格納されているデータを学習し、学
習後の重みを前記重み格納部に格納する学習手段と、 前記学習手段での学習した結果を出力する出力手段と、 前記各手段を制御する制御手段と、からなることを特徴
とする神経回路網型逐次学習装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8212443A JPH1055347A (ja) | 1996-08-12 | 1996-08-12 | 神経回路網型逐次学習方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8212443A JPH1055347A (ja) | 1996-08-12 | 1996-08-12 | 神経回路網型逐次学習方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1055347A true JPH1055347A (ja) | 1998-02-24 |
Family
ID=16622705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8212443A Pending JPH1055347A (ja) | 1996-08-12 | 1996-08-12 | 神経回路網型逐次学習方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1055347A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738439A (zh) * | 2020-07-21 | 2020-10-02 | 电子科技大学 | 一种支持在线学习的人工智能处理方法及处理器 |
-
1996
- 1996-08-12 JP JP8212443A patent/JPH1055347A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738439A (zh) * | 2020-07-21 | 2020-10-02 | 电子科技大学 | 一种支持在线学习的人工智能处理方法及处理器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190018885A (ko) | 중첩 신경망을 프루닝하는 방법 및 장치 | |
| US12367384B2 (en) | Residual semi-recurrent neural networks | |
| JPH09503602A (ja) | 学習ニューラルネットワークおよびその方法 | |
| CN111160531A (zh) | 神经网络模型的分布式训练方法、装置及电子设备 | |
| CN117957549A (zh) | 用于元少样本类增量学习的方法和设备 | |
| CN114398954A (zh) | 一种基于混合优化策略极限学习机的云服务器负载预测方法 | |
| JPH1055347A (ja) | 神経回路網型逐次学習方法および装置 | |
| JPH08272759A (ja) | 相関信号処理用ニューラルネットワークの実行スピードアップの方法 | |
| US12572775B2 (en) | Method and information processing apparatus for performing transfer learning while suppressing occurrence of catastrophic forgetting | |
| JPH06180691A (ja) | 適応的入出力装置 | |
| JP2606317B2 (ja) | 学習処理装置 | |
| TW202328983A (zh) | 基於混合神經網絡的目標跟蹤學習方法及系統 | |
| CN115358394A (zh) | 一种融合层内和层间注意力的知识图谱关系预测方法 | |
| JP2860057B2 (ja) | ニューラルネットワークシステム | |
| JP3412700B2 (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| JPH05324598A (ja) | ニューラル・ネットワーク学習装置における学習方式 | |
| JP3262340B2 (ja) | 情報処理装置 | |
| US20250148269A1 (en) | Apparatus and method for searching for neural network architecture | |
| CN113642719B (zh) | 脉冲神经网络中数据处理的方法、装置 | |
| JP3002563B2 (ja) | ニューラルネットワーク学習装置の重み更新方式 | |
| JPH09101944A (ja) | ニューラルネットワーク回路 | |
| JP7055211B2 (ja) | データ処理システムおよびデータ処理方法 | |
| Hu et al. | FCMAC based on minesweeping strategy | |
| JPH07160659A (ja) | 学習方式 | |
| HK40035815A (en) | Model joint training method and system |