JPH0652141A - ニューラルネットワークのデータ構造 - Google Patents
ニューラルネットワークのデータ構造Info
- Publication number
- JPH0652141A JPH0652141A JP22504992A JP22504992A JPH0652141A JP H0652141 A JPH0652141 A JP H0652141A JP 22504992 A JP22504992 A JP 22504992A JP 22504992 A JP22504992 A JP 22504992A JP H0652141 A JPH0652141 A JP H0652141A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- dlt
- neural network
- output
- learning signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 コンピュータ上でニューラルネットワークを
扱うに際し、学習信号の取り込みも含めて、データの記
憶方式を考慮したＮＮのデータ構造を得ること。 【構成】 ニューラルネットワークを構成するセル毎
に、これらの各セルに接続するセル番号と結合係数から
なるシナプス情報及び学習信号のワークエリアを各セル
に対応して設け、前記学習信号はシナプス情報に基づい
て各セルのワークエリアに対して、出力セルに近いセル
から順に累積加算する手段を備えた。
扱うに際し、学習信号の取り込みも含めて、データの記
憶方式を考慮したＮＮのデータ構造を得ること。 【構成】 ニューラルネットワークを構成するセル毎
に、これらの各セルに接続するセル番号と結合係数から
なるシナプス情報及び学習信号のワークエリアを各セル
に対応して設け、前記学習信号はシナプス情報に基づい
て各セルのワークエリアに対して、出力セルに近いセル
から順に累積加算する手段を備えた。
Description
【０００１】
【産業上の利用分野】本発明は、コンピュータ上でＮＮ
を扱うに際してのＮＮのデータ構造に関する。
を扱うに際してのＮＮのデータ構造に関する。
【０００２】
【従来の技術】近年、ニューロコンピュータが開発さ
れ、各種の研究成果が発表されている。ニューロコンピ
ュータとは脳の基本素子であるニューロン（神経細胞）
に着目したものであり、これらが結合した結果できるＮ
Ｎをヒントにすることにより、脳と同じような機能を達
成しようとするものである。そして、従来のコンピュー
タがアルゴリズムに基づいた直列情報処理であるのに対
して、ニューロコンピュータは各ニューロン間の並列情
報処理である点を特徴としている。しかも実際のネット
ワークモデルとしては、各ニューロンに対応したセルを
備えた入力層，中間層及び出力層からなり、各層にある
セルは、その前後の層にある全てのセルと結合する構成
を有している。又、各セル同士の結合には荷重と称する
結合係数を導入し、かつ、これらの係数は学習により修
正（補正）するようにしている。
れ、各種の研究成果が発表されている。ニューロコンピ
ュータとは脳の基本素子であるニューロン（神経細胞）
に着目したものであり、これらが結合した結果できるＮ
Ｎをヒントにすることにより、脳と同じような機能を達
成しようとするものである。そして、従来のコンピュー
タがアルゴリズムに基づいた直列情報処理であるのに対
して、ニューロコンピュータは各ニューロン間の並列情
報処理である点を特徴としている。しかも実際のネット
ワークモデルとしては、各ニューロンに対応したセルを
備えた入力層，中間層及び出力層からなり、各層にある
セルは、その前後の層にある全てのセルと結合する構成
を有している。又、各セル同士の結合には荷重と称する
結合係数を導入し、かつ、これらの係数は学習により修
正（補正）するようにしている。
【０００３】
【発明が解決しようとする課題】上記した従来技術から
明らかなように、ＮＮの各階層に属するセルは前後の層
の全てのセルと結合しているため、これをコンピュータ
上のソフトウェアにて処理しようとすると、ＮＮに関す
る全てのデータを一旦メモリ上に記憶し、逐次プログラ
ムがそのデータを読み込んで演算しなければならず、メ
モリも膨大になるばかりか、ＮＮの形にも柔軟性がない
と言う欠点を有する。又、ＮＮにおいて最も大切な機能
である学習信号の取り込みも考慮されない。本発明は上
記欠点を解決するためになされたものであり、コンピュ
ータ上でＮＮを扱うに際し、学習信号の取り込みも含め
てデータの記憶形式を考慮したＮＮのデータ構造を提供
することを目的としている。
明らかなように、ＮＮの各階層に属するセルは前後の層
の全てのセルと結合しているため、これをコンピュータ
上のソフトウェアにて処理しようとすると、ＮＮに関す
る全てのデータを一旦メモリ上に記憶し、逐次プログラ
ムがそのデータを読み込んで演算しなければならず、メ
モリも膨大になるばかりか、ＮＮの形にも柔軟性がない
と言う欠点を有する。又、ＮＮにおいて最も大切な機能
である学習信号の取り込みも考慮されない。本発明は上
記欠点を解決するためになされたものであり、コンピュ
ータ上でＮＮを扱うに際し、学習信号の取り込みも含め
てデータの記憶形式を考慮したＮＮのデータ構造を提供
することを目的としている。
【０００４】
【課題を解決するための手段】上記目的を達成するた
め、本発明はＮＮを構成するセル毎に、これらの各セル
に接続するセル番号と結合係数からなるシナプス情報、
及び学習信号のワークエリアを各セルに対応して設け、
前記学習信号はシナプス情報に基づいて各セルのワーク
エリアに対して、出力セルに近いセルから順に累積加算
する手段を備えるようにした。
め、本発明はＮＮを構成するセル毎に、これらの各セル
に接続するセル番号と結合係数からなるシナプス情報、
及び学習信号のワークエリアを各セルに対応して設け、
前記学習信号はシナプス情報に基づいて各セルのワーク
エリアに対して、出力セルに近いセルから順に累積加算
する手段を備えるようにした。
【０００５】
【実施例】以下図面を参照して実施例を説明する。図１
は一つのセル（セル番号ｉ）とそのセルの入力端に結合
するセルとの関係を示す図である。なお、Ｎ1 ，Ｎ2 ，
…，Ｎjmx は各入力セルに付けられた番号で、Ｗ1 ，Ｗ
2 ，…，Ｗjmx は結合係数である。図２はセルｉのシナ
プス情報を示すメモリ構造であり、out はセルの出力、
dlt は学習信号であり、これに続いて各セル番号と結合
係数の組が順次書かれている。ここで学習信号dlt （通
常はδで表わす）は結合係数を更新する際に必要な信号
である。しかも、この信号は誤差逆伝播法の言葉が示す
通り、出力側から入力側に向って求めてゆくものであ
る。図に示すdlt はこの学習信号のための記憶エリアで
あり、最後にある「０」はセルｉに関する情報の終りを
意味している。
は一つのセル（セル番号ｉ）とそのセルの入力端に結合
するセルとの関係を示す図である。なお、Ｎ1 ，Ｎ2 ，
…，Ｎjmx は各入力セルに付けられた番号で、Ｗ1 ，Ｗ
2 ，…，Ｗjmx は結合係数である。図２はセルｉのシナ
プス情報を示すメモリ構造であり、out はセルの出力、
dlt は学習信号であり、これに続いて各セル番号と結合
係数の組が順次書かれている。ここで学習信号dlt （通
常はδで表わす）は結合係数を更新する際に必要な信号
である。しかも、この信号は誤差逆伝播法の言葉が示す
通り、出力側から入力側に向って求めてゆくものであ
る。図に示すdlt はこの学習信号のための記憶エリアで
あり、最後にある「０」はセルｉに関する情報の終りを
意味している。
【０００６】図３は他の実施例を説明するための図であ
る。本実施例は入力端（あるいは出力端）に結合がある
セルのシナプス情報の場合であり、図において、１〜７
はセル番号、ａ〜ｊは結合係数である。ここでセル１，
２は入力セル、セル３，４，５は中間セル、セル６，７
は出力セルである。図３のＮＮのメモリ構造を図４に示
す。即ち、セル１はセル２はセルの出力outだけであ
り、セル３はout と学習信号dlt 及びセル１から結合係
数ａにて接続されていることを示す。以下は同様である
ため説明を省略する。
る。本実施例は入力端（あるいは出力端）に結合がある
セルのシナプス情報の場合であり、図において、１〜７
はセル番号、ａ〜ｊは結合係数である。ここでセル１，
２は入力セル、セル３，４，５は中間セル、セル６，７
は出力セルである。図３のＮＮのメモリ構造を図４に示
す。即ち、セル１はセル２はセルの出力outだけであ
り、セル３はout と学習信号dlt 及びセル１から結合係
数ａにて接続されていることを示す。以下は同様である
ため説明を省略する。
【０００７】図５は学習信号dlt を求める過程を示すフ
ローチャートである。始めにステップＳ１にて全てのセ
ルのdlt を０に初期化する。ステップＳ２では出力セル
６，７の出力誤差を求め、セル６，７のdlt に記憶す
る。次にセル７の各結合を通してdlt を後方に伝播させ
る。セル７の第１の結合としてセル３を考える。即ち、
セル７のdlt にセル７の入出力関数の微分値を掛け、更
にセル３との結合係数ｆを掛けてセル３のdlt に加算す
ることによって行なう（ステップＳ６）。以下の(1) 式
が一般式である。 dlt ＝dlt ＋（セルｉのdlt ）・ｆ′(x) ・Ｗ ……………(1) 但し、ｆ′(x) ：セルｉの入出力関数の微分値。 ｘ：セルｉの入力の総和。 Ｗ：セルｉのｊ番目の結合係数。 なお、出力誤差等については、参考文献(1) Ｐ63の式
（3.35）にあるが、この式自体が本願発明でないため、
省略する。なお、ステップＳ２で出力誤差を求めた後は
ステップＳ３にてｉ＝最大のセル番号を設定し、ステッ
プＳ４にて結合先番号ｊ＝１を設定し、かつ、ステップ
Ｓ５にてｊ番目の結合先が入力セルでない場合に限って
更新処理を行なう。なお、ステップＳ６の更新の後は、
ステップＳ７，ステップＳ８にて最後の結合数まで前記
処理を繰り返し、ｉが入力セル番号に達したとき（ステ
ップＳ９，ステップＳ10）、処理を終了する。
ローチャートである。始めにステップＳ１にて全てのセ
ルのdlt を０に初期化する。ステップＳ２では出力セル
６，７の出力誤差を求め、セル６，７のdlt に記憶す
る。次にセル７の各結合を通してdlt を後方に伝播させ
る。セル７の第１の結合としてセル３を考える。即ち、
セル７のdlt にセル７の入出力関数の微分値を掛け、更
にセル３との結合係数ｆを掛けてセル３のdlt に加算す
ることによって行なう（ステップＳ６）。以下の(1) 式
が一般式である。 dlt ＝dlt ＋（セルｉのdlt ）・ｆ′(x) ・Ｗ ……………(1) 但し、ｆ′(x) ：セルｉの入出力関数の微分値。 ｘ：セルｉの入力の総和。 Ｗ：セルｉのｊ番目の結合係数。 なお、出力誤差等については、参考文献(1) Ｐ63の式
（3.35）にあるが、この式自体が本願発明でないため、
省略する。なお、ステップＳ２で出力誤差を求めた後は
ステップＳ３にてｉ＝最大のセル番号を設定し、ステッ
プＳ４にて結合先番号ｊ＝１を設定し、かつ、ステップ
Ｓ５にてｊ番目の結合先が入力セルでない場合に限って
更新処理を行なう。なお、ステップＳ６の更新の後は、
ステップＳ７，ステップＳ８にて最後の結合数まで前記
処理を繰り返し、ｉが入力セル番号に達したとき（ステ
ップＳ９，ステップＳ10）、処理を終了する。
【０００８】次に第２，第３の結合では、セル４との結
合係数ｈ及びセル５との結合係数ｊを掛けて、セル４及
びセル５のdlt に加算して求めることは前記同様であ
る。次にセル６のdlt についてセル７の場合と同様に行
なう。このようにして処理した結果、セル５が入力セル
以外のセルと結合していれば、dlt を上記と同様な方法
で伝播させるが、この場合、セル５は入力セル２のみと
結合しているため、何も行なわない。入力セルはdlt を
計算する必要がないからであり、したがって入力セルに
はdlt 領域はない。以上により図３のＮＮの入力セルを
除く全てのセルに関して学習信号dlt が求まる。これら
の学習信号を用いて、(2) 式により全ての結合係数の更
新を行なうことができる（参考文献(1) Ｐ64．3.36
式）。 ΔＷ＝εδ０ ………………………………………………………(2) 但し、ΔＷ：荷重の変換。 δ：dlt 。 ０：ＮＮからの出力値。 以上がシナプス情報を用いてＮＮを表わした際の、誤差
伝播法による学習におけるdlt 領域の使用法である。
合係数ｈ及びセル５との結合係数ｊを掛けて、セル４及
びセル５のdlt に加算して求めることは前記同様であ
る。次にセル６のdlt についてセル７の場合と同様に行
なう。このようにして処理した結果、セル５が入力セル
以外のセルと結合していれば、dlt を上記と同様な方法
で伝播させるが、この場合、セル５は入力セル２のみと
結合しているため、何も行なわない。入力セルはdlt を
計算する必要がないからであり、したがって入力セルに
はdlt 領域はない。以上により図３のＮＮの入力セルを
除く全てのセルに関して学習信号dlt が求まる。これら
の学習信号を用いて、(2) 式により全ての結合係数の更
新を行なうことができる（参考文献(1) Ｐ64．3.36
式）。 ΔＷ＝εδ０ ………………………………………………………(2) 但し、ΔＷ：荷重の変換。 δ：dlt 。 ０：ＮＮからの出力値。 以上がシナプス情報を用いてＮＮを表わした際の、誤差
伝播法による学習におけるdlt 領域の使用法である。
【０００９】
【発明の効果】以上説明したように、本発明によればＮ
Ｎを構成する各セル毎に、これらの各セルに接続するセ
ル番号と結合係数からなるシナプス情報と学習信号のワ
ークエリアを各セルに対応して設け、前記学習信号はシ
ナプス情報に基づいて各セルのワークエリアに対して、
出力セルに近いセルから順に累積加算する手段を備える
構成としたので、シナプス情報で表現したＮＮにおいて
効率的な学習が可能となる。
Ｎを構成する各セル毎に、これらの各セルに接続するセ
ル番号と結合係数からなるシナプス情報と学習信号のワ
ークエリアを各セルに対応して設け、前記学習信号はシ
ナプス情報に基づいて各セルのワークエリアに対して、
出力セルに近いセルから順に累積加算する手段を備える
構成としたので、シナプス情報で表現したＮＮにおいて
効率的な学習が可能となる。
【図面の簡単な説明】
【図１】一つのセルと、そのセルの入力端に結合するセ
ルとの関係を示す図。
ルとの関係を示す図。
【図２】図１のセルｉのシナプス情報を示すメモリ構造
図。
図。
【図３】他の実施例のＮＮを説明する図。
【図４】図３のメモリ構造図。
【図５】学習信号を求める過程を示すフローチャート。
１〜７ セル Ｎ1 〜Ｎjmx 入力セルの番号 Ｗ1 〜Ｗjmx ，ａ〜ｊ 結合係数 out セルの出力 dlt 学習信号 参考文献(1) オーム社発行 菊池 豊彦著 「入門ニ
ューロコンピュータ」
ューロコンピュータ」
Claims (1)
- 【請求項１】 ニューラルネットワーク（以下ＮＮと称
す）を構成する各セル毎に、これらの各セルに接続する
セル番号と結合係数からなるシナプス情報、及び学習信
号のワークエリアを各セルに対応して設け、前記学習信
号はシナプス情報に基づいて各セルのワークエリアに対
して、出力セルに近いセルから順に累積加算する手段を
備えたことを特徴とするニューラルネットワークのデー
タ構造。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22504992A JPH0652141A (ja) | 1992-07-31 | 1992-07-31 | ニューラルネットワークのデータ構造 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22504992A JPH0652141A (ja) | 1992-07-31 | 1992-07-31 | ニューラルネットワークのデータ構造 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0652141A true JPH0652141A (ja) | 1994-02-25 |
Family
ID=16823239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22504992A Pending JPH0652141A (ja) | 1992-07-31 | 1992-07-31 | ニューラルネットワークのデータ構造 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0652141A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0652139A (ja) * | 1992-07-31 | 1994-02-25 | Mikuni Corp | ニューラルネットワークのデータ構造 |
| US7747549B2 (en) | 2001-09-25 | 2010-06-29 | Rikan | Long-term memory neural network modeling memory-chaining functions of the brain wherein a pointer holds information about mutually related neurons and neurons are classified hierarchically by degree of activation |
-
1992
- 1992-07-31 JP JP22504992A patent/JPH0652141A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0652139A (ja) * | 1992-07-31 | 1994-02-25 | Mikuni Corp | ニューラルネットワークのデータ構造 |
| US7747549B2 (en) | 2001-09-25 | 2010-06-29 | Rikan | Long-term memory neural network modeling memory-chaining functions of the brain wherein a pointer holds information about mutually related neurons and neurons are classified hierarchically by degree of activation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shu et al. | An online variable-fidelity optimization approach for multi-objective design optimization | |
| JPH06259585A (ja) | ニューラルネットワーク装置 | |
| US5129038A (en) | Neural network with selective error reduction to increase learning speed | |
| CN111461308B (zh) | 忆阻神经网络及权值训练方法 | |
| JPH0652141A (ja) | ニューラルネットワークのデータ構造 | |
| CN119294465B (zh) | 一种面向大语言模型的增量模型合并方法和系统 | |
| JPH05128284A (ja) | ニユーロプロセツサ | |
| JPH0451384A (ja) | ニューラルネットワークの構築方法 | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JPH0652139A (ja) | ニューラルネットワークのデータ構造 | |
| JP3354593B2 (ja) | ネットワーク型情報処理装置の学習システム | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JPH0652140A (ja) | ニューラルネットワークのデータ構造 | |
| JPH05159087A (ja) | ニューロプロセッサ | |
| JPH0991264A (ja) | ニューラルネットワーク構造最適化装置ならびに方法 | |
| JP2699447B2 (ja) | 信号処理装置 | |
| JP3491317B2 (ja) | フィードフォワード型ニューラルネットワークの構築方法 | |
| JP2979562B2 (ja) | 学習処理装置 | |
| JP3359074B2 (ja) | ニューラルネットワークの学習方法 | |
| JPH07198887A (ja) | 原子炉の炉心性能推定装置 | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク | |
| JPH09101944A (ja) | ニューラルネットワーク回路 | |
| JP2654686B2 (ja) | ニューラルネットワーク | |
| CN115294967B (zh) | 一种适用于语音分类的学习模型搜索空间全自动构建方法 | |
| JP2810083B2 (ja) | 組合せ最適解を求めるデータ処理装置及び方法 |