JPH03210684A - 神経回路網装置 - Google Patents

神経回路網装置

Info

Publication number
JPH03210684A
JPH03210684A JP2005188A JP518890A JPH03210684A JP H03210684 A JPH03210684 A JP H03210684A JP 2005188 A JP2005188 A JP 2005188A JP 518890 A JP518890 A JP 518890A JP H03210684 A JPH03210684 A JP H03210684A
Authority
JP
Japan
Prior art keywords
output
layer
neural
learning
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005188A
Other languages
English (en)
Inventor
Yoshio Izui
良夫 泉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005188A priority Critical patent/JPH03210684A/ja
Publication of JPH03210684A publication Critical patent/JPH03210684A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は、生体の神経細胞とその間の結合を模擬して
記憶、推論1判断、予測、計画、制御。
パターン認識、ra適化などを行なう神経回路網装置に
関するものである。
[従来の技術] 第2図は、例えば、「ニューラルコンピュータ」合原−
幸著、東京′&磯大学出版局、 1988年、第10頁
〜第114頁に掲載された一般的なフィードフォワード
型の神経回路網装置の構成を示す説明図である0図にお
いて、(1りは生体の神経細胞を模擬する素子(以下、
神経素子と呼5)で、(I Ia)は入力層を構成する
神経素子で例えばN個の入力層神経素子、 (llb)
は中間層を構成する神経素子で、例えば1層についてN
個とし、(H−2)層の中間層神経素子、 (llc)
は出力層を構成する神経素子で例えばN個の出力層神経
素子である。
(+2)は神経素子(H間のシナプスを模擬する素子(
以下、結合f:子と呼ぶ〕で、その結合の強さを結合Φ
み(W)と呼ぶ。図中、矢印は傾号の移動方向で、順方
向を示す。
この神経回路網装置において、神経素子(11)は層状
に結合されており、ダイナミクスとしては、入力層(l
lalから入った人力信号は中間層(目b)を介して出
力層(l lc)に矢印に示す方向に伝搬されていく6
定坩的にシま以上のようになる。学習データとして人力
データと出力データの対をあらかじめ旬λる。d、’を
出力層における第2番目の学習データの第1番目の出力
データ、u″4を第り層のJ11¥目の神経素子(11
)の内部状態、yh、を第り層のJ長目の神経素子(1
1)の出力IIIt、W7j1を第h Itlの第1番
目の神経素子Tl l)と第h+1層における第j4目
の神経素子(目ンとの間の結合重みとする。学習データ
の人力データは、入力#(llalでの出力値VIJと
同じである。第2図に示す実施例では、i=l〜N、j
=l〜Nである。
各変数の関係は式(1)1式(2)のようになる。
ここで2開数gは微分可能で非減少な関数であれば良く
、−例として式(3)を用いる。
11′1.:Σw′′−Zt vh−1,* + + 
(11vhJ=g(u″、)       ・・・(2
)g (x) =1/ (1+exp (−xli ・
131さらに、結合重み(W)は学習方程式で逐次的に
決定される。即ち、出力層(I lc)における学習デ
ータの出力データと、神経回路網によって実際に得られ
た演算出力で定義される二乗誤差に関する最急降下法を
用いて決定される。神経回路網の層の数をHとすると、
二乗誤差(以下でエネルギーということもあるンは式(
4)に様になる。
E=(1/21 ΣΣ (d  、’−V”、)  ”
  −−+41又、結合重みの逐次変更はα、βを適当
なパラメータとし、モーメント法を使用した場合には式
(5)の学習方程式で実行できる。
d ” W ”Jl / dt” + (l−〇) d
 W”JI /dt=−(JaE/δW’4+    
  ・・(5)例えば、式(5)の学習方程式を現在の
ノイマン型計算磯で実行しようとすると、計算機はデ、
fジタルなので、式(5)を差分化して逐次実行する必
要があるが、この処理を行なうフローチャートの−“例
を第3図に示す、ステップ(3I)でし=1として初期
設定する。ステップ(32)では神経回路網を学習させ
るために、人力データと出力データの対である学習デー
タを集める。ステップ(33)では、モーメント法によ
りエネルギーの微分値の1次の項を用いた学習方程式(
5)を演算し、ニューラルネットワークの結合重みを更
新する。このため、まず第り層の重みのし+1における
更IJrm△Wh、。
B+t)を演算する。この式におけるα、βはあらかじ
め定めたパラメータである。また、各層についてi =
 INN、j= lNNの全てについて設定するのであ
るが、第3図には省略して、h。
j、iと記述する0次に、Δ”Jl  (t+1)を用
いて新たな重みw″、+  (し+t)を式(6)によ
り求める。
W l′Jl (t + 1 ) = W ”Jl (
t )十へW’Jt(t + 1 )・ ・ (6) ステップ(34)では、前向きの伝播により式(1)。
を演算し、出力層Hにおける神経回路網の集合体として
の出力vHJを求める。この出力VW、と学習データd
、″を用いて式(4)を演算し、二乗誤差Eを求める。
このEが充分小さいとき、例えばあらかじめ許容誤差A
を与えておき、EとAとの大小関係を判定しくステップ
(351) 、EがA以下の時は学習は終了とし、Eが
Aよりも大きい時はL=t+i(ステップ(36))と
してステップ(33)からの処理を繰り返す。
[発明が解決しようとする課題] 従来の神経回路網装置は以上のように構成されており、
結合重みを定める学習方程式(5)の右辺がエネルギー
の微分値の1次の項のみなので、学習の速度が遅いとい
う問題点があった。
この発明は上記のような問題点を解決するためになされ
たもので、学習速度を速くできる神経回路網装置を得る
ことを目的としている。
[課題を解決するための手段] この発明は、生体の神経細胞を模擬した微分a1し、入
力層、中間層、及び出力層を構成する1M数の神経素子
、並びに神経素子の出力の各々に結合・Fみを乗じて次
層の神経素子へ出力する結合素子を備え、入力層の神経
素子に入力データ、及び出力層の神経素子に出力データ
を7習データとしてあらかじめ設定し、結合重みを学習
方程式に基いて逐次的に更新し、中間層の神経素子は各
々前の層の神経素子と結合する結合素子を介しての信号
を総和演算しつつ出力層の神経素子において演算出力を
得、出力データと演算出力の差の二乗和で定義されるエ
ネルギーを局所的に最小にするものにおいて、学習方程
式のエネルギーの微分値として1次の項と2次の項を用
いて演算したものである。
〔作用〕
この発明における神経回路網装置は、結合重みを定める
学習方程式を演算する際、1次の項と2次の項を用いる
ので、学習速度を向上できる。
[実施例] エネルギー曲面を考慮に入れて、学習の高速化を図るた
め、エネルギーの2次の微分値までを考慮に入れた学習
方程式(式(5))の−例を式(7)で示す。
d ” W”jt /dt” + (1−α) d W
 ”J l / dL;=−β (a E/ a W”
JI)/((7”  E / a W”、、”)・・・
(7) 2次の微分項がゼロとなり、式(7)の右辺が無限大と
なって、学習方程式が不安定化するのを防ぐための例と
しては、式(8)の学習方程式がある。
式中、ρは十分小さい正の定数とする。
d ” W ”Jt / dt” + (1−α) d
 Wl′、、 /dt=−β(aE/δW”JI)/ (1+ p a ” E / a W ”Jl”)・・
・(8) 又、式(8)において、2次の微分項のティラー展開を
行ない、展開結果の1次の項まで用いることにすれば、
−例として、次の学習方程式(9)が得られる。
d ”  WllJt /dt、”  +  (1−a
) d W”1/dtニーβ (d E/ a W”J
I)*(1−p a ”  E / a W″、i2)
・ ・ ・ (!]) この′?学習方程式9)を例えばノイマン型計算機で逐
次的に実行した場合のフローチャートの一例を第1図に
示す、ステップ(4りで1.=1として初期設定する。
ステップ(42)では神経回路網を学習させるために、
入力データと出力データの対である学習データを集める
。ステップ(43)では、モーメント法によりエネルギ
ーの微分値の1次と2次の項の両方を用いた学習方程式
(9)を演算し、ニューラルネットワークの結合重みを
更新する。このため、まず第hrf!1の重みのtel
における更新晴ΔW”JI  (L + 1 )を演算
する。この式におけるα、βはあらかじめ定めたパラメ
ータである。また、各層についてi= l −N 、 
 j、= 1−Nの全てについて設定するのであるが、
第1図には簡単のため、h、j、iと記述する6次に、
ΔW”J、  (t、+1)を用いて新たな重みW”J
、(jt1)を式(6)により求める。ステップ(44
)では、前向きの伝播により式(り0式(2)を用いて
各層の内部状態u h 、、及び出力値v″□を演算し
、出力層Hにおける神経回路網の集合体としての出力V
”、を求める。この出力vHJと学習データd+’を用
いて式(4)を演算し、二乗誤差Eを求める。このEが
充分小さいとき、例えばあらかじめ許容誤差式を与えて
おき、EとAとの大小関係を判定しくステップ(451
) 、EがA以下の時は学習は終Tとし、EがAよりも
大きい時はt=L+1 (ステップ(46))としてス
テップ(43)からの処理を繰り返す。
このように、上記実施例では結合重みを定める学習方程
式の右辺のエネルギーの微分値として1次の項と2次の
項を考慮することにより、学習速度を向上する。
なお、上記実施例では、微分子11の2次の項をティラ
ー展開によって式(9)として演算したが、これに限る
ものではない。
[発明の効果] 以上のように、この発明によれば、生体の神経細胞を模
擬した微分可能でかつ単調増加する関数を入出力特性と
して有し、入力層、中間層、及び出力層を構成する複数
の神経素子、並びに神経素子の出力の各々に結合重みを
乗じて次層の神経素子へ出力する結合素子を備え、入力
層の神経素子に人力データ、及び出7JHの神経素子に
出力データを学習データとしてあらかじめ設定し、結合
セみを学習方程式に基いて逐次的に更新し、中間層の神
経素子は各々前の層の神経素子と結合する結合素子を介
しての(8号を総和演算しつつ出力層の神経素子におい
て演算出力を得、出力データと演算出力の差の二乗和で
定義されるエネルギーを局所的に最小にするものにおい
て、7習方程式のエネルギーの微分値として1次の項と
2次の項を用いて演算するように構成したことにより、
学習速度を速くできる神経回路網装置を得ることができ
る効果がある。
【図面の簡単な説明】
第1図はこの発明の一実施例による神経回路網装置に係
る学習を貰行するフローチャート、第2図は一般的な神
経回路網装置の構成を説明するための説明図、第3図は
従来の装置に係る学習を実行するフローチャートである
。 (11)・ ・神経素子、 (12)・ ・結合素子。 代 理 人 大 岩 増 雄 第 図 第 図 11:神経素子 2:結合素子 第 3 図 手続補正書(自発) 521 平成  年  月 日 2、発明の名称 神経回路網装置 3、補正をする者 代表者 士 le+% 岐 守 哉 4、代 理 人 5゜ 6゜ 7゜ 補正の対象 図  面 補正の内容 (1)  図面の第2図を別紙のとおり添付書類の自球 図面(第2図) lこ訂正する。 第2図 Il:神I蚤“素子 12:和を峯チ

Claims (1)

    【特許請求の範囲】
  1.  生体の神経細胞を模擬した微分可能でかつ単調増加す
    る関数を入出力特性として有し、入力層、中間層、及び
    出力層を構成する複数の神経素子、並びに上記神経素子
    の出力の各々に結合重みを乗じて次層の神経素子へ出力
    する結合素子を備え、上記入力層の神経素子に入力デー
    タ、及び上記出力層の神経素子に出力データを学習デー
    タとしてあらかじめ設定し、上記結合重みを学習方程式
    に基いて逐次的に更新し、上記中間層の神経素子は各々
    前の層の神経素子と結合する結合素子を介しての信号を
    総和演算しつつ上記出力層の神経素子において演算出力
    を得、上記出力データと上記演算出力の差の二乗和で定
    義されるエネルギーを局所的に最小にするものにおいて
    、上記学習方程式のエネルギーの微分値として1次の項
    と2次の項を用いて演算したことを特徴とする神経回路
    網装置。
JP2005188A 1990-01-12 1990-01-12 神経回路網装置 Pending JPH03210684A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005188A JPH03210684A (ja) 1990-01-12 1990-01-12 神経回路網装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005188A JPH03210684A (ja) 1990-01-12 1990-01-12 神経回路網装置

Publications (1)

Publication Number Publication Date
JPH03210684A true JPH03210684A (ja) 1991-09-13

Family

ID=11604249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005188A Pending JPH03210684A (ja) 1990-01-12 1990-01-12 神経回路網装置

Country Status (1)

Country Link
JP (1) JPH03210684A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119442A (zh) * 2018-05-25 2020-12-22 日本电信电话株式会社 秘密聚合函数计算系统、秘密计算装置、秘密聚合函数计算方法、以及程序

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119442A (zh) * 2018-05-25 2020-12-22 日本电信电话株式会社 秘密聚合函数计算系统、秘密计算装置、秘密聚合函数计算方法、以及程序

Similar Documents

Publication Publication Date Title
Rogers Simulating structural analysis with neural network
Papadrakakis et al. Optimization of large-scale 3-D trusses using evolution strategies and neural networks
JPH02238560A (ja) 自己拡張形ニユーラル・ネットワーク
JPH0296707A (ja) 焦点検出装置
CN111221311B (zh) 基于参数变分法的复杂网络分布式脉冲同步方法及系统
CA2415720A1 (en) Neuronal network for modeling a physical system, and a method for forming such a neuronal network
JPH03210684A (ja) 神経回路網装置
Raj et al. Hybrid model for passive locomotion control of a biped humanoid: the artificial neural network approach
Flood A Gaussian-based feedforward network architecture and complementary training algorithm
Mughal et al. A fuzzy biomechanical model with H2 control system for sit-to-stand movement
CN118288291B (zh) 具有多传感器故障的模块化机器人输出反馈最优容错控制方法及系统
JPH03210686A (ja) 神経回路網装置
Angeles-García et al. Dynamic balance of a bipedal robot using neural network training with simulated annealing
JP2607351B2 (ja) 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法
JPH0492901A (ja) ニューラルネットワークによるファジイ制御器
EP0577694A4 (en) A neural network
Nikravesh et al. Process control of nonlinear time variant processes via artificial neural network
JPH0464184A (ja) ニューラル・ネットワークによるif―then型ルール演算装置
Hemami A measurement oriented formulation of the dynamics of natural and robotic systems
Kawaharazuka et al. PIMBS: Efficient Body Schema Learning for Musculoskeletal Humanoids with Physics-Informed Neural Networks
Faravelli et al. Self-learning fuzzy control of civil structures
JPH04215170A (ja) 情報処理装置
Hoekstra et al. Recurrence with delayed links in multilayer networks for processing sequential data
JPH03232057A (ja) 神経回路網装置
Gullapalli Modeling cortical area 7a using stochastic real-valued (SRV) units