JPH03210686A - 神経回路網装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野］ この発明は、生体の神経細胞とその間の結合を模擬して
記憶、推論１判断、予測、Ｊ画、制御。

パターン認識、最適化などを行なう神経回路網装置に関
するものである。

［従来の技術］ 第２図は、例えば、「ニューラルコンピュータ」合原−
幸著、東京電機大学出版局、　１９８８年、第１１０頁
〜第１１４頁に掲載された一般的なフィードフォワード
型の神経回路網装置の構成を示す説明図である０図にお
いて、（１１）は生体の神経細胞を模擬する素子（以下
、神経素子と呼ぶ）で、（ｌ　ｌａ）は人力層を構成す
る神経素子で例えばＮ個の入力層神経素子、（Ｉｌｂ）
は中間層を構成する神経素子で例えばＮ個の中間層神経
素子、　（ｌｉｅ）は出力層を構成する神経素子で例え
ばＮ個の出力層神経素子である。　（１２）は神経素子
（！ｌ）間のシナプスを模擬する素子（以下、結合素子
と呼ぶ）で、その結合の強さを結合重み（Ｗ）と呼ぶ１
図中、矢印は信号の移動方向で、順方向を示す。

この神経回路網装置において、神経素子（Ｉｌｌは層状
に結合されており、ダイナミクスとしては、人力層（ｌ
ｌａ）から入った人力信号は中間０（Ｉｌｂｌを介して
出力層（Ｉ　Ｉｃｌに矢印に示す方向に伝搬されていく
、定置的には以Ｆのようになる。学習データとして入力
データと出力データの対をあらかじめ与える＊ｄｔ’を
出力層における第９番目の７習データの第ｉ？Ｉ目の出
力データ、ｕｈＪを第り層のｊ番目の神経素子（Ｉｌｌ
の内部状態、ｖＩ′ＩＪを第り層のｊ番目の神経素子（
！ｌ）の出力値、Ｗｈｌを第り層の第１番目の神経素子
（ＩＩ）と第ｈ＋を層における第ｊｌ目の神経素子（＋
１）との間の結合重みとする。学習データの人力データ
は、入力［（Ｉｌａ）での出力ｆｌｌＩＶ’ｔと同じで
ある。第２図に示す実施例では、ｉ＝ｌ〜Ｎ、ｊ＝ｌ〜
Ｎである。

各変数の関係は式（１）１式（２）のようになる。

ここで、関数ｇは微分可能で非減少な関数であれば良く
、−例として式（３）　を用いる。

ｕｈ、＝Σｗｈ−’、、ｖ′′−’、　　　　　−−１
＋ＪＶ　ｈＪ＝　ｇ　　（ｕ　”Ｊ）　　　　　　　　
　　・　・　・　（２）ｇ　　（ｘ）　　＝１／　（１
＋ｅｘｐ　　（−ｘ）１・（３）さらに、結合重み＜Ｗ
）は学習方程式で逐次的に決定される。即ち、出力層（
ｌｌｃ）における学とデータと、神経回路網によって芙
際に得られた演算出力で定義される二乗誤差に関する最
急降下法を用いて決定される。神経回路網の層の数をＨ
とすると、二乗誤差（以下でエネルギーということもあ
る）は式（４）　に様になる。

Ｅ＝（１／２１ΣΣ（Ｖ’１−ｄｌ’）”　　・・（４
）又、結合重みの逐次変更はα、βを適当なパラメータ
、δ　１１１１を第ｈｒｇ、を番目の神経素子における
誤差（式（５）１式（６））とし、モーメント法を使用
した場合には式（７）の学習方程式で実行できる０式（
５）２式（６）において、ｈ　＝　Ｈの時は出力層にお
ける値を示している。Ｎｌｈ’は第り層における神経素
子の数である。

５１”’＝　（ｄ、’−Ｖ’、）Ｖ’、（１−Ｖ’、）
ここで、ｉ＝１〜Ｎ１１１１　　　　・・・（５）５　
＋　”’　＝　Ｖ　”ｔ　（ＩＶ　”ｔ）Σδ　ｌｂ＋
１ｌＷｈ、ｉここで、ｉ　＝　１−Ｎ　”’、ｈ＝Ｈ〜
ｌ・・（６）ｄ　　”　　Ｗ’Ｊｌ　／ｄｔ”　　＋　
　（１−ａ）ｄ　　Ｗ”、ｔ　　／ｄｔ。

＝−βａ　Ｅ／　＋３　Ｗ”−ｉ　　　　　　　　・・
（７）例えば、式（７）の学習方程式を現在のノイマン
型計算磯で実行しようとすると、計算機はディジタルな
ので、式（７）を差分化して逐次実行する必要があるが
、この処理を行なうフローチャートの一例を第３図に示
す、ステップ（３０）で１＝１における結合重みＷ、、
”　　と結合重みの更新量ΔＷ　ｈ、、の初期値を一様
乱数又は正規分布する乱数によって設定する。この時、
各層についてｉ＝ｌ〜Ｎ　、　　ｊ＝　１　＝　Ｎの全
てについて設定するのであるが、第３図には簡単のため
、ｈ、ｊ、ｉと記述する。ステップ（３１）でｔ＝１と
して初期設定する。ステップ（３２）では誤差信号の初
期値として出力層（ｌ　ｌｃ）における誤差δ、　ＩＨ
Ｉを式（５）によって求める０次に逆伝播法を用いて、
−層上の誤差イス号からＦの層の誤差信号を式（６）に
基いて求める（ステップ（３３））　、ステップ（３４
）では、モーメント法により結合重みを更新する。この
ため、まず第ｈａの重みのし＋１における更新量Δ”Ｊ
ｌ　　（ｔ　＋　１　）を式（８）で求める。

ΔＷ”４ｔ　　（ｔ　＋　１　）　＝　β５　ｊ””Ｉ
Ｖ”十αΔＷ”ＪＩ　　（Ｌ）　　・・（８）この式に
おけるα、βはあらかじめ定めたパラメータである０次
に、ΔＶＶ”ＪＩ　　（ｔ　＋　１　）を用いて新たな
重みＷ＋″Ｊ１（１−＋１）を式（９）により求める。

Ｗ”４ｔ（ｔ、＋　１　）　　＝Ｗ”ＪＩ（Ｌ）　　＋
ΔＷ″１（し＋　１　）・・（９） ステップ（３５）では、前向きの伝播により式（１）式
（２）を用いて各層の内部状態ｕ　ｈ　、、出力（１ｆ
ｉＶ”Ｊを演算し、出力層Ｈにおける神経回路網の集合
体としての出力ＶＨ，を求める。この出力Ｖ′４．と学
習データｄｌ″を用いて式（４）を演算し、二乗誤差Ｅ
を求める。このＥが充分小さいとき１例えばあらかじめ
許容誤差Ａを与えておき、ＥとＡとの大小関係を判定し
くステップ（３６））　、　ＥがＡ以下の時は学習は終
了とし、ＥがＡよりも大きい時はＬ＝ｔ、＋１　（ステ
ップ（３７１）としてステップ（３２）からの処理を繰
り返す。

［発明が解決しようとする課題］ 従来の神経回路網装置は以上のように構成されており、
結合重みを定める学習方程式のパラメータであるα、β
はあらかじめ定めた定数を常に用いているので、学習の
速度が遅いという問題点があった。

この発明は上記のような問題点を解決するためになされ
たもので、学習速度を速くできる神経回路網装置を得る
ことを目的としている。

［課題を解決するための手段］ この発明は、生体の神経細胞を模擬した微分可能でかつ
単調増加する関数を入出力特性として有し、人力層、中
間層、及び出力層を構成する複数の神経素子、並びに神
経素子の出力の各々に結合重みを乗じて次層の神経素子
へ出力する結合素子を備え、入力層の神経素子に入力デ
ータ、及び出力層の神経素子に出力データを学習データ
としてあらかじめ設定し、結合重みを学習方程式に基い
て逐次的に更新し、中間層の神経素子は各々前の層の神
経素子と結合する結合素子を介しての信号を総和演算し
つつ出力層の神経素子において演算出力を得、出力デー
タと演算出力の差の二乗和で定義されるエネルギーを局
所的に最小にするものにおいて、瞬時のエネルギーを用
いて学習方程式の係数を決定することにより、結合重み
を動的に変更するように構成したものである。

［作用］ この発明における神経回路網装置は、結合重みを定める
７習方程式のパラメータであるβを学習の途中でその時
点のエネルギーに基いて動的に変更することにより、７
習速度を向上する。

［実施例］ 学習方程式（式（７））において、学習に必要な時間Ｔ
は弐〇〇）で得られる。

Ｔ＝Ｓ（１／（２β（Ｅｏ　−Ｅ）　）　””　）　ｄ
ｓ・・・（１０） 但し、ここで、Ｅｏは初期値におけるエネルギーであり
、Ｅは収束の途中におけるエネルギーである。従って時
間′■゛を大きくしようとすると、収束の途中において
も積分の中の分母が定数に近くなるようにすれば良い、
そこで、 β＝β。／　（Ｅ、−Ｅ）　　　　　　・・・（１１）
とすれば良い、あるいは、βが発散するのを防ぐために
は、β１ＩＩＩ’１％　β、□を各々βの最小値、最大
値として、 β　＝　β　−ｉｎ　　　＊　　　（Ｅｏ　　　＋　γ
　）／（Ｅ　　。　　−Ｅ　＋　γ　）但し、 γ＝β□、＊Ｅｏ／（β、□−β□、）・・・（１２）
とすれば良い、第４図は式（１２）によって変化するエ
ネルギーＥ（第４図（ａ））及びβ（第４図（ｂ））を
Ｌに対して示したグラフであり、エネルギーＥがＥｏか
らＯまでＬに対して変化するとき、βはβ１１．からβ
１．１まで変化する様子を示している。

このアルゴリズムはシリコンや光素子などのハードウェ
ア、あるいはアナログコンピュータなどによって並列に
実行できるが、例えばノイマン型針ｒ１磯で逐次的に実
行した場合のフローチャートの一例を第１図に示す、ス
テップ（４０）でし＝１における結合重みＷ、、’　　
と結合重みの更装置ΔＷｈ。

直の初期ｈｌ！を一様占り数又は正規分布するＡＬ数に
よって設定する。この時、各層１＝ｌＮＨ，ｊ＝１〜Ｉ
Ｉの全てについて設定するのであるが、第１図には簡単
のため、ｈ、ｊ、ｉと記述する。ステップ（４Ｉ）でＬ
＝１として初期設定する。ステップ（４２）では誤差信
号の初期値として出力Ｍ（ＩＩＧ）における誤差δ、′
旧を式（５）によって求める０次に逆伝播法により、−
層上の誤差信号から下の層の誤差信号δ　ｌＩ＋１を式
（６）に基いて求める（ステップ（４３））　、この実
施例において、第り層の神経素子の個数Ｎ　”’は全て
Ｎとしている。ステップ（４４）は、前向きの伝播によ
り式（１）１式（２）を用いて各層の内部状態ｕ　ｈ　
、、出力１ｉ［Ｖ　”　ａを演算し、出力ＮＨにおける
神経回路網の集合体としての出力ＶＨｊを求める。この
出力Ｖ”、と学習データｄ＋’を用いて式（４）を演算
し、二乗誤差Ｅを求める（ステップ＋４５１）　、次に
このエネルギーＥから例えば式（１２）によりβを演算
する（ステップ（４６））　、ステツブ（４７）では、
演算したＵを用いてモーメント法により結合重みを更新
する。このため、まず第り層の重みの１＋１における更
新量Δ”Ｊ＋（Ｌ＋１）を式（８）で求める。この式に
おけるαはあらかじめ定めたパラメータであるが、βは
前ステップで演算されたものであり、逐次動的に変更さ
れている０次に、ΔＷｌ′Ｊｌ（シ＋１）を用いて新た
な重みＷｈＪｌ（Ｌ＋１）を式（９）により求める。二
乗誤差Ｅが充分小さいとき、例えばあらかじめ許容誤差
へを与えておき、Ｅと八との大小関係を判定しくステッ
プ（４８））　、　ＥがＡ以下の時学凹は終了とし、Ｅ
がＡよりも大きい時はｔ＝ｌ；＋１　（ステップ（４９
１）としてステップ（４２）からの処理を繰り返す。

このように、上記実施例では結合重みを定める学習方程
式のパラメータであるβを学習の途中でその時点のエネ
ルギーに基いて動的に変更することにより、学習速度を
向上する。

なお、上記実施例では、βを学習の途中でその時点のエ
ネルギーに基く式（１２）によって動的に変更すること
により、学習速度を向−ヒしたが、これに限るものでは
ない。

［発明の効果］ 以上のように、この発明によれば、生体の神経細胞を模
擬した微分＝Ｊ能でかつ単調増加する関数を入出力特性
として何し、人力層、中間層、及び出力層を構成するｉ
数の神経素子、並びに神経素子の出力の各々に結合重み
を乗じて次層の神経素子へ出力する結合素子を補え、人
力層の神経素子に人力データ、及び出力層の神経素子に
出力データを学習データとしてあらかじめ設定し、結合
重みを学習方程式に基いて逐次的に更新し、中間層の神
経素子は各々前の層の神経素子と結合する結合素子を介
しての信号を総和演算しつつ出力層の神経素子において
演算出力を得、出力データと演算出力の差の二乗和で定
義されるエネルギーを局所的に最小にするものにおいて
、瞬時のエネルギーを用いて学習方程式の係数を決定す
ることによって結合重みを動的に変更するように構成し
たことにより、学習速度を速くできる神経回路網装置を
（りることができる効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による神経回路網′：Ａ置
に係る７習を実行するフローチャート、第２図は一般的
な神経回路網装置の構成を説明するための説明図、第３
図は従来の装置に係る学習を実行するフローチャート、
第４図（ａ）はこの発明の一実施例に係るエネルギーＥ
の時間ｔに対する特性を示すグラフ、第４図（ｂ）はβ
の時間ｔに対する特性を示すグラフである。 （１１）・・・神経素子、（１２）・・・結合素子。

Claims (1)

【特許請求の範囲】
1. 　生体の神経細胞を模擬した微分可能でかつ単調増加す
   る関数を入出力特性として有し、入力層、中間層、及び
   出力層を構成する複数の神経素子、並びに上記神経素子
   の出力の各々に結合重みを乗じて次層の神経素子へ出力
   する結合素子を備え、上記入力層の神経素子に入力デー
   タ、及び上記出力層の神経素子に出力データを学習デー
   タとしてあらかじめ設定し、上記結合重みを学習方程式
   に基いて逐次的に更新し、上記中間層の神経素子は各々
   前の層の神経素子と結合する結合素子を介しての信号を
   総和演算しつつ上記出力層の神経素子において演算出力
   を得、上記出力データと上記演算出力の差の二乗和で定
   義されるエネルギーを局所的に最小にするものにおいて
   、瞬時の上記エネルギーを用いて上記学習方程式の係数
   を決定することにより、上記結合重みを動的に変更する
   ことを特徴とする神経回路網装置。