JPH03210685A - 神経回路網装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、生体の神経細胞とその間の結合を模擬して
記憶、推論１判断、予測、計画、制御。

パターン認識、Ｗｉ通化などを行なう神経回路網装置に
関するものである。

［従来の技術］ 第４図は、例えば、「ニューラルコンピュータ」合原−
幸著、東京電機大字出版局、　１９８８年、第１１０頁
〜第１１４頁に掲載された従来のフィードフォワード型
の神経回路網装置の構成を示す説明図である０図におい
て、（ｌりは生体の神経細胞を模擬する素子（以下、神
経素子と呼ぶ）で、（ｌｌａ）は入力層を構成する神経
素子で例えば３つの入力層神経素子、　（ｉｉｂ）は中
間層を構成する神経素子で例えば２つの中間層神経素子
、　（Ｉｌｃ）は出力層を構成する神経素子で例えば１
つの出力層神経素子である。　（１２）は神経素子（１
１１間のシナプスを模擬する素子（以下、結合素子と呼
ぶ）で、その結合の強さを結合重みと呼ぶ。

この回路網において、神経素子（！鳳）は層状に結合さ
れており、グイナミクスとしては、入力層（ｌｌａ）か
ら入った入力信号は中間層（ｔｕｂ）を介して出力Ｊｆ
ｌ（ＩＩＧ＋に伝搬されていく、定量的には以下のよう
になる。学習データとして入力データと出力データの対
をあらかじめ与えるｅｄ＋’を出力層における第２番目
の学習データの第ｉ番目の出力データ、ｕｈ、を第り層
の５番目の神経素子（１１）の内部状態、■１．を第り
層のｊｌ）目の神経素子＋１１１の出力値、ＷｈＪ、を
第り層の第ｉ番目の神経素子１ｌｌ）と第ｈ＋１層にお
ける第一番目の神経素子（ｌｌ）との間の結合重みとす
る。学習データの入力データは、入力層（！　Ｉａｌで
の出力（ｉ　Ｖ　’　ｊと同じである。

第４図に示す例において、各添字は第１表に示すような
構成としている。また、各変数の関係は式（１）３式（
２）のようになる、ここで、関数ｇは微分可能で非減少
な関数であれば良く、−例として式（３）を用いる。

ｕＩＩＪ＝Σｗ”−’Ｊｔｖ”−’、　　　　−−−（
＋）Ｖ”Ｊ＝ｇ　（ｕ”ｉ）　　　　　　　　・・・（
２）ｇ　（ｘ）　＝　１／　（１＋ｅｘｐ　（−ｘｌ）
　・・（３１第１表 さらに、結合重み（Ｗ）は式（４）に示す学習則で逐次
的に決定される。即ち、出力層（ｌ　ｌｃ）における学
習データと、神経回路網によって冥際に得られた演算出
力で定義される二乗誤差に関する最急降下法を用いて決
定される。神経回路網の層の数をＨとすると、二乗誤差
（以下でエネルギーということもある）は式（４）に様
になる。

Ｅ＝　（１／２）Ｘ：Ｉ　（Ｖ’、−ｄｉ’）　”　　
−−＋４１又、結合重みの逐次変更はα、βを適当なパ
ラメータ、δ　ｌｈｌを第り層、ｉ番目の神経素子にお
ける誤差（式（５）９式（６））とし、モーメント法を
使用した場合には式（７）の学習方程式で実行できる０
式（５）１式（６）において、ｈ　＝　Ｈの時は出力層
における値を示している。なお、この例では１■＝３で
ある。Ｎ′１は第ｈ＠における神経素子の数である。

δ、”’＝　（ｃｔ　、’−Ｖ’、）　Ｖ’、　（１−
Ｖ”、）ここで、ｉ　＝　ｌ、　Ｎ　ｔｌ′ｌｌ　　　
　　・・・（５）δ１”””Ｖ”１（１−Ｖ”＋）Ｘ５
４′ｈ”’Ｗ”１ここで、ｉ＝ｌ〜ＮＬｈ１．ｈ＝１■
〜ｌ・・（６）ｄ　”　ｗｈＪｔ　／ｄｔ、”　＋　（
１−α）　ａ　Ｗ　”Ｊ　ｌ　／　ａｔ＝−βａＥ／ａ
Ｗｌ″１　　　　　・・（７）例えば、式（７）の学習
方程式を現在のノイマン型計算機で実行しようとすると
、計算機はディジタルなので、方程式を差分化して逐次
実行する必要があるが、この処理を行なうフローチャー
トの一例を第５図に示す、ステップ（３０）でＬ＝１に
おける結合重みＷ″１と結合重みの更新量ΔＷｈＪ、の
初期値を一様乱数又は正規分布する乱数によって設定す
る。この時、ｈ＝１〜２でｈ＝ｔの時ｉ＝１〜３．ｊ＝
１〜２、ｈ＝２の時ｉ＝１〜２．Ｊ＝ｌの全てについて
設定するのであるが、第５図には簡単のため、ｈ、ｊ、
ｉと記述する。ステップ（３■）でし＝１として初期設
定する。ステップ（３２）では誤差信号の初期値として
出力層（１１ｃ）における誤差δ　ＩＩ＋を式（５）に
よって求める０次に逆伝播法を用いて、−層上の誤差信
号から下の層の誤差信号を式（６）に基いて求める（ス
テップ（３３））、この逆伝播を第６図に示す、ステッ
プ（３４）では、モーメント法により結合重みを更新す
る。このため、まず第り番の重みのし＋１における更新
ＩΔＷ”ＪＩ（七十１）を式（８）で求める。

ΔＷ”ＪＩ　　（ｔ　＋　１　）　＝　（Ｊ　６　Ｊ”
”’Ｖ”＋０６ｗ”Ｊｔ　　（ｔ）　　・・（８）この
式におけるα、βはあらかじめ定めたパラメータである
０次に、ΔＷ　”ａ＋　　（シ＋　１　）を用いて新た
な重みＷ”ＪＩ　　（ｔ、　＋　１　）を式（９）によ
り求める。

Ｗ”ＪＩ　　（ｔ−ｚ）＝Ｗ”ＪＩ　　（ｔ）＋Δｗ”
、ｔ　　（ｔ＋１）　　・・（９）ステップ（３５）で
は、前向きの伝播により式（１）式（２）を用いて各層
の内部状態ｕ　ｈ　Ｊ、出力値ＶｈＪを演算し、出力層
Ｈにおける神経回路網の集合体としての出力ＶＨ，を求
める。この出力ｖＨＪと７習データｄ＋’を用いて式（
４）を演算し、二乗誤差Ｅを求める。このＥが充分小さ
いとき、例えばあらかじめ許容誤差Ａを与えておき、Ｅ
とＡとの大小関係を判定しくステップ＋３６））　、　
ＥがＡ以下の時は学習は終了とし、ＥがＡよりも大きい
時はＬ＝ｔ＋１　（ステップ（３７））としてステップ
（３２）からの処理を繰り返す。

［発明が解決しようとする課題］ 従来の神経回路網装置は以上のように構成されており、
集合体としての誤差Ｅが誤差の許容値Ａ以下になるのが
遅く、学習の速度が遅かった。さらに、誤差Ｅが許容値
Ａ以下にならず、局所最適解に収束してしまうという問
題点があった。

この発明は上記のような問題点を解決するためになされ
たもので、学習速度を速くでき、さらに局所最適解に収
束するかわりに、大局的最適解に収束する確率を向上す
ることのできる神経回路網装置を得ることを目的として
いる。

［課題を解決するための手段］ この発明は、入力層、中間層、及び出力層を構成する複
数の神経素子を所定数毎に群分けした神経素子群と、神
経素子の出力の各々に結合係数を乗じて次の層の神経素
子へ出力する結合素子とを備え、入力層の神経素子に入
力データ、及び出力層の神経素子に出力データを学習デ
ータとしてあらかじめ設定し、入力層の神経素子の動作
状態は同一群内では実質的に同一に割り当て、中間層の
神経素子は各々而の層の神経素子と結合する結合素子を
介しての信号を総和演算しつつ出力層の神経素子におい
て演算出力を得、上記出力データと演算出力の二乗で定
義されるエネルギーを局所的に最小にするように構成し
たものである。

［作用］ この発明における神経回路網装置は、少なくとも入力層
の神経素子を冗長にし、これに共なって結合重みを冗長
にして結合することによって、等価的にニューロンの伝
達関数であるシグモイド関数の勾配を急にして学習を高
速にし、かつ、冗長にした結合重みが、大数の法則によ
って等価的に正規分布となり、大局的最適解に収束する
確率を向上する。

［実施例］ 第１図は、この発明の一実施例による神経回路網装置の
構成を示す説明図である１図において、＋ＩＩ）は生体
の神経細胞を模擬する素子（以下、神経素子と呼ぶ）で
、（ｌｌａ）は入力層を構成する神経素子で例えば６つ
の入力層神経素子、（ｌｌｂ）は中間層を構成する神経
素子で例えば４つの中間層神経素子、　（ｌｌｃ）は出
力層を構成する神経素子で例えば１つの出力層神経素子
である。　（１２）は神経素子＋Ｉ　Ｉ）間のシナプス
を模擬する素子（以下、結合素子と呼ぶ）で、その結合
の強さを結合重みと呼ぶ。

この回路網において、入力層の神経素子（ｌ　ｌａ）に
は２重の冗長性を持たしており、神経素子Ｖ′（■　と
神経素子Ｖｌ、ｉｍｌは同一の神経素子群を構成する。

神経素子Ｖｌ＋Ｉ＋　と神経素子ｙ１１！１神経素子ｖ
′（１）と神経素子Ｖｌｌｌ′も同様に同一の神経素子
群を構成する。この冗長化したニューロンの出力は全て
同一とし、即ち、入力層の神経素子（ｌｌａ）の動作状
態は同一群内では実質的に同一に割り当てている。この
実施例では中間層を構成する第２９　（ｌｌｂ）のニュ
ーロンにも第１層と同様に二重の冗長性を持たしている
。但し、第２層目（１ｌｂ）では、入力層（ｌｌａ）の
ように冗長化したニューロンの出力は同一とは限らない
、出力層（Ｉ　Ｉｃ）では冗長化は不要である。又、冗
長化した入力層（ｌ　ｌａ）に共゛なって、結合重みも
冗長化している０図において、入力層（１１ａ）から出
力層（ｌ　ｌｃ）への信号の流れは、神経素子（Ｉ　ｌ
）と結合重み（１２）が冗長になったほかは従来と同様
である。即ちｍを冗長化の数とすると、ｕｆｉ、１ｍｌ
　を第り層の５番目の神経素子の内部状態、Ｖｌｌ、１
１１１を第り層の５番目の神経素子の出力値、Ｗｌ＋、
、１ｍｌを第り層の第１番目の神経素子と第ｈ＋１層に
おける第ｊ番目の神経素子との間の結合重みとする。学
習デー夕の入力データは、入力層（ｌｌａ）での出力ｔ
ｔｉｖ’１１　と同じである。

第１図に示す例では、第２表に示すような構成としてい
る。また、各変数の関係は式（１１）、式（１２）のよ
うになる、ここで、関数ｇは微分り能で非減少な関数で
あれば良く、−例として式（Ｉｓ）を用いる。

第２表 ｕｈ、ｌ＠ｌ＝＝ΣＷ１１−１．、　ｌａｌ　Ｖ　ｈ−
ｔ、　１６１　　・・（ｌｌ）Ｖｌｌ　　ｌａｌ　　＝
：ｇ　　（ｕｈＪｌ”ｌ　　）　　　　　−・、　　・
＋＋２）ｇ　　（ｘ）　　＝１／　（１＋ｑｘｐ　　（
−ｘ）ｌ　　　−−（＋３１さらに、結合重み（Ｗ）は
式（１４）に示す学習則で逐次的に決定される。即ち、
出力層（ｌ　Ｉｃ）における学習データと、神経回路網
によって実際に得られた演算出力で定義される二乗誤差
に関する最急降下法を用いて決定される。神経回路網の
層の数をＨとすると、二乗誤差（以下でエネルギーとい
うこともある）は式（１４）に様になる。

Ｅ＝（１／２１ΣΣΣ（ＶＨ，１６１−ｄ　、Ｉｌｌ＠
ｌ）Ｉ　・（１４）又、結合重みの逐次変更はａ、βを
適当なパラメータ、δ　ｌｈｌ　ｌａｌ１　を第り層、
ｉ番目の神経素子における誤差（式（１５）　、式（１
６１）とし、モーメント法を使用した場合には式（１７
）の学習方程式で実行できる８式（Ｉｓ）、式（１６）
において、ｈ＝Ｈの時は出力層における値を示している
。なお、この例ではＩ（＝　３である。

５　、１１１１　ｌａｌ、（ｄ　、１１１＋＋＋１−ｖ
ｌｌ、１ｍ１）ｙＨ，（１−ｙＨ１′ｍｌ）ここで、′
ｉ　＝　ｌ、　Ｎ　１１１１　ｌａｌ　　　　・・・（
１５）δ　ｌｌ＋ｌ　ｌａｌ　　＝　Ｖ　ｌ＋、　ｌｓ
ｌ　（１−Ｖ　ｈ、　１ｍ１）本Ｉ　Ｘ：　δ、　ｌｈ
ｌｌｌ　ｌａｌ　ｗｈＪ、　ｌ＋ｍｌここで、ｉ＝Ｉ〜
Ｎ　ｌｈｌ　ｌａｌ　、　ｈ＝　）（〜ｌ・（Ｉｃ）ｄ
　　”　　Ｗ”、１１”’／ｄｔ”　　÷（ｌ　−α）
　　ｄ　　Ｗ　”Ｊｒ　”’　／　ｄｔ＝−βｃｌＥ／
ａＷＩ″Ｊｔ”’　　　　　−−（１７）例えば、式（
Ｉ７）の学習方程式の演算処理を行なうフローチャート
の一例を第２図に示す、ステップ（４０）でｔ＝ｉにお
ける結合重みＷ”Ｊ−−’と結合重みの更新量ΔＷｈ　
Ｊ、　ｌ　ｍ　ｌの初期値を一様乱数又は正規分布する
乱数によって設定する。この時、ｈ＝１〜２でｂ＝１の
時ｉ＝１〜３．ｊ＝１〜２、ｈ＝２の時ｉ＝１〜２．ｊ
＝１の全てについて設定するのであるが、第２図には簡
単のため、ｈ。

ｊ、ｉと記Ｍし、ｍについては入力層（ｌｌａ）　、中
間層（ｌｌｂ）共にｍ　＝　２、出力層（ｌｌｃｌでは
ｍ＝１とする。ステップ（４１）でｔ＝１として初期設
定する。ステップ（４２）では誤差信号の初期値として
出力Ｈ（Ｉｌｃ）　ニオケルＫＭ　５　ｔ　”’　””
ｋ　式（１５）　Ｇｌ：　Ｊ：って求める１次に逆伝播
法により、−層上の誤差信号から下の層の誤差信号を式
（１６）に基いて求める（ステップ＋４３））　、第３
図に逆伝播を示す。ステップ（４４）では、モーメント
法により結合重みを更新する。このため、まず第り番の
重みの１＋１における多値化したｍ番目の更新量△Ｗ”
、、１”″）（ｔ＋Ｂを式（１８）で求める。

ΔＷ　ｈＪｌ　”’　（シ＋’）　＝βδ　＋ｈ＊＋＋
　ｌａｌ　　Ｖ　ｈ、　１ｌｊｌ＋αΔＷ”ｊ、１”　
（ｔ）　　・・（１８）この式におけるα、βはあらか
じめ定めたパラメータである１次に、ΔＷ”、（”ｌ　
（ｔ　＋　ｔ　）を用いて新たな重みｗ”、、’″’（
し＋ｉ）を式（１９）により求める。

Ｗ”Ｊ、ｌ”’　（ｔ、＋ｔ）＝ｗ”ｊＩ”’　（ｔ）
＋ΔＷ”、”’　（ｈ＋ｔ）　　・・（１９）ステップ
（４５）では、前向きの伝播により式（Ｉ　Ｉ）　。

式（１２）を用いて各層の内部状態ｕ　ｈ　ｌ　＠　１
．出力値Ｖｌｌ、１１６１　を演算し５、出力層Ｈにお
ける神経回路網の集合体としての出力Ｖ１４Ｊ′１を求
める。この出力ｖ８，１ｍｌと学習データｄ＋””　を
用いて式（１４）を演算し、二乗誤差Ｅを求める。この
Ｅが充分小さいとき１例えばあらかじめ許容誤差Ａを与
えておき、ＥとＡとの大小関係を判定しくステップ（４
６］）　、　ｒＥがＡ以下の時学習は終了とし、ＥがＡ
よりも大きい時はＥ＝ｔ＋１　（ステップ＋４７）　）
としてステップ（４２）からの処理を繰り返す。

このように、上記実施例では少なくとも入力層の神経素
子（ｌｌａ）を冗長にし、これに共なって結合重みを冗
長にして結合することによって、等価的にニエーロンの
伝達関数であるシグモイド関数の勾配を急にして学習を
高速にし、かつ、冗長にした結合重みが、大数の法則に
よって等価的に正規分布となり、大局的最適解に収束す
る確率を向上する。

天際にＸｏＲＯ問題として知られているものを実行した
。これは、学習データの入力データとしテＶ　’ｌ＝　
Ｏ、Ｖ　’ｘ＝　Ｏｔ７）時、出力データトシテＶ３、
；０、’ｖ’、＝ｏ、ｖ’、＝ｏの時、出力データトシ
テＶ　’　ｔ　＝　Ｏｌｖ　＋、　＝　０　、　Ｖ　’
−＝　１　（７）時、出力データとｔ、てｖ’、＝ｉ、
Ｖ’ｌ＝１．Ｖ’、二〇（７１１時、出力データとして
Ｖ’ｌ＝１．Ｖ’、＝１．Ｖ’□＝１の時、出力データ
としてｖ’、＝ｏを与えて学習させると、従来装置では
ＩＯ分程度かかっていたものが、この実施例による装置
では２分程度で学習できた。冗長性の度合いをＤとすれ
ば、データの性質にもよるが、従来装置の速さのｌ、／
Ｄ＋、’ｘ程度で学習できるようになった。さらに、中
間層の神経素子に冗長性を持たせた際に同一群内では同
一の動作状態にしているが、同じでなく、完全に乱数で
定めた場合はこれより速くなる。

し発明の効果］ この発明は、入力層、中間層、及び出力層を構成する複
数の神経素子を所定数毎に群分けした神経素子群と、神
経素子の出力の各々に結合係数を乗じて次の層の神経素
子へ出力する結合素子とを備え、入力層の神経素子に入
力データ、及び出力層の神経素子に出力データを学習デ
ータとしてあらかじめ設定し、入力層の神経素子の動作
状態は同一群内では実質的に同一に割り当て、中間層の
神経素子は各々前の層の神経素子と結合する結合素子を
介しての信号を総和演算しつつ出力層の神経素子におい
て演算出力を得、」１記出力データと演算出力の二乗で
定義されるエネルギーを局所的に最小にするように構成
することにより、学習速度を速くでき、かつ、大局的最
適解に収束する確率が向上できる神経回路網装置を得る
ことができる効果がある。

【図面の簡単な説明】

Ｉｔ図はこの発明の一実施例による神経回路網装置の構
成を示す説明図、第２図はこの一実施例に係る学習方程
式を演算するフローチャート、第３図はこの一実施例に
係る誤差の逆伝播を示す説明図、第４図は従来の神経回
路網装置の構成を示す説明図、第５図は従来の装置に係
る学習方程式を演算するフローチャート、第６図は従来
の装置に係る誤差の逆伝播を示す説明図である。 （Ｉｌｌ・・・神経素子、（１２）・・・結合素子。 なお、図中、同一符号は同一、又は相当部分を示す。

Claims (1)

【特許請求の範囲】
1. 　入力層、中間層、及び出力層を構成する複数の神経素
   子を所定数毎に群分けした神経素子群と、上記神経素子
   の出力の各々に結合係数を乗じて次の層の神経素子へ出
   力する結合素子とを備え、上記入力層の神経素子に入力
   データ、及び上記出力層の神経素子に出力データを学習
   データとしてあらかじめ設定し、上記入力層の神経素子
   の動作状態は同一群内では実質的に同一に割り当て、上
   記中間層の神経素子は各々前の層の神経素子と結合する
   結合素子を介しての信号を総和演算しつつ上記出力層の
   神経素子において演算出力を得、上記出力データと上記
   演算出力の二乗で定義されるエネルギーを局所的に最小
   にするように構成したことを特徴とする神経回路網装置
   。