JPH03185553A - 多層型ネットワークの学習装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、文字認識などの画像パターン認識装置、ソナ
ーの信号処理、または証券や金融分野での応用が可能な
多層型ニューラル・ネットワークの学習を高速に実行す
る装置と並列計算方法に関する。

〔従来の技術〕

多層型ニューラル・ネットワークの学習は、般に計算回
数が膨大になるため、単一処理装置構成の汎用計算機上
で実行すると長時間の計算が必要である。そもそもニュ
ーラル・ネットワークは並列型計算機と親和性が良く、
学習方法の実装によっては並列度を上げることが可能で
ある。そこで、並列処理にって、高速計算する試みがな
されており、その一つに電子情報通信学会技術研究報告
書、ＭＥとバイオサイバネティックス８８−１３４　（
１９８９）に報告された試みがある。この試みでは、複
数個の処理装置（Ｄ　Ｓ　Ｐ　：　ｄｉｇｉｔａｌｓｉ
ｇｎａｌ　ｐｒｏｃｅｓｓｏｒとローカルメモリからな
る）をリング状に配置する。一つの処理装置に隣接する
層のノードを一つ以上割合て、あるノードの割合てられ
た処理装置のローカル・メモリ上にそのノードの属する
上位層との重み係数を格納する。入力層から出力層に向
かって前向きに積和計算を実行する時は、ある層に属す
る各処理装置は、各々独立に、ノードの値と上位層への
重みとの積を順順にリングに乗せ、目的とする処理装置
に到達するまで、リング上を回転させる。出力層から入
力層に向かって逆向きに積和計算を実行する時は。

各処理装置上に必要な重みが格納されているためリング
上に乗せる必要はないが、出力層からの誤差データは下
位の層に伝える必要があるので、目的とする処理装置に
到達するまでリング上を回転させる。すなわち、Ｎ離れ
たノードにデータを転送するには、Ｎ回リング上を回転
させる必要がある。従って、処理装置の数が多くなると
、データ転送に要する時間が増加する。このデータ転送
に併うオーバーヘッドをなくすためには、処理装置の結
合形態をリング状からバス状にするのが有効である。バ
ス型結合においては、どれだけ離れていても同じ時間遅
れでデータを転送できる。

バス型結合においては、ある処理装置がバスに乗せたデ
ータを、複数の処理装置が同じ受取ることが可能で、積
和計算が並列に実行できる。下位層への重みを処理装置
が保持する構成とすると、前向き計算時、下位層の処理
装置が順々に、バスに出力を乗せ、上位層の処理装置は
各持続に対応した重みから積和を計算できる。しかし、
逆方向に積和計算を実行する時は、積和を実行する処理
装置上に必要な重みが格納されていないため、重みを上
位層から下位層に転送しなければならない。

しかし、上位層と下位層はバスで結合されているためデ
ータを並列に転送できなくなり、処理装置の数に比例し
た速度向上を期待できなくなるという欠点があった。

〔発明が解決しようとする課題〕

上記従来技術は、データを処理装置間で転送する場合に
必要な処理量を軽減する点についての配慮がなされてお
らず、処理装置を複数結合しても高速化できないという
問題があった。

本発明は、データ転送をなくし並列処理装置の実行速度
を上げることを目的としている。

〔課題を解決するための手段〕

上記目的を遠戚するために、多層型ネットワークの重み
を、中間層に属する処理装置について、下位層に対する
重みだけでなく、上位層に対する重みも格納したもので
ある。すなわち、ある接続の重みが、その両端に接なか
っている処理装置上に二重に格納したものである。

さらに、多層型ネットワークの学習は、上記の重みの値
を調節することであるから、二重に格納された重みが常
に同一の値になっている必要がある。このために１両端
の処理装置上で必要なデータを転送しあうようにしたも
のである。

さらに、一つの処理装置に重みを格納することができな
い場合、下位層に対する重みを別々の処理装置に分割す
るか、上位層に対する重みを別々にするか、下位層と上
位層に対する重みを別々に分割し格納するようにしたも
のである。

〔作用〕

中間層の処理装置に格納された重みのうち、下位層に対
する重みは、前向き計算時、各々の処理装置で独立にア
クセスすることができる。また。

上位層に対する重みは、逆向き計算機、同様に各各の処
理装置で独立にアクセスすることができる。

さらに、二重に格納された重みは、別々の処理装置によ
って同じ値になるように調節されるため、多層型ネット
ワークの学習方法は、単一処理計算機上で実行した結果
と本発明の装置での結果は等しくなる。

〔実施例〕

以下、図を用いて本発明の詳細な説明する。

第２図を用いて、多数のプロセッサ（プロセッサとは、
演算ユニットや記憶ユニットなどから構成される装置 た構造を持つシステム（以下の説明では、単にネットワ
ーク用語を用いる）の動作原理を説明する。

ネットワークを構成する単位をノード、ノード間のパス
を接続と呼ぶ。その接続に対応したある値のことを重み
と呼ぶ。ノードにおける処理はプロセッサによって実行
される。一つのノードの処理が一つのプロセッサによっ
て実行される構成や、複数のノードの処理が一つのプロ
セッサによって実行される構成や、一つのノードの処理
が複数のプロセッサによって実行される構成が可能であ
る。

従って、ノード間の接続は、プロセッサ間の結合であっ
たり、プロセッサ内部のデータ転送であったりする。以
下，ノード間の接続は接続、プロセッサ間の接続は結合
と記す。

第２図では、プロセッサが３つの層に配置され、それぞ
れの層間でのみ接続されている。最も左側の層、または
入力層はプロセッサ８から１２で構成される。中央の層
、または中間層はプロセッサ４から７で構成される。最
も右側の層、または出力層はプロセッサ１から３で構成
される。この時、層毎には前述したように、入力層から
中間層へ、そして、中間層から出力層への接続が存在す
る。

第２図では、出力層のプロセッサ１は中間層のプロセッ
サ４から７と接続ｌから接続４で接続されている。この
接続の両端のプロセッサの間でのみデータの直接の転送
が可能である。ここでは、層毎のプロセッサは隣接した
層のプロセッサの総てと接続しているが、総てとではな
く部分的な接続でも良い。また、隣接する層とのみ接続
しているが、隣接しない層との接続があっても良い。第
２図における接続ｌから３２は、データを伝達する場合
の重みとして動作する。例えば、プロセッサ４の入力は
、前段のプロセッサ８から１２までの出力と、それぞれ
のプロセッサに対応した接続の重みの積和となる。すな
わち、プロセッサｉの出力を０１、入力をｕｌ＋プロセ
ッサｉとｊの間の接続にの重みをＷｋとすると、例えば
、プロセッサ４の入力ｕ４は、 ｕ４＝Ｗ１３・０８＋Ｗ１４・０９＋Ｗ１５・Ｏ１０十
Ｗ１６・０１１＋Ｗ１７・０１２ になる。ｕｌはプロセッサｉの内部の処理によってＯｉ
　に変換され、プロセッサｉの出力として隣接するプロ
セッサに伝達される。

上記の計算がプロセッサ４から７のそれぞれで実行され
る。この時、前段のプロセッサ８から１２は、それぞれ
の値を出力している。そして、同様にプロセッサ４から
７は、それぞれの値を出力し、プロセッサ１から３が積
和計算を実行する。

このようにして、入力層を構成するプロセッサ８から１
２が出力する値は、２度の積和計算の後、出力層を構成
するプロセッサ１から３の出力に変換される。具体的に
は、入力層のパターンデータが画像を表わし、出力層と
してその画像の分類を表わしている場合、例えば入力画
像が文字である場合、文字認識装置として利用できる。

入力が音声のパターンであったり、経済データのような
時系列データであっても良い。何れの場合でも、与えら
れた入力から、何らかの変換処理によって意味のよい分
かりやすいパターンデータを出力することができる。

入力と出力のパターンは通常何遍りも存在する事から、
同様に入力が与えられても、最適な出力が得られるよう
に、接続の重みを調節しなければならない。この計算を
ネットワークの学習と呼び、その一つにラメルハートら
によって提案されたバック・プロパゲーションと名付け
られた方法がある（Ｒｕｍｅｌｈａｒｔ、Ｄ、Ｅ、、Ｈ
ｉｎｔｏｎ、Ｇ、Ｅ、、ｗｉｌｌｉａｍｓ、Ｒ，Ｊ。

：　Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒ
ｏｃｅｓｓｉｎｇ　：Ｅｘｐｌｏｒａｔｉｏｎｓ　ｉｎ
　ｔｈｅ　Ｍｉｃｒｏｓｔｒｕｃｔｕｒｅ　ｏｆＣｏｇ
ｎｉｔｉｏｎ、Ｖｏｌｕｍｅ　１　：　Ｆｏｕｎｄａｔ
ｉｏｎｓ、Ｃｈａｐｔｅｒ　８゜Ｔｈｅ　ＭＩＴ　Ｐｒ
ｅｓｓ、Ｃａｍｂｒｉｄｇｅ、Ｍａｓｓ　（１９８６）
参照）。

この方法では、従来パーセプトロンと呼ばれた学習方法
（Ｍｉｎｓｋｙ、Ｍ、、Ｐａｒｅｒｔ、Ｓ、　：　Ｐｅ
ｒｃｅｐｔｒｏｎｓ−ＡｎＩｎｔｒｏｄｕｃｔｉｏｎ　
ｔｏ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｇｅｏｍｅｔｒｙ
、　Ｔｈｅ阿ＩＴ　Ｐｒｅｓｓ、Ｃａｍｂｒｉｄｇｅ、
Ｍａｓｓ　（１９６９）参照）では、不可能とされた問
題にも適用できることが明らかにされた。

次に、このバック・プロパゲーション学習方法の概轄を
説明する。各接続の重みを調節することが、この学習の
目的であるから、ランダムな値を重みの初期値とし学習
を開始する。開始した直後は、重みが未調節なため、望
ましい出カバターンは得られない。そこで、得られた出
力値と、望ましい出力値（この場合、望ましい出力値は
予め既知であり、この値のことを教師値と呼ぶ）との差
分を基に各接続の重みを修正する。出力層のプロセッサ
との接続の重みは、中間層の出力値と出力層での出力値
と教師値から、次式によって算出することができる。こ
こで、プロセッサ内部の入力から出力の変換は、シグモ
イド関数と呼ばれる非線形飽和関数が用いられていると
する。

ΔＷＪｔ（ｎ　＋１　）＝　７１δＪＯＪ　＋　ａΔＷ
　Ｊ　１　（ｎ　）δＪ＝ＯＪ（１ｏＪ）（ｔｔ−ｏＪ
） ただし、ＷＪＩは中間層のノードｉから出力層のノード
ｊへの重みの値、０．はノードｉからの出力値、１．は
教師値である。ηとαはある値を持つ係数であり学習が
効率よく進むように設定される。αは前回の修正値であ
り、学習の安定化、高速化に役立つ。ｎは学習の繰返し
回数であり、パターンを入力層に提示し得られた出力値
と教師値に基づいて重みを修正する事を一回とする。δ
、はシグモイド関数の導関数と誤差の積から求まる差分
である。毎回、各接続の重みの微少修正量ΔＷＪｓが上
式によって求まるから、次回は、ＶＪｔ（ｎ　＋１　）
＝ΔＷＪ１（ｎ　＋１）＋Ｗａｉ（ｎ）なる重みの値が
使われる。

第２図での例では、係数αの項を省略すると、ΔＷ１＝
ｌｏ　１・（１−ｏ　１）・（ｔ　１−ｏ　１）・ｕ４
ΔＷ２＝ｉｏ　１・（１−ｏ　１）（ｔ　１−ｏ　１）
・ｕ５ΔＷ３＝η・ｏ　１（１−ｏ　１）（ｔ　１−ｏ
　１）・ｕ６ΔＷ４＝ｌｏ　１（１−ｏ　１）（ｔ　１
−ｏ　１）・ｕ７ΔＷｌ　２　＝　ｒｔ・ｏ　３（１−
ｏ　３）・（ｔ　３−ｏ　３）・ｕ　７なる一連の計算
によって、出力層の重みが修正できる。ここで、を−は
出力層のノードｊに対して、あるパターンｐを与えたと
きの教師値を示す。簡単化のため添字Ｐを省いた。

次に、入力層と中間層との間の重みの修正方法を説明す
る。出力層では、教師値と直接比較できるので差分を算
出できた。しかし、中間層では、どのような値を中間層
のノードが出力すべきか不明である。そこで、出力層で
の差分と、中間層と出力層との接続重みとの積和演算で
一般化された差分を次式で算出する。

δＪ＝ＯＪ（ｌ　　ＯＪ）Σ１δｋＷ　ｈ　Ｊここで、
δには出力層での差分てあり、Ｗ　ｋＪは中間層のノー
ドｊと出力層のノードにとの間の重みである。このδ、
がその一般化差分と考えることができる。すなわち、出
力層では、実際の出力と教師値との差であり、中間層で
は、重みとの積和値である。入力から出力に向かって、
データが伝わったのとは、逆の方向に出力層での差分が
入力層に向かって伝わる。ここで、ノードｊでの一般化
差分の計算に必要な重みは、ノードｊから出力される接
続に対応している事に注意を要する。

第２図の例では、以下の様に計算される。中間層での一
般化差分δ４からδ７は、出力層での差分δ１から６３
を用いて δ４＝０４・（１−ｏ４）・（δ１・Ｗ１＋δ２・Ｗ５
＋δ３・Ｗ９）δ５＝ｏ　５・（１−ｏ　５）（δ１　
・Ｗ２＋δ２−Ｗ６＋δ３・ＷＩＯ）δ６　＝ｏ６（１
−ｏ６）（δ１・Ｗ３＋δ２−Ｗ７＋δ３・Ｗｌｌ）δ
７＝０７・（１−ｏ７）・（δ１・Ｗ４＋δ２・Ｗ８＋
δ３・Ｗ１２）で求める。そして、重みは次の様に修正
される。

ΔＷ１３＝η・δ４・ｏ８ ΔＷ１７”！’　　δ４　・　ｏ　ｌ　２ΔＷ３２＝η
　・　δ　７　・　ｏ　工２以上の計算方法では、一般
化差分を算出するときにシグモイド関数の導関数を使い
、また、重みの修正には、ηδＪＯＪを用いた。しかし
、この方法以外の一般的な方法、 Ａ　ＷＪＩ　＝　ｇ　（ＷＪＩ　、　Ｘｌ、　Ｙ　Ｊ）
を使っても、以下に述べる実施例は有効である。

すなわち、重みの修正は接続の両端のノードの状態から
直接計算する場合に適用可能であり、上記の方法では、
Ｘ　ｒ　＝　ｏ　１ｅ　Ｙ　ａ　＝δ、なる場合である
。

ここでは、中間層が一層の場合を説明したが、複数の層
がある場合でも同様にして、一般化差分を算出すること
が出来る。

これまで、ノードと接続は単純に数式上のものとして説
明したが、実際には物理的な構成要素が伴う。ノードの
実現には、プロセッサ上の要素、例えばプロセスやタス
クを用いても良いし、単なるプログラム中の変数として
も良い。この場合、総ての接続の重みを単一のプロセッ
サからアクセスが可能である。しかし、複数のプロセッ
サ（通常、このような構成のネットワークの場合、プロ
セッサ数が多くなる）を用いて構成する場合、接続の重
みの格納場所が技術的な課題となる。すなわち、総ての
重みを同−記憶装置上に格納した場合、複数のプロセッ
サからのアクセスが競合することになり、プロセッサ数
に見合った性能向上が望めない。従って、接続の重みを
プロセッサ個別の記憶装置上に格納する方式を採用する
ことになる。

プロセッサ毎の重みを格納した例を第１図に示し、本発
明の特徴である同一の重みを異なる場所に複数格納する
という方法を説明する。このネットワークは、Ｏから７
までの計８個のプロセッサから構成される。ｌから７ま
では第２図のプロセッサ１から７に対応する。第１図で
のプロセッサ０は第２図では８から１２に対応する。こ
こで、入力層では、前述したように出力値を保持してい
るだけなので第１図では一つのプロセッサで構成してい
る。

ノード間の接続は、第２図ではそれぞれのプロセッサ毎
の結合で実現されているがプロセッサ数の増加に対し結
合数は２乗の場合で増加するため、第１図ではバス１０
，１１，１２で層間を結合している。これらのバスと各
プロセッサとは１００から↓工４のバスで結合されてい
る。また、バス１０．１１．１２はバス切換え２１，２
２．２３を通じバス１３．１４で相互に結合されている
。

従って、プロセッサ１，２．３に、例えば、教師値をプ
ロセッサ０から供給するには、バス１２゜バス切換え２
３．バス１４．バス切換え２２．バス１３．バス切換え
２１．バス１２を経て、バス１００，１０１または１０
２を使用する。プロセッサＯは入力および教師パターン
を供給する他、ネットワーク全体を制御する。中間層の
数が２以上では、バス１１の様に中間層のプロセッサが
結合しているバスを通じ、制御用のデータを転送する。

層毎の積和計算は次の様になる。層間のプロセッサは、
一対一の直接結合を持たない。例えば、プロセッサ４が
出力ｏ４をバス１０６を通じ、後段の層のプロセッサが
接続されているバス１１に出力する。プロセッサ１から
３はバス１０３゜１０４．１０５を通じバス１１から出
力０４を受は取ることができる。この場合層間の接続が
個別接続ではないため、プロセッサ５から７はアイドル
状態になっている。しかしながら、プロセッサ５がプロ
セッサ４と同時に出力を出したとしても、それを受は取
る後段のプロセッサの積和計算が同時に実行出来なけれ
ば、結局計算待ちになるため、バスを分離して同時に出
力したとしても、同時出力の効果はない。一方で、プロ
セッサ１から３で同時に積和計算が進むため、層に含ま
れる数のプロセッサに比例した速度向上が期待できる。

バス１０，１１．１２は独立のバスでなくともよい。す
なわち、全てのプロセッサが単一のバスに結合されてい
る構成でも良い。しかし、第１図の様にバスが分離され
ていると１局所的なデータ転送を同時に出来るため、積
和計算を並列に実行したり、層別計算をパイプライン的
に実行することが可能になり、システム全体の性能が向
上する。

次に１重みの格納方法について説明する。第２図におけ
る中間層と出力層の重みを考える。例えば、プロセッサ
１はプロセッサ４から７と接続されており、それぞれの
接続重みは接続１から４である。この重みをプロセッサ
１の記憶装置上に格納すると、入力層から出力層へ前向
きに計算する場合、プロセッサ１における積和計算に必
要な重みが同一プロセッサ内でアクセス可能になる。し
かし、−膜化差分を出力層から入力層に向かって逆方向
に伝える場合、例えばプロセッサ４においては、接続重
み１，５．９にアクセスする必要がある。これらの重み
は、プロセッサ４には存在しないため、存在するプロセ
ッサ１，２．３からデータを転送しなければならない。

このことは、各プロセッサでの積和計算が前向き計算時
には、同時に実行が可能であるにも拘らず、逆向き計算
時には同時には実行できないことを意味する。

この問題は、同一の重みを異なる場所に複数格納すると
いう方法を採用することによって解決できる。すなわち
、第１図においてプロセッサ１は重みＷｌ、Ｗ２．Ｗ３
．Ｗ４を格納している。また、出力ｏ１や差分δ１も格
納している。ここで、異なる場所に格納するとは、例え
ば、Ｗｌと同一の値を持つ記憶領域をプロセッサ４にも
割当てる（Ｗ１′なる記憶領域）ことである。この重み
のことを以下、鏡像重みと呼ぶ。さらに、プロセッサ４
には、プロセッサ１と２に格納されている重みＷ５．Ｗ
９と同一の内容Ｗ５’　、Ｗ９’も格納される。このよ
うに、重みを二重に格納するのは中間層の属するプロセ
ッサについてのみであり、出力層のプロセッサについて
は必要ない。この図では中間層が一層であるため、鏡像
重みはプロセッサ４から７に存在している。複数の中間
層の場合には、鏡像重みを持つプロセッサが増加する。

すなわち、−殻内には、前後に隣接した層が存在する場
合に鏡像重みが必要になる。

プロセッサからのアクセスが鏡像重みを持つことによっ
て局所化され、アクセスの並列性が保持されることが分
かった。しかし、各プロセッサが独立に鏡像重みを修正
出来なければ、計算の並列性を維持することは出来ない
０次に、重みと鏡像重みがそれぞれ別のプロセッサの記
憶領域にあった場合でも、修正結果の同一性が保証され
る並列学習方法について説明する。

まず、第３図を用いて、第１図に示した構成のネットワ
ークにおいて、前向きの計算がどのように多数のプロセ
ッサによって分担して進行するかを説明する。横軸は時
刻である。簡単化のためバスを通じて別のプロセッサへ
データを転送するのに必要な時間は１重位時間とする。

また、プロセツサ内部の処理、例えば、状態の初期化や
積和計算などに必要な時間も１重位時間とする。図は、
制御用のプロセッサＯの処理の様子、そして、プロセッ
サ１から７までの処理の様子とプロセッサ間のデータ転
送の様子を示している。時刻Ｏで、プロセッサ４から７
においては、積和を求めるための記憶領域を初期化（ク
リア）する。次に２時刻１で、プロセッサＯは入力値０
８をバス１１４を通じてバス１２に乗せる。時刻２でプ
ロセッサ４から７はそれぞれバス１２から０８を受は取
り、各プロセッサが格納している重みＷｌ３．Ｗｌ８゜
Ｗ２３．Ｗ２８との積を計算し時刻Ｏでクリアされてい
る記憶領域に足し込む。時刻３で再びプロセッサＯが入
力値０９を時刻１と同様にバスに対してブロード・キャ
ストする。このように、プロセッサＯからのデータ転送
とプロセッサ４から７までの積和計算が交互に実行され
、時刻１１において、中間層での積和が完了する。次に
、中間層から出力層へのデータ転送と積和計算が、時刻
１１から同様に始まり、時刻２０で出力層からの出力、
すなわち、ネットワークの出力、ｏｌから０３が得られ
る。

第４図は１重みを修正するための逆向きの計算の処理の
流れを示した図である。この図を用いて、鏡像重みの修
正方法を説明するとともに、並列実行の効果も示す。時
刻Ｏで、プロセッサＯは直前の前向き計算で用いた入カ
バターンに対応する教師パターンの一部であるｔｌをバ
スを通じてプロセッサ１に転送する。時刻１で、プロセ
ッサ１では、前向き計算時に保持しておいた出力値ｏ１
と転送されてきたｔｌから差分δ１を計算する。時刻２
，３でも、時刻１．２と同様、教師パターンの一部ｔ２
．ｔ３に関する差分δ２．δ３を計算する。次に、時刻
６から１４で、プロセッサ１から３の重み（ＷｌからＷ
ｌ２まで）を修正する。

まず１時刻６で、プロセッサ４と接続されている重みを
修正するため、ｏ４をバス１０６からバス１１に乗せ、
プロセッサｌから３は独立にこのデータを取込み、それ
ぞれが時刻２，４．６で計算を完了した差分δ１．δ２
．δ３からΔＷｌ。

ΔＷ５．ΔＷ９を求め、重みを修正する。時刻８では、
プロセッサ５に接続された重みを同様に修正する。

次に、時刻１４から２０において、鏡像重みを修正する
。この場合は、図に示すように出力層の差分を順次バス
に乗せ、プロセッサ４から７が保持している出力値ｏ４
から０７によって、重みの修正量が算出される。時刻２
０から２７において。

出力層の差分が中間層に伝えられ、積和計算の結果とし
て、中間層での一般化差分が求まる。時刻２０で、プロ
セッサ４から７においては、差分の積和を求めるための
記憶領域を初期化（クリア）する。時刻２１で、出力層
のプロセッサｌは差分δｌをバスに乗せる。プロセッサ
４から７では、取込んだ差分と、それぞれが保持してい
る鏡像重みの積を積和用の記憶領域に足し込む。同様に
して、時刻２７で中間層での一般化差分δ４．δ５゜δ
６．δ７の計算が完了する。以降、入力層と中間層との
重みは、再び対応する入カバターンをプロセッサＯから
順次ブロード・キャストすることによって、Ｗｌ３から
Ｗ３２までが修正される。

以上の時間経過に対するプロセッサの処理から、各層の
プロセッサは同時に動作していることが分かる。また、
鏡像重みも、同一の値が保証されることも分かる。

重みの値は、学習計算を開始する以前に初期化する必要
があり、通常ランダムな値で初期化される。ランダムな
値は、計算機で発生させる擬似乱数を用いるのが一般的
なので、重みが別のプロセッサの記憶装置に格納されて
いたとしても、独立に同一の初期値に設定することは、
容易である。

第４図では、大きく５つの区間、すなわち、出力層での
差分を求める区間ｌ（時刻Ｏから６まで）、出力層の重
みを修正する区間２（時刻６から１４まで）、中間層で
の鏡像重みを修正する区間３（時刻１４から２０まで）
、中間層での一般化差分を計算する区間４（時刻２０か
ら２７まで）、そして、入力層と中間層の間の重みを修
正する区間５（時刻２７から３７まで）である、これら
の区間の順序は入れ替わっても良い区間や、交錯しても
良い区間がある０例えば、区間２や区間３は入れ替わっ
ても結果は同じ。また、区間１と区間２は交錯して、δ
が求まったら直ぐに重みを修正は可能である。しかし、
区間３と区間４では、同様に出力層の差分をブロード・
キャストしているが、もし、中間層にデータを保持でき
る領域があれば、片方のブロード・キャストは不要にな
り、高速化が可能になる。このように、余分の記憶領域
があれば、区間を入れ替えたり、交錯したりすることに
よって、全体の時間を短縮できる。どの場合でも、鏡像
重み導入の効果はある。

第５図は、鏡像重みがなく、第１図に示したバス結合型
のネットワークで重みをプロセッサに局在化させた場合
を示す、この場合、上記に述べた中間層での一般化差分
を計算する第４図における区間４の動作が問題になる。

第５図に示すように、中間層と出力層のプロセッサはバ
ス１１を使い、δＷを接続数だけ逆方向に転送しなけれ
ばならないためバス・ネックとなり、動作しているプロ
セッサは一つだけになってしまう。従って、並列化によ
る性能向上は望めない。

以上、第２図に示したネットワークを第１図の構成で計
算する場合、すなわち、１ノード当たり１プロセツサの
場合について、！Ｉ像重み導入による並列動作の効果を
説明した。一般の場合では、必要なネットワークのノー
ド数とプロセッサ数が一致しないことが多いと考えられ
る。プロセッサ数が少なければ、一つのプロセッサは複
数のノードの計算を担当する。また、逆にプロセッサ数
が多い場合、ノードの接続されている重みを分割し、別
々のプロセッサが分担することになる。さらに、一つの
プロセッサの局所的な記憶領域が、ノードの重みの数に
必要な記憶領域に比べて、小さい場合、重みを分割して
複数のプロセッサに分散しなければならい。

一般のマイクロ・プロセッサを−っのノード処理に用い
た構成の場合、ノード当たりの処理の規模が小さく、か
つ接続されている重みの容量も小さい。例えば、一つの
ノードが１，０００　のノードと接続している場合を考
えると、接続重みの必要な記憶領域は、−接続重たり、
Ｗと前回のΔＷをそれぞれ４バイトずつ割り当てたとし
ても、８にバイトである。この容量は１通常のマイクロ
・プロセッサの処理能力に比べて小さい。しかし、ネッ
トワークを構成するノード数が例えば数１．０００　以
上になることを考えると、ノードのプロセッサ割り当て
が最適でなく、幾つかのノードを一つのプロセッサに割
当てなければならない。

一方、マイクロ・プロセッサの様な単一または複数のＬ
ＳＩチップと、メモリＬＳＩ、そして制御回路によって
プロセッサを構成するのではなく。

一つのチップの内部にこれらをすべて集積する場合、チ
ップそのものの大きさが歩留まりに影響することから、
チップを大きくすることが出来ず、全体の性能や記憶容
量が限定される。チップを多数個ウェハー上に集積し、
ウェハー全体を複数プロセッサからなるシステムとして
用いる場合、この傾向は顕著になる。従って、容量の制
限から一つのノードを別々のプロセッサが受は持たねば
ならない場合がある。

次に、このようなｌノード当たり１プロセツサではない
構成を持ったネットワークの場合について説明する。第
６図は、一つのプロセッサが複数のノードを担当してい
る場合である。第７図にこの時のプロセッサ割当てを示
す。点線で囲ったノードが同じプロセッサ内部で処理さ
れる。プロセッサ１が第２図の出力層のノードを全て、
プロセッサ２と３で中間層のノードを受は持つ。この場
合も、第１図の構成とプロセッサの数を除いてバス構成
等は同じである。出力、差分そして鏡像重みの格納場所
は、第６図に示す通りである。前向き処理は、第３図に
比べて、第３図でプロセッサ１から３が行なっていた並
列処理が第６図でのプロセッサ１の内部の逐次処理にな
る。逆向き処理においても、鏡像重みの修正と差分の積
和が同様に逐次処理になる。

第８図は、中間層の一つのノードの接合重みが、一つの
プロセッサの最大記憶容量を越えた場合に、複数のプロ
セッサで分担する場合を示した構成である。最大の記憶
容量を越える原因は、中間層のノードが入力層の多数の
ノードと接続しているか、中間層のノードに鏡像重みを
格納したから、ΔＷなどの作業用の記憶領域を確保した
などがある。

第９図に、ネットワークの形状とプロセッサの割り当て
を示す。第２図でのノード４は、第９図ではプロセッサ
４１，４２．４の３つのプロセッサが分担している。入
力層とはプロセッサ４１と４２で接続される。そして、
２つのプロセッサからの出力値は、プロセッサ４におい
て最終的な和が計算され入力層と中間層の積和計算が完
了する。

同時に、シグモイド関数等を適用し、ノード４の出力値
であるｏ４がプロセッサ４で計算される。

この時の出力０．差分６９重みＷ、鏡像重みＷ′の格納
場所を第８図に示す。ノード４でのそれぞれの値は、プ
ロセッサ４１が接続重みＷ１３からＷ１６までと差分δ
４、そして積和の中間結果など、プロセッサ４２が接続
重みＷ１７からＷ２Ｏまでと差分δ４、そして積和の中
間結果など、プロセッサ４がノード４からの出力値ｏ４
そして鏡像重みＷｌ’　、Ｗ５’　、Ｗ９’である。

第１０図は、第８図の場合の各プロセッサの動作を前向
きの計算時について示した図である。時刻Ｏで、中間層
ノードを分担するプロセッサ全てが初期化を実行する。

時刻１から９において、半分に分割した接続重みに対応
する部分積和を実行する。時刻９から１７において、も
う片側の部分積和を実行する。そして、時刻１７で、プ
ロセッサ４１は部分積和値Σ１３ｊ８をズハ１３に載せ
、プロセッサ４は時刻１８に受は取る。時刻１９で、プ
ロセッサ４２は部分積和値Σ１７ｊＯをバス１３に乗せ
、プロセッサ４は時刻２０に受は取り、時刻１８に受は
取っている値との和Σ１１１ｊＯを計算する。同様の部
分積和からの和が時刻３３まで続き、入力層から中間層
への積和計算を完了する。

引き続く中間層から出力層への動作は、第３図の場合と
同様である。ここで、バス１３が合計１２のプロセッサ
に接続しているため１部分積和から和を求めるのに、時
刻１７から３３までを必要としている。もし、バスがノ
ード毎に分割され独立に動作可能ならば、時刻１７から
２１で完了する。

第１１図は、第８図の場合の各プロセッサの動作を逆向
きの計算時について示した図である。時刻２７の区間４
までは、第４図の場合と同じである。異なるのは、第１
１−１図の区間５の時刻２７から３５まで、プロセッサ
４から７まで求まった差分をプロセッサ４１．４２から
７１．７２までに転送している。これも、前述したよう
に独立バスがあれば、時間の短縮は可能である。そして
、区間６の時刻３５から４３まで、半分に分割した接続
重み修正し、時刻４３から５１で残りの接続重みを修正
する。

バス１３が部分積和の計算と、差分δの転送に使われた
とき、同時にはプロセッサが動作しなくなる。これは、
プロセッサの分割によって並列動作が可能になったにも
拘らず、バスが共用であるためプロセッサがアイドル状
態になったことが理由である。従って、前述したように
、独立に動作するバスがあれば、この問題は解決される
。例えば、バス１４が２系統あり、かつプロセッサＯの
替わりに２つのプロセッサＯＯと０１があれば、第１２
図の示す様に、前向き計算において、プロセッサのアイ
ドル状態を少なくすることが出来る。

〔発明の効果〕

本発明によれば、複数の処理装置が同時に動作できるの
で、処理装置の数に比例した速度が得られる効果がある
。

【図面の簡単な説明】

第１図は本発明の一実施例の多層型ネットワーク装置の
構成図、第２図は多層型ネットワークの概念説明図、第
３図は前向き計算時における処理の流れ図、第４図は逆
向き計算時における処理の流れ図、第５図は従来例での
逆向き計算時における処理の流れ図、第６図は第１図に
示した構成の変形構成図（一つの処理装置が複数ノード
を担当）、第７図は第６図の構成と多層型ネットワーク
の対応図、第８図は第１図に示した構成の変形構成図（
一つのノードを複数処理装置が分担）、第９図は第８図
の構成と多層型ネットワークの対応図、第１０図は第８
図の構成の場合における前向き計算時における処理の流
れ図、第１１図は第８図の構成の場合における逆向き計
算時における処理の流れ図、第１２図は、バスを分離し
た場合の高速化の一例を示す図である。、Ｔ−）

Claims (1)

1. 【特許請求の範囲】 １、複数のデータを入力する手段から構成される入力層
   と、データを出力する手段を持つ複数のデータ処理手段
   から構成される出力層と、複数のデータ処理手段から構
   成される少なくとも１層以上からなる中間層から構成さ
   れ、それぞれのデータ処理手段は、入力層により近い下
   位層に属する複数のデータ処理手段と接続され、それぞ
   れの接続に対応した重み係数を格納する記憶手段を持ち
   、下位層からの出力値と、前記の重み係数から計算され
   る値を、出力層により近い上位層に属する複数のデータ
   処理手段へ出力するように構成され、入力ベクトルと出
   力ベクトルの複数組に対して、ある入力ベクトルを入力
   層から入力した時、出力層から、前記の入力ベクトルに
   対応する出力ベクトルにほぼ等しくなるように、前記デ
   ータ処理手段の重み係数を調節し、総ての入力ベクトル
   に対して対応する出力ベクトルにほぼ等しいベクトルが
   出力層から出力されるまで、前記の重み係数の調節を繰
   返す多層型のネットワーク装置において、前記中間層に
   属するデータ処理手段のそれぞれの記憶手段は、下位層
   からの重み係数と上位層への重み係数とを格納すること
   を特徴とする多層型ネットワークの学習装置。 ２、特許請求の範囲第１項において、前記中間層のデー
   タ処理手段から、上位層への重み係数を前記のデータ処
   理手段によつて調節し、かつ上位層でのデータ処理手段
   が該記憶手段に格納された下位層への重み係数を調節す
   る時、同一の接続に対応する重み係数は両方のデータ処
   理手段で同一の値になるように調節することを特徴とす
   る多層型ネットワークの学習装置。 ３、特許請求の範囲第１項又は第２項において、下位層
   への重み係数と上位層への重み係数を異なつたデータ処
   理手段の記憶手段に格納することを特徴とする多層型ネ
   ットワークの学習装置。 ４、特許請求の範囲第２項又は第３項において、隣接す
   る層のデータ処理手段の間の結合手段を前記の層間とは
   異なる結合手段とを同時に使用することを特徴とする多
   層型ネットワークの学習装置。 ５、複数のデータを入力する手段から構成される入力層
   と、データを出力する手段を持つ複数のデータ処理手段
   から構成される出力層と、複数のデータ処理手段から構
   成される少なくとも１層以上からなる中間層から構成さ
   れ、それぞれのデータ処理手段は、入力層により近い下
   位層に属する複数のデータ処理手段と接続され、それぞ
   れの接続に対応した重み係数を格納する記憶手段を持ち
   、下位層からの出力値と、前記の重み係数から計算され
   る値を、出力層により近い上位層に属する複数のデータ
   処理手段へ出力するように構成され、前記中間層に属す
   るデータ処理手段のそれぞれが有している記憶手段には
   、下位層からの重み係数と上位層への重み係数とが格納
   されていることを特徴とする多層型ネットワーク装置。 ６、特許請求の範囲第５項において、前記データ処理手
   段のそれぞれが有している記憶手段には、下位層に属す
   るデータ処理手段のそれぞれが有している記憶手段に格
   納されている重み係数の一部が格納されていることを特
   徴とする多層型ネットワーク装置。