JPH0447482A - 神経回路網型計算装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目　次］ 概要 産業上の利用分野 従来の技術　　　　　（第５図〜第６図）発明が解決し
ようとする課題 課題を解決するための手段 作用 実施例 本発明の全体的なシステム構成の説明 （第１１） 本発明の一実施例　（第２図〜第４図）発明の効果 〔概　要〕 多層構造型の神経回路網型計算装置に関し、計算の高速
化を達成すると共に、要素プロセサ間の配線を簡略化す
ることを目的とし、入力層、少なくとも１層の中間層お
よび出力層で構成された多層構造型の神経回路網型計算
装置であって、前記入力層を構成するユニット、前記中
間層を構成するユニットおよび前記出力層を構成するユ
ニットのそれぞれの機能を有し、リング網として構成さ
れた複数の要素プロセッサと、該各要素プロセッサに対
してそれぞれ設けられた複数のローカルメモリとを具備
し、前記複数の要素プロセッサによりバックプロパゲー
ジジン法による学習機能を並列に実行するように構成す
る。

〔産業上の利用分野〕

本発明はニューラルネットワーク（神経回路網）のハー
ドウェアシミュレータに関し、特に、多層構造型の神経
回路網型計算装置に関する。

近年、ニューロ技術の応用の要求に伴って、高速なニュ
ーロ動作が可能な神経回路網型計算装置が要望されてい
る。

〔従来の技術〕

第５図は多層構造型の神経回路網型計算装置を示す図で
あり、入力層、中間層および出力層の三層で構成された
ニューラルネットワークを示すものである。

第５図に示されるように、多層構造型のニューラルネッ
トワークは、ニューロンを模擬したユニットと呼ばれる
素子Ｕと、それらを結ぶ結線りとから構成される。すな
わち、ニューラルネットワークは、ユニットＩ１１．〜
ＩＩ、を有する入力層、ユニットＭＵ＋〜ＭＵ、を有す
る中間層、および、ユニッ）　００．〜ＯＵ、を有する
出力層の３つの層から構成される。各ユニットは、同じ
層のユニットとの間には結合はなく、一つ下（上）の層
のすべてのユニットと結合している。例えば、中間層の
ユニットＭＵ、は、入力層の全てのユニットＩＵ　Ｉ”
””　ＩＩＪ　ｂと結線し４によって結ばれ、また、例
えば、出力層のユニットＯＵ＋　は、中間層の全てのユ
ニットＭＵ、〜ＭＵ、と結線ＬＭＯによって結ばれてい
る。ここで、入力層は外部からの入力を受は取る層であ
り、出力層はニューラルネットワークの応答を外部へ出
力する層である。また、中間層は、人力層からの信号を
加工して出力層に渡す層である。そして、中間層は、ニ
ューラルネットワークによっては複数の層から構成され
ることもある。

第６図は第５図の多層構造型の神経回路網型計算装置に
使用する各ユニッ）Ｕを示す図である。

第６図に示されるように、ユニット間の結合はそれぞれ
重みを持っている。各ユニット（入力層のユニットは除
く）の働きは、１つ下の層のユニットからの出力（Ｖ＋
””Ｖｆｉ）と、そのユニットＵ、との間の結合の重み
（−８１〜−４ｎ）との積を取ったもの（’ｂＷ＝＋〜
ＶＪ、、）を、すべてのユニットに渡って総和（Σ）を
取り、さらに、成る闇値を加えた量にシグモイド関数と
呼ばれる非線形関数（ｆ）を施したものを出力するよう
になっている。ここで、第に層（ただし入力層は除く）
のｉ番目のユニットＵｉ”ゝの働きを弐で表すと次のよ
うになる。

ｖｌ（ｋ）＝ｆ（Σｗ＝Ｊ（ｋ−１）　ｙ　、　（ｋ−
＋）−θ％ｋｌ）ｊ（１） ｆ　　（ｘ）　　−’Ａ　（１＋ｔａｎｈ　（ｘ／ｘｏ
）ｌ　　（２）ただし、ｖ　ＪＬｋ川）は第（ｋ−１）
層のｊ番目のユニットの出力であり、ｗ　、　、　Ｌ　
ｋ　＋　１は第に層のｉ番目のユニットと第（ｋ−１）
層のｊ番目のユニットとの間の結合の重みである。また
、θ−ｋｌはこのユニットの闇値である。さらに、（２
）式はシグモイド関数を表しており、Ｘｏはシグモイド
関数の形状を決める定数である。

多層構造のニューラルネットワークは、入力データに対
してニューラルネットワークの出力と、ニューラルネッ
トワークが出力すべき正解データとの差（誤差）が小さ
くなるように、ユニット間の結合の重みを変化させてい
くことによって学習する。この学習のアルゴリズムとし
ては、バックプロパゲーション法が広く知られている。

このバックプロパゲーション法では、結合の重みは次の
ように修正される。

ここで、Δｗｉ　ｊ　”’　（ｎ）は第に層のｉ番目の
ユニットと、第（ｋ−１）層のｊ番目のユニットとの間
の結合の重みｗｌ、Ｔｋｌ　（ｎ）の修正量で、（４）
式または（５）式によって与えられる。

である。ここでη及びαは学習定数と呼ばれる定数であ
る。（５）式でΣ、というのは、ネットワークに学習さ
せるすべてのパターンｐについて総和をとるということ
を示している。つまり（４）式はネットワークに１つの
パターンを１度学習させるたびに重みを修正するという
ことを示し、（５）式はネットワークにすべてのパター
ンを１度ずつ学習させてから重みを修正するということ
を示している。

また、出力層のユニットに対してはδは次のように与え
られる。

ここで１．は出力層のｉ番目のユニットが出力すべき教
師データである。また中間層のユニットに対してδは、 υ で与えられる。

〔発明が解決しようとする課題〕

上述した多層構造型の神経回路網型計算装置において、
神経回路網の計算には、上に示したような多くの積和演
算や関数計算を、全てのユニットに対して行わねばなら
ない。従来は、この計算をプログラムを作成して計算機
に行わせていたため、計算が全てのユニットに対して逐
次的に行われ、計算に長い時間を要していた。またプロ
セッサを多数並べて並列に計算を行わせる場合でも、各
ユニットは上下の層の全てのユニットと結合しているた
め、プロセッサ間相互の配線もボトルネックになってい
た。

本発明は、上述した課題に鑑み、計算の高速化を達成す
ると共に、要素プロセッサ間の配線を簡略化することを
目的とする。

〔課題を解決するための手段〕

第１図は本発明に係る神経回路網型計算装置の全体的な
システム構成を示す図である。

本発明によれば、入力層、少なくとも１層の中間層およ
び出力層で構成された多層構造型の神経回路網型計算装
置であって、前記入力層を構成するユニット、前記中間
層を構成するユニットおよび前記出力層を構成するユニ
ットのそれぞれの機能を有し、リング網として構成され
た複数の要素プロセッサＰＥと、該各要素プロセッサに
対してそれぞれ設けられた複数のローカルメモリ聞とを
具備し、前記複数の要素プロセッサによりバックプロパ
ゲーション法による学習機能を並列に実行するようにし
たことを特徴とする神経回路網型計算装置が提供される
。

〔作　用〕

本発明の神経回路網型計算装置によれば、複数の要素プ
ロセッサＰＥは、リング網として構成され、該各要素プ
ロセッサＰＥは、入力層を構成するユニット、中間層を
構成するユニットおよび出力層を構成するユニットのそ
れぞれの機能を有するようになっている。複数のローカ
ルメモリＬＭは、各要素プロセッサＰＥに対して設けら
でいる。そして、リング網構成の複数の要素プロセッサ
ＰＥによりバックプロパゲーション法の学習機能を並列
的に実行することによって、計算の高速化を達成すると
共に、要素プロセッサＰＥ間の配線を簡略化することが
できる。

すなわち、本発明の神経回路網型計算装置によれば、各
要素プロセッサＰＥに乗算器１１およびＡＬ０１２を搭
載して高速な積和演算を実行することが可能である。さ
らに、データを格納するための口−カルメモリＬＭと、
データを一時的に保存するレジスタ１４．シグモイド関
数を計算する機能等（１３）を持った要素プロセッサＰ
Ｅとを複数個並べて１次元のリング網を構成して神経回
路網の計算を並列に行って積和演算の順序を入れ換え、
また、各要素プロセッサＰＥが共通に必要とするデータ
をリング網を通じて転送することによって、計算の高速
化を達成すると共に、要素プロセッサＰＥ間の配線を簡
略化することができる。

〔実施例〕

以下、図面を参照して本発明に係る神経回路網型計算装
置の一実施例を説明する。

第１図は本発明に係る神経回路網型計算装置の全体的な
システム構成を示す図であり、第２図は本発明の神経回
路網型計算装置における要素プロセッサへのユニットの
割り当てを説明するための図である。

本実施例の神経回路網型計算装置は、第２図に示される
ように、中間層が１層だけで、各層のユニットの数は入
力層が６個、中間層が６個、出力層が３個となっており
、また、要素プロセッサは３個となっている。

すなわち、第２図に示されるように、各要素プロセッサ
ＰＥＩ　、ＰＥＺ、ＰＥ３が受は持つ各層のユニットの
割り当ては、要素プロセッサＰＥ、に対して入力層のユ
ニットＩＵ、、ＩＵ、、中間層のユニットＭＬＩ、　Ｍ
Ｕ２および出力層のユニッ）００．が割り当てられ、要
素プロセッサＰＥ２に対して人力層のユニットＩＵ、。

１０、、中間層のユニットＭＴＪ、、ＭＵ４および出力
層のユニットＯＵｔが割り当てられ、そして、要素プロ
セッサＰＥ、に対して入力層のユニッ）　ｒｕｓ、　Ｉ
Ｏ２，中間層のユニッ）ＭＩＪＳ、Ｍｔｌ、および出力
層のユニッ）　ＯＵ３が割り当てられるようになってい
る。ここで、各要素プロセッサＰＥ１．ＰＥｚ、ＰＥｓ
に対応するローカルメモリ（ＬＭＩ、ＬＭＺ、ＬＭ：ｌ
）には、予め必要なデータ（入力データ、教師データ、
重みの初期値等）がロードされているものとする。また
、各層のユニットを割り当てるための要素プロセッサの
数が必要以上に多いと、各要素プロセッサ間で順次デー
タを転送するのに要する時間が長くなり、また、要素プ
ロセッサの数が少な過ぎると、並列処理することによる
計算時間の短縮の効果が薄くなる。

次に、計算の流れを概略する。この計算の流れは、（１
）人力層→中間層の前向き積和演算、（２）中間層ユニ
・ントのシグモイド関数計算、〔３）中間層→出力層の
前向き積和演算、（４）出力層ユニットのシグモイド関
数計算、（５）出力層ユニットの誤差計算、（６）出力
層→中間層の後向き誤差伝搬計算、（７）中間層ユニッ
トの誤差計算、および、（８）重みの修正の計算の順で
行われる。

第３図は第２図の神経回路網型計算装置における動作を
説明するための図である。第２図および第３図を参照し
て、上記（１）〜（８）の計算方法について順に説明す
る。

（１）入力層→中間層の前向き積和演算まず、第２図に
示されるように、左端の要素プロセッサＰＥｔ　は１番
目と２番目の中間層ユニットＭＵ＋　、　Ｍｕｇの計算
を担当し、中央の要素プロセッサＰＥｚは３番目と４番
目の中間層ユニットＭＬＩ、、ＭＵ。

の計算を担当し、そして、右端の要素プロセッサＰＥ、
は５番目と６番目の中間層ユニットＭＵＳ、ＭＵ６の計
算を担当するが、最初は、それぞれ１番目３番目、５番
目の中間層ユニットＭＵ＋　、　Ｍ［ＩｚｌＭｌｌｓの
計算から始め、次いで、２番目、４番目、６番目の中間
層ユニットＭＵＤ、　ＭＵ４１ＭＩＪ６の計算を行うよ
うになっている。

まず、各要素ユニ・ントＰＥ＋　、　ＰＥＡ、　ＰＨ３
は、対応するローカルメモリＬＭ＋、ＬＭｚ、Ｌｔｂか
ら、それぞれが受は持っている入力層ユニットのうち、
１番目。

３番目、５番目のユニットＩＵ＋　、　ＩＯ２，ＩＵＳ
の出力ｖ、　Ｔｌｌ　、　　■３（１１、ｙ　５（１）
オヨヒ、ソノ入力層ユニットの間の結合の重みｗｌ＋”
’、ｗ、３（１）、Ｗ、５（１）を読み込む。そして、
それらの積を計算する（第３図（ａ）参照）。

次に、読み込んだ入力層ユニットの出力Ｖ、（１）■、
＋１１．■、（１１を右隣の要素プロセッサに転送する
。各要素プロセンサＰＥＩ、ＰＥ２．ＰＥ：ｌは、左隣
の要素プロセッサから送られて来るデータに対応した重
みデータｗｌｓ”ン、　ｗ　３．　”　、　ｗ　５．　
”　を。−カルメモリＬＭＩ、ＬＭ２．ＬＭ：ｌから読
み込み、それらの積を計算して、先はどの結果と加え合
わせる（第３図（ｂ）参照）。さらに、もう−度、入カ
ニニットの出力を右隣の要素ユニットに転送し、同様に
重みデータと掛は合わせて加え合わせる（第３図（ｃ）
参照）、ここで、第３図（ａ）〜（Ｃ）において、ロー
カルメモリＬＭ＋　、　ＬＭ２．Ｌ？ｈから要素プロセ
ッサＰＥ、。

ＰＥ、、ＰＨ３に向かう矢印は、該ローカルメモリから
要素プロセッサに読み込んだデータを示し、また、要素
プロセッサＰＨＩ、ＰＨＡ、ＰＥ３からローカルメモリ
ＬＭ＋、ＬＭｚ、ＬＭ：＋に向かう矢印は、該要素プロ
セッサからローカルメモリに書き込むデータを示す。さ
らに、隣接する要素プロセッサ間の矢印（ＰＥ、→ＰＥ
、。

ＰＥｚ→ＰＨ，、ＰＨ，→ＰＥ、）は、隣接する要素プ
ロセッサ間で転送されるデータを示している。この関係
は、第３図の全ての図においても同様であり、各図に於
ける参照符号は、読み出し、書き込みおよび転送される
データを示している。

次に、残りの２番目、４番目、６番目の入力層ユニット
ＩＵ２．　Ｉｌ４．Ｉｌ６の出力ｖ、　（＋１　、　　
ｖ４（＋１■６（Ｉ）　を読み込み、第３図（ａ）〜（
ｃ）と同様に、重みデータｗ、”’＋ｗ＋４”’、ｗＳ
ｔｈ（Ｉ’　　と（Ｄ積を加え合わせる（第３図（ｄ）
〜Ｃｆ）　参照）、これによって、入力層ユニッ）　Ｉ
Ｕ＋−ＩＵｉ（第２図参照）の出力の加重和が計算され
、その結果ｕ、　Ｔｅｌ　、　ｕ、　＋１１ｕ、（Ｈを
ローカルメモリＬＭＩ、ＬＭＺ、ＬＭ３に出力する（第
３図軸）参照）。各要素プロセッサが担当する残りの中
間層ユニットの計算も同様に行って、その結果。、（り
、　　ｕ、（り、　ｕ、（”）　もローカルメモリに出
力する（第３図（ｈ）参照）。

（２）中間層ユニットのシグモイド関数計算上述した（
１）で計算された入力層ユニットの出力の加重和をロー
カルメモリＬＭ＋、ＬＭｚ、ＬＭ３から読み込み、要素
プロセッサＰＥ＋、ＰＥｚ、ＰＥ＋においてシグモイド
関数ｆを施して結果を再びローカルメモリＬＭ＋、ＬＭ
ｚ、ＬＭ３に書き込む（第３図（ｉ）〜（Ｄ参照）（３
）　、　（４）　　中間層→出力層の前向き積和演算お
よび出力層ユニットのシグモイド関数計算前述した（１
）と同様に、要素プロセッサＰＥ、、ＰＨ１゜ＰＥ、に
おいて、中間層ユニットの出力をローカルメモリＬＭＩ
、ＬＭＺ、ＬＭ３から読み込んで加重和をとり、さらに
、シグモイド関数ｆを施してローカルメモリＬＭ　＋　
、　ＬＭｚ　、ＬＭ３に書き込む（第３図（ｋ）参照）
。

（５）出力層ユニットの誤差計算 ローカルメモリＬＭ＋　、　ＬＭｚ、　ＬＭ３から出力
層ユニッ）ＯＵ＋、ＯＵｚ、ＯＵ３の出力ｖ　、　（：
Ｉｌ　、　　ｖ２（３＋　、　ｖ　、　（３）およびそ
の出カニニットに対応する教師データＬｌ＋ｔｚ、ｔ３
を読み込み、（６）式に従って出力層ユニットの誤差δ
１゜′を計算し、その結果δ　Ｔ３１６　（３１，δ３
（３）　をローカルメモリＬＭ＋、ＬＭｚ、Ｌ？Ｉ＋に
書き込む（第３図（１）〜（ｍ）参照）。

（６）出力層→中間層の後向き誤差伝搬計算ここでは、
（７）式の右辺の積和の項の計算を行う。最初は、各要
素プロセッサはそれぞれ１番目、３番目、５番目の中間
層ユニットＭＵ１．ＭＵ３１ＭＵＳの計算を行う。まず
、ローカルメモリＬＭＩ、ＬＭ２．ＬＭ３から出カニニ
ット００１．ＯＵＺ、００３の誤差δ１（３）δ　（３
１，δ、′３）とそれに対応する重みデータｗｌｌ”ｗ
　２３　”　、　ｗ　３Ｓ　”　を読み込み、その積を
計算する（第３図（ｎ）参照）。ここで、前向きの積和
演算の場合と異なり、計算された積を右隣の要素プロセ
ッサに転送する。

２番目の要素プロセッサＰＥ２には、１番目の中間層ユ
ニットＭＵ＋　の途中のデータδ　（２）　’が送られ
てくるが、この要素プロセッサＰＥ、は、ローカルメモ
リＬＭ、から１番目の中間層ユニットＭＵ、と２番目の
出カニニット００．との間の重みデータｗ、、”　を読
み込み、２番目の出カニニットの誤差δ２（３）　　と
の積を計算し、送られてきたデータδ　＜ｚｒ　’に加
え合わせる（第３図（ｏ）参照）。その結果δ　（Ｚ）
　’は、また右隣の要素プロセッサＰＨ３に転送する。

３番目の要素プロセッサＰＥ、には、１番目の中間層ユ
ニッＩ−ＭＵ、の途中のデータδ１（２ゝ′が送られて
くるが、この要素プロセッサＰＥ、はローカルメモリＬ
Ｍ、から１番目の中間層ユニットＭＵ、と３番目の出カ
ニニットＯＵ、との間の重みデータｗ３１”を読み込み
、３番目の出カニニットの誤差δ１３ゝとの積を計算し
、送られてきたデータδ１′ワ°に加え合わせる（第３
図（ｐ）参照）。これにより、３番目の要素プロセッサ
ＰＥ、で１番目の中間層ユニッ）Ｍｔｌ、に対応する（
７）式の右辺の積和の項の計算結果が得られたことにな
る。同様に、１番目の要素プロセッサＰＥ＋では、３番
目の中間層ユニッ）　ＭＵＩに対応する結果δ、″゛が
、２番目の要素プロセッサＰＥ２では５番目の中間層ユ
ニットＭＵＳに対応する積和結果δ、　＋２）　’が得
られる。次に、その結果をさらに右隣の要素プロセッサ
に転送して、その要素プロセッサのローカルメモリに書
き込む（第３図（ｑ）参照）。同様にして、残りの中間
層ユニッ）Ｍｕｍ、ＭＬＩ４．Ｍｕｍの計算も行う（第
３図（ｒ）参照）。

（７）中間層ユニットの誤差計算 ローカルメモリから中間層ユニットの出力値ｖｊ（ｔ）
と、（６）で計算したその中間層ユニットの後向きの積
和結果δ、　（Ｈ’を読み込み、（７）式に従って中間
層ユニットの誤差δＪ（２）　を計算し、その結果δ、
　（！ｌ、δ！（２）工δ、（Ｈ，δ　（！ｌ　、δ、
　（り。

δ、　（２）を再びローカルメモリＬＭ＋　、　ＬＭ２
．　Ｌ？Ｌ３に書き込む（第３図（ｓ）〜（ｕ）参照）
。

（８）重みの修正の計算 ローカルメモリから中間層ユニットの誤差δ、３′大入
力ユニットの出力Ｖ、（１）、それらのユニット間の前
回の重みの修正量ΔＷ　、ｊ　”ゝ、重みＷ、ｊ”を読
み込む。（４）及び（３）弐に従って新しい重みの修正
量ΔＷ□Ｊ′１′　および重みｗ　、　、　（１１を計
算する（第３図（ｖ）参照）。その結果ΔＷ１．（１）
ｗ、、”’、　Δ　ｗ、、”’、ｗ３３　’目　：Δ　
ｗ、、（１１，Ｗ５５　（＋１をローカルメモリＬＭ＋
、Ｌ？ｂ、Ｌ？ｂに書き込む（第３図（−）参照）。人
力層ユニットの出力データは、右隣の要素プロセッサに
転送され、左隣の要素プロセッサから送られた入力層ユ
ニットに対応する重みおよびその重みの修正量をローカ
ルメモリから読み込み、同様にして、新しい重みｗ　、
　、（ｌ　１ｗ　、、　Ｈ）　、　ｗ３３（＋１および
重みの修正量ΔＷ、５（１）６ｗ　、　、　＋　１１，
６ｗ３３（１）を計算してローカルメモリＬＭ＋、ＬＭ
ｚ、ＬＭ３に書き込む（第３図（ｘ）〜（ｙ）参照）。

同様にして、中間層、出力層間の結合を含め全ての重み
と重みの修正量を計算し、更新した結果をローカルメモ
リに書き出す（第３図（ｚ）参照）。

以上で一回の学習計算が終了する。ここでは、１つのパ
ターンを学習するごとに重みを修正する方法について説
明したが、第３図（ｖ）以降の部分を修正して、重みの
修正量を全てのパターンについて足し合わせてから重み
を更新すれば、全てのパターンを学習してから重みを修
正する方法も簡単に実現できる。

第４図は各要素プロセッサの構成を示す図である。同図
に示されるように、要素プロセッサは、積和演算を行う
ための乗算器及びＡＬＵ、デニタを一時的に保持するレ
ジスタ、シグモイド関数発生器、レジスタ、演算器への
入力を切り替えるマルチプレクサおよびこれら全体を制
御する回路から構成される。ここで、要素プロセッサは
、種々に構成することができ、第４図の要素プロセッサ
はその一例に過ぎない。また、第４図において、ローカ
ルメモリは要素プロセッサに外付けにしたが、要素プロ
セッサ内に含めるように構成してもよい。さらに、シグ
モイド関数発生器は要素プロセッサ上に搭載しているが
、シグモイド関数発生器を外部に設け、各要素プロセン
サからシグモイド関数発生器を除くように構成すること
もできる。

（発明の効果〕 以上、詳述したように、本発明の神経回路網型計算装置
によれば、複数の要素プロセッサの並列計算によって、
計算の高速化を達成することができ、また、リング網構
成とすることによって、要素プロセッサ間の配線を簡単
にすることができる。

【図面の簡単な説明】

第１図は本発明に係る神経回路網型計算装置の全体的な
システム構成を示す図、 第２図は本発明の神経回路網型計算装置における要素プ
ロセッサへのユニットの割り当てを説明するための図、 第３図は第２図の神経回路網型計算装置の動作を説明す
るための図、 第４図は各要素プロセッサの構成を示す図、第５図は多
層構造型の神経回路網型計算装置を示す図、 第６図は第５図の多層構造型の神経回路網型計算装置に
使用する各ユニットを示す図である。 （符号の説明） ＬＭ、ＬＭｌ、ＬＭｌ、ＬＭ３・・・ローカルメモリ、
ＰＥ、　ＰＥ＋　、　ＰＥｚ、　ＰＥ３・・・要素プロ
セッサ、１１・・・乗算器、 １２・・・ＡＬＵ。 １３・・・シグモイド関数発生器、 １４・・・レジスタ、 １５・・・マルチプレクサ、 １６・・・制御回路。 全体的なシステム構成を示す図 ￥　１　圀 切７ 図 ローカルメモリ（ＬＭ）へ 各要素チップの構成を示す図 ○ ：　ユニットＵ ：結線し 多層構造型の神経回路網型計算装置を示す図第５図

Claims (2)

【特許請求の範囲】
1. １．　入力層、少なくとも１層の中間層および出力層で
   構成された多層構造型の神経回路網型計算装置であって
   、 前記入力層を構成するユニット、前記中間層を構成する
   ユニットおよび前記出力層を構成するユニットのそれぞ
   れの機能を有し、リング網として構成された複数の要素
   プロセッサ（ＰＥ）と、該各要素プロセッサに対してそ
   れぞれ設けられた複数のローカルメモリ（ＬＭ）とを具
   備し、前記複数の要素プロセッサによりバックプロパゲ
   ーション法による学習機能を並列に実行するようにした
   ことを特徴とする神経回路網型計算装置。
2. ２．　前記各要素プロセッサ（ＰＥ）は、バックプロパ
   ゲーション法による学習機能を実現するための乗算器（
   １１）、ＡＬＵ（１２）、シグモイド関数発生装置（１
   ３）、レジスタ（１４）、マルチプレクサ（１５）、お
   よび、それらを制御する制御回路（１６）を備えている
   請求項第１項に記載の神経回路網型計算装置。