JPH05197702A - 神経回路網シミュレータ装置 - Google Patents

Abstract

(57)【要約】 【目的】学習パターン数が多い場合でも処理を中断しな
い神経回路網シミュレータ装置を提供することを目的と
する。 【構成】入力層を構成するユニット、中間層を構成する
ユニット及び出力層を構成するユニットの機能を複数の
要素プロセッサ（ＰＥ）のそれぞれに与え、且つ、前記
要素プロセッサをリング状に接続すると共に、前記要素
プロセッサごとのローカルメモリ（ＬＭ）を備え、該ロ
ーカルメモリ内のデータに基づいてバックプロパゲーシ
ョン法による学習処理を行う神経回路網シミュレータに
おいて、前記要素プロセッサごとのレジスタ（Ｒ）を有
し、該レジスタを介して前記学習処理に必要なデータの
一部を外部から取り込み、それぞれの要素プロセッサに
与えることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経回路網シミュレー
タ装置、特に、多層構造型の神経回路網シミュレータ装
置に関する。

【０００２】

【従来の技術】近時、生物の神経回路網をモデル化した
いわゆるニューラルネットワークが注目されている。図
４４はニューラルネットワークの概念図であり、入力
層、中間層及び出力層からなる多層構造型のネットワー
クである。図では、中間層が１つであるが２つ以上のシ
ステムもある。本明細書では、説明の簡単化のために１
つの中間層を持つネットワークについて説明する。

【０００３】各層は複数のユニットからなり、入力層を
構成するユニットＩＵ₁〜ＩＵ₆には、それぞれ外部から
任意の信号が与えられる。入力層の全てのユニットＩＵ
₁〜ＩＵ₆と中間層の全てのユニットＭＵ₁〜ＭＵ₅の間は
互いに信号線で接続されており、また、中間層の全ての
ユニットＩＭ₁〜ＩＭ₅と出力層の全てのユニットＯＵ₁
〜ＯＵ₄の間も互いに信号線で接続されている。

【０００４】図４５は任意層の１つのユニットＵ_iの概
念図である。Ｖ₁〜Ｖ_nは、ユニットＵ_iの所属層が例え
ば中間層であればその前層（入力層）の各ユニットから
の出力信号である。ユニットＵ_iは、前層の各ユニット
からの出力信号Ｖ₁〜Ｖ_nと、そのユニットＵ_iの間の結
合の重みＷ_i1〜Ｗ_inの積をとったもの（Ｖ₁Ｗ_i1〜Ｖ_nＷ
_in）を、全てのユニットにわたって総和（Σ）を取り、
さらに、所定のしきい値を加えた量にシグモイド関数と
呼ばれる非線形間数（ｆ）を施したものを出力する。

【０００５】ここで、ｋ層（但し、入力層は除く）のｉ
番目のユニットＵ_i ^(k)の働きを式で表すと次のようにな
る。 Ｖ_i ^(k)＝ｆ（Σ_jＷ_ij ^(k-1)Ｖ_j ^(k-1)−θ_i ^(k)） …… ｆ（ｘ）＝1/2｛１＋tanh（ｘ／ｘ₀）｝ …… 但し、Ｖ_j ^(k-1)は第（ｋ−１）層のｊ番目のユニットの
出力、Ｗ_ij ^(k-1)は第ｋ層のｉ番目のユニットと第（ｋ
−１）層のｊ番目のユニットとの間の結合の重みであ
り、θ_i ^(k)はこのユニットのしきい値である。また、
式はシグモイド関数を表しており、Ｘ₀は関数の形状を
決める定数である。

【０００６】多層構造型のニューラルネットワークは、
入力データに対してニューラルネットワークの出力と、
ニューラルネットワークが出力すべき正解データとの差
（誤差）が少なくなるように、ユニット間の結合の重み
を変化させていくことによって学習する。この学習アル
ゴリズムとしては、バックプロパゲーション法が広く用
いられている。バックプロパゲーション法では、結合の
重みは次のように修正される。

【０００７】 Ｗ_ij ^(k)（n+1）＝Ｗ_ij ^(k)（n）＋ΔＷ_ij ^(k)（n+1） …… ここで、ΔＷ_ij ^(k)（n）は、第ｋ層のｉ番目のユニット
と、第（ｋ−１）層のｊ番目のユニットの間の結合の重
みＷ_ij ^(k)（n）の修正量で、次式または次式によっ
て与えられる。 ΔＷ_ij ^(k)（n）＝ηδ_i ^(k+1)Ｖ_j ^(k)＋αΔＷ_ij ^(k)（n-1） …… ΔＷ_ij ^(k)（n）＝ηΣ_pδ_i ^(k+1)Ｖ_j ^(k)＋αΔＷ_ij ^(k)（n-1） …… ここで、η及びαは学習定数である。式のΣ_pはネッ
トワークに学習させるべきパターンｐについての総和を
表している。すなわち、式は、ネットワークに１つの
パターンを学習させるたびに重みを修正することを示
し、式はネットワークに全てのパターンを学習させて
から重みを修正することを示している。

【０００８】出力層のユニットに対してはδは次のよう
に与えられる。 δ_i ^(k)＝2/ｕ₀（ｔ_i−Ｖ_i ^(k)）Ｖ_i ^(k)（１−Ｖ_i ^(k)） …… ここで、ｔ_iは出力層のｉ番目のユニットが出力すべき
データ（いわゆる教師データ）である。また、中間層の
ユニットに対してδは、 δ_j ^(k)＝2/ｕ₀（１−Ｖ_j ^(k)）Ｖ_j ^(k)Σ_iδ_i ^(k)Ｗ_ij ^(k) …… で与えられる。

【０００９】ところで、多層構造型の神経回路網シミュ
レータ装置においては、全てのユニットに対して上記の
ような多くの積和演算や関数演算を行わなければなら
ず、高速演算に適したハードウエア構成が求められる。
そこで、本出願人は先に、「神経回路網型計算装置」
（特願平０２−１５２７７０号平成２年６月１３日、特
願平０２−１８２５８０号平成２年７月１２日）を提案
している。

【００１０】これらの先願の装置では、図４６に示すよ
うに、多層構造の各層に属するユニットの機能を受け持
つ複数の要素プロセッサＰＥでリング網を形成してい
る。これによれば、要素プロセッサごとのローカルメモ
リＬＭから必要なデータ（入力データ、教師データ、重
みの初期値等）を読み出しながら、各要素プロセッサＰ
Ｅにおける演算処理を同時並行的に行うことができ、ま
た、その演算結果や必要なデータをリング網によって巡
回させることができるので、積和演算や関数演算を高速
に行うことができる。

【００１１】

【発明が解決しようとする課題】しかしながら、かかる
従来の神経回路網シミュレータ装置にあっては、シミュ
レーションに必要なデータを専らローカルメモリに保持
する構成となっていたため、例えば学習パターン数によ
っては、必要なデータのすべてをローカルメモリに格納
しきれないことがあり、ローカルメモリの内容を新たな
データに更新する間、一時的に処理を中断しなければな
らないといった問題点があった。

【００１２】そこで、本発明は、学習パターン数が多い
場合でも処理を中断しない神経回路網シミュレータ装置
を提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明は、上記目的を達
成するために、入力層を構成するユニット、中間層を構
成するユニット及び出力層を構成するユニットの機能を
複数の要素プロセッサ（ＰＥ）のそれぞれに与え、且
つ、前記要素プロセッサをリング状に接続すると共に、
前記要素プロセッサごとのローカルメモリ（ＬＭ）を備
え、該ローカルメモリ内のデータに基づいてバックプロ
パゲーション法による学習処理を行う神経回路網シミュ
レータにおいて、前記要素プロセッサごとのレジスタ
（Ｒ）を有し、該レジスタを介して前記学習処理に必要
なデータの一部を外部から取り込み、それぞれの要素プ
ロセッサに与えることを特徴とする。

【００１４】

【作用】本発明では、レジスタを介して与えられた外部
のホストコンピュータ等からのデータと、ローカルメモ
リに格納されたデータとに基づいて各要素プロセッサご
とに、バックプロパゲーション法による学習処理が同時
並行的に行われる。したがって、外部からのデータを例
えばニューラルネットワークの入・出力データ（すなわ
ち学習パターン）とすれば、ローカルメモリのデータ更
新を不要にでき、処理中断を回避できる。

【００１５】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１〜図４３は本発明に係る神経回路網シミュレ
ータ装置の一実施例を示す図である。まず、構成を説明
する。図１において、ＰＥは複数の要素プロセッサであ
り、これらの要素プロセッサは配線１、２、３によって
互いに接続され、リング網を構成している。それぞれの
プロセッサには、専用のローカルメモリＬＭとこれも専
用のレジスタＲが接続され、ローカルメモリ内に格納さ
れたデータ、及び、レジスタＲを介して外部の例えばホ
ストコンピュータから取り込まれたデータとに基づい
て、所定の演算処理を行うようになっている。なお、レ
ジスタＲに繋がる外部のデータ供給源は、上記のホスト
コンピュータに限定されない。外付けの記憶装置（メモ
リや磁気ディスク等）であってもよい。

【００１６】図２は、本実施例を適用するニューラルネ
ットワークの構造図である。ここでは、中間層が１層、
各層を構成するユニット数が入力層と中間層で各々６
個、出力層で３個の多層構造型ネットワークを考える。
要素プロセッサＰＥの数は、層数やユニット数を考慮し
て決めるが、ここでは、ＰＥ₁からＰＥ₃までの３個とす
る。

【００１７】それぞれの要素プロセッサＰＥ₁〜ＰＥ₃の
受け持つ各層のユニットは、例えば、図２に示すよう
に、１番目の要素プロセッサＰＥ₁に入力層のユニット
ＩＵ₁、ＩＵ₂、中間層のユニットＭＵ₁、ＭＵ₂及び出力
層のユニットＯＵ₁を割り当て、２番目の要素プロセッ
サＰＥ₂に入力層のユニットＩＵ₃、ＩＵ₄、中間層のユ
ニットＭＵ₃、ＭＵ₄及び出力層のユニットＯＵ₂を割り
当て、３番目の要素プロセッサＰＥ₃に入力層のユニッ
トＩＵ₅、ＩＵ₆、中間層のユニットＭＵ₅、ＭＵ₆及び出
力層のユニットＯＵ₃を割り当てる。なお、Ｖ_i ⁽¹⁾は入
力層のｉ番目のユニットの出力、Ｗ_ij ⁽¹⁾は中間層のｉ
番目のユニットとそのユニットｉに繋がる入力層のユニ
ットｊの結合の重み、Ｖ_i ⁽²⁾は中間層のｉ番目のユニッ
トの出力、Ｗ_ij ⁽²⁾は出力層のｉ番目のユニットとその
ユニットｉに繋がる中間層のユニットｊの結合の重み、
Ｖ_i ⁽³⁾は出力層のｉ番目のユニットの出力を表してい
る。

【００１８】図３は、要素プロセッサの一構成例であ
る。要素プロセッサは、バックプロパゲーション法の積
和演算を行うための乗算器１０やＡＬＵ（arithmetic a
nd logic unit）１１、データを一時的に保持するワー
クレジスタ１２〜１４、シグモイド関数発生器１５、ワ
ークレジスタや演算器等への入力を切り替えるマルチプ
レクサ１６〜２０、及びこれら全体を所定の演算シーケ
ンスに従って制御する制御回路２１等を備える。

【００１９】マルチプレクサ１６やワークレジスタ１
３、１４に繋がるデータバス２２は、プロセッサ外に設
けられたレジスタＲ（Ｒ₁、Ｒ₂、Ｒ₃）及びローカルメ
モリＬＭ（ＬＭ₁、ＬＭ₂、ＬＭ₃）に接続し、ローカル
メモリ（ＬＭ₁、ＬＭ₂、ＬＭ₃）に予め格納されたユニ
ット間の結合の重みの初期値を所定のタイミングで取り
込んだり、または、修正された重みでローカルメモリの
内容を更新したり、あるいは、ホストコンピュータから
送られてきた所要のデータ（ネットワークの入力データ
や教師データ等）を外部レジスタＲを介して取り込んだ
りしながら、以下に述べるバックプロパゲーション法に
必要な演算処理を実行する。なお、ワークレジスタと区
別するためにレジスタＲを外部レジスタと呼ぶ。また、
要素プロセッサ中に記載した“２／ｕ₀”“η”“α”
“１”は以下の演算処理に必要な定数である。

【００２０】次に、バックプロパゲーション法による学
習演算を概説する。演算の流れは、（イ）入力層から中
間層への前向き積和演算、（ロ）中間層ユニットのシグ
モイド関数演算、（ハ）中間層から出力層への前向き積
和演算、（ニ）出力層ユニットのシグモイド関数演算、
（ホ）出力層ユニットの誤差演算、（ヘ）出力層から中
間層への後ろ向き誤差伝搬演算、（ト）中間層ユニット
の誤差演算、（チ）重みの修正演算、の順で行われる。
以下、演算ごとに説明する。（イ）入力層から中間層への前向き積和演算 まず、左端の要素プロセッサＰＥ₁は１番目と２番目の
中間層ユニットＭＵ₁、ＭＵ₂の演算を担当し、中央の要
素プロセッサＰＥ₂は３番目と４番目の中間層ユニット
ＭＵ₃、ＭＵ₄の演算を担当し、そして、右端の要素プロ
セッサＰＥ₃は５番目と６番目の中間層ユニットＭＵ₅、
ＭＵ₆の演算を担当するが、初めにそれぞれ１番目、３
番目、５番目の中間層ユニットＭＵ₁、ＭＵ₃、ＭＵ₅の
演算を行った後、残りの２番目、４番目、６番目の中間
層ユニットＭＵ₂、ＭＵ₄、ＭＵ₆の演算を行う。

【００２１】すなわち、最初は、図４〜図６に示すよう
に、ホストコンピュータから、５番目、３番目、１番目
の入力層ユニットＩＵ₅、ＩＵ₃、ＩＵ₁の各出力（Ｖ₅
⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₁ ⁽¹⁾）を３個の外部レジスタＲ₁、
Ｒ₂、Ｒ₃に順次に取り込む。３つ目のデータ（Ｖ₁ ⁽¹⁾）
を取り込んだ段階（図６）で、左端の外部レジスタＲ₁
にＶ₁ ⁽¹⁾が、中央の外部レジスタＲ₂にＶ₃ ⁽¹⁾が、そし
て、右端の外部レジスタＲ₃にＶ₅ ⁽¹⁾が保持される。

【００２２】次いで、図７に示すように、これらの保持
データ（Ｖ₅ ⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₁ ⁽¹⁾）をそれぞれの要素プ
ロセッサＰＥ₁、ＰＥ₂、ＰＥ₃にロードし、これと同時
に、６番目の入力層ユニットＩＵ₆の出力データＶ₆ ⁽¹⁾
をホストコンピュータから取り込む。すなわち、５番
目、３番目、１番目の入力層ユニットＩＵ₅、ＩＵ₃、Ｉ
Ｕ₁の出力データＶ₅ ⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₁ ⁽¹⁾に続けて、６
番目の入力層ユニットＩＵ₆の出力データＶ₆ ⁽¹⁾を取り
込むことができる。

【００２３】左端の要素プロセッサＰＥ₁は、ロードさ
れたＶ₁ ⁽¹⁾とローカルメモリＬＭ₁から取り出した重み
の初期値Ｗ₁₁ ⁽¹⁾との積ｕ₁ ⁽²⁾を求め、中央の要素プロ
セッサＰＥ₂は、ロードされたＶ₃ ⁽¹⁾とローカルメモリ
ＬＭ₂から取り出した重みの初期値Ｗ₃₃ ⁽¹⁾との積ｕ₃ ⁽²⁾
を求め、そして、右端の要素プロセッサＰＥ₃は、ロー
ドされたＶ₅ ⁽¹⁾とローカルメモリＬＭ₅から取り出した
重みの初期値Ｗ₅₅ ⁽¹⁾との積ｕ₅ ⁽²⁾を求める。

【００２４】次に、図８に示すように、左端の要素プロ
セッサＰＥ₁から中央の要素プロセッサＰＥ₂へ、中央の
要素プロセッサＰＥ₂から右端の要素プロセッサＰＥ
₃へ、そして、右端の要素プロセッサＰＥ₃から左端の要
素プロセッサＰＥ₁へとそれぞれの要素プロセッサで使
用した入力データ（Ｖ₁ ⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₅ ⁽¹⁾）をシフト
し、シフトされた値とローカルメモリから取り出した重
みの初期値Ｗ₁₅ ⁽¹⁾、Ｗ_{3 1} ⁽¹⁾、Ｗ₅₃ ⁽¹⁾との積を求め、
先ほどの加算結果ｕ₁ ⁽²⁾、ｕ₃ ⁽²⁾、ｕ₅ ⁽²⁾に加算する
（新たな加算結果：ｕ₁ ^(2)a、ｕ₃ ^(2)a、ｕ₅ ^(2)a）。こ
のとき、中央の外部レジスタＲ₂にＶ₆ ⁽¹⁾が移動すると
共に、同時に、左端の外部レジスタＲ₁には４番目の入
力層ユニットＩＵ₄の出力データＶ₄ ⁽¹⁾が取り込まれ
る。

【００２５】次に、図９に示すように、左端の要素プロ
セッサＰＥ₁から中央の要素プロセッサＰＥ₂へ、中央の
要素プロセッサＰＥ₂から右端の要素プロセッサＰＥ
₃へ、そして、右端の要素プロセッサＰＥ₃から左端の要
素プロセッサＰＥ₁へとそれぞれの要素プロセッサで使
用した入力データ（Ｖ₁ ⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₅ ⁽¹⁾）をシフト
し、シフトされた値とローカルメモリから取り出した重
みの初期値Ｗ₁₃ ⁽¹⁾、Ｗ_{3 5} ⁽¹⁾、Ｗ₅₁ ⁽¹⁾との積を求め、
先ほどの加算結果ｕ₁ ^(2)a、ｕ₃ ^(2)a、ｕ₅ ^(2)aに加算す
る（新たな加算結果：ｕ₁ ^(2)b、ｕ₃ ^(2)b、ｕ₅ ^(2)b）。
このとき、右端の外部レジスタＲ₃にＶ₆ ⁽¹⁾が移動する
と共に、中央の外部レジスタＲ₂にＶ₄ ⁽¹⁾が移動し、ま
た、左端の外部レジスタＲ₁には２番目の入力層ユニッ
トＩＵ₂の出力データＶ₂ ⁽¹⁾が取り込まれる。

【００２６】次に、図１０に示すように、外部レジスタ
Ｒ₁、Ｒ₂、Ｒ₃の内容（Ｖ₆ ⁽¹⁾、Ｖ₂ ⁽¹⁾、Ｖ₄ ⁽¹⁾）を要
素プロセッサＰＥ₁、ＰＥ₂、ＰＥ₃にロードし、ローカ
ルメモリから取り出した重みの初期値Ｗ₁₂ ⁽¹⁾、
Ｗ₃₄ ⁽¹⁾、Ｗ₅₆ ⁽¹⁾との積を求め、先ほどの加算結果ｕ₁
^(2)b、ｕ₃ ^(2)b、ｕ₅ ^(2)bに加算する（加算結果：ｕ₁
^(2)c、ｕ₃ ^{( 2)c}、ｕ₅ ^(2)c）。

【００２７】次に、図１１に示すように、左端の要素プ
ロセッサＰＥ₁から中央の要素プロセッサＰＥ₂へ、中央
の要素プロセッサＰＥ₂から右端の要素プロセッサＰＥ₃
へ、そして、右端の要素プロセッサＰＥ₃から左端の要
素プロセッサＰＥ₁へとそれぞれの要素プロセッサで使
用した入力データ（Ｖ₂ ⁽¹⁾、Ｖ₄ ⁽¹⁾、Ｖ₆ ⁽¹⁾）をシフト
し、シフトされた値とローカルメモリから取り出した重
みの初期値Ｗ₁₆ ⁽¹⁾、Ｗ₃₂ ⁽¹⁾、Ｗ₅₄ ⁽¹⁾との積を求め、
先ほどの加算結果ｕ₁ ^(2)c、ｕ₃ ^(2)c、ｕ₅ ^(2)cに加算す
る（新たな加算結果：ｕ₁ ^(2)d、ｕ₃ ^(2)d、ｕ₅ ^(2)d）。

【００２８】次に、図１２に示すように、左端の要素プ
ロセッサＰＥ₁から中央の要素プロセッサＰＥ₂へ、中央
の要素プロセッサＰＥ₂から右端の要素プロセッサＰＥ₃
へ、そして、右端の要素プロセッサＰＥ₃から左端の要
素プロセッサＰＥ₁へとそれぞれの要素プロセッサで使
用した入力データ（Ｖ₂ ⁽¹⁾、Ｖ₄ ⁽¹⁾、Ｖ₆ ⁽¹⁾）をシフト
し、シフトされた値とローカルメモリから取り出した重
みの初期値Ｗ₁₄ ⁽¹⁾、Ｗ₃₆ ⁽¹⁾、Ｗ₅₂ ⁽¹⁾との積を求め、
先ほどの加算結果ｕ₁ ^(2)d、ｕ₃ ^(2)d、ｕ₅ ^(2)dに加算す
る（新たな加算結果：ｕ₁ ^(2)e、ｕ₃ ^(2)e、ｕ₅ ^(2)e）。

【００２９】以上で１番目、３番目、５番目の中間層ユ
ニットＭＵ₁、ＭＵ₃、ＭＵ₅の演算が完了し、最後に求
められた加算結果ｕ₁ ^(2)e、ｕ₃ ^(2)e、ｕ₅ ^(2)eすなわち
入力層ユニットの加重和をローカルメモリＬＭ₁、Ｌ
Ｍ₂、ＬＭ₃に格納（図１３参照）した後、上記のステッ
プと同様な手順を繰り返して残りの２番目、４番目、６
番目の中間層ユニットＭＵ₂、ＭＵ₄、ＭＵ₆の演算を行
い、最後に求められた加算結果ｕ₂ ^(2)e、ｕ₄ ^(2)e、ｕ₆
^(2)eすなわち入力層ユニットの加重和を同じくローカル
メモリＬＭ₁、ＬＭ₂、ＬＭ₃に格納（図１４参照）す
る。（ロ）中間層ユニットのシグモイド関数演算 上述した（イ）で求めた入力層ユニットの加重和（ｕ₁
⁽²⁾、ｕ₂ ⁽²⁾、ｕ₃ ⁽²⁾、ｕ₄ ⁽²⁾、ｕ₅ ⁽²⁾、ｕ₆ ⁽²⁾）を２
回に分けてローカルメモリＬＭ₁、ＬＭ₂、ＬＭ₃から読
み出し、それぞれの要素プロセッサＰＥ₁、ＰＥ₂、ＰＥ
₃において、シグモイド関数ｆを施してその結果（Ｖ₁
⁽²⁾、Ｖ₂ ⁽²⁾、Ｖ₃ ⁽²⁾、Ｖ₄ ⁽²⁾、Ｖ₅ ⁽²⁾、Ｖ ₆ ⁽²⁾）を再
びローカルメモリＬＭ₁、ＬＭ₂、ＬＭ₃に書き込む（図
１５、図１６参照）。（ハ）（ニ）中間層から出力層への前向き積和演算及び
出力層ユニットのシグモイド関数演算 前述の（イ）と同様な処理を行うが、（イ）では入力層
ユニットの出力データをホストコンピュータからロード
したのに対して、ここでは、中間層ユニットの出力デー
タをローカルメモリＬＭ₁、ＬＭ₂、ＬＭ₃からロードす
る。すなわち、要素プロセッサＰＥ₁、ＰＥ₂、ＰＥ₃に
おいて、中間層ユニットの出力データをローカルメモリ
ＬＭ₁、ＬＭ₂、ＬＭ₃から読み込んで加重和をとり、さ
らにシグモイド関数ｆを施してその結果（Ｖ₁ ⁽³⁾、Ｖ₂
⁽³⁾、Ｖ₃ ⁽³⁾）をローカルメモリＬＭ₁、ＬＭ₂、ＬＭ₃に
書き込む（図１８参照）。（ホ）出力層ユニットの誤差演算 まず、図１９に示すように、左端の外部レジスタＲ₁に
３番目の出力層ユニットへの教師データｔ₃をロード
し、次のサイクルで、図２０に示すように、ｔ₃を中央
の外部レジスタＲ₂に転送すると共に、左端の外部レジ
スタＲ₁に２番目の出力層ユニットへの教師データｔ₂を
ロードし、さらに次のサイクルで、図２１に示すよう
に、ｔ₃を右端の外部レジスタＲ₁に、ｔ₂を中央の外部
レジスタＲ₂に転送すると共に、左端の外部レジスタＲ₁
に１番目の出力層ユニットへの教師データｔ₁をロード
する。

【００３０】次いで、図２２に示すように、要素プロセ
ッサＰＥ₁、ＰＥ₂、ＰＥ₃に教師データｔ₁、ｔ₂、ｔ₃を
ロードすると共に、ローカルメモリＬＭ₁、ＬＭ₂、ＬＭ
₃から前述の（ハ）（ニ）で求めた出力層ユニットの出
力データ（Ｖ₁ ⁽³⁾、Ｖ₂ ⁽³⁾、Ｖ₃ ⁽³⁾）をロードし、前式
を適用して出力層ユニットの誤差（δ₁ ⁽³⁾、δ₂ ⁽³⁾、
δ₃ ⁽³⁾）を演算し、その結果をローカルメモリＬＭ₁、
ＬＭ₂、ＬＭ₃に書き出す（図２３参照）。（ヘ）出力層から中間層への後ろ向き誤差伝搬演算 ここでは、前式右辺の積和の項の演算を行う。最初
は、各要素プロセッサＰＥ₁、ＰＥ₂、ＰＥ₃はそれぞれ
１番目、３番目、５番目の中間層ユニットＭＵ₁、Ｍ
Ｕ₃、ＭＵ₅の計算を行う。まず、ローカルメモリＬ
Ｍ₁、ＬＭ₂、ＬＭ₃から出力層ユニットＯＵ₁、ＯＵ₂、
ＯＵ₃の誤差δ₁ ⁽³⁾、δ₂ ⁽³⁾、δ₃ ⁽³⁾と、それに対応す
る重みデータＷ₁₁ ⁽²⁾、Ｗ₂₃ ⁽²⁾、Ｗ₃₅ ⁽²⁾を読み込み、
その積δ₁ ^(2)a、δ₃ ^{( 2)a}、δ₅ ^(2)aを求める（図２４参
照）。ここでは、前向きの積和演算と異なり、計算され
た積を右隣の要素プロセッサに転送する。中央の要素プ
ロセッサＰＥ₂には、１番目の中間層ユニットＭＵ₁の途
中のデータδ₁ ^(2)aが送られてくるが、中央の要素プロ
セッサＰＥ₂は、ローカルメモリＬＭ₂から１番目の中間
層ユニットＭＵ₁と２番目の出力層ユニットＯＵ₂との間
の重みデータＷ₂₁ ⁽²⁾を読み込み、２番目の出力層ユニ
ットＯＵ₂の誤差δ₂ ⁽³⁾との積を求め、送られてきたデ
ータδ₁ ^(2)aに加算する（図２５参照）。そして、その
加算結果δ₁ ^(2)bを、さらに右隣の要素プロセッサＰＥ₃
に転送する。

【００３１】右端の要素プロセッサＰＥ₃には、１番目
の中間層ユニットＭＵ₁の途中のデータδ₁ ^(2)aが送られ
てくるが、左端の要素プロセッサＰＥ₃は、ローカルメ
モリＬＭ₃から１番目の中間層ユニットＭＵ₁と３番目の
出力層ユニットＯＵ₃との間の重みデータＷ₃₁ ⁽²⁾を読み
込み、３番目の出力層ユニットＯＵ₃の誤差δ₃ ⁽³⁾との
積を求め、送られてきたデータδ₁ ^(2)aに加算する（図
２６参照）。これにより、右端の要素プロセッサＰＥ₃
で１番目の中間層ユニットＭＵ₁に対応する前式（７）
右辺の積和の項の演算結果が得られたことになる。同様
に、左端の要素プロセッサＰＥ₁では３番目の中間層ユ
ニットＭＵ₃に対応する積和結果δ₃ ^(2)bが、中央の要素
プロセッサＰＥ₂では５番目の中間層ユニットＭＵ₅に対
応する積和結果δ₅ ^(2)bが得られる。次に、その結果を
右隣の要素プロセッサに転送し、その要素プロセッサの
ローカルメモリに書き込む（図２７参照）。同様にし
て、残りの中間層ユニットＭＵ₂、ＭＵ₄、ＭＵ₆の計算
を行い、その結果δ₂ ^(2)b、δ₄ ^{(2) b}、δ₆ ^(2)bをローカ
ルメモリに書き込む（図２８参照）。（ト）中間層ユニットの誤差演算 ローカルメモリから中間層ユニットの出力値Ｖ_j ⁽²⁾と、
前述の（ヘ）で求めたその中間層ユニットの後ろ向きの
積和演算結果δ_j ^(2)bを読み込み、前式を適用して中
間層ユニットの誤差δ_j ⁽²⁾を計算し、その結果δ₁ ⁽²⁾、
δ₂ ⁽²⁾、δ₃ ⁽²⁾、δ₄ ⁽²⁾、δ₅ ⁽²⁾、δ₆ ⁽²⁾を再びローカ
ルメモリＬＭ₁、ＬＭ₂、ＬＭ₃に書き込む（図２９〜図
３１参照）。（チ）重みの修正演算 最初に、入力層と中間層の間の重み修正を行う。まず、
それぞれの外部レジスタＲ₁、Ｒ₂、Ｒ₃に、各要素プロ
セッサが受け持つ入力層ユニットのうちの１番目、３番
目、５番目のユニットの出力Ｖ₁ ⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₅ ⁽¹⁾を
ホストコンピュータから受け取り順次にロードする（図
３２〜図３４参照）。

【００３２】次に、各要素プロセッサに外部レジスタの
内容をロードすると共に、対応するローカルメモリか
ら、中間層ユニットの誤差δ₁ ⁽²⁾、前回の重み修正量Δ
Ｗ_ij ^{(1 )}及び重みＷ_ij ⁽¹⁾を読み出し、前式及びを適
用して新しい重みの修正量ΔＷ _ij ⁽¹⁾と重みＷ_ij ⁽¹⁾を求
める（図３５参照）。結果はローカルメモリに書き出す
（図３６参照）。このとき、左端の外部レジスタＲ₁に
は、次の計算のための６番目の入力層ユニットの出力Ｖ
₆ ⁽¹⁾がロードされる。

【００３３】次に、１番目、３番目、５番目の入力層ユ
ニットの出力Ｖ₁ ⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₅ ^{( 1)}を右隣の要素プロ
セッサに転送すると共に、ローカルメモリから、重みの
修正量ΔＷ₁₅ ⁽¹⁾、ΔＷ₃₁ ⁽¹⁾、ΔＷ₅₃ ⁽¹⁾と重み
Ｗ₁₅ ⁽¹⁾、Ｗ₃₁ ⁽¹⁾、Ｗ₅₃ ⁽¹⁾を読み出し、上記と同様
に、新しい重みの修正量ΔＷ₁₅ ⁽¹⁾、ΔＷ₃₁ ⁽¹⁾、ΔＷ₅₃
⁽¹⁾と重みＷ₁₅ ⁽¹⁾、Ｗ₃₁ ⁽¹⁾、Ｗ₅₃ ⁽¹⁾を求める（図３７
参照）。結果はローカルメモリに書き出す（図３８参
照）。このとき、中央の外部レジスタＲ₂にＶ₆ ⁽¹⁾が移
り、左端の外部レジスタＲ₁には、次の計算のための４
番目の入力層ユニットの出力Ｖ₄ ⁽¹⁾がロードされる。

【００３４】次に、１番目、３番目、５番目の入力層ユ
ニットの出力Ｖ₁ ⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₅ ^{( 1)}を再び右隣の要素
プロセッサに転送すると共に、ローカルメモリから、重
みの修正量ΔＷ₁₃ ⁽¹⁾、ΔＷ₃₅ ⁽¹⁾、ΔＷ₅₁ ⁽¹⁾と重みＷ
₁₃ ⁽¹⁾、Ｗ₃₅ ⁽¹⁾、Ｗ₅₁ ⁽¹⁾を読み出し、上記と同様に、
新しい重みの修正量ΔＷ₁₃ ⁽¹⁾、ΔＷ₃₅ ⁽¹⁾、ΔＷ₅₁ ⁽¹⁾
と重みＷ₁₃ ⁽¹⁾、Ｗ₃₅ ⁽¹⁾、Ｗ₅₁ ⁽¹⁾を求める（図３９参
照）。結果はローカルメモリに書き出す（図４０参
照）。このとき、右端の外部レジスタＲ₃にＶ₆ ⁽¹⁾が移
ると共に、中央の外部レジスタＲ₂にＶ₄ ⁽¹⁾が移り、左
端の外部レジスタＲ₁には、次の計算のための２番目の
入力層ユニットの出力Ｖ₂ ⁽¹⁾がロードされる。

【００３５】次に、各要素プロセッサにおいて、２番
目、４番目、６番目の入力層ユニットと１番目、３番
目、５番目の中間層ユニットとの間の結合の重み及びそ
の修正量を、入力層ユニットの出力を転送することによ
って更新する。また同時に、各外部レジスタＲ₁、Ｒ₂、
Ｒ₃に再び１番目、３番目、５番目の入力層ユニットの
出力Ｖ₁ ⁽¹⁾、Ｖ₃ ⁽¹⁾、Ｖ₅ ⁽¹⁾をロードしておく（図４１
参照）。そして、同様に、１番目、３番目、５番目の入
力層ユニットと２番目、４番目、６番目の中間層ユニッ
トとの間の結合の重み及びその修正量を更新し、さら
に、２番目、４番目、６番目の入力層ユニットと２番
目、４番目、６番目の中間層ユニットとの間の結合の重
み及びその修正量を更新する（図４２、図４３参照）。

【００３６】そして、残りの中間層、出力層の全ての結
合の重みとその修正量を計算（但し、中間層ユニットの
出力はローカルメモリから読み出す）し、その計算結果
をローカルメモリに書き出して１回の学習処理を完了す
る。以上述べたように、本実施例では、ホストコンピュ
ータと各要素プロセッサＰＥ₁、ＰＥ₂、ＰＥ₃の間に外
部レジスタＲ₁、Ｒ₂、Ｒ₃を介在させ、この外部レジス
タＲ₁、Ｒ₂、Ｒ₃を介して、バックプロパゲーション法
に必要な演算パラメータの一部（例えば、入力データや
教師データ）をその都度外部から与えるようにしてい
る。したがって、ローカルメモリＬＭ₁、ＬＭ₂、ＬＭ₃
には、重みデータやその修正量、及び積和演算結果等の
変数データだけを格納すればよく、学習パターン数に比
例して容量が増大する入力データや教師データ等をシミ
ュレーション装置の外部に置くことができ、ローカルメ
モリを格段に小容量化することができる。

【００３７】また、外部レジスタＲ₁、Ｒ₂、Ｒ₃へのデ
ータロードは、要素プロセッサＰＥ₁、ＰＥ₂、ＰＥ₃の
処理と同時並行的に行うことができるので、データの取
り込みに伴う処理のロスタイムはなく、しかも、入力デ
ータや教師データを連続的に与えることができるので、
処理の継続性を高めることができ、全体の処理速度を向
上することができる。

【００３８】なお、実施例では、前向きの積和演算処理
と重みの更新処理の双方で、入力層ユニットの出力デー
タをホストコンピュータから与えているが、これに限ら
ず、例えば、前向きの積和演算処理のときにロードした
入力層ユニットの出力データを要素プロセッサ内のメモ
リ等に保持しておき、重み更新処理の際にこれを読み出
して使用してもよい。改めてロードし直す必要がないの
でより高速化を図ることができる。

【００３９】また、本実施例では、一次元リング網を用
いた並列計算方式のシミュレーション装置の改善技術を
示しているが、複数のリング網を用いたものにも適用で
きることはもちろんである。さらに、要素プロセッサの
構成も図３に示したものに限定されず、例えば複数の演
算器を含む要素プロセッサであってもよく、あるいはシ
グモイド関数器を外付けしたタイプであってもよい。さ
らにまた、外部レジスタを内蔵するものであってもよ
い。

【００４０】

【発明の効果】本発明によれば、ローカルメモリを小容
量化でき、且つ、学習パターン数が多い場合でも処理を
中断しない神経回路網シミュレータ装置を提供できる。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】一実施例の要素プロセッサへのユニット割り当
て図である。

【図３】一実施例の要素プロセッサの構成図である。

【図４】一実施例のＶ₅ ⁽¹⁾のロード状態図である。

【図５】一実施例のＶ₃ ⁽¹⁾のロード状態図である。

【図６】一実施例のＶ₁ ⁽¹⁾のロード状態図である。

【図７】一実施例のｕ₁ ⁽²⁾、ｕ₃ ⁽²⁾及びｕ₅ ⁽²⁾の演算状
態図である。

【図８】一実施例のｕ₁ ^(2)a、ｕ₃ ^(2)a及びｕ₅ ^(2)aの演
算状態図である。

【図９】一実施例のｕ₁ ^(2)b、ｕ₃ ^(2)b及びｕ₅ ^(2)bの演
算状態図である。

【図１０】一実施例のｕ₁ ^(2)c、ｕ₃ ^(2)c及びｕ₅ ^(2)cの
演算状態図である。

【図１１】一実施例のｕ₁ ^(2)d、ｕ₃ ^(2)d及びｕ₅ ^(2)dの
演算状態図である。

【図１２】一実施例のｕ₁ ^(2)e、ｕ₃ ^(2)e及びｕ₅ ^(2)eの
演算状態図である。

【図１３】一実施例のｕ₁ ^(2)e、ｕ₃ ^(2)e及びｕ₅ ^(2)eの
格納状態図である。

【図１４】一実施例のｕ₂ ^(2)e、ｕ₄ ^(2)e及びｕ₆ ^(2)eの
格納状態図である。

【図１５】一実施例のＶ₁ ⁽²⁾、Ｖ₃ ⁽²⁾及びＶ₅ ⁽²⁾の演算
状態図である。

【図１６】一実施例のＶ₁ ⁽²⁾、Ｖ₃ ⁽²⁾及びＶ₅ ⁽²⁾の格納
状態図である。

【図１７】一実施例のＶ₂ ⁽²⁾、Ｖ₄ ⁽²⁾及びＶ₆ ⁽²⁾の格納
状態図である。

【図１８】一実施例のＶ₁ ⁽³⁾、Ｖ₂ ⁽³⁾及びＶ₃ ⁽³⁾の格納
状態図である。

【図１９】一実施例のｔ₃のロード状態図である。

【図２０】一実施例のｔ₂のロード状態図である。

【図２１】一実施例のｔ₁のロード状態図である。

【図２２】一実施例のδ₁ ⁽³⁾、δ₂ ⁽³⁾及びδ₃ ⁽³⁾の演算
状態図である。

【図２３】一実施例のδ₁ ⁽³⁾、δ₂ ⁽³⁾及びδ₃ ⁽³⁾の格納
状態図である。

【図２４】一実施例のδ₁ ^(2)a、δ₃ ^(2)a及びδ₅ ^(2)aの
演算状態図である。

【図２５】一実施例のδ₅ ^(2)b、δ₁ ^(2)b及びδ₃ ^(2)bの
演算状態図である。

【図２６】一実施例のδ₃ ^(2)b、δ₅ ^(2)b及びδ₁ ^(2)bの
演算状態図である。

【図２７】一実施例のδ₁ ^(2)b、δ₃ ^(2)b及びδ₅ ^(2)bの
格納状態図である。

【図２８】一実施例のδ₂ ^(2)b、δ₄ ^(2)b及びδ₆ ^(2)bの
格納状態図である。

【図２９】一実施例のδ₁ ⁽²⁾、δ₃ ⁽²⁾及びδ₅ ⁽²⁾の演算
状態図である。

【図３０】一実施例のδ₁ ⁽²⁾、δ₃ ⁽²⁾及びδ₅ ⁽²⁾の格納
状態図である。

【図３１】一実施例のδ₂ ⁽²⁾、δ₄ ⁽²⁾及びδ₆ ⁽²⁾の格納
状態図である。

【図３２】一実施例のＶ₅ ⁽¹⁾のロード状態図である。

【図３３】一実施例のＶ₃ ⁽¹⁾のロード状態図である。

【図３４】一実施例のＶ₁ ⁽¹⁾のロード状態図である。

【図３５】一実施例のΔＷ₁₁ ⁽¹⁾、Ｗ₁₁ ⁽¹⁾、Δ
Ｗ₃₃ ⁽¹⁾、Ｗ₃₃ ⁽¹⁾、ΔＷ₅₅ ⁽¹⁾及びＷ₅₅ ⁽¹⁾の演算状態図
である。

【図３６】一実施例のΔＷ₁₁ ⁽¹⁾、Ｗ₁₁ ⁽¹⁾、Δ
Ｗ₃₃ ⁽¹⁾、Ｗ₃₃ ⁽¹⁾、ΔＷ₅₅ ⁽¹⁾及びＷ₅₅ ⁽¹⁾の格納状態図
である。

【図３７】一実施例のΔＷ₁₅ ⁽¹⁾、Ｗ₁₅ ⁽¹⁾、Δ
Ｗ₃₁ ⁽¹⁾、Ｗ₃₁ ⁽¹⁾、ΔＷ₅₃ ⁽¹⁾及びＷ₅₃ ⁽¹⁾の演算状態図
である。

【図３８】一実施例のΔＷ₁₅ ⁽¹⁾、Ｗ₁₅ ⁽¹⁾、Δ
Ｗ₃₁ ⁽¹⁾、Ｗ₃₁ ⁽¹⁾、ΔＷ₅₃ ⁽¹⁾及びＷ₅₃ ⁽¹⁾の格納状態図
である。

【図３９】一実施例のΔＷ₁₃ ⁽¹⁾、Ｗ₁₃ ⁽¹⁾、Δ
Ｗ₃₅ ⁽¹⁾、Ｗ₃₅ ⁽¹⁾、ΔＷ₅₁ ⁽¹⁾及びＷ₅₁ ⁽¹⁾の演算状態図
である。

【図４０】一実施例のΔＷ₁₃ ⁽¹⁾、Ｗ₁₃ ⁽¹⁾、Δ
Ｗ₃₅ ⁽¹⁾、Ｗ₃₅ ⁽¹⁾、ΔＷ₅₁ ⁽¹⁾及びＷ₅₁ ⁽¹⁾の格納状態図
である。

【図４１】一実施例のΔＷ₁₄ ⁽¹⁾、Ｗ₁₄ ⁽¹⁾、Δ
Ｗ₃₆ ⁽¹⁾、Ｗ₃₆ ⁽¹⁾、ΔＷ₅₂ ⁽¹⁾及びＷ₅₂ ⁽¹⁾の格納状態図
である。

【図４２】一実施例のΔＷ₂₃ ⁽¹⁾、Ｗ₂₃ ⁽¹⁾、Δ
Ｗ₄₅ ⁽¹⁾、Ｗ₄₅ ⁽¹⁾、ΔＷ₆₁ ⁽¹⁾及びＷ₆₁ ⁽¹⁾の格納状態図
である。

【図４３】一実施例のΔＷ₂₄ ⁽¹⁾、Ｗ₂₄ ⁽¹⁾、Δ
Ｗ₄₆ ⁽¹⁾、Ｗ₄₆ ⁽¹⁾、ΔＷ₆₂ ⁽¹⁾及びＷ₆₂ ⁽¹⁾の格納状態図
である。

【図４４】多層構造型ニューラルネットワークの概念図
である。

【図４５】１つのユニットの概念図である。

【図４６】従来例の構成図である。

【符号の説明】

ＰＥ：要素プロセッサ ＬＭ：ローカルメモリ Ｒ：レジスタ

Claims (1)

【特許請求の範囲】
1. 【請求項１】入力層を構成するユニット、中間層を構成
   するユニット及び出力層を構成するユニットの機能を複
   数の要素プロセッサ（ＰＥ）のそれぞれに与え、 且つ、前記要素プロセッサをリング状に接続すると共
   に、 前記要素プロセッサごとのローカルメモリ（ＬＭ）を備
   え、 該ローカルメモリ内のデータに基づいてバックプロパゲ
   ーション法による学習処理を行う神経回路網シミュレー
   タにおいて、 前記要素プロセッサごとのレジスタ（Ｒ）を有し、 該レジスタを介して前記学習処理に必要なデータの一部
   を外部から取り込み、それぞれの要素プロセッサに与え
   ることを特徴とする神経回路網シミュレータ。