JPH036769A - ニューラルネットワーク並列シミュレーション方法及びそれに用いる装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

本発明は、パタン識別、音声認識などに利用されている
ニューラルネット学習アルゴリズムにおける各ユニット
間の結合の修正を並列処理によって、極めて短い時間で
行わせる方法及びそれに用いる装置に関する。

【従来の技術】

先ず、従来提案されている階層構造のネットワークにお
ける学習アルゴリズムであるバックプロパゲーションを
、第１図を伴って、簡単のため、中間層が１個、各層で
のユニット数が３個である場合の例て、以下に、簡単に
説明する。 なお、中間層が２個以上である場合でも、また、各層に
おけるユニット数が４以上である場合についても、以下
述べるところに準じている。 ネットワークは、第１図に示すように、階層構造を用い
ており、入力層、中間層及び出力層は、入力層から中間
層の方向に、次でその中間層から出力層の方向にという
単方向結合をしているが、各層内でのユニット間結合は
なく、また、出力層から入ノ〕層へと向かう方向の結合
もない。 その詳細にライては、Ｄ、　Ｆ、　Ｒｕ５ｅ　Ｉｈａｒ
ｔ、　ＥＧｅｏｆｆｅｒｙ、ａｎｄ　Ｒ，Ｊ、　Ｗｉｌ
ｌｉｏａｍｓ、　”ＬｅａｒｎｉｎｇＩｎｔｅｒｎａｔ
ｉｏｎａｌ　Ｐｒｅｓｅｎｔａｔｉｏｎｓ　ｂｙ　Ｅｒ
ｒｏｒＰｒｏｐａｇａｔｉｏｎ、　”　Ｉｎ　Ｐａｒａ
ｌｌｅｌ　ＤｉｓｔｒｉｂｕｔｅｄＰｒｏｃｅｓｓｌｎ
ｇ：Ｅｘｐｌｏｒａｔｉｏｎ　ｉｎ　ｔｈｅ　Ｈｉｃｒ
ｏｓｔｒｕｃｔｕｒｅｓ　　ｏｆ　　Ｃｏｇｎｉｔｉｏ
ｎ　　（Ｖｏｌ、１　　、ｐｐ、３１８−３６２．ＨＩ
丁Ｐｒｅｓｓ、　Ｃａａ＋ｂｒｉｄｇｅ、　Ｈａｓｓａ
ｃｈｕｓｅｔｔｅｓ、　１９８６を参照されたい。 バックプロパゲーション（後向き伝送）アルゴリズムは
、多層ネットワークにおける誤差関数の極小値を求める
学園アルゴリズムである。 データは、入力層から中間層を通って、出力層に伝搬す
る。 前向き伝播処理においては、第１番目の層のユニットの
出力値は、そのユニットと結合されている、第（ＩＬ−
１）層の全てのユニットの重み付き和に、微分可能な関
数（例えばシグモイド（ｓ　ｉ　ｇｍｏ　ｉ　ｄ）関数
）を適用して得られる。 前向き伝搬処理では、このような処理を、各層において
、繰返し行う。 Ｌ個の層から成るネットワークにおける第込番目の層の
ユニットの入出力関係は、以下のように示される。 ｕ、−ΣＷ＝　　（１）ａ、　　（０−１）＋　　　　
　　　　１Ｊ　　　　　　　　　Ｊ（１） ａ　　−ｆ　（ｕ・　（１））・・・・・・・・・・・
・・・・（２）１≦ｉ≦Ｎ・ １≦１≦Ｌ 後向き伝搬処理では、出力層から入力層に向って、前層
での誤差の重み付き和を計算しながら、順に誤差勾配を
求め、誤差を小さくするように小みの修正を行う。 すなわち、ネットワークに、あるパタンを与えた時の各
重みの変化　八Ｗ　’Ｊは、△Ｗ・・＝δ　・　０・　
　　　・・・・・・・・・・・・・・・・・・　（３）
ＩＪ　　　　　Ｊ ぐある。 ここて、０１はユニットｉから、ユニットｊへの入力値
を示す。 δ　は、ユニットｊが出カニニットであるか中間ユニッ
トであるかによって異なる。 ユニットｊが出カニニットである場合、δ。

【Ｊ、 δ、−（ｔ、−０，）ｆ’　　（ｎｅｔ＝　　）Ｊ　　
　　　　　　ＪＪ　　　　　　　　　　　　　　　　Ｊ
・・・・・・・・・・・・・・・・・・　（４）である
。 ここて、ｔ、は、教師信号（望ましい値）を示し、また
、ｎ　ｅ　ｔ　Ｊは、 ｎｅｔ　　　−ΣＷ・・０　・ Ｊ　　　　　　　　ＪＩ　　　Ｊ ・・・・・・・・・・・・・・・　（４）　′ぐある。 ユニットｊが中間ユニットである場合、δ・は、 δ、　−ｆ’　　（ｎｅｔ−）ΣδｊＷｋＪＪ　　　　
　　　　Ｊ ・・・・・・・・・・・・・・・・・・（５）である。 バックプロパゲーションアルゴリズムにおける具体的な
処理は、次のとおりである。 （１）前向き伝搬処理 （ａ）入力値または前層のユニットの出力値を該当する
重みに伝える。 （ｂ）この値と重みの積を計算する。 （Ｃ）次の層の同じユニットに接続されている重みごと
に重み付き和を計算する。 （ｄ）この値に関数ｆを適用する。 （１１）後向き伝搬処理 ＜ａ）該当するΦみに誤差を伝える。 （ｂ）誤差と重みの積を計算する。 （Ｃ）前層（出力に近い方）のユニットからのこれらの
値の和を計→する。 （ｄ）関数ｆの微分を計算する。 （ｅ）誤差勾配に従って重みを修正する。 上述した処理を、収束するまで繰返す。 従来、このような処理は、逐次処理型の汎用計０機上で
行われていた。 この場合の上述した処理には、相隣る層のユニットが、
それぞれｍ個及びｎ個の個数を有するとき、ｍ×ｎのユ
ニット間結合があるため、学習に、多数回の繰返しが必
要である。 このため、ｎの値が大きなニューラルネットにおいては
、上述した処理に膨大な時間を必要としでいた。 【本発明の目的】 本発明は、上述したバックプロパゲーションアルゴリズ
ムを、高い並列度で処理することによって、処理を高速
化することを目的としている。

【本発明の手段】

本発明は、最大の層内のユニット数がｎである時、ｎ×
ｎの２次元格子状に配列されているｆ−夕の授受が可能
な演算要素群上て、第（−１）層の全てのユニットから
の第１層のユニットへの重み付き入力の計算を同時に行
い、行方向あるいは列方向にデータ転送及び演（１を繰
返すことて、各ユニットへの入力値の総和が並列に計算
でき、同様の処理を繰返すことて、入力に対して正しい
出力がｉｑられるように、各ユニット間の結合の修正が
各演算要素上で同時に計算できるように、ｋ個のユニッ
トから成る第１番目の層と、ｍ１ｌｌのユニットから成
る第（＋１）番目の層間の最大ｋ×ｍ個の重みを、第１
層の第ｊ番目のユニットから第（ｉ＋１）層の全てのユ
ニット間の重みを演算要素群の第１列に順に対応させ、
第（ｉ　−）−１）層の第ｊ番目のユニットから第（ｉ
＋２）ｌｉｄの全てのユニット間への重みを演算要素群
の第１行に順に対応させて、学習を並列に行う。 次に、このような処理を、前半のため第１図に示すネッ
トワークモデルをもとに、具体例で説明すれば、次のと
おりである。 なＪ５、中間層の数や、各層におけるユニットの数が、
第１図の場合から増加しても、下記の説明に準じた処理
を行わせることができる。 あらかじめ、全ての重みの初期値、入力値、教師信号（
望ましいｆｆ１）を求めておく。 これらのデータを、第２図に示すように、各プロセッサ
ＰＥに送る。 以上の処理の後、次の手順に従って処理を行う。 （１）前向き伝Ｗｊ処理（第３図Ａ） （１）各プロセッサＰＥて、入力値と、入力層と中間層
との間の重みの値との乗 ｎを行わせる。 （ｉｉ）（ｉ）上で得られた乗算結果の値を、例えば各
行ごとに、右（または左）か ら順に加鼻を繰返しながら左（または 右）方向に値を転送し、左端プロセッ サ列ＰＥに、上述した（１）式の］　Ｃ７１山を格納さ
ぼる。 （ｉｉｉ　）左（または右）端ブ０ｔｌ−ッサＰＥの列
において、この値に関数ｆを適用し た上述した（２）式の結果を、各行ご とに右（または左）方向に放送させる。 （ｉｖ）各プロセッサーＰＥて、（１〉の場合と同様に
、（ｉｉｉ　）で得られた値と、次の層の重みの値との
乗算を行わせる。 （ｖ）＜ｉｖ）で得られた乗算結果の値を、例えば各列
ごとに、上（または下）か ら順に加算を繰返しながら、下（また は上）方向に値を放送し、下（または 上）端プロセッサＰＥの行に、上述し た（１）式の計口値を格納させる。 （Ｖｉ）下（または上）端プロセッサ行において、この
値に関数ｆを適用した上述 した（２）式の結果を、各列ごとに、 上（または下）方向に放送させる。 （ｖｊ　）以上の処理を繰返すことによって、出力層に
出ノＪを得、その出力値を、各列ごとに、下（または上
）方向に放送 させる。 （２）後向き伝搬処理（第３図Ｂ） （１）各プロセッサＰＥにおいて、上述した（４）式の
値を計算させる。このと き、各プロセッサＰＥの列て、同じ計 算を行なわせる。 （ｉｉ　）各プロセッサにおいて、上述した（３）式の
給を計算させ、各プロセッ サＰＥにｖｊ当てられている重みを更新させる。 （ｉｉｉ）各プロセッサＰＥの行ごとに、例えば行方向
に加算を繰返すことて、上述 した（５）式の値を求めさせる。 （ｉｖ　）各プロセッサＰＥにおいて、上述した（３）
式の値を計算させ、各プロセ ッサＰＥにｖｊ当てられている重みを更新させる。 （Ｖ）転送方向を行方向及び列方向に交互に変化させな
がら、上述した（　ｉｉｉ　）及び（ｉｖ　）の処理を
、入力層に達するよ′Ｃ続けさせる。 本発明は、以上のように、重みを各プロセッサに割当て
、行方向及び列方向のデータ転送、演算を繰返し行わせ
ることて、演算だけでなく、データ転送においても、高
い並列度で学習を行わＵることを特徴としている。

【実施例】

次に、第４図を伴って、本発明の実施例を述べよう。 、本発明の一例構成を示し、前処理部１と、インターフ
ェイス部２と、アレイ部４と、制御部５とを有する。 前処理部１は、アレイ部４及びインターフェイス部２を
制御する制御部５を制御するとともに、各重みの初ＩＩ
値、学習をさせる各種パタン（入力パタン）及びそれら
に対応する望ましい出力信号（教師信号）を準罰する処
理を行い、逐次型計障機で構成されている。 第５図は、第４図に示されているアレイ部４の一例構成
を示し、本図において、ＰＥはプロセッサ、６はｖ制御
信号線を示す。 第６図は、第５図に示す各プロセッサＰＥを示し、本図
において、３０１〜３０４は選択回路、３０５はレジス
タ、３０６はアキュムレータ、３０７は演算器、３０８
はレジスタファイル、３０９は制御レジスタである。 この場合、選択回路３０１は、相隣るプロセッサＰＥと
通信を行う場合、データを上下左右のどの隣接するプロ
セッサＰＥから受は取るかを選択する機能を有する。 また、選択回路３０２は、レジスタ３０５にどのデータ
を格納するかを選択する機能を有する。 さらに、選択回路３０３は、隣接するプロセッサＰＥと
通信を行う場合、どのデータを出力するかを選択する機
能を有する。 ここて、選択回路３０１の出力を選択すれば、隣接する
プロセッサＰＥからのｆ−夕が、レジスタ３０５などの
記憶素子に格納されることなしに、そのまま出力される
。 また、この選択回路３０３は、制御部５から全てのプロ
セッサＰＥに送られる制御１１信号６によって、全ての
ブロセッ’＋ＰＥを通じて、同一の動きをするだけでな
く、プロセッサＰＥ内の制御レジスタ３０９に格納され
ているデータによって、各プロセッサＰＥで個別に出力
信号を選択できる機能を有する。 さらに、選択回路３０４は、演算器３０７の入力の片側
ボートに入力するデータを選択する機能を有する。 第５図に示すアレイ部４において、プロセッサＰＥ間の
通信を行う場合は、各プロセッサＰＥのレジスタ３０５
をシフトレジスタのように動作させ、各プロセッサＰＥ
が、データを、−斉に、上（または下、もしくは左、ま
たは右）に隣接しているプロセッサＰＥにシフト転送さ
せることができる。 また、プロセッサＰＥにおける制御レジスタ３０９を適
当に設定し、選択回路３０３を適当に制御すれば、ある
プロセッサＰＥでは演算器３０７の出力、あるいはレジ
スタ３０５の出力を、そのプロセッサＰＥに隣接してい
る他のプロセッサＰＥに出力しくこのプロセッサＰＥを
、発振プロセッサＰＥと呼ぶ）、別のプロセッサＰＥで
は他のブロセッ１ｔＰＥからのデータを、レジスタ３０
５に書き込むと同時に、選択回路３０３を経て出力する
（このプロセッサＰＥを受信プロセッサＰＥと呼ぶ）こ
とができる。このような機能を、リップル転送と称す。 第４図に示す本発明による装置を動作させるには、前処
理部１′Ｃ″、各ユニット間の重みの初期値、学習をさ
せる各種パタン（入力パタン）及びそれらに対応する望
ましい出力信号（教師信号）を作成し、インタフェイス
部２を介して、第３図に示すように、各プロセッサＰＥ
にデータが割当てられるように、アレイ部４に送る。 このとき、教師信号、及び入力パタンについては、各プ
ロセッサＰＥの列（または行）て、同一データであるの
て、上述したリップル転送を用いて、データを送る。 重みの所期値については、各プロセッサＰＥによって異
なる値をｈするのて、通常のシフト転送を行わせる。 各プロセッサＰＥにおいて、データは、レジスタ３０５
から演算器３０７を介して、レジスタファイル３０８の
適当なアドレスに格納される。 第４図に示されている制御部５は、前処理部１からのｉ
ｌ制御信号に従って、以後の処理を行うようなインター
フェイス部２、アレイ部４を制器する命令群を、逐次生
成する。 先ず、入力パタンあるいは重みをレジスタファイル３０
８から読出して、アキュムレータ３０６に格納した後、
入力パタンと重みの積の演算を演算器３０７で行い、そ
の演算結果を、アキュムレータ３０６に格納し、その後
、レジスタファイル３０８に格納する。 各プロセッサＰＥの行（または列）毎に、上述したリッ
プル転送を用いた加算（リップル加算）を用いて、これ
らの値を順に加ｑさせ、各プロセッサＰＥの行（または
列）における端のプロセッサＰＥに、行（または列）ご
との結果を格納する。 上述したリップル加算を行うには、選択回路３０１の出
力を選択し、演Ｗ７！Ｉ３０７て、レジスタファイル３
０８のデータと加算を行うととｂに、選択回路３０２が
、選択回路３０１の出力を選択し、それを、隣接してい
るプロセッサＰＥからのデータを格納することで行われ
る。 以上のようにして、次の層の各ユニットの入力データが
、並列に求められたことになる。 この各プロセッサの行（または列）における端のプロセ
ッサＰＥに格納された重み付き和の結果を、各行（また
は列）ごとの他のブロセツ’ｔＰＥに、リップル転送を
用いて放送し、各プロセッサＰＥて、この値を入力とし
て、シグモイド関数の値を計算する。 この場合、各プロセッサの行（または列）にＪ５ける端
のプロセッサρ［において、シグモイド関数Ｊ数の計ｐ
を行った後、１テ（または列）ごとに、リップル転送を
用いて放送しても良い。 次に、上述したシグモイド関数の値を、次の層のユニツ
１〜の入力データとして、上述したと同様な処理を行う
。 ただし、この場合、前述したように、データの転送方向
が、列（または行）方向になる。 そして、上述したと同様の処理を、中間層の数に応じた
回数だけ行う。 また、後方の伝搬処理についても、詳細説明は省略する
が、上述したと同様の方法て、行わせることができる。 なお、各層のユニットの数が一致しない場合は、接続関
係のない重みを常にＯにするように制器することて、フ
ィードバックのない任意の階層型ネットワーク構造に適
応可能である。 また、各層のユニット数が、２次元プロセッサＰＥアレ
イの一辺のプロセッサＰＥの数を超えるときは、単純に
一問題のアレイを、物理アレイに格納できる大きさに折
畳む、すなわち、プロセッサＰＥ内のレジスタファイル
あるいは、各プロセッサＰＥから直接アクセス可能なロ
ーカルメモリの深さ方向に折畳んだデータを格納し、実
プロセツサＰＥアレイごとに、シリアルに処理すること
で適用可能である。 ｃ本発明の効果】 上述したところから明らかなように、本発明によれば、
プロセッサＰＥの数を増やすことによって、それに応じ
て並列度が向上し、大規模なネットワークのシミュレー
ションを高速化できる。 また−全体の処理時間のほとんどを占める学習処理を行
うプロセッサＰＥアレイ部が、単純な同一構成のプロセ
ッサＰＥを規則正しく２次元状に接続している構成を有
するのて、容易にＬＳＩ化でき、同一ハードウエア品で
は、通常の３２ピッ１−プロセッサに比べて、多くのプ
ロセッサが搭載できるのて、大規模なネットワークのシ
ミュレーションにとって好適である。 また、層ごとの重みのＨＩＲ，ｆｆｔみ付ぎ和の計算、
シグモイド関数の計口を、全て並列に行うのて、極めて
＾速に学習を行うことができる。 法人は、本発明を実際に実現した時のシミュレーション
速度と、汎用計算機上で行った従来アルゴリズムによる
シミュレーション速度の比較を示している。 出力ニューロン数−２５６、学習回数＝１００回の場合
である。 上表から明らかなように、本発明によれば。 大型汎用計算機上のシミュレーション速度に比べて約４
５倍の学習速度が得られる。 さらに、本発明によれば、文字認識処理に適用した１８
合、学習溜みの文字パタンだけでなく、未知のパタンに
ついても、丈でに学習済みのパタンの中から選択して答
を出力するネットワークのΦみの値を、極めて短ｖｆ間
で１ｑることができる。

【図面の簡単な説明】

第１図は、３層構造の階層型ネットワークを示す図であ
る。 第２図は、プロセッサＰＥへの各種データのマツピング
を承り図である。 第３図Δは、前向き伝搬処理時の処理を示ず図である。 第３図Ｂは、後向き伝ＷＩ処理時の処理を示す図である
。 第４図は、本発明の一例構成を示す図である。 第５図は、そのアレイ部の一例構成を示す図である。 第６図は、そのプロセッサＰＥの一例構成を示す図であ
る。

Claims (1)

1. 【特許請求の範囲】 １、複数の入力値の総和に、非線形で微分可能な関数を
   作用させて生じる値を出力値とする複数のユニットと、
   それらユニット間に、それらを接続して、入力値に対し
   て適当な重みを課した出力を伝搬させる階層的ネットワ
   ークから成るニューラルネットワーク上で、複数の入力
   パタンに対してそれぞれ望ましい出力値に近ずくように
   、ユニット間の重みを修正することによつて行われる学
   習（自己組織化）を並列に処理する方法において、 最大の層内でのユニット数をｎとする時、 演算要素が、ｎ×ｎの２次元格子状に配置され、 少なくとも隣接する演算要素間においてデータの授受が
   可能である演算要素群上で、第（ｉ−１）層における全
   てのユニットからの第ｉ層のユニットへの重み付き入力
   の計算を同時的に行い、行方向あるいは列方向にデータ
   転送及び演算を繰り返すことで、各ユニツトへの入力値
   の総和を並列に計算し、各ユニット間の結合の修正を各
   演算要素上で同時に計算し、同様の処理を繰り返すこと
   で、入力に対して正しい出力が得られるように、ｋ個の
   ユニットから成る第ｉ番目の層と、ｍ個のユニットから
   成る第（ｉ＋１）番目の層間の最大ｋ×ｍ個の重みを、
   第ｉ層の第ｊ番目のユニットから第（ｉ＋１）層の全て
   のユニット間の重みを演算要素群の第ｊ列に順に対応さ
   せ、第（ｉ＋１）層の第ｊ番目のユニットから第（ｉ＋
   ２）層の全てのユニット間へ重みを演算要素群の第ｊ行
   に順に対応させて、学習を並列に行なれることを特徴と
   するニューラルネット並列シミュレーション方法。 ２、複数の入力値の総和に、非線形で微分可能な関数を
   作用させて生じる値を出力値とする複数のユニットと、
   それらの間に、それらを接続し入力値に対して適当な重
   みを課した出力を伝搬させる階層的ネットワークから成
   るニューラルネットワーク上で、複数の入力パタンに対
   してそれぞれ望ましい出力値に近ずくようにユニット間
   の重みを修正することによつて行われる学習（自己組織
   化）を並列に処理するニューラルネットワーク並列シミ
   ュレーション装置において、 （イ）論理演算・加減算・乗算の演算が行える演算回路
   を有する演算要素をｎ×ｎの２次元状に相互接続して配
   され、行または列ごとにリップル転送を行いながら加算
   または、データ転送を行う機能を有するとともに、適当
   な距離だけ離れた演算要素と直接接続されているバイパ
   スデータ転送路とを有し、リップル転送を用いて行また
   は列方向のデータの各演算要素への放送が可能なプロセ
   ッサアレイと、 （ロ）これを制御する制御部とを有し、 （ハ）ｋ個のユニットから成る第ｉ番目の層とｍ個のユ
   ニットから成る第（ｉ＋１）番目の層間の最大ｋ×ｍ個
   の重みを、各演算要素に、行方向あるいは列方向にデー
   タ転送及び演算を繰返すことで、各ユニットへの入力値
   の総和が並列に計算できるように、第ｉ層の第ｊ番目の
   ユニットから、第（ｉ＋１）層の全てのユニット間の重
   みを演算要素群の第ｊ列に順に対応させて割当て、且つ
   第（ｉ＋１）層の第ｊ番目のユニットから、第（ｉ＋２
   ）層の全てのユニット間へ重みを演算要素群の第ｊ行に
   順に対応させて割当て、 （ニ）一の層のユニットと、それと隣る層のユニットと
   の間における重み付き入力の計算、結合の修正を、全演
   算要素上で同時に行わせ、 （ホ）上記処理を他の入力パタンについて、繰返すこと
   で学習を並列に行わせるようにしたことを特徴とするニ
   ューラルネット並列シミュレーション装置。