JPH0484358A - ニユーラルネットの並列計算処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野〕 本発明は、入力層、隠れ層、および、出力層からなる三
層階層型ニューラルネットのパックプロパゲーション（
Ｂ　ａｃｋｐｒｏｐａｇａｔｉｏｎ）学習を、パス結合
型プロセッサを用いて、並列に計算処理する技術に係り
、特に、パックプロパゲーション学習を対象とする並列
計算を高速に行なうのに好適なニューラルネットの並列
計算処理方法に関するものである。

〔従来の技術〕

近年、ニューラルネットを、パターン認識、信号処理、
知識処理に応用する研究が進んでいる。

ニューラルネットとは、人間の脳を真似たネットワーク
である。ネットワークの個々の構成要素、ニューロン（
ユニット）は、人間の神経細胞と似た機能を持つ。

ニューラルネットには、その構造から、パターン連想型
と自動連想型の２種類に、大きく分けられる。

パターン連想型は、入カバターンを、ある出カバターン
に変換するユニットのネットワークであり、自動連想型
は、複数のパターンをネットワークに格納し、入カバタ
ーンに最も近いパターンを出力するネットワークである
。

特に、パターン連想型は、１９８６年のパックプロパゲ
ーション学習という、ニューラルネットを学習させるア
ルゴリズムの開発により、専門家以外の者でも、ニュー
ラルネットを学習させることができるようになった。

このパックプロパゲーション学習の進め方は、まず、入
力を与え、ネットワークの出力を調べる。

その出力が、正しくなければ、正しい出力をネットワー
クに教える。すると、ネットワークは、正しい出力を出
すように、内部の構造、すなわち、ネットワークの接続
の重みを変える。これを繰り返して学習を行なう。

このような、ニューラルネットに関しては、「日経エレ
クトロニクス　１９８７　８−１０（ｎｏ、４２７）Ｊ
　（１９８７年、日経マグロウヒル社発行）のｐｐ、１
１５〜１２４に記載されている。

さらに、パターン連想型ニューラルネットに分類される
階層型ニューラルネットに関して、詳しく説明する。

第６図は、階層型ニューラルネットの構造を示す説明図
である。

ニューラルネットは、ニューロン６１〜６９を、それぞ
れ、入力層、中間層、出力層という階層に分けた構造を
とる。この中間層は、隠れ層（Ｈｉｄｄｅｎ　　Ｌ　ａ
ｙｅｒ）という。

各ニューロン６１〜６９間は、入力層から、出力層に向
かって結合している。各層内での結合はない。

入カバターンは、入力層から、出力層へ伝わり、一方、
学習は、出力層から、入力層に向がって進む。

各二ニーロンへの入力は、シナプス（図中、Ｗと記載）
という結合部を介して行なわれる。シナプスには、それ
ぞれ可変の重みを付け、結合の強さを表わす、この値を
変えるとネットワークの構造が変わる。

ネットワークの学習とは、このシナプスの重みの値を変
えることである。

このように、階層型ニューラルネットは、多数の入力値
を合計し、この合計値に、シグモイド（Ｓ　ｉｇｍｏｉ
ｄ）関数、ｆ（ｘ）＝１／　（１＋ｅｘｐ　（−Ｘ））
などの非線形関数を適用して出力値を得るニューロンを
、階層型に配置したものであり、隣接する層間を１重み
係数を持ったシナプスで接続したニューラルネットであ
る。

各層のニューロンは、前の層のニューロン出力に、この
ニューロン間を接続するシナプスの重み係数を掛は合わ
せた値を、その入力として、上述の計算を行ない、出力
を求める。

ここで、ニューラルネットに対する入力が、出力層に向
かって、層間を計算されつつ伝播し、最終的な出力が得
られるため、この計算過程は、前向き伝播と呼ばれる。

また、ニューラルネットは、前向き伝播により得られた
出力と、期待される出力（これを教師信号と呼ぶ）との
誤差に基づいて、直前の階層と接続しているシナプスの
重み係数を、より期待値に近い値が得られるように更新
した後、前層ニューロンの出力期待値を計算し、それに
基づき、さらに、前層のシナプス重み係数を更新する。

このように誤差値を後向きに伝播させて、シナプスの重
み係数を修正することを、後向き伝播と呼ぶ。そして、
この後向き伝播を用いて、ニューラルネットに、期待す
る振舞を学習させることをパックプロパゲーション学習
と呼ぶ。

以下、パックプロパゲーション学習に関して、より詳細
に説明する。

入力層と、隠れ層、および、出力層の三層で構成される
階層型ニューラルネットにおいて、入力層と、隠れ層、
および、出力層のニューロン個数を、それぞれ、ｒＪＪ
個、ｒＫ４個、ｒＭＪ個とし、入力層の第「ｊ」番目の
ニューロンから、隠れ層の第「ｋＪ番目のニューロンへ
接続されたシナプスの重みを「ｖｋＪ」、隠れ層の第「
ｋＪ番目のニューロンから、・出力層の第ｒ　ｍ　Ｊ番
目のニューロンへ接続されたシナプスの重みを「Ｗ□」
と表記する。

前向き伝播の場合、個々のニューロンでは、段前の層を
構成するニューロンの出力と、シナプスの重み係数との
積を総和し、その総和値をシグモイド関数などの非線形
関数に適用した値を、出力とする。すなわち、隠れ層の
第「ｋ」番目のニューロンでは、以下の計算が行なわれ
、出力ｒ　ｘ　＊　ｋ’が決定される。

ｙ、に＝ΣＶ□Ｘ、、　　・　・　・　（１）ト ｘ、に＝ｆ　（ｙ□）　　・　・　・　（２）但し、「
ｘｌＪ」は、入力要部「ＪＪ番目のニューロンの出力、
また、　ｒｆ（ｘｌ＋は、非線形関数である。

同様に、出力層第ｒｍＪ番目のニューロンの出力「Ｘ、
」は、以下の式で計算される。

ｙ１＝Σｗ、ｋｘ□　・　・　・　（３）択一 ）（、、ｘｆ（３’＠ＩＩ）　　　・　・　・　（４）
このようにして計算された’Ｘ＊ｍＪが、階層型ニュー
ラルネット全体の出力となる。

後向き伝播においては、前向き伝播により得られた出力
と、教師信号との誤差に基づいて、ニューラルネット出
力が、より教師信号に近づくように、重み係数を変化さ
せる。

教師信号を「ｄＩｌ」と表記すると、出力層との誤差「
δ、」は、次の式で定義される。

δｍ＝　（ｃｐｓ　　Ｘ、、）ｆ　’　（ｙ−ｍ）　　
　・・・　（５）ｒｆ’（ｘ）Ｊは、非線形間数ｒｆ（
ｘ）」の−次導関数である。また、隠れ層での誤差「γ
工」は、以下の式で定義される。

γｈ＝ｆ’（ｙ、ｋ）　　Σδｌ１ｗエ　・　・　・　
（６）これらの誤差を用いて、隠れ要部ｒｋＪ番目のニ
ューロンから、出力要部「ｍ」番目のニューロンへ接続
されたシナプスの新しい重み係数「Ｗ′、ｋ」は、以下
の式で計算される。

Ｗ″、に＊ｗ、１＋ｙ）δｌＩＸ、ｌ　　’　”　・（
７）ここで、「η」は、小さな値である。上と同様に、
入力要部「ｊＪ番目のニューロンから隠れ要部「ｋ」番
目のニューロンへ接続されたシナプスの新しい重み係数
’　Ｖ　’　＊ａＪは、以下の式で計算される。

Ｖ　　ｋＪ＝ｖｋＪ”７７ｋｘ＋Ｊ　　　ＨＨＨ（８）
上述の前向き伝播と後向き伝播を、多数の入力データと
教師信号に対して繰り返すことにより、ニューラルネッ
トの学習が行なわれる。

尚、階層型ニューラル、および、パックプロパゲーショ
ン学習の、より詳細な説明に関しては、麻生英樹著［ニ
ューラルネットワーク情報処理Ｊ（産業図書発行）に記
載されている。

さぞ、上述のパックプロパゲーション学習を高速処理す
ることを目的として、前向き伝播、および、後向き伝播
を並列計算する方法が、従来がら考案されている。

例えば、バス結合型並列プロセッサを用いて、一つのニ
ューロンから、次の層へ至るシナプスの重み係数を、全
て同一の要素プロセッサに割り付けて、前向き伝播、お
よび、後向き伝播を並列に計算する方法である。

以下、バス結合型並列プロセッサを用いた従来の計算方
法を説明する。

第７図は、パックプロパゲーション学習に係る計算処理
を行なうバス結合型並列プロセッサの構成を示す構成図
である。

第７図において、１〜７は要素プロセッサ、８はバスで
ある。

本構成のバス結合型並列プロセッサによるニューラルネ
ット並列計算方法に関して、以下、説明する。

特に、ニューラルネット計算の中心となる上記（３）式
、および、（６）式に主眼をおいて説明する。

（３）式および（６）式は、それぞれ、以下の様に行列
形式で表わすことができる。

式中の「Ｍ行×に列」の行列は、重み係数行列とよばれ
るわ 従来方法では、これらの式中の重み係数行列を、行方向
に分割して、個々の要素プロセッサに割り付ける。

すなわち、仮に、第７図における要素プロセッサ１〜７
の数をｒＰＪ個とすれば、−行目からｒＭ／ＰＪ行目ま
でを、第１番目の要素プロセッサ１に割り付け、ｒ　（
Ｍ／Ｐ）＋ＩＪ行目からｒ２ｘ　（Ｍ／Ｐ）Ｊ行目まで
を、第２の要素プロセッサ２に割り付ける。以下同様に
繰返し、Ｆ（Ｍ／Ｐ）Ｘ　（Ｐ−１）＋ＩＪ行目からｒ
Ｍ」行目までを、第「ＰＪ番目の要素プロセッサ７に割
り付ける。

前向き伝播の場合、まず前層のニューロンの出力［ｘ、
１〜ＸＩＫＪが、全要素プロセッサに転送され、その後
、（９）式が計算される。

重み係数行列の同一行は、同一の要素プロセッサに割り
付けられているため、重み係数行列の各行毎に、前層ニ
ューロンの出力との積和演算を行なう（９）式は１個々
の要素プロセッサ１〜７が、データ転送なしに、計算を
行なうことができる。

後向き伝播の場合も同様に、まず、次層の誤差「６１〜
δ。」が、全要素プロセッサに転送され、その後、　（
１０）式が計算される。

しかし、　（１０）式は、（９）式と興なり、重み係数
行列の各々の列毎に、次層の誤差との積和演算を行なう
必要があるにのため、各要素プロセッサ１〜７は、自プ
ロセッサに割り付けられた重み係数に対する部分積和を
計算し、その結果を、他のプロセッサに転送し、その後
、転送されてきた部分積和を累計し、最終的な結果を得
る。

ここで、要素プロセッサ１〜７に割り付けられた部分重
み係数行列は、全ての列を含むので、各々の要素プロセ
ッサ１〜７において、列の数、すなわち、「Ｋ」個の部
分積和が計算され、これらが、全て、他の要素プロセッ
サに転送されることになる。そして、バス８では、−時
に、一つの要素プロセッサしか転送できないため、部分
積和の転送は、ｒＫｘＰｊ回行なわれることになる。

［発明が解決しようとする課題］ 以上、説明したように、従来のニューラルネット並列計
算方法では、前向き伝播時には、データ転送が不要な反
面、後向き伝播時には、「隠れ層ニューロン数×要素プ
ロセッサ総数」回のデータ転送が必要となる。

パックプロパゲーション学習では、前向き伝播と、後向
き伝播が交互に繰り返されるため、全体として、後向き
伝播に必要な転送回数に比例した通信オーバヘッドが生
じることになる。

このため、従来方法には、並列処理による計算時間の短
縮効果が大きい大ニューロン数、大プロセッサ数におい
て、通信オーバヘッドが著しく大きくなり、十分な速度
向上効果が得られないという問題があった。

本発明の目的は、これら従来技術の課題を解決し、バス
結合型並列プロセッサによるバックプロパゲーション学
習の並列計算において、データ転送回数を大幅に削減し
て、通信オーバヘッドを軽減し、高速の計算を可能とす
るニューラルネットの並列計算処理方法を提供すること
である。

〔課題を解決するための手段〕

上記目的を達成するため、本発明のニューラルネットの
並列計算処理方法は、（１）入力層と、隠れ層、および
、出力層からなる三層階層型ニューラルネットの、シナ
プスの重み係数を変更するバックプロパゲーション学習
の前向き伝播および後向き伝播の処理を、同報転送機能
を持つバス結合並列プロセッサを構成するＰ個の要素プ
ロセッサに、シナプスの重み係数行列を割り付けて、並
列に行ない、さらに、入力層から隠れ層に至るシナプス
の重み係数行列を行方向にＰ個に分割して、第１の部分
重み係数行列とし、第１の部分重み係数行列を、Ｐ個の
要素プロセッサのそれぞれに割り付け、そして、Ｑ≧２
、Ｒ≧２、かつ、Ｐ＝Ｑ×Ｒである整数Ｑおよび整数Ｒ
を選択し、隠れ層から出力層に至るシナプスの重み係数
行列を、行方向にＱ分割、列方向にＲ分割して、第２の
部分重み係数行列とし、任意の第ｎ行目を含む第１の部
分重み係数行列を割り付けた要素プロセッサに、第ｎ列
目を含む第２の部分重み係数行列を割り付けることを特
徴とする。

また、　（２）上記（］）に記載のニューラルネット並
列計算処理方法において、バスを任意の個数のセグメン
トに分割するセグメント分割部を付与し、第ｎ行目を含
む第１の部分重み係数行列を割り付けた要素プロセッサ
への第ｎ列目を含む第２の部分重み係数行列の割り付け
と共に、同一の列を含む第２の部分重み係数行列を、同
一セグメントに属する要素プロセッサに割り付け、後向
き伝播の処理時に、要素プロセッサのそれぞれが、自プ
ロセッサに割り付けられた第２の部分重み係数行列を用
いて、出力層のニューロン誤差値との部分積和を計算し
た後に、この計算した部分積和を、セグメント分割部を
用いて分割したセグメントの同一セグメント内の要素プ
ロセッサに同報転送することを特徴とする。

〔作用〕

本発明においては、入力層から隠れ層に至るシナプスの
重み係数行列を、行方向に分割し、そして、隠れ層から
出力層に至るシナプスの重み係数行列を、メツシュ状に
分割することを特徴としている。

さらに、入力層から隠れ層に至るシナプスの部分重み係
数行列を、第１の部分重み係数行列、また、隠れ層から
出力層に至る部分重み係数行列を第２の部分重み係数行
列としたときに、第ｒｎＪ行目を含む第１の部分重み係
数行列が割り付けられた要素プロセッサに、第ｒｎＪ列
目を含む第２の部分重み係数行列を割り付けることを特
徴とする。

すなわち、入力層から隠れ層に至るシナプスの重み係数
行列を行方向に「Ｐ」　（「Ｐ」は要素プロセッサ数）
分割し、隠れ層から出力層に至るシナプスの重み係数行
列を、列方向に「Ｒ」分割、行方向に「Ｑ」分割する。

ここで、ｒＰ＝ＲＸＱＪとする。従って、各要素プロセ
ッサは、ｒＫ／Ｐ行ＸＪ列」の第１の部分重み係数行列
と、ｒＭ／Ｑ行ｘ　Ｋ　／　Ｒ列」の大きさの第２の部
分重み係数行列を持つことになる。

上述の重み係数行列の割り付けのもとての前向き伝播の
計算、すなわち（９）式の計算は、各要素プロセッサで
、前層のニューロン出力と、自プロセッサに割り付けら
れた部分重み係数行列との行方向の部分積和を計算し、
この部分積和の計算結果を、他の要素プロセッサに、互
いに転送して累計することにより結果を得ることになる
。

各要素プロセッサでは、部分重み係数行列の行の数だけ
の部分積和が計算されるため、ｒＭ／Ｑ」個の部分積和
結果が得られ、この部分積和全てを、各々の要素プロセ
ッサが、他の要素プロセッサに転送するため、ｒ　（Ｍ
／Ｑ）ＸＰ＝Ｍｘ・Ｊ回のデータ転送が行なわれる。

一方、後向き伝播の計算、すなわち、（１０）式の計算
では、次層の誤差値と、自プロセッサに割り付けられた
部分重み係数行列との列方向の部分積和を計算し、この
部分積和の計算結果を、他の要素プロセッサに、互いに
転送して累計し、自プロセッサに割り付けられた重み係
数の修正値を得ることになる。各要素プロセッサに割り
当てられた部分重み係数行列の列数は、ｒＫ／ＲＪであ
るため、部分積和は、　ｒ　Ｋ　／　ＲＪ個ずつ各要素
プロセッサ上に存在する。この部分積和全てを、各々の
要素プロセッサが、他の要素プロセッサに転送するため
、ｒ　（Ｋ／Ｒ）ＸＰ＝ＫＸＱＪ回のデータ転送が行な
われることになる。

部分積和の転送は、同一の列を含む部分重み係数行列を
持った要素プロセッサのみに対して行なえば良いので、
セグメント分割可能なバスを用いた場合には、バスをセ
グメントに分割することで、各セグメントごとに独立し
て、並列に転送を行なうことができる。この場合、部分
積和を、ｒＪ個のセグメントで、並列に「Ｑ」個ずつの
要素プロセッサが行なうので、ｒ　（Ｋ／Ｒ）ＸＱＪ回
のデータ転送が行なわれることになる。

以上のことから、バックプロパゲーション学習における
各１回の前向き伝播と後向き伝播は、ｒＭＲ＋ＫＱＪ　
、あるいは、ｒＭＲ＋ＫＱ／ＲＪ回のデータ伝送で、計
算できることになる。

ここで、ｒＫ、Ｍ、Ｑ、Ｒ≧Ｏ」であり、一般に、「Ｋ
≧Ｍ」であるため、 ＭＲ＋ＫＱ／Ｒ≦ＭＲ＋ＫＱ≦ＫＲ＋ＫＱ≦Ｋ（Ｒ＋Ｑ
）≦Ｋ　（ＲＸＱ）＝ＫＰ となる。

このように、本発明におけるニューラルネット並列計算
処理方法は、ニューラルネットの隠れ層から、出力層に
至るシナプスの重み係数行列を、メツシュ状に分割する
ことにより、通常のバスを用いた場合でも、セグメント
分割可能なバスを用いた場合でも、従来の方法より少な
い転送回数で並列計算を行なうことができる。

〔実施例〕

以下、本発明の実施例を、図面により詳細に説明する。

第１ｒ！ＩＪは、本発明を施したバス結合並列プロセッ
サの構成および本発明に係る割り付けのＭｌの実施例を
示す説明図である。

本第１図は、特に、シナプスの重み係数行列全体を分割
し、バス結合並列プロセッサの各要素プロセッサへ割り
付ける様子を示すものである。

バス８により結合され、前向き伝播および後向き伝播を
並列に計算するｒＰＪ　ｉＩＩからなる要素プロセッサ
（図中、ＰＥ、〜ＰＥ、と記載）１〜７がら構成された
バス結合並列プロセッサに、入力層から隠れ層へ至るシ
ナプスの重み係数行列全体である第１の重み係数行列１
１と、隠れ層から出力層へ至るシナプスの重み係数行列
全体である第２の重み係数行列１５が、分割され、それ
ぞれ、要素プロセッサ１〜７に割り付けられている。

このような構成の、バス結合並列プロセッサにより、第
１の重み係数行列１１、すなわち、入力層から隠れ層へ
至るシナプスの重み係数行列全体と、第２の重み係数行
列１５、すなわち、隠れ層から出力層へ至るシナプスの
重み係数行列全体に対する計算が行なわれる。

第１図（ａ）は、入力層から隠れ層に至るシナプスの重
み係数行列の分割方法と、各要素プロセッサ１〜７への
割り付けを、また、第１図（ｂ）は、隠れ層から出力層
に至るシナプスの重み係数行列の分割方法と、各要素プ
ロセッサ１〜７への割り付けを、それぞれ示している。

第１図（１１）において、破隷で囲まれた部分は、第１
の重み係数行列１１を分割した重み係数行列、すなわち
、入力層から隠れ暦へ至るシナプスの部分重み係数行列
を表わす第１の部分重み係数行列１２〜１４を示してい
る。

また、第１１１１（ａ）では、入力層ニューロン数をｒ
ＪＪ　、　１１！れ層ニューロン数を「Ｋ」、出力層ニ
ューロン数を「Ｍ」、そして、要素プロセッサ１〜７の
総数なｒＰＪで表わしている。

そして、第１図（ａ）では、各要素プロセッサ１〜７に
は、それぞれ、ｒ（ＫｌＰ行）ｘ（Ｊ列）Ｊの部分重み
係数行列が割り付けられる。

また、第１図（ｂ）において、破線で囲まれた部分は、
第２の重み係数行列１５を分割した重み係数行列、すな
わち、隠れ層から出力層へ至るシナプスの部分重み係数
行列を表わす第２の部分重み係数行列１６〜１８である
。

第１図（ｂ）中、メツシュ分割の分割行数、および、分
割列数を、それぞれ、「Ｑ」、ｒＪで表わしている。こ
こで、ｒＰ＝ＱＸＲＪとする。

この割り付けに際しては、各要素プロセッサ】〜７には
、ｒ（Ｍ／Ｑ行）ｘ（Ｋ／Ｒ列）」の部分重み係数行列
が割り付けられることになる。この際、第１図（ａ）に
おいて割り付けた部分重み係数行列１２〜Ｉ４の行番号
と、同一の列番号を含む部分重み係数行列１６〜１８が
、同一の要素プロセッサに割り付けられなければならな
い。尚、本発明において、部分係数行列の割り付けは、
必ずしも、本実施例と同一である必要はなく、上述の条
件を淘たすならば、どのような割り付けを行なっても良
い。

さて、このように、本実施例においては、入力層から隠
れ層に至るシナプスの重み係数行列を、行方向に分割し
、そして、隠れ層から出力層に至るシナプスの重み係数
行列を、メツシュ状に分割することを特徴としている。

さらに、入力層から隠れ層に至るシナプスの部分重み係
数行列を、第１の部分重み係数行列、また、隠れ層から
出力層に至る部分重み係数行列を第２の部分重み係数行
列としたときに、第「ｎ」行目を含む第１の部分重み係
数行列が割り付けられた要素プロセッサに、第ｒｎＪ列
目を含む第２の部分重み係数行列を割り付けることを特
徴とする。

すなわち、入力層から隠れ層に至るシナプスの重み係数
行列を行方向にｒＰＪ　　（ｒＰＪは要素プロセッサ数
）分割し、隠れ層から出力層に至るシナプスの重み係数
行列を、列方向にｒＲＪ分割、行方向にｒＱＪ分割する
（Ｐ＝ＲｘＱ）、従って、各要素プロセッサは、ｒＫ／
Ｐ行ｘＪ列」の第１の部分重み係数行列と、ｒＭ／Ｑ行
ＸＫ／Ｒ列」の大きさの第２の部分重み係数行列を持つ
ことになる。

上述の重み係数行列の割り付けのもとての前向き伝播の
計算、すなわち（９）式の計算は、各要素プロセッサで
、前層のニューロン出力と、自プロセッサに割り付けら
れた部分重み係数行列との行方向の部分積和を計算し、
この部分積和の計算結果を、他の要素プロセッサに、互
いに転送して累計することにより結果を得ることになる
。

各要素プロセッサでは、部分重み係数行列の行の数だけ
の部分積和が計算されるため、ｒＭ／ＱＪ個の部分積和
結果が得られ、この部分積和全てを、各々の要素プロセ
ッサが、他の要素プロセッサに転送するため、ｒ（Ｍ／
Ｑ）ＸＰ＝ＭＸＲＪ回のデータ転送が行なわれる。

一方、後向き伝播の計算、すなわち、　（１０）式の計
算では、次層の誤差値と、自プロセッサに割り付けられ
た部分重み係数行列との列方向の部分積和を計算し、こ
の部分積和の計算結果を、他の要素プロセッサに、互い
に転送して累計し、自プロセッサに割り付けられた重み
係数の修正値を得ることになる。

各要素プロセッサに割り当てられた部分重み係数行列の
列数は、ｒＫ／ＲＪであるため、部分積和は、ｒＫ／Ｒ
Ｊ個ずつ各要素プロセッサ上に存在する。この部分積和
全てを、各々の要素プロセッサが、他の要素プロセッサ
に転送するため、ｒ（Ｋ／Ｒ）ｘＰ＝ＫｘＱＪ　回０）
デー’）転送が行ｆｔわれることになる。

以上のことから、パックプロパゲーション学習における
各１回の前向き伝播と後向き伝播は、ｒＭｘＲ＋ＫＸＱ
Ｊ回のデータ転送で計算できることになる。

ここで、Ｋ、Ｍ、Ｑ、Ｒ≧０であり、一般に、Ｋ≧Ｍで
あるため、 ＭＲ＋ＫＱ／Ｒ≦ＭＲ＋ＫＱＳＫＲ＋ＫＱ≦に（Ｒ＋Ｑ
）≦Ｋ（ＲＸＱ）＝ＫＰ となる。

ｒＫＰＪは、従来のニューラルネットの並列計算処理方
法によるデータ転送回数である。

このように、本第１の実施例におけるニューラルネット
並列計算処理方法は、ニューラルネットの隠れ層から、
出力層に至るシナプスの重み係数行列を、メツシュ状に
分割することにより、従来の方法より少ない転送回数で
並列計算を行なうことができる。

以下、第１１１１におけるバス結合並列プロセッサによ
る本発明に係るパックプロパゲーション学習における並
列処理を、さらに、詳しく説明する。

第２図は、第１図におけるバス結合並列プロセッサによ
る本発明に係る処理の一実施例を示す説明図である。

特に、バックプロパゲーション学習における並列処理の
流れ図であり、従来技術の項で述べたバックプロパゲー
ション学習の計算式である（１）〜（８）式を用いて、
その計算動作を説明する。

第２図において、四辺形で示される処理は、第１図の各
要素プロセッサ１〜７での計算処理を表わし、長円形で
示される処理は、第１図の要素プロセッサ１〜７閏での
データ転送処理を表わしている。また、矢印は、データ
の転送方向を示す。

まず、ニューラルネットに入力データが入力されると、
入力層のニューロンは、この入力データをそのまま、あ
るいは、シグモイド関数に適用して、この入力層の出力
「ｘ１□」を得る。

この入力層の出力は、図中の転送処理２０１により、全
要素プロセッサに転送される。

各要素プロセッサは、このデータを受信した後、計算処
理２０２〜２０３において、上述の（１）式、および、
（２）式を計算し、それぞれ、隠れ層の出力’　Ｘ　＊
　ｊ　Ｊを求める。

この計算により、各要素プロセッサには、「Ｋ／ＰＪ個
の隠れ層ニューロン出力が得られる。

隠れ層の出力が得られた後、各要素プロセッサは、この
出力を、転送処理２０４〜２０５により、全ての他の要
素プロセッサに対して転送する。

さらに、隠れ層の出力を受信した各要素プロセッサは、
計算処理２０６〜２０７において、（３）式のうちの自
要素プロセッサに創り付けられた部分重み係数行列に対
する部分積和を、この受信した隠れ層出力値を用いて計
算する。

各要素プロセッサは、ｒ（Ｍ／Ｑ行）Ｘ　（Ｋ／Ｒ列）
」の部分重み係数行列を持っているため、ｒＭ／Ｑ」個
の部分積和が求まることになる。

要素プロセッサは、部分積和を計算した後、転送処理２
０８〜２０９において、全ての部分積和を、他の要素プ
ロセッサに転送し、これを受信した各要素プロセッサは
、計算処理２１０〜２】】において、自プロセッサに割
り付けられた出力層ニューロンに対応する部分積和を累
計して、（４）式を計算し、出力層ニューロンの出力値
「ｘｌ」を得る。この出力層ニューロンの出力値は、そ
のままニューラルネットの出力となる。

以上の動作により、パックプロパゲーション学習のうち
の前向き伝播の計算が終了し、後向き伝播の計算に移行
する。

まず、計算処理２１２〜２１３において、ニューラルネ
ット出力値と、教師信号との誤差「δ、」が計算される
。

各要素プロセッサは、ｒＭ／ＰＪ個の出力値を持ってお
り、この出力値の各々に対して誤差が計算されるため、
要素プロセッサ当り、ｒＭ／Ｐ」個の誤差値が求まるこ
とになる。

計算されたそれぞれの誤差値は、転送処理２１４〜２１
５において、全て、他の要素プロセッサに転送される。

誤差値を受信した各要素プロセッサは、計算処理２〕６
〜２１７において、（６）式のうちの自要素プロセッサ
に割り付けられた部分重み係数行列に対応する部分積和
を計算する。

部分重み係数行列は、ｒ（Ｍ／Ｑ行）ｘ　（Ｋ／Ｒ列）
」の大きさを持ち、（６）式は、列方向の積和計算を意
味するから、要素プロセッサ毎に、「Ｋ／ＲＪ個の部分
積和が求まることになる。

計算された部分積和は、転送処理２１８〜２１９におい
て、他の要素プロセッサに転送される。

転送処理の後、各要素プロセッサは、計算処理２２０〜
２２１において、自プロセッサが持つ重み係数「Ｖ□」
に係る誤差値「γ８」を、受信した部分積和を累計する
ことにより計算する。

そして、最後に、計算処理２２２〜２２３において、自
プロセッサに割り付けられた重み係数「ｗ、ｋ」および
「■。」を更新し、１回のバックプロパゲーション学習
を終了する。

以上、説明した本実施例における１回のバックプロパゲ
ーション学習の計算では、転送処理２０】においてｒＪ
Ｊ回、転送処理２０４〜２０５においてに回、転送処理
２０８〜２０９においてｒ（Ｍ／Ｑ）ＸＰＪ回、転送処
理２１４〜２１５においてｒＭＪ回、そして、転送処理
２１８〜２１９においてｒ（Ｋ／Ｒ）ｘＰ」回のデータ
転送が行なわれることになる。

上記の転送の中で、本発明における並列計算方法が、本
質的に、従来の方法と異なる部分は、転送処理２０８〜
２０９と転送処理２１８〜２１９における転送である。

転送処理２０８〜２０９および転送処理２１８〜２１９
での転送回数の合計「Ｃ０」は、「Ｃ０＝（（Ｍ／Ｑ）
ｘＰ）　＋（（Ｋ／Ｒ）ｘＰ）　Ｊ回であるが、この合
計「Ｃ１」は、要素プロセッサ総数「Ｐ」が一定だとし
ても、メツシュ分割の大きさ、すなわち、分割列数ｒＲ
Ｊ　と分割行数ｒＱＪの選び方により変化する。

転送処理２０８〜２０９および転送処理２１８〜２１９
での転送回数の合計「Ｃ０」を極小とするような分割列
数ｒＲＪは、 ｃｌｃ、／ｄＲ＝０ となるｒＲＪを計算することにより得られ、Ｒ＝ｆｌａ
ｒ下 となる。

分割行数ｒｃＨに関しては、ｒＰ＝ＱｘＪの関係がある
から、「Ｐ」と「Ｒ」から付随的に決まり、 Ｑ＝（σ［７Ｔ「ｒ となる。

また、このときの転送回数合計’Ｃｍｉゎ」は、Ｃｍｔ
ｎ＝　（Ｍ×　　　　　　　） ＋　　＜ＫＸ（てＶアゴじ［丁） ＝　ＦｖＸτ＋（ＷＴ’Ｃ＝２　ＦＭ玉ｘ　ｆ］「とな
る。

以上のようにして、並列計算の対象となるニューラルネ
ットの規模と、要素プロセッサの総数から、転送回数を
最小とするメツシュ分割の大きさを見つけることができ
る。

但し、本発明の並列計算方法においては、如何なるメツ
シュ分割サイズを選ぼうとも、転送回数は、従来の方法
の転送回数以下であり、メツシュ分割サイズは５必ずし
も上述した値に規定されるものではない。

次に、本発明の第２の実施例を説明する。

Ｍ３図は、本発明を施したバス結合並列プロセッサの第
２の実施例を示す構成図である。

本実施例は、第１図のバス結合並列プロセッサにおいて
、各要素プロセッサ１〜７を結合するバス８に、各要素
プロセッサ１〜７をセグメント分割するためのスイッチ
３１〜３２を設けて構成されている。

このような構成により、特定の要素プロセッサ、例えば
、最左端の要素プロセッサ１が、このスイッチ３１〜３
２を投入・開放することにより、斉転送モードと、セグ
メント内転送モードを切り換えることができる。

このスイッチ３１〜３２の制御を、特定の要素プロセッ
サが行なう構成となっているのは、本実施例において、
−斉転送と、セグメント内転送の切り換えの契機が、全
要素プロセッサにとって、同時期だからである。もちろ
ん、第３図でのスイッチ制御機構は、一実施例であり、
本発明において、本質的に規定されるものではない。よ
り複雑な構成となることを否まなければ、全ての要素プ
ロセッサの各々が、スイッチ切り換え支持を出せる構成
としても良い。また、第３図では、ｒＪ個の要素プロセ
ッサに対して一つの割合で、スイッチを設け、ｒＲＪ個
のセグメントに分割しているが、各プロセッサ毎にスイ
ッチを設け、スイッチを選択的に投入・開放して、任意
のセグメントに分割できるような構成も考えられる。

第４図は、第３図におけるバス結合並列プロセッサの本
発明に係る割り付けの一実施例を示す説明図である。

その構成は、第１図のバス結合並列プロセッサにセグメ
ント分割するためのスイッチ３１〜３２を設けたもので
あり、第１図のバス結合並列プロセッサにおけるシナプ
スの重み係数行列の分割方法と、各要素プロセッサへの
割り付けと同じである。しかし、第４図（ｂ）において
、同一の列番号を含む部分重み係数行列１６〜】８は、
同一のセグメントに属する要素プロセッサ１〜７に割り
付けなければならない。

すなわち、第４図（ａ）は、入力層から隠れ層に至るシ
ナプスの重み係数行列の分割方法と、各要素プロセッサ
への割り付けを、また、第４図（ｂ）は、隠れ層から出
力層に至るシナプスの重み係数行列の分割方法と各要素
プロセッサへの割り付けを、それぞれ示している。

第４図（ａ）、（ｂ）において、ｒＪＪ、ｒＫＪｒＭＪ
、ｒＰＪなど、第１図（ａ）、（ｂ）と同じ記号は、同
一のものを表わし、第１の実施例と同一の意味を持って
いる。

図中、メツシュ分割する場合の分割行数、および、分割
列数は、それぞれ、「Ｑ」、ｒＲＪであるが、これは、
同一セグメント内の要素プロセッサ数およびセグメント
数と、それぞれ、等しい。

割り付けにおける条件も、第１図における第１の実施例
と同様に、本第４図における割り付けられた部分重み係
数行列１２〜１４の行番号と同一の列番号を含む部分重
み係数行列１６〜１８が、同一の要素プロセッサ１〜７
に割り付けられなければならない。

それに加えて、木簡２の実施例では、同一の列番号を含
む部分重み係数行列１６〜１８は、同一のセグメントに
属する要素プロセッサ１〜７に割り付けられなければな
らない。

このような割り付けを行ない、かつ、セグメント分けを
行なうことにより、第１の実施例で行なった後向き伝播
の計算におけるｒＫｘＱＪ回のデー・夕転送回数を、さ
らに、減少させることができる。

すなわち、部分積和の転送は、同一の列を含む部分重み
係数行列を持った要素プロセッサのみに対して行なえば
良いので、セグメント分割可能なバスを用いた場合には
、バスをセグメントに分割することで、各セグメントご
とに独立して、並列に転送を行なうことができる。この
場合、部分積和を、ｒＲＪ個のセグメントで、並列に「
Ｑ」個ずつの要素プロセッサが行なうので、ｒ（Ｋ／Ｒ
）ＸＱＪ回のデータ転送が行なわれることになる。

このことから、木簡２の実施例においては、パックプロ
パゲーション学習における各１回の前向き伝播と後向き
伝播は、ｒＭＲ＋（ＫＱ／Ｒ）４回のデータ伝送で、計
算できることになる。

ここで、Ｋ、Ｍ、Ｑ、Ｒ２Ｏであり、一般に、Ｋ≧Ｍで
あるため、 ＭＲ十（ＫＱ／Ｒ）≦ＭＲ＋ＫＱＳＫＲ＋ＫＱ≦Ｋ　（
Ｒ＋Ｑ）≦Ｋ　（ＲＸＱ）＝ＫＰとなる。

二のように、木簡２の実施例におけるニューラルネット
並列計算処理方法は、ニューラルネットの隠れ層から、
出力層に至るシナプスの重み係数行列をメツシュ状に分
割し、かつ、セグメント分割可能なバスを用いることに
よ番ハ従来の方法より、さらに、少ない転送回数で並列
計算を行なうことができる。

以下、第４図におけるバス結合並列プロセッサによる本
発明に係るバックプロパゲーション学習を対象とした第
２の並列処理動作を説明する。

第５図は、第４図におけるバス結合並列プロセッサによ
る本発明に係る処理の一実施例を示す説明図である。

本第５図においては、第２図で示された第１の並列処理
動作における転送処理２１８〜２１９以降の処理を説明
している。すなわち、木簡２の実施例は、隠れ層誤差の
部分積和の転送処理２１８〜２１９以外の処理は、第２
図における第１の実施例での対応する処理と全く同じで
ある。

第２図と同様に、四辺形で示される処理、第３図の各要
素プロセッサ１〜７での計算処理を表わし、長円形で示
される処理は、第３図の各要素プロセッサ１〜７間での
データ転送処理を表わしている。また、矢印は、データ
の転送方向を示す。

約述したように、本第５図の第２の実施例においては、
隠れ層誤差の部分積和の転送処理２１８〜２１９以外の
処理は、第２図における第１の実施例での対応する処理
と全く同じであり、省略している。

本節２の実施例では、隠れ層誤差の部分積和の転送処理
２１８〜２１９の際に、第３図におけるバス８に設けら
れたセグメント分割スイッチ３１を開放し、同一セグメ
ント内にのみ、データが転送されるようにする これは、部分積和が含む列と同一の列を含む部分重み係
数行列が割り付けられた要素プロセッサにのみ、この部
分関和が転送されれば十分なためである。このセグメン
ト分割スイッチ３１を開放した転送においては、ｒＪ個
のセグメントで、それぞれ異なったデータが、同時に転
送される。

本節２の実施例における１回のパックプロパゲーション
学習の計算では、隠れ層誤差の部分積和転送処理２１８
〜２１９における転送回数のみが第１の実施例と興なり
、ｒ（Ｋ／Ｒ）ＸＱＪ回となる。

この場合は、転送処理２０８〜２０９および転送処理２
１８〜２１９での転送回数合計「Ｃ０」は、ｒｃ、＝　
（（Ｍ／Ｑ）ｘＰ）＋　（（Ｋ／Ｒ）ＸＱ）　Ｊ回とな
り、転送回数合計「Ｃ０」を極小とするセグメント数「
Ｒ」は、 Ｒ＝”　　　　　ＭＸＰ となる。

また、 Ｑ＝”（コ１７Ｔ下ゴマ了１ であり、このときの転送回数合計’Ｃｍ、、Ｊは、Ｃ，
、＝　（Ｍｘ’　　　　　　ｘ　）　＋（Ｋｘｓ　　　
　２ＫＸＰ）Ｘ”ＦｖフＴ丁ＫｘＰ） Ｘ　　（ＡＦＸ五ＸＦ） ＝１．８９ｘ”Ｆ：１ｖフゴ：）ｘ”ｆ壬−となる。

以上、第１図〜第５図を用いて説明したように、本節１
および第２の実施例によれば、隠れ層ニューロン数を「
Ｋノ、出力ニューロン数を「Ｍ」、そして、要素プロセ
ッサ数をｒＰＪとしたとき、重み係数行列の列分割数ｒ
ＲＪを、通常のバス結合系列プロセッサの場合には、 Ｒ＝〜Ｆ下で７Ｍ丁フ了 に、また、セグメント分割可能なバス結合並列プロセッ
サの場合には、 Ｒ＝’　　　　　　Ｍ　　ＸＰ に選べば、従来の方式では、要素プロセッサ総数に比例
して増加していた転送回数を、それぞれ、要素プロセッ
サ総数の平行様、および、３乗根に比例する値にまで削
減することができ、要素プロセッサ総数が多い場合でも
、通信オーバヘッドが、あまり増加せず、十分な速度の
向上が得られる。

【発明の効果］ 本発明によれば、バス結合型並列プロセッサによるパッ
クプロパゲーション学習の並列計算において、データ転
送回数を大幅に削減することができ、通信オーバｌ＼ツ
ドを軽減し、計算速度の高速化が可能である。

【図面の簡単な説明】

第１図は本発明を施したバス結合並列プロセッサの構成
および本発明に係る割り付けの第１の実施例を示す説明
図、第２図は第１図におけるバス結合並列プロセッサに
よる本発明に係る処理の一実施例を示す説明図、第３図
は本発明を施したバス結合並列プロセッサの第２の実施
例を示す構成図、第４図は第３図におけるバス結合並列
プロセッサの本発明に係る割り付けの一実施例を示す説
明図、第５図は第４図におけるバス結合並列プロセッサ
による本発明に係る処理の一実施例を示す説明図、第６
図は階層型ニューラルネットの構造を示す説明図、第７
図は従来のパックプロパゲーション学習に係る計算処理
を行なうバス結合型並列プロセッサの構成を示す説明図
である。 １〜７：要素プロセッサ、８：パス、１１：第１の重み
係数行列、１２〜１４：第１の部分重み係数行列、１５
：第２の重み係数行列、１６〜工８：第２の部分重み係
数行列、３１〜３２：スイッチ、６１〜６９：ニューロ
ン、２０１：入力層の出力の転送処理、２０２〜２０３
　：ｌ！！九層の出力’　Ｘ　＋　ｔ　Ｊの計算処理、
２０４〜２０５：隠れ層の出力の転送処理、２０６〜２
０７：部分積和の計算処理、２０８〜２０９：部分積和
の転送処理。 ２１０〜２１１：出力層の出力値「ｘｌ」の計算処理、
２１２〜２１３．出力値と教師信号との誤差「δ、」の
計算処理、２１４〜２１５：誤差値の転送処理、２１６
〜２］７：部分積和の計算処理。 ２１８〜２１９：ｇ３分積和の転送処理、２２０〜２２
１・重み係数に係る誤差値「γ８」の計算処理。 ２２２〜２２３：重み係数の更新計算処理。 第 図（その２） （その１） 第 図（その１） （ａ） 第 図 教師 ↓ 望ましく・出力 釘 入力パターン

Claims (2)

【特許請求の範囲】
1. （１）入力層と、隠れ層、および、出力層からなる三層
   階層型ニューラルネツトの、シナプスの重み係数を変更
   するバックプロパゲーシヨン学習の前向き伝播および後
   向き伝播の処理を、同報転送機能を持つバス結合並列プ
   ロセッサを構成するＰ個の要素プロセッサに、上記シナ
   プスの重み係数行列を割り付けて、並列に行なうニュー
   ラルネットの並列計算処理方法において、上記入力層か
   ら上記隠れ層に至る上記シナプスの重み係数行列を行方
   向にＰ個に分割して、第１の部分重み係数行列とし、該
   第１の部分重み係数行列を、上記Ｐ個の要素プロセッサ
   のそれぞれに割り付け、そして、Ｑ≧２、Ｒ≧２、かつ
   、Ｐ＝Ｑ×Ｒである整数Ｑおよび整数Ｒを選択し、上記
   隠れ層から上記出力層に至る上記シナプスの重み係数行
   列を、行方向にＱ分割、列方向にＲ分割して、第２の部
   分重み係数行列とし、任意の第ｎ行目を含む上記第１の
   部分重み係数行列を割り付けた上記要素プロセッサに、
   上記第ｎ列目を含む上記第２の部分重み係数行列を割り
   付けることを特徴とするニューラルネットの並列計算処
   理方法。
2. （２）請求項１に記載のニューラルネット並列計算処理
   方法において、上記バスを任意の個数のセグメントに分
   割するセグメント分割手段を付与し、上記第ｎ行目を含
   む上記第１の部分重み係数行列を割り付けた上記要素プ
   ロセッサへの上記第ｎ列目を含む上記第２の部分重み係
   数行列の割り付けと共に、同一の列を含む上記第２の部
   分重み係数行列を、同一セグメントに属する上記要素プ
   ロセッサに割り付け、上記後向き伝幡の処理時に、上記
   要素プロセッサのそれぞれが、自プロセッサに割り付け
   られた上記第２の部分重み係数行列を用いて、上記出力
   層のニユーロン誤差値との部分積和を計算した後に、該
   計算した部分積和を、上記セグメント分割手段を用いて
   分割したセグメントの同一セグメント内の要素プロセッ
   サに同報転送することを特徴とするニユーラルネット並
   列計算処理方法。