JPH03105584A - 並列データ処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 複数個のデータ処理ユニットを同期的に用いてデータを
処理する並列データ処理方式に関し、リングシストリッ
クアレイ方式や共通バス結合型Ｓ　Ｉ　Ｍ　Ｄ　（Ｓｉ
ｎｇｌｅ　Ｉｎｓｔｒｕｃｔｉｏｎ　Ｍｕｌｔｉ　Ｄａ
ｔａ　）結合方式と同程度なハードウェア構成で、デー
タ転送によるオーバヘッドを減少せしめ、特に、長方形
行列とベクトルとの積を求めるような処理に対しても、
本来の並列度を最大限利用できるようにして良好な台数
効果を得ることにより、行列演算あるいはニューロコン
ピュータ演算を行うことをことを目的とし、 各々少なくとも一つの入力を持つ複数個のデータ処理ユ
ニットと、各々第１の入力及び出力を持ちかつ各々デー
タ保持及びデータ転送を行う複数個のトレイであって、
前記トレイの全部又はその一部が各々前記データ処理ユ
ニットの第１の入力に接続された第２の出力を有するも
のと、前記接続するトレイの第１の入力及び出力が接続
されて成るシフト手段とを具備し、前記シフト手段上の
データ転送と、前記トレイと前記データ処理ユニット間
のデータ転送と、前記データ処理ユニットによるデータ
処理とを同期して行うことにより、行列演算あるいはニ
ューロコンピュータ演算を行うように構成する。

〔産業上の利用分野〕

本発明は並列データ処理方式に係り、更に詳しくは、複
数個のデータ処理ユニットを同期的に用いてデータを処
理する並列データ処理方式に関する。

近年、電子計算機或いはデジタル信号処理装置等のシス
テムにおいて、データ処理の適用分野の拡大に伴い、処
理されるデータの量が膨大になり、特に画像処理或いは
音声処理等の分野では高速なデータ処理を行う必要があ
り、そのため、複数個のデータ処理ユニットを同期的に
用いてデータを処理するデータ処理の並列性の利用が重
要となる。

−ｉに、複数の処理ユニットを用いた処理において重要
な概念に台数効果がある。これは用意されたデータ処理
ユニットの台数に比例したデータ処理速度の向上が得ら
れることを意味するが、並列処理方式においては良好な
台数効果を得ることが非常に重要となる。

台数効果が悪化する主要な原因は、問題そのものの並列
度による限界を別にすれば、データ処理に伴うデータ転
送に要する時間が本来のデータ処理に要する時間に加算
されてトータルとしての処理時間が引き延ばされること
にある。従って、台数効果の向上にはデータ伝送路の容
量をフルに活用することが有効であるが、これはなかな
か難しい しかし、処理が規則的な場合には、この規則性を利用し
て台数効果を上げることが可能となる。

データをシストリックアレイ、すなわち、巡回的にデー
タを流し、２つのデータがその流れにおいてそろったと
ころで演算を行うようにする。処理が規則的なことを利
用する並列処理がシストリンクアレイ方式であり、この
中でリングシストリンクアレイ方式と呼ばれる１次元の
シストリックアレイ方式は、複数個のデータ処理ユニッ
トを同期的に用いてシストリックなデータを処理する並
列データ処理方式であって実現が比較的容易である。

規則性のある処理として、ベクトルの内積演算を基本と
した行列演算や、ニューラルネットの積和演算に非線形
関数を介して出力する並列処理がある。

〔従来の技術〕

第１１図（Ａ）は従来の共通バス結合型並列方式の原理
構成図である。同図において９１はプロセッサエレメン
ト、４はメモリ、９３は共通バス、９２は共通バスに接
続されるバス、９４は各プロセッサエレメントと、それ
に対応して接続されるメモリ４を接続する内部バスであ
る。この共通バス結合型並列方式においては、プロセッ
サエレメント（以下ＰＥと称す）間の通信が共通バス９
３を介して行われる。特定な時間区域には共通バス番こ
乗せるデータは１つであるため、共通バスによ？通信は
共通バス全体にわたって同期をとる必要がある。

第１１図（Ｂ）はこの共通バス結合型並列方式による行
列ベクトル積の動作フローチャートである。各ＰＥは他
のＰＥからのデータＸと内部レジスタのＹとをかけ、そ
の積をＹに足しこむ動作を行う。そのためフローチャー
トに示すように、ｉ番目のＰＥに関して、その内部にあ
るレジスタの内容、すなわち、Ｙ■の値をまず０にする
。そして以下をｎ回繰り返す。すなわち、共通バス９３
にＸ，を与えるとｉ番目のＰＥは共通バスに接続された
バス９２からの入力とメモリ４から内部バス９４を介し
て与えられる入力を掛け合わせ、そ′の積をＹｉに足し
込む。これを繰り返す。

第１２図（Ａ）は従来のリングシストリック方式の原理
説明図である。同図において２０はプロセッサエレメン
ト（ＰＥ）である。各ＰＲは巡回バス２２によって接続
されている。また、２１は係数ＷｉＪを格納するメモリ
である。Ｗ，，，Ｗ，２・・・．Ｗ３３などは係数行列
の要素であり、一般にＷｉｊは行列のｉｊ成分である。

この係数行列Ｗと、ベクトルｘ＝　（ＸＩ　，Ｘ２　，
Ｘ３　）を掛ける動作をこのリングシストリック方式で
行う場合、次のようにして行われる。

第１２図（Ｂ）はプロセッサエレメントの第ｉ番目の内
部構造である。同図において２３は乗算器、２４は加算
器、２５はアキュムレータ（ＡＣＣ）、２１は係数の要
素Ｗｉｊを格納するレジスタ群である。このレジスタ群
はいわゆるＦＩＦ○であって、係数行列の第ｉ行目に関
する係数としてＷｉＪ、すなわちｊ番目の列の要素が出
力されようとしている状態である。このＦＩＦ○は出力
された次のクロックでは巡回し、バス２２を介して後ろ
側からまた入力される。従って図に示すように、Ｗ■，
・・・，　Ｗｉ　Ｊ−１　はすでに巡回されて後側に格
納されている状態となっている。

一方、ベクトルの各要素はバス２２を介して入力される
。現在、要素Ｘ，が入力されている状態である。すでに
アキュムレータ２５にはＷ，，ＸＸ，十・・・＋Ｗ＋　
Ｊ−Ｉ　ＸＸＪ−１の内積結果が格納されている。これ
が今アキュムレータ２５から出力され、加算器２４の一
方の入力に入力されている。

外部からのｘｊとＦＩＦ○から出力されるＷｉｊの積が
乗算器２３によって乗算され、その結果が加算器２４の
他方の入力に入力され、現在のアキュムレータ２５の内
容とが加えられ、次のクロックで同じアキュムレータ２
５に加算される。この繰り返しによって、係数行列Ｗの
第ｉ行目の行ベクトルと外部から与えらるＸベクトルと
の内積演算がＷ行される，なお、スイッチ（Ｓｗｉｔｃ
ｈ）はデータＸｉをスルーに外部に出すか、あるいは内
部に取り込み、アキュムレータ２５にセットする場合と
の選択を行うためのものである。このようなＰＥで、行
列×ベクトルの積を行う場合、第１２図（Ａ）に示すよ
うに、ＰＥ−１はまず、ＷｌｌとＸを掛け、次のクロツ
ク周期に、Ｘ２が右側のＰＥ２から流れ込み、Ｗ＋２が
メモリ２１から出力されるので、Ｗ１２×Ｘ２が演算さ
れる。同様に次のクロックではｗ＋ｉとｘ３との積が実
行され、このことにより係数行列の第１列目とベクトル
鬼との？がＰＥ−１において可能となる。また、第２列
目とベクトルとの積はＰＥ−２において行われる。

すなわち、Ｗ２２とＸ２を掛け、次のクロック周期に、
Ｗ２ｆｆとＸ３を掛け、次のクロック周期においてＷ２
１と巡回的にもどってきたＸ＋　との積を行うことにな
る。同様に、第３行目とベクトルとの積はＷ３３とＸ３
を掛け、Ｗ３１と巡回してくるＸ，とを掛け、Ｗ３■と
巡回して戻ってくるＸ２との積をとって内積演算を実行
することによって可能となる。従って、この動作におい
て、ＷｌｌとＸＩとの積、及びＷ２■とＸ２　、Ｗ３３
とｘ３との積は同時に行えることになる。しかし、図に
示すように、この同時性を実行するためには係数行列の
要素の並べ方にねじれが生じている。このようなリング
シストリックアレイ方式においては、各ＰＥ間のデータ
転送と、各ＰＢでのデータ処理を同期して実行すること
で、データ転送路を有効に利用でき、従って良好な台数
効果を得ることができる。

第１２図（Ｃ）は、第ｌ２図（Ａ）のリングシストリッ
ク方式の構或を多段に組み合わせたのもであり、この構
或により、連続する行列とベクトルの積を行うことが可
能となる。このようなシストリックアレイ方式は処理が
規則的であるため、データ伝送路の容量をフルに活用す
ることが可能であり、従って台数効果の向上が計れる。

〔発明が解決しようとする課題〕

第１１図（Ａ）のような従来の共通バス結合の並列方式
においては、プロセッシングエレメント、すなわちＰＥ
間の結合が共通バスによっているため、一時には１つの
データしか転送できない。また、共通バスによる結合は
共通バス全体にわたる同期をとらなければならない。従
って、従来の共通バス結合型並列方式においては良好な
台数効果を得られる処理の種類が少ないという問題が生
じ、さらに共通バスによる結合は、結合されるＰＥの個
数の増加とともに共通バスが長くなり、共通バス全体に
わたる同期をとるのが難しくなるという問題、そして、
大規模並列には適さないという問題が生じていた。また
、第１２図のような従来のリングシストリックアレイ方
式においては、各ＰＥ間のデータ転送とＰＥでのデータ
処理を同期して実行することにより、台数効果を得るこ
とができるが、この方弐では、各ＰＥ間でのデータ転送
と、各ＰＥ間でのデータ処理のタイ旦ングを合わせねば
ならない。また、この方式では、例えば長方形の行列と
ベクトルとの積を求める場合等のようにデータ処理ユニ
ットとデータ保持ユニットのそれぞれの最適な個数が等
しくない場合には、実際のデータ処理に係わらないＰＥ
が必要となり、すなわち、遊ぶＰＥが多くなり、そのた
め台数効果が悪化するという問題がある。言い換えれば
、効率よくとける問題と回路構成とが固く対応し、問題
の大きさが最適な値と異なると台数効果が悪化してしま
う。逆にいうと、良好な台数効果が得られる問題が特定
されてしまい、広範な処理に適用できず、柔軟性、或い
は汎用性に欠け、結果として、ある程度広い範囲の処理
に適用できる高速なデータ処理系を実現することが困難
となる。

本発明は、リングシストリックアレイ方式や共通バス結
合型Ｓ　Ｉ　Ｍ　Ｄ　（Ｓｉｎｇｌｅ　Ｉｎｓｔｒｕｃ
ｔｉｏｎ　ＭｕｌｔｉＤａｔａ）結合方式と同程度なハ
ードウエア構成で、データ転送によるオーバヘッドを減
少せしめ、特に、長方形行列とベクトルとの積を求める
ような処理に対しても、本来の並列度を最大限利用でき
るようにして良好な台数効果を得ることにより、行列演
算あるいはニューロコンピュータ演算を行うことを目的
とする。

〔課題を解決するための手段〕

第１図は本発明の原理説明図である。同図において１は
データ処理ユニット、２はデータの保持及び転送を行う
トレイ、３は各トレイの相互接続により構成されるシフ
トレジスタ、１１はデータ処理ユニットの第ｌの入力、
１２はデータ処理ユニットの第２の入力、２１はトレイ
の第１の入力、２２はトレイの第１の出力、２３はトレ
イ２の第２の出力である。

データ処理ユニット１はデータの処理を行い、トレイ２
は転送の動作を行うものでシフトレジスタ３を構放して
、データの巡回シフトを行う。本発明では、ｍｘｎ行列
八と要素数のベクトルＸとの積を求める場合、行列八の
行数ｍが列数ｎより小さい場合であっても、或いはｍが
ｎより大きい場合であっても、ｍ個のデータ処理ユニッ
トとｎ個のトレイを用いてｎに比例する処理時間でその
積が実行可能となり、従って、良好な台数効果を得るこ
とができる。すなわち、第１図（Ａ）に示すように、そ
れぞれ２つの入力を持ち、その入力間の乗算機能とその
乗算結果の累積機能、すなわち内積演算を実行するｍ個
のデータ処理ユニット１と、ｎ個のトレイ２とからなる
構或において、ユニット内の累積レジスタをＹとした場
合に、データ処理ユニットは１１からの入力と１２から
の入力を掛け合わせ、積を累積Ｙに足し込み、その後、
シフトレジスタ３内の隣接するトレイ間でベクトルＸの
要素をシフトする。この動作をｎ回繰り返すことにより
、ｍ×ｎの行列Ａと、ｎ次元ベクトルとの乗算がｍ個の
データ処理ユニットを用いてｎに比例する処理時間で実
行可能となる。すなわち、本発明は、従来方式と異なり
、データ処理ユニット１とデータ保持機能を有するトレ
イ２とを分離することにより、それぞれｍとｎが異なっ
ている場合であっても、タイミングを合わせるための処
理を必要とせずに良好な台数効果を得ることが可能とな
る。さらに、本発明では、トレイ２間のデータ転送とデ
ータ処理ユニットｌによるデータ処理とを同時並行的に
行い、一般的にはデータ処理ユニットがデータ処理に有
する時間よりもデータ転送時間を短くすることが期待で
きるので、データ転送時間をデータ処理時間の影に隠す
ことで実質的にＯにし、そのことにより、処理時間を短
縮することが可能となっている。このことにより、行列
演算あるいはニューロコンピュータ演算を行う。

〔作　　　用〕

データ処理ユニットと、データ保持機能を有するトレイ
とを分離することにより、データ処理ユニットの個数ｍ
とトレイの個数ｎとが同一の場合も違っている場合も、
ｎＸｍの行列Ａと要素数ｎのベクトルＸとの積を、デー
タ転送と、データ処理の同時並列処理により行うことが
できる。

〔実　　施　　例〕

以下、本発明の実施例を図面を参照して説明する。

第１図（Ｂ）は第１図（Ａ）の本発明の原理構成図のシ
ステムの動作フローチャートである。第１図（Ａ）に示
されるように本発明ではデータ処理ユニット１とデータ
保持機能を有するトレイ２とを分離し、さらにトレイを
隣接間で接続し、巡回接続することによってシストリン
クなシステムを構成している。データ処理ユニットの数
をｎ、トレイの数をｍとした場合に、ｍｘｎの行列Ａと
要素数ｎのベクトルＸとの積を求める場合、第１図（Ｂ
）のフローチャートに示される動作となる。

Ｘｉ　をトレイ２のｉ番目にセットする。Ｙｓの値をＯ
にする。すなわちデータ処理ユニットのｉ番目のユニッ
トにおける累積レジスタの値を初期化する。ｉ番目の処
理ユニット１Ｎは１１＜からの入力と、１２１の入力を
掛け合わせて、積を累積器Ｙｓに足し込む。そしてシフ
トレジスタ３をシフトする。この内積とシフト動作をｎ
回繰り返す。

この処理において長方行列Ａとベクトル見との積が形成
される。この場合、トレイ間のデータ転送とデータ処理
ユニットにおけるデータ処理とは同時並行処理となる。

第１図（Ｃ）は本発明方式の動作概念図である。

同図においてトレイ２内のデータＸ＋から×ｎはベクト
ルＸの要素でその個数はｎであるとする。

またデータ処理ユニットはｍ個あり、その各々に累積器
がＹ＋　，Ｙｚ　，　　・・・，Ｙ，がある。ｍ×ｎの
長方行列の要素はＡ■からＡ．までのｍ×ｎ個存在する
。データ処理ユニットの１．には係数行列の第１行目で
あるＡｚ．　ＡＨ，　　・・・＋ＡＩｎが同期的に１２
１の入カバスから入力される。またデータ処理ユニット
１２はＡ２２，　Ａ２３，　　・・・Ａ　２　１がシス
トリック動作の各タイミングで順番に与えられる。また
、データ処理ユニット１ｌＩには？　ｆｆｉｌＷ＋　Ａ
ｌｌ　ｌｌ＋．１＋　’・・ｒ　Ａｌｌ　Ｉ１−１が同
期的に与えられる。

第１図（Ｄ）は第１図（Ｃ）の動作のタイミングチャー
トである。時間Ｔ＋からＴｎの動作は第１図（Ｃ）のそ
れぞれの図と第１図（Ｄ）の時間Ｔ，，Ｔ２，　　・・
・，Ｔ，，とが対応している。時間タイミングＴ１にお
いては第１図（Ｃ）に示されるようにトレイの２１．２
２，　　・・・，２ｎにはＸ＋　，Ｘｚ　，Ｘ■，・・
・．Ｘいがあり、ユニッ｝１１，１２，　　・・・，ｌ
ｍにはそれぞれ係数行列の要素Ａｌｌ，　ＡＤＺ，　　
・・・六一が入力されている。従って、このタイミング
においてデータ処理ユニットはＡ１，とトレイ２１のデ
ータＸ１　との積を求め、データ処理ユニットに対応す
るトレイ２２にあるＸ２と、メモリから与えられるＡ２
２との積を求め、同様６こ、トレイ２ｍにおいてはＡ一
とＸ．の積を求める。このタイミングは第１図（Ｄ）の
Ｔ１のタイミングで行われている。すなわち積和を求め
る同期クロックにおいて、バス１ｈにはＸ１があり、バ
ス１２１にはＡ■があり、バス１１２にはＸ２、１２２
にはＡ２２、１１３にはＸ３、１２３にはＡ３３があり
、１１．にはＸＩＩ、１２，にはＡ　ａｌｌ１がのって
いる。従って、第１図（Ｃ）のＴ，タイムにおける図に
示すように内積演算が行われる。累積器Ｙの値はこの時
は０であるから内積結果はＯに掛けた値が加わることに
なる。積和演算が終わるとシフト動作に入る。すなわち
第１図（Ｄ）に示されるようにＴ１とＴ２との間がシフ
ト動作であり、隣接するトレイ間でデータのシフトが行
われる。すなわち左シフトがこの場合行われる。すると
第１図（Ｃ）のタイミングＴ２に移る。第１図ＣＤ）の
動作タイ旦ングでも同様にＴ２の積和の時間区域となる
。するとシフトされているからトレイ２１にはＸ２、ト
レイ２２にはＸ３、そしてトレイ２ｍにはｘ−１が格納
され、また、係数行列の要素もトレイ１．２．−・’，
ｍにはそれぞれＡＩ２，　Ａ２３，　Ａｍ　ｍｏ＋が入
力される。これは第ｌ図（Ｄ）のＴ２のタイξングにお
いてもバス上のデータがそれぞれ示されている。従って
、Ｔ２のタイξングにおいて、Ａ１２？Ｘ２との積をと
り、前の累積器Ｙとの和が求められる。従ってユニット
１．においてはＴＩにおいて求まったＡ　１　．とＸ，
との積とＴ２において求められるＡ　Ｉ　ＺとＸ２との
積との和が求められその結果が累積器に格納される。同
様にユニット１ｚにおいては前の結果であるＡ２２ＸＸ
２　＋Ａ２３ＸＸ３の結果が累積器に格納される。ユニ
ッｌ−１．に対しても同様である。そしてまたシフトし
、タイミングＴ３に移る。トレイ１にはＸ３、トレイ２
にはＸ４、トレイｍにはＸ．■２、トレイｎにはＸ２が
入り、第１図（Ｃ）のＴ３時間における図に示されるよ
うな内積演算が実行される。

第ｌ図（Ｄ）の動作タイミングの時間区域Ｔ３において
は、データ処理ユニットに入るべき入力の記号が示され
ている。このような演算が進み、時間区域Ｔ。まで行う
と、第ｌ図（Ｃ）の時間区域Ｔ。

に示されるようにＡ　＋　ｎＸ　Ｘ　ｎは前の累積器と
の値に加えられると、トレイ２１においては、ＴＩで求
めたＡＩＩＸＸ＋　、Ｔ２におけるＡＩ２ＸＸ２　、Ｔ
３で求めたＡ　Ｉ３　Ｘ　Ｘ　３等の積の和が求まり、
’ｒｎ−＋までの内積結果が累算器Ｙに格納されている
ので、その結果にＡ，ｆｉＸ×ｎが加わって行列Ａの１
行目とベクトルＸとの内積が実行される。トレイ２にお
いては同様に、行列八の２行目の行ベクトルとベクトル
Ｘとの内積演算がｎクロック周期で行われ、同様にｍ行
目の行ベクトルと、ベクトルＸの内積がデータ処理ユニ
ット１、で実行される。従って、このような時系列で処
理を行うことによって、ｍ×ｎの長方行列とｎ次元ベク
トルとの乗算がｍ個のデータ処理ユニットを用いてｎに
比例する処理時間で実行可能となる。従って、良好な台
数効果を得ることが可能となる。ここで重要なことは、
データを処理するデータ処理ユニットと、データ保持機
能を有するトレイとを分離し、それぞれの個数を長方行
列の行と列に対応させ、それらの次元が異なっていても
、時系列動作が同期的に可能となっている点である。な
おｎがｍよりも小さい場合でもｍ個のトレイ２を用いる
ことで処理時間は延びるが、すなわちｍに比例するが、
台数効果的な処理が可能となる。

第２図（Ａ）は第１図の構或の詳細ブロック図であり、
ｍ×ｎ　（ｎ≧ｍ≧１）の行列Ａと要素数ｎのベクトル
Ｘの積Ｖ（要素数ｍ）を求めるものである。同図におい
て、第１図で示したものと同一のものは同一の記号で示
してあり、１ａはデータ処理ユニット１の処理装置であ
り、例えばデジタルシグナルプロセッサで構成され、２
ａはトレイ２のデータ保持回路であり、例えばラッチ回
路で構成され、２ｂはトレイ２のデータ転送回路であり
、例えばバスドライバで構成され、２Ｃはトレイ２の制
御手段であり、例えば論理回路で構成され、４はデータ
処理ユニット１にデータを供給する手段の一部であると
同時にデータ処理ユニ・ノト１を制御する手段の一部で
ある記憶装置であり、例えばＲＡＭ　（ラングムアクセ
スメモリ）で構成され、５はデータ処理ユニット１とト
レイ２の同期動作を行う手段であり、５ａはクロツク発
生回路であり、例えば水晶発振回路で構成され、５ｂは
クロック分配回路であり、例えばバツファ回路から構成
される。

本実施例の動作は本発明の原理図で説明した動作とほぼ
同しである。

第２図（Ｂ）は第２図（Ａ）の本発明のシステムの動作
フローチャートである。第２図（Ａ）に示されるように
本発明ではデータ処理ユニット１とデータ保持機能を有
するトレイ２とを分離し、さらにトレイを隣接間で接続
し、巡回接続することによってシストリックなシステム
を構成している。データ処理ユニットの数をｍ、トレイ
の数をｎとした場合に、ｍｘｎの行列Ａと要素数ｍのベ
クトルＸとの積を求める場合、第４図（Ｂ）のフローチ
ャートに示される動作となる。Ｘｉをトレイ２ｉにセッ
トする。ＹｉＯ値をＯにする。すなわちデータ処理ユニ
ットのｉ番目のユニットにおける累積レジスタの値を初
期化する。ｉ番目の処理ユニットをＩＩは１１，からの
入力と、１２ｉの入力を掛け合わせて、積を累算器Ｙｉ
に足し込む。そしてシフトレジスタ３をシフトする。こ
の内積とシフト動作をｎ回繰り返す。この処理において
長方行列Ａとベクトル蒐との積が形戒される。

？の場合、トレイ間のデータ転送とデータ処理ユニット
におけるデータ処理とは同時並行処理となる。

第２図（Ｃ）は本発明方式の動作概念図である。

同図においてトレイ２内のデータＸ＋からＸｆｌはベク
トルＸの要素でその個数はｎであるとする。

またデータ処理ユニットはｍ個あり、その各々に累積器
がＹ＋　，Ｙ２　，　　・・・，Ｙ．がある。ｍ×ｎの
長方行列の要素はＡｌｌからＡ　ｌｌＩｎまでのｍ×ｎ
個存在する。データ処理ユニットの１１には係数行列の
第１行目であるＡ　Ｈ　Ｈ、Ａ１２，・・・＋Ａｌ１１
が同期的に１２＋の入カバスから入力される。またデー
タ処理ユニット１２はＡ２２％　Ａ２３，・・・Ａ　２
　１がシストリック動作の各タイミングで順番に与えら
れる。また、データ処理ユニット１、にはＡ，．，Ａ■
．，，・・・，　Ａｎ＋　＋ａ−ｌが同期的に与えられ
る。

第２図（Ｄ）は第２図（Ｃ）の動作のタイミングチャー
トである。時間Ｔ１からＴ。の動作は第１図（Ｃ）のそ
れぞれの図と第１図ＣＤ）の時間？，　，　’ｒｚ　，
　　・・・，Ｔｎとが対応している。時間タイミングＴ
，においては，第２図（Ｃ）に示されるように、トレイ
２１，２２，　　・・・，２ｎにはＸＩ　，ｘ２，Ｘ．
，−　−　・，Ｘｆｌがアリ、ユニットｌｌ，１２，　
　・・・，Ｉｍにはそれぞれ係数行列の要素Ａ＋＋．Ａ
ｚｚ．Ａ■が入力されている。

従って、このタイ旦ングにおいてデータ処理ユニット１
１のＡＩＩとトレイ２１のデータＸＩとの積を求め、デ
ータ処理ユニット１２においてはトレイ２２にあるＸ２
と、メモリから与えられるＡ２２との積を求め、同様に
、トレイｍにおいては八〇とＸ１の積を求める。このタ
イξングは第２図（Ｄ）のＴＩのタイミングで行われて
いる。すなわち積和を求める同期クロックにおいて、バ
ス１１ＩにはＸ＋があり、バス１２．にはＡ．１があり
、バス１１２にはＸ２　、１　２ｚ　６：はＡ２２、１
　ｌｘ　ニはＸ３、１２：ｌにはＡ３３があり、１１１
にはｘｍ、１２１にはＡ．がのっている。従って、第２
図（Ｃ）のＴＩタイムにおける図に示すように内積演算
が行われる。累積器Ｙの値はこの時は０であるから内積
結果はＯに掛けた値が加わることになる。積和演算が終
わるとシフト動作に入る。すなわち第２図（Ｄ）の図に
示されるようにＴ，とＴ２との間がシフト動作であり、
トレイの隣接するトレイ間でデータのシフトが行われる
。すなわち左シフトがこの場合行われる。すると第２図
（Ｃ）のタイミングＴ２に移る。第２図（Ｄ）の動作タ
イミングでも同様にＴ２の積和の時間区域となる。

するとシフトされているからトレイ２１にはＸ２、トレ
イ２２にはＸ３、そしてトレイし２ｍにはＸ　．ｌが格
納され、また、係数行列の要素もトレイ２１，２２，−
，２ｍにはそれぞれＡ　＋　ｚ　，　Ａ　２　３　，　
Ａ．１１１４１が入力される。これは第２図ＣＤ）のＴ
２のタイミングにおいてもバス上のデータがそれぞれ示
されている。従って、Ｔ２のタイミングにおいて、ＡＩ
２とｘ２との積をとり、前の累積器Ｙとの和が求められ
る。従って、ユニット１ｌにおいてはＴＩにおいて求ま
ったＡ．とＸ１との積とＴｚにおいて求められるＡ　１
　２とＸ２との積との和が求められ、その結果が累積器
に格納される。同様に？ニット１２においては前の結果
であるＡ　２２　Ｘ　Ｘ　Ｚ十Ａ２３ＸＸ３の結果が累
積器に格納される。ユニット１ｆｆｉに対しても同様で
ある。そしてまたシフトし、タイξングＴ，に移る。ト
レイ２１にはＸ３、トレイ２２にはＸ４、トレイ２ｍに
はＸ■２、トレイ２ｎにはｘ２が入り、第２図（Ｃ）の
Ｔ２時間における図に示されるような内積演算が実行さ
れる。

第２図（Ｄ）の動作タイミングにおいての時間区域Ｔ３
においては、データ処理ユニットに入るべき入力の記号
が示されている。このような演算が進み、時間区域Ｔ０
まで行うと第２図（Ｃ）の時間区域Ｔ．に示されるよう
にＡＩｆｌ××ｎは前の累積器との値に加えられると、
トレイ１においてはＴ，で求めたＡｔ＋ＸＸ＋　％　Ｔ
ｚにおけるＡ１２×Ｘｚ、Ｔｚで求めたＡ　Ｈ　３　Ｘ
　Ｘ　３等の積の和が求まり、Ｔ，，．．Ｉ　までの内
積結果が累積器Ｙに格納されているので、その結果にＡ
．ｎＸＸｆｌが加わって行列八のＩ行目とベクトルＸと
の内積が実行される。

トレイ２においては同様に、行列Ａの２行目の行ベクト
ルとベクトルＸとの内積演算がｎクロック周期で行われ
、同様にｍ行目の行ベクトルと、ベクトルＸの内積がデ
ータ処理ユニット１１で実行される。従って、このよう
な時系列で処理を行うことによってｍ×ｎＯ長方行列と
ｎ次元ベクトルとの乗算がｍ個のデータ処理ユニットを
用いてｎに比例する処理時間で実行可能となる。従って
、良好な台数効果を得ることが可能となる。

第３図は、本発明の第２の実施例説明図である．ｍ×ｎ
の行列Ａと要素数ｎのベクトル１との積に対し、引き続
きｋＸｍの行列Ｂを左から掛ける場合の動作に対するシ
ストリック方式の構或図である。第３図（Ａ）において
第１図で示したものと同一のものは同一の記号で示して
ある。すなわち１ａはデータ処理ユニット１の処理装置
であり、例えばデジタルシグナルプロセッサである。２
ａはトレイ２のデータ保持回路であり、例えばラッチ回
路で構成され、２ｂはトレイ２のデータ転送回路であり
、例えばバスドライバで構或され、２Ｃはトレイ２の制
御手段であり、例えば論理回路で構成されている。４は
データ処理ユニット１にデータを供給する手段の一部で
あると同時にデータ処理ユニットｌを制御する手段の一
部でもある記憶装置であって、例えばＲＡＭ　（ランダ
ムアクセスメモリ）で構成されている。５はデータ処理
ユニット１とトレイ２の同期動作を行う手段であり、内
部の５ａは、クロック発生回路で、例えば、水晶発振回
路で構成され、５ｂはクロック分配回路であり、例えば
、バッファ回路から構成される。

６はシストリック的に戻るデータとトレイに入力する場
合のデータと外部データとの選択を行う選択回路で、７
はシストリックされるデータを途中からバイパスする選
択回路である。

本実施例は、中間結果Ａｘを求めるところまでは第１の
実施例と全く同一であり、各データ処理ユニット中にそ
の中間結果Ａｘの各要素が求まっている状態から （ａ）中間結果をトレイ２に書き込み、（ｂ）バイアス
の選択回路７をオンさせて、シフトレジスタの長さをｍ
に変更し、 （Ｃ）以後は本発明の第１の実施例において、行列Ａを
行列Ｂに、そして、ｎをｍに、ｍをｋにそれぞれ変更す
ればまったく同じ動作となる。

第３図（Ｂ）は第２の実施例の動作フローチャート、第
３図（Ｃ）は第２の実庵例の動作概要図、第３図（Ｄ）
は第２の実施例の動作タイムチャートである。

まず、ｍ×ｎの行列Ａと要素数ｎのベクトルＸとの積、
そして、ｋＸｍの行列Ｂを左から掛ける場合、第３図（
Ｂ）のフローチャートに示される動作となる。Ｘｉをト
レイ２１にセットする。ＹｉＯ値をＯにする。すなわち
データ処理ユニットのｉ番目のユニットにおける累積レ
ジスタの値を初期化する。ｉ番目の処理ユニット１ｌは
ｌｉｔからの入力と、１２１の入力を掛け合わせて、積
を累積器Ｙｉに足し込む。そしてシフトレジスタ３をシ
フトする。この内積とシフト動作をｎ＠繰り返す。この
処理において長方行列ＡとベクトルＸとの積が形威され
る。

次に、シフトレジスタの長さをｍに変更し、Ｙ１？トレ
イ２１に転送する。そして、Ｚ，（ｉ＝１，・・・，ｋ
）をＯにする。次にＢ行列を掛けるために、まず、ｉ番
目の処理ユニットｌｌとｌｉｔからの入力と１２ｔの入
力を掛け合わせて、積を累積器Ｚｌに足し込む。そして
、シフトレジスク３をシフトする二〇内積とシフト動作
をｋ回繰り返す。

第３図（Ｃ）は以上の動作概念図である。同図において
トレイ２内のデータＸ１からＸＩ，はベクトル真の要素
でその個数はまず、ｎであるとする。

またデータ処理ユニットは最初は、ｍ個が有効で、その
各々に累積器がＹ＋　，Ｙｚ　，　　・・・，Ｙ．があ
るとする。まず、ｍ×ｎの長方行列Ａの要素はＡ■から
Ａ■までのｍ×ｎ個存在する。データ処理ユニットのｈ
には孫数行列の第１行目であるＡ＋＋．　Ａｄｚ，　　
Ｈ　＋　＋，　ＡＩｎが同期的に１２、の入カバスから
入力される。またデータ処理ユニット１２はＡ　２　２
　，　　Ａ　２　３　，　　・・・＋　　Ａｌｌがシス
トリック動作の各タイξングで順番に与えられる。また
、データ処理ユニット１■にはＡ　，．，　Ａ．，■竃
．・・？．■１が同期的に与えられる。

第３図（Ｄ）は第３図（Ｃ）の動作のタイξングチャー
トである。時間ＴＩからＴ。の動作は第３図（Ｃ）のそ
れぞれの図と第３図（Ｄ）の時間Ｔ＋　，Ｔｚ　，　　
・・・，Ｔｎとが対応している。時間タイミングＴ１に
おいては、第３図（Ｃ）に示されるように、トレイの１
．２．・・・　ｎにはＸ＋，Ｘｚ，　　・・・＋Ｘｋ＋
　　・・・，Ｘｌｌがあり、ユニット１，２，・・・，
ｋ，・・・，ｍにはそれぞれ係数行列の要素Ａｌｌ，Ａ
２■，・・・，　Ａｈｈ．・・・，Ａ，，が入力されて
いる。従って、このタイミングにおいてデータ処理ユニ
ットは、トレイ１において、Ａ目とトレイ１のデークＸ
，との積を求め、データ処理ユニット２においてはトレ
イ２にあるＸ２と、メモリから与えられるＡ２■との積
を求め、同様に、トレイｋにおいてはＡｋｋとＸ，の積
を求め、トレイｍにおいて、Ａ．とＸｍの積を求める。

このタイミングは第３図（Ｄ）のＴ１のタイミングで行
われている。すなわち積和を求める同期クロックにおい
て、バス１１＋にはｘｌ？あり、バス１２＋にはＡ　＋
　＋があり、バスｌｌｚにはＸ２、１２２にはＡｚｚ，
　１　１　ｋにはＸｈ，１２ｋにはＡｋｋがあり、１１
．にはＸｌｌｌ，ｌ２１ＩにはＡ１■がのっている。従
って、第３図（Ｃ）のＴ＋タイムにおける図に示すよう
に、内積演算が行われる。累積器Ｙの値はこの時は０で
あるから内積結果はＯに掛けた値が加わることになる。

積和演算が終わるとシフト動作に入る。すなわち第３図
（Ｄ）の図に示されるように、Ｔ＋　とＴ２との間がシ
フト動作であり、トレイの隣接するトレイ間でデータの
シフトが行われる。すなわち左シフトがこの場合行われ
る。すると第３図（Ｃ）のタイくングＴ２に移る。第３
図（Ｄ）の動作タイミングでも同様にＴ２の積和の時間
区域となる。するとシフトされているからトレイ１には
Ｘ２、トレイ２にはＸ３、トレイｋにはＸＩｌ＋１％そ
してトレイｍにはＸ１。１が格納され、また、係数行列
の要素もトレイ１，２，・・・，ｋ，・・・，ｍにはそ
れぞれＡＩ２＋　Ａ２３＋　　・・・Ａｋｋ＋重，・・
・ＡＩ１１１１４１が入力される。これは第３図（Ｄ）
のＴ２のタイξングにおいてもバス上のデータがそれぞ
れ示されている。従ってＴ２のタイミングにおいて、Ａ
，２とｘ２との積をとり、前の累積器Ｙとの和が求めら
れる。従ってトレイ１においてはＴ１において求まった
Ａ　１　１とＸ，との積とＴ２において求められるＡ１
２とｘ２との積との和が求められその結果が累積器に格
納される。同様にトレイ２においては前の結果であるＡ
２２ＸＸ２　＋Ａ２３ＸＸ３の結果が累積器に格納され
る。トレイｋやｍに対しても同様である。そしてまたシ
フトし、タイミングＴ３に移る。トレイ１にはＸ３、ト
レイ２にはＸ４、トレイｋにはＸｗ　ｋ４２　．．　　
｝レイｍにはＸｌｌｌｍｈ２、トレイｎにはＸ２が入り
、第３図（Ｃ）のＴ３時間における図に示されるような
内積演算が実行される。

このような演算が進み、時間区域Ｔｎまで行うと第３図
（Ｃ）の時間区域Ｔ．に示されるようにＡ　＋　ｎ　Ｘ
　Ｘ　（＠が前の累積器との値に加えられるとトレイ１
においてはＴ＋　で求めたＡ１１ＸＸ１−．Ｔｚにおけ
るＡ　１　ｚ　Ｘ　Ｘ　２　、Ｔ　ｋで求めたＡｌｋｘ
Ｘｋ等の積の和が求まり、Ｔｎ−＋までの内積結果が累
積器Ｙに格納されているので、その結果にＡ，．ｘ×ｎ
が加わって行列Ａの１行目とベクトルＸとの内積が実行
される。トレイ２においては同様に行列八の２行目の行
ベクトルとベクトルスとの内積演算がｎクロック周期で
行われ、同様にｋ行目の行ベクトルと、ベクトル見の内
積がデータ処理ユニット１ｋで実行される。

データ処理ユニットの有効数をｋ、トレイの有効数をｍ
とした場合に、ｋＸｍの行列Ｂと要素数ｍのベクトルｙ
との積を求める動作となる。Ｙｔをトレイ２のｈにセッ
トする。ＺｉＯ値をＯにする。すなわちデータ処理ユニ
ットのｉ番目のユニットにおける累積レジスタの値を初
期化する。

ｉ番目の処理ユニットｈは１ｈからの入力と、１２１の
入力を掛け合わせて、積を累積器Ｚｉに足し込む。そし
てシフトレジスタ３をシフトする。

この内積とシフト動作をｍ＠繰り返す。この処理におい
て長方行列Ｂとベクトル！との積が形威される。

？３図（Ｃ）においてトレイ２内のデータＹ１からＹｍ
はベクトルｙの要素でその個数はｍであるとする。また
データ処理ユニットの有効数はｋ個あり、その各々に累
積器がＺｌ，Ｚ２，　　・・・Ｚｋがある。ｋＸｍの長
方行列旧の要素はＢ＋＋からＢｈまでのｋＸｍ個存在す
る。データ処理ユニットのｈには係数行列Ｂの第１行目
であるＢｌｌ、Ｂ＋ｚ，　　・・・＋ＢＩ＋ｍが同期的
に１２１　の入力バスから入力される。またデータ処理
ユニットｌｚはＢ２■，　　Ｂ２３，　　・・・，Ｂ２
１がシストリック動作の各タイミングで順番に与えられ
る。また、データ処理ユニッｌ−１ヶにはＢｋｋ．　Ｂ
ｋ　ｋ。１，・・・Ｂｋ　ｋ−１が同期的に与えられる
。

第３図（Ｄ）は第３図（Ｃ’）の動作のタイ５ングチャ
ートでも同様の記号が使われている。時間Ｔ　ｎ　＋　
１からＴ　ｎ　＋　＠　＋　ｌの動作は第３図（Ｃ）の
それぞれの図と第３図（Ｄ）の時間とが対応している。

時間タイミングＴ。＋Ｉにおいては第３図（Ｃ）に示さ
れるように、トレイＩ，２，・・・，ｍにはＹ＋　，Ｙ
２　，　　・・・，Ｙ．が移され、ユニット１，？，・
・・，ｋにはそれぞれ係数行列Ｂの要素Ｂｚ，Ｂ２■，
・・・，Ｂｋｋが入力されている。次のタイミング’ｒ
ｎ＊ｚにおいてデータ処理ユニット１においてＢｌ＋と
トレイ■のデータＹ１との積を求め、データ処理ユニッ
ト２においてはトレイ２にあるＹ２と、メモリから与え
られるＢ２■との積を求め、同様にユニッＩ−ｋにおい
てはＢｋｋとＹｋの積を求める。このタイミングは第５
図（ｄ）のＴｎ。２のタイミングで行われている。すな
わち積和を求める同期クロツクにおいて、バス１１＋に
はＹ１があり、バス１２＋にはＢ目があり、バス１１２
にはＹ２、１２２にはＢ２２、１ｌ３にはＹ３，１２３
にはＢ３３があり、１１ｋにはＹｋ、１２ｋにはＢｋｋ
がのっている。従って、第３図（Ｃ）のＴ，ｌ。２にお
ける図に示すように内積演算が行われる。累積器Ｚの値
はこの時はＯであるから内積結果はＯに掛けた値が加わ
ることになる。積和演算が終わるとシフト動作に入る。

すなわち第３図（Ｄ）の図に示されるようにＴｎ。２と
Ｔ。＋３との間がシフト動作であり、トレイの隣接する
トレイ間でデータのシフ？が行われる。すなわち左シフ
トがこの場合行われる。すると第３図（Ｃ）のタイξン
グＴ　ｎ　＋　３に移る。第３図（Ｄ）の動作タイミン
グでも同様にＴ　ｎ　＋　３の積和の時間区域となる。

すると、シフトされているからトレイ１にはＹ２、トレ
イ２にはＹ３、そしてトレイｋにはＹ　ｋ　＋　＋が格
納され、また、係数行列Ｂの要素もトレイ１，２．・・
・．ｋにはそれぞれＢ１■，　Ｂ２３，　　・・・＋　
Ｂｋ　ｋ＋１が入力される。これは第３図（Ｄ）のＴ　
ｎ　＋　３のタイミングにおいてもバス上のデータがそ
れぞれ示されている。従ってＴ　ｎ　＋　３のタイミン
グにおいてＢＩ２とＹ２との積をとり、前の累積器Ｚと
の和が求められる。従って、ユニット１においては、Ｔ
７。２において求まったＢ．とＹ＋　との積とＴ　ｎ　
＊　３において求められるＢ１■とＹ２との積との和が
求められその結果が累積器Ｚに格納される。同様にユニ
ット２においては前の結果であるＢ２２ＸＹ２　＋Ｂｚ
３×Ｙ３の結果が累積器Ｚに格納される。トレイｋに対
しても同様である。そしてまたシフトし、タイミングＴ
　ｎ　＋　４に移る。

このような演算が進み、時間区域Ｔ。＊＠＋ｌ　まで行
うと第３図（Ｃ）の時間区域Ｔ　ｎ　＋　Ｉ１。直に示
されるようにＢ　ＩＩＩＩＸ　Ｙ．Ｎが前の累積器Ｚと
の値に加えられるとユニット１においてはＴ，，。２で
求めたＢＸ　Ｙ　＋　−．　Ｔ　ｎ　＋　２におけるＢ
　ＢＸ　Ｙ２　、Ｔｎ＋３で求めたＢ　，，Ｘ　Ｙ３等
の積の和が求まり、Ｔ７。１までの内積結果が累積器Ｚ
に格納されているので、その結果にＢＩｍ　Ｘ　Ｙ　ｙ
３が加わって行列Ｂの１行目とベクトルｙとの内積が実
行される。ユニット２においては同様に行列Ｂの２行目
の行ベクトルとベクトルｌとの内積演算が行われ、同様
にｋ行目の行ベクトルと、ベクトルｌの内積がデータ処
理ユニット１ｋで実行される。従って、このような時系
列で処理を行うことによってｋＸｍの長方行列Ｂに対し
てｍに比例する処理時間で実行可能となり、従って良好
な台数効果を得ることが可能となる。

本実施例においてはシフトレジスタ３の長さを変更でき
ること、及び中間結果をトレイ２に書き込み、それを新
たなデータとして処理できることが重要である。シフト
レジスタ３の長さを変更できなければ、データをすべて
巡回するためにｎ単位時間が必要になってしまう。また
中間結果を新たなデータとして処理できることで小規模
なハードウエアでリングシストリックアレイ方式より広
い範囲の処理が実行可能となっている。さらに書き込み
に要する時間が短くて各一定であることも重要である。

第４図は本発明の第３の実施例説明図である。

このシステムではｍｘｎの長方行列Ａの転置行列ＡＴ、
すなわち（ｎＸｍ）の行列と要素数ｍのベクトルＸとの
積とを計算するものである。同図において第１図に示し
たもの同じものは同一の記号で示してある。

転置行列ＡＴとへクトルＸとの積を求める場合において
は行列Ａを構成する部分行ヘクトルを各データ処理ユニ
ット１に接続された記憶装置４中に格納し、演算途中に
生ずる部分和をトレイ中のデータ保持回路２ａ上に累積
しつつシフトレジスタ３上のデータを循環させる。

第４図（Ａ）は第３の実施例の構或の詳細ブロック図で
あり、ｎＸｍ　（ｎ≧ｍ≧１）の行列ＡＴと要素数ｍの
ベクトルＸの積１（要素数ｎ）を求めるものである。同
図において、第１図で示したものと同一のものは同一の
記号で示してあり、ｌａはデータ処理ユニット１の処理
装置であり、例えばデジタルシグナルプロセッサで構成
され、２ａはトレイ２のデータ保持回路であり、例えば
ラッチ回路で構成され、２ｂはトレイ２のデータ転送回
路であり、例えばバスドライバで構成され、２Ｃはトレ
イ２の制御手段であり、例えば論理回路で構成され、４
はデータ処理ユニット１にデータを供給する手段の一部
であると同時にデータ処理ユニット１を制御する手段の
一部である記憶装置であり、例えばＲＡＭ　（ランダム
アクセスメモリ）で構成され、５はデータ処理ユニント
１とトレイ２の同期動作を行う手段であり、５ａはクロ
ック発生回路であり、例えば水晶発振回路で構成され、
５ｂはクロック分配回路であり、例えばバッファ回路か
ら構成される。

第４図（Ｂ）は第３の実施例の動作フローチャートであ
る。Ｘ＋をユニットＩｔ　　（ｉ＝１，　　・・ｍ）に
セソトする。モしてＹｉ（　ｉ　＝　１　，・・，ｎ）
の値をＯにする。各ユニット１１はＡ　Ｊ　（とＸカを
掛け合わせ、積をＹｊに足し込む動作をｉ＝１．・・・
．ｎに対して行ってシフトする。

この動作をｊ＝１，・・・，ｍに対して繰り返す．転置
行列とベクトルの掛け算は、記憶装置４中に格納された
行列八の各部分行ベクトルをそのままにして計算可能と
なり、これは後述するニューラルネットの学習アルゴリ
ズムの１つであるバックプロバゲションの実行において
は極めて重要となる。またネットワークの量はオーダｎ
ですむこと。

リングネットワークである。またデータ転送時間が処理
時間の影に隠れて転送時間に対するオーバヘッドはない
ことになる。しかもＳＩＭＤ方式である。

第４図（Ｃ）は第３の実施例の動作概要図である。ユニ
ットｈには、Ａ１１からＡ１Ｌ，ｌまでを順に与えてい
く。ユニット１２にはＡ２２からＡ２３．？・，Ａ２．
を与え、ｋ番目のユニットには記憶回路を介して、Ａｈ
ｈ，　　Ａｋ　ｋｌ　＋　　・・・．　　Ａｈ　ト＋を
順に与える。ｍ番目にはＡ■，　Ａｍ　ｍ＋＋　＋　　
・・Ａ．．１を順に与えていく。また、トレイ上を循環
するものはＹ１からＹｎである。

第４図（Ｄ）は第３の実施例の動作タイムチャートであ
る。時間区ＭＴ．からＴｎまでのバス上のデータが示さ
れ、これらは第６図（Ｃ）の時間区域Ｔ１からＴｎまで
の図にそれぞれ対応している。

時間区域Ｔ＋においては、Ｙ１からＹ７まではすぺてＯ
である。モしてＡ．とＸ１との積がユニット１１で形威
され、それをＹ＋に足し込む。それと同時にＡ２２とＸ
２がＹ２に足し込まれ、Ａｋｋ×ＸｋがＹｋに足し込み
、Ａエ×Ｘ．がＹ．に足し込まれる。そしてシフト動作
に入るとタイミングＴ２になる。すなわちＹデータが循
環する。第１のユニットではＡ　Ｈ　２　Ｘ　Ｘ　１が
計算され、これがＹ２に足し込まれるが、そのＹ２はＴ
Ｉにおいて求まったＡ　２２　Ｘ　Ｘ　２の値が格納さ
れているのでこれに足し込まれる。そのため、Ａ２２Ｘ
Ｘ２　＋ＡＩ２ＸＸＩの結果がＹ２となる。同様にユニ
ット２においては、前のＹ３の結果にＡ　２３　Ｘ　Ｘ
　２が足し込まれる。

ｋ番目のユニットにおいてはＹ　ｋ＊　１にＡｋｋ。１
×Ｘ，が加えられる。また、ｍ番目のユニットにはＹ．
。１にＡＩｌｓ。Ｉｘｘ．が加えられことになる。

このようにＹデータを循環するとｍ番目の時間区域Ｔｎ
においては、例えば第１のユニット１、においては、そ
の前までに求まったＹｎにＡ　１　ｎＸ　Ｘ　１が加え
られる。またＹ＋にはＡ　２　１　Ｘ　Ｘ　２が加えら
れる。これを全体的に眺めてみると、例えば、ベクトル
鬼の第１の要素Ｘ＋には、Ｔ＋においてＡ■と積がとら
れ、Ａ　Ｉ　Ｉ　Ｘ　Ｘ　ｌが計算される。それはＹ１
に格納される。また、転置行列八〇の第１行目の第２番
目の要素Ａ２１ＸＸ２は実は最後のクロック周！ｔｌＩ
Ｔｎにおいて計算されている。これは同じＹ，に格納さ
れている形になっている。また、転置行列Ａ７の第１行
目の最後の要素であるＡ１１とＸ１との積は第４図（Ｃ
）のクロック周期Ｔ　ｎ　−　ｖ＊　＊　２のｍ番目の
ユニットで計算されている。すなわちＡ１とＸ１の積が
Ｙ＋に足し込むことによって得？れる。転置行列Ａ７の
第２行目においても同様であり、ＡＩ２とＸ１との積は
Ｔ２のクロックにおいては、ユニット１において計算さ
れている。また、Ａ２■×Ｘ２はクロック周期Ｔ１の第
２番目のユニットにおいて行われている。モしてＹ２が
再び循環して積の実行が行われるのは、時間区域Ｔｎ−
ＴＩ。２である。その時間区域以後は乗算が行われ、シ
フト動作が行われる。そして時間区域Ｔｆｌにおいては
Ｙ２に足し込まれる値は第３番目のユニットであり、Ｙ
２に足し込まれる値はＡ３■ＸＸ３である。従って、Ｔ
７において転置行列ＡＴの第２行目とベクトルＸの内積
が計算される。一般に第ｋ番目のユニットに関してはｋ
番目のトレイからのデータ線がｌｌｍであるから第４図
（Ｄ）に示されるように、１１ｋに示すところを追って
いけばよいことになる。すなわち、Ｔ１においてはＹ，
＋ＡＨＸＸｍ　、ＴｚにおいてはＹ　ｋ＊　ｒ　＋　Ａ
　ｈ　ｋ＋　＋×χ，、Ｔ３においてはＹｋ＋ｚ　＋Ａ
ｈ　ｋ＋２　Ｘｈが計算され、’ｒｎ−＋においてはＹ
ｋ−■＋Ａｌ　ｋ−ｚ　Ｘｋが計算され、時間区域Ｔｎ
においてはＹｋ−１＋Ａｋｋ−Ｉ　Ｘｋが計算されるこ
とになる。このことにより転置行列ＡＴとｍ次元のベク
トルＸの積が実行される。すなわち、転置行列Ａ７とベ
クトルＸとの積を求める場合においては、行列Ａを構成
する部分行ベクトルを各データ処理ユニットＩに接続さ
れた記憶装置４中に格納し、演算途中に生ずる部分和を
トレイ２中のデータ保持回路上に累積しつつシフトレジ
スタ上を循環させている。このような方法により行列Ａ
とベクトルＵとの積Ｘに継続して行列八の転置ＡＴとベ
クトル真の積を求める場合は、行列ＡとベクトルＵとの
積を求める時に用いた各データ処理ユニット１に接続さ
れた記憶装置４中に格納された行列八の各部分行ベクト
ルをそのまま用いて、すなわち転置行列八〇の部分行列
を各データ処理ユニット１に転送することなしに処理を
おこなしうことができ、従って転送に要する時間が節約
でき、さらに処理時間が短縮できることになる。

第４図（Ｅ）は第４図（Ｂ）の繰り返し部分を詳細に分
解して示したフローチャートである。

第５図は本発明の第４の実施例図である。本実施例は本
発明を利用したニューロコンピュータの構或図である。

同図において第４図に示したものと同一のものは同一の
記号で示してある。同図において１ａはデータ処理ユニ
ット１の処理装置であり、例えばデジタルシグナルプロ
センサで構成される。２ａはトレイ２のデータ保持回路
であり、例えばラッチ回路で構成される。２ｂはトレイ
２のデータ転送回路であり、例えばバスドライバで構成
される。２ｃはトレイ２の制御手段であり、例えば論理
回路で構成される。４はデータ処理ユニット１にデータ
を供給する手段の一部であると同時にデータ処理ユニッ
ト１を制御する手段の一部でもある記憶装置である。例
えばＲＡＭで構成される。５ａはデータ処理ユニット１
とトレイ２の同期動作を行う手段であり、５ａはクロッ
ク発生回路、例えば水晶発振回路で構成される。５ｂは
クロンク分配回路であり、例えばパッファ回路で構成さ
れる。これに加えて１０１はシグモイド関数と称される
単調非減少連続関数及びその微分係数を計算するシグモ
イド関数ユニットであり、例えば多項式による近似式に
より実現される。ｌ０３は学習時の終了を判定する手段
であり、例えば通信手段により前記各処理ユニット１と
接続されたホストコンピュータと、各処理ユニット■が
計算した出力誤差を前記通信手段により前記ホストコン
ピュータに通知する手段と、一般に複数個の前記出力誤
差値を基に学習の終了を判定し、ニューロコンピュータ
の停止を行う手段とから構或される。なお１０２はニュ
ーロコンピュータの全体である。

第５図（Ｂ）は本発明のニューロコンピュータにおいて
処理の計算における基本素子であるニューロンモデルの
実施例図である。ニューロンモデルは入力Ｘ．，ＸＺ，
　　・・・，Ｘ１の各々にシナプス結合としての重み時
Ｗ．，Ｗ２，　　・・・，Ｗｎをそれぞれ掛け、その総
和を求め、これを内部値Ｕとする。このＵに非線形関数
ｆを施し、出力Ｙとする。ここで非線形関数ｆは図に示
すようなＳ型のシグモイド関数が一般に使われる。

第５図（Ｃ）は第５図（Ｄ）のニューロンモデルの複数
を用いて入力層、中間層、出力層の３Ｎ構造でニューロ
コンピュータを形成する階層型のニューラルネットワー
クの概念図である。第ＩＮの入力層は入力信号Ｉ＋，Ｉ
ｚ，　　・・・，　　ＩＮ＋１１を入力する。第２層の
中間層は各々のユニット、すなわち、各々のニューロン
モデルが第１層のすべてのニューロンモデルに接続され
、その結合枝がシナプス結合であって、重み値Ｗｉｊが
与えられている。第３層の出力層は同様に中間層の各ニ
ューロンモデルの全てに各々のユニットが接続されてい
る。その出力は外部に出される。このニューラルネット
においては学習時において入力層に与えられる入力パタ
ーンの信号に対応する教師信号と出力層との出力信号と
の誤差を求め、この差が非常に小さくなるように中間層
と出力層との間の重み及び第１層と第２層の間の重みを
定めるようにする，このアルゴリズムがパックプロバゲ
ーション法則、すなわち逆伝播学習則と呼ばれるもので
ある。逆伝播学習則によって定められた重み値を保存し
、例えばパターン認識等の連想処理を行う場合には、第
１層の入力にて認識するべきパターンからややずれた不
完全なパターンを与えると、出力層からそのパターンに
対応した出力信号が出力され、その信号は学習時に与え
たそのパターンに対応する教師信号と非常に似たような
信号が出てくる。教師信号との差が非常に小さければ、
その不完全なパターンを認識したことになる。

第５図（Ａ）のニューロコンピュータ１０２を用いてこ
のニューラルネットワークの動作を工学的に実現できる
。本実施例では第５図（Ｃ）に示すような３層のネット
ワーク構成を用いるが、以下の説明のようにこの層数は
本実施例の動作にはなんら本質的な影響を受けない。同
図においてＮ（１）は第１層のニューロン数である。ま
た通常、第工層、すなわち入力層の各ニューロンの出力
は入力と等しいものとするので、実質的な処理の必要１
よない。通常の動作、すなわちパターン認識を行う場合
の前向きの処理を第５図（Ｄ）に示す。

第５図（Ｄ）は第４の実施例の前向き処理フロ一チャー
トである。前向き処理では第５図（Ｃ）に示すネットワ
ークにおいて、各層間の結合枝上の重み係数は定まって
いるものとする。第５図（Ｃ）のネットワークを第５図
（Ａ）のニューロコンピュータで実現する場合、次の処
理が行われる。前向き動作の基本動作は第５図（Ｂ）の
ニューロンモデルにおいて、入力に重みを掛けその総和
をとったものをＵとし、そのＵに非線形関数を施す処理
となる。これを各層において行うことになる。そのため
、まず、ステップ７０において入力データ、すなわちＩ
１から■８．，までのデータをシフトレジスタ上にセッ
トする。そして層の数をＬで表すと、以下のすべての処
理を層分繰り返す。例えばＬが３であった場合には、３
回繰り返す。繰り返される層は１層分の前向き処理であ
る。

そして、処理が終了する。そのＩＮ分の前向き処理が下
側に示されている。今、中間層に注目すると、ｌは２で
ある。ステップ７２において、シフトレジスタの長さを
Ｎ（／２−１）にする。すなわち、ｆ＝２であるからＮ
（１）、すなわち入力層の数にする。ステップ７３は中
間層におけるニューロンモデルの処理である。インデッ
クスのｊは１から入力層のユニット数Ｎ（１）まで変化
させる。Ｗｉｊ（ｆ）は入力層と中間層の間の結合にお
ける重み係数である。すなわちｆ＝２である。Ｙ，（ｆ
−１）は入力層のｊ番目のユニットからの出力である。

ｉは中間層のｉ番目のユニットを意味する。ｉ番目のユ
ニットの状態Ｕｉ（２）は入力層の出力Ｙｊ、すなわち
ｊ番目のＹに重みＷｉ，をかけてその総和より計算され
る。ステップ７４に移って、その中間層のｉ番目の状態
Ｕｉ（２）は非線形関数、すなわちシグモイド関数に入
力され、その出力がＹｉ（２）となる。すなわちステッ
プ７３の内積計算は第５図（Ａ）のユニット内で行うが
、このシグモイド関数の計算は、１０１によって行われ
る。ステップ７５で例えば、中間層のｉ番目のユニット
の出力ｙｉ（２）はトレイのｉ番目に出力される。そし
て処理が終わる。以上の前向き処理を入力層、中間層、
出力層に対して行うことになる。このようにして各層の
前向き処理が終了する。すなわちニューロン単体のシミ
ュレーションに必要な処理は第５図（Ｂ）の式で示され
る演算で、その内容は重みと入力ベクトルとの内積演算
及びその演算結果に対するシグモイド関数値の計算であ
り、その関数値の計算はシグモイド関数ユニット１０１
により実現される。従って、ネットワーク中のある１層
の処理は第５図（Ｃ）に示すように、そのニューロン単
体の演算をその層内の全ニューロン分行うことである。

従って内積演算は各ニューロンｉ番目とするの結合係数
ベクトルを並べた行列Ｗ　（Ｉ！．）　＝　（ＷＩＪ　
（ｆｆｉ）　：ｌと、その層への入力を並べたベクトル
ｘ　（ｊ２）　一（ＸＪ（Ｉ！．））の積のベクトル ｔＪ　（ｆ）　＝　（ｕｉ　（ｆ）　）となり、これは
本発明の第３の実施例で説明した方法で実行可能となる
。またシグモイド関数演算は各シグモイド関数ユニツ｝
１０１が積ベクトルの各要素、ｕｔ（ｐ）を入力し、対
応する関数値Ｙ１（ｆ）＝ｆ　（Ｕｔ　（ｆ））を出力
することによってなされる。継続する層すなわち、第（
ｌ＋１）層が存在する場合は、その各関数値出力Ｙｉ（
／！）を各トレイに書き込み、第（ｆ＋１）層の処理に
おいてはこれを入力として以上の過程を繰り返す。

次に第５図（Ａ）のニューロコンピュータを用いて学習
動作、すなわちバックブロパゲーションアルゴリズムを
実行する場合について説明する。

第５図（Ｅ）は第４の実施例の学習処理フローチャート
である。ニューロコンピュータにおける学習とはネット
ワークが所望の入出力関係を満たすようになるまで各ニ
ューロンの重みを修正することである。学習方法は所望
の入力信号ベクトルと教師信号ベクトルとの対を複数個
、すなわち教師信号の集合分だけ用意し、その中から１
対を選び、その入力信号Ｉ，を学習対象ネットワークに
入力し、入力に対するネットワークの出力と正しい出力
信号、すなわちその入力信号に対応した教師信号○，と
を比較する。この差を誤差と称するが、その誤差、及び
この時の入出力信号の値を基？、各ニューロンの重みを
修正することになる。

この過程を教師信号の集合中の全要素にわたり学習が収
束するまで繰り返すものである。すなわち、入力パター
ンの数の分だけ、すべて重み値として分布的に記憶する
ことになる。この後ろ向き処理と呼ばれる重みの修正過
程において出力層で得られた誤差を途中で変形しながら
入力層に向け通常の信号の流れる向きとは逆方向に伝播
させる。これがバックプロパゲーションのアルゴリズム
である。

まず前記誤差Ｄを以下のように再帰的に定義する。Ｄｉ
　　（Ｉ！．）は第１層のｉ番目のニューロンから逆向
きに伝播される誤差、Ｌはネットワークの層数である。

Ｄｉ　（Ｌ）　一Ｖ　　（Ｕｉ　（Ｌ））（Ｙｉ　（Ｌ
）−Ｏｐｉ）　　　　　　　（最終層）（１）Ｄｉ　　
（４２−１）＝ｆ’　　（Ｕｉ　（４２−１））Σ，８
１，■ｊ，Ｗｊ　ｉ　（ｊ２）　Ｄｊ　（Ａ）（Ａ＝２
，　　・　・　・，Ｌ）　　　　（２）（ｉ＝１，　　
・　・　・，　　Ｎ　（ｆ）　）ここでｆ’　　（Ｕ）
はシグモイド関数ｆ　（Ｘ）のＸに対する微係数ｒ’　
　（ｘ）のＸ＝Ｕの時の値であり、例えば ｆ　（Ｘ）　＝ｔａｎｈＸ　　　　　　　　　　　　（
３）ならば、 ｆ　’　　（Ｘ）　＝ｄ　（ｔａｎｈＸ）　／ｄ　Ｘ＝
　１−ｔａｎｈ２Ｘ＝１−ｆ２　（Ｘ）　　　　　　　
　　（４）であるから、 ｒ′　（Ｕｉ）＝１−ｆ２　（Ｕｉ）＝１−Ｙｉ”（５
） である。

このＤｉ（！：Ｙｉを基に、以下にように重みを更新す
る。基本的には次の式を用いる。ここでηは重みを更新
する刻み巾であり、小さければ学習安定に収束する収束
が遅くなり、大きすぎると収束ひなくなるという性質を
持ったバラメタである。

Ｗｉ　ｊ　（ｊ２）　（ｔ”’　　一Ｗｉ　ｊ　　（／
！）　（Ｌ）十ΔＷ　ｉ　ｊ　（４２）　ＬＬ’　　　
　　　　（６）ΔＷｉｊ（４１！）（Ｌゝ　一ηＤｉ（
ｅ）Ｙｊ（ｆｆｉ−１）　　　　　　（ｆ＝２，　　・
・・，Ｌ）（７）しかし、次に式も良く用いられている
。これは上式ノΔＷｉ　ｊ　（ｆｆ）　”　を１次にデ
ジタルローバスフィルタに通したことになっており、α
はその時定数を決めるパラメタである。

ΔＷｉ　ｊ　　（ｅ）　（Ｌ″１〉＝ηＤｉ（ｊ！）Ｙ
ｊ（１−１）＋αΔＷｉ　ｊ　（ｊ２）　”　　　　　
　（８）この後ろ向き処理の過程において必要となる演
算はベクトル間の演算、或いは行列とベクトルとの演算
であり、特にその中心となるのは各層のニューロンの重
みを要素とする重み行列Ｗの転置行列Ｗ７と前記誤差ベ
クトルＤＪ　（−ｅ）との乗算である。この誤差ベクト
ルは工層内に複数個のニューロンがある一般の場合、誤
差はベクトルとなる．第５図（Ｅ）の左のフローチャー
トを説明する。

１層分の前向きの処理と後向きの処理が行われる。まず
、入力データＩｐをシフトレジスタ上にセットし、１層
分の前向き処理をシステムで行う。

これは各層で行われるため、この前向き処理を層の数分
だけ繰り返す。すると出力データＯｐが出力されるので
、これをシフトレジスタ上にセットする。そして、ステ
ップ７つから以下を出力層のユニット分だけ並列に実行
する。すなわち誤差Ｄ，（Ｌ）＝Ｙｉ　（Ｌ）　　Ｏｐ
　（ｉ）を計算し、この誤差をトレイのｉ番目にセット
する。そして出力層から入力層に向かって各層毎に後向
き処理を行う。

この後向き処理は第５図（Ｅ）の右上側に示されている
。第Ｌ番目の層に関して、この層の数はＮ（ｌ）である
からシフトレジスタ長をＮ　（ｆ）にする。そして以下
の動作をこの前の層のユニット数だけ並列に実行する。

すなわち、上記（２）式を、ステップ８３において実行
する。ここで重要なのは重みはｗＪｚ（ｚ）となってお
り、これは重み行列の転置行列ＷＴの要素になっている
。そしてステップ８４において、上記（６），　（７）
あるいは（８）式を計算し、重みの更新を行う。ステッ
プ８５で、求まった誤差Ｄ．（ｆ−１）をトレイのｉ番
目に出力する。これは次の誤差を計算するため、ステッ
プ８４の動作に必要となる。第５図（Ａ）の右下は第５
図（Ｅ）の左のフローチャート、すなわち前向き処理と
後向き処理の連続処理を学習が習得するまで繰り返すこ
とを意味するフローチャートである。また、このような
処理において重みの更新と学習を安定にするために重み
の修正量の平滑化等の処理があるが、これらはいずれも
行列のスカラ倍及び行列同士の加減算からなり、やはり
、本ニューロコンピュータにおいて行える。またシグモ
イド関数ユニット１０１はハードウエアで実現するもの
としているが、ソフトウエアで実現してもよい。また、
学習の終了の反転手段１０３はホストコンピュータ上の
ソフトウエアで実現してもよい。

以上のニューロコンピュータをさらに第５図（Ｆ）を用
いて説明する。第５図（Ｆ）はエラーバックプロパゲー
ションの学習を行う時の処理フロー図である。ここでは
、ベクトル表示を用いている。同図においてＸ　（／！
）は第ｌ層のニューロンベクトル、Ｗは同しく結合係数
、すなわち重み行列である。ｒはシグモイド関数ｅ、（
ｆ）は第乏層の出力側から逆向きに伝播してきた誤差ベ
クトル、ΔＷは重みの修正量である。入力信号が与えら
れると、まず、３層である場合には、入力層はないもの
とすれば、隠れ層の前向き処理を行う。

それがｕ＝Ｗｘ（ｆ）である。このＵに非線形関数を施
せば、次の層、すなわち（ｊ２＋１）ｌ’ｉＪの入力と
なる。これは出力層の入力であるから、その前向き処理
を行う。そして教師信号を入力し、後向き処理になる。

出力層においては教師信号と出力信号の誤差ｅをｒの微
分を掛けて後向き処理にする。また中間層等の間の誤差
は逆伝播してくる誤差信号に微分をかけた変数に重み行
列の転置行列Ｗ７をかけて求められる。誤差ベクトルの
各要素にシグモイドの微分をかけた値に前のＷＴの要素
を掛けてこれよりΔＷを求め、Ｗを更新すればよい。こ
のようにして、出力層の後向き処理、及び隠れ層の後向
き処理が行われる。前向き処理で行う演算は、重み行列
Ｗと入力ベクトルＸとの積、この結果ベクトルの各要素
のシグモイド関数の値の計算である。この計算は各ニュ
ーロンで並列に計算できる。また後向き処理でも仕事は
大きく分けて２あり、１つ目は教師信号と出力信号との
誤差を順次変形しながら、後から前へ逆向きに伝播する
こと、また２つ目はその誤差を基に重みを修正すること
である。この逆向きの計算では重み行列Ｗの転置行列ｗ
Ｔによる乗算が必要になる。転置行列ＷＴとベクトルの
積は前の実施例で述べている。すなわちバックブロバゲ
ーションの学習を実現する再の重要な点は重み行列の転
置行列ＷＴとベクトル乗算の効率な実現方法である。

さらに第５図（Ｇ）と（Ｈ）を用いて前向き積和計算、
及び後向き積和計算の実施例を説明する．前向き積和演
算は行列×ベクトルの計算で、特に行列は重み行列Ｗで
ある。本発明で、行列ベクトル積Ｌｌ＝ＷＸを計算する
場合、例えば、次の式・　・　・（９） に対して、重み行列の行とベクトルＸとの積が同時に行
われる。この処理方式を第７図（鎖を用いて？明する。

重み行列Ｗは長方行列である。例えば、３×４の行列で
ある。ベクトル真の各要素はトレイ上に入力される。Ｔ
１の時刻において、Ｘ，とＷ．、Ｘ２とＷ２■、Ｘ３と
Ｗ３３が各々のユニットで計算される。Ｔ２に移るとベ
クトルＸの各要素は上に巡回シフトする。Ｔ２において
Ｗ，２とＸ２との積がＵ＋に足される。したがってＵ１
はこの時刻にはＸ　ＩＸ　Ｗ　＋　＋　＋　Ｘ　ｚ　Ｘ
　Ｗ　＋。となる。また、第２のユニットではＷ２３と
Ｘ３が掛けられ、第３番目のユニットではＷ，，ＸＸ４
が掛けられる。Ｔ，において、Ｗ，３とＸ３が掛けられ
Ｕｌに足し込まれる。Ｗ２４とＸ４が掛けられ、Ｕ２に
加えられる．Ｗ３１とＸ１が掛けられＵ３に足し込まれ
る。この時Ｘ２は演算の対象からはずされている。Ｔ４
において、Ｗ，４とＸａ　、Ｗｚ＋とＸ　Ｉ，　Ｗ３■
とＸ２がそれぞれ同時に掛けられＵ＋　、Ｕｚ　、Ｕ３
にそれぞれ足し込まれる。この場合、Ｘ３は演算の対象
外となっている。この演算の対象外を考慮することによ
って長方行列とベクトルとの積が実行される。

？の部分ベクトルＷｉ２はＰＥ−■のローカルメモリ上
にＷｉｉが先頭になるようにスキューされて格納されて
いる。Ｘｉはトレイにのってリング上を反時計回りに一
回転する。ＵｉはＰＥ−，内部のレジスタ上に累積され
る。

左端の状態でＵｉ＝Ｏの状態からスタートする。

ＰＥ−ｚは自分の目の前にあるＸｊとＷｉｊと掛け合わ
せ、その結果をＵｉに加算する。同時にＸｊは隣のトレ
イに隣接される（リング上を反時計回りに循環する）。

これを４回繰り返すと全てのＵｉが同時に求まる。

Ｗｉｔがスキューされていること、χｉが全てトレイ中
にある状態からスタートすること、Ｕｉが全て同時に求
まる。

第５図（Ｈ）は後向き積和計算の説明である。

これは転置行列と行ベクトル積、ｅ＝Ｗ”ｖを計算する
時のタイミング図である。この場合、ベクトルＶは前の
層の誤差ベクトルに非線形関数の微分を掛けた要素から
なるベクトルである。ｅは求めらようとする次の層での
逆伝播用の誤差へクトルである。本発明で重要なことは
、転置行列Ｗｔであっても、前向き積和計算において利
用されるメモリ上のＷと同じ配置にしたままで演算でき
ることである。

すなわち本発明では求めるべきＣのベクトルの巡回シフ
トによってなされる。演算するべき転置行列Ｗ”とベク
トルＶとの式は００）式に従う。

上の式において示されるように、行列Ｗは転置されしか
も、長方行列である。ｅ，はＷ．Ｘｖ，＋Ｗ２１ＸＶ２
　＋Ｗ３１ＸＶｌである。この演算を行うために、第５
図（Ｈ）において、時間区域Ｔ＋においては第１のユニ
ット（ＤＳＰ）において、Ｗ１１とｖ１の積が演算され
ている。これがＯであるｅ，に差し込まれる。そして、
巡回シフトするとＴ２に移るが、ｅｌはＴ２時刻におい
ては演算？対象になっていない。モしてＴ３になると、
３番目のユニットにおいて演算対象となっている。

すなわちＷ３Ｉにｖ３を掛けた値が前の値に足し込まれ
るため、Ｗ，，Ｘｖ．に足し込まれる。そのため時間区
域Ｔ３においては、ｅ，の結果はＷ１１×ｖ，＋Ｗ３■
ＸＶ，となる。モしてＴ４に移ると、ｅ１は巡回シフト
として、第２番目のユニットで演算対象となる。ここで
、ｅ，にはＷ２，ＸＶ２が加えられるため、００式の行
列の第１行目とベクトルＶとの内積演算が実行され、そ
の演算結果がｅ，に格納されることになる。

同様に第２行目とベクトルとの積はｅ２を追えばよい。

Ｔ１時刻にはＷ２２ＸＶ２　、Ｔ２にはＷＩ２ＸＶＩ，
Ｔｌでは、ｅ２が遊びになり、Ｔ４でＷ３２ＸＶ．の積
が求まれ、各々の積の和として計算される。Ｗ７の第３
行目とベクトルＶとの積はｅ３を追えばよい。ＴＩにお
いてはＷ３３Ｘｖ３　、Ｔ２においてはそれにＷ２３Ｘ
Ｖ２が足し込まれ、Ｔ３において、更にＷ，．Ｘｖ，が
足し込まれる。Ｔ４はｅ４は遊びとなる。ＷＴの第４行
目とベクトル■との積はｅ４を追えばよい。Ｔ＋時刻で
はｅ４は遊びである。Ｔ２ではＷｚ４ＸＶｉ　、Ｔ３で
はＷ２４Ｘｖ２が足し込まれ、Ｔ４において更にＷ，４
Ｘｖ，が足し込まれて、計算ができる。このように本発
明では、Ｗの部分ベクトルＷｉ９は前と同様ＰＥ．のロ
ーカル目上にＷｉｉが先頭になるようにスキューされて
格納されている。前と入れ替わるのはｅｉとＶｉである
。つまり、ｅｉはトレイ上を反時計回りに循環しながら
累積され、ＶｉはＰＥ−１内部に常駐する。

左端の状態でｅ　ｊ＝ｏからスタートする。ＰＥ−ｔは
ＶｉとＷｉｊとを掛け合わせ、その結果を自分の目の前
にあるｅｊに加え込む。同時にこの更新されたｅｊは隣
のトレイに転送される（リング上を反時計回りに循環す
る）。これを４回繰り返すと全てのｅｊが同時に求まる
。

このように本発明のニューロコンピュータは層が何層で
あっても実現でき、学習アルゴリズムの自由度が高いと
いう柔軟性を持つばかりでなく、ＤＳＰの速度そのまま
を利用でき、しかもそのＤＳＰの演算においてオーバヘ
ッドがなく、高速性があり、しかもＤＳＰによるＳＩＭ
Ｄが実行できる。

第６図は本発明の第５の実施例説明図であり、アナログ
データによる行列の積を求めるものである。図中、第２
図で示したものと同一のものは同一の記号で示してあり
、１ｄはデータ処理ユニットｌの処理装置であり、例え
ばアナログ乗算器１ｅと積分器１ｆで構成され、２ｄは
トレイ２のデータ保持回路であり、例えばサンプル／ホ
ールド回路２ｒで構成され、２ｅはトレイ２のデータ転
送回路であり、例えばアナログスイッチ２ｇとバッファ
アンプ２ｈで構成され、６はトレイ２にデータを設定す
る手段であり、例えばアナログスイッチ６ｄで構成され
る。

本実施例の動作は本発明の原理図（第１図）で説明した
動作と同じである。

第７図は本発明の第６の実施例説明図であり、帯行列と
ベクトルとの乗算を示している。図中、第２図で示した
ものと同一のものは同一の記号で示してある。

本実施例の動作を第７図（Ｂ）を参照しつつ説明する。

本発明では、ｍ×ｎ　（ｎ≧ｍ≧１）で巾ｋの帯行列Ａ
と要素数ｎのベクトルＸとの乗算結果（要素数ｍのベク
トル！）を求める場合において、第７図（Ａ）の如く、
各々２つの入力を持ち乗算機能と概乗算結果の累積機能
を有するｍ個のデータ処理ユニット１と、ｎ個のトレイ
２と、前記各データ処理ユニット１にせとぞくされた入
力データ供給手段とから成る構成に於いて、第７図（Ｂ
）に示す手順で、第７図（Ｃ）及び第７図（Ｄ）のよう
な時系列で処理をするようにしている。従って、巾ｋの
帯行列とベクトルとの乗算がｋに比例する処理時間で実
行できる。

本実施例に於いて重要な事は、ベクトルＸを１回転させ
ない事、及びベクトル見をシフトレジスタ３上にセット
する際に、第１の実施例等と異なり、頂度帯が始まる位
置にずらしておくことである。すなわち、帯の開始位置
から処理を開始する場合は、ある方向にずらしながら積
和演算を行えばｋに比例する時間で処理が終了する。し
かし、図示しないが何らかの事情で帯の途中に配置した
状態から処理を開始する場合は、始めにベクトル見を一
端までずらせばよいことは明らかであり、その場合、シ
フトレジスタ３が双方向にシフト可能であることが意味
を持つのである。

即ち、例えば帯の中央から処理を開始する場合は、初め
に右にｋ／２（小数点以下切り捨て）だけずらし、以後
逆方向（この場合左）にずらしながら積和演算を行えば
、合計３７２ｋに比例する時間で処理が終了する。

もし、シフトレジスタ３が双方向にシフト可能でなけれ
ば、ベクトル見を１回転させねばならないため、帯行列
の巾ｋではなくその大きさｎｌこ比例する時間が必要に
なる。大規模な帯行列の於いては、この差は非常に大き
く、帯行列とベクトルとの乗算が帯行列の巾ｋに比例す
る処理時間で実行可能となることは本発明の方式の利点
である。

第８図はトレイの構造を具体的に示す。

トレイは基本的には単なる１語のラッチであるが、ＤＳ
Ｐからのアクセスと、隣のトレイへの転送を１サイクル
で実行できる（ポストシフト）。

機能の切り替えは、アドレス線の下位ビットにより、デ
ータのアクセスと同時に行い、速度を向上させている。

一つのトレイはゲートアレイで約１　２　０　０　Ｂａ
ｓｉｃセルの規模であり、■チップに２〜４個入れるこ
とも可能である。

また、トレイ中にワークレジスタを数ワード内蔵するこ
とも可能である。

第９図は本発明の実施例を用いて、実際に構成されたニ
ューロコンピュータのブロック図である。

Ｓａｎｄｙの基本構或はＤＳＰの一次元トーラス（リン
グ）結合によるＳＩＭＤ型マルチプロセッサである。

特徴的なのは、結合トボロジーや動作は１次元シストリ
ックアレイと類似しているにも関わらず、ＳＩＭＤとし
て動作する事である。

各ＤＳＰと双方向バスで接続されている“トレイ”は、
転送機能を有するラッチであり、相互にリング状に接続
され、全体でサイクリックシフトレジスタを構或してい
る。以後このシフトレジスタをリングと呼ぶ。

各ＤＳＰは２Ｋ語の内部メモリと６４語の外付けＲＡＭ
を持ち、内部メモリは１サイクルで、外部メモリはｌ〜
２サイクルでアクセスできる。

外付けＲＡＭは、プログラムやデータの初期ロード用に
、共通バスでホストコンピュータのＶＭＥＷバスに接続
される。外部入力もパンファメモリを介してホストコン
ピュータに接続されている。

第１０図は本発明の実施例における学習時の時間空間チ
ャートであり、縦方向はプロセッサの数を示し、横方向
は時間を示す。■は入力層のプロセッサの数、Ｈは隠れ
層のプロセッサの数、■はプロセッサの積和演算の時間
に対応する。

入力信号が隠れ層の前向き積和に要する時間は、入力層
のプロセッサの数１と１つのプロセッサの積和に対応す
る時間Ｉとの積に比例する。次に、シグモイドの計算が
行われる。出力層においても出力層の前向き積和（２Ｈ
ｒ）とシグモイドが行ねれる。ここで、出力層のプロセ
ッサの数が隠れ層のプロセッサの数より少ないので、リ
ングの大きさ自体も小さくなる。次ぎに教師信号入力と
受信し、誤差計算を行い、誤差のバック・プロパゲーシ
ョンを行う。なお、この誤差計算は出力層のシグモイド
における誤差計算も服務出力層の後向き積和を行い、出
力層の重み更新を勾配ベクトル計算とローパスフィルタ
を介して行う。そして、隠れ層のシグモイドによる誤差
計算を経て、隠れ層においては、後向き積和は行わず隠
れ層の重み更新のみを行う。

〔発明の効果〕

以上説明した様に、本発明によれば従来の方法より広い
範囲の処理に対して、データ処理に伴うデータ転送によ
るオーバヘッド無しにデータを並列に処理出来る効果を
奏し、データ処理ユニットの台数に比例した高速なデー
タ処理が実現出来ることにより、行列演算あるいはニュ
ーロコンピュータ演算を行うデータ処理装置の性能向上
に寄与するところが大きい。

【図面の簡単な説明】

第１図（Ａ）は、本発明の原理構成図、第１図（Ｂ）は
、本発明の動作フローチャート、第１図（Ｃ）は、本発
明の動作概要図、第１図（Ｄ）は、本発明の動作タイム
チャート、第２図（Ａ）は、第１の実施例の構成図、第
２図（Ｂ）は、第１の実施例の動作フローチャート、 第２図（Ｃ）は、第１の実施例の動作概要図、第２図（
Ｄ）は、第１の実施例の動作タイムチャート、 第３図（Ａ）は、第２の実施例の構或図、第３図（Ｂ）
は、第２の実施例の動作フローチャート、 第３図（Ｃ）は、第２の実施例の動作概要図、第３図（
Ｄ）は、第２の実施例の動作タイムチャート、 第４図（Ａ）は、第３の実施例の構或図、第４図（Ｂ）
は、第３の実施例の動作フローチャート、 第４図（Ｃ）は、第３の実施例の動作概要図、第４図（
Ｄ）は、第３の実施例の動作タイムチャート、 第４図（Ｅ）は、第３の実施例の詳細動作フローチャー
ト、 第５図（Ａ）は、第４の実施例の構成図、第５図（Ｂ）
は、第４の実施例のニューロンモデル、 第５図（Ｃ）は、第４の実施例のネットワーク、第５図
（Ｄ）は、第４の実施例の前向き処理フローチャート、 第５図（Ｅ）は、第４の実施例の学習処理フローチャー
ト、 第５図（Ｆ）は、Ｓａｎｄｙでエラーバックプロパゲー
ション学習を行うときの処理フローチャート、第５図（
Ｇ）は、Ｓａｎｄｙで行列ベクトル積む＝Ｗｘを計算す
るときのタイムチャート、第５図（Ｈ）は、転置行列で
の行列ベクトル積ｅ＝Ｗ”ｖを計算するときのタイムチ
ャート、第６図（Ａ）は、第５の実施例の構成図、第６
図（Ｂ）は、第５の実施例の動作フローチャート、 第６図（Ｃ）は、第５の実施例の動作概要図、第６図（
Ｄ）は、第５の実施例の動作タイムチャート、 第７図（Ａ）は、第６の実施例の構或図、第７図（Ｂ）
は、第６の実施例の動作フローチャート、 第７図（Ｃ）は、第６の実施例の動作概要図、第７図（
Ｄ）は、第６の実施例の動作タイムチャート、 第８図は、トレイの構造を具体的に示す図、第９図は、
本発明の実施例を用いて実際に構成されたニューロコン
ピュータのブロック図、第１０図は、本発明の実施例に
おける学習時の時間空間チャート、 第１１図（Ａ）は、共通バスＳＩＭＤ方式の原理構成図
、 第１１図（Ｂ）は、共通バスＳＭＤ方式による行列ベク
トル積の動作フローチャート、第１２図（Ａ）及び第１
２図（Ｂ）は、リングシストリック方式による行列ベク
トル積の動作原理図、 第１２（Ｃ）は、リングシストリック方式による行列ベ
クトル積の動作原理図である。 １・・・データ処理ユニット、 ２・・・トレイ、 ３・・・シフトレジスタ、 ４・・・記憶装置、 ５・・・同期手段、 ６・・・データ設定手段、 ７・・・長さ変更手段、 １ｌ・・・データ処理ユニソト１の入力、１２・・・デ
ータ処理ユニット１の第２の入力、２１・・・トレイ２
の第１の入力、 ２２・・・トレイニの第１の出力、 ２３・・・トレイ２の第２の出力、 ２４・・・トレイ２の第２の入力、 ８２ ８３ ８４ ８５ ９１ ９２ ９３ １の第１の入力、 ｌの第１の出力、 １の第２の入力、 １の第２の出力、 ・　ＰＥ９ ・　ＰＥ９ ・　ＰＥ９ ・　ＰＥ９ ・　ＰＥ， ・ＰＥ９　１の入出力、 ・共通バス．

Claims (1)

1. 【特許請求の範囲】 １）各々少なくとも一つの入力（１１）を持つ複数個の
   データ処理ユニット（１）と、 各々第１の入力（２１）及び出力（２２）を持ちかつ各
   々データ保持及びデータ転送を行う複数個のトレイ（２
   ）であって、前記トレイ（２）の全部又はその一部が各
   々前記データ処理ユニット（１）の第１の入力（１１）
   に接続された第２の出力（２３）を有するものと、 前記接続するトレイ（２）の第１の入力（２１）及び出
   力（２２）が接続されて成るシフト手段（３）とを具備
   し、 前記シフト手段（３）上のデータ転送と、前記トレイ（
   ２）と前記データ処理ユニット（１）間のデータ転送と
   、前記データ処理ユニット（１）によるデータ処理とを
   同期して行うことにより、行列演算あるいはニューロコ
   ンピュータ演算を行うことを特徴とする並列データ処理
   方式。 ２）前記シフト手段（３）はサイクリックシフトレジス
   タであることを特徴とする特許請求の範囲第１項記載の
   並列データ処理方式。 ３）前記シフト手段（３）の長さを変更する手段を有す
   ことを特徴とする特許請求の範囲第１項又は第２項に記
   載の並列データ処理方式。 ４）前記シフト手段（３）の長さを変更する手段は、入
   力切り換え手段であることを特徴とする特許請求の範囲
   第３項記載の並列データ処理方式。 ５）前記シフト手段（３）の長さを変更する手段は、外
   部のデータ供給手段と、入力選択手段とからなることを
   特徴とする特許請求の範囲第３項記載の並列データ処理
   方式。 ６）前記データ処理ユニット（１）が第１の出力（２１
   ）を持ち、前記トレイ（２）が該第１の出力（２１）に
   接続された第２の入力（２４）を持ち、前記データ処理
   ユニット（１）から前記トレイ（２）にデータを書き込
   む手段を有することを特徴とする特許請求の範囲第１項
   乃至第５項のいずれかに記載の並列データ処理方式。 ７）前記データ処理ユニット（１）と前記トレイ（２）
   間のデータ転送路は入力と出力で共通に利用するバスで
   あることを特徴とする特許請求の範囲第６項記載の並列
   データ処理方式。 ８）データの処理結果を更に処理するに際し、前記処理
   結果を前記書き込み手段を用いて前記トレイ（２）に転
   送することを特徴とする特許請求の範囲第６項又は第７
   項に記載の並列データ処理方式。 ９）前記トレイ（２）が各々相互に接続された第３の入
   力（２５）及び出力（２６）を備え、前記シフト手段（
   ３）は双方向シフトレジスタであることを特徴とする特
   許請求の範囲第１項乃至第８項のいずれかに記載の並列
   データ処理方式。 １０）前記双方向シフトレジスタを構成する前記各トレ
   イ（２）間のデータ転送路は入力と出力で共通に利用さ
   れるバスであることを特徴とする特許請求の範囲第９項
   記載の並列データ処理方式。 １１）前記双方向シフトレジスタ上をデータを双方向に
   転送することを特徴とする特許請求の範囲第９項又は第
   １０項に記載の並列データ処理方式。 １２）ベクトルの各要素を巡回させるシフト手段であっ
   て、内部はその各要素を保持する機能および転送機能を
   有するトレイ手段（２）と、 前記行列の各行に対応して存在し、少なくとも２入力間
   の乗算とその乗算結果の累積機能を有するデータ処理ユ
   ニット手段（１）と、 前記各データ処理ユニット毎に存在し、前記行列の各行
   の要素を順番に読み出すことが可能な記憶手段（４）と
   を有し、 データ処理ユニット手段（１）と、データを巡回シフト
   させる前記トレイ手段（２）とを分離することにより、
   各データ処理ユニット手段（１）が、巡回シフトしてく
   るベクトルの要素と対応する前記記憶手段（４）からの
   行列要素とを乗算し、その乗算結果を累積することによ
   り、行と列の数が異なる長方行列とベクトルとの積を演
   算することにより行う行列演算あるいはニューロコンピ
   ュータ演算を行うことを特徴とする並列データ処理方式
   。 １３）前記トレイ手段（２）は、巡回シフトの長さを変
   更するためのバイパス手段（７）を有することを特徴と
   する請求項１２記載の並列データ処理方式。 １４）前記トレイ手段（２）内のシフトレジスタの長さ
   をｎにし、そのｎの数に等しい要素からなるベクトルを
   前記各トレイにセットし、前記データ処理ユニット手段
   （１）のそれぞれが対応するトレイと記憶手段（４）と
   からそれぞれベクトルの要素及び行列の要素とを受け取
   り掛け合わせ累積し、その後、そのベクトルの要素を巡
   回する動作をｎ回繰り返した後、結果をトレイ手段（２
   ）に転送し、その巡回シフトのシフト長をｎからｍにし
   、同様な動作をｍ回繰り返すことにより、長方行列とベ
   クトルとの積にさらに異なる長方行列を掛けることを特
   徴とする請求項１２記載の並列データ処理方式。 １５）長方行列の転置行列とベクトルとの積を計算する
   場合、その行列を構成する部分行ベクトルを前記各デー
   タ処理ユニット手段（１）に接続された記憶手段（４）
   中に格納し、演算途中に生じる部分和を前記トレイ手段
   （２）の各トレイ中のデータ保持回路上に累積し、前記
   各トレイ上のデータと記憶手段（４）からのデータとの
   積をとってその部分和をトレイ上に転送し、巡回シフト
   することにより、前記転置行列とベクトルとの積を計算
   することを可能とする請求項１２記載の並列データ処理
   方式。 １６）ニューラルネットにおいて、前記長方行列の各行
   の要素をニューロンモデルに接続する結合枝の重みに対
   応させたとき、前記データ処理ユニット手段（１）は、
   前記トレイ手段（２）の各データ保持回路にある入力変
   数のそれぞれと対応する記憶手段（４）からの前記重み
   とを掛け、トレイ手段（２）内で巡回シフトする動作を
   繰り返すことにより、そのニューロンモデルに接続され
   た結合枝の重みとその結合枝への入力変数との積の総和
   を求め、その後、非線形関数を施す処理部（１０３）を
   有し、ニューラルネットの前向き処理を実行することを
   可能とする事を特徴とする請求項１２記載の並列データ
   処理方式。１７）前記非線形関数はシグモイド関数であ
   ることを特徴とする請求項１６記載の並列データ処理方
   式。 １８）前記ニューラルネットは、少なくとも３層構造の
   階層型ニューラルネットワークであることを特徴とする
   請求項１２記載の並列データ処理方式。 １９）階層型ニューラルネットネットワークにおける逆
   伝播学習則の後ろ向き処理であって、出力層からの出力
   信号と教師信号との誤差を入力層に向けて通常の信号の
   流れる向きと逆方向に伝播させる処理において、逆伝播
   して来る誤差信号を要素とするベクトルと前記前向き処
   理において重みを要素とする重み係数行列Ｗの転置行列
   Ｗ＾Ｔを請求項１５記載の方式、すなわち、行列の転置
   行列とベクトルとの積を求める方式に従って、演算途中
   の部分和をトレイ手段（２）上で巡回シフトしながら、
   記憶手段（４）に格納された重み係数行列の各要素とデ
   ータ処理ユニット手段（１）内の誤差ベクトルとの各要
   素との積を求めて部分和に加え、その結果を部分和とし
   て前記トレイ手段（２）上に残すことにより、転置行列
   ×ベクトルとの積を求める処理を後向き積和計算として
   実行することにより逆伝播学習則を実行することを可能
   とすることを特徴とする請求項１２〜１８記載の並列デ
   ータ処理方式。 ２０）前記データ処理ユニット手段（１）の処理装置は
   、データがアナログである場合には、アナログ乗算器と
   、積分器で構成され、前記トレイ手段（２）の各トレイ
   のデータ保持回路はサンプルホールド回路で構成され、
   トレイ手段（２）のデータ転送回路はアナログスイッチ
   とバッファアンプで構成されることを特徴とする請求項
   １〜１９記載の並列データ処理方式。 ２１）行列がｍ×ｎで幅ｋの帯行列Ａと要素数ｎとのベ
   クトルｘとの乗算を行う場合、前記ベクトルｘを巡回シ
   フトによって１回転させないで、ベクトルｘの要素トレ
   イ手段（２）内でシフトする際に、行列の帯が始まる始
   点を任意に指定できることを特徴とする請求項１〜２０
   記載の並列データ処理方式。 ２２）前記シフトの方向は双方向にできることを特徴と
   する請求項２１記載の並列データ処理方式。 ２３）前記データ処理ユニット手段（１）とデータ保持
   機能を有するトレイの２つを分離することにより、トレ
   イ手段（２）間のデータ転送と、データ処理ユニット手
   段（１）によるデータ処理とを同時並行的に行い、前記
   トレイ手段（２）間のデータ転送に要する時間を前記デ
   ータ処理ユニット手段（１）がデータ処理に有する時間
   よりも短くすることでデータ転送時間をデータ処理時間
   の影に隠すことを特徴とする請求項１〜２２記載の並列
   データ処理方式。