JPH02170263A

JPH02170263A - ニユーラルネツト信号処理プロセツサ

Info

Publication number: JPH02170263A
Application number: JP63323302A
Authority: JP
Inventors: Toru Umaji; 馬路　徹; Hidenori Inai; 秀則井内
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1988-12-23
Filing date: 1988-12-23
Publication date: 1990-07-02
Anticipated expiration: 2013-01-26
Also published as: US5091864A; JP2703010B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、ニューラルネット信号処理プロセッサすなわ
ち、生物の神経回路網をモデルとしたニューロ・コンピ
ユーテイングを実現するニューラルネット用ＬＳＩプロ
セッサに関するものである。

このようなプロセッサの具体的利用分野としだは。

の多Ｍｔ、Ｖ入力情報をもとに高速かつフレキシブルに判
断を行なう必要がある画像認識、音声認識、音声合成等
広範囲の分野が考えられる。

〔従来の技術〕

この分野に関係する技術の技術としては、（１）小池他
、［専用ハードウェアーによるニューロ・コンピユーテ
イング」情報処理学会誌。

ＶｏＱ、２９．Ｎ１１９．ｐ９７４−９８３．１９８８
年９月（２）　Ｓ、ＹＪｕｎｇ、“Ｐａｒａｌｌｅｌ　Ａｒｃ
ｈｉｔｅｃｔｕｒｅｓ　ｆｏｒＡｒｔｉｉｃｉａｌ　Ｎ
ｅｕｒａｌ　Ｎｅｔｓ”、Ｄｉｇｅｓｔ　ｏｆ　ｔｈｅ
　ＩＥＥＥＩｎｔｅｒｎａｔｌｏｎａｌ　Ｃｏｎｆｅｒ
ｅｎｃｅ　ｏｎ　５ｙｓｔｏｒｉｃＡｒｒａｙｓ、１９
８８の公知例がある。

ニューラルネットは簡単な関数計算を行なう計算機ユニ
ットが互いに重み付きの方向性リンクで結合されネット
ワークを構成し、入力情報を上記ネットワークで並列的
に処理するものである。ここには従来の計算機に見られ
るプログラムは存在せず、上記重み及び関数を初期値設
定または学習によって設定することにより、各種処理に
対応するものである。

重みの付加及び関数計算は第２５図に示すニューロン回
路により実行される。このニューロンが複数個結合され
てニューラルネットを構成する。

この回路にＮ個の入力（Ｘｉ、Ｘ２．・・・・・・ＸＮ
）を与えることにより、（１）式に示した出力を得る。

ここで、係数ｍｉｊが入力Ｘｊに重みを付加し。

ｆ（）が関数値を与える。

ｆ（）はニユーラル・ネットの収束性を決めるうえで大
切な非線形関数であり、生物のニューロンに類似した（
２）式に示すシグモイド関数が一般によく使用される。

ｆ（ｕ）＝１／（１＋ＥＸＰ（−ｕ））　　　　−（２
）−層ニューラルネットの場合、上記ニューロン回路は
第２６図に示したように結合される。このようなニュー
ラルネットを用いることにより１画像や音声のパターン
・マツチングが取れる。マツチングすべきパターンを各
ニューロンの重み係数に設定される。

ここで、入力Ｘ１〜ＸＮは２５個の全ニユーロンＰ５に
供給され、各ニューロンからはＹ１〜ＹＭが並列に出力
される。ここで、各入力はＭ個のニューロン（ノード）
を駆動する必要がある。

また総記線数【リンク数）はＮ６Ｍであり、非常に多い
。

例えば、１００Ｘ１００画素の入カバターンを受けて、
これを１０００種類のパターンのいずれかに分類するた
めには最低でもＮ　＝　１０，０００個の入力端子と、
Ｍ＝１，０００　個のニューロンが必要とされる。この
場合各入力端子は１，０００　個のニューロンを駆動す
る必要があり、総記線数も１０．０００，０００本にも
なる。

このようなニューラルネットは、アナログＩＣによる実
現するアプローチが最も直接的である。

しかし、公知例（１）にもあるとおり、現在の技術では
配線の多さ等から集積度が上がらす、１チツプに数１０
から数百のニューロンしか乗らない。

従って、先の例では最低でも１０チツプ必要となる。チ
ップ間でアナログ値を精度良く伝達するにも高度の技術
を要する。

また、重みは抵抗あるいはトランジスタのコンダクタン
スで実現しなければならず、重み係数のプログラマビリ
ティが要求される学習可能なニュ−ラルネットの実現は
困難である。

ディジタル回路を用いてニューラルネットを実現の場合
は上記のチップ間信号伝達１重み等のプログラマビリテ
ィの問題は解決する。この場合、１個のニューロンを１
台の計算ユニットで処理する場合とｌＪｆ数のニューロ
ンを仮想的に１台の計算ユニットで処理する場合とがあ
る。前者のアプローチでは１台ごとに積和演算機能と関
数機能を設ける必要があるためどうしてもハード量は大
きくなる。これにより致方ニューロンが限界である。

後宮のアプローチではハードｔの問題はなくなるが、１
台の複数ニューロンを処理する必要があるためアナログ
処理方式に比較して速度が落ちる。

しかし、プログラムの入り替えのみにより各種モデルに
対応できるため現在提案されているディジタル処理方式
のほとんどすべてがこの方式となっている。

ニユーラル・ネットではニューロン間の接続数の多さか
ら、上記いずれの場合もプロセッサ間の通信が多く、接
続方法の選択が系全体の性能に大きく影響する。

現在、後者の方式がＤＳＰ　（ディジタル信号処理プロ
セッサ）や浮動小数点演算プロセッサにより実現されて
いる。しかし、このような従来のチップをそのまま用い
るため、最新のマイクロプロセッサＭ６８０２０及びそ
の浮動小数点演算コプロセッサを１５組も用いてもその
性能は高々５００にリンク７秒に制限されている。ここ
で、１リンク処理は１個の重みを計算することに相当す
る。

公知例（１）にある〜ｅｗＭａｎのように８個のデータ
フロープロセッサを用いた場合はこの速度を８Ｍリンツ
ク秒にまで向上できるが、この中には各プロセッサエレ
メントに２個の浮動小数点演算プロセッサが使用されて
おり計１６個も使用されることになる。

ところで、画像信号をリアルタイムで処理する場合、例
えば５１２ｘ５１２＝２５６に画素／フレームのデータ
を毎秒１５フレームの速度で処理する必要がある。これ
を第２６図に示したもつとも簡単なニューロンＭ個の１
層ニューラルネットで処理する場合に要求される処理速
度は３　、８　ＭＭリンツク秒となる。ニューロン数Ｍ
を１００個としても３８０Ｍリンク／秒の超高速処理が
要求される。これを従来のチップで処理することは不可
能である。また出来たとしてもその回路規模は非常に大
きくなり実用的でない。

この７１１１１％を解決する一つのアプローチとして公
知例（２）に述べであるようなシストリック・アレイの
しようが考えられている。第２７図は該アレイに使用さ
れている単位シストリック・プロセッサ・エレメントを
、また第２８図はこれを用いて先程の第２６図に示した
１層ニューラルネットを構成した例を示しである。各プ
ロセッサ・エレメント１；３６は、係数を保持すると共
に、読みだした後レジスタ内データの配置を１個ずつシ
フトするシフト・レジスタ１３３．入力データ（Ｘ、１
）（ｊ＝ｌ〜Ｎ）に重み係数ｒｎ　ｉ　ｊをかけるため
の乗算器２、上記乗算結果を累積するための加算器３及
びアキュムレータ４．積和（累積結果）１４に非線形関
数処理ｆ（）を与えるための非線形関数発生機構１３５
．及びＮ個の入力データの積和が完了した段階でこれを
出力端子Ｑｉに出力するための入出力切換えマルチプレ
クサ１３４から構成されている。

第２８図に示したシストリック・アレイ使用の１層ニュ
ーラルネットはＭ個のシストリック・プロセッサ・エレ
メント１３６を接続した形となっており、入力データ（
Ｘｊ）を巡回するための入力データ巡回線１３８により
左端のプロセッサＳＰＥ−１から右端のプロセッサＳＰ
Ｅ−Ｍにデータを転送している。入力データ１７はこの
線１３８に供給され、出力データ１８も同巡回線１３８
から出力される。このように接続は巡回線１３８を除い
て隣接プロセッサ間に限定されているため非常に配線数
が少なく、またこのため信号の転送速度も速い。

まず１層ニューラルネット上のニューロン数Ｍが入力デ
ータ数（第２６図のニューラルネットの入力端子数）Ｎ
に等しい場合、第３０図を用いて上記回路の動作の概略
を説明する。まず、時刻ＴＯからＴ　１の間に左端から
１システム・クロックごとに入力データ（Ｘｊ）が順次
入力される。

なおシステム・クロックの周期はＴ（秒）である。

１クロツクごとに各プロセッサ１３６の右から入ったデ
ータ（Ｘｊ）は左隣のプロセッサに転送される。このよ
うにして１時刻ＴｏからＮＥＴ（秒）後に各プロセッサ
にデータが行き渡り、各プロセッサが演算処理を開始す
る。なお、各プロセッサにデータ（Ｘｊ）を並列に設定
する手段がある場合はこのデータ転送（Ｔｏ−Ｔ１間）
の処理は不要である。しかし、これには入力データ数８
個だけの配線が必要であり、配線数が少ないというシス
トリックアレイの特徴が生せない。

演算処理と同時に１クロツクごとに入力データを左隣の
プロセッサに転送する。一番左端のプロセッサＳＰＥ−
１は入力データ巡回線１３８を介して入力データを右端
のプロセッサＳＰＥ−Ｍに転送する。

この際、プロセッサＳＰＥ−１は入力データがＸｉ、Ｘ
２．Ｘ３・・・・・・の順で入ってくるため、これに合
わせて係数シフトレジスタ１３３からの係数ｍｉｊはｍ
　Ｉ　Ｍ、　ｍＭ　２　、　ｍＭ　３　＝−−の順で読
みだす、しかし、２番目のプロセッサＳＰＥ−２にはＸ
２．Ｘ３．Ｘ４・・・・・・の順でデータが入ってくる
ため、係数ｍｉ　ｊＧｍ２２．ｍ２３．ｍ２４・・・・
・・ｍ２１の順で読みだす、この係数読みだし順序を容
易に行なうために係数シフトレジスタ１３３が使用され
ている。しかし、係数設定時にはこのようなプロセッサ
間での係数読みだし順序を意識する必要があり、設定処
理が面倒である。

演算処理速度としては毎タロツクごとに並列にＭ個の重
み演算を処理できる。つまり、毎クロックごとにＭリン
クの計算処理を実行できる。今、１μｍ　ＣＭ　ＯＳ技
術を用いて上記チップを製作した場合、約２０　Ｍ　Ｈ
ｚのクロックでプロセッサを動作させることが可能であ
る。また、１ＱＸ１０■２のチップ上には上記プロセッ
サが約１００個集積できる。これによりこのようなチッ
プのニューラルネットとしての処理能力は２０００Ｍリ
ンク／秒にもなり先程の画像等の高速信号のリアルタイ
ム処理が可能となる。

第２９図は入力データ数Ｎがプロセッサの数Ｍよりも多
い場合の動作例を示している。この場合。

時刻Ｔ１から演算処理を開始できるが、これと同時に入
力データ巡回線１３８を介してデータを左から右に巡回
しようにも、未だ入力データＸＭ＋１、・・・・・・Ｘ
Ｎが入ってくるため、１１〜ｉ４間でデータの競合が起
こり回路が正常に動作しない。

（（Ｘ　ｊ　）の各プロセッサへの並列入力が可能な場
合は問題ないが配線の多さから実用的ではない）また、
先程のＭ＝Ｎの場合にも当てはまるが、出力データ（Ｙ
ｉ）も同信号線１３８に乗せているため、出力データ（
Ｙｉ）が転送されている間（時刻′ｒ　２〜Ｔ　３間）
は次のデータ（Ｘｊ）が入力できない。

以上、公知例のシストリックアレイに関してまとめると
、並列処理により画像のリアルタイム処理も可能な高速
処理が可能であり、また隣接プロセッサ間の配線のみで
複雑なニューラルネットの接続が実現できるという特徴
がある。その一方で、入力データ（Ｘｊ）と出力データ
（Ｙｉ）が同一信号線を用いるため、データの競合が起
こるという問題と、係数ｍｉｊの読みだし順序がプロセ
ッサ間で異なるため、係数の設定等に特別の工夫が必要
であるといった問題点がある。また、該公知例ではホッ
プフィールド及びバックプロパゲーション以外の一般的
なニューラルネットへの展開にも言及されていない。

〔発明が解決しようとする課題〕

本発明は本発明者による上記の如き検討結果を基にして
なされたものであり、その目的とするところは下記の如
き技術課題を解決することにある。

（１）従来技術（公知例（２））は、隣接プロセッサの
みの結線でニューラルネットの複雑な結線と同機能を実
現できたが、入力データ及び出力データを同一信号線に
乗せるため、出力データの転送を待たないと次の入力デ
ータが転送できないといった転送能力上から来る速度の
問題点があるとともに、やはり上記データ転送路上のデ
ータ競合のため、入力データ数Ｎがプロセッサの数Ｍよ
りも多い場合そのままでは適用できないといった問題が
生じる。従って、本発明の第１の目的はこのようなデー
タ転送路上のデータ競合を防ぐことにより、高速のデー
タ転送を可能とすると共に、入力データ数Ｎ及びプロセ
ッサの数Ｍの制約を受けない、より汎用の高速大規模ニ
ューラルネットを実現することにある。

（２）公知例（２）では１巡回線１３８（第２８図）に
より、初段プロセッサから最終段プロセッサにデータを
巡回する必要があるが、大規模ニユーラル・ネットでは
このような拒離的に離れたプロセッサ間での同期をとる
ことは困難である。

従って、本発明の第２の目的はこのような巡回線を避け
、大規模ニューラルネットにも適用可能とすることであ
る。

（３）公知例（２）では各プロセッサごとに非線形関数
発生機構を設けていたが、ニューロンを最適状態で動作
させるためにはこの非線形特性を可変とする必要がある
。この変更は各プロセッサ個別に行なう必要はなくニュ
ーラルネット層単位で行なえばよい、公知例（２）の場
合は全プロセッサに対して上記特性を書き換える必要が
あり１時間がかかる。従って、本発明の第３の目的は各
重み係数と共に非線形関数（シグモイド関数等）のプロ
グラミングを高速に行なうことである。

（４）公知例（２）で示されるプロセッサをホップフィ
ールド型ニューラルネット、多層ニューラルネット及び
バックプロパゲーション型ニューラルネットに適用する
ためには各々に対して接続形態を変更するなどハードウ
ェアの変更が必要である。従って１本発明の第４の目的
はハードウェアを変更することなく、プログラミングの
みで各種ニューラルネットに対応可能な汎用性を持つプ
ロセッサを実現することである。

（５）公知例（２）では１ニユーロンを実現するために
、乗算器、加算器が１組必要であるが、速度の要求され
ないシステムではハードウェアが大きすぎて経済的でな
い、従って１本発明の第５の目的は、応用システムに合
わせた速度を持つニューロン・プロセッサを最小のハー
ドウェアで実現することである。

（６）公知例（２）ではニューラルネットの複雑で膨大
な接続配線を隣接プロセッサ間の唯１本の信号線で実現
しているが、このために逆に冗長性がなくなり、１箇所
の配線切れや、１個のプロセッサの欠陥のみでニューラ
ルネット全体の機能が停止してしまうといった欠点を有
する。従って１本発明の第６の目的はこのような断線や
欠陥ニューロンに対して耐性を持たせることにある。

〔課題を解決するための手段〕

上記の如き本発明の種々の目的を達成するため、本発明
は下記の如き手段を有するものである。

（１）第１の目的は、入力データ及び出力データに独立
した信号線を持つシストリック・アレイでニューロンの
処理を行なうことにより達成される。

（２）第２の目的は、入力データ系列（Ｘｊ）（１≦ｊ
≦Ｎ）に対して全プロセッサが同時に積和演算処理を開
始することなく、初段プロセッサから順次処理を開始す
る回路構成及び処理方式を用いることにより達成される
。

（３）第３の目的は、１層ニユーラル・ネットにおいて
入力データと重み係数を乗算し、１ニユ一ロン分の乗算
結果を累積する積和演算はジストリクアレイで行ない、
非ａｔｍ処理は１層ごとにただ１個設けた非線形関数ル
クアップテーブルを用いて行なうことにより達成される
。さらにここでは各重み係数メモリ、非線形関数ルック
アップテーブルをホストＣＰＵよりアクセスするパスラ
インを設けて特性の変更を容易にしている。

（４）第４の目的は、プロセッサごとに入力データ。

出力データ及び非線形関数ルックアップテーブルをバイ
パスできる構成にしておき、そのバスをプログラマブル
とすることにより達成される。

（５）第５の目的は、１プロセツサに複数のニューロン
の重み係数を記憶する係数メモリ、複数ニューロンの積
和演算を制御する機構を設けること、または並列乗算器
のかわりに直列乗算器を用いることにより達成される。

（６）第６の目的は、上記に加え、テストデータ発生機
構及び検出機構を設けることにより達成される。

〔作用〕

（１）第１の解決手段において、入力データと出力デー
タの信号線を分離したことにより、これらのデータ競合
がなくなり、入力データと出力データを並行して転送す
るなどの高速処理が可能になるとともに、ニューロン数
の制約を受けることなく、より汎用のニューラルネット
が構成できる。

（２）第２の解決手段により、公知例（２）のように全
プロセッサの同時信号処理開始のためのデータ循環が不
要となり、初段プロセッサ／最終段プロセッサ間の信号
データの同期が不要となる。

これにより大現模ニューラルネットにも対応可能となる
。また、−殻内には１セツトに入力データ（Ｘｊ）（１
≦ｊ≦Ｎ）に引き続いて次の入力データ・セット（Ｘ’
ｊ）（１≦ｊ≦Ｎ）がすぐ入力されるのでプロセッサが
休止している期間はない。

（３）第３の解決手段により、パスラインを介して任意
の重み係数及び非線形関数のプログラミングが可能であ
る。また、各層のプログラムすべき非線形ルックアップ
テーブルを唯一個にしたことにより、上記パスラインの
負荷を軽減すると共にプログラミングすべき箇所を大幅
に低減し、特性の変更を高速に行なうことを可能にした
。

（４）第４の解決手段においては信号のバイパス経路を
ニューラルネット・モデルにしたがってプログラミング
することにより、同一ハードウェアで１層ネット、多層
ネット、巡回型ネット。

分割型ネット等が構成可能となる。

（５）第３の解決手段においては、１組の乗算器。

加算器を複数ニューロン処理に共用できるため。

ハード社の節約が出来る。また、処理速度に対応して１
プロセツサの処理ニューロン数を調整（プログラミング
）できる。また、直列乗算器を用いることにより、加算
器のみで乗算も実現できるため、同様にハード量の節約
が出来る。

〔実施例〕

第１図は本発明の各種ニューラルネットに共通で使用で
きるシストリック・プロセッサ・エレメント（以下ＳＰ
Ｅと略する）であり、第３図はその動作タイミングを示
したものである０本プロセッサで非線形関数機能以外の
１ニユーロンの機能をすべて果たす。また、第２図は上
記ＳＰＥをＭ個用いて構成したＮ入力１Ｍニューロンの
１層ニューラル・ネッ１−であり、第４図はその動作タ
イミングを示している。

１番目のニューロンの機能を受は持つ第１図に示したシ
ストリック・プロセッサ・エレメントＳＰＥｉは、ｉ番
目のニューロンの重み係数（ｍｉｊ）（１≦ｊ≦Ｎ）を
記憶するための係数メモリ１、入力データ　（Ｘｊ）（
１≦ｊ≦Ｎ）に重み係数を乗算するための乗算器２、上
記乗算結果とアキュムレータ４とを加算する加算器３、
クロックＣＫＩによりラッチを行なう前段部とクロック
ＣＫ２によりラッチを行なう後段部がら構成されるマス
タースレーブ型アキュムレータ４、アキュムレータの累
積結果にューロン積和出力）１４または前段からの積和
出力データ１０のいずれかを選択するためのマルチプレ
クサ１２．シストリック・アレイとしてバイブライン処
理を行なうためのＣＫＩ、２により制御されるマスター
スレーブ型の出力データラッチ７、同じくバイブライン
処理用に人力データに遅延を与えるための第１の人力デ
ータラッチ５、及び上記累積結果とタイミングを合わせ
るための第２の入力データラッチ６から構成されている
。尚１図示していないが、これらのラッチ５，６．７は
ノンオーバラップ２相クロツクＣＫＩ、ＣＫ２により１
１動されることにより、所定の遅延を与えるものである
。

Ｑｉｎ端子は前段の同様な構成のＳＰＥｉ−１からの積
和出力（ＳＬ、Ｓ２・・・・・・Ｓ　ｉ　−１）を受け
る端子、Ｄｉｎはニューロンの入力データ（Ｘｌ、Ｘ２
・・・・・・）を前段のＳＰＥｉ−１から受ける端子、
Ｑ　ｏ　ｕ　ｔは前段からの積和出力（８１゜Ｓ２・・
・・・・５ｉ−１）　と共に、ＳＰＥｉからの積和出力
Ｓｉをも順次次段のＳＰＥｉ＋１に送り出すための端子
、Ｄｏｕｔはニューロンの入力データ（Ｘｉ、Ｘ２・・
・・・・）を次段のＳＰＥｉ＋１に送り出すための端子
である。

第３図を用いてｌＳＰＥの動作を説明する。

ＳＰＥはノンオーバラップ２相クロツクＣＫＩ。

２で駆動される０時刻Ｔ１でＣＫ２が立ち上がると同時
に入力端子Ｄｉｎを介して前段のＳＰＥｉ−１から最初
の入力データＸ１が入力される。これに合わせて、上記
入力データに乗算すべき重み係数ｍ１ｌ（ｉ番目のＳＰ
Ｅの１＃ｒ目の入力データに対する係数）が係数メモリ
１から読みだされる１乗算器２にて上記入力データＸ１
と重み係数ｍｉｌが乗算され、その乗算結果ｍｉｌ傘Ｘ
Ｌが加算器３に渡される。

乗算器２の出力ｍｉｊ＊Ｘｊは加算器３及びアキュムレ
ータ４により累積さる。ここでアキュムレータ４として
は２相クロックＣＫＩ、ＣＫ２により駆動されるマスタ
ー・スレーブ型のフリップフロップになっている。この
ため、ＣＫ１がハイレベルとなって加算器３からのデー
タをアキュムレータ４の前段にラッチする時点でも２ア
キユムレータ４の後段出力は前回にラッチされた信号を
保持できる。加算器３はこの保持されたアキュムレータ
４の後段の出力を用いて計算している。

時刻Ｔ１でのアキュムレータ４の後段の出力（累積値）
は０であり、この値と乗算器２からの出ｍｉｌ串Ｘｌと
が加算器３により加算されて時刻Ｔｌ、Ｔ２間のＣＫＩ
がハイレベルになることによりアキュムレータ４の前段
にラッチされる。

Ｄｉｎからの入力データは２段の入力データラッチ５．
６を介してそのまま次段のＳＰＥｉ＋１に転送される。

これにより、２クロック周期分の遅延を受ける。

ｉｌを目のプロセッサＳＰＥｉでの累積にューロン積和
出力）：Ｓｉ＝Σ　ｍｉｊ申Ｘｊｊ＝１が終了しないうちは、Ｑｉｎから入力される前段からの
出力データにューロン積和出力）（・・・・・・５ｉ−
２，５ｉ−１）がそのままマルチプレクサ１２及び出力
データラッチ７を介し、１クロック周期分の遅延を受け
て出力データ端子Ｑ　ｏ　ｕ　ｔに転送される。

時刻Ｔ２ではＣＫ２が立ち上がり、Ｄ　ｉ　＋１端子を
介して前段から入力データＸ２が取り込まれると共に、
これに対応した係数ｍｉ２が係数メモリ１から読みださ
れる。これらは乗算器２により乗算されて乗算結果ｍ１
２ｍＸ２を得る。

同じく時変ＩＴ２でのクロックＣＫ２の立ち上がりに合
わせて、先にアキュムレータ４の前段にラッチされたデ
ータｍｉｌ串Ｘ１がアキュムレータ４の後段の出力に現
われ、乗算器２の出力ｍｉＺ＊Ｘ２と加算され、続＜Ｃ
ＫＩによりその加算結果ｍｉｌ＊Ｘ１＋ｍｉ２串Ｘ２が
アキュムレータ４の前段にラッチされる。

以下、時刻Ｔ　［Ｎ＋１１で以下のように累積が７キユ
ムレータ４の出力に現われ、一連の積和演算が完了する
：Ｓｉ＝Σ　ｍｉｊ申Ｘｊｊ＝１累積が完了した時点で累積結果Ｓｉがマルチプレクサ１
２を介して出力データ・ラッチ７に転送される。このラ
ッチ７により１段（１クロック周期分）遅延され、時刻
Ｔ　［Ｎ＋２］で本ニューロンの積和出力Ｓｉが出力端
子Ｑｏｕｔを介して次段に転送される１時刻Ｔ　［Ｎ＋
１］　、Ｔ　［Ｎ＋２］間以外ではマルチプレクサ１２
は前段からの出力信号Ｓｋ（ｋ＜ｉ）を出力データラッ
チ７に伝える。

第２図は上記シストリック・プロセッサ・エレメントＳ
ＰＥをＭ個用いて構成したＭニューロン。

Ｎ入力９Ｍ出力の１層のニユーラル・ネットであり、第
４図はその動作タイミングを説明している。

第２図に示した各シストリック・プロセッサ・エレメン
トＳＰＥ−ｉは第２６図の従来の１層ニューラルネット
のニューロンＮｉに対応している。

また従来のニューラルネットの入出力が並列に行なわれ
ているのに対して、入力（Ｘｉ）は入力端子ＤＯから直
列に入力され、出力（Ｙｉ）はシグモイド関数ルックア
ップテーブル１６から直列に得られる。なお、ニューラ
ルネット積和出力線２０には、シグモイド関数に通す前
の積和出力（Ｓｉ）が得られる。

各ＳＰＥの入力データ送出端子Ｄｏｕｔは次段のＳＰＥ
の入力データ受は取り端子Ｄｉｎに接続され、出力デー
タ送出端子Ｑ　ｏ　ｕ　ｔは次段の出力データ受は取り
端子Ｑｉｎに接続されている。初段ＳＰＥ−１の入力デ
ータ受は取り端子Ｄｉｎ（Ｄｏ）には−層ニューロンの
入力データ（Ｘｊ）が毎タロツクごとに入力される。ま
た、初段ＳＰＥ−１の出力データ受は取り端子Ｑｉｎ（
ＱＯ）はデータが入力されず接地される。

最終段ＳＰＥ−Ｍの入力データ送出端子Ｄ　ｏｕｔは解
放状態であり、出力データ送出端子Ｑｏｕｔはシグモイ
ド関数ルックアップテーブル１６の入力端に接続されて
いる。出力データ送出端子Ｑ　ｏ　ｕ　ｔから一層ニュ
ーラルネットの積和出力（Ｓｉ）が得られると共に、シ
グモイド関数ルックアップテーブル１６の出力端からは
以下の一層ニューラルネットの出力が得られる：ただしシグモイド関数ｆ（）４１以下の式で示される：ｆ（ｕ）＝１／　　（１＋ＥＸＰ（−ｕ））第２図に示
したように、配線は隣接ＳＰＥ間に見られるのみであり
ニューロンの数Ｍの倍の２Ｍ本のみとなっている。ここ
では、入力データ、出力データ用に信号線を共有する第
２７．２８図の公知例と異なり、各ＳＰＥ間はそれぞれ
入力データに一本、出力データに一本の計２本のデータ
線で結合されている。

また、各プロセッサ、エレメントごとに非線型関数発生
機構を有する第２７．２８図の公知例と異なり、非線形
性を決めるシグモイド関数ルックアップテーブル１６が
最終段に１個有ればよいため、非線形特性の変更には１
個のシグモイド関数ルックアップテーブルのみの書き換
えで済むため、特性の変更が迅速に行なえる。

なお、非線形特性ｆ　（ｕ）の変更としては例えば以下
の式のａの値を変えることが考えられる：ｆ（ｕ）＝１
／（１＋ＥＸＰ（−ａ　＊　ｕ））ａの値が小さくなる
に従って関数ｆ　（ｕ）はなだらかとなり、上記ニュー
ラルネットを用いたシステムの応答速度が遅くなる。

以下、第２図、第４図を用いて１層ニューラルネットの
動作を説明する。第４図で示すように。

シストリック・アレイの初段プロセッサの入力Ｄｏには
、時刻Ｔ１から入力データＸｉ、Ｘ２．・・・・・・Ｘ
Ｎがシリアルに周期Ｔで入力される。ＳＰＥ２へは２段
（２クロツク）遅延されたデータＤ１が時刻Ｔ３より人
力される。ＳＰＥ：３へはさらに２段（２クロツク）遅
延されたデータＤ２が時刻Ｔ５より入力される。以下同
様に入力データはｌＳＰＥを通過するごとに２段遅延さ
れて転送される。

各ＳＰＥ内ではＮクロック（Ｎ周期）かけて１ニユ一ロ
ン分の積和計算を行なう。

ＳＰＥ−１で計算される第１ニユーロンの積和計算結果
Ｓ１は、第３図でも示したように時刻Ｔ　［Ｎ＋２１に
出力データＱ１としてＳＰＥ２に渡される。その後、積
和出力（Ｓｉ）はｌＳＰＥを通過するごとに１クロツク
（１段）だけ遅延されて転送される。これにより積和出
力Ｓ１がＳＰＥ２からＳＰＥ３に転送される時刻はＴ　
［Ｎ＋３１となる。

さて、ここで出力データ（Ｓｉ）（１≦ｉ≦Ｍ）と入力
データ（Ｘｊ）　　（１≦ｊ≦Ｎ）とのタイミング関数
について言及する。シストリック・アレイはバイブライ
ン処理を行なうため、各ＳＰＥ内の積和出力データ（Ｓ
　ｉ　）及び入力データ（Ｘｊ）の４６号経路に少なく
とも１段のラッチが入る。

（第１図ラッチ７．５）もし、ここで入力データ側の（Ｘｊ）に対しても１段の
ラッチしか設けない場合、Ｄｌ上の５Ｐ１２．１からＳ
ＰＥ２人カデータＸＮは、時刻”１゛［Ｎ＋１１に転送
される。（２段ラッチを設けた第４図ではＴ　［Ｎ＋２
］で転送されている。）第１図のプロセッサ回路で示したように、最後の入力デ
ータＸＮが入ってからマルチプレクサ１２に積和出力Ｓ
ｉが現われるまでの遅延はアキュムレータ４の遅延分の
１クロツクのみである。

これによりＳＰＥ−２内のマルチプレクサ１２に同プロ
セッサの積和出力Ｓ２が現われる時刻は、同プロセッサ
に最後の入力データＸＮが入力されてから１クロツク分
遅れた時刻Ｔ　［Ｎ＋２］となる。

一方、ＳＰＥ−１の積和出力Ｓ１がＱｌ上を介してＳＰ
Ｅ−２内のマルチプレクサ１２にはいる時刻も、第４図
でも示したようにＴ　［Ｎ＋２］である。ＳＰＥ−２内
のマルチプレクサ１２はＳｌ及びＳ２を同時に通せず、
いずれかの信号が消えてしまう。これではニューラルネ
ットの処理が出来ない。

このような問題を避けるため、第１図に示したように入
力データ（Ｘｊ）の信号経路に第２の遅延ラッチ６を設
けた。これにより、第４図に示したようにＳＰＥ−２に
最後の入力データが入る時刻がＴ　［Ｎ＋２］となり、
同プロセッサの積和出力がＳＰＥ−２内のマルチプレク
サ１２に転送される時刻がＴ　［Ｎ＋３］となる。これ
は＋　ＳＰＥ−１からの積和出力Ｓ１が同マルチプレク
サ１２に入力される時刻Ｔ　［Ｎ＋２］よりも１クロツ
ク分遅いため、先程のようなデータＳ１，２の競合は起
きない。

同様にＳＰＥ−ｉ内では、前段までの積和出力（Ｓｋ）
（ｋ≦１−１）がマルチプレクサ１２を介して次段に転
送されてからｉ番目のＳＰＥｉの累積が完了し、積和結
果Ｓｉが同マルチプレクサを介して次段に転送される。

１層ニューラルネット積和出力８１．Ｓ２・・・・・・
ＳＭは（Ｎ＋Ｍ）Ｔの遅延の後ＳＰＥ−Ｍ出力端子に呪
われ、これをシグモイド関数ルックアップテーブル１６
に通すことにより１層ニューラルネット出力Ｙｌ、Ｙ２
・・・・・・ＹＭを得る。

入力データＸ１が入ってから最初の出力Ｙ１が現われる
までの遅延時間は（Ｎ＋Ｍ）Ｔである。

ここでＮは入力データの数にニューラルネットの入力端
子数）、Ｍはプロセッサ数にニューロン数）、Ｔはクロ
ック周期である。

本発明のシストリック・プロセッサを用いたニューラル
ネットでは、公知例（第２７．２８図）と異なり、入力
データ（Ｘｊ）と積和出力データ（Ｓｉ）が独立データ
線で転送される。これにより公知例のような入出力デー
タの競合が生じず高速の処理が可能である０例えば、Ｎ
２Ｍの場合。

−組のＸ１〜ＸＮまでの入力終了後連続して次の組の入
力データＸ１′〜ＸＮ’　を入力することが出来る。こ
のようなデータの連続入力は、映像信号のように連続し
た高速信号のリアルタイム処理に不可欠である。

８５Ｍの場合はＸ１人力後ＭＴだけ待ってから次の組の
データを入力する。しかしこの場合も出力データ（Ｙｉ
）は連続しており、高効率でデータ転送を行なっている
。

また、公知例（第２８図）のような初段のプロセッサか
ら最終段のプロセッサに信号を巡回させる必要もないた
め、大規模ニューラルネットを実現する際の両端プロセ
ッサ間の同期も問題にならない。

本発明では１層ニューラルネットの他に多様なニューラ
ルネットに本プロセッサ・エレメントＳＰＥを適応して
いる。以下ではまず第３１図に示したような多層ニュー
ラルネットへの展開を説明する。このような多層ニュー
ラルネットは第１層の判定結果を受けて第２層でより高
い階層での判定を行なうなど、先の１層ニューラルネッ
トをより高機能化、高性能化したものである。

第５図は本発明による２層ニューラルネットの回路構成
を示したものである。ここでは第１層ニューラルネット
の出力（Ｙｊ）をそのまま第２層の入力ＤＯに回すだけ
出よい。

同図において、Ｎｌ、Ｍｌ、Ｎ２．Ｎ２はそれぞれ第１
層ニューラルネットの入力データ数、ニューロン数、第
２層ニューラルネットの入力データ数、ニューロン数で
ある。

第６図はシストリック・アレイをさらに第３１図で示し
たような多層ニューラルネットにまで拡張したものであ
る。このような大規模ニューラルネットにおいても、デ
ータ転送は隣接プロセッサ間に限定されているため、負
荷の増大による速度の低下はない、またニューラルネッ
ト層間の配線は１本のみで済み、大幅に低減されている
。

シグモイド関数ルックアップテーブル１６が各層１個で
足りるため、その特性の書き換えも容易である。

また、入出力データが独立した信号線を用いているため
、入出力データが競合することなく連続して入力データ
を入れることが出来る。

第７図は第３２図に示した１層の巡回型ニューラルネッ
ト（ホップフィールド型ニューラルネット）にシストリ
ック・アレイを適用したものである。ホップフィールド
型ニューラルネットは判定結果（Ｙ　ｉ　）を再び同−
ニューラルネットに循環させるものであり、これにより
１判定結果を強調していく、つまり興奮しているニュー
ロン（高い出力値を示すニューロン）はますます強調さ
れ、興奮していないニューロン（低い出力値を示すニュ
ーロン）は他のニューロンからの出力によりますます抑
制される。

シストリック・アレイを用いた構成は容易であり、単に
ルックアップテーブル・メモリ１６の出力をマルチプレ
クサ５１を介して入力Ｄｏに帰還するだけで済む、初期
入力設定には、入力データ５２をマルチプレクサ５１を
介して入力Ｄｏに転送するだけでよい。

第８ＷＩは、第２層のみに巡回型ニューラルネットを持
つハミング型ニューラルネット（第３３図）のシストリ
ック・アレイによる構成を示している。

非巡回型第１層ニューラルネット出力２３を巡回型第２
層の入力データ・マルチプレクサ５１に入力することに
より第３３図と等価な機能を実現している。

このようなニューラルネットは第１Ｍで判定を行なって
から、第２層で強調処理を行なうため、１層のみで面処
理を行なう先のホップフィールド型ニューラルネットに
比較して効率が高い。

第９図は２層ニューラルネットの第１Ｍを２ブロツクに
分割にして高速化した本発明による分割型ニューラルネ
ットである。実際の応用では、ある結合は強く（重み係
数の絶対値が大きく）、またあるものは結合が弱い、自
然界にはこのような神経系の結合が多く見られる。そこ
で結合の無視できるものを完全に切り離すことにより、
不要な積和演算及びデータ転送を省き処理速度を向上さ
せることが出来る。

第９図では、入力データのうちＸ１〜ＸＮ／２の半分の
ものは第１層の左側ブロックＳＰＥＬＬ−１〜ＳＰＥＬ
Ｌ−Ｎ／２にのみ入力され、残りのデータＸＮ／２＋１
〜ＸＮは右側ブロックＳＰＥ１２−１〜ＳＰＥ１２−Ｎ
／２にのみ転送され、この間の結合はない、各ブロック
の出力は順次出力ゲート１１９，１２０及びローカル・
データバス１２１を介して第２層シストリックアレイに
転送される。

その動作タイミングチャートを第１０図を用いて説明す
る。第９図の左側のブロックの分の入力データｘ　ｉ　
、ｘ　２　＊・・・・・・Ｘ　　Ｎ／２が入力開始され
てから（Ｎ／２＋Ｎ／２）Ｔ時間後に同ブロックからの
出力Ｙｌ、Ｙ２．・・・・・・Ｙ　　Ｎ／２が第１のシ
グモイド関数ルックアップテーブル１１７上に現われ、
第１のゲート１１９を開けることによりこのデータをロ
ーカル・データ・バスを介して第２層目のシストリック
・アレイに転送する。

つづいて第９図の右側のブロックの分の入力デ−９Ｘ　
　Ｎ／２＋１．Ｘ　　Ｎ／２＋２．−＝−Ｘ　　Ｎが入
力開始されてから（Ｎ／２＋Ｎ／２）Ｔ時間後に同ブロ
ックからの出力Ｙ　Ｎ／２＋１．　Ｙ　Ｎ／２＋２．・
・・・・・ＹＭが第２のシグモイド関数ルックアップテ
ーブル１１８上に現われ、第２のゲート１，２０を開け
ることによりこのデータをローカル・データ・バスを介
して第２層目のシストリック・アレイに転送する。

ここでは、第１層めのシストリック・アレイがＮ／２ニ
ユーロン、Ｎ／２人カデータに分割されたため、それぞ
れのブロック内での入力から出力までの遅延時間は（Ｎ
／２＋Ｎ／２）Ｔにまで短縮される。ローカルバスを介
してこのデータがそのまま第２層に転送されるため、全
体でも第１層の遅延が（Ｎ／２＋Ｍ／２）Ｔにまで半減
される。

以上のように、第１図のシストリック・プロセッサ・エ
レメントＳＰＥを用いることにより、多様なニューラル
ネット・プロセッサを構成することが出来る。

第１１図はさらに一般的なニューラルネットを本発明の
シストリック・アレイで構成した例である。ここで各ニ
ューロンの番号Ｎｉｊとシストリック・プロセッサ・エ
レメントＳＰＥｉｊの番号が対応している。第１，３層
は非巡回型、第２層は巡回型、第４層は分割型のニュー
ラルネットである８このようにシストリック・アレイで構成した場合、複雑
な多層ニューラルネットも容易に実現できる。

ここではさらに４＃めのｌ１ｌｆｉである汎用ニューラ
ルネットを実現するため、第１２図に示す回路構成のシ
ストリック・プロセッサ・エレメントを考案した。

第１２図は第１図の基本回路に図中ハツチングを入れて
示した回路を追加した。追加された回路の内容は；出力
データを選択するマルチプレクサ１１３、入力データを
選択するためのマルチプレクサ１１２．出力データをシ
グモイド関数に通すか否かを選択するためのシグモイド
関数ルックアップテーブル１６及びマルチプレクサ１０
６．ローカル・プロセッサ間のデータ転送を行なうため
のデータバス１０７．入力データをバイパスするための
入力データパス１１０．双方向ゲート１０ｇ及びゲート
１０９である。

第１３図の下図は第１２図のプロセッサ８個を用いた実
施例であり、８個のシストリック・プロセッサ・エレメ
ントの信号経路をプログラムするだけで例えば第１３図
、第１４図、第１５図上図に示した３タイプのニューラ
ルネットを実現できる。横方向に活性化されている信号
経路は下図シストリック・アレイ中太線で示しである。

第１３図の実施例では３層のニューラルネットが実現さ
れており、第１．２．３層目がそれぞれ３個、２個、３
個のニューロンで構成されている。

これを、その第１３図の下図の信号経路にシストリック
・アレイをプログラムすることにより実現できる。

ＳＰＥＬＬ、ＳＰＥ１２及びＳＰＥ１３が第１層、３ニ
ユーロンのニューラルネットを構ｌ戊しており、ＳＰＥ
１３のルックアップテーブル１６を介して出力が第２層
のシストリックアレイＳＰＥ２１．ＳＰＥ２２に転送さ
れている。以下ＳＰＥ２２のルックアップテーブル１６
を通ったデータは第３層のシストリックアレイＳＰＥ３
１．３２゜３３に伝えられる。各１層の構成及び動作は
、第２図の回路に準する。

第１４図の実施例では第１層に非巡回型３ニユーロン、
ｆｉ２Ｎに巡回型の３ニユーロン・ニューラルネットを
設けたハミング型ニューラルネットとなっている。ここ
ではＳＰＥＬＬ、１２．１３が第１層のニューラルネッ
トを構成し、ＳＰＥ１３内ルツクアツプテーブル１６を
介してＳＰＥ１３の出力がＳＰＥ２１に伝えられる。

ＳＰＥ２１の入力マルチプレクサには先の信号と共にＳ
ＰＥ２３からローカルバス１０７を介して帰還される巡
回信号も受け、これらを切り替えることにより先の第８
図と同様の動作を行なう。

第１５図の実施例は４ニユーロンからなる第１層のニュ
ーラルネットを二つに分割したものである。上図におい
て入力Ｘｉ、Ｘ２はＮｉｌ、Ｎ１２により構成される第
１層の第１のブロックにのみ入力され、入力Ｘ３．Ｘ４
はＮ１３．Ｎ１４により構成された第２のブロックに入
力される。第１層のニューラルネット出力は第２層の各
ニューロンＮ２１．Ｎ２２に入りここで合成される。

これを実現するため、入力データはローカル入力データ
バス１１０を介して第１のブロックを処理するＳＰＥＬ
Ｌの入力端子、及び第２にブロックを処理するＳＰＥ１
３の入力端子に直接入力される。第１のブロックの出力
はＳＰＥ１２のシグモイド関数ルックアップテーブル１
６及びゲートを介してローカル・データバス１０７に出
力される、同様に、第２のブロックの出力はＳＰＥ１４
のシグモイド関数ルックアップテーブル１６及びゲート
を介してローカル・データバス１０７に出力される。

ローカル・データバス１０７上に合成された第１層の出
力は第２層のプロセッサＳＰＥ２１に入力され、その出
力はＳＰＥ２２のシグモイド関数ルックアップテーブル
１６及びゲートを介してローカル・データバス１０７に
出力される。

以下に、以上のアーキテクチャを具体的に実現できる回
路に関しての実施例を示す。

第１６図は、第１図の構成を具体的に実現するための並
列乗算器を用いたシストリック・プロセッサ・エレメン
トの実施例である。

本回路は、並列乗算器４９．加算器３．アキュムレータ
４．係数メモリ１．アドレスカウンタ３６、出力データ
マルチプレクサ１２から構成されている。

乗算器４９の入力には入力データラッチ３７及び係数デ
ータラッチ３８を設ける。係数メモリ１のアドレス５０
はアドレス・カウンタ３６により作成する。

アドレス・カウンタはノンオーバラップ２相クロツクＣ
ＬＫＩＩＮ及びＣＬＫＩＮ２に同期してカウントアツプ
を行ない、リセット信号Ｒ５Ｔｉｎによりリセットされ
る。リセット信号は入力データＤｉｎに同期して送られ
、次段プロセッサのリセットのため２クロック分の遅延
をＲ８Ｔ信号遅延ラッチ４３．４４により付加する。

乗算にかかわるデータバスにはアドレス・カウンタ３６
．ラッチ３８及びラッチ４１の３段遅延がある。従って
、Ｒ８Ｔ信号が解除されてから最初の乗算結果ｍ　ｉ　
１　傘Ｘ　１が加算器３の入力端子Ｃに達するまでには
３クロック分の遅延がある。

これに合わせて、加算器３の入力端子りに初期値０を設
定するためには、ＲＳＴ信号を３段のリセット信号作成
ラッチ３９，４０．４０’により３段遅延させてアキュ
ムレーション・リセット・ゲート４２の反転入力端子に
入力し、加算器３の入力端子りをゼロに設定する必要が
ある。

並列乗算器４９と加算器３との間には、第１図の基本ア
ーキテクチャでは用いていなかったパイプライン用のラ
ッチ４１が挿入されている。これにより１乗算処理のみ
に１マシンサイクル（１クロツタサイクル）かけること
が可能となり１回路の速度に関するマージンを上げるこ
とが出来る。

（第１図の基本アーキテクチャでは乗算処理及び加算処
理を１マシンサイクルで行なう必要があった。）マルチプレクサ１２とラッチ７の直列接続の順序は動作
上無関係であるため１本実施例では出力データマルチプ
レクサ１２の挿入位置を出力データラッチ７の後に変更
した。

出力データマルチプレクサ１２の制御信号ＥＮＢＬｉｎ
もやはり、入力データに同期して転送し、２段のＥＮＢ
Ｌ信号遅延ラッチにより各ＳＰＥごとに２クロック分の
遅延を与える。

２相ノンオーバラツプクロツク制御クロツクＣＬＫｉｎ
ｌ及びＣＬＫｉｎ２はクロックバッファ４７により再生
、増幅して次段のＳＰＥに送る。

ただし、ＳＰＥ内の全回路は入力されるクロックＣＬＫ
ｉｎｌ及びＣＬＫｉｎ２を用いる。これにより各ＳＰＥ
内の確実な動作タイミングが保証される。

このようにＳＰＥを経由するに従いクロックのタイミン
グが少しずつ遅延されるため、特に大規模ニューラルネ
ットでは先頭ＳＰＥと最後尾のＳＰＥでは、クロック・
タイミングが大きくずれる可能性がある。このことから
公知例（第２７゜２８図）に見られるような入力データ
巡回線は特別な同期手段を用いないかぎり容易でない、
その点、本発明のプロセッサではデータの巡回が不要で
あるため上記のような心配はいならい。

第１７図に、第１図の構成を具体的に実現するための別
の実施例を示す。ここでは、第１６図中の並列乗算器４
９のかわりに、シフト回路８０゜乗算器アキュムレータ
７７及び加算器３を用いて直列乗算を行なっている。こ
れにより回路の削減が出来る。乗算器の演算精度が４ビ
ツトの場合、並列乗算器を用いた実施例（第１７図）の
ＳＰＥに用いられる論理回路の素子数は約１．４５０　
　トランジスタであった。このうち並列乗算器の素子数
は５５０トランジスタである。従って、並列乗算器を取
り除いた本実施例は前者の約２７３の素子数となる。た
だし、直列乗算を行なうため、速度は１７４以下となる
。並列乗算器の素子数は演算精度の２乗に比例するため
、演算精度が大きい場合１本実施例による素子数低減効
果は大きい。

以下、第１７図を用いて本実施例を説明する。

先の第１６図の実施例と異なるのは、直列演算のための
処理シーケンスを記録したプログラム・メモリ７８が設
けられたこと及び外部から供給されるクロックＣＬＫＩ
、ＣＬＫ２の周期がデータ周期の１７４である点である
。

同期信号５ＹＮＣｉｎはデータ同期と同周期であり、プ
ログラムメモリの開始タイミングを規定している。

プログラム・メモリからの制御信号はＥＮＢＬｌ、ＥＮ
ＢＬ２．Ｇｌ及び５ＦＴＩの４種のみであり、Ｋピット
乗算の場合に＋１ステツプのプログラムで事足りるので
プログラム・メモリ容量は小さいもので済む。

加算器のアキュムレータには累積用アキュムレータ４に
加え、直列乗算用アキュムレータ７７を新たに設け、そ
れぞれをイネーブル信号ＥＮＢＬ１及びＥＮＢＬ２によ
り使い分けている。

直列乗算ではＡＮＤゲート７５を用いて部分積（論理積
）をとり、これをマルチプレクサ７６を介して加算器３
に入力する。加算器では、この部分積データにアキュー
ムレータ７７の内容を１ビツトシフトしたデータを加算
し、これを繰り返すことにより通常の直列乗算を実行す
る。

ＳＰＥ内ではデータの１重４周期のクロックＣＫＩ、Ｃ
Ｋ２と共にデータと同周期の２相ノンオーバラツプクロ
ツクＣＬＫ２ＩＮ、ＣＬＫＩＩＮも用いられる。後者は
５ＹＮＣＩ生成用Ｄフリツプフロツプ及びクロック生成
用ＡＮＤゲート７３により生成され、各種信号の遅延ラ
ッチ５，６゜７．４３，４４，４５，４６を駆動するた
めに使用される。

直列乗算器を用いた第１７図の実施例よりもさらに素子
数を低減する手法として、複数ニューロンを１プロセツ
サ、エレメントＭＳＰＥで処理する実施例を第１８図に
示す、この複数ニューロン処理シストリック・プロセッ
サ・エレメント（以下ＭＳＰＥと略す）は１個でＰ個分
のニューロンを処理する。

ＭＳＰＥはＰ１ｒｉ！分のニューロンの係数を記憶する
係数メモリ１２乗算器２．加算器３、各ニューロンごと
に設けられたＰ個のアキュムレータ８１゜同じくＰ個の
バッファアレイ及び出力データマルチプレクサ１２から
構成されている。

今までの実施例では、入力データをＸｉ、Ｘ２・・・・
・・と毎クロックごとに更新し、重み係数ｍ　ｉ　、ｊ
もこれに合わせてｍｉｌ、ｍ１２ｅ・・・・・・と更新
することにより、最新の更新データ、係数同士を乗算し
、累積していた。ところが本実施例では、入力データＸ
ｊはＰクロックの間固定したままで、Ｐ個のニューロン
分の重み係数ｍｉｊ　　（１≦ｊ≦Ｐ）を毎クロックご
とに更新し、Ｐ個分の二ニーロンの乗算ｍｉｊ−Ｘｊ　
　（１≦ｊ≦Ｐ）を実行し、ひきつずきＰ個分のニュー
ロンの累積を行なうものである。

第１９図は上記回路の動作タイミングチャートを示した
ものである。入力データ（Ｘｊ）は周期ＰＴ（Ｔはクロ
ック周期）で入力される。これに対し１重み係数ｍｊｊ
は周期Ｔで読みだされる。

第１９図を用いて以下の処理を詳細に説明する。

時刻Ｔ１からＴ　ＣＰ＋１］までは前段から入力データ
Ｘ１が継続して入力される。この間、係数メモリ１３か
らは、時刻Ｔ１に第１のニューロンの最初の係数ｍ　１
１が読みだされ、これと先の入力データＸ１が乗算器２
により乗算される。続いて乗算結果ｍ　１１　申Ｘ　１
と、第１のニューロンのアキュムレータＡＣＣ１の出力
０とが加算器３により加算され、その加算器出力ｍ　１
１　串Ｘ、　１は再びＡＣＣｌに記録される。ここで、
アキュムレータ８１は第１図のものと同様２相クロツク
で駆動されるマスタースレーブ型のものとなっているた
め、出力を保持した状態で、クロックＣＫＩにより加算
結果をラッチできる。

以下同様に、入力データはＸｌのままで１時刻Ｔ２に第
２のニューロンの最初の係数ｍ２１が読みだされ、これ
と先の入力データｘ１が乗算＠２により乗算される。続
いて乗算結果ｍ２１傘Ｘ１と、第２のニューロンのアキ
ュムレータＡＣＣ２の出力０とが加算器３により加算さ
れ、その加算器出力ｍ２１＊Ｘ１は再びＡＣＣ２に記録
される。

このようにして入力ｘ１をＰＴの期間だけ保持したまま
、Ｐ個分の積和処理を実行する。

時刻Ｔ　［Ｐ＋１１からは入力データをｘ２に保持した
まま１重み係数ｍ１２（１≦ｉ≦Ｐ）を毎クロックごと
更新し、乗算器２により毎タロツクごと乗算結果ｍｉＺ
傘Ｘ２　（１≦ｉ≦Ｐ）が得られ”る。

その乗算結果ｍｉ２＊Ｘ２と対応するアキュムレータＡ
ＣＣｉ（１≦ｉ≦Ｐ）の後段の出力ｍｉｌ串Ｘ１が加算
器３により加算されてその結果は再び同アキュムレータ
ＡＣＣｉの前段に累積される。

以下同様にして、時刻Ｔ　［（Ｎ−１）Ｐ＋１コからは
最後の入力データＸＮがＰクロックの期間継続して入力
される。これに合わせて同時刻から第１のニューロンの
最後の係数ｍ１Ｎ（１≦ｉ≦Ｐ）が順次読みだされ、こ
れと先の入力データＸＮが乗算器２により乗算される。

続いて乗算結果ｍｉＮ申ＸＮ　（１≦ｉ≦ｐ）と、第１
番目のニューロンのアキュムレータＡＣＣｉ（１≦ｉ≦
Ｐ）の出カニｊ＝１とが加算器３により加算され、その加算器出カニＳｉ＝
Σ　ｍｉｊ傘Ｘｊｊ＝１は再び第ｉニューロンの出力バッファＢＵＦｉに記録さ
れる。同バッファは出力マルチプレクサ１２を介して１
次段への出力端子ＱＭｏｕｔに上記第ｉニューロンの積
和結果Ｓｉを出力する。

１プロセツサ・エレメントＭＳＰＨにおいて、データＸ
ｉが入力されてから最初の積和出力Ｓ１が得られるまで
の遅延時間は：（（Ｎ−１）Ｐ＋１）Ｔである。

入力データＤｉｎの遅延には、クロックＣＫを１／Ｐに
分周したクロックＣＫＰに従ってＰクロック遅延を行な
うランチ８８及びクロックＧＫに従って１段の遅延を行
なうラッチ８７を用いる。

従って、クロックＣＫの周期をＴ（秒）とした場合（Ｐ
＋１）Ｔ　（秒）だけの遅延を受けることになる。

出力データＱＭｉｎの遅延には通常のクロックＣＫに従
って１段の遅延を行なうラッチ６２を用いる。

Ｐが十分大きい場合は、シグモイド関数ルックアップテ
ーブル１６もプロセッサ・エレメントＭＳＰＥ回路全体
から見ればそれほど大きな回路ではないためＭＳＰＥご
とに設けることも考えられる。（図中破線で示しである
。）第２０図（ａ）は第１図に示した１ニユーロン／１プロ
セツサ構成のプロセッサを８個接続したニューラルネッ
ト回路である。これを４ニユーロン／１プロセツサ構成
のプロセッサ２個で実現したのが同（ｂ）図である。こ
こでは、第１８図のプロセッサをＰ＝４として使用して
いる。つまり１個のプロセッサが４個分のニューロンの
処理を実行する。

以下、第１８図のプロセッサの具体的な回路を示す、第
２１図は上記回路の１実施例を示したものである。

複数ニューロンを扱う場合、大容量係数メモリが必要と
される１例えば、１ニユーロンの入力データ数Ｎ　＝　
１０，０００．１プロセツサＭＳＰＥの処理ニューロン
数ｐ＝ｉｏｏとして、１系数が８　ｂｉｔ精度を有する
場合、８Ｍｂｉｔものメモリが必要となる。

さらに周期Ｔ（数十ｎｓ）の基準クロックＣＫで高速の
係数読み出しを行なう必要がある。

このため、同図で示したような出力シフトレジスタ９２
内蔵の高速外部係数メモリ９１の使用が望ましい。シフ
トレジスタ９２には１ライン分（Ｐニューロン分）の係
数を並列に転送し、これをシリアルに高速読みだしする
。データは順次アクセスするため、ランダムアクセスは
不要であり。

アドレスカウンタ／デコーダ９３により逐次アクセスを
行なう。

加算器３の出力はマルチプレクサ９５によりアキュムレ
ータ８１とバッファ８３に振り分けられる。累積（積和
）中はアキュムレータ８１に送られ、最終結果のみバッ
ファ８３に送られる。プログラムメモリ７８が以上の制
御プログラムを記憶している。

次に、よりプログラマビリティを改善した実施例を第２
２図を用いて説明する。

係数書き換えを容易にするため、各プロセッサ・エレメ
ントの係数メモリ１０１がホスト・プロセッサ１０２か
らランダムにアクセス可能とする。

ここでは、外部係数メモリをランダムアクセス可能とす
るため、アドレス・デコーダ１０５を設けたデュアルポ
ート・メモリ１０１としている。ホストＣＰＵ１０２か
らのアドレスはホストアドレスバス１０４を介してアド
レスデコーダ１０５に伝えられ、データはホストデータ
バス１０３を介してメモリ１０１に転送される。これに
より更新の必要な係数または係数ブロックのみをアクセ
スすることができ、ニユーラル・ネットの係数更新が迅
速にできる。

また、各ニューラルネット層ごとに設けられているシグ
モイド関数ルックアップテーブル１６またはプロセッサ
内蔵のシグモイド関数ルックアップテーブル１２４をも
ホスト１０２からランダム・アクセス可能として、ニュ
ーラルネットの柔軟性を高める。

なお上記手段は第１図の回路にも適応出来る。

最後にフォールト・トレラントなニューラルネット用シ
ストリックアレイに関する実施例を説明する。

欠陥ニューロンの回避機能はシストリック・アレイを用
いたニューラルネットでは特に重要である。第２６図や
第３１図で示したような、各ニューロン間に配線を持つ
従来のニューラルネットでは、数本の配線が切断されて
も、係数を再構成することによりこれを回避できる。さ
らに学習機能のあるバックプロパゲーション型ニューラ
ルネット等では、係数適応化に際して自動的にこれらの
欠陥結線を回避する。（欠陥を含んだニューラルネット
として適応化処理を行なう、）ところで、本発明のシストリック・アレイを用いると、
すべての情報が、入力データ線及び出力データ線の２本
の配線のみで伝達され、しかもそれらの信号は各層のす
べてのシストリック・プロセッサ・エレメントを通過し
なければならない。

このため、１本の配線の欠陥、１個のプロセッサ・エレ
メントの欠陥でも全ニューラルネットの機能を停止させ
る危険性がある。これを回避するためには、欠陥救済は
不可決の要素である。

第２３．２４図はこの欠陥救済方式を示しており、第２
３図は故障（欠陥）検出方式、第２４図は検出した欠陥
プロセッサを回避する（バイパス）する方式を示す。

第２３図では、テスト・データ発生回路１２７により、
各プロセッサの重み係数メモリ１に所定のデータを設定
すると共に、ローカル入力データバス１１０を介して所
定のテスト・データをアレイの左端から入力していく。

今、被テスト・プロセッサが左から３番目のＳＰＥ３で
ある場合、テスト・データはローカル入力データバス１
１０を介して該プロセッサの手前のプロセッサＳＰＥＩ
、ＳＰＥ２をバイパスする。

被テスト・プロセッサＳＰＥ３では、入力データはプロ
セッサ内処理回路により処理され、処理結果はゲートを
経由してローカル・データバス１０７に出力される。

どのプロセッサのどのデータをローカル・データバス１
０７に出力するかは、テストアドレスバス１２５を経由
して入力されるアドレスを各プロセッサ内のアドレスデ
コーダ１２６でデコードすることにより行なわれる。上
記試験結果は比較器１２９に入力され、期待値メモリ１
２８からのデータと比較され、その比較結果１３１は判
定回路１３０に渡され、欠陥の分析がなされる。これに
より回避すべきプロセッサが検出される。

第２４図は検出された欠陥プロセッサを回避する方法を
示している。ここでは３番目のプロセッサＳＰＥ３を回
避することを想定している０回避するプロセッサのアド
レスがテストアドレスバス１２５を介して転送されると
、ＳＰＥ３のアドレスデコーダ１２６がその回避命令を
ラッチし、信号処理を行なうことなく信号をバイパスす
る。

その際、前段よりの出力データ１０に対しては１段の出
力データ・ラッチが入るが、前段からの入力データ８に
対しては２段のラッチが入っているため（第１，１３１
ｉｄのラッチ５．６）、バイパスされる入力データ８が
出力データ１０に比較して１段余計に遅延を受けること
になる。これを防ぐため、本実施例ではラッチ５，６の
一方をスルー・ラッチ１３２として、入力データ８に対
しても遅延を１段のみにそろえている。

このようにして、すべてのデータがプロセッサＳＰＥ３
を回避する。バイパス制御回路１２７が複数のバイパス
プロセッサに対して回避命令を発行できることはもちろ
んである。

【発明の効果〕

（１）本発明では、複雑なニューラルネットの接続を、
シストリック・アレイ・プロセッサを用いることにより
隣接プロセッサ間の接続でのみ実現することが出来る。

これにより、各ニューロンの負荷は隣接ニューロン・プ
ロセッサ１個のみとなり、大規模ニューラルネットに対
しても、負荷容址を抑え、高速処理が可能となった。

さらに、公知例（２）と異なり、入力データと出力デー
タに対して独立の信号線を設けることにより、これらの
信号の競合を抑え、ビデオ（１号を連続して処理できる
などの高速処理が可能になると共に、入力データ数Ｎと
二ニーロン数Ｍの大小の制約を受けない汎用のニューラ
ルネットが構成できる。

（２）本発明では各入力データ（Ｘｊ）（１≦ｊ≦Ｎ）
に対して初段プロセッサから順次積和処理を開始するた
め、公知例（２）にあるような初段プロセッサから最終
段プロセッサへのデータの巡回が不要となり、これら両
端プロセッサの同期をとることなく大規模のニューラル
ネットを構成することが出来る。

（３）本発明では、各ニューラルネット層に１個のシグ
モイド関数ルックアップテーブルがあるのみなので、こ
れらの変換テーブルのプログラミングが容易である。

（４）本発明において、各プロセッサ・エレメントにシ
グモイド関数ルックアップテーブル及びそのバイパス回
路、ローカルデータバス及びローカル入力データバスを
追加することにより、同一ハードウェア上で、プログラ
ムにより各穐ニューラルネットに対応可能な汎用シスト
リック・アレイを構成することが出来る。

（５）本発明においては、１組の乗算器、加算器を用い
て複数ニューロンの処理を行なえるため。

要求処理速度及びニューラルネットの規模に合わせて最
適なプロセッサ構成をとることが出来る。

（６）各プロセッサ・エレメントにテストアドレスバス
及びアドレスデコーダを追加することによす、故障検出
を可能とする。また、さらにバイパス用に入力データ遅
延ラッチをスルーとすることにより、入力データと出力
データの遅延をそろえ、故障プロセッサの回避を行なう
ことが出来た。

【図面の簡単な説明】

第１図は本発明によるシストリック・プロセッサ・エレ
メント基本回路構成、第２図は本発明によるシストリッ
ク・アレイを用いた１層ニューラルネット、第３図は本
発明によるシストリック・プロセッサ・エレメント基本
面路の動作タイミングチャート、第４図は本発明による
シストリック・アレイを用いた１層ニューラルネットの
動作タイミングチャート、第５図は本発明によるシスト
リック・アレイを用いた２層ニューラルネット、第６図
は本発明によるシストリック・アレイを用いた多層ニュ
ーラルネット、第７図は本発明によるシストリック・ア
レイを用いた巡回型１層ニューラルネット、第８図は本
発明によるシストリック・アレイを用いたハミング型２
層ニューラルネット、第９図は本発明によるシストリッ
ク・アレイを用いた分割型ニューラルネット、第１０図
は本発明によるシストリック・アレイを用いた分割型ニ
ューラルネットの動作タイミングチャート。第１１図は本発明によるシストリック・アレイを用いた
一般化多層ニューラルネット、第１２図は本発明による
ニューラルネット構成変更を可能とするシストリック・
プロセッサ・エレメント、第１３図は本発明によるニュ
ーラルネットの構成変更１（３層ニューラルネット）、
第１４図は本発明によるニューラルネットの構成変更２
（ハミング型ニューラルネット）、第１５図は本発明に
よるニューラルネットの構成変更３（分割型ニューラル
ネット）、第１６図は並列演算器を使用した本発明によ
るシストリック・プロセッサ・エレメントの回路構成、
第１７図は直列演算器を使用した本発明によるシストリ
ック・プロセッサ・エレメントの回路構成、第１８図は
複数ニューロンを処理する本発明によるシストリック・
プロセッサ・エレメント、第１９図は複数ニューロンを
処理する本発明によるシストリック・プロセッサ・エレ
メントの動作タイミング・チャート、第２０図は複数ニ
ューロンを処理する本発明によるシストリック・プロセ
ッサ・エレメントを用した１層ニューラルネット、第２
１図は複数ニューロンを処理する本発明によるシストリ
ック・プロセッサ・エレメントの回路の実施例、第２２
図は係数メモリ、シグモイド関数ルックアップテーブル
のプログラミングを容易とする本発明によるシストリッ
ク・プロセッサ・エレメントの回路の実施例、第２３図
は本発明によるシストリック・プロセッサ・アレイの故
障検出を行うための回路図、第２４図は本発明による故
障したシストリック・プロセッサ・エレメントのバイパ
ス回路動作を行うための回路図をそれぞれ示し、第２５
図は公知のニューロンの基本機能を示す回路図、第２６
図は公知の１層ニューラルネット、第２７図は公知例（
２）のシストリック・プロセッサ・エレメント、第２８
図は公知例（２）のシストリック・プロセッサ・エレメ
ントを用いた１層ニューラルネット、第２９図は公知例
（２）のシストリック・プロセッサ・エレメントを用い
た１層ニューラルネットの動作タイミングチャート１．
第３０図は公知例（２）のシストリック・プロセッサ・
エレメントを用いた１層ニューラルネットの動作タイミ
ングチャート２．第３１図は公知の多層ニューラルネッ
ト、第３２図は公知の巡回型１層ニューラルネット（ホ
ップフィールド型ニューラルネット）、第３３図は公知
の巡回型２層ニューラルネット（ハミング型ニューラル
ネット）を示す。１・・・係数メモリ、２・・・乗算器、３・・・加算器
、４・・・アキュムレータ、５・・・入力データ・ラッ
チ１．６・・・人力データ・ラッチ２，７・・・主力デ
ータラッチ、８・・・前段よりの入力データ、９・・・
次段への入力データ、１０・・・前段よりの出力データ
、１１・・・次段への出力データ、１２・・・出力デー
タ・マルチプレクサ、１３・・・係数、１４・・・ニュ
ーロン積和出力。１５・・・シストリック・プロセッサ・エレメント。１６・・・シグモイド関数、１７・・・１層ニューラル
ネット入力、１８・・・１層ニューラルネット出力、１
９・・・ゼロ入力、２０・・・１層ニューラルネット積
和出力、２１・・・第２Ｍシストリック・プロセッサ・
エレメント、２２・・・第１層シストリック・プロセッ
サ・エレメント、２３・・・第１層ニューラルネット出
力、２４・・・第１層ニューラルネット入力。２５・・・第２層ニューラルネット出力、２６・・・ニ
ューラルネット出力、２７・・・ニューラルネット入力
、２８・・・第２層ニューラルネット入力、２９・・・
第２層ニューラルネット出力、３０・・・第１層ニュー
ラルネット入力、３１・・・第１層ニューラルネット出
力、３２・・・第２層シストリック・プロセッサ・エレ
メント、３３・・・第２層シストリック・プロセッサ・
エレメント、３４・・・第ｐ層シグモイド関数ルクアッ
プテーブル、３５・・・第Ｐ層シグモイド関数ルクアツ
プテーブル、３６・・・アドレスカウンタ、３７・・・
入力データラッチ、３８・・・係数ラッチ。３９・・・リセット信号作成用遅延ラッチ、４０・・・
リセット信号作成用遅延ラッチ、４１・・・積和パイプ
ライン演算用ラッチ、４２・・・アキュムレーション・
リセット・ゲート、４３・・・Ｒ８Ｔ信号遅延ラツチ、
４４・・・Ｒ８Ｔ信号遅延ラッチ、４５・・・ＥＮＢＬ
信号遅延ラッチ、４６・・・ＥＮＢＬ信号遅延ラッチ、
４７・・・クロック・バッファ、４８・・・並列演算器
使用シストリック・プロセッサ、４９・・・並列乗算器
。５０・・・アドレス、５１・・・入力データ・マルチプ
レクサ、５２・・・入力データ、５８・・・出力データ
、５４・・・ニューロン入力、５５・・・ニューロン出
力。５６・・・演算増幅器、５７・・・容量、５８・・・コ
ンダクタンス、５９・・・共通入力線、６０・・・演算
増幅器入力線、６１・・・データラッチ、６２・・・積
和データ遅延ラッチ、６３・・・入力データ、６４・・
・出力ゲート制御信号、６５・・・出力ゲート、６６・
・・直並列ニューロン・プロセッサ、６７・・・積和出
力バス、６８・・・入力データバス、６９・・・バッフ
ァ出力、７０・・・バッファ、７１・・・係数レジスタ
、７２・・・積和出力、７３・・・クロック生成用ＡＮ
Ｄゲート、７４・・・５ＹＮＣＩ生成用Ｄフリツププロ
ツプ、７５・・・部分積生成用ＡＮＤゲート、７６・・
・加算器Ａ入力マルチプレクサ、７７・・・乗算用アキ
ュムレータ、７８・・・プログラム・メモリ、７９・・
・直列演算器使用シストリック・プロセッサ、８０・・
・シフト回路、８１・・・アキュムレータ・アレイ、８
２・・・アキュムレーション・バス、８３・・・バッフ
ァ・アレイ、８４・・・出力データ・ローカルバス、８
５・・・複数ニューロン処理直並列プロセッサ、８６・
・・複数ニューロン処理シストリック・プロセッサ・エ
レメント、８７・・・データ遅延ラッチ、８８・・・］
、／Ｐクロック使用データ遅延ラッチ、８９・・・前段
よりの出力データ、９０・・・次段への出力データ、−
９１・・・外部係数メモリ、９２・・・高速係数読みだ
し用シフトレジスタ、９３・・・１ラインにニーロン２
個）係数アクセス用アドレス・カウンタ／デコーダ、９
４・・・外部メモリ制御信号、９５・・・加算機器出力
マルチプレクサ、９６・・・メモリ・カウンタ／デコー
ダ、９７・・・係数ラッチ、９８・・・乗算結果ラッチ
、９９・・・アキュムレータ・ラッチ、１００・・・ア
ドレス・カウンタ／デコーダ、１０１・・・デュアルポ
ート外部係数メモリ、１０２・・・ホストＣＰＵ、１０
３・・・ホスト・データバス、１０４・・・ホスト・ア
ドレスバス、１０５・・・アドレス・デコーダ、１０６
・・・シグモイド関数ルックアップテーブル・バイパス
用マルチプレクサ、１０７・・・ローカル・データバス
、１０８・・・双方向ゲート、１０９・・・ゲート、１
１０・・・ローカル・入力データバス、１１１・・・可
変構造シストリック・プロセッサ・エレメント。１１２・・・入力データマルチプレクサ、１１３・・・
出力データマルチプレクサ、１１４・・・積和回路、１
１５・・・第１層ブロック１シストリツク・プロセッサ
・エレメント、１１６・・・第１ブロツク２シストリツ
ク・プロセッサ・エレメント、１１７・・・ブロックト
ルックアップ・テーブル、１１８・・・ブロック２・ル
ックアップ・テーブル、１１９・・・ブロック１出力ゲ
ート、１２０・・・ブロック２出力ゲート、１２１・・
・ローカル・データバス、１２２・・・複数ニューロン
処理積和回路、１２３・・・複数ニューロン係数メモリ
、１２４・・・内蔵シグモイド関数ルックアップ・テー
ブル、１２５・・・テスト・アドレスバス、１２６テス
ト・アドレス・デコーダ。１２７・・・テスト・データ発生／バイパス制御回路、
１２８・・・期待値メモリ、１２９・・・比較器、１３
０・・・判定回路、１３１・・・比較器出力、１３２・
・・スルーラッチ、１３３・・・係数シフトレジスタ、
１３４・・・入出力切換マルチプレクサ、１３５・・・
非線型関数発生機構、１３Ｂ・・・シストリック・プロ
セッサ・エレメント、１３７・・・入力データ切換マル
チプ第１６図第２１図ＤＭ＠ｕｔ２５、ニューロン５４．ニューロン入力５５、ニューロン出力第２５図ｘｊ：入力ｍｉｊ　：ｌＸ敗Ｎ：入力端子数ｆ　（ｘ）　：非線形関数（シグモイド関数等）第２７
１！１ＰＥ　ｉ＞　　Ｘ

Claims

【特許請求の範囲】

１．Ｎ個の入力信号Ｘｊ（ｊ＝１〜Ｎ）のそれぞれに係
数ｍｉｊを乗じて加算し、その積和値：ＮＳｉ：Σｍｉｊ＊Ｘｊｊ：１を生成するＮ個のニユーロン回路からなる１層のニユー
ラル・ネットにおいて、　１層のニユーラルネットに入力される入力信号Ｘｊ（
ｊ＝１〜Ｎ）をシリアル入力データとし、入力データ遅
延用の２段ラッチ，積和出力データ遅延用の１段ラッチ
，係数メモリ，積和のための乗算および，加算手段，ア
キユムレータ，前段からの積和出力Ｓｋ（ｋ＝１〜ｉ−
１）と上記回路により計算される積和結果Ｓｉの選択を
行なうためのマルチプレクサから構成される複数のシス
トリック・プロセッサ・エレメントＳＰＥ−ｉ（ｉ：１
〜Ｍ）で積和を順次実行し、１層分のシリアル積和出力
Ｓｉ（ｉ：１〜Ｍ）を得ることを特徴とするニユーラル
・ネット信号処理プロセッサ。
２．請求項１記載の１層ニユーラル・ネット用プロセッ
サのシリアル出力に第１層と同様に構成されたＭ２個の
プロセッサ・エレメントで構成された第２の１層ニユー
ラル・ネット用プロセッサの入力を応答せしめ、２層目
のプロセッサ・アレイからの積和出力を得ることを特徴
とする２層ニユーラル・ネット信号処理プロセッサ。
３．請求項１記載の１層ニユーラル・ネット用プロセッ
サ・アレイのシリアルに第２層の同様なＭ２のプロセッ
サ・エレメントで構成された１層ニユーラル・ネット用
プロセッサ・アレイの入力を応答せしめ、２層目のプロ
セッサ・アレイからの積和出力に第３層のプロセッサ・
アレイの入力を応答せしめ、以下同様にして第ｐ−１層
ニユーラルネット用プロセッサ・アレイのシリアル出力
に第ｐ層ニユーラルネット用プロセッサ・アレイの入力
を応答せしめ、最終的に第Ｐ層からの積和出力を得るこ
とを特徴とする多層ニユーラル・ネット信号処理プロセ
ッサ。
４．請求項１記載の１層ニユーラル・ネット用プロセッ
サ・アレイに．該プロセッサ・アレイのシリアルに再び
該プロセッサ・アレイの入力に応答するか、新規の入力
を外部から該プロセッサ・アレイに入力するかを選択す
る入力データ・マルチプレクサを設けたことを特徴とす
る巡回型ニユーラル・ネット信号処理プロセッサ。
５．請求項１記載の１層ニユーラルネット用プロセッサ
・アレイの出力Ｙｊ（ｊ：１〜Ｍ）を請求項４記載の巡
回型ニユーラルネット用プロセッサ・アレイに入力し、
ここから出力を得ることを特徴とするハミング型ニユー
ラル・ネット信号処理プロセッサ。
６．請求項１記載の１層ニユーラルネット用プロセッサ
・アレイを２個以上のブロックに分割し、それぞれのブ
ロックからの出力をトライステート・ゲート手段を介し
てローカルデータバスに順次出力し、これを次の層のニ
ユーラルネット用プロセッサ・アレイに転送することを
特徴とする分割ニユーラルネット信号処理プロセッサ。
７．請求項３記載の多層ニユーラルネット用プロセッサ
の任意の層を請求項４記載の巡回型ニユーラルネット用
プロセッサ・アレイ、または請求項６記載の分割ニユー
ラル・ネット用プロセッサ・アレイで置き換えたことを
特徴とするニユーラル・ネット信号処理プロセッサ。
８．請求項１記載のニユーラルネット信号処理プロセッ
サに使用される各プロセッサ・エレメントに非線形関数
ルックアップ・テーブル及び該非線形関数ルックアップ
・テーブルをバイパスする一組のマルチプレクサ，デー
タをバイパスするためのローカルデータバス，入力デー
タをバイパスするためのローカル入力データバス，積和
出力を上記ローカルデータバスに出力するためのゲート
，ローカルデータバスまたはローカル入力データバスか
ら入力データを得るためのゲート，前段からのデータも
しくはバイパスや帰還されたデータを選択するためのマ
ルチプレクサ，前段からの積和出力または所定の入力を
選択するためのマルチプレクサを付加したことを特徴と
するニユーラルネット信号処理プロセッサ。
９．請求項１から請求項８までのいずれかに記載のシス
トリックプロセッサ・エレメントに並列加算器，並列乗
算器を使用したことを特徴とするニユーラルネット信号
処理プロセッサ。
１０．請求項１から請求項８までのいずれかに記載のシ
ストリックプロセッサ・エレメントに並列加算器及びこ
れを用いた直列乗算器を使用したことを特徴とするニユ
ーラルネット信号処理プロセッサ。
１１．請求項１から請求項８までのいずれかに記載のシ
ストリックプロセッサ・エレメントにおいて、ニユーロ
ンＰ個分の係数ｍｉｊ（ｉ：１〜Ｐ，ｊ＝１〜Ｎ）、１
個の入力保持用レジスタ、Ｐ個のアキユムレータ、ｐ個
のバッフアメモリ、Ｐ段のシフトレジスタを付加し、Ｐ
個のニユーロンの処理を実行することを特徴とするニユ
ーラルネット信号処理プロセッサ。
１２．請求項１及び請求項１１記載までのいずれかに係
数メモリにおいて、シフトレジスタを介して高速に係数
ｍｉｊをメモリから読みだすことを特徴とするニユーラ
ル・ネット信号処理プロセッサ。
１３．請求項１２記載の係数メモリにおいて、読みだし
と独立したポートを介してホスト・プロセッサより係数
を書き換えることを特徴とするニユーラル・ネット信号
処理プロセッサ。
１４．請求項１から請求項１３までのいずれかに記載の
シストリックプロセッサ・エレメントにおいて、ホスト
・プロセッサの非線形関数ルックアップ・テーブル・メ
モリの内容がホスト・プロセッサにより書き換え可能な
シストリック・プロセッサ・エレメントを用いたニユー
ラル・ネット信号処理プロセッサ。
１５．請求項１から請求項１４までのいずれかに記載の
シストリック・プロセッサ・エレメントに出力データ用
ゲート，バイパス用遅延ラッチ，テストアドレスバス，
テストデータバス，アドレスデコーダを付加し、シスト
リック・アレイ外部には、テストデータ発生／バイパス
制御回路，比較器，期待値メモリ・判定回路を付加する
ことにより、故障検出及び故障プロセッサのバイパスを
可能としたニユーラル・ネット信号処理プロセッサ。