JPH04344970A - ニューラルネット処理装置 - Google Patents
ニューラルネット処理装置Info
- Publication number
- JPH04344970A JPH04344970A JP3117774A JP11777491A JPH04344970A JP H04344970 A JPH04344970 A JP H04344970A JP 3117774 A JP3117774 A JP 3117774A JP 11777491 A JP11777491 A JP 11777491A JP H04344970 A JPH04344970 A JP H04344970A
- Authority
- JP
- Japan
- Prior art keywords
- processor
- neural network
- processing
- processors
- ring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Multi Processors (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネット処理
を高速に行う装置の並列プロセッサ構成をもつニューラ
ルネット処理装置に関するものである。
を高速に行う装置の並列プロセッサ構成をもつニューラ
ルネット処理装置に関するものである。
【０００２】
【従来の技術】図３に示すような第１層から第Ｎ層を持
つ公知の階層型ニューラルネットにおいて、信号が第１
層（入力層）から第Ｎ層（出力層）まで順に伝わってい
く順方向処理を考えた場合、ｎ層の各ニューロン毎に行
われる演算は、
つ公知の階層型ニューラルネットにおいて、信号が第１
層（入力層）から第Ｎ層（出力層）まで順に伝わってい
く順方向処理を考えた場合、ｎ層の各ニューロン毎に行
われる演算は、
【０００３】
【数１】
【０００４】となる。また、教師データを用いて行う学
習処理（逆方向処理）は、バックプロパゲーションアル
ゴリズム（参考文献：Ｍｃ Ｃｌｅｌｌａｎｄ， Ｒｕ
ｍｅｌｈａｌｔ， ａｎｄ ｔｈｅ ＰＤＰＲｅｓｅａ
ｒｃｈ Ｇｒｏｕｐ， ”ＰＡＲＡＬＬＥＬ ＤＩＳＴ
ＲＩＢＵＴＥＤ ＰＲＯＣＥＳＳＩＮＧ”， ＭＩＴ
Ｐｒｅｓｓ， １９８６）を用いて、
習処理（逆方向処理）は、バックプロパゲーションアル
ゴリズム（参考文献：Ｍｃ Ｃｌｅｌｌａｎｄ， Ｒｕ
ｍｅｌｈａｌｔ， ａｎｄ ｔｈｅ ＰＤＰＲｅｓｅａ
ｒｃｈ Ｇｒｏｕｐ， ”ＰＡＲＡＬＬＥＬ ＤＩＳＴ
ＲＩＢＵＴＥＤ ＰＲＯＣＥＳＳＩＮＧ”， ＭＩＴ
Ｐｒｅｓｓ， １９８６）を用いて、
【０００５】
【数２】
【０００６】となる。これらの演算は各ニューロン毎に
行われるため、各層のニューロンを複数のプロセッサに
割り付け、一層毎に上記の演算を並列に行うことで処理
を高速化できる。ニューラルネット処理を高速に行う装
置の主なプロセッサ構成として図４に示すリング結合型
、図５に示すスイッチ結合型、図６に示すメッシュ結合
型があり、いずれも各ニューロンの出力値を次の層の全
てのニューロンへ伝搬させる上で生じるプロセッサ間デ
ータ転送を各ニューロン毎の演算と組み合わせて並列化
している。
行われるため、各層のニューロンを複数のプロセッサに
割り付け、一層毎に上記の演算を並列に行うことで処理
を高速化できる。ニューラルネット処理を高速に行う装
置の主なプロセッサ構成として図４に示すリング結合型
、図５に示すスイッチ結合型、図６に示すメッシュ結合
型があり、いずれも各ニューロンの出力値を次の層の全
てのニューロンへ伝搬させる上で生じるプロセッサ間デ
ータ転送を各ニューロン毎の演算と組み合わせて並列化
している。
【０００７】その中でリング結合型は、複数のプロセッ
サをリング状に接続する構成であり、ｎ層の各ニューロ
ンが前段の層の各ニューロンからの出力値を受けて行う
積和演算において、図７に示すように階層型ニューラル
ネットの各ニューロンを各プロセッサに割り付けられる
。各層毎の演算処理において各プロセッサ単位の積和演
算結果をリングにより転送データとして順次回していく
ことによってデータ転送と演算の並列化を行っている。 １つの転送データがリング上を一周すると１つの層の演
算処理が終了することになる。なお、学習時の転送デー
タは、各プロセッサ単位のニューロンの逆伝搬誤差とな
る。
サをリング状に接続する構成であり、ｎ層の各ニューロ
ンが前段の層の各ニューロンからの出力値を受けて行う
積和演算において、図７に示すように階層型ニューラル
ネットの各ニューロンを各プロセッサに割り付けられる
。各層毎の演算処理において各プロセッサ単位の積和演
算結果をリングにより転送データとして順次回していく
ことによってデータ転送と演算の並列化を行っている。 １つの転送データがリング上を一周すると１つの層の演
算処理が終了することになる。なお、学習時の転送デー
タは、各プロセッサ単位のニューロンの逆伝搬誤差とな
る。
【０００８】
【発明が解決しようとする課題】従来までのニューラル
ネット処理マシン構成は、単一の階層型ニューラルネッ
トの処理においては非常に高速性を発揮するが、より高
性能なニューラルネット処理を実現するため、複数の階
層型ニューラルネットを組み合わせるような場合従来の
ニューラルネット処理マシンの構成では、ニューラルネ
ット処理の並列化には限界がある。
ネット処理マシン構成は、単一の階層型ニューラルネッ
トの処理においては非常に高速性を発揮するが、より高
性能なニューラルネット処理を実現するため、複数の階
層型ニューラルネットを組み合わせるような場合従来の
ニューラルネット処理マシンの構成では、ニューラルネ
ット処理の並列化には限界がある。
【０００９】本発明では、上記のような課題を解決する
一手法として、複数の階層型ニューラルネットの出力が
次の処理へ渡される処理系において、階層型ニューラル
ネット処理の並列性を保持した形で全体処理のパイプラ
イン化による高速化を可能にすることを目的とする。
一手法として、複数の階層型ニューラルネットの出力が
次の処理へ渡される処理系において、階層型ニューラル
ネット処理の並列性を保持した形で全体処理のパイプラ
イン化による高速化を可能にすることを目的とする。
【００１０】
【課題を解決するための手段】本発明は、同時に複数の
一対一プロセッサ間データ転送を行うことが可能である
多段接続型スイッチでプロセッサ群を接続し、それと同
数の別のプロセッサ群をリング型結合させ、先のプロセ
ッサ群と１個づつが一対となって１個のメモリを共有す
る構成としたことを最も主要な特徴とする。
一対一プロセッサ間データ転送を行うことが可能である
多段接続型スイッチでプロセッサ群を接続し、それと同
数の別のプロセッサ群をリング型結合させ、先のプロセ
ッサ群と１個づつが一対となって１個のメモリを共有す
る構成としたことを最も主要な特徴とする。
【００１１】
【作用】複数の階層型ニューラルネット処理は、多段接
続型スイッチ側のプロセッサ群で分担され、それぞれの
ネット毎に多段接続型スイッチ結合方式による並列処理
で行われる。それらの出力結果が各メモリに書き込まれ
るとリング側のプロセッサがその結果を読み込み、次の
処理に入る。このリング側プロセッサは、多段接続型ス
イッチ側のプロセッサとは独立に動作するため、多段接
続型スイッチ側のプロセッサは出力結果をメモリに書き
込んだ後、ただちに次の数値による処理を開始できる。
続型スイッチ側のプロセッサ群で分担され、それぞれの
ネット毎に多段接続型スイッチ結合方式による並列処理
で行われる。それらの出力結果が各メモリに書き込まれ
るとリング側のプロセッサがその結果を読み込み、次の
処理に入る。このリング側プロセッサは、多段接続型ス
イッチ側のプロセッサとは独立に動作するため、多段接
続型スイッチ側のプロセッサは出力結果をメモリに書き
込んだ後、ただちに次の数値による処理を開始できる。
【００１２】このようにしてリング側のプロセッサによ
り、次の処理が多段接続型スイッチ側のプロセッサによ
る階層型ニューラルネットの並列処理を妨げることなく
継続できるため、全体の処理系はパイプラインによる高
速処理が可能となる。
り、次の処理が多段接続型スイッチ側のプロセッサによ
る階層型ニューラルネットの並列処理を妨げることなく
継続できるため、全体の処理系はパイプラインによる高
速処理が可能となる。
【００１３】
【実施例】図１は、本発明の実施例としてのニューラル
ネット処理装置の構成図であり、処理形態は複数の階層
型ニューラルネットの出力により次の段の処理が行われ
る形態である。
ネット処理装置の構成図であり、処理形態は複数の階層
型ニューラルネットの出力により次の段の処理が行われ
る形態である。
【００１４】同図中の１は多段接続型スイッチ、２は入
出力バッファ、３と４はプロセッサ、５はメモリ、６は
ＦＩＦＯである。７は、例えば図示しない外部の処理装
置と本発明のニューラルネット処理装置の各プロセッサ
と通信データ転送等を行うためのインタフェ−スである
。
出力バッファ、３と４はプロセッサ、５はメモリ、６は
ＦＩＦＯである。７は、例えば図示しない外部の処理装
置と本発明のニューラルネット処理装置の各プロセッサ
と通信データ転送等を行うためのインタフェ−スである
。
【００１５】プロセッサ３は入出力バッファ２を介して
多段接続型スイッチ１につながっており、各プロセッサ
が他のプロセッサと個別に独立したデータ転送ができる
。プロセッサ４はＦＩＦＯ６を介してリング状に接続さ
れ、隣接したプロセッサにデータを転送できる。また、
プロセッサ３とプロセッサ４とが対となって１つのメモ
リ５を共有する形に接続されている。
多段接続型スイッチ１につながっており、各プロセッサ
が他のプロセッサと個別に独立したデータ転送ができる
。プロセッサ４はＦＩＦＯ６を介してリング状に接続さ
れ、隣接したプロセッサにデータを転送できる。また、
プロセッサ３とプロセッサ４とが対となって１つのメモ
リ５を共有する形に接続されている。
【００１６】全体の処理系のハードウェアへの割り付け
は、図２に示すようにｎ個の階層型ニューラルネットＡ
１〜Ａｎを多段接続型スイッチ側のプロセッサへ割り付
け、それらの出力による次段ニューラルネット処理Ｂは
リング構成のプロセッサに割り付けられる。各階層型ニ
ューラルネットに割り付けられるプロセッサ数は、ネッ
トの規模に応じてそれぞれの処理時間がほぼ等しくなる
ように振り分ける。各階層型ニューラルネット処理は、
各グループ内プロセッサに閉じた形で行われ、積和演算
結果や逆伝搬誤差の転送は多段接続型スイッチによって
行われる。
は、図２に示すようにｎ個の階層型ニューラルネットＡ
１〜Ａｎを多段接続型スイッチ側のプロセッサへ割り付
け、それらの出力による次段ニューラルネット処理Ｂは
リング構成のプロセッサに割り付けられる。各階層型ニ
ューラルネットに割り付けられるプロセッサ数は、ネッ
トの規模に応じてそれぞれの処理時間がほぼ等しくなる
ように振り分ける。各階層型ニューラルネット処理は、
各グループ内プロセッサに閉じた形で行われ、積和演算
結果や逆伝搬誤差の転送は多段接続型スイッチによって
行われる。
【００１７】階層型ニューラルネットの結果を受けて行
われる次段処理においては、各プロセッサはメモリから
取り込んだデータを用いて処理を行い、必要に応じてプ
ロセッサの識別ヘッダを付加し、隣接するプロセッサに
転送する。各プロセッサは転送されてくるデータのヘッ
ダにより必要なデータを識別することができる。プロセ
ッサリング上の転送データの数は、最も多いときプロセ
ッサ数となる。
われる次段処理においては、各プロセッサはメモリから
取り込んだデータを用いて処理を行い、必要に応じてプ
ロセッサの識別ヘッダを付加し、隣接するプロセッサに
転送する。各プロセッサは転送されてくるデータのヘッ
ダにより必要なデータを識別することができる。プロセ
ッサリング上の転送データの数は、最も多いときプロセ
ッサ数となる。
【００１８】ここでリング結合ネットワークによる各プ
ロセッサ間の通信は、例えばローカルエリアネットワー
ク（ＬＡＮ）で用いられている公知のパケット型通信技
術を用いることができる。また、多段接続型スイッチで
は各プロセッサは宛先等（アドレスヘッダ）を付与した
パケット型データを送出し、多段接続型スイッチは該パ
ケット型データのアドレスヘッダを用いて、自己ルーチ
ングを行う。
ロセッサ間の通信は、例えばローカルエリアネットワー
ク（ＬＡＮ）で用いられている公知のパケット型通信技
術を用いることができる。また、多段接続型スイッチで
は各プロセッサは宛先等（アドレスヘッダ）を付与した
パケット型データを送出し、多段接続型スイッチは該パ
ケット型データのアドレスヘッダを用いて、自己ルーチ
ングを行う。
【００１９】ＡＴＭ（非同期転送モード）交換機通話路
等に用いられる公知の自己ルーチング型スイッチの技術
を用いることができる。
等に用いられる公知の自己ルーチング型スイッチの技術
を用いることができる。
【００２０】
【発明の効果】以上説明したように本発明によれば、複
数の階層型ニューラルネットの出力により更に次の処理
が始まるような段階的なニューラルネット処理系におい
て、メモリを介して多段接続型スイッチで結合されたプ
ロセッサ群とリング型結合のプロセッサ群を連結させた
構成をとることで、段階別に処理を独立させ、パイプラ
インによる高速処理を可能とする。またメモリを共有し
た二つのプロセッサ群の独立性を利用して、同一データ
を用いた異なる処理を並列に行えるなど、他の多様なア
ルゴリズムに柔軟に対応できる。
数の階層型ニューラルネットの出力により更に次の処理
が始まるような段階的なニューラルネット処理系におい
て、メモリを介して多段接続型スイッチで結合されたプ
ロセッサ群とリング型結合のプロセッサ群を連結させた
構成をとることで、段階別に処理を独立させ、パイプラ
インによる高速処理を可能とする。またメモリを共有し
た二つのプロセッサ群の独立性を利用して、同一データ
を用いた異なる処理を並列に行えるなど、他の多様なア
ルゴリズムに柔軟に対応できる。
【図１】本発明の実施例としてのニューラルネット処理
装置の構成図である。
装置の構成図である。
【図２】ニューラルネットのハードウェア割り付けを示
す図である。
す図である。
【図３】階層型ニューラルネット概略図である。
【図４】リング型プロセッサ構成図である。
【図５】スイッチ型プロセッサ構成図である。
【図６】メッシュ型プロセッサ構成図である。
【図７】リング結合型プロセッサ構成における階層型ニ
ューラルネットの割り付けを示す図である。
ューラルネットの割り付けを示す図である。
１ 多段接続型スイッチ
２ 入出力バッファ
３ プロセッサ
４ プロセッサ
５ メモリ
６ ＦＩＦＯ
Claims (1)
- 【請求項１】 複数プロセッサ間の１対１のデータ転
送を行う多段接続型スイッチと、その多段接続型スイッ
チの入出力に接続されるプロセッサ群と、リング状に接
続されたプロセッサ群と、それら二つのプロセッサ群の
それぞれのプロセッサ一個づつが一対となりメモリを共
有することを特徴とするニューラルネット処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3117774A JPH04344970A (ja) | 1991-05-23 | 1991-05-23 | ニューラルネット処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3117774A JPH04344970A (ja) | 1991-05-23 | 1991-05-23 | ニューラルネット処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04344970A true JPH04344970A (ja) | 1992-12-01 |
Family
ID=14719997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3117774A Pending JPH04344970A (ja) | 1991-05-23 | 1991-05-23 | ニューラルネット処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04344970A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019095861A (ja) * | 2017-11-17 | 2019-06-20 | 株式会社東芝 | ニューラルネットワーク装置 |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| JP2022511581A (ja) * | 2019-11-15 | 2022-02-01 | バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド | フレキシブルケーブル接続に基づく分散型ａｉトレーニングトポロジー |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
| US12248367B2 (en) | 2020-09-29 | 2025-03-11 | Hailo Technologies Ltd. | Software defined redundant allocation safety mechanism in an artificial neural network processor |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01189755A (ja) * | 1988-01-25 | 1989-07-28 | Nec Corp | ニューラルネットワークシミュレータ |
| JPH023833A (ja) * | 1988-06-20 | 1990-01-09 | Toshiba Corp | バス制御システム |
| JPH02105253A (ja) * | 1988-10-13 | 1990-04-17 | Fujitsu Ltd | 神経回路網シミュレータ |
-
1991
- 1991-05-23 JP JP3117774A patent/JPH04344970A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01189755A (ja) * | 1988-01-25 | 1989-07-28 | Nec Corp | ニューラルネットワークシミュレータ |
| JPH023833A (ja) * | 1988-06-20 | 1990-01-09 | Toshiba Corp | バス制御システム |
| JPH02105253A (ja) * | 1988-10-13 | 1990-04-17 | Fujitsu Ltd | 神経回路網シミュレータ |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11461614B2 (en) | 2017-04-04 | 2022-10-04 | Hailo Technologies Ltd. | Data driven quantization optimization of weights and input data in an artificial neural network |
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11238331B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method for augmenting an existing artificial neural network |
| US11263512B2 (en) | 2017-04-04 | 2022-03-01 | Hailo Technologies Ltd. | Neural network processor incorporating separate control and data fabric |
| JP2019095861A (ja) * | 2017-11-17 | 2019-06-20 | 株式会社東芝 | ニューラルネットワーク装置 |
| JP2022511581A (ja) * | 2019-11-15 | 2022-02-01 | バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド | フレキシブルケーブル接続に基づく分散型ａｉトレーニングトポロジー |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
| US12248367B2 (en) | 2020-09-29 | 2025-03-11 | Hailo Technologies Ltd. | Software defined redundant allocation safety mechanism in an artificial neural network processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5506998A (en) | Parallel data processing system using a plurality of processing elements to process data and a plurality of trays connected to some of the processing elements to store and transfer data | |
| US4507726A (en) | Array processor architecture utilizing modular elemental processors | |
| CN109445752B (zh) | 一种并行计算的系统 | |
| EP0460599B1 (en) | Massively parallel processor including queue-based message delivery system | |
| CN112070222A (zh) | 用于联邦学习的处理架构、加速器及方法 | |
| US11017290B2 (en) | Signal processing module, especially for a neural network and a neuronal circuit | |
| JPH04344970A (ja) | ニューラルネット処理装置 | |
| US4524428A (en) | Modular input-programmable logic circuits for use in a modular array processor | |
| EP0112885A1 (en) | CONNECTION LEVEL USED IN A MODULAR DATA FIELD PROCESSOR. | |
| US4543642A (en) | Data Exchange Subsystem for use in a modular array processor | |
| Bhuyan et al. | Performance analysis of FFT algorithms on multiprocessor systems | |
| JP2003067354A (ja) | 並列計算機システム及びプロセッサ間通信処理方法 | |
| WO1989009448A1 (fr) | Systeme de traitement de signaux en parallele | |
| Huang et al. | A parallel FFT algorithm for transputer networks | |
| US3988605A (en) | Processors for the fast transformation of data | |
| JPS63257052A (ja) | マルチプロセツサシステム | |
| JPH06110864A (ja) | 学習処理装置 | |
| JP3517432B2 (ja) | データ処理装置 | |
| JPH0767113B2 (ja) | 自己操舵ネットワーク | |
| JP3532102B2 (ja) | 間接ローテータグラフネットワーク及び間接ローテータグラフネットワークにおける伝送経路の設定方法 | |
| JPH05324584A (ja) | ハイパーキューブの割当方法 | |
| JP2001167084A (ja) | ベクトル演算処理装置及びベクトルデータ移送方法 | |
| Steinmetz et al. | Realization of digital filter algorithms by use of a high speed parallel processing architecture | |
| JPH01108676A (ja) | ベクトル処理装置 | |
| JP3704367B2 (ja) | スイッチ回路 |