JPH0769893B2 - ニューラルネットワークシミュレータ - Google Patents
ニューラルネットワークシミュレータInfo
- Publication number
- JPH0769893B2 JPH0769893B2 JP63015116A JP1511688A JPH0769893B2 JP H0769893 B2 JPH0769893 B2 JP H0769893B2 JP 63015116 A JP63015116 A JP 63015116A JP 1511688 A JP1511688 A JP 1511688A JP H0769893 B2 JPH0769893 B2 JP H0769893B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- message
- processing
- output
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Test And Diagnosis Of Digital Computers (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明はニューラルネットワークのシミュレーション技
術に関するものである。
術に関するものである。
（従来の技術） 従来、計算機上のソフトウェアによるシミュレータや、
複数のマイクロプロセッサをバス結合したシミュレータ
や、１つのアナログIC上にニューラルネットワークを実
現したシミュレータが存在していた。
複数のマイクロプロセッサをバス結合したシミュレータ
や、１つのアナログIC上にニューラルネットワークを実
現したシミュレータが存在していた。
（発明が解決しようとする問題点） しかし、ソフトウェアによるシミュレータではニューラ
ルネットワークの持つ並列性を活かすことができず高速
なシミュレーションは不可能であった。
ルネットワークの持つ並列性を活かすことができず高速
なシミュレーションは不可能であった。
複数のマイクロプロセッサをバスで結合したシステムで
は、シミュレーションのアルゴリズムの持つ並列性を活
かすことができず、さらにプロセッサの台数が増えた場
合にプロセッサ間の通信を効率よく行うことが出来なく
なり、大規模で高速なシミュレーションは不可能であっ
た。
は、シミュレーションのアルゴリズムの持つ並列性を活
かすことができず、さらにプロセッサの台数が増えた場
合にプロセッサ間の通信を効率よく行うことが出来なく
なり、大規模で高速なシミュレーションは不可能であっ
た。
アナログIC上にニューラルネットワークを実現したシス
テムでは、１度作ってしまうと回路の変更が不可能で柔
軟性に欠け、また大規模なネットワークを集積すること
も不可能であった。
テムでは、１度作ってしまうと回路の変更が不可能で柔
軟性に欠け、また大規模なネットワークを集積すること
も不可能であった。
本発明の目的は、大規模なニューラルネットワークの高
速なシミュレーションと、シミュレートするニューラル
ネットワークを柔軟に変更することが可能なシミュレー
タを提供することにある。
速なシミュレーションと、シミュレートするニューラル
ネットワークを柔軟に変更することが可能なシミュレー
タを提供することにある。
（問題点を解決するための手段） 本発明は、各ノードが重み付きリンクを介して互いにメ
ッセージを授受し、メッセージの内容に応じて内部状態
及び出力を変化させるニューラルネットワークをシミュ
レートする装置であって、ニューラルネットワークを分
割した部分ネットワークを並列に処理するための複数の
プロセッサと、該複数のプロセッサを接続し、プロセッ
サ間でメッセージを転送するための多段接続ネットワー
クから構成され、各プロセッサは、 （ａ）．他のプロセッサからのメッセージと自分自身か
らのメッセージをマルチプレックスするマルチプレク
サ、 （ｂ）．該マルチプレクサの出力をバッファリングする
入力バッファ、 （ｃ）．入力バッファ内のメッセージに従って割り当て
られた該部分ネットワーク内のノードオの入力処理をす
る演算装置、 （ｄ）．入力処理の結果を格納する記憶装置、 （ｅ）．該入力処理をする演算装置と該入力処理の結果
を格納する記憶装置間でデータ転送を行うための内部バ
ス、 （ｆ）．該入力処理の結果を格納する記憶装置の内容
と、ノードの内部状態を格納する記憶装置の内容とか
ら、ノードの内部状態の更新、及び該ノードの内部状態
を格納する記憶装置の内容とリンクの接続情報及びリン
クの重みを格納している記憶装置の内容とからノードの
出力処理を行う演算装置、 （ｇ）．該内部バスとは分離されており、該ノードの内
部状態を格納する記憶装置と該リンクの接続情報及びリ
ンクの重みを格納している記憶装置、 （ｈ）．該ノードの内部処理及び出力処理を行う演算装
置間でデータ転送を行うための内部バス、 （ｉ）．該ノードの内部処理及び出力処理を行う演算装
置の出力処理の結果のメッセージをバッファリングする
出力バッファ、 （ｊ）．出力バッファ内のメッセージを該マルチプレク
サと他のプロセッサへ選択するセレクタ、 とから構成され、 多段接続ネットワークは、該プロセッサから出力された
メッセージをメッセージの宛先で指定された所定の該プ
ロセッサに転送するために、 （ｋ）.N×Ｎ（Ｎ≧２）の変換器で、入力ポートからの
メッセージをその宛先のアドレスに応じて所定の出力ポ
ートに送出する多段に接続された複数のルータセルから
構成されることを特徴とするニューラルネットワークシ
ミュレータである。
ッセージを授受し、メッセージの内容に応じて内部状態
及び出力を変化させるニューラルネットワークをシミュ
レートする装置であって、ニューラルネットワークを分
割した部分ネットワークを並列に処理するための複数の
プロセッサと、該複数のプロセッサを接続し、プロセッ
サ間でメッセージを転送するための多段接続ネットワー
クから構成され、各プロセッサは、 （ａ）．他のプロセッサからのメッセージと自分自身か
らのメッセージをマルチプレックスするマルチプレク
サ、 （ｂ）．該マルチプレクサの出力をバッファリングする
入力バッファ、 （ｃ）．入力バッファ内のメッセージに従って割り当て
られた該部分ネットワーク内のノードオの入力処理をす
る演算装置、 （ｄ）．入力処理の結果を格納する記憶装置、 （ｅ）．該入力処理をする演算装置と該入力処理の結果
を格納する記憶装置間でデータ転送を行うための内部バ
ス、 （ｆ）．該入力処理の結果を格納する記憶装置の内容
と、ノードの内部状態を格納する記憶装置の内容とか
ら、ノードの内部状態の更新、及び該ノードの内部状態
を格納する記憶装置の内容とリンクの接続情報及びリン
クの重みを格納している記憶装置の内容とからノードの
出力処理を行う演算装置、 （ｇ）．該内部バスとは分離されており、該ノードの内
部状態を格納する記憶装置と該リンクの接続情報及びリ
ンクの重みを格納している記憶装置、 （ｈ）．該ノードの内部処理及び出力処理を行う演算装
置間でデータ転送を行うための内部バス、 （ｉ）．該ノードの内部処理及び出力処理を行う演算装
置の出力処理の結果のメッセージをバッファリングする
出力バッファ、 （ｊ）．出力バッファ内のメッセージを該マルチプレク
サと他のプロセッサへ選択するセレクタ、 とから構成され、 多段接続ネットワークは、該プロセッサから出力された
メッセージをメッセージの宛先で指定された所定の該プ
ロセッサに転送するために、 （ｋ）.N×Ｎ（Ｎ≧２）の変換器で、入力ポートからの
メッセージをその宛先のアドレスに応じて所定の出力ポ
ートに送出する多段に接続された複数のルータセルから
構成されることを特徴とするニューラルネットワークシ
ミュレータである。
（作用） 本発明においては、シミュレートするニューラルネット
ワークを部分ネットワークに分割し複数のプロセッサに
割当て並列に処理することによりニューラルネットワー
クの持つ並列性を引出し、また、各プロセッサに、分離
された２つのバスと、２つの演算装置を設け、並列に処
理を行うことにより、シミュレーションのアルゴリズム
のもつ並列性を引出し高速なシミュレーションを可能に
する。また、リンクの接続情報及びリンクの重みを格納
する記憶装置の内容を書き換えることによりシミュレー
トするニューラルネットワークを柔軟に変更することを
可能とする。
ワークを部分ネットワークに分割し複数のプロセッサに
割当て並列に処理することによりニューラルネットワー
クの持つ並列性を引出し、また、各プロセッサに、分離
された２つのバスと、２つの演算装置を設け、並列に処
理を行うことにより、シミュレーションのアルゴリズム
のもつ並列性を引出し高速なシミュレーションを可能に
する。また、リンクの接続情報及びリンクの重みを格納
する記憶装置の内容を書き換えることによりシミュレー
トするニューラルネットワークを柔軟に変更することを
可能とする。
（実施例） 第１図は、システムを構成する１つのプロセッサ１のブ
ロック図で、マルチプレクサ２と、入力バッファ３と、
演算装置４と、内部バス５と、記憶装置６と、セレクタ
７と、出力バッファ８と、演算装置９と、内部バス10
と、記憶装置11と、から構成される。
ロック図で、マルチプレクサ２と、入力バッファ３と、
演算装置４と、内部バス５と、記憶装置６と、セレクタ
７と、出力バッファ８と、演算装置９と、内部バス10
と、記憶装置11と、から構成される。
第２図は、第１図のプロセッサを含む全体構成図で、複
数のプロセッサ１と、それらの間でデータの転送を行な
うための多段接続ネットワーク14から構成される。多段
接続ネットワーク14は、複数のルータセル15から構成さ
れる。
数のプロセッサ１と、それらの間でデータの転送を行な
うための多段接続ネットワーク14から構成される。多段
接続ネットワーク14は、複数のルータセル15から構成さ
れる。
ルーセル15は、Ｎ×Ｎ（Ｎ≧２）の変換器で、入力ポー
トからのメッセージをその宛先のアドレスに応じて所定
の出力ポートに送出する。プロセッサ１からのメッセー
ジは複数段のルータセルで変換され、メッセージの宛先
で指定された所定のプロセッサ１に届く。
トからのメッセージをその宛先のアドレスに応じて所定
の出力ポートに送出する。プロセッサ１からのメッセー
ジは複数段のルータセルで変換され、メッセージの宛先
で指定された所定のプロセッサ１に届く。
第３図は、ニューラルネットワークの部分ネットワーク
18への分割を説明する図である。ニューラルネットワー
クは多数のノード16（ニューロン）と重み付きリンク17
で構成される。各ノード16は重み付きのリンクを介して
他のノード16と互いにメッセージを授受し、メッセージ
の内容に応じてその、内部状態及び出力を変化させる。
このニューラルネットワーク全体は複数（第３図では４
つ）の部分ネットワーク18に分割され、各部分ネットワ
ーク18がそれぞれプロセッサ１に割り当てられ並列に処
理される。プロセッサ１は割り当てられた部分ネットワ
ーク18に含まれるノード16、重み付きリンク17の機能を
シミュレーションする。同一の部分ネットワーク18に含
まれる（すなわち同一のプロセッサ１で処理される）ノ
ード16間に重み付きのリンク17がある場合はプロセッサ
１間の通信は必要ない。異なる部分ネットワーク18に含
まれる（すなわちことなるプロセッサ１で処理される）
ノード16間に重み付きのリンク17がある場合は、プロセ
ッサ間通信が必要になる。この場合、ノード間のメッセ
ージの授受は多段接続ネットワーク14を介して行われ
る。
18への分割を説明する図である。ニューラルネットワー
クは多数のノード16（ニューロン）と重み付きリンク17
で構成される。各ノード16は重み付きのリンクを介して
他のノード16と互いにメッセージを授受し、メッセージ
の内容に応じてその、内部状態及び出力を変化させる。
このニューラルネットワーク全体は複数（第３図では４
つ）の部分ネットワーク18に分割され、各部分ネットワ
ーク18がそれぞれプロセッサ１に割り当てられ並列に処
理される。プロセッサ１は割り当てられた部分ネットワ
ーク18に含まれるノード16、重み付きリンク17の機能を
シミュレーションする。同一の部分ネットワーク18に含
まれる（すなわち同一のプロセッサ１で処理される）ノ
ード16間に重み付きのリンク17がある場合はプロセッサ
１間の通信は必要ない。異なる部分ネットワーク18に含
まれる（すなわちことなるプロセッサ１で処理される）
ノード16間に重み付きのリンク17がある場合は、プロセ
ッサ間通信が必要になる。この場合、ノード間のメッセ
ージの授受は多段接続ネットワーク14を介して行われ
る。
次に、プロセッサの処理を第１図を用いて詳細に説明す
る。
る。
他のプロセッサから届いた入力メッセージ12と、自分自
身のセレクタ７から届いたメッセージは、マルチプレク
サ２で調停を受けて入力バッファ３に入る。
身のセレクタ７から届いたメッセージは、マルチプレク
サ２で調停を受けて入力バッファ３に入る。
記憶装置６は、プロセッサ１が割り当てられた部分ネッ
トワークの各ノード毎の入力処理の結果が格納される。
トワークの各ノード毎の入力処理の結果が格納される。
演算装置４は、入力バッファ３からメッセージを取り出
しながらメッセージの内容に従って入力処理を行い、結
果を記憶装置６に格納する。
しながらメッセージの内容に従って入力処理を行い、結
果を記憶装置６に格納する。
記憶装置11は、部分ネットワークの各ノードの内部状態
とリンクの接続情報及びリンクの重みを格納している。
とリンクの接続情報及びリンクの重みを格納している。
演算装置９は、記憶装置６の入力処理の結果と記憶装置
11の各ノードの内部状態を参照し各ノードの内部状態の
更新処理を行う。また演算装置９は記憶装置11の各ノー
ドの内部状態とリンクの接続情報及びリンクの重みを参
照して各ノードの出力処理を行いメッセージを出力バッ
ファ８に書き込む。
11の各ノードの内部状態を参照し各ノードの内部状態の
更新処理を行う。また演算装置９は記憶装置11の各ノー
ドの内部状態とリンクの接続情報及びリンクの重みを参
照して各ノードの出力処理を行いメッセージを出力バッ
ファ８に書き込む。
セレクタ７は、出力バッファ８からメッセージを取り出
しその内容に従ってメッセージを出力メッセージ13とし
て他のプロセッサに転送するか、または自分自身のマル
チプレクサ２に転送する。
しその内容に従ってメッセージを出力メッセージ13とし
て他のプロセッサに転送するか、または自分自身のマル
チプレクサ２に転送する。
（発明の効果） 以上のように、本発明においては、シミュレートするニ
ューラルネットワークを部分ネットワークに分割し複数
のプロセッサに割当て並列に処理することによりニュー
ラルネットワークの持つ並列性を引出し、また、各プロ
セッサに、分離された２つのバスと、２つの演算装置を
設け、並列に処理を行うことにより、シミュレーション
のアルゴリズムのもつ並列性を引出し高速なシミュレー
ションを可能にする。また、リンクの接続情報及びリン
クの重みを格納する記憶装置の内容を書き換えることに
よりシミュレートするニューラルネットワークを柔軟に
変更することが可能となる。
ューラルネットワークを部分ネットワークに分割し複数
のプロセッサに割当て並列に処理することによりニュー
ラルネットワークの持つ並列性を引出し、また、各プロ
セッサに、分離された２つのバスと、２つの演算装置を
設け、並列に処理を行うことにより、シミュレーション
のアルゴリズムのもつ並列性を引出し高速なシミュレー
ションを可能にする。また、リンクの接続情報及びリン
クの重みを格納する記憶装置の内容を書き換えることに
よりシミュレートするニューラルネットワークを柔軟に
変更することが可能となる。
第１図は、システムを構成する１つのプロセッサのブロ
ック図、第２図は、第１図のプロセッサを含む構成図、
第３図はニューラルネットワークの部分ネットワークへ
の分割を説明する図である。 １……プロセッサ、２……マルチプレクサ、３……入力
バッファ、４……演算装置、５……内部バス、６……記
憶装置、７……セレクタ、８……出力バッファ、９……
演算装置、10……内部バス、11……記憶装置、12……入
力メッセージ、13……出力メッセージ、14……多段接続
ネットワーク、15……ルータセル、16……ノード、17…
…重み付きリンク、18……部分ネットワーク
ック図、第２図は、第１図のプロセッサを含む構成図、
第３図はニューラルネットワークの部分ネットワークへ
の分割を説明する図である。 １……プロセッサ、２……マルチプレクサ、３……入力
バッファ、４……演算装置、５……内部バス、６……記
憶装置、７……セレクタ、８……出力バッファ、９……
演算装置、10……内部バス、11……記憶装置、12……入
力メッセージ、13……出力メッセージ、14……多段接続
ネットワーク、15……ルータセル、16……ノード、17…
…重み付きリンク、18……部分ネットワーク
Claims (1)
- 【請求項１】各ノードが重み付きリンクを介して互いに
メッセージを授受し、メッセージの内容に応じて内部状
態及び出力を変化させるニューラルネットワークをシミ
ュレートする装置であって、ニューラルネットワークを
分割した部分ネットワークを並列に処理するための複数
のプロセッサと、該複数のプロセッサを接続し、プロセ
ッサ間でメッセージを転送するための多段接続ネットワ
ークから構成され、各プロセッサは、 （ａ）．他のプロセッサからのメッセージと自分自身か
らのメッセージをマルチプレックスするマルチプレク
サ、 （ｂ）．該マルチプレクサの出力をバッファリングする
入力バッファ、 （ｃ）．入力バッファ内のメッセージに従って割り当て
られた該部分ネットワーク内のノードの入力処理をする
演算装置、 （ｄ）．入力処理の結果を格納する記憶装置、 （ｅ）．該入力処理をする演算装置と該入力処理の結果
を格納する記憶装置間でデータ転送を行うための内部バ
ス、 （ｆ）．該入力処理の結果を格納する記憶装置の内容
と、ノードの内部状態を格納する記憶装置の内容とか
ら、ノードの内部状態の更新、及び該ノードの内部状態
を格納する記憶装置の内容とリンクの接続情報及びリン
クの重みを格納している記憶装置の内容とからノードの
出力処理を行う演算装置、 （ｇ）．該内部バスとは分離されており、該ノードの内
部状態を格納する記憶装置と該リンクの接続情報及びリ
ンクの重みを格納している記憶装置、 （ｈ）．該ノードの内部処理及び出力処理を行う演算装
置間でデータ転送を行うための内部バス、 （ｉ）．該ノードの内部処理及び出力処理を行う演算装
置の出力処理の結果のメッセージをバッファリングする
出力バッファ、 （ｊ）．出力バッファ内のメッセージを該マルチプレク
サと他のプロセッサへ選択するセレクタ、 とから構成され、 多段接続ネットワークは、 該プロセッサから出力されたメッセージをメッセージの
宛先で指定された所定の該プロセッサに転送するため
に、 （ｋ）.N×Ｎ（Ｎ≧２）の変換器で、入力ポートからの
メッセージをその宛先のアドレスに応じて所定の出力ポ
ートに送出する多段に接続された複数のルータセルから
構成されることを特徴とするニューラルネットワークシ
ミュレータ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63015116A JPH0769893B2 (ja) | 1988-01-25 | 1988-01-25 | ニューラルネットワークシミュレータ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63015116A JPH0769893B2 (ja) | 1988-01-25 | 1988-01-25 | ニューラルネットワークシミュレータ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01189755A JPH01189755A (ja) | 1989-07-28 |
| JPH0769893B2 true JPH0769893B2 (ja) | 1995-07-31 |
Family
ID=11879858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63015116A Expired - Lifetime JPH0769893B2 (ja) | 1988-01-25 | 1988-01-25 | ニューラルネットワークシミュレータ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0769893B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE58909182D1 (de) * | 1988-07-05 | 1995-05-24 | Siemens Ag | Netzwerk -Baustein und Architektur für die programmierbare Emulation künstlicher neuronaler Netze mit digitaler Arbeitsweise. |
| JPH04344970A (ja) * | 1991-05-23 | 1992-12-01 | Nippon Telegr & Teleph Corp <Ntt> | ニューラルネット処理装置 |
| US8429107B2 (en) | 2009-11-04 | 2013-04-23 | International Business Machines Corporation | System for address-event-representation network simulation |
| JP7014963B2 (ja) * | 2018-03-15 | 2022-02-02 | 富士通株式会社 | 最適化装置及び最適化装置の制御方法 |
-
1988
- 1988-01-25 JP JP63015116A patent/JPH0769893B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01189755A (ja) | 1989-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI647934B (zh) | 網路拓樸實機模擬方法與系統 | |
| Thompson | Processor Intercommunication | |
| CN114329920B (zh) | 一种虚实系统联合的大规模卫星网络仿真评估及测试系统 | |
| Wilkinson | Parallel programming: Techniques and applications using networked workstations and parallel computers, 2/E | |
| US5243704A (en) | Optimized interconnect networks | |
| TW202022644A (zh) | 一種運算裝置和運算方法 | |
| CN115576289A (zh) | 基于虚拟化技术的可重构高保真大规模工业互联网仿真平台 | |
| Tilborg | MICROS, a distributed operating system for MICRONET, a reconfigurable network computer | |
| CN111082949A (zh) | 一种类脑计算机中脉冲数据包高效传输方法 | |
| CA1246743A (en) | Array for simulating computer functions for large computer systems | |
| EP4293984A1 (en) | Data transmission system and method, and related device | |
| US20210319295A1 (en) | Data processing module, data processing system and data processing method | |
| CN112242963B (zh) | 一种快速的高并发神经脉冲数据包分发传送方法和系统 | |
| US5420982A (en) | Hyper-cube network control system having different connection patterns corresponding to phase signals for interconnecting inter-node links and between input/output links | |
| JPH0769893B2 (ja) | ニューラルネットワークシミュレータ | |
| CN116523045B (zh) | 一种面向多芯粒芯片的深度学习推理模拟器 | |
| CN212364994U (zh) | 一种类脑超算平台原理机装置 | |
| CA2028807C (en) | Decentralized simulator | |
| Youssef et al. | A new approach to fast control of r 2× r 2 3-stage benes networks of r× r crossbar switches | |
| Chin et al. | Connection principles for multipath, packet switching networks | |
| GB2206428A (en) | Computer | |
| WO2023214608A1 (ko) | 양자 회로 시뮬레이션 하드웨어 | |
| JPH05250346A (ja) | ニューラルネットワークシミュレーション装置 | |
| JPH04307654A (ja) | ニューラルネットワークシミュレーションシステム | |
| Clarke et al. | Transputer-based simulation tool for performance evaluation of wide area telecommunications networks |