JPH064507A - ニューラルネット - Google Patents
ニューラルネットInfo
- Publication number
- JPH064507A JPH064507A JP5033446A JP3344693A JPH064507A JP H064507 A JPH064507 A JP H064507A JP 5033446 A JP5033446 A JP 5033446A JP 3344693 A JP3344693 A JP 3344693A JP H064507 A JPH064507 A JP H064507A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- synapse
- data
- cells
- neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
- G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
- G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
- G11C11/41—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming static cells with positive feedback, i.e. cells not needing refreshing or charge regeneration, e.g. bistable multivibrator or Schmitt trigger
- G11C11/413—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing, timing or power reduction
- G11C11/417—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing, timing or power reduction for memory cells of the field-effect type
- G11C11/419—Read-write [R-W] circuits
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Neurology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Complex Calculations (AREA)
- Multi Processors (AREA)
- Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【目的】 機能トポロジと無関係の物理トポロジを有す
るニューラルネットを提供することにある。 【構成】 シナプスの機能等価物であるセルを連結して
単方向データパスを形成する。これらセルを個別制御又
は並列制御用のバスに並列に接続する。ニューロンポテ
ンシャルに寄与する各シナプスの出力値を関連する各セ
ル内で個別に計算する。セルチエーン内の各セルはその
出力値を前のセルから受信したデータに加算し、その和
を次のセルに供給するか、或はトランスパレントにされ
る。セルへのシナプスの割当てをプログラマブルにする
のが好ましい。
るニューラルネットを提供することにある。 【構成】 シナプスの機能等価物であるセルを連結して
単方向データパスを形成する。これらセルを個別制御又
は並列制御用のバスに並列に接続する。ニューロンポテ
ンシャルに寄与する各シナプスの出力値を関連する各セ
ル内で個別に計算する。セルチエーン内の各セルはその
出力値を前のセルから受信したデータに加算し、その和
を次のセルに供給するか、或はトランスパレントにされ
る。セルへのシナプスの割当てをプログラマブルにする
のが好ましい。
Description
【０００１】
【産業上の利用分野】本発明は、各別のソースニューロ
ンと各別のデスティネーションニューロンとの間データ
通信のために、各別のシナプスにより相互接続されたニ
ューロンで機能的に構成されるニューラルプロセッサ内
のニューラルネットに関するものである。
ンと各別のデスティネーションニューロンとの間データ
通信のために、各別のシナプスにより相互接続されたニ
ューロンで機能的に構成されるニューラルプロセッサ内
のニューラルネットに関するものである。
【０００２】
【従来の技術】ニューラルネットが簡単であるか複雑で
あるかと無関係に、ニューラルネットは次の３つの機能
に分類し得る多数のリソースを具えている。 −記憶：この機能は２つのニューロンを相互接続するシ
ナプスを特徴づけるシナプス係数の記憶及びニューロン
の機能状態の記憶に関連する。 −相互接続：この機能は種々の制御信号及びデータ信号
の伝送及び／又は交換のために一つのニューロンを他の
ニューロンに割当る機能に関連する。 −処理：この機能は種々のデータの計算、特にニューロ
ンのニューラルポテンシャルの計算及び学習ステップ中
におけるシナプス係数の更新の計算に関するものであ
る。
あるかと無関係に、ニューラルネットは次の３つの機能
に分類し得る多数のリソースを具えている。 −記憶：この機能は２つのニューロンを相互接続するシ
ナプスを特徴づけるシナプス係数の記憶及びニューロン
の機能状態の記憶に関連する。 −相互接続：この機能は種々の制御信号及びデータ信号
の伝送及び／又は交換のために一つのニューロンを他の
ニューロンに割当る機能に関連する。 −処理：この機能は種々のデータの計算、特にニューロ
ンのニューラルポテンシャルの計算及び学習ステップ中
におけるシナプス係数の更新の計算に関するものであ
る。
【０００３】最も一般的な従来技術では、ニューラルプ
ロセッサは、概して全てのシナプス係数を記憶する記憶
装置を具え、各シナプス係数をアドレスによりアクセス
する。従って、相互接続機能は、記憶装置内のシナプス
係数のランク（アドレス）に従って接続することにより
暗黙的に得られる。同一のニューロンの全てのシナプス
係数は既知のアドレス（一般に論理的に隣接する）に記
憶してアドレスをインクリメント又はデクリメントする
ことにより前記シナプス係数を使用し得るようにしてい
る。
ロセッサは、概して全てのシナプス係数を記憶する記憶
装置を具え、各シナプス係数をアドレスによりアクセス
する。従って、相互接続機能は、記憶装置内のシナプス
係数のランク（アドレス）に従って接続することにより
暗黙的に得られる。同一のニューロンの全てのシナプス
係数は既知のアドレス（一般に論理的に隣接する）に記
憶してアドレスをインクリメント又はデクリメントする
ことにより前記シナプス係数を使用し得るようにしてい
る。
【０００４】この場合にはシナプスに割当てられるリソ
ースは記憶セクションのみであり、他の機能は処理ユニ
ット内で実行する必要がある。純粋なソフトウエア実現
法より有利にするためには、ある程度の並行処理を用い
る必要があり、この目的のために、処理ユニットは実際
には、各々がネットワークの処理の１／ｎを実行するｎ
個のサブユニットで構成する。物理的な相互接続の数を
制限するために、各サブユニットはシナプスメモリの１
／ｎに剛固に接続される。
ースは記憶セクションのみであり、他の機能は処理ユニ
ット内で実行する必要がある。純粋なソフトウエア実現
法より有利にするためには、ある程度の並行処理を用い
る必要があり、この目的のために、処理ユニットは実際
には、各々がネットワークの処理の１／ｎを実行するｎ
個のサブユニットで構成する。物理的な相互接続の数を
制限するために、各サブユニットはシナプスメモリの１
／ｎに剛固に接続される。
【０００５】同じ理由、即ち相互接続の数を制限するた
めに、各サブユニットは、関連するシナプスと無関係
に、任意のニューロンに対する処理に従事し得ないよう
にする。従って、ネットワークをサブユニットに細分す
ることによって、メモリセクション内に含まれるシナプ
スと、これらシナプスが関連するニューロンとを関係づ
ける。例えば所定のニューロンに到達するシナプスの数
はサブユニットに割当てられたメモリブロックの長さを
越えることはできない。
めに、各サブユニットは、関連するシナプスと無関係
に、任意のニューロンに対する処理に従事し得ないよう
にする。従って、ネットワークをサブユニットに細分す
ることによって、メモリセクション内に含まれるシナプ
スと、これらシナプスが関連するニューロンとを関係づ
ける。例えば所定のニューロンに到達するシナプスの数
はサブユニットに割当てられたメモリブロックの長さを
越えることはできない。
【０００６】このことはハードウエアの低い使用効率を
生ずることになる。制御を簡単にするには、サブユニッ
トの計算サイクルの数を装置に許される最も複雑な構成
に必要とされる最大数に増大させる必要がある。更に、
いくつかの所定のメモリワードが数個のシナプスを有す
るニューロンに対応するブロックに関連するためこれら
メモリワードが使用できなくなる。
生ずることになる。制御を簡単にするには、サブユニッ
トの計算サイクルの数を装置に許される最も複雑な構成
に必要とされる最大数に増大させる必要がある。更に、
いくつかの所定のメモリワードが数個のシナプスを有す
るニューロンに対応するブロックに関連するためこれら
メモリワードが使用できなくなる。
【０００７】処理持続時間を最適にすると共に生ずる種
々の状態に対するハードウエアのプロポーションニング
を改善する試みが行なわれている。この点に関しては、
“Ａwafer scale integration neural network utilizi
ngcompletely digital circuits”, Ｍ．ヤスナガ等、I
EEE INNS IntrenationalJoint Conf. on Neural Networ
ks II −213 (1989)を参照されたい。
々の状態に対するハードウエアのプロポーションニング
を改善する試みが行なわれている。この点に関しては、
“Ａwafer scale integration neural network utilizi
ngcompletely digital circuits”, Ｍ．ヤスナガ等、I
EEE INNS IntrenationalJoint Conf. on Neural Networ
ks II −213 (1989)を参照されたい。
【０００８】本発明に関連する部分についてのみ参照す
ると、この論文は同一ニューロンに到達する相互接続の
数の低減について記載している。この目的ためにアーキ
テクチャをニューロンに細分し、ニューロンを所定の瞬
時に単一のシナプスを受信するブロックとする。このブ
ロックは共用バスから、このニューロンに到達する全て
のシナプスに関するデータを時間配分式に順次受信す
る。
ると、この論文は同一ニューロンに到達する相互接続の
数の低減について記載している。この目的ためにアーキ
テクチャをニューロンに細分し、ニューロンを所定の瞬
時に単一のシナプスを受信するブロックとする。このブ
ロックは共用バスから、このニューロンに到達する全て
のシナプスに関するデータを時間配分式に順次受信す
る。
【０００９】従って、ニューロンと同数の処理ユニット
と記憶ユニットを必要とする。同一のニューロンに対
し、小さなメモリによりこのニューロンに関連する全て
のシナプス係数を記憶する。これらのシナプス係数は、
非分配アーキテクチャの場合には順次アドレスされる。
この動作モードはニューロンに到達する相互接続の数の
低減を可能にする。しかし、このようなアーキテクチャ
は依然として柔軟でなく、特にニューロンに接続された
シナプスの数をユニット毎に変更させることができな
い。従って、ニューラルプロセッサに新しいシナプス分
布構成を与え得る柔軟性を提供しない。
と記憶ユニットを必要とする。同一のニューロンに対
し、小さなメモリによりこのニューロンに関連する全て
のシナプス係数を記憶する。これらのシナプス係数は、
非分配アーキテクチャの場合には順次アドレスされる。
この動作モードはニューロンに到達する相互接続の数の
低減を可能にする。しかし、このようなアーキテクチャ
は依然として柔軟でなく、特にニューロンに接続された
シナプスの数をユニット毎に変更させることができな
い。従って、ニューラルプロセッサに新しいシナプス分
布構成を与え得る柔軟性を提供しない。
【００１０】このようなメモリを複数のモジュールに細
分し、これらモジュールを、シナプスに処理を実行する
ためにアクセスし得るようにすることはネットワークの
トポロジ（接続形態）に関し制約を課す。その結果、一
群のニューロン及びそれらの相互接続で決まる任意のト
ポロジを有するネットワークをハードウェア装置に収容
することは、ニューロン及びシナプスの総数がシステム
により理論的に処理し得る数より低くても、常に不可能
である。
分し、これらモジュールを、シナプスに処理を実行する
ためにアクセスし得るようにすることはネットワークの
トポロジ（接続形態）に関し制約を課す。その結果、一
群のニューロン及びそれらの相互接続で決まる任意のト
ポロジを有するネットワークをハードウェア装置に収容
することは、ニューロン及びシナプスの総数がシステム
により理論的に処理し得る数より低くても、常に不可能
である。
【００１１】
【発明が解決しようとする課題】従って、本発明の目的
は、ニューラルネットの機能要素の機能配置がその物理
配置と無関係であるニューラルネットを提供することに
ある。この目的のためには、１ニューロン当りの固定数
のシナプスに関する制約を除去し、ニューロンが少数の
シナプスを有するときにむだになるリソースの不使用が
避けられ、また１ニューロン当りのシナプス数を過度の
制限となるような最大数にする必要がないようにするの
が望ましい。
は、ニューラルネットの機能要素の機能配置がその物理
配置と無関係であるニューラルネットを提供することに
ある。この目的のためには、１ニューロン当りの固定数
のシナプスに関する制約を除去し、ニューロンが少数の
シナプスを有するときにむだになるリソースの不使用が
避けられ、また１ニューロン当りのシナプス数を過度の
制限となるような最大数にする必要がないようにするの
が望ましい。
【００１２】
【課題を解決するための手段】この目的のために、本発
明は、各別のソースニューロンと各別のデスティネーシ
ョンニューロンとの間データ通信のために、各別のシナ
プスにより相互接続されたニューロンで機能的に構成さ
れるニューラルプロセッサ内のニューラルネットにおい
て、 ・各別のシナプスは入口と出口との間のデータパスを形
成するそれぞれ同一のセルの少なくとも一つの連結とし
て物理的に構成し、順次のセルのデータ入力端子をデー
タ転送のためにその前のセルのデータ出力端子に接続
し、 ・各セルはそのデータ入力端子とデータ出力端子との間
に ・データ計算を実行する計算ユニットと、 ・該計算ユニットに結合され、データを記憶するメモリ
とを具え、 ・前記ニューラルプロセッサは命令の通信用バス手段を
具え、 ・前記セルを前記バス手段に並列に接続し、 ・前記ニューラルネットは ・命令を前記バス手段を経て供給して前記セルを制御
し、これらセルのうちの少なくとも一つの特定のセル
を、次の処理： ・入口に与えられたデータアイテムを前記特定のセルの
メモリにローディングする処理、 ・前記少なくとも一つの特定のセルの計算ユニットを制
御してデータアイテムに特定のシナプス係数を乗算し、
その積を前記少なくとも一つのセルのメモリに記憶させ
る処理、 ・前の選択セルの積の部分和を次の選択セルに転送し、
次の選択セルのメモリに記憶されている積に前のセルの
部分和を加算して次の部分和を生じさせ、この部分和を
次の選択セルのデータ出力端子に供給することにより複
数の選択セルに発生する積を順次累算する処理（非選択
セルはトランスパレントにされる）、 のうちの少なくとも一つのためる選択する制御手段と、 ・出口に接続され、出口に出力される総和に非線形関数
を適用してデスティネーションニューロン信号を生じさ
せる非線形変換手段とを具えることを特徴とする。
明は、各別のソースニューロンと各別のデスティネーシ
ョンニューロンとの間データ通信のために、各別のシナ
プスにより相互接続されたニューロンで機能的に構成さ
れるニューラルプロセッサ内のニューラルネットにおい
て、 ・各別のシナプスは入口と出口との間のデータパスを形
成するそれぞれ同一のセルの少なくとも一つの連結とし
て物理的に構成し、順次のセルのデータ入力端子をデー
タ転送のためにその前のセルのデータ出力端子に接続
し、 ・各セルはそのデータ入力端子とデータ出力端子との間
に ・データ計算を実行する計算ユニットと、 ・該計算ユニットに結合され、データを記憶するメモリ
とを具え、 ・前記ニューラルプロセッサは命令の通信用バス手段を
具え、 ・前記セルを前記バス手段に並列に接続し、 ・前記ニューラルネットは ・命令を前記バス手段を経て供給して前記セルを制御
し、これらセルのうちの少なくとも一つの特定のセル
を、次の処理： ・入口に与えられたデータアイテムを前記特定のセルの
メモリにローディングする処理、 ・前記少なくとも一つの特定のセルの計算ユニットを制
御してデータアイテムに特定のシナプス係数を乗算し、
その積を前記少なくとも一つのセルのメモリに記憶させ
る処理、 ・前の選択セルの積の部分和を次の選択セルに転送し、
次の選択セルのメモリに記憶されている積に前のセルの
部分和を加算して次の部分和を生じさせ、この部分和を
次の選択セルのデータ出力端子に供給することにより複
数の選択セルに発生する積を順次累算する処理（非選択
セルはトランスパレントにされる）、 のうちの少なくとも一つのためる選択する制御手段と、 ・出口に接続され、出口に出力される総和に非線形関数
を適用してデスティネーションニューロン信号を生じさ
せる非線形変換手段とを具えることを特徴とする。
【００１３】上述した本発明のアーキテクチャは従来の
ものに比べて種々の利点を有する。第１に、命令制御を
使用することによりネットワークの物理トポロジがネッ
トワークの機能トポロジと無関係になっている。例えば
各セルを、関連するシナプス係数をロードするために又
はあるニューロンへの入力値を表わすデータアイテムを
ロードするために個々に選択することができる。セルを
並列に選択して例えば入力値により関連する各シナプス
がニューロン出力に寄与する貢献量を同時に計算させる
ことができる。非選択セルはトランスパレントにされ
る。従って、ネットワークトポロジ及びニューロンの数
を互いに変更して種々のニューラルネットを容易に実現
することができる。第２に、本発明のアーキテクチャ
は、その基本構造が入口と出口との間の単方向データパ
スを形成する同一セルの連結であるので、高いモジュー
ル特性を有する。この高いモジュール化度はこのような
ネットを例えば集積回路として設計するのに望ましい特
性である。更に、セル間の相互作用は物理的に隣接する
セルにのみ関し、物理的に遠く離れた部分間のやっかい
な相互接続が避けられる。第３に、単方向データパスに
集中するこのようなニューラルプロセッサは複数のニュ
ーラルプロセッサを縦続させることより容易に拡張する
ことができる。
ものに比べて種々の利点を有する。第１に、命令制御を
使用することによりネットワークの物理トポロジがネッ
トワークの機能トポロジと無関係になっている。例えば
各セルを、関連するシナプス係数をロードするために又
はあるニューロンへの入力値を表わすデータアイテムを
ロードするために個々に選択することができる。セルを
並列に選択して例えば入力値により関連する各シナプス
がニューロン出力に寄与する貢献量を同時に計算させる
ことができる。非選択セルはトランスパレントにされ
る。従って、ネットワークトポロジ及びニューロンの数
を互いに変更して種々のニューラルネットを容易に実現
することができる。第２に、本発明のアーキテクチャ
は、その基本構造が入口と出口との間の単方向データパ
スを形成する同一セルの連結であるので、高いモジュー
ル特性を有する。この高いモジュール化度はこのような
ネットを例えば集積回路として設計するのに望ましい特
性である。更に、セル間の相互作用は物理的に隣接する
セルにのみ関し、物理的に遠く離れた部分間のやっかい
な相互接続が避けられる。第３に、単方向データパスに
集中するこのようなニューラルプロセッサは複数のニュ
ーラルプロセッサを縦続させることより容易に拡張する
ことができる。
【００１４】これらの利点の全ては、デスティネーショ
ンニューロンのシナプス機能及び累算機能を単方向デー
タパスに分配することにより達成される。デスティネー
ションニューロンのポテンシャルの計算前に、データア
イテムが関連するソースニューロンにロードされる。こ
れらのデータアイテムはデスティネーションニューロン
に伝送すべきソースニューロンの出力値、シナプス係
数、又はその両方とすることができる。このローディン
グは直列に行なわれる。関連する各シナプスのニューロ
ン出力への貢献量の計算、即ちデータとシナプス係数の
乗算は並列に実行される。次いで、関連する各シナプス
の貢献量がデータパスに沿って伝搬されるとき部分和を
順次形成することによりそれらの和が形成される。
ンニューロンのシナプス機能及び累算機能を単方向デー
タパスに分配することにより達成される。デスティネー
ションニューロンのポテンシャルの計算前に、データア
イテムが関連するソースニューロンにロードされる。こ
れらのデータアイテムはデスティネーションニューロン
に伝送すべきソースニューロンの出力値、シナプス係
数、又はその両方とすることができる。このローディン
グは直列に行なわれる。関連する各シナプスのニューロ
ン出力への貢献量の計算、即ちデータとシナプス係数の
乗算は並列に実行される。次いで、関連する各シナプス
の貢献量がデータパスに沿って伝搬されるとき部分和を
順次形成することによりそれらの和が形成される。
【００１５】本発明の好適例では、 ・前記第１のセル連結においてシナプスを第１の総和を
発生するよう物理的に配置し、且つ少なくとも一つの他
のセル連結においてシナプスを他の総和を発生するるよ
う物理的に配置すると共に前記第１のセル連結と並列に
機能的に配置し、 ・前記ニューラルプロセッサは前記第１のセル連結及び
前記他のセル連結と前記出口との間に設けられ、前記非
線形関数の適用前に前記第１の総和と前記他の総和を線
形合成する加算手段を具えるものとする。 この並列データパス構成は処理時間の低減をもたらす。
データ伝搬はパイプラインプロセッサのデータ伝搬と同
様であるため、各データパスを同期のためにストラテジ
位置においていわゆるパイプラインバリヤで分割するこ
とができる。
発生するよう物理的に配置し、且つ少なくとも一つの他
のセル連結においてシナプスを他の総和を発生するるよ
う物理的に配置すると共に前記第１のセル連結と並列に
機能的に配置し、 ・前記ニューラルプロセッサは前記第１のセル連結及び
前記他のセル連結と前記出口との間に設けられ、前記非
線形関数の適用前に前記第１の総和と前記他の総和を線
形合成する加算手段を具えるものとする。 この並列データパス構成は処理時間の低減をもたらす。
データ伝搬はパイプラインプロセッサのデータ伝搬と同
様であるため、各データパスを同期のためにストラテジ
位置においていわゆるパイプラインバリヤで分割するこ
とができる。
【００１６】バス手段によるセルのアドレッシングは、
少なくとも２つのモード：即ち共用デスティネーション
ニューロンに対し個々に及び並列に行なうのが好まし
い。第１のモードは単一セルのデータ内容、例えばソー
スニューロン状態又はシナプス係数を個々に変更するの
に有利であり、第２モードは複数の独立の計算、例えば
デスティネーションニューロンのニューロンポテンシャ
ルに寄与する各シナプスの貢献量の計算を実行するのに
極めて有利である。また、例えばエラーバックプロパゲ
ーションを用いて同一のスキームを学習フェーズに適用
することができる点に注意されたい。この目的のために
は、アドレスを第１及び第２識別子で形成して特定のシ
ナプスをそのソースニューロンとそのデスティネーショ
ンニューロンとにより識別するのが有利である。
少なくとも２つのモード：即ち共用デスティネーション
ニューロンに対し個々に及び並列に行なうのが好まし
い。第１のモードは単一セルのデータ内容、例えばソー
スニューロン状態又はシナプス係数を個々に変更するの
に有利であり、第２モードは複数の独立の計算、例えば
デスティネーションニューロンのニューロンポテンシャ
ルに寄与する各シナプスの貢献量の計算を実行するのに
極めて有利である。また、例えばエラーバックプロパゲ
ーションを用いて同一のスキームを学習フェーズに適用
することができる点に注意されたい。この目的のために
は、アドレスを第１及び第２識別子で形成して特定のシ
ナプスをそのソースニューロンとそのデスティネーショ
ンニューロンとにより識別するのが有利である。
【００１７】ハードウェアの節約のために、本発明のニ
ューラルネットは、各セル内の計算ユニットが加算器及
び該加算器の入出力端子間に結合されたレジスタを具
え、反復加算を選択的に行なって積を形成すると共に次
のセルの計算ユニットが次の部分和を形成するよう選択
的に動作するようにするのが好ましい。
ューラルネットは、各セル内の計算ユニットが加算器及
び該加算器の入出力端子間に結合されたレジスタを具
え、反復加算を選択的に行なって積を形成すると共に次
のセルの計算ユニットが次の部分和を形成するよう選択
的に動作するようにするのが好ましい。
【００１８】図面の参照して本発明を更に詳しく説明す
る。図１は、既知のニューラルプロセッサ10のアーキテ
クチャの簡略図を示す。入力手段 (INP)13、例えば入力
レジスタ又は入力端子がデータ９を処理ユニット11に供
給する。この処理ユニット11は記憶手段12に記憶された
シナプス係数Cijも受信する。シナプス係数Cij はソー
スニューロンｊをデスティネーションニューロンｉに接
続するシナプスの重みを表わす。処理ユニット11は記憶
手段14に記憶されたニューロン状態も受信する。
る。図１は、既知のニューラルプロセッサ10のアーキテ
クチャの簡略図を示す。入力手段 (INP)13、例えば入力
レジスタ又は入力端子がデータ９を処理ユニット11に供
給する。この処理ユニット11は記憶手段12に記憶された
シナプス係数Cijも受信する。シナプス係数Cij はソー
スニューロンｊをデスティネーションニューロンｉに接
続するシナプスの重みを表わす。処理ユニット11は記憶
手段14に記憶されたニューロン状態も受信する。
【００１９】ニューロンがソースニューロンとして動作
するとき、その状態はＶj で表わされ、デスティネーシ
ョンニューロンとして動作するとき、その状態はＶi で
表わされる。処理ユニット11は各デスティネーションニ
ューロンに対しそのニューラルポテンシャル： ＰＯＴi ＝ΣＣij・Ｖj を計算する。処理ユニット11はインデックスｊを有する
全てのソースニューロンに対し加算処理を実行し、デス
ティネーションニューロンｉのニューラルポテンシャル
ＰＯＴi を出力端子８に出力する。このニューラルポテ
ンシャルＰＯＴi は非線形関数（ＮＬＦ）手段15で処理
され、デスティネーションニューロンｉの新しいニュー
ロン状態Ｖi を発生する。この新しい状態Ｖi を用いて
記憶手段14を更新し、他のニューロンに対し処理を続け
る。非線形関数（ＮＬＦ）を適用する手段15はニューラ
ルプロセッサ10のの外部に位置するよう示されている
が、この手段はニューラルプロセッサ10内に含めること
もできる。図を簡単とするため、他の手段、即ち制御手
段 (例えばホストコンピュータ) 、学習手段等は省略し
てある。
するとき、その状態はＶj で表わされ、デスティネーシ
ョンニューロンとして動作するとき、その状態はＶi で
表わされる。処理ユニット11は各デスティネーションニ
ューロンに対しそのニューラルポテンシャル： ＰＯＴi ＝ΣＣij・Ｖj を計算する。処理ユニット11はインデックスｊを有する
全てのソースニューロンに対し加算処理を実行し、デス
ティネーションニューロンｉのニューラルポテンシャル
ＰＯＴi を出力端子８に出力する。このニューラルポテ
ンシャルＰＯＴi は非線形関数（ＮＬＦ）手段15で処理
され、デスティネーションニューロンｉの新しいニュー
ロン状態Ｖi を発生する。この新しい状態Ｖi を用いて
記憶手段14を更新し、他のニューロンに対し処理を続け
る。非線形関数（ＮＬＦ）を適用する手段15はニューラ
ルプロセッサ10のの外部に位置するよう示されている
が、この手段はニューラルプロセッサ10内に含めること
もできる。図を簡単とするため、他の手段、即ち制御手
段 (例えばホストコンピュータ) 、学習手段等は省略し
てある。
【００２０】図１のアーキテクチャは機能ブロック図の
形で示してあり、各ブロックは唯一の機能、即ちシナプ
ス係数の記憶、ニューロン状態の記憶、処理等と関連す
る。相互接続の数を減少させるために、Ｍ．ヤスナガ等
の前記論文に記載されているように、複数のモジラスブ
ロックに細分したアーキテクチャが考えられる。この場
合には、各モジラスブロックは単一のニューロンと関連
させ、各モジラスブロックに、このモジラスブロックに
関連する全てのシナプスの全データが“供給”される。
形で示してあり、各ブロックは唯一の機能、即ちシナプ
ス係数の記憶、ニューロン状態の記憶、処理等と関連す
る。相互接続の数を減少させるために、Ｍ．ヤスナガ等
の前記論文に記載されているように、複数のモジラスブ
ロックに細分したアーキテクチャが考えられる。この場
合には、各モジラスブロックは単一のニューロンと関連
させ、各モジラスブロックに、このモジラスブロックに
関連する全てのシナプスの全データが“供給”される。
【００２１】本発明は、シナプス自体のレベルまで細分
したアーキテクチャを構築すると共に、シナプス間のコ
ミニュケーションを、任意の一つのニューロンへのそれ
らの割当て及びシナプスチェーン内のそれらのランキン
グと無関係にすることにより上述した既知のコンセプト
を越えたニューラルプロセッサを構成するものである。
したアーキテクチャを構築すると共に、シナプス間のコ
ミニュケーションを、任意の一つのニューロンへのそれ
らの割当て及びシナプスチェーン内のそれらのランキン
グと無関係にすることにより上述した既知のコンセプト
を越えたニューラルプロセッサを構成するものである。
【００２２】
【実施例】図３の全体図は本発明ニューラルプロセッサ
(10)の主実施例を示す。ニューラルプロセッサ10は入力
手段13 (例えば入力レジスタ又は入力端子) を具え、こ
の入力手段は外部から次の数個の命令フィールドを受信
する。 ＡＤＲ ：アドレスフィールド ＢＵＳＹ：ビジーフィールド ＤＡＴＡ：データフィールド ＴＹＰＥ：データに実行すべき処理のタイプを有するフ
ィールド これらの全フィールドの組合せが一つの命令を構成す
る。回路は種々の命令の系列を順次供給することにより
アクティブになる。主要な命令を表Ｉに示す。この表は
所定の命令のＤＡＴＡフィールドの構成を示す。例えば
処理タイプがシナプス管理ステップを示すときは、ＤＡ
ＴＡフィールドは“1 bit alloc ”を含み、これはこの
ビットが論理状態１を有するとき“シナプスの割当て”
命令を決定する。この場合にはＤＡＴＡフィールドは処
理が実行されるべき“data”と称すデータフィールドを
含む。ＴＹＰＥフィールドが累算処理を示すときは、Ｄ
ＡＴＡフィールドの全部が情報内容“data”に使用され
る。表Ｉの他の命令も同様に理解されたい。
(10)の主実施例を示す。ニューラルプロセッサ10は入力
手段13 (例えば入力レジスタ又は入力端子) を具え、こ
の入力手段は外部から次の数個の命令フィールドを受信
する。 ＡＤＲ ：アドレスフィールド ＢＵＳＹ：ビジーフィールド ＤＡＴＡ：データフィールド ＴＹＰＥ：データに実行すべき処理のタイプを有するフ
ィールド これらの全フィールドの組合せが一つの命令を構成す
る。回路は種々の命令の系列を順次供給することにより
アクティブになる。主要な命令を表Ｉに示す。この表は
所定の命令のＤＡＴＡフィールドの構成を示す。例えば
処理タイプがシナプス管理ステップを示すときは、ＤＡ
ＴＡフィールドは“1 bit alloc ”を含み、これはこの
ビットが論理状態１を有するとき“シナプスの割当て”
命令を決定する。この場合にはＤＡＴＡフィールドは処
理が実行されるべき“data”と称すデータフィールドを
含む。ＴＹＰＥフィールドが累算処理を示すときは、Ｄ
ＡＴＡフィールドの全部が情報内容“data”に使用され
る。表Ｉの他の命令も同様に理解されたい。
【００２３】
【表１】
【００２４】ニューラルプロセッサのアーキテクチャは
シナプスセルSYN1 , SYN2 , ----SYNPから成る。全ての
シナプスセルは同一の構造を有する。一般的に言ってコ
ミュニケーションは次の２つの方法で行なわれる。 ・全てのシナプスは ・バス21により並列の分配されるアドレスフィールドＡ
ＤＲ、及び ・バス23により並列に分配される処理タイプフィールド
ＴＹＰＥを 並列に受信する。 ・全てのシナプスは ・連結パスDATA221 , 222 , ------- 22P を経て、及び ・連結パスBUSY241 , 242 , ------- 24P を経て 連結式にコミュニケートする。チェーンの最后のシナプ
スセルSYN P が演算結果、例えばニューラルポテンシャ
ルの計算結果をバス８に出力する。尚、クロック信号Ｃ
Ｌが全てのシナプスセルに供給される。
シナプスセルSYN1 , SYN2 , ----SYNPから成る。全ての
シナプスセルは同一の構造を有する。一般的に言ってコ
ミュニケーションは次の２つの方法で行なわれる。 ・全てのシナプスは ・バス21により並列の分配されるアドレスフィールドＡ
ＤＲ、及び ・バス23により並列に分配される処理タイプフィールド
ＴＹＰＥを 並列に受信する。 ・全てのシナプスは ・連結パスDATA221 , 222 , ------- 22P を経て、及び ・連結パスBUSY241 , 242 , ------- 24P を経て 連結式にコミュニケートする。チェーンの最后のシナプ
スセルSYN P が演算結果、例えばニューラルポテンシャ
ルの計算結果をバス８に出力する。尚、クロック信号Ｃ
Ｌが全てのシナプスセルに供給される。
【００２５】全てのシナプスセルは均一なアーキテクチ
ャを有する。シナプスセル15を図２に示す。シナプスセ
ル15は ・割当て手段 (ALLOC)31、 ・アドレッシング手段 (ADDR)33 、 ・処理手段 (PROCES)35 、 を具える。割当て手段 (ALLOC)31は前のシナプスセルか
らその入力端子にビジー信号BUSYIを受信し、次のシナ
プスセルにビジー信号BUSY Oを出力すると共に、このシ
ナプスセルのフリー状態ＦＲ又はビジー状態ＯＣを示す
信号ＦＲ／ＯＣをアドレッシング手段（ADDR)33 に出力
する。
ャを有する。シナプスセル15を図２に示す。シナプスセ
ル15は ・割当て手段 (ALLOC)31、 ・アドレッシング手段 (ADDR)33 、 ・処理手段 (PROCES)35 、 を具える。割当て手段 (ALLOC)31は前のシナプスセルか
らその入力端子にビジー信号BUSYIを受信し、次のシナ
プスセルにビジー信号BUSY Oを出力すると共に、このシ
ナプスセルのフリー状態ＦＲ又はビジー状態ＯＣを示す
信号ＦＲ／ＯＣをアドレッシング手段（ADDR)33 に出力
する。
【００２６】割当てられたシナプスセルの動作中に現ア
ドレスＡＤＲがアドレスパス21を経て伝送されると、ア
ドレッシング手段33が、このシナプスセルに割当てられ
たアドレスと現アドレスとが一致するとき、信号ＳＥＬ
をアクティブにする。次いでこの信号ＳＥＬが処理手段
（PROCES)35 をトリガしてこの手段がタイプフィールド
TYPEで決められた処理を実行する。これらの処理は入力
データＤＩ、即ちデータフィールドDATAに含まれるデー
タ“data”に実行される。処理の終了後に出力データＤ
Ｏが発生する。
ドレスＡＤＲがアドレスパス21を経て伝送されると、ア
ドレッシング手段33が、このシナプスセルに割当てられ
たアドレスと現アドレスとが一致するとき、信号ＳＥＬ
をアクティブにする。次いでこの信号ＳＥＬが処理手段
（PROCES)35 をトリガしてこの手段がタイプフィールド
TYPEで決められた処理を実行する。これらの処理は入力
データＤＩ、即ちデータフィールドDATAに含まれるデー
タ“data”に実行される。処理の終了後に出力データＤ
Ｏが発生する。
【００２７】シナプスセルに割当てられたアドレスと現
アドレスが同一でないときは、このシナプスセルは処理
に関与せず、入力データフィールドＤＩと同一の出力の
データフィールドＤＯを次のシナプスセルに転送するだ
けである。シナプスセル１５の種々の手段を図５，６及
び７図に示す。割当て手段31を図５に示す。レジスタ
（REG)312 はビジー状態 (REG ＝１）又はフリー状態
（REG ＝０）を記憶する。これらフリー／ビジー状態は
処理手段35（図２及び７）からのコマンド SET／RESET
により変更することができる。
アドレスが同一でないときは、このシナプスセルは処理
に関与せず、入力データフィールドＤＩと同一の出力の
データフィールドＤＯを次のシナプスセルに転送するだ
けである。シナプスセル１５の種々の手段を図５，６及
び７図に示す。割当て手段31を図５に示す。レジスタ
（REG)312 はビジー状態 (REG ＝１）又はフリー状態
（REG ＝０）を記憶する。これらフリー／ビジー状態は
処理手段35（図２及び７）からのコマンド SET／RESET
により変更することができる。
【００２８】ＡＮＤゲート314 はレジスタ312 の出力信
号と前のシナプスセルからの入力ビジー信号ＢＵＳＹ
Ｉとの論理積機能を実行する。出力信号ＢＵＳＹ ０
は、入力信号ＢＵＳＹ Ｉが１（全ての先行セルがビジ
ー）であり且つＲＥＧが１（このシナプスセル15がビジ
ー）であるときに１になる。ＢＵＳＹ Ｉが１であり且
つＲＥＧがＯのとき、シナプスセル15はフリーであり、
ＢＵＳＹ Ｏは０になる。従って、チェーン内の最初の
フリーシナプスセルのみが“１”である入力信号ＢＵＳ
Ｙ Ｉと、“０”である出力信号ＢＵＳＹ ０を有す
る。これにより割当て処理を実行するために最初のフリ
ーシナプスセルを選択することができる。
号と前のシナプスセルからの入力ビジー信号ＢＵＳＹ
Ｉとの論理積機能を実行する。出力信号ＢＵＳＹ ０
は、入力信号ＢＵＳＹ Ｉが１（全ての先行セルがビジ
ー）であり且つＲＥＧが１（このシナプスセル15がビジ
ー）であるときに１になる。ＢＵＳＹ Ｉが１であり且
つＲＥＧがＯのとき、シナプスセル15はフリーであり、
ＢＵＳＹ Ｏは０になる。従って、チェーン内の最初の
フリーシナプスセルのみが“１”である入力信号ＢＵＳ
Ｙ Ｉと、“０”である出力信号ＢＵＳＹ ０を有す
る。これにより割当て処理を実行するために最初のフリ
ーシナプスセルを選択することができる。
【００２９】動作中、割当て手段31により供給される信
号ＦＲ／ＯＣがアドレッシング手段33を制御する。図６
はソースニューロンとデスティネーションニューロンと
の間の加重結合を表わす、任意のシナプスに関連するシ
ナプスセルのアドレッシング手段ADDR33を示す。アドレ
スバスＡＤＲは次の数個のデータフィールド： ・命令に含まれるシナプスのソースニューロンの識別子
であるフィールドＳＩＤ、 ・命令に含まれるシナプスのデスティネーションニュー
ロンの識別子であるフィールドＤＩＤ、 ・アドレッシングの方法を記述する２ビットＳＦ及びＤ
Ｆ、を含んでいる。これらの２ビットＳＦ及びＤＦはフ
ィルタリング信号ＳＦ及びフィリタリング信号ＤＦを発
生し、これら信号は同一のデスティネーションニューロ
ンに接続された全てのシナプスセル又は同一のソースニ
ューロンに接続された全てのシナプスセルをアドレスす
るように独立にアクティブ状態にすることができ、また
全シナプスセルをアドレスするよう同時にアクティブ状
態にすることもできる。
号ＦＲ／ＯＣがアドレッシング手段33を制御する。図６
はソースニューロンとデスティネーションニューロンと
の間の加重結合を表わす、任意のシナプスに関連するシ
ナプスセルのアドレッシング手段ADDR33を示す。アドレ
スバスＡＤＲは次の数個のデータフィールド： ・命令に含まれるシナプスのソースニューロンの識別子
であるフィールドＳＩＤ、 ・命令に含まれるシナプスのデスティネーションニュー
ロンの識別子であるフィールドＤＩＤ、 ・アドレッシングの方法を記述する２ビットＳＦ及びＤ
Ｆ、を含んでいる。これらの２ビットＳＦ及びＤＦはフ
ィルタリング信号ＳＦ及びフィリタリング信号ＤＦを発
生し、これら信号は同一のデスティネーションニューロ
ンに接続された全てのシナプスセル又は同一のソースニ
ューロンに接続された全てのシナプスセルをアドレスす
るように独立にアクティブ状態にすることができ、また
全シナプスセルをアドレスするよう同時にアクティブ状
態にすることもできる。
【００３０】識別子ＳＩＤ及びＤＩＤは、割当てステッ
プ中に、処理手段35により供給されるローディングコマ
ンドＣＨ（数ビットを含むフィールド）の制御の下で、
それぞれレジスタ51及び53にロードされる。このシナプ
スセルに対する割当フェーズの終了時に、バスに存在す
る識別子ＳＩＤ及びＤＩＤが割当てられた識別子ＳＮＩ
及びＤＮＩになり、レジスタ51及び53にロードされる。
使用時に、現アドレスがバスＡＤＲに供給される。比較
器52及び53が割当てられた識別子ＳＮＩ及びＤＮＩを現
アドレスに含まれる識別子ＳＩＤ及びＤＩＤとそれぞれ
比較する。
プ中に、処理手段35により供給されるローディングコマ
ンドＣＨ（数ビットを含むフィールド）の制御の下で、
それぞれレジスタ51及び53にロードされる。このシナプ
スセルに対する割当フェーズの終了時に、バスに存在す
る識別子ＳＩＤ及びＤＩＤが割当てられた識別子ＳＮＩ
及びＤＮＩになり、レジスタ51及び53にロードされる。
使用時に、現アドレスがバスＡＤＲに供給される。比較
器52及び53が割当てられた識別子ＳＮＩ及びＤＮＩを現
アドレスに含まれる識別子ＳＩＤ及びＤＩＤとそれぞれ
比較する。
【００３１】割当て命令を除く全ての命令に対し、割当
てられたシナプスは、ビットＳＦ及びＤＦで指定される
次の４つのモードに従って選択することができる。 モード１：無条件選択（全てのシナプスに関し）、 モード２：ＳＩＤ＝ＳＮＩの場合の選択（ソースニュー
ロンだけ）、 モード３：ＤＩＤ＝ＤＮＤの場合の選択（デスティネー
ションニューロンだけ）、 モード４：ＳＩＤ＝ＳＮＩ及びＤＩＤ＝ＤＮＩの場合の
選択（２つのニューロン）、 所定のモードの条件が満足される場合、アドレッシング
手段ADDRにより供給される信号ＳＥＬはアクティブ状態
になる。満足されない場合には信号ＳＥＬは非アクティ
ブ状態にセットされる。第４モードに従う選択の場合に
は、２つの識別子ＳＮＩ及びＤＮＩの両方を認識する必
要がある。これはＡＮＤゲート57により決定され、その
出力を制御ユニット59に供給する。他の選択モード１〜
３のために、比較器52及び54の出力を、ソースフィルタ
リング信号ＳＦ及びデスティネーションフィルタリング
信号ＤＦも受信する２つのＯＲゲート55及び56に供給す
る。ＯＲゲート55 , 56 の出力信号をＡＮＤゲート57に
供給する。
てられたシナプスは、ビットＳＦ及びＤＦで指定される
次の４つのモードに従って選択することができる。 モード１：無条件選択（全てのシナプスに関し）、 モード２：ＳＩＤ＝ＳＮＩの場合の選択（ソースニュー
ロンだけ）、 モード３：ＤＩＤ＝ＤＮＤの場合の選択（デスティネー
ションニューロンだけ）、 モード４：ＳＩＤ＝ＳＮＩ及びＤＩＤ＝ＤＮＩの場合の
選択（２つのニューロン）、 所定のモードの条件が満足される場合、アドレッシング
手段ADDRにより供給される信号ＳＥＬはアクティブ状態
になる。満足されない場合には信号ＳＥＬは非アクティ
ブ状態にセットされる。第４モードに従う選択の場合に
は、２つの識別子ＳＮＩ及びＤＮＩの両方を認識する必
要がある。これはＡＮＤゲート57により決定され、その
出力を制御ユニット59に供給する。他の選択モード１〜
３のために、比較器52及び54の出力を、ソースフィルタ
リング信号ＳＦ及びデスティネーションフィルタリング
信号ＤＦも受信する２つのＯＲゲート55及び56に供給す
る。ＯＲゲート55 , 56 の出力信号をＡＮＤゲート57に
供給する。
【００３２】制御ユニット59は数個のデータフィールド
及び数個のアクティブ信号を受信する。即ち、この制御
ユニットは ・前のシナプスセルからの入力信号ＢＵＳＹ Ｉ、 ・現シナプスセルの割当て手段からのビジー信号ＦＲ／
ＯＣ、 ・処理タイプフィールドＴＹＰＥ、 ・現シナプスセルに対する割当てステップ中に使用する
割当てビット“alloc”、 ・アドレス一致信号（AND ゲート57の出力信号) を受信する。
及び数個のアクティブ信号を受信する。即ち、この制御
ユニットは ・前のシナプスセルからの入力信号ＢＵＳＹ Ｉ、 ・現シナプスセルの割当て手段からのビジー信号ＦＲ／
ＯＣ、 ・処理タイプフィールドＴＹＰＥ、 ・現シナプスセルに対する割当てステップ中に使用する
割当てビット“alloc”、 ・アドレス一致信号（AND ゲート57の出力信号) を受信する。
【００３３】制御ユニット59は次の制御処理を実行す
る。 ・割当て命令に対し、信号ＳＥＬは、 ・命令のタイプが“シナプス管理”（表１）であり、 ・フィールドDATAのヒット“alloc ”がアクティブであ
り、且つ、 ・BUST I＝１（アクティブ）及び FR/OC＝０（フリー）
である（これは最初のフリーシナプスセルに相当する） ときにアクティブになる。 ・他の命令に対し、信号ＳＥＬは、 ・ＡＮＤゲート57の出力信号がアクティブ状態であり、
且つ ・信号FR/OC がビジー状態 (FR/OC ＝１）である ときにアクティブになる。
る。 ・割当て命令に対し、信号ＳＥＬは、 ・命令のタイプが“シナプス管理”（表１）であり、 ・フィールドDATAのヒット“alloc ”がアクティブであ
り、且つ、 ・BUST I＝１（アクティブ）及び FR/OC＝０（フリー）
である（これは最初のフリーシナプスセルに相当する） ときにアクティブになる。 ・他の命令に対し、信号ＳＥＬは、 ・ＡＮＤゲート57の出力信号がアクティブ状態であり、
且つ ・信号FR/OC がビジー状態 (FR/OC ＝１）である ときにアクティブになる。
【００３４】処理手段 (PROCES)35 を図７に示す。この
手段は、命令のタイプに応じてソース／デスティネーシ
ョンニューロンの状態、シナプス係数及び選択又はロー
ディングコマンドに関する種々のフィールドを含むデー
タフィールドDATAに種々の処理を実行する。ソースニュ
ーロンのニューラル状態ＳＮＶ及びデスティネーション
ニューロンのニューラル状態ＤＮＶはレジスタ61及び63
に記憶される。これらのニューラル状態は、エラーバッ
クプロパゲーションによる学習ステップにおいてバック
プロパゲートすべきエラーを含むこともできる。シナプ
ス係数ＣＶはレジスタ65に記憶される。レジスタ67は結
果、例えば同一の性質の一連の処理において実行される
巡回演算中に得られる累算値を記憶する。
手段は、命令のタイプに応じてソース／デスティネーシ
ョンニューロンの状態、シナプス係数及び選択又はロー
ディングコマンドに関する種々のフィールドを含むデー
タフィールドDATAに種々の処理を実行する。ソースニュ
ーロンのニューラル状態ＳＮＶ及びデスティネーション
ニューロンのニューラル状態ＤＮＶはレジスタ61及び63
に記憶される。これらのニューラル状態は、エラーバッ
クプロパゲーションによる学習ステップにおいてバック
プロパゲートすべきエラーを含むこともできる。シナプ
ス係数ＣＶはレジスタ65に記憶される。レジスタ67は結
果、例えば同一の性質の一連の処理において実行される
巡回演算中に得られる累算値を記憶する。
【００３５】セレクタ62, 64はレジスタ61及び63に記憶
されているニューラル状態の値のビット単位選択を行な
う。２つのセレクタ66, 68は加減算器69のそれぞれの入
力端子に対し設けられている。セレクタ66は次のデー
タ： ・デスティネーションニューロンのニューラル状態ＤＮ
Ｖ、 ・データフィールドＤＡＴＡに含まれる入力データフィ
ーニドＤＩ、 ・シナプス係数ＣＶ、 ・零値 の選択を行なう。セレクタ68はレジスタ67の出力信号又
は零値の何れかを選択する。
されているニューラル状態の値のビット単位選択を行な
う。２つのセレクタ66, 68は加減算器69のそれぞれの入
力端子に対し設けられている。セレクタ66は次のデー
タ： ・デスティネーションニューロンのニューラル状態ＤＮ
Ｖ、 ・データフィールドＤＡＴＡに含まれる入力データフィ
ーニドＤＩ、 ・シナプス係数ＣＶ、 ・零値 の選択を行なう。セレクタ68はレジスタ67の出力信号又
は零値の何れかを選択する。
【００３６】加減算器69は結果を出力し、この結果はレ
ジスタ67に記憶されている前の値に累算するためにレジ
スタ67の入力端子に再び供給することがでる (このとき
シフタ92により１ビット右へシフトさせることもでき
る）。演算サイクルの終了時に、加減算器69は出力デー
タフィールドＤＯを次のシナプスセルへ供給する。デー
タパスDATAには多数シナプスセルが挿入され、これらシ
ナプスセルは各自の貢献量の計算を実行するか、トラン
スパレント動作することができる。
ジスタ67に記憶されている前の値に累算するためにレジ
スタ67の入力端子に再び供給することがでる (このとき
シフタ92により１ビット右へシフトさせることもでき
る）。演算サイクルの終了時に、加減算器69は出力デー
タフィールドＤＯを次のシナプスセルへ供給する。デー
タパスDATAには多数シナプスセルが挿入され、これらシ
ナプスセルは各自の貢献量の計算を実行するか、トラン
スパレント動作することができる。
【００３７】制御ブロック60はシナプスセルに次のよう
な種々の制御信号： ・セレクタ62, 64, 66, 68に対する選択信号Ｓ（多ビッ
トフィールド）、 ・演算装置69に対する“加算”／“減算”選択信号（接
続線91) 、 ・レジスタ51, 53 (図６）、61, 63, 65, 67 (図７）に
対するローディング信号ＣＨ、 ・レジスタ312 （図５）に対する信号SET ，RESET 、 を供給する。
な種々の制御信号： ・セレクタ62, 64, 66, 68に対する選択信号Ｓ（多ビッ
トフィールド）、 ・演算装置69に対する“加算”／“減算”選択信号（接
続線91) 、 ・レジスタ51, 53 (図６）、61, 63, 65, 67 (図７）に
対するローディング信号ＣＨ、 ・レジスタ312 （図５）に対する信号SET ，RESET 、 を供給する。
【００３８】制御ブロック60は次の信号： ・クロックＣＬ（このクロック信号からローディング信
号及び信号SET, RESETが取り出される) 、 ・シナプスセルが処理に関与するかしないかを示す選択
信号ＳＥＬ、 ・処理タイプＴＹＰＥ、 ・セレクタの位置設定及び加減算器のパラメータ設定を
可能にする、フィールドDATAに含まれる所定ビット(FLA
G)、 を受信する。
号及び信号SET, RESETが取り出される) 、 ・シナプスセルが処理に関与するかしないかを示す選択
信号ＳＥＬ、 ・処理タイプＴＹＰＥ、 ・セレクタの位置設定及び加減算器のパラメータ設定を
可能にする、フィールドDATAに含まれる所定ビット(FLA
G)、 を受信する。
【００３９】シナプスセルの割当て (ＳＥＴ＝１）又は
その解放（ＲＥＳＥＴ＝１）を実行するために、制御ブ
ロック60は図４に示す割当回路を含んでいる。デコーダ
40はシナプスセルがタイプ“シナプス管理”の命令に従
事するか否かを検出する。シナプスセルがこの命令に従
事するとき、デコーダ40の出力がアクティブになる。こ
の出力信号はビット FREE 及びブロック信号ＣＬと一緒
にＡＮＤゲート42に供給される。そしてこれら３つの信
号が同時にアクティブのとき、信号RESET (ANDゲート4
2) がアクティブになる。デコーダの出力信号はビット
“alloc ”及びクロック信号ＣＬと一緒にＡＮＤゲート
41にも供給される。そしてこれら３つの信号が同時にア
クティブのとき、信号ＳＥＴ（AND ゲート41) がアクテ
ィブになる。
その解放（ＲＥＳＥＴ＝１）を実行するために、制御ブ
ロック60は図４に示す割当回路を含んでいる。デコーダ
40はシナプスセルがタイプ“シナプス管理”の命令に従
事するか否かを検出する。シナプスセルがこの命令に従
事するとき、デコーダ40の出力がアクティブになる。こ
の出力信号はビット FREE 及びブロック信号ＣＬと一緒
にＡＮＤゲート42に供給される。そしてこれら３つの信
号が同時にアクティブのとき、信号RESET (ANDゲート4
2) がアクティブになる。デコーダの出力信号はビット
“alloc ”及びクロック信号ＣＬと一緒にＡＮＤゲート
41にも供給される。そしてこれら３つの信号が同時にア
クティブのとき、信号ＳＥＴ（AND ゲート41) がアクテ
ィブになる。
【００４０】種々の処理をニューラルプロセッサにより
実行することができる。これらの処理は一組の命令によ
り実行される。 ・alloc ----- シナプスの割当て この命令は、最初のフリーシナプスを捜し、ソース及び
デスティネーションニューロンの識別子をこのシナプス
にロードし、このシナプスはビジーであると宣言する。 ・free----- シナプスの解放 この命令は識別されたシナプスを解放する。この命令は
数個のシナプスに同時に関連させることができる。他の
命令も１つの同一のシナプスセル内で実行される。 ・read----- シナプス係数の読出し。識別されたシナプ
スセルにおいて、この命令はシナプスで係数の読出しを
生じさせ、読出されたシナプス係数はアイドルタイムの
終了時にニューラルプロセッサの出力端子に現われる。
セレクタ66はＣＶを受信し、セレクタ68は０を受信する
（図７）。このとき加減減算器69がＣＶをデータバスＤ
Ｃに供給して記憶シナプス係数の抽出を可能にする。こ
れは、例えば学習フェーズ後に有用である。 ・write ：ニューロン状態及び／又はシナプス係数の値
の書込み。この命令は、コマンドＣＨがアクティブにな
るとき値SNV , DNV , CV又はＭをレジスタ61,63, 65, 6
7にロードさせる。 ・accu：各シナプスの貢献量の累算。この命令は各シナ
プスの貢献量を加算させる。処理に関与するシナプスセ
ルはアキュムレータＭの内容を入力部分和に加算し、そ
の結果を次のシナプスセルに供給する。ソースフィルタ
ＳＦ及びデスティネーションフィルタＤＦの値に応じて
次の結果が得られる。
実行することができる。これらの処理は一組の命令によ
り実行される。 ・alloc ----- シナプスの割当て この命令は、最初のフリーシナプスを捜し、ソース及び
デスティネーションニューロンの識別子をこのシナプス
にロードし、このシナプスはビジーであると宣言する。 ・free----- シナプスの解放 この命令は識別されたシナプスを解放する。この命令は
数個のシナプスに同時に関連させることができる。他の
命令も１つの同一のシナプスセル内で実行される。 ・read----- シナプス係数の読出し。識別されたシナプ
スセルにおいて、この命令はシナプスで係数の読出しを
生じさせ、読出されたシナプス係数はアイドルタイムの
終了時にニューラルプロセッサの出力端子に現われる。
セレクタ66はＣＶを受信し、セレクタ68は０を受信する
（図７）。このとき加減減算器69がＣＶをデータバスＤ
Ｃに供給して記憶シナプス係数の抽出を可能にする。こ
れは、例えば学習フェーズ後に有用である。 ・write ：ニューロン状態及び／又はシナプス係数の値
の書込み。この命令は、コマンドＣＨがアクティブにな
るとき値SNV , DNV , CV又はＭをレジスタ61,63, 65, 6
7にロードさせる。 ・accu：各シナプスの貢献量の累算。この命令は各シナ
プスの貢献量を加算させる。処理に関与するシナプスセ
ルはアキュムレータＭの内容を入力部分和に加算し、そ
の結果を次のシナプスセルに供給する。ソースフィルタ
ＳＦ及びデスティネーションフィルタＤＦの値に応じて
次の結果が得られる。
【００４１】１．ＳＦ＝０，ＤＦ＝０：不使用 ２．ＳＦ＝１，ＤＦ＝０：一つのニューロンの下流の全
シナプスが関係する。この組合せは学習フェーズにおけ
るエラーのバックプロパゲーションに使用される。 ３．ＳＦ＝０，ＤＦ＝１：一つのニューロンの上流の全
シナプスが関係する。この組合せは評価フェーズ中にニ
ューロンのポテンシャルを計算するのに使用される。 ４．ＳＦ＝１，ＤＦ＝１：特定のシナプスセルのアキュ
ムレータの内容の読出し。 ・allu ：内部演算処理 ・multi ：単ビット乗算 この命令は被乗数に１乗数ビットを乗算した部分積の累
算を実行させる。これは符号付き整数との乗算の基本で
あり、これは乗数のビット数と同数の命令multi の系列
により実現される。最初の命令は第１部分積を右へ１ビ
ットシフトしてＭにロードする。後続の命令は新しい部
分積をＭの内容に加算すると共にその結果を１ビット右
へシフトしてＭに再ロードする。最后の命令は加算の代
りに減算を実行し、その結果をシフトさせずに再ロード
する。
シナプスが関係する。この組合せは学習フェーズにおけ
るエラーのバックプロパゲーションに使用される。 ３．ＳＦ＝０，ＤＦ＝１：一つのニューロンの上流の全
シナプスが関係する。この組合せは評価フェーズ中にニ
ューロンのポテンシャルを計算するのに使用される。 ４．ＳＦ＝１，ＤＦ＝１：特定のシナプスセルのアキュ
ムレータの内容の読出し。 ・allu ：内部演算処理 ・multi ：単ビット乗算 この命令は被乗数に１乗数ビットを乗算した部分積の累
算を実行させる。これは符号付き整数との乗算の基本で
あり、これは乗数のビット数と同数の命令multi の系列
により実現される。最初の命令は第１部分積を右へ１ビ
ットシフトしてＭにロードする。後続の命令は新しい部
分積をＭの内容に加算すると共にその結果を１ビット右
へシフトしてＭに再ロードする。最后の命令は加算の代
りに減算を実行し、その結果をシフトさせずに再ロード
する。
【００４２】セレクタ62及び64はレジスタＳＮＶ及びＤ
ＮＶから命令内に指定されているランクに対応するビッ
トを抽出する（接続線90a 及び90b)。命令内に指定され
ている乗数及び被乗数、並びに接続線90a 及び90b に存
在するビットに応じて、セレクタ66はＤＮＶ、又はＣ
Ｖ、又は０の何れかの位置にセットされる。演算ユニッ
トは、命令の指定に従ってセレクタ66又はセレクタ68か
らの出力を加算又は減算する。最后に、その結果が命令
の制御の下で、右へ１ビットシフトされ或はシフトされ
ることなくレジスタＭに再ロードされる。従って、上述
したニューラルプロセッサはソース及びデスティネーシ
ョンニューロンを任意のシナプスセルに割当てるようプ
ログラムすることができると共にそれらの数をダイナミ
ックに変更することができる。更に、ニューロン状態レ
ジスタにニューロン状態をロードする解決フェーズに関
連する処理のタイプをプログラムすることができ、また
ニューロン状態レジスタにバックプロパゲートすべきエ
ラーをロードする学習フェーズに関連する処理のタイプ
をプログラムすることもできる。
ＮＶから命令内に指定されているランクに対応するビッ
トを抽出する（接続線90a 及び90b)。命令内に指定され
ている乗数及び被乗数、並びに接続線90a 及び90b に存
在するビットに応じて、セレクタ66はＤＮＶ、又はＣ
Ｖ、又は０の何れかの位置にセットされる。演算ユニッ
トは、命令の指定に従ってセレクタ66又はセレクタ68か
らの出力を加算又は減算する。最后に、その結果が命令
の制御の下で、右へ１ビットシフトされ或はシフトされ
ることなくレジスタＭに再ロードされる。従って、上述
したニューラルプロセッサはソース及びデスティネーシ
ョンニューロンを任意のシナプスセルに割当てるようプ
ログラムすることができると共にそれらの数をダイナミ
ックに変更することができる。更に、ニューロン状態レ
ジスタにニューロン状態をロードする解決フェーズに関
連する処理のタイプをプログラムすることができ、また
ニューロン状態レジスタにバックプロパゲートすべきエ
ラーをロードする学習フェーズに関連する処理のタイプ
をプログラムすることもできる。
【００４３】図３に示すように、ニューラルプロセッサ
はシナプスセルの線形チエーンにより形成することがで
きる。入力シナプスセルは全ての情報を受信し（制御＋
アドレス＋データ）、自身の貢献量の計算を実行すると
共に連結路を経て（変更された又は変更されてない）情
報を次のシナプスセルに供給する。処理に関与しないシ
ナプスセルは次のシナプスセルへ中継するだけである。
アイドル期間後に、結果のストリームがチェーンの最終
シナプスセルの出力端子に現われる。このストリームは
使用のために適正なレートで読出す必要がある。命令が
レジスタの変更を示す場合には、クロック信号がアイド
ル時間の終了時に供給されて関連する全てのレジスタが
同時にロードされる。
はシナプスセルの線形チエーンにより形成することがで
きる。入力シナプスセルは全ての情報を受信し（制御＋
アドレス＋データ）、自身の貢献量の計算を実行すると
共に連結路を経て（変更された又は変更されてない）情
報を次のシナプスセルに供給する。処理に関与しないシ
ナプスセルは次のシナプスセルへ中継するだけである。
アイドル期間後に、結果のストリームがチェーンの最終
シナプスセルの出力端子に現われる。このストリームは
使用のために適正なレートで読出す必要がある。命令が
レジスタの変更を示す場合には、クロック信号がアイド
ル時間の終了時に供給されて関連する全てのレジスタが
同時にロードされる。
【００４４】他の実施例 アイドルタイムを低減するために、複数のシナプスセル
を数個の並列のシナプスセル群に細分することができる
（図８）。例えば： 第１群 SYN 11 , SYN 21 , ------- SYN P1 第２群 SYN 12 , SYN 22 , ------- SYN P2 第３群 SYN 1Q , SYN 2Q , ------- SYN PQ 各群は図３に示すものと同一に実現する。即ち、 ・バスＡＤＲ及びバスＴＹＰＥを経る並列コミュニケー
ションが全ての群に対し、並列に行われるようにし、 ・連結路 BUSY を全てのセルを経て延在させ、即ち最初
に各群の第１シナプスセルの全てを経て、次に各群の第
２シナプスセルの全てを経て、及び最后に各群の最終シ
ナプスセルの全てを経て延在させ、 ・連結路 DATA を全ての群に分割する。従ってデータコ
ミュニケーションは全てのシナプスセル群を経て並列に
行なわれる。各群内のデータコミュニケーションは各群
内の連結路で行なわれる。累算命令の場合には、フィー
ルドDATAは一つの群にのみ供給され、他の群は０を受信
する。 各群の最終シナプスセル SYN P1 , SYN P2 ,------ SYN
PQ により出力される結果は、累算命令の場合には、例
えば数個の縦続接続加算器701 , 70K , 71から成るアダ
ーツリーで累算する。他の命令の場合には、これら加算
器が連結路DATAの内容を変更し得ないようにこれら加算
器を中和させるテスップが行なわれる。
を数個の並列のシナプスセル群に細分することができる
（図８）。例えば： 第１群 SYN 11 , SYN 21 , ------- SYN P1 第２群 SYN 12 , SYN 22 , ------- SYN P2 第３群 SYN 1Q , SYN 2Q , ------- SYN PQ 各群は図３に示すものと同一に実現する。即ち、 ・バスＡＤＲ及びバスＴＹＰＥを経る並列コミュニケー
ションが全ての群に対し、並列に行われるようにし、 ・連結路 BUSY を全てのセルを経て延在させ、即ち最初
に各群の第１シナプスセルの全てを経て、次に各群の第
２シナプスセルの全てを経て、及び最后に各群の最終シ
ナプスセルの全てを経て延在させ、 ・連結路 DATA を全ての群に分割する。従ってデータコ
ミュニケーションは全てのシナプスセル群を経て並列に
行なわれる。各群内のデータコミュニケーションは各群
内の連結路で行なわれる。累算命令の場合には、フィー
ルドDATAは一つの群にのみ供給され、他の群は０を受信
する。 各群の最終シナプスセル SYN P1 , SYN P2 ,------ SYN
PQ により出力される結果は、累算命令の場合には、例
えば数個の縦続接続加算器701 , 70K , 71から成るアダ
ーツリーで累算する。他の命令の場合には、これら加算
器が連結路DATAの内容を変更し得ないようにこれら加算
器を中和させるテスップが行なわれる。
【００４５】更に他の実施例 図９に示すように各群にパイプラインバリヤを挿入する
ことによりサイクル時間を減少させることができる。レ
ジスタBA 1, BA 2 ,------- BA Qにより形成されるパイ
プラインバリヤを、一区分を構成する所定数のシナプス
セルに続くデータパス内に配置する。このようにする
と、一つの同一群内の一区分を１パイプラインサイクル
において累算処理に従事させると共に他の区分を書込み
処理に従事させることができる。２つのパイプラインバ
リヤ間の同期のために、各区分は同数のシナプスセルを
含むものとするのが好ましい。レジスタBA 1 , BA 2 ,
----BA Qのローディングはクロック信号ＣＬでトリガさ
れる。
ことによりサイクル時間を減少させることができる。レ
ジスタBA 1, BA 2 ,------- BA Qにより形成されるパイ
プラインバリヤを、一区分を構成する所定数のシナプス
セルに続くデータパス内に配置する。このようにする
と、一つの同一群内の一区分を１パイプラインサイクル
において累算処理に従事させると共に他の区分を書込み
処理に従事させることができる。２つのパイプラインバ
リヤ間の同期のために、各区分は同数のシナプスセルを
含むものとするのが好ましい。レジスタBA 1 , BA 2 ,
----BA Qのローディングはクロック信号ＣＬでトリガさ
れる。
【００４６】パイプラインの使用は装置を割当て機能の
実行につき適応させる必要がある。実際には、回路を変
更する必要がないようにする場合には、回路を経て供給
される単一割当命令によってセグメント（各群の同一ラ
ンクの一組の区分）と同数の割当てを生じさせる必要が
あり、これは望ましくない。この問題を解決するため
に、条件を満足する最初のセグメントで実行される最初
の割当てが後続のセグメントで行なわれる割当て（もし
あれば）を阻止するようにする。このため、パイプライ
ンバリヤは他のレジスタと同期して信号 BUSY のチエー
ンを遮断するレジスタ99も含む。チエーン BUSY はパイ
プラインバリヤを越えて各群の次の区分の第１ランクの
シナプスセル (SYN X1 , SYN X2 , ----- SYN XQ )に続
く。
実行につき適応させる必要がある。実際には、回路を変
更する必要がないようにする場合には、回路を経て供給
される単一割当命令によってセグメント（各群の同一ラ
ンクの一組の区分）と同数の割当てを生じさせる必要が
あり、これは望ましくない。この問題を解決するため
に、条件を満足する最初のセグメントで実行される最初
の割当てが後続のセグメントで行なわれる割当て（もし
あれば）を阻止するようにする。このため、パイプライ
ンバリヤは他のレジスタと同期して信号 BUSY のチエー
ンを遮断するレジスタ99も含む。チエーン BUSY はパイ
プラインバリヤを越えて各群の次の区分の第１ランクの
シナプスセル (SYN X1 , SYN X2 , ----- SYN XQ )に続
く。
【００４７】入力手段13に到達するバス９上の情報の供
給及びクロック信号ＣＬの供給（図３）は、命令の完了
を識別することにより同期処理も実行し得るホストコン
ピュータ（図示せず）により実現することができる。次
いで入力端子に供給された命令がニューラルプロセッサ
の出力端子に検出されるときに新しい命令がホストコン
ピュータにより供給される。パイプラインモードにおい
て、２つの順次の命令が互いに依存しない場合には、ホ
ストコンピュータは次のパイプラインサイクル中に次の
命令を供給する。依存する場合には、ホストコンピュー
タはニューラルプロセッサの出力端子において命令の終
了を持つ。これら命令は実行タスク並びに学習タスクに
関するものとすることができる。
給及びクロック信号ＣＬの供給（図３）は、命令の完了
を識別することにより同期処理も実行し得るホストコン
ピュータ（図示せず）により実現することができる。次
いで入力端子に供給された命令がニューラルプロセッサ
の出力端子に検出されるときに新しい命令がホストコン
ピュータにより供給される。パイプラインモードにおい
て、２つの順次の命令が互いに依存しない場合には、ホ
ストコンピュータは次のパイプラインサイクル中に次の
命令を供給する。依存する場合には、ホストコンピュー
タはニューラルプロセッサの出力端子において命令の終
了を持つ。これら命令は実行タスク並びに学習タスクに
関するものとすることができる。
【図１】既知のニューラルプロセッサの主要構成素子の
概要図である。
概要図である。
【図２】本発明によるシナプスセルの概要図である。
【図３】複数のシナプスセルに細分された本発明による
ニューラルプロセッサの概要図である。
ニューラルプロセッサの概要図である。
【図４】割当てモジュール内の書込み用割当回路の構成
図である。
図である。
【図５】割当てモジュールの構成図である。
【図６】アドレッシングモジュールの構成図である。
【図７】プロセッシングモジュールの構成図である。
【図８】数個のシナプスセル群に分割した複数のシナプ
スセルを具えるニューラルブロセッサの概要図である。
スセルを具えるニューラルブロセッサの概要図である。
【図９】パイプラインバリヤを具える、図８と同様のニ
ューラルプロセッサの概要図である。
ューラルプロセッサの概要図である。
10 ニューラルプロセッサ 13 入力手段 15 (SYN 1 ,------ SYN P )シナプスセル 21 アドレスバス 221 〜22P データパス 23 タイプバス 241 〜24P ビジーパス 31 割当て手段 32 アドレッシング手段 35 処理手段
Claims (9)
- 【請求項１】 各別のソースニューロンと各別のデステ
ィネーションニューロンとの間データ通信のために、各
別のシナプスにより相互接続されたニューロンで機能的
に構成されるニューラルプロセッサ内のニューラルネッ
トにおいて、 各別のシナプスは入口と出口との間のデータパスを形成
するそれぞれ同一のセルの少なくとも一つの連結として
物理的に構成し、順次のセルのデータ入力端子をデータ
転送のためにその前のセルのデータ出力端子に接続し、 ・各セルはそのデータ入力端子とデータ出力端子との間
に ・データ計算を実行する計算ユニットと、 ・該計算ユニットに結合され、データを記憶するメモリ
とを具え、 ・前記ニューラルプロセッサは命令の通信用バス手段を
具え、 ・前記セルを前記バス手段に並列に接続し、 ・前記ニューラルネットは ・命令を前記バス手段を経て供給して前記セルを制御
し、これらセルのうちの少なくとも一つの特定のセル
を、次の処理： ・入口に与えられたデータアイテムを前記特定のセルの
メモリにローディングする処理、 ・前記少なくとも一つの特定のセルの計算ユニットを制
御してデータアイテムに特定のシナプス係数を乗算し、
その積を前記少なくとも一つのセルのメモリに記憶させ
る処理、 ・前の選択セルの積の部分和を次の選択セルに転送し、
次の選択セルのメモリに記憶されている積に前のセルの
部分和を加算して次の部分和を生じさせ、この部分和を
次の選択セルのデータ出力端子に供給することにより複
数の選択セルに発生する積を順次累算する処理（非選択
セルはトランスパレントにされる）、 のうちの少なくとも一つのために選択する制御手段と、 ・出口に接続され、出口に出力される総和に非線形関数
を適用してデスティネーションニューロン信号を生じさ
せる非線形変換手段とを具えることを特徴とするニュー
ラルネット。 - 【請求項２】 ・前記第１のセル連結においてシナプス
を第１の総和を発生するよう物理的に配置し、且つ少な
くとも一つの他のセル連結においてシナプスを他の総和
を発生するるよう物理的に配置すると共に前記第１のセ
ル連結と並列に機能的に配置し、 ・前記ニューラルプロセッサは前記第１のセル連結及び
前記他のセル連結と前記出口との間に設けられ、前記非
線形関数の適用前に前記第１の総和と前記他の総和を線
形合成する加算手段を具えることを特徴とする請求項１
記載のニューラルネット。 - 【請求項３】 前記セルは次の２つのモード：即ちデス
ティネーションニューロンのうちの共用ニューロンに関
し個別に又は並列に選択し得ることを特徴とする請求項
１記載のニューラルネット。 - 【請求項４】 各セル内の計算ユニットが加算器及び該
加算器の入力端子間に結合されたレジスタを具え、選択
的に反復加算を行なって積を形成するよう動作すること
を特徴とする請求項１記載のニューラルネット。 - 【請求項５】 次のセルの計算ユニットが選択的に次の
部分和を形成するよう動作することを特徴とする請求項
４記載のニューラルネット。 - 【請求項６】 各別のセルがバス手段を経て供給される
各別のアドレスの受信時に当該セルを選択可能にするア
ドレスユニットを具え、 各別のアドレスが各別のソースニューロンを指定する第
１識別子又は各別のデスティネーションニューロンを指
定する第２識別子を少なくとも具えることを特徴とする
請求項３記載のニューラルネット。 - 【請求項７】 各別のアドレスがプログラム可能である
ことを特徴とする請求項６記載のニューラルネット。 - 【請求項８】 各別のセルは、更に各自のアドレスとの
相関のために当該セルのアドレスユニットに基準アドレ
スが導入されることにより当該セルがデータパス内に機
能的に組込まれるか否かを指定する第１指示又は第２指
示を供給する割当ユニットを具え、 全てのセルの割当ユニットを連結して割当命令を単方向
伝搬する割当パスを形成し、前のセルから受信された第
１指示の制御の下で次のセルを他の一つのシナプスに割
当てるようにしたことを特徴とする請求項７記載のニュ
ーラルネット。 - 【請求項９】 請求項１〜８の何れかに記載のニューラ
ルネット内のニューラルプロセッサとして用いることを
特徴とするプロセッサ。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9202250A FR2687814A1 (fr) | 1992-02-26 | 1992-02-26 | Processeur neuronal a cellules synaptiques reparties. |
| FR9202250 | 1992-02-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH064507A true JPH064507A (ja) | 1994-01-14 |
Family
ID=9427072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5033446A Pending JPH064507A (ja) | 1992-02-26 | 1993-02-23 | ニューラルネット |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US5649069A (ja) |
| EP (1) | EP0558125B1 (ja) |
| JP (1) | JPH064507A (ja) |
| KR (1) | KR100255265B1 (ja) |
| DE (1) | DE69314824T2 (ja) |
| FR (1) | FR2687814A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102994889A (zh) * | 2012-09-29 | 2013-03-27 | 铜陵国方水暖科技有限责任公司 | 一种隔膜阀阀体的铸造成型制备方法 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5542054A (en) * | 1993-12-22 | 1996-07-30 | Batten, Jr.; George W. | Artificial neurons using delta-sigma modulation |
| EP0694856B1 (en) * | 1994-07-28 | 2002-05-02 | International Business Machines Corporation | Daisy chain circuit for serial connection of neuron circuits |
| EP0694853B1 (en) * | 1994-07-28 | 2002-05-02 | International Business Machines Corporation | Circuit for pre-charging the input vector components in a free neuron circuit during the recognition phase |
| EP0694854B1 (en) * | 1994-07-28 | 2002-06-05 | International Business Machines Corporation | Improved neural semiconductor chip architectures and neural networks incorporated therein |
| US6067536A (en) * | 1996-05-30 | 2000-05-23 | Matsushita Electric Industrial Co., Ltd. | Neural network for voice and pattern recognition |
| US6578020B1 (en) * | 1999-12-07 | 2003-06-10 | International Business Machines Corporation | Method and system for converting code to executable code using neural networks implemented in a very large scale integration (VLSI) integrated circuit |
| JP2001188767A (ja) * | 1999-12-28 | 2001-07-10 | Fuji Xerox Co Ltd | ニューラルネットワーク演算装置及びニューラルネットワークの演算方法 |
| JP2004531811A (ja) * | 2001-03-30 | 2004-10-14 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 人工ニューラル・ネットワークのすべてのフリー・ニューロン内のグローバル・リソースを事前荷電するための回路 |
| US20070237561A1 (en) * | 2006-04-11 | 2007-10-11 | Lexmark International Inc. | Methods and apparatuses for sensing a print area using a hand-held printer |
| FR3015068B1 (fr) * | 2013-12-18 | 2016-01-01 | Commissariat Energie Atomique | Module de traitement du signal, notamment pour reseau de neurones et circuit neuronal |
| US10332004B2 (en) * | 2015-07-13 | 2019-06-25 | Denso Corporation | Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit |
| US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
| US12430543B2 (en) | 2017-04-04 | 2025-09-30 | Hailo Technologies Ltd. | Structured sparsity guided training in an artificial neural network |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
| US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
| US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
| CN110764444A (zh) | 2019-10-10 | 2020-02-07 | 苏州浪潮智能科技有限公司 | 控制系统、交换机以及对执行装置进行控制的方法 |
| US12248367B2 (en) | 2020-09-29 | 2025-03-11 | Hailo Technologies Ltd. | Software defined redundant allocation safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4858147A (en) * | 1987-06-15 | 1989-08-15 | Unisys Corporation | Special purpose neurocomputer system for solving optimization problems |
| FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
| US5201029A (en) * | 1988-10-24 | 1993-04-06 | U.S. Philips Corporation | Digital data processing apparatus using daisy chain control |
| FR2639461A1 (fr) * | 1988-11-18 | 1990-05-25 | Labo Electronique Physique | Arrangement bidimensionnel de points memoire et structure de reseaux de neurones utilisant un tel arrangement |
| US5241509A (en) * | 1988-11-18 | 1993-08-31 | U.S. Philips Corporation | Arrangement of data cells and neural network system utilizing such an arrangement |
| FR2639736B1 (fr) * | 1988-11-25 | 1991-03-15 | Labo Electronique Physique | Procede de retropropagation du gradient et structure de reseau de neurones |
| FR2639739B1 (fr) * | 1988-11-25 | 1991-03-15 | Labo Electronique Physique | Procede et dispositif de compression de donnees d'image utilisant un reseau de neurones |
| US5293459A (en) * | 1988-12-23 | 1994-03-08 | U.S. Philips Corporation | Neural integrated circuit comprising learning means |
| FR2646575A1 (fr) * | 1989-04-26 | 1990-11-02 | Labo Electronique Physique | Procede et structure pour la compression de donnees |
| JP3210319B2 (ja) * | 1990-03-01 | 2001-09-17 | 株式会社東芝 | ニューロチップおよびそのチップを用いたニューロコンピュータ |
| US5325510A (en) * | 1990-05-25 | 1994-06-28 | Texas Instruments Incorporated | Multiprocessor system and architecture with a computation system for minimizing duplicate read requests |
| US5278945A (en) * | 1992-01-10 | 1994-01-11 | American Neuralogical, Inc. | Neural processor apparatus |
-
1992
- 1992-02-26 FR FR9202250A patent/FR2687814A1/fr active Pending
-
1993
- 1993-02-18 EP EP93200463A patent/EP0558125B1/fr not_active Expired - Lifetime
- 1993-02-18 DE DE69314824T patent/DE69314824T2/de not_active Expired - Fee Related
- 1993-02-23 JP JP5033446A patent/JPH064507A/ja active Pending
- 1993-02-25 KR KR1019930002649A patent/KR100255265B1/ko not_active Expired - Fee Related
-
1995
- 1995-06-07 US US08/487,616 patent/US5649069A/en not_active Expired - Fee Related
- 1995-06-07 US US08/487,617 patent/US5608844A/en not_active Expired - Fee Related
-
1997
- 1997-01-06 US US08/779,174 patent/US5748849A/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102994889A (zh) * | 2012-09-29 | 2013-03-27 | 铜陵国方水暖科技有限责任公司 | 一种隔膜阀阀体的铸造成型制备方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5608844A (en) | 1997-03-04 |
| EP0558125A1 (fr) | 1993-09-01 |
| DE69314824D1 (de) | 1997-12-04 |
| EP0558125B1 (fr) | 1997-10-29 |
| KR100255265B1 (ko) | 2000-05-01 |
| US5748849A (en) | 1998-05-05 |
| FR2687814A1 (fr) | 1993-08-27 |
| US5649069A (en) | 1997-07-15 |
| DE69314824T2 (de) | 1998-04-23 |
| KR930018399A (ko) | 1993-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5608844A (en) | Neural processor comprising distributed synaptic cells | |
| US5812993A (en) | Digital hardware architecture for realizing neural network | |
| KR950008840B1 (ko) | 뉴로 칩(neuro chip) | |
| CN114781632B (zh) | 基于动态可重构脉动张量运算引擎的深度神经网络加速器 | |
| US4740894A (en) | Computing processor with memoryless function units each connected to different part of a multiported memory | |
| US5544336A (en) | Parallel data processing system which efficiently performs matrix and neurocomputer operations, in a negligible data transmission time | |
| EP0504932A2 (en) | A parallel data processing system | |
| EP0421639B1 (en) | Parallel data processing system | |
| US5285524A (en) | Neural network with daisy chain control | |
| US5081573A (en) | Parallel processing system | |
| CN113064852B (zh) | 一种可重构处理器及配置方法 | |
| US11017290B2 (en) | Signal processing module, especially for a neural network and a neuronal circuit | |
| US5146543A (en) | Scalable neural array processor | |
| KR20150016089A (ko) | 신경망 컴퓨팅 장치 및 시스템과 그 방법 | |
| CN104145281A (zh) | 神经网络计算装置和系统及其方法 | |
| US5065339A (en) | Orthogonal row-column neural processor | |
| US5148515A (en) | Scalable neural array processor and method | |
| JP2021108104A (ja) | 部分的読み取り／書き込みが可能な再構成可能なシストリックアレイのシステム及び方法 | |
| JPH06502265A (ja) | 信号処理におけるマトリクス演算の計算回路装置 | |
| CN119440461B (zh) | 一种基于Chiplet的矩阵链乘法加速器及加速方法 | |
| JP2001117900A (ja) | ニューラルネットワーク演算装置 | |
| JPS63501828A (ja) | マルチゾ−ンプロセツサ | |
| CN101661407A (zh) | 一种并行结构的有限脉冲响应滤波器及其处理方法 | |
| US5146420A (en) | Communicating adder tree system for neural array processor | |
| CN117951427A (zh) | 一种支持多算法的全连接伊辛模型可重构处理电路 |