JPH08297716A - ニューラル・ネットワーク用の適応型重み調整回路 - Google Patents
ニューラル・ネットワーク用の適応型重み調整回路Info
- Publication number
- JPH08297716A JPH08297716A JP7229607A JP22960795A JPH08297716A JP H08297716 A JPH08297716 A JP H08297716A JP 7229607 A JP7229607 A JP 7229607A JP 22960795 A JP22960795 A JP 22960795A JP H08297716 A JPH08297716 A JP H08297716A
- Authority
- JP
- Japan
- Prior art keywords
- term
- data
- representing
- input
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】 学習アルゴリズム
Wi = Wi-1 + Ai
を利用する処理要素において、η*(Xi - Wi-1)と、η*
(Xi - Wi-1)項を表す追加の最下位データ・ビットとを
生成する、適応型重み調整Aiの生成方法を提供するこ
と。 【解決手段】 追加最下位データ・ビット２８を乱数３
７と比較（４０）し、＞，＝，＜比較信号４３，４４，
４５を与え、以下のいずれかの場合に、η*(Xi -
Wi-1)，＋１，−１および０のうち１つをWi-1項にそれ
ぞれ加算（３１，３２，３３，３４）する：η*(Xi - W
i-1)の少なくとも１ビットが１に等しい場合；η*(Xi -
Wi-1)が０に等しく、比較信号が＜で、符号ビットが＋
の場合；η*(Xi -Wi-1)が０に等しく、比較信号が＜
で、符号ビットが−の場合；またはη*(Xi -Wi-1)が０
に等しく、比較信号が＞または＝の場合。
(Xi - Wi-1)項を表す追加の最下位データ・ビットとを
生成する、適応型重み調整Aiの生成方法を提供するこ
と。 【解決手段】 追加最下位データ・ビット２８を乱数３
７と比較（４０）し、＞，＝，＜比較信号４３，４４，
４５を与え、以下のいずれかの場合に、η*(Xi -
Wi-1)，＋１，−１および０のうち１つをWi-1項にそれ
ぞれ加算（３１，３２，３３，３４）する：η*(Xi - W
i-1)の少なくとも１ビットが１に等しい場合；η*(Xi -
Wi-1)が０に等しく、比較信号が＜で、符号ビットが＋
の場合；η*(Xi -Wi-1)が０に等しく、比較信号が＜
で、符号ビットが−の場合；またはη*(Xi -Wi-1)が０
に等しく、比較信号が＞または＝の場合。
Description
【０００１】
【産業上の利用分野】本発明は、ニューラル・ネットワ
ーク(neural network)に関し、さらに詳しくは、拡張精
度(extended precision)を具備する適応型重み調整回路
(adaptive weight adjustment circuit)を含む処理要素
に関する。
ーク(neural network)に関し、さらに詳しくは、拡張精
度(extended precision)を具備する適応型重み調整回路
(adaptive weight adjustment circuit)を含む処理要素
に関する。
【０００２】
【従来の技術】一般に、人工ニューラル・ネットワーク
(artificial neural network) は、一般にすべての入力
の加重和をとるだけのニューロン(neuron)またはニュー
ロード(neurode) と呼ばれる多くの単純な処理要素から
なる。ニューラル・ネットワークは、与えられた入力に
同時に応答する。その結果は特定のメモリ番地に格納さ
れず、ある平衡状態に達した後に、ネットワークの全体
的な状態からなる。
(artificial neural network) は、一般にすべての入力
の加重和をとるだけのニューロン(neuron)またはニュー
ロード(neurode) と呼ばれる多くの単純な処理要素から
なる。ニューラル・ネットワークは、与えられた入力に
同時に応答する。その結果は特定のメモリ番地に格納さ
れず、ある平衡状態に達した後に、ネットワークの全体
的な状態からなる。
【０００３】ニューラル・ネットワークの語彙では、
「自己組織(self-organization) 」という用語は、一般
に、あるネットワークが入力パターンについて正しい解
答が与えられずに学習できる能力を表す。かかる自己組
織ネットワークは、Kohonen 学習システムにおいて利用
される。Kohonen 自己組織ネットワークは、一見すると
驚くほど単純であり、ニューロードの単一層からなり、
これらのニューロードは層内および外界内で接続され
る。
「自己組織(self-organization) 」という用語は、一般
に、あるネットワークが入力パターンについて正しい解
答が与えられずに学習できる能力を表す。かかる自己組
織ネットワークは、Kohonen 学習システムにおいて利用
される。Kohonen 自己組織ネットワークは、一見すると
驚くほど単純であり、ニューロードの単一層からなり、
これらのニューロードは層内および外界内で接続され
る。
【０００４】実際には、入力パターンは複数の入力ベク
トルまたは単純にこの説明では「入力」として表され
る。デジタル・ネットワークでは、便宜的な複数のデー
タ・ビット（例えば、８，１６など）によって定められ
る入力パターンがKohonen ネットワークに与えられる。
Kohonen 層内の各ニューロードは、入力パターンを受け
取り、この入力パターンとともにニューロード（同様な
ビット数を有する）に格納された重み(weight)の類似性
測定(similarity measurement)を算出し、この類似性測
定とは、基本的に、格納された重みベクトルと入力パタ
ーン・ベクトルとの間の距離である。次に、ニューロー
ドは、勝者(winner)と宣言されるもっとも近い類似性測
定値を有するニューロードと、学習の優先権について競
う。元の反復(iteration) では、エリア内のいくつかの
ニューロードと、近い類似性測定値を有する少なくとも
１つのニューロードとは、学習することが許可され、最
終的には、１つのニューロードが勝者となり、信号を出
力することが許可される。
トルまたは単純にこの説明では「入力」として表され
る。デジタル・ネットワークでは、便宜的な複数のデー
タ・ビット（例えば、８，１６など）によって定められ
る入力パターンがKohonen ネットワークに与えられる。
Kohonen 層内の各ニューロードは、入力パターンを受け
取り、この入力パターンとともにニューロード（同様な
ビット数を有する）に格納された重み(weight)の類似性
測定(similarity measurement)を算出し、この類似性測
定とは、基本的に、格納された重みベクトルと入力パタ
ーン・ベクトルとの間の距離である。次に、ニューロー
ドは、勝者(winner)と宣言されるもっとも近い類似性測
定値を有するニューロードと、学習の優先権について競
う。元の反復(iteration) では、エリア内のいくつかの
ニューロードと、近い類似性測定値を有する少なくとも
１つのニューロードとは、学習することが許可され、最
終的には、１つのニューロードが勝者となり、信号を出
力することが許可される。
【０００５】一般に、Kohonen ニューロードでは、格納
された重みの１つを表す複数のビットを格納するために
ランダム・アクセス・メモリ（ＲＡＭ）が用いられ、類
似性測定を判定する機能はさまざまなデジタル構成要素
（すなわち、乗算器，減算器，加算器など）によって実
行される。さまざまなデジタル構成要素は、一般に時分
割されるので、比較的単純・安価であるが、データ・ビ
ットを格納するために必要なＲＡＭは完成システムでは
主要コストとなる。さらに、格納されるデータ・ビット
数を増加して、重みベクトルの定義を増加するため、Ｒ
ＡＭの保存容量を増加すると、ＲＡＭのコスト・寸法は
急激に増大する。
された重みの１つを表す複数のビットを格納するために
ランダム・アクセス・メモリ（ＲＡＭ）が用いられ、類
似性測定を判定する機能はさまざまなデジタル構成要素
（すなわち、乗算器，減算器，加算器など）によって実
行される。さまざまなデジタル構成要素は、一般に時分
割されるので、比較的単純・安価であるが、データ・ビ
ットを格納するために必要なＲＡＭは完成システムでは
主要コストとなる。さらに、格納されるデータ・ビット
数を増加して、重みベクトルの定義を増加するため、Ｒ
ＡＭの保存容量を増加すると、ＲＡＭのコスト・寸法は
急激に増大する。
【０００６】
【発明が解決しようとする課題】従って、処理要素のコ
スト・寸法を大幅に増加せずに、処理要素の精度を向上
させることは有利である。
スト・寸法を大幅に増加せずに、処理要素の精度を向上
させることは有利である。
【０００７】本発明の目的は、拡張精度を具備する適応
型重み調整を生成する新規な改善された方法を提供する
ことである。
型重み調整を生成する新規な改善された方法を提供する
ことである。
【０００８】本発明の別の目的は、拡張精度を具備する
適応型重み調整を生成する新規な改善された処理要素を
提供することである。
適応型重み調整を生成する新規な改善された処理要素を
提供することである。
【０００９】本発明のさらに別の目的は、内蔵されるＲ
ＡＭのサイズを増加せずに、拡張精度を具備する適応型
重み調整を生成する新規な改善された方法を提供するこ
とである。
ＡＭのサイズを増加せずに、拡張精度を具備する適応型
重み調整を生成する新規な改善された方法を提供するこ
とである。
【００１０】本発明のさらに別の目的は、コストおよび
寸法がほとんど増加しない、拡張精度を具備する適応型
重み調整を生成する新規な改善された方法を提供するこ
とである。
寸法がほとんど増加しない、拡張精度を具備する適応型
重み調整を生成する新規な改善された方法を提供するこ
とである。
【００１１】
【課題を解決するための手段】上記の問題等および上記
の目的は、ニューラル・ネットワークにおいて部分的に
解決・達成され、このニューラルネットワークは、 Wi = Wi-1 + η*(Xi - Wi-1) の形式の学習アルゴリズムを利用する少なくとも１つの
処理要素を有し、ここでWiは、調整済み重みを表す複数
のデータ・ビット，Wi-1は、以前の重みまたは格納済み
重みを表す、同様な複数のデータ・ビット，ηは、塑性
信号(plasticity signal) ，Xiは、入力信号を表す同様
な複数のデータ・ビットである。処理要素は、拡張精度
を具備する適応重み調整を生成する方法において用いら
れ、この方法は、η*(Xi - Wi-1)項を表す同様な複数の
データ・ビット（Wiと同様なビット数）と、さらにη*
(Xi - Wi-1)を表す追加最下位データ・ビットとを生成
することを含む。可変修正数(variable modifying numb
er) が与えられ、追加最下位データ・ビットと比較さ
れ、それぞれ＞，＝，＜を表す第１，第２，第３ランダ
ム修正信号が与えられる。次に、以下の段階のうち１つ
が実行される：η*(Xi - Wi-1)を表す同様な複数のデー
タ・ビットのうち少なくとも１つが１に等しい場合に、
η*(Xi - Wi-1)項がWi-1項に追加される；η*(Xi - W
i-1)項を表す同様な複数のデータ・ビットのすべてがゼ
ロに等しく、第３ランダム修正信号が与えられ、η*(Xi
- Wi-1)項を表す同様な複数のデータ・ビットの符号ビ
ットが＋の場合に、第１の所定の量（例えば、＋１）が
Wi-1項に追加される；η*(Xi -Wi-1)項を表す同様な複
数のデータ・ビットのすべてがゼロに等しく、第３ラン
ダム修正信号が与えられ、η*(Xi - Wi-1 ) を表す同様
な複数のデータ・ビットの符号ビットが−の場合に、第
２の所定の量（例えば、−１）がWi-1項に追加される；
およびη*(Xi - Wi-1)項を表す同様な複数のデータ・ビ
ットのすべてがゼロに等しく、第１および第２ランダム
修正信号のうち１つが与えられる場合に、第３の所定の
量（例えば、０）がWi-1項に追加される。
の目的は、ニューラル・ネットワークにおいて部分的に
解決・達成され、このニューラルネットワークは、 Wi = Wi-1 + η*(Xi - Wi-1) の形式の学習アルゴリズムを利用する少なくとも１つの
処理要素を有し、ここでWiは、調整済み重みを表す複数
のデータ・ビット，Wi-1は、以前の重みまたは格納済み
重みを表す、同様な複数のデータ・ビット，ηは、塑性
信号(plasticity signal) ，Xiは、入力信号を表す同様
な複数のデータ・ビットである。処理要素は、拡張精度
を具備する適応重み調整を生成する方法において用いら
れ、この方法は、η*(Xi - Wi-1)項を表す同様な複数の
データ・ビット（Wiと同様なビット数）と、さらにη*
(Xi - Wi-1)を表す追加最下位データ・ビットとを生成
することを含む。可変修正数(variable modifying numb
er) が与えられ、追加最下位データ・ビットと比較さ
れ、それぞれ＞，＝，＜を表す第１，第２，第３ランダ
ム修正信号が与えられる。次に、以下の段階のうち１つ
が実行される：η*(Xi - Wi-1)を表す同様な複数のデー
タ・ビットのうち少なくとも１つが１に等しい場合に、
η*(Xi - Wi-1)項がWi-1項に追加される；η*(Xi - W
i-1)項を表す同様な複数のデータ・ビットのすべてがゼ
ロに等しく、第３ランダム修正信号が与えられ、η*(Xi
- Wi-1)項を表す同様な複数のデータ・ビットの符号ビ
ットが＋の場合に、第１の所定の量（例えば、＋１）が
Wi-1項に追加される；η*(Xi -Wi-1)項を表す同様な複
数のデータ・ビットのすべてがゼロに等しく、第３ラン
ダム修正信号が与えられ、η*(Xi - Wi-1 ) を表す同様
な複数のデータ・ビットの符号ビットが−の場合に、第
２の所定の量（例えば、−１）がWi-1項に追加される；
およびη*(Xi - Wi-1)項を表す同様な複数のデータ・ビ
ットのすべてがゼロに等しく、第１および第２ランダム
修正信号のうち１つが与えられる場合に、第３の所定の
量（例えば、０）がWi-1項に追加される。
【００１２】
【実施例】図１を参照して、ニューラル・ネットワーク
で用いられるように設計された処理要素１０を示し、こ
れは汎用学習アルゴリズム Wi = Wi-1 + Ai を利用する。処理要素１０は、デルタ・ルール，バック
・プロパゲーション(back propagation)，Kohhonenなど
を利用するネットワークを含むさまざまな適応型ニュー
ラル・ネットワークで利用できる。上記のアルゴリズム
において、Wiは、調整済み重み(adjusted weight) を表
す複数のデータ・ビットであり、Wi-1は、格納済み重み
(stored weight) を表す複数の格納ビット（Wiと同様な
ビット数）であり、Aiは、修正子＋１，−１および０の
うち１つまたは積η*(Xi - Wi-1)を表す同様な複数のデ
ータ・ビットであり、ここでηは塑性信号(plasticity
signal) であり、Xiは入力信号を表す同様な複数のデー
タ・ビットである。
で用いられるように設計された処理要素１０を示し、こ
れは汎用学習アルゴリズム Wi = Wi-1 + Ai を利用する。処理要素１０は、デルタ・ルール，バック
・プロパゲーション(back propagation)，Kohhonenなど
を利用するネットワークを含むさまざまな適応型ニュー
ラル・ネットワークで利用できる。上記のアルゴリズム
において、Wiは、調整済み重み(adjusted weight) を表
す複数のデータ・ビットであり、Wi-1は、格納済み重み
(stored weight) を表す複数の格納ビット（Wiと同様な
ビット数）であり、Aiは、修正子＋１，−１および０の
うち１つまたは積η*(Xi - Wi-1)を表す同様な複数のデ
ータ・ビットであり、ここでηは塑性信号(plasticity
signal) であり、Xiは入力信号を表す同様な複数のデー
タ・ビットである。
【００１３】処理要素１０は、以下では簡単に重みとい
う重みベクトル(weight vector) を格納するランダム・
アクセス・メモリ（ＲＡＭ）１２を含む。処理要素１０
では、ＲＡＭ１２に格納され、バス１４上で利用可能な
重みは、未修正重み(unmodified weight) を示すためW
i-1と表される。また、この特定の実施例では、説明の
ため、Wi-1のみを８デジタル・ビットによって定め、そ
のためＲＡＭ１２は８ビットを格納でき、バス１４は８
本のラインを含む。前述のように、ＲＡＭ１２は処理要
素１０のコストの大部分を占め、処理要素の残りの部分
は、完成システムで時分割されると、比較的小さく安価
な部分である。
う重みベクトル(weight vector) を格納するランダム・
アクセス・メモリ（ＲＡＭ）１２を含む。処理要素１０
では、ＲＡＭ１２に格納され、バス１４上で利用可能な
重みは、未修正重み(unmodified weight) を示すためW
i-1と表される。また、この特定の実施例では、説明の
ため、Wi-1のみを８デジタル・ビットによって定め、そ
のためＲＡＭ１２は８ビットを格納でき、バス１４は８
本のラインを含む。前述のように、ＲＡＭ１２は処理要
素１０のコストの大部分を占め、処理要素の残りの部分
は、完成システムで時分割されると、比較的小さく安価
な部分である。
【００１４】バス１４の８本のラインは、減算回路１５
の８ビット入力に接続される。また、入力信号Xiを表す
同様な複数のデータ・ビット（この実施例では、８）
は、処理要素１０の入力端子１７に供給される。８ライ
ン・バス１８は、入力端子１７から減算器１５の第２の
８ビット入力に接続される。従って、Wi-1を表す８ビッ
ト・データおよびXiを表す８ビット・データは、減算器
１５に印加され、この減算器は差信号Xi - Wi-1 を表す
８ビット・データを与える。
の８ビット入力に接続される。また、入力信号Xiを表す
同様な複数のデータ・ビット（この実施例では、８）
は、処理要素１０の入力端子１７に供給される。８ライ
ン・バス１８は、入力端子１７から減算器１５の第２の
８ビット入力に接続される。従って、Wi-1を表す８ビッ
ト・データおよびXiを表す８ビット・データは、減算器
１５に印加され、この減算器は差信号Xi - Wi-1 を表す
８ビット・データを与える。
【００１５】減算器１５からの差信号は、シフト・レジ
スタ２０に供給される。シフト・レジスタ２０はこの特
定の実施例で用いられるが、マルチプレクサ，バレル・
シフタ(barrel shifter)なども必要に応じて代用できる
ことが理解される。シフト・レジスタ２０は第２入力端
子を有し、この第２入力端子は、本実施例では、塑性発
生器２２からの塑性信号ηを表す３ビット信号を受ける
べく接続される。本開示に限り、「塑性(plasticity)」
という用語は、処理される反復(iteration) の数に一般
に従ってデータを変更するために用いられる学習定数(l
earning constant) または修正子(modifier)を意味す
る。この特定の開示では、塑性定数は、０≦η＜１の範
囲である。一般に、塑性定数は最初に大きくまたは最大
であり、徐々に大きさが小さくなり、データのゼロ変化
または変更(alteration)に漸近的に近づく。シフト・レ
ジスタ２０は、差信号Xi - Wi-1 および塑性信号ηの受
信に応答して、積η*(Xi - Wi-1)を実行または生成す
る。当技術分野で周知なように、シフト・レジスタ２０
は、２- η乗算を実際に実行し、これは単純な右シフト
である。
スタ２０に供給される。シフト・レジスタ２０はこの特
定の実施例で用いられるが、マルチプレクサ，バレル・
シフタ(barrel shifter)なども必要に応じて代用できる
ことが理解される。シフト・レジスタ２０は第２入力端
子を有し、この第２入力端子は、本実施例では、塑性発
生器２２からの塑性信号ηを表す３ビット信号を受ける
べく接続される。本開示に限り、「塑性(plasticity)」
という用語は、処理される反復(iteration) の数に一般
に従ってデータを変更するために用いられる学習定数(l
earning constant) または修正子(modifier)を意味す
る。この特定の開示では、塑性定数は、０≦η＜１の範
囲である。一般に、塑性定数は最初に大きくまたは最大
であり、徐々に大きさが小さくなり、データのゼロ変化
または変更(alteration)に漸近的に近づく。シフト・レ
ジスタ２０は、差信号Xi - Wi-1 および塑性信号ηの受
信に応答して、積η*(Xi - Wi-1)を実行または生成す
る。当技術分野で周知なように、シフト・レジスタ２０
は、２- η乗算を実際に実行し、これは単純な右シフト
である。
【００１６】シフト・レジスタ２０は、η*(Xi - Wi-1)
を表す同様な複数のデータ・ビット（すなわち、８ビッ
ト）を生成する。ビット２６は、複数のビットの最上位
ビット（ＭＳＢ：most significant bit) であり、ビッ
ト２７は最下位ビット（ＬＳＢ：least significant bi
t)である。さらに、シフト・レジスタ２０は、ＬＳＢ２
７以下の補助(supplemental)または分数(fractional)デ
ータ・ビットを生成する分数部２８を含み、補助または
分数データ・ビットとは実質的には、η*(Xi -Wi-1)項
の分数部分を定めるビット数である。この特定の実施例
では、分数ビットとして３ビットが与えられるが、任意
の便宜的な分数ビット数を利用してもよく、ただし、大
きい分数ビット数はより精細な定義を与えるが、大きす
ぎるビット数は処理要素１０が情報を利用できる能力を
超えることがあることを理解されたい。
を表す同様な複数のデータ・ビット（すなわち、８ビッ
ト）を生成する。ビット２６は、複数のビットの最上位
ビット（ＭＳＢ：most significant bit) であり、ビッ
ト２７は最下位ビット（ＬＳＢ：least significant bi
t)である。さらに、シフト・レジスタ２０は、ＬＳＢ２
７以下の補助(supplemental)または分数(fractional)デ
ータ・ビットを生成する分数部２８を含み、補助または
分数データ・ビットとは実質的には、η*(Xi -Wi-1)項
の分数部分を定めるビット数である。この特定の実施例
では、分数ビットとして３ビットが与えられるが、任意
の便宜的な分数ビット数を利用してもよく、ただし、大
きい分数ビット数はより精細な定義を与えるが、大きす
ぎるビット数は処理要素１０が情報を利用できる能力を
超えることがあることを理解されたい。
【００１７】シフト・レジスタ２０のＭＳＢ２６からＬ
ＳＢ２７の複数のデータ・ビット（すなわち、８ビッ
ト）は、マルチプレクサ回路３０の、同様な数を含む第
１セットの入力３１に印加される。この特定の実施例で
は、ＭＳＢ２６は、バス１４上の格納された重み
（Wi-1）がバス１８上の入力信号Xiよりも大きいか小さ
いかを定める符号ビットである。マルチプレクサ回路３
０は、第１の所定の信号（または重み量）が連続的に印
加される第２セットの入力３２と、第２の所定の信号が
連続的に印加される第３セットの入力３３と、第３の所
定の信号が連続的に印加される第４セットの入力３４と
を有する。この特定の実施例における説明に限り、第１
の所定の信号はすべて論理高または１（１１１１１１１
１）であり、これは−１で、また第２の所定の信号は、
論理高であるＬＳＢを除き、すべて論理低（０００００
００１）であり、これは＋１で、また第３の所定の信号
はすべて論理低または０（００００００００）であり、
これは０である。当技術分野で周知なように、マルチプ
レクサ回路３０は、４つのセットの入力３１〜３４に印
加される４つの異なる信号の任意の１つを出力するよう
に制御できる。マルチプレクサ３０は、この実施例で
は、２ビット信号をＳ0 およびＳi と記された一対の端
子に印加することによって制御される。
ＳＢ２７の複数のデータ・ビット（すなわち、８ビッ
ト）は、マルチプレクサ回路３０の、同様な数を含む第
１セットの入力３１に印加される。この特定の実施例で
は、ＭＳＢ２６は、バス１４上の格納された重み
（Wi-1）がバス１８上の入力信号Xiよりも大きいか小さ
いかを定める符号ビットである。マルチプレクサ回路３
０は、第１の所定の信号（または重み量）が連続的に印
加される第２セットの入力３２と、第２の所定の信号が
連続的に印加される第３セットの入力３３と、第３の所
定の信号が連続的に印加される第４セットの入力３４と
を有する。この特定の実施例における説明に限り、第１
の所定の信号はすべて論理高または１（１１１１１１１
１）であり、これは−１で、また第２の所定の信号は、
論理高であるＬＳＢを除き、すべて論理低（０００００
００１）であり、これは＋１で、また第３の所定の信号
はすべて論理低または０（００００００００）であり、
これは０である。当技術分野で周知なように、マルチプ
レクサ回路３０は、４つのセットの入力３１〜３４に印
加される４つの異なる信号の任意の１つを出力するよう
に制御できる。マルチプレクサ３０は、この実施例で
は、２ビット信号をＳ0 およびＳi と記された一対の端
子に印加することによって制御される。
【００１８】シフト・レジスタ２０の分数部２８によっ
て生成される追加データ・ビットは、分数の絶対値に変
換され、格納デバイスまたはラッチ３５に印加される。
乱数発生器(random number generator) ３７は、ランダ
ム・ビット数（ラッチ３５に格納されるビット数と同
様）を生成するために設けられる。ラッチ３５に格納さ
れた分数またはビットは、比較器４０において、乱数発
生器３７からのランダム・ビットと比較される。乱数が
分数の値よりも大きい（＞）場合、第１ランダム修正信
号が第１リード４３上でゲート回路４２に供給される。
乱数が分数の値に等しい（＝）場合、第２ランダム修正
信号が第２リード４４上でゲート回路４２に供給され
る。乱数が分数の値よりも小さい（＜）場合、第３ラン
ダム修正信号が第３リード４５上でゲート回路４２に供
給される。
て生成される追加データ・ビットは、分数の絶対値に変
換され、格納デバイスまたはラッチ３５に印加される。
乱数発生器(random number generator) ３７は、ランダ
ム・ビット数（ラッチ３５に格納されるビット数と同
様）を生成するために設けられる。ラッチ３５に格納さ
れた分数またはビットは、比較器４０において、乱数発
生器３７からのランダム・ビットと比較される。乱数が
分数の値よりも大きい（＞）場合、第１ランダム修正信
号が第１リード４３上でゲート回路４２に供給される。
乱数が分数の値に等しい（＝）場合、第２ランダム修正
信号が第２リード４４上でゲート回路４２に供給され
る。乱数が分数の値よりも小さい（＜）場合、第３ラン
ダム修正信号が第３リード４５上でゲート回路４２に供
給される。
【００１９】また、ゲート回路４２は、シフト・レジス
タ２０の出力リード２６から、符号ビットを受け取るべ
く接続された入力を有する。最後に、シフト・レジスタ
２０の出力２６，２７上のすべての８ビットはＯＲゲー
ト５０において周知の方法で合成され、出力信号はゲー
ト回路４２の入力端子に印加される。基本的に、ＯＲゲ
ート５０は、シフト・レジスタ２０のすべて８つの出力
が論理低または０の場合に、第１信号を供給し、シフト
・レジスタ２０の８つの出力のうち少なくとも１つが論
理高または１の場合に、第２信号を供給する。
タ２０の出力リード２６から、符号ビットを受け取るべ
く接続された入力を有する。最後に、シフト・レジスタ
２０の出力２６，２７上のすべての８ビットはＯＲゲー
ト５０において周知の方法で合成され、出力信号はゲー
ト回路４２の入力端子に印加される。基本的に、ＯＲゲ
ート５０は、シフト・レジスタ２０のすべて８つの出力
が論理低または０の場合に、第１信号を供給し、シフト
・レジスタ２０の８つの出力のうち少なくとも１つが論
理高または１の場合に、第２信号を供給する。
【００２０】この特定の実施例では、マルチプレクサ３
０は、図２の表に基づいて設計される。すなわち、２つ
の論理低または０が端子Ｓ0 およびＳ1 に印加される
と、入力３４が選択され、すべて論理低または０がマル
チプレクサ３０の出力端子に現れる。論理低が端子Ｓ1
に印加され、論理高が端子Ｓ0 に印加されると、入力３
３が選択され、ＬＳＢ（＋１）を除くすべて論理低がマ
ルチプレクサ３０の出力端子に現れる。論理低が端子Ｓ
0 に印加され、論理高が端子Ｓ1 に印加されると、入力
３２が選択され、すべて論理高（−１）がマルチプレク
サ３０の出力端子に現れる。そして、２つの論理高また
は１が端子Ｓ0 およびＳ1 に印加されると、入力３１が
選択され、シフト・レジスタ２０からのすべての出力ビ
ットはマルチプレクサ３０を通過し、マルチプレクサ３
０の出力端子に現れる。
０は、図２の表に基づいて設計される。すなわち、２つ
の論理低または０が端子Ｓ0 およびＳ1 に印加される
と、入力３４が選択され、すべて論理低または０がマル
チプレクサ３０の出力端子に現れる。論理低が端子Ｓ1
に印加され、論理高が端子Ｓ0 に印加されると、入力３
３が選択され、ＬＳＢ（＋１）を除くすべて論理低がマ
ルチプレクサ３０の出力端子に現れる。論理低が端子Ｓ
0 に印加され、論理高が端子Ｓ1 に印加されると、入力
３２が選択され、すべて論理高（−１）がマルチプレク
サ３０の出力端子に現れる。そして、２つの論理高また
は１が端子Ｓ0 およびＳ1 に印加されると、入力３１が
選択され、シフト・レジスタ２０からのすべての出力ビ
ットはマルチプレクサ３０を通過し、マルチプレクサ３
０の出力端子に現れる。
【００２１】ゲート回路４２は、単純な論理回路でも任
意の論理同等（例えば、ＲＯＭテーブル，ＲＡＭテーブ
ルなど）でもよく、また以下の判定を行うことができる
より複雑な半導体ＣＰＵ，ＡＩなどの一部として内蔵し
てもよい。ＯＲゲート５０が第２信号をゲート回路４２
に供給する（シフト・レジスタ２０の８出力のうち少な
くとも１つが論理高）の場合、ゲート回路４２は１を両
方の端子Ｓ0 およびＳ1 に供給する。ＯＲゲート５０が
第１信号をゲート回路４２に供給する（シフト・レジス
タ２０のすべての８出力が論理低）の場合、ゲート回路
４２は比較器４０の出力を調べる。乱数発生器３７によ
って生成された乱数がラッチ３５からの分数の絶対値よ
りも大きい場合、２つの０がＳ0 およびＳ1 入力にそれ
ぞれ印加される。また、乱数発生器３７によって生成さ
れた乱数がラッチ３５からの分数ビットの絶対値と等し
い場合、２つの０がＳ0 およびＳ1 入力に印加される。
乱数発生器３７によって生成される乱数がラッチ３５か
らの分数ビットの絶対値よりも小さい場合、符号ビット
が調べられ、符号が＋（Ｓ1 ＝０，Ｓ0 ＝１）の場合、
＋１が加算され、符号が−（Ｓ1 ＝１，Ｓ0 ＝０）の場
合、−１が加算される。
意の論理同等（例えば、ＲＯＭテーブル，ＲＡＭテーブ
ルなど）でもよく、また以下の判定を行うことができる
より複雑な半導体ＣＰＵ，ＡＩなどの一部として内蔵し
てもよい。ＯＲゲート５０が第２信号をゲート回路４２
に供給する（シフト・レジスタ２０の８出力のうち少な
くとも１つが論理高）の場合、ゲート回路４２は１を両
方の端子Ｓ0 およびＳ1 に供給する。ＯＲゲート５０が
第１信号をゲート回路４２に供給する（シフト・レジス
タ２０のすべての８出力が論理低）の場合、ゲート回路
４２は比較器４０の出力を調べる。乱数発生器３７によ
って生成された乱数がラッチ３５からの分数の絶対値よ
りも大きい場合、２つの０がＳ0 およびＳ1 入力にそれ
ぞれ印加される。また、乱数発生器３７によって生成さ
れた乱数がラッチ３５からの分数ビットの絶対値と等し
い場合、２つの０がＳ0 およびＳ1 入力に印加される。
乱数発生器３７によって生成される乱数がラッチ３５か
らの分数ビットの絶対値よりも小さい場合、符号ビット
が調べられ、符号が＋（Ｓ1 ＝０，Ｓ0 ＝１）の場合、
＋１が加算され、符号が−（Ｓ1 ＝１，Ｓ0 ＝０）の場
合、−１が加算される。
【００２２】マルチプレクサ３０の出力端子は、加算器
５５の第１セットの入力端子に接続される。バス１４の
８本のラインは、加算器５５の第２入力セットに接続さ
れ、未修正重みWi-1をそこに印加する。従って、加算器
５５の出力はWi-1 + Ai となり、ここでAiは、修正子＋
１，−１および０のうち１つ、または積η*(Xi - Wi-1)
をあらわす同様な複数のデータ・ビットである。Wiと記
されるこの出力は、ＲＡＭ１２に対する入力として８リ
ード・バス５６に印加され、そこで未修正重みWi-1を置
換する。未修正重みWi-1が置換されるか、あるいはWiに
修正されると、第２反復が開始され、再２反復のため新
たな重みがバス１４上で用いられる。ここで、処理要素
１０の任意のまたはすべての構成要素は、単一の半導体
チップ上に内蔵でき、少ない数の追加ビットおよびこの
ビットを処理する構成要素は比較的小さく、処理要素１
０に集積しやすくなる。
５５の第１セットの入力端子に接続される。バス１４の
８本のラインは、加算器５５の第２入力セットに接続さ
れ、未修正重みWi-1をそこに印加する。従って、加算器
５５の出力はWi-1 + Ai となり、ここでAiは、修正子＋
１，−１および０のうち１つ、または積η*(Xi - Wi-1)
をあらわす同様な複数のデータ・ビットである。Wiと記
されるこの出力は、ＲＡＭ１２に対する入力として８リ
ード・バス５６に印加され、そこで未修正重みWi-1を置
換する。未修正重みWi-1が置換されるか、あるいはWiに
修正されると、第２反復が開始され、再２反復のため新
たな重みがバス１４上で用いられる。ここで、処理要素
１０の任意のまたはすべての構成要素は、単一の半導体
チップ上に内蔵でき、少ない数の追加ビットおよびこの
ビットを処理する構成要素は比較的小さく、処理要素１
０に集積しやすくなる。
【００２３】基本的に、未修正または格納済み重みWi-1
および入力信号Xiは比較され、これらの類似性について
判断する。その差が論理低（すべてゼロ）以外の場合、
各反復中に格納済み重みを修正するためにη*(Xi - W
i-1)項が用いられる。すべてゼロに変更するため格納済
み重みが十分修正される（ある数の反復が実行される）
とすぐに、追加ビットが処理され、ビット差の分数がど
れだけ大きいかを調べる。この処理を行うため、ビット
差の分数は乱数と比較される。ビット差の分数が大きけ
れば、乱数はビット差の分数の絶対値よりも小さく
（＜）、反復の大きな割合および第１または第２の所定
の量（この実施例では、＋１または−１）がWi-1に加算
される場合が多くなる。ビット差の分数がゼロに近づく
（小さくなる）と、乱数よりも大きくなり、反復の小さ
な割合および第１または第２の所定の量がWi-1に加算さ
れる場合が少なくなる。従って、未修正または格納積み
重みWi-1が１１ビット精度で入力信号Xiにほぼ漸近的に
近づく。
および入力信号Xiは比較され、これらの類似性について
判断する。その差が論理低（すべてゼロ）以外の場合、
各反復中に格納済み重みを修正するためにη*(Xi - W
i-1)項が用いられる。すべてゼロに変更するため格納済
み重みが十分修正される（ある数の反復が実行される）
とすぐに、追加ビットが処理され、ビット差の分数がど
れだけ大きいかを調べる。この処理を行うため、ビット
差の分数は乱数と比較される。ビット差の分数が大きけ
れば、乱数はビット差の分数の絶対値よりも小さく
（＜）、反復の大きな割合および第１または第２の所定
の量（この実施例では、＋１または−１）がWi-1に加算
される場合が多くなる。ビット差の分数がゼロに近づく
（小さくなる）と、乱数よりも大きくなり、反復の小さ
な割合および第１または第２の所定の量がWi-1に加算さ
れる場合が少なくなる。従って、未修正または格納積み
重みWi-1が１１ビット精度で入力信号Xiにほぼ漸近的に
近づく。
【００２４】図３を参照して、デジタルではなくアナロ
グの拡張精度装置を利用する処理要素１０’の簡略ブロ
ック図を示す。図３の処理要素１０’は、図１の処理要
素１０と類似し、同様な構成要素は、同様な番号で表さ
れ、ただしすべての番号は異なる実施例を表すためプラ
イム（’）が付されている。さらに図１の処理要素１０
の構成要素と同様であり同じように動作する処理要素１
０’の構成要素は、以下では詳しく説明しない。
グの拡張精度装置を利用する処理要素１０’の簡略ブロ
ック図を示す。図３の処理要素１０’は、図１の処理要
素１０と類似し、同様な構成要素は、同様な番号で表さ
れ、ただしすべての番号は異なる実施例を表すためプラ
イム（’）が付されている。さらに図１の処理要素１０
の構成要素と同様であり同じように動作する処理要素１
０’の構成要素は、以下では詳しく説明しない。
【００２５】分数データを表す、シフト・レジスタ２
０’の分数部２８’からの３データ・ビットは、デジタ
ル／アナログ変換器３５’に供給され、ここで分数デー
タに比例するアナログ電圧、電荷，分極(polarization)
などに変換される。正または負の値であるこの電圧（ま
たは電荷，分極など）は、すでにアナログ・メモリ・セ
ル４１’に格納済みの電圧に加算される。アナログ・メ
モリ・セル４１’は、浮動ゲート・メモリ・セル，強誘
電メモリ・セルなどを含んでもよい。従って、アナログ
・メモリ・セル４１’は、経時的に静電気を集める。
０’の分数部２８’からの３データ・ビットは、デジタ
ル／アナログ変換器３５’に供給され、ここで分数デー
タに比例するアナログ電圧、電荷，分極(polarization)
などに変換される。正または負の値であるこの電圧（ま
たは電荷，分極など）は、すでにアナログ・メモリ・セ
ル４１’に格納済みの電圧に加算される。アナログ・メ
モリ・セル４１’は、浮動ゲート・メモリ・セル，強誘
電メモリ・セルなどを含んでもよい。従って、アナログ
・メモリ・セル４１’は、経時的に静電気を集める。
【００２６】格納データの符号を表す、アナログ・メモ
リ・セル４１’の符号出力は、リード４３’上でゲート
回路４２’の入力に直接供給され、格納データの値また
は大きさを表す値出力は、第２リード４４’上でリミタ
４６’の入力に印加される。リミタ４６’は、閾値を実
質的に含み、この閾値以下では信号は出力されない。リ
ミタ４６’の閾値を越えると、リード４５’上でゲート
回路４２’の第２入力に信号が供給される。リード４
３’，４５’上の信号は協調して、ゲート回路４２’に
０，１または１，０をマルチプレクサ３０’のＳ1 およ
びＳ0 入力に供給させて、その結果、マルチプレクサ３
０’からフル＋１または−１がそれぞれ出力される。
リ・セル４１’の符号出力は、リード４３’上でゲート
回路４２’の入力に直接供給され、格納データの値また
は大きさを表す値出力は、第２リード４４’上でリミタ
４６’の入力に印加される。リミタ４６’は、閾値を実
質的に含み、この閾値以下では信号は出力されない。リ
ミタ４６’の閾値を越えると、リード４５’上でゲート
回路４２’の第２入力に信号が供給される。リード４
３’，４５’上の信号は協調して、ゲート回路４２’に
０，１または１，０をマルチプレクサ３０’のＳ1 およ
びＳ0 入力に供給させて、その結果、マルチプレクサ３
０’からフル＋１または−１がそれぞれ出力される。
【００２７】また、リミタ４６’からのリード４５’上
の値出力は、ＡＮＤゲート４７’の第１入力に供給され
る。ＡＮＤゲート４７’の第２入力４８は’は、格納さ
れたデジタル重み（例えば、ＲＡＭ１２’からの信号）
がフル±１によって変更されたという事実を表す信号を
受けるために接続される。ＡＮＤゲート４７’からの出
力信号は、アナログ・メモリ・セル４１’に供給され、
セルを元の設定（例えば、０）にリセットし、そのため
アナログ・メモリ・セル４１’はデータ収集を再び開始
できる。
の値出力は、ＡＮＤゲート４７’の第１入力に供給され
る。ＡＮＤゲート４７’の第２入力４８は’は、格納さ
れたデジタル重み（例えば、ＲＡＭ１２’からの信号）
がフル±１によって変更されたという事実を表す信号を
受けるために接続される。ＡＮＤゲート４７’からの出
力信号は、アナログ・メモリ・セル４１’に供給され、
セルを元の設定（例えば、０）にリセットし、そのため
アナログ・メモリ・セル４１’はデータ収集を再び開始
できる。
【００２８】本構造のデジタル版とアナログ版との間の
もう１つの相違点は、ＲＡＭ１２’に格納される各デジ
タル重みは、関連するアナログ・メモリ・セル４１’を
有することである。従って、ＲＡＭ１２’に格納される
デジタル重みおよび関連アナログ・メモリ・セル４１’
は、同じアドレス・デコード・システム（図示せず）に
よってアドレス指定される。
もう１つの相違点は、ＲＡＭ１２’に格納される各デジ
タル重みは、関連するアナログ・メモリ・セル４１’を
有することである。従って、ＲＡＭ１２’に格納される
デジタル重みおよび関連アナログ・メモリ・セル４１’
は、同じアドレス・デコード・システム（図示せず）に
よってアドレス指定される。
【００２９】また、８ビット構成要素および追加８ビッ
トは説明のためにすぎず、任意の所望の便宜的な基本ビ
ット数および追加ビット数を利用できることが当業者に
理解される。また、処理要素１０について特定のデジタ
ルおよびアナログ構成で説明したが、同様な概念はここ
で開示していない他の構成にも適用できると考えられ
る。
トは説明のためにすぎず、任意の所望の便宜的な基本ビ
ット数および追加ビット数を利用できることが当業者に
理解される。また、処理要素１０について特定のデジタ
ルおよびアナログ構成で説明したが、同様な概念はここ
で開示していない他の構成にも適用できると考えられ
る。
【００３０】ここで、８ビットの主要構成要素しか必要
としないが、処理要素１０は重み更新または学習につい
て１１ビット精度に実質的に近づくことに留意された
い。さらに、シフト・レジスタ２０の分数部２８および
接続される処理装置は、処理要素１０の小さく安価な部
分にあり、ＲＡＭ１２に対して高価な変更はなされてい
ない。従って、方法のコストをあまり増加しない、拡張
精度を具備する適応型重み調整を生成する方法が開示さ
れる。さらに、処理要素のコストをあまり増加しない、
拡張精度を具備する適応型重み調整が開示される。
としないが、処理要素１０は重み更新または学習につい
て１１ビット精度に実質的に近づくことに留意された
い。さらに、シフト・レジスタ２０の分数部２８および
接続される処理装置は、処理要素１０の小さく安価な部
分にあり、ＲＡＭ１２に対して高価な変更はなされてい
ない。従って、方法のコストをあまり増加しない、拡張
精度を具備する適応型重み調整を生成する方法が開示さ
れる。さらに、処理要素のコストをあまり増加しない、
拡張精度を具備する適応型重み調整が開示される。
【図１】本発明により拡張精度を具備する適応型重み調
整を生成する方法において用いられる処理要素の簡略ブ
ロック図である。
整を生成する方法において用いられる処理要素の簡略ブ
ロック図である。
【図２】図１の処理要素の論理図表である。
【図３】拡張精度装置がアナログ回路である、図１に示
すものと同様な処理要素の簡略ブロック図である。
すものと同様な処理要素の簡略ブロック図である。
１０ 処理要素 １２ ＲＡＭ １４ バス １５ 減算回路 １７ 入力端子 １８ ８ライン・バス ２０ シフト・レジスタ ２２ 塑性発生器 ２６ ＭＳＢ ２７ ＬＳＢ ２８ 分数部 ３０ マルチプレクサ回路 ３１ 第１セットの入力 ３２ 第２セットの入力 ３３ 第３セットの入力 ３４ 第４セットの入力 ３５ ラッチ ３７ 乱数発生器 ４０ 比較器 ４２ ゲート回路 ４３ 第１リード ４４ 第２リード ４５ 第３リード ５０ ＯＲゲート ５５ 加算器 ２８’分数部 ３５’デジタル／アナログ変換器 ４１’アナログ・メモリ・セル ４６’リミタ ４７’ＡＮＤゲート ４８’ＡＮＤゲートの第２入力
Claims (5)
- 【請求項１】 学習アルゴリズム Wi = Wi-1 + η*(Xi - Wi-1) ただしWiは、重みを表すデータ，Wi-1は、前の重みを表
すデータ，ηは、塑性信号，およびXiは、入力信号を表
すデータとする学習アルゴリズムを利用する少なくとも
１つの処理要素を有するニューラル・ネットワークにお
いて、前記処理要素のため拡張精度を具備する適応型重
み調整を生成する方法であって：η*(Xi - Wi-1)項を表
すデータ（２０）と、η*(Xi - Wi-1)項を表す追加分数
データ（２８）とを生成する段階；前記η*(Xi - Wi-1)
項および前記分数データを監視（４２）して、以下の段
階、すなわち、 前記η*(Xi - Wi-1)項を表すデータがゼロに等しくない
場合に、前記η*(Xi - Wi-1)項を前記Wi-1項に加算する
段階と、 前記η*(Xi - Wi-1)項がゼロに等しく、かつ前記分数デ
ータがある定められた量よりも大きい場合に、第１の所
定の量を前記Wi項に加算する段階と、 前記η*(Xi - Wi-1)項を表すデータがゼロに等しく、か
つ前記分数データがある定められた量よりも小さい場合
に、第２の所定の量を前記Wi項に加算する段階とのうち
１つを実行する段階；によって構成されることを特徴と
する方法。 - 【請求項２】 学習アルゴリズム Wi = Wi-1 + η*(Xi - Wi-1) ただしWiは、重みを表すデータ，Wi-1は、前の重みを表
すデータ，ηは、塑性信号，およびXiは、入力信号を表
すデータとする学習アルゴリズムを利用する少なくとも
１つの処理要素を有するニューラル・ネットワークにお
いて、前記処理要素のため拡張精度を具備する適応型重
み調整を生成する方法であって：η*(Xi - Wi-1)項を表
す極性符号を含むデータ（２０）と、η*(Xi - Wi-1)項
を表す追加分数データ（２８）とを生成する段階；可変
修正数（３７，４１’）を与える段階；前記追加分数デ
ータを前記修正数と比較（４０、４１’）して、＞，
＝，＜をそれぞれ表す第１，第２および第３ランダム修
正信号（４３，４４，４５）を与える段階；および以下
の段階、すなわち、 前記η*(Xi - Wi-1)項を表すデータがゼロに等しくない
場合に、前記η*(Xi - Wi-1)項を前記Wi-1項に加算する
段階と、 前記η*(Xi - Wi-1)項を表すデータのすべてがゼロに等
しく、前記第３ランダム修正信号が与えられ、前記η*
(Xi - Wi-1)項を表す極性符号が＋の場合に、第１の所
定の量を前記Wi-1項に加算する段階と、 前記η*(Xi - Wi-1)項を表すデータがゼロに等しく、前
記第３ランダム修正信号が与えられ、前記η*(Xi - W
i-1)項を表すデータの極性符号が−の場合に、第２の所
定の量を前記Wi-1項に加算する段階と、 前記η*(Xi - Wi-1)項を表すデータがゼロに等しく、前
記第１および第２ランダム修正信号のうち一方が与えら
れる場合に、第３の所定の量を前記Wi-1項に加算する段
階とのうち１つを実行する段階；によって構成されるこ
とを特徴とする方法。 - 【請求項３】 学習アルゴリズム Wi = Wi-1 + η*(Xi - Wi-1) ただしWiは、重みを表す複数のデータ・ビット，W
i-1は、格納済み重みを表す同様な複数のデータ・ビッ
ト，ηは、塑性信号，およびXiは、入力信号を表す同様
な複数のデータ・ビットとする学習アルゴリズムを利用
する少なくとも１つの処理要素を有するニューラル・ネ
ットワークにおいて、前記処理要素のため前記同様な複
数のデータ・ビットの拡張精度を具備する適応型重み調
整を生成する方法であって：前記Wi-1項を表す複数のデ
ータ・ビットを格納する（１２）段階；Xiを与える段
階；ηを与える段階；Wi-1，Xi，ηを利用して、前記η
*(Xi - Wi-1)項を表す符号ビットを含む同様な複数のデ
ータ・ビットと、前記η*(Xi - Wi-1)項を表す追加の最
下位データ・ビット（２８）とを生成する（１５，２
０）段階；乱数（３７）を生成する段階；前記乱数を前
記追加最下位データ・ビットの絶対値（３５）と比較
（４０）し、＞，＝，＜をそれぞれ表す第１，第２およ
び第３ランダム修正信号を与える段階；以下の段階、す
なわち、 前記符号ビットを除いて、前記η*(Xi - Wi-1)項を表す
同様な複数のデータ・ビットのうち少なくとも１つが１
に等しい場合に、前記η*(Xi - Wi-1)項を前記Wi-1項に
加算する段階と、 前記η*(Xi - Wi-1)項を表す同様な複数のデータ・ビッ
トのすべてがゼロに等しく、前記第３ランダム修正信号
が与えられ、前記η*(Xi - Wi-1)項を表す同様な複数の
データ・ビットの前記符号ビットが＋の場合に、第１の
所定の量を前記Wi-1項に加算する段階と、 前記η*(Xi - Wi-1)項を表す同様な複数のデータ・ビッ
トのすべてがゼロに等しく、前記第３ランダム修正信号
が与えられ、前記η*(Xi - Wi-1)項を表す同様な複数の
データ・ビットの前記符号ビットが−の場合に、第２の
所定の量を前記Wi-1項に加算する段階と、 前記η*(Xi - Wi-1)項を表す同様な複数のデータ・ビッ
トのすべてがゼロに等しく、前記第１および第２ランダ
ム修正信号のうち一方が与えられる場合に、第３の所定
の量を前記Wi-1項に加算する段階とのうち１つを実行す
ることによってWiを判定する段階；および前記Wi-1項を
表す格納された複数のビットを、前記判定されたWiを表
す同様な複数のビットと置換する（５６）段階；によっ
て構成されることを特徴とする方法。 - 【請求項４】 学習アルゴリズム Wi = Wi-1 + η*(Xi - Wi-1) ただしWiは、重みを表すデータ，Wi-1は、前の重みを表
すデータ，ηは、塑性信号，およびXiは、入力信号を表
すデータとする学習アルゴリズムを利用する少なくとも
１つの処理要素を有するニューラル・ネットワークにお
ける、拡張精度を具備する適応型重み調整回路であっ
て：η*(Xi - Wi-1)項を表すデータと、前記η*(Xi - W
i-1)項を表す追加分数データ（２８）とを生成する装置
（１５，２０，２２）；および前記η*(Xi - Wi-1)項お
よび前記分数データを監視して、以下の段階、すなわ
ち、 前記η*(Xi - Wi-1)項を表すデータがゼロに等しくない
場合に、前記η*(Xi - Wi-1)項を前記Wi-1項に加算する
段階と、 前記η*(Xi - Wi-1)項がゼロに等しく、かつ前記分数デ
ータがある定められた量よりも大きい場合に、第１の所
定の量を前記Wi-1項に加算する段階と、 前記η*(Xi - Wi-1)項がを表すデータゼロに等しく、か
つ前記分数データがある定められた量よりも小さい場合
に、第２の所定の量を前記Wi-1項に加算する段階とのう
ち１つを実行する段階を実行する回路（４０，４２，４
１’，４２’）；によって構成されることを特徴とする
回路。 - 【請求項５】 学習アルゴリズム Wi = Wi-1 + η*(Xi - Wi-1) ただしWiは、重みを表す複数のデータ・ビット，W
i-1は、格納済み重みを表す同様な複数のデータ・ビッ
ト，ηは、塑性信号，およびXiは、入力信号を表す同様
な複数のデータ・ビットとする学習アルゴリズムを利用
する少なくとも１つの処理要素を有するニューラル・ネ
ットワークにおいて、拡張精度を具備する適応型重み調
整回路であって：Xiの複数のデータ・ビット用の端子を
含むデータ入力（１７）；重み情報Wi-1の同様な複数の
ビットを格納する重み格納手段（１２）であって、Wi-1
を与える格納情報出力と、新規重み情報Wiの同様な複数
のビットを受ける新規重み入力とを有する重み格納手段
（１２）；第１および第２入力を有する減算回路（１
５）であって、前記第１入力は、Xiを受けるべく結合さ
れ、前記第２入力は、前記重み格納手段の出力からWi-1
を受けるべく結合され、前記減算回路はさらに、差分情
報Xi - Wi-1 の同様な複数のビットを与える差分出力を
有する減算回路（１５）；塑性信号ηを生成する塑性信
号発生器（２２）；前記差出力に結合されXi - Wi-1 を
受ける第１入力と、前記塑性信号発生器に結合されηを
受ける第２入力とを有する乗算回路（２０）であって、
前記乗算回路は、積情報η*(Xi - Wi-1)の同様な複数の
ビットを与える積分出力を有し、積情報の追加最下位ビ
ットを与えるＬＳＢ出力（２８）を有する乗算回路（２
０）；前記積出力に結合されη*(Xi - Wi-1)を受ける第
１入力（３１）と、第１の所定の信号を受けるべく結合
された第２入力（３２）と、第２の所定の信号を受ける
べく結合された第３入力（３３）と、第３の所定の信号
を受けるべく結合された第４入力（３４）と、判定され
た重み変更を表す制御信号を受け取り、かつ印加された
制御信号に応答して前記第１，第２，第３および第４入
力のうち１つを選択する制御入力（Ｓ１，Ｓ０）とを有
するマルチプレクサ回路（３０）であって、前記マルチ
プレクサ回路はさらに、重み変更情報の同様な複数のビ
ットを与える重み変更出力を有するマルチプレクサ回路
（３０）；前記重み変更出力に結合され重み変更情報の
複数のビットを受ける第１入力と、前記格納情報出力に
結合されWi-1を受ける第２入力とを有する加算回路（５
５）であって、前記加算回路は、前記重み格納手段（１
２）の前記新規重み入力に接続され（５６）、そこにWi
を与える新規重み情報出力Wiを有する加算回路（５
５）；可変数を表す複数のビットを与える出力を有する
発生器（３７）；前記乗算回路のＬＳＢ出力（２８，３
５）を受けるべく結合された第１入力と、前記可変数を
受けるべく結合された第２入力と、その間の比較を表す
比較信号を与える出力（４３，４４，４５）とを有する
比較器（４０）；および前記乗算回路の前記積出力に結
合され、η*(Xi - Wi-1)を受ける第１入力と、前記乗算
器の前記積出力に結合され、前記乗算回路の前記積出力
の符号を表す信号を受ける第２入力と、前記比較器の出
力に接続された第３入力とを有するビット変更論理回路
（４２）であって、前記ビット変更回路は、前記マルチ
プレクサの制御入力に結合された出力を有し、制御信号
（Ｓ１，Ｓ０）を供給し、前記η*(Xi - Wi-1)の値，前
記積の符号および前記比較信号の所定の組み合わせに応
答して前記第１，第２，第３および第４入力のうち１つ
を選択するビット変更論理回路（４２）；によって構成
されることを特徴とする回路。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US293631 | 1994-08-22 | ||
| US08/293,631 US5430830A (en) | 1994-08-22 | 1994-08-22 | Adaptive weight adjusting circuit for an neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08297716A true JPH08297716A (ja) | 1996-11-12 |
| JP3634023B2 JP3634023B2 (ja) | 2005-03-30 |
Family
ID=23129878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22960795A Expired - Fee Related JP3634023B2 (ja) | 1994-08-22 | 1995-08-16 | ニューラル・ネットワーク用の適応型重み調整回路 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5430830A (ja) |
| JP (1) | JP3634023B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5835902A (en) * | 1994-11-02 | 1998-11-10 | Jannarone; Robert J. | Concurrent learning and performance information processing system |
| US6216119B1 (en) | 1997-11-19 | 2001-04-10 | Netuitive, Inc. | Multi-kernel neural network concurrent learning, monitoring, and forecasting system |
| US8108429B2 (en) | 2004-05-07 | 2012-01-31 | Quest Software, Inc. | System for moving real-time data events across a plurality of devices in a network for simultaneous data protection, replication, and access services |
| US7565661B2 (en) | 2004-05-10 | 2009-07-21 | Siew Yong Sim-Tang | Method and system for real-time event journaling to provide enterprise data services |
| US7680834B1 (en) | 2004-06-08 | 2010-03-16 | Bakbone Software, Inc. | Method and system for no downtime resychronization for real-time, continuous data protection |
| US7979404B2 (en) | 2004-09-17 | 2011-07-12 | Quest Software, Inc. | Extracting data changes and storing data history to allow for instantaneous access to and reconstruction of any point-in-time data |
| US7904913B2 (en) | 2004-11-02 | 2011-03-08 | Bakbone Software, Inc. | Management interface for a system that provides automated, real-time, continuous data protection |
| US7788521B1 (en) | 2005-07-20 | 2010-08-31 | Bakbone Software, Inc. | Method and system for virtual on-demand recovery for real-time, continuous data protection |
| US7689602B1 (en) | 2005-07-20 | 2010-03-30 | Bakbone Software, Inc. | Method of creating hierarchical indices for a distributed object system |
| US8131723B2 (en) | 2007-03-30 | 2012-03-06 | Quest Software, Inc. | Recovering a file system to any point-in-time in the past with guaranteed structure, content consistency and integrity |
| US8364648B1 (en) | 2007-04-09 | 2013-01-29 | Quest Software, Inc. | Recovering a database to any point-in-time in the past with guaranteed data consistency |
| US7814038B1 (en) | 2007-12-06 | 2010-10-12 | Dominic John Repici | Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks |
| US11106973B2 (en) | 2016-03-16 | 2021-08-31 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and system for bit-depth reduction in artificial neural networks |
| CN106796668B (zh) * | 2016-03-16 | 2019-06-14 | 香港应用科技研究院有限公司 | 用于人工神经网络中比特深度减少的方法和系统 |
| US12430543B2 (en) | 2017-04-04 | 2025-09-30 | Hailo Technologies Ltd. | Structured sparsity guided training in an artificial neural network |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
| US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
| US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
| US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
| CN110147872B (zh) * | 2018-05-18 | 2020-07-17 | 中科寒武纪科技股份有限公司 | 编码存储装置及方法、处理器及训练方法 |
| EP3796189B1 (en) | 2018-05-18 | 2025-08-06 | Cambricon Technologies Corporation Limited | Video retrieval method, and method and apparatus for generating video retrieval mapping relationship |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US12248367B2 (en) | 2020-09-29 | 2025-03-11 | Hailo Technologies Ltd. | Software defined redundant allocation safety mechanism in an artificial neural network processor |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US20220358345A1 (en) * | 2021-05-10 | 2022-11-10 | Samsung Electronics Co., Ltd. | Device and method with multidimensional vector neural network |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5093899A (en) * | 1988-09-17 | 1992-03-03 | Sony Corporation | Neural network with normalized learning constant for high-speed stable learning |
| US5113483A (en) * | 1990-06-15 | 1992-05-12 | Microelectronics And Computer Technology Corporation | Neural network with semi-localized non-linear mapping of the input space |
| US5247606A (en) * | 1990-12-26 | 1993-09-21 | Intel Corporation | Adaptively setting analog weights in a neural network and the like |
| US5268320A (en) * | 1990-12-26 | 1993-12-07 | Intel Corporation | Method of increasing the accuracy of an analog circuit employing floating gate memory devices |
-
1994
- 1994-08-22 US US08/293,631 patent/US5430830A/en not_active Expired - Lifetime
-
1995
- 1995-08-16 JP JP22960795A patent/JP3634023B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP3634023B2 (ja) | 2005-03-30 |
| US5430830A (en) | 1995-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08297716A (ja) | ニューラル・ネットワーク用の適応型重み調整回路 | |
| US5519647A (en) | Apparatus for and method of generating an approximation function | |
| Dundar et al. | The effects of quantization on multilayer neural networks | |
| US6067536A (en) | Neural network for voice and pattern recognition | |
| EP0813127A2 (en) | Inference rule determining method and inference device | |
| EP0629969A1 (en) | Artificial neuron and method of using same | |
| WO1993014461A1 (en) | Neural processor apparatus | |
| US5255344A (en) | Inference rule determining method and inference device | |
| JP3461525B2 (ja) | データを正規化する手段を含むニューラル・プロセッサ | |
| EP0385637A2 (en) | Learning machine with multi-input single output circuits connected in hierarchical structure | |
| US5778153A (en) | Neural network utilizing logarithmic function and method of using same | |
| JPH1055346A (ja) | ニューラルネットワーク回路 | |
| CN113177634A (zh) | 基于神经网络输入输出量化的图像分析系统、方法和设备 | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| JP3082530B2 (ja) | ニューラルネットワーク回路 | |
| USRE36823E (en) | Inference rule determining method and inference device | |
| JPH07210542A (ja) | ニューロン回路 | |
| JP3310009B2 (ja) | ニューラルネットワークシステム | |
| JPH04237364A (ja) | ニューロコンピュータ | |
| US4853886A (en) | Digital signal processing circuit | |
| JPH09101944A (ja) | ニューラルネットワーク回路 | |
| JPH0744515A (ja) | ニューラルネットワーク回路 | |
| JP2659230B2 (ja) | 神経回路網の学習装置 | |
| JP2574517B2 (ja) | パターン認識装置 | |
| JPH02264354A (ja) | データ処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041222 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |