JPH0830572A - ニューラルネットワーク回路及びこれを用いた演算方法 - Google Patents

Abstract

(57)【要約】 【目的】 シナプス演算及び累積加算の演算量を削減で
き、大規模で且つ高速動作可能なニューラルネットワー
ク回路及びこれを用いた演算方法を提供する。 【構成】 ２進ビット列で表される多数の入力値と該多
数の入力値に対応する多数のシナプス係数とのシナプス
演算を、シナプス演算及び累積回路２において一の入力
値の全ビットとこれに対応するシナプス係数の１ビット
との間で該シナプス係数の上位ビットから順次行って加
算し、これを各入力値及びシナプス係数毎に行って累積
加算し、判定回路６で該累積加算値が飽和領域に達した
か否かを判定し、飽和領域でなければ演算をシナプス係
数のより下位ビットまで行い、飽和領域になれば演算を
停止することにより、それ以降のシナプス演算を省略す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、シナプス演算回路、累
積回路及びしきい値回路からなるニューロン回路を多数
接続して構成されるニューラルネットワーク回路及びこ
れを用いた演算方法に関するものである。

【０００２】

【従来の技術】ニューラルネットワーク回路は、ニュー
ロン回路を単位として、これを多数接続して構成されて
いる。１個のニューロン回路は、図２に示すように多入
力（ｘ１，ｘ２，……ｘｎ）１出力（ｙ）の回路であ
る。複数の入力にはそれぞれ対応するシナプス係数（Ｗ
１，Ｗ２，……Ｗｎ）があり、入力値とシナプス係数と
の積、差の絶対値あるいは差の二乗等の演算を行った後
に累積加算が行われ、累積加算の結果の大きさにより出
力値が決定される。

【０００３】出力値を最終的に決定するしきい値回路
は、図３に示すような伝達特性を備えている。図３(a)
のシグモイド関数形が最も汎用性が高いが、演算を簡単
化するために図３(b) の折れ線形あるいは図３(c) のス
テップ関数形のように単純化したものや、機能を高める
ために図３(d) のように非単調形にしたものも使用でき
る。なお、図中、Ｔｈ，Ｔｈ１，Ｔｈ２，Ｔｈ３，Ｔｈ
４はそれぞれ飽和領域境界値である。このニューロン回
路の接続によりニューラルネットワーク回路の構造が決
まる。

【０００４】最も一般的に用いられるのは、図４に示す
ような３層構造のニューラルネットワーク回路である。
３層構造の場合には、第２層のニューロン回路の層を中
間層、第３層のニューロン回路の層を出力層と呼んでい
る。それぞれの入力端子からの信号は全てのニューロン
回路に並列に入力され、それぞれのニューロン回路は並
列に入力信号を処理する。入力信号が加えられると、特
定のニューロン回路が反応して認識等の処理が実現され
る。

【０００５】従来、前述したような機能を有する大規模
なニューラルネットワーク回路を具体化する場合、図５
に示すようにマイクロプロセッサとＲＡＭとを組み合わ
せて構成するのが一般的であった。本構成では、シナプ
ス演算、累積加算、しきい値処理をマイクロプロセッサ
で行い、シナプス係数はＲＡＭに格納する。そして、マ
イクロプロセッサで演算中、シナプス係数が必要となっ
た時点でＲＡＭにアクセスしてシナプス係数を読み出す
という処理を行っていた。

【０００６】

【発明が解決しようとする課題】このような構成におい
ては、ＲＡＭを増設することにより実現可能なニューラ
ルネットワーク回路の規模を拡大でき、プログラムを替
えることにより演算のアルゴリズムを変更することも容
易である。

【０００７】しかしながら、その反面、ＲＡＭへのシナ
プス係数のアクセス速度が動作速度を規定し、さらにニ
ューラルネットワーク回路の規模が大きくなるとシナプ
ス演算及び累積加算の演算量が増加し、高速動作を妨げ
る要因の１つとなっていた。これは前述した従来の構成
では、全てのシナプス結合において入力値の全ビットと
シナプス係数の全ビットとのシナプス演算、並びにシナ
プス演算の結果の累積加算を行っていたため、演算量が
膨大となり、それに伴うシナプス係数のＲＡＭへのアク
セスにも時間を要するためであった。

【０００８】本発明の目的は、シナプス演算及び累積加
算の演算量を削減でき、大規模で且つ高速動作可能なニ
ューラルネットワーク回路及びこれを用いた演算方法を
提供することにある。

【０００９】

【課題を解決するための手段】前記目的を達成するた
め、本発明では、２進ビット列で表される入力値とシナ
プス係数とのシナプス演算を、従来のように全てのビッ
ト間で行うのではなく、入力値の全ビットとシナプス係
数の任意の１ビットとの間で行い、得られた部分積を加
算することにより実行することを特徴とする。また、演
算に使用するシナプス係数の任意の１ビットを上位のビ
ットから下位のビットへ順次変えていくことにより、概
算値から徐々に正確な結果が得られる演算過程をとるこ
とを特徴とする。また、累積値が演算の進行に伴って単
調増加あるいは単調減少する演算手順を用いることによ
り、累積結果がしきい値関数の飽和領域内に達した時点
で演算を停止することを特徴とする。

【００１０】

【作用】本発明によれば、２進ビット列で表されるシナ
プス係数をＲＡＭから読み出す場合、従来のように全て
のビットを毎回読み出す必要がなく、上位ビットから必
要なビットを読み出すのみで良く、ＲＡＭへのアクセス
時間を大幅に削減できる。また、シナプス演算及び累積
加算についても、従来、行っていた演算を全て実行する
ことなく出力が決定した時点で以降の演算を停止するた
め、演算処理時間を大幅に短縮できる。

【００１１】

【実施例１】図１は本発明の第１の実施例を示すもの
で、図中、１はセレクタ、２はシナプス演算及び累積回
路、３はシナプス係数メモリ回路、４はメモリ読み出し
回路、５はしきい値回路、６は判定回路、７はクロック
発生回路、８は制御回路である。なお、判定回路６は比
較器６１，６２、飽和領域境界値１用レジスタ６３及び
飽和領域境界値２用レジスタ６４からなっている。

【００１２】飽和領域境界値１及び２の値は、図３に示
したしきい値回路の伝達特性において飽和領域と境界領
域との境界を表しており、小さい方の値が飽和領域境界
値１、大きい方が飽和領域境界値２である。しきい値回
路の伝達特性が図３(d) のように過渡領域が複数ある場
合には、さらに飽和領域境界値３用レジスタ及び飽和領
域境界値４用レジスタ並びにこれらに対応する比較器が
必要となる。ここでは説明を簡便にするため、しきい値
関数の伝達特性が過渡領域を１つのみ有する場合につい
て説明する。

【００１３】本実施例において、シナプス演算及び累積
回路２の入力にはセレクタ１を通して入力端子が接続さ
れ、また、メモリ読み出し回路４を介してシナプス係数
メモリ回路３が接続されている。また、シナプス演算及
び累積回路２の出力はしきい値回路５及び判定回路６の
比較器６１，６２の入力に接続されている。

【００１４】しきい値回路５の出力はニューロン回路の
出力端子に接続されている。比較器６１の他方の入力に
は飽和領域境界値１用レジスタ６３が、比較器６２の他
方の入力には飽和領域境界値２用レジスタ６４がそれぞ
れ接続されている。比較器６１，６２の出力はそれぞれ
制御回路８の入力に接続されている。制御回路８の出力
はセレクタ１及びメモリ読み出し回路４に接続されてい
る。

【００１５】図６は本発明の特徴部分である、シナプス
演算及び累積回路２の詳細を示すもので、図中、２１は
「２」の補数変換回路、２２はシフタ、２３は加算器、
２４はレジスタＡ（単調増加演算の累積加算値格納用レ
ジスタ）、２５はレジスタＢ（単調減少演算の累積加算
値格納用レジスタ）、２６はスイッチ、２７はレジスタ
Ｃ（出力用累積加算値格納用レジスタ）、２８はＡＮＤ
回路、２９は制御回路である。

【００１６】補数変換には「２」の補数で表現する場
合、「１」の補数で表現する場合等があるが、ここでは
「２」の補数で表現する場合を例にとって説明する。従
って、本実施例において「２」の補数変換回路を「１」
の補数変換回路で置き換えることも可能である。本実施
例において、「２」の補数変換回路２１に入力値の入力
端子が接続されており、「２」の補数変換回路２１の出
力はシフタ２２の入力に接続されている。シフタ２２の
出力は加算器２３の一方の入力に接続されている。加算
器２３のＳＵＭ出力はレジスタＡ２４とレジスタＢ２５
の入力に接続されている。レジスタＡ２４及びレジスタ
Ｂ２５の出力はそれぞれスイッチ２６の入力に接続され
ている。スイッチ２６の出力はＡＮＤ回路２８を介して
加算器２３の他方の入力に接続されるとともにレジスタ
Ｃ２７の入力に接続されている。

【００１７】また、制御回路２９には「シナプス係数の
下位からｉビット目を用いた演算を実行中であるという
信号」、「シナプス係数の下位からｉビット目のビット
値」及び「入力値の符号」の入力端子が接続されてお
り、該制御回路２９から出力される制御信号Ｓ１が
「２」の補数変換回路２１に、制御信号Ｓ２がシフタ２
２に、制御信号Ｓ３がレジスタＡ２４に、制御信号Ｓ４
がレジスタＢ２５に、制御信号Ｓ５がスイッチ２６に、
制御信号Ｓ６がＡＮＤ回路２８の一方の入力に、制御信
号Ｓ７がレジスタＣ２７に接続されている。

【００１８】本実施例においては、図７に示すように、
入力値の全ビットとシナプス係数の１ビットとの部分積
を計算し、その後、それらの結果を加算することにより
シナプス演算を実行する。本実施例における回路動作を
以下に述べる。

【００１９】(1) シナプス係数の上位ビットからの演算
を行うため、演算対象となる入力値の全ビットが「２」
の補数変換回路２１に、シナプス係数の必要なビットが
制御回路２９に適宜転送される。

【００２０】(2) 「シナプス係数の下位からｉビット目
を用いた演算を実行中であるという信号」、「シナプス
係数の下位からｉビット目のビット値」及び「入力値の
符号」から、入力値に対して「２」の補数変換を施すか
否かを制御回路２９が決定し、制御信号Ｓ１により
「２」の補数変換回路２１を制御する。なお、本明細書
（特許請求の範囲を含む。）中、ｉビット目とは、最初
のビットにつきｉ＝０として数えるものとする。

【００２１】(3) 「シナプス係数の下位からｉビット目
を用いた演算を実行中であるという信号」から制御回路
２９で何ビットシフトさせるかを決定し、制御信号Ｓ２
によりシフタ２２におけるシフト量を制御する。

【００２２】(4) 「シナプス係数の下位からｉビット目
を用いた演算を実行中であるという信号」、「シナプス
係数の下位からｉビット目のビット値」及び「入力値の
符号」から、加算器２３においてシフタ２２の出力値と
レジスタＡ２４の値あるいはレジスタＢ２５の値のいず
れとを加算するかを制御回路２９において決定し、制御
信号Ｓ５によりスイッチ２６を介してレジスタＡ２４及
びレジスタＢ２５の出力のうちの一方が選択される。

【００２３】(5) 制御回路２９より供給される制御信号
Ｓ６により、シフタ２２の出力にレジスタＡ２４又はレ
ジスタＢ２５のうちの選択された出力を加算するか否か
を制御する。

【００２４】(6) 加算器２３においてシフタ２２の出力
値とＡＮＤ回路２８の出力との加算を行う。

【００２５】(7) 「シナプス係数の下位からｉビット目
を用いた演算を実行中であるという信号」、「シナプス
係数の下位からｉビット目のビット値」及び「入力値の
符号」から、加算の結果をレジスタＡ２４に格納するか
レジスタＢ２５に格納するかを制御回路２９において決
定し、制御信号Ｓ３及び制御信号Ｓ４をトリガとしてレ
ジスタＡ２４又はレジスタＢ２５に加算結果を取り込
む。

【００２６】以上説明した回路における初期値設定法及
びビット演算法の詳細を以下に説明する。

【００２７】(1) データは入力値、シナプス係数ともに
「２」の補数表現で演算回路に与えられる。ここで、各
値の語長（ビット数）をＬ、絶対値部分の下位からのビ
ット数をｉとする。

【００２８】(2) 入力値とシナプス係数の符号ビット
（「２」の補数表現の最上位ビット）より、以下に示す
ように単調増加演算及び単調減少演算の累積加算値の初
期値を設定する。

【００２９】(a) 入力値、シナプス係数とも正の時：Ｌ
桁の「２」の補数で表現される正のシナプス係数の最小
値は“０”であり、Ｌ桁の「２」の補数で表現される正
のシナプス係数の最大値は“２^(L-1) −１”である。従
って、シナプス演算の結果とり得る最小値は“０”、最
大値は“入力値×｛２^(L-1) −１｝”である。そこで、
単調増加演算の累積加算値の初期値をシナプス演算の結
果とり得る最小値に設定し、単調減少演算の累積加算値
の初期値を−（シナプス演算の結果とり得る最大値）に
設定する。

【００３０】図８を用いて、入力値とシナプス係数が
“４ビットの「２」の補数”で表現された場合について
説明する。この時、シナプス係数のとり得る最小値は
“０”であり、最大値は“７”である。従って、シナプ
ス演算の結果とり得る最小値は“０”、最大値は“３
５”となる。そこで、単調増加演算の累積加算値の初期
値は“０”に、単調減少演算の累積加算値の初期値は
“−３５”に設定する。

【００３１】なお、単調減少演算については、単調増加
の演算となるように変換する。このため、単調減少演算
の累積加算値の初期値は「２」の補数をとって“−３
５”となるのである。他の場合も同様である。

【００３２】(b) 入力値は負、シナプス係数は正の時：
Ｌ桁の「２」の補数で表現される正のシナプス係数の最
小値は“０”であり、Ｌ桁の「２」の補数で表現される
正のシナプス係数の最大値は“２^(L-1) −１”である。
従って、シナプス演算の結果とり得る最小値は“入力値
×｛２^(L-1) −１｝”、最大値は“０”である。そこ
で、単調増加演算の累積加算値の初期値をシナプス演算
の結果とり得る最小値に設定し、単調減少演算の累積加
算値の初期値を−（シナプス演算の結果とり得る最大
値）に設定する。

【００３３】図９を用いて、入力値とシナプス係数が
“４ビットの「２」の補数”で表現された場合について
説明する。この時、シナプス係数のとり得る最小値は
“０”であり、最大値は“７”である。従って、シナプ
ス演算の結果とり得る最小値は“−３５”、最大値は
“０”となる。そこで、単調増加演算の累積加算値の初
期値は“−３５”に、単調減少演算の累積加算値の初期
値は“０”に設定する。

【００３４】(c) 入力値は正、シナプス係数は負の時：
Ｌ桁の「２」の補数で表現される負のシナプス係数の最
小値は“−（２^(L-1)）”であり、Ｌ桁の「２」の補数
で表現される負のシナプス係数の最大値は“−１”であ
る。従って、シナプス演算の結果とり得る最小値は“入
力値×｛−（２^(L-1) ｝”、最大値は“−（入力値）”
である。そこで、単調増加演算の累積加算値の初期値を
シナプス演算の結果とり得る最小値に設定し、単調減少
演算の累積加算値の初期値を−（シナプス演算の結果と
り得る最大値）に設定する。

【００３５】図１０を用いて、入力値とシナプス係数が
“４ビットの「２」の補数”で表現された場合について
説明する。この時、シナプス係数のとり得る最小値は
“−８”であり、最大値は“−１”である。従って、シ
ナプス演算の結果とり得る最小値は“−４０”、最大値
は“−５”となる。そこで、単調増加演算の累積加算値
の初期値は“−４０”に、単調減少演算の累積加算値の
初期値は“５”に設定する。

【００３６】(d) 入力値、シナプス係数ともに負の時：
Ｌ桁の「２」の補数で表現される負のシナプス係数の最
小値は“−（２^(L-1)）”であり、Ｌ桁の「２」の補数
で表現される負のシナプス係数の最大値は“−１”であ
る。従って、シナプス演算の結果とり得る最小値は“−
（入力値）”、最大値は“入力値×｛−（２
^(L-1) ）｝”である。そこで、単調増加演算の累積加算
値の初期値をシナプス演算の結果とり得る最小値に設定
し、単調減少演算の累積加算値の初期値を−（シナプス
演算の結果とり得る最大値）に設定する。

【００３７】図１１を用いて、入力値とシナプス係数が
“４ビットの「２」の補数”で表現された場合について
説明する。この時、シナプス係数のとり得る最小値は
“−８”であり、最大値は“−１”である。従って、シ
ナプス演算の結果、とり得る最小値は“５”、最大値は
“４０”となる。そこで、単調増加演算の累積加算値の
初期値は“５”に、単調減少演算の累積加算値の初期値
は“−４０”に設定する。

【００３８】(3) 入力値とシナプス係数の下位からｉビ
ット目のビット値より、以下のようにビット演算を行
う。

【００３９】(a) 入力値が正でシナプス係数のビット値
が“１”の時：単調増加演算の累積加算値に“入力値×
２ⁱ ”を加算する。

【００４０】(b) 入力値が正でシナプス係数のビット値
が“０”の時：単調減少演算の累積加算値に“入力値×
２ⁱ ”を加算する。

【００４１】(c) 入力値が負でシナプス係数のビット値
が“１”の時：単調減少演算の累積加算値に“入力値の
「２」の補数×２ⁱ ”を加算する。

【００４２】(d) 入力値が負でシナプス係数のビット値
が“０”の時：単調増加演算の累積加算値に“入力値の
「２」の補数×２ⁱ ”を加算する。

【００４３】以上述べた処理により、図１２及び１３に
示すように、単調増加演算及び単調減少演算の累積加算
値は、演算が進むにつれて初期値から最終値に向かって
徐々に収束していく。

【００４４】この際、単調増加演算の累積加算値は、図
１２に示すように単調増加しながら最終値に収束するこ
とにより、飽和領域Ａに到達したか否かの判定を行う。
一方、単調減少演算の累積加算値は、図１３に示すよう
に単調減少しながら最終値に収束することにより、飽和
領域Ｂに到達したか否かの判定を行う。そして、累積加
算値が飽和領域Ａ又はＢに到達した時点で以降の演算を
省略する。

【００４５】

【実施例２】図１４は本発明の第２の実施例を示すもの
で、ここでは第１の実施例のシナプス演算及び累積回路
においてＡＮＤ回路を付加し、オフセット処理をするこ
とにより、累積加算値が飽和領域に到達したか否かの判
定を容易に実現できるようになした例を示す。即ち、図
中、３０はＡＮＤ回路であり、その入力にはレジスタＡ
２４及びレジスタＢ２５の最上位ビット値が入力されて
いる。

【００４６】累積加算値が図１２又は１３に示す飽和領
域Ａ、過渡領域、飽和領域Ｂのどの領域にあるかを判定
するためには、現在の累積加算値と飽和領域境界値Ａ及
び飽和領域境界値Ｂとを比較すれば良い。ここで、飽和
領域境界値Ａとは飽和領域Ａと過渡領域との境界の値、
飽和領域境界値Ｂとは飽和領域Ｂと過渡領域との境界の
値である。しかし、この判定を行うためには、累積加算
値と飽和領域境界値Ａ及び累積加算値と飽和領域境界値
Ｂの大小関係を求めるために比較器が２つ必要となる。
今回、これを省略するために以下に述べる処理をとりい
れた。

【００４７】(1) 図１５に示すように、飽和領域Ａを判
定する単調増加演算の累積加算値の初期値から予めＳＨ
（飽和領域境界値Ａの値）を減じておき、単調減少演算
の累積加算値の初期値に予めＳＬ（飽和領域境界値Ｂの
値）を加算しておく。

【００４８】(2) このままでは、累積加算値が最終的に
正しい値を示さないので、しきい値処理を行う前に(1)
で加えた値、即ちオフセット値を取り除く。

【００４９】以上の処理を行うことにより、単調増加演
算の累積加算値が負から正に変化すれば飽和領域Ａ、単
調減少演算の累積加算値が負から正に変化すれば（実際
には符号を反転させて演算を行うため）飽和領域Ｂ、単
調増加演算の累積加算値、単調減少演算の累積加算値と
も負のままであれば過渡領域であると判定することがで
きる。これにより演算停止の判定を容易に行うことがで
きる。

【００５０】そして、いずれかの累積加算値の値が正
（最上位ビットが“０”）に変化した時点で累積加算の
最終結果が判明するので以降の演算を省略し、演算の省
略及びシナプス係数メモリ回路へのアクセスの省略を実
現する。

【００５１】また、以上述べた演算方法において、単調
増加演算又は単調減少演算の初期値、オフセット値、ビ
ット演算時の加算値の符号を反転させた演算を行えば、
いずれかの累積加算値の値が負（最上位ビットが
“１”）に変化した時点で累積加算の最終結果が判明す
るので以降の演算を省略し、演算の省略及びシナプス係
数メモリ回路へのアクセスの省略を実現することができ
る。

【００５２】本発明を採用した場合の演算の省略効果及
びシナプス係数メモリ回路へのアクセスの低減効果をシ
ミュレーションにより評価した結果を図１６及び図１７
に示す。

【００５３】図１６は入力数が１７個、入力値、シナプ
ス係数とも１６ビットの「２」の補数表現、飽和領域境
界値Ａ＝０．５、飽和領域境界値Ｂ＝−０．５の場合の
１ニューロンに対する全シナプス結合の演算を行った場
合について、最終的な累積加算値と演算実施率（本発明
を使用した場合の演算回数の本発明を使用しない場合の
演算回数に対する割合）との関係を示したものである。
この図より、過渡領域においては厳密な累積加算値が必
要となるため演算省略の効果はないが、最終的な累積加
算値が飽和領域にある場合には、飽和領域境界値から離
れると演算省略の効果が顕著に現われることが分かる。

【００５４】また、図１７は同様の演算における、最終
的な累積加算値とシナプス係数を上位何ビットアクセス
したかの関係を示したものである。この図より、最終的
な累積加算値が飽和領域境界値から離れるとシナプス係
数メモリ回路へのアクセスの低減効果が顕著に現われる
ことが分かる。

【００５５】具体的に演算省略の効果を見積ってみる。
最終的な累積加算値が飽和領域になる確率を９０％、過
渡領域になる確率を１０％とし、最終的な累積加算値が
飽和領域になる時の平均演算実施率を図１６より２０％
とすれば、演算量を約２８％に省略することができる。

【００５６】また、同様にシナプス係数メモリ回路への
アクセスも、最終的な累積加算値が飽和領域になる確率
を９０％、過渡領域になる確率を１０％とし、最終的な
累積加算値が飽和領域になる時の平均アクセスビット数
を図１７より４ビットとすれば、シナプス係数メモリ回
路へのアクセスを約３１％に低減できる。

【００５７】

【発明の効果】以上説明したように本発明によれば、演
算量の削減及びシナプス係数メモリ回路へのアクセス量
の削減が可能となり、シナプス演算の高速化及び演算に
要する消費電力の低減が可能となる。これにより、大規
模で且つ高速動作可能なディジタルニューラルネットワ
ーク回路を構成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す構成図

【図２】ニューロン回路の構成図

【図３】しきい値回路の伝達特性の説明図

【図４】３層構造のニューラルネットワーク回路の構成
図

【図５】従来のニューラルネットワーク回路の具体的な
構成図

【図６】シナプス演算及び累積回路の詳細を示す構成図

【図７】本発明におけるシナプス演算法の説明図

【図８】第１の実施例における演算過程の説明図

【図９】第１の実施例における演算過程の説明図

【図１０】第１の実施例における演算過程の説明図

【図１１】第１の実施例における演算過程の説明図

【図１２】飽和領域の判定動作の説明図

【図１３】飽和領域の判定動作の説明図

【図１４】本発明の第２の実施例を示す構成図

【図１５】第２の実施例における飽和領域判定原理の説
明図

【図１６】最終的な積和演算結果と演算実施率との関係
を示す説明図

【図１７】最終的な積和演算結果と演算に使用したシナ
プス係数のビット数との関係を示す説明図

【符号の説明】

１…セレクタ、２…シナプス演算及び累積回路、３…シ
ナプス係数メモリ回路、４…メモリ読み出し回路、５…
しきい値回路、６…判定回路、７…クロック発生回路、
８…制御回路、２１…「２」の補数変換回路、２２…シ
フタ、２３…加算器、２４…レジスタＡ、２５…レジス
タＢ、２６…スイッチ、２７…レジスタＣ、２８，３０
…ＡＮＤ回路、２９…制御回路。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 ２進ビット列で表される多数の入力値と
   該多数の入力値に対応する多数のシナプス係数との間で
   それぞれシナプス演算を行い、それらの結果を累積加算
   し、さらにしきい値処理を行って出力値を決定するニュ
   ーラルネットワーク回路において、 一の入力値と該一の入力値に対応するシナプス係数との
   シナプス演算を、入力値の全ビットとシナプス係数の任
   意の１ビットとの間で行い、得られた部分積を加算し、
   これを各入力値及びシナプス係数毎に行って累積加算す
   るシナプス演算及び累積回路と、 シナプス係数を格納したシナプス係数メモリ回路と、 シナプス係数メモリ回路から任意のシナプス係数の任意
   のビットをシナプス演算及び累積回路に転送するメモリ
   読み出し回路と、 シナプス演算及び累積回路の出力に所定のしきい値処理
   を実行するしきい値回路と、 シナプス演算及び累積回路の出力がしきい値回路の伝達
   特性の飽和領域に到達したか否かを判定する判定回路
   と、 シナプス演算をシナプス係数の上位ビットから実行さ
   せ、累積加算値が飽和領域に達した時点で停止させる制
   御回路とを備えたことを特徴とするニューラルネットワ
   ーク回路。
2. 【請求項２】 入力値の全ビットを任意のビット数だけ
   シフトさせるシフタと、シフタの出力と累積加算値との
   加算を行う加算器と、累積加算値格納用のレジスタとに
   より、入力値とシナプス係数とのシナプス演算を行うシ
   ナプス演算及び累積回路を用い、 シナプス演算の積演算過程で必要な入力値の全ビットと
   シナプス係数の任意の１ビットとの部分積の加算及び累
   積加算に必要な加算を共通の加算器で実行可能としたこ
   とを特徴とする請求項１記載のニューラルネットワーク
   回路。
3. 【請求項３】 請求項２記載のニューラルネットワーク
   回路を用いた演算方法において、 単調増加演算及び単調減少演算の累積加算値を計算し、
   判定回路において累積加算値としきい値回路の伝達特性
   の飽和領域及び過渡領域の境界値とを比較することによ
   り、２つ以上の飽和領域の判定を行う際、 シナプス演算及び累積回路を、入力値の全ビットを補数
   に変換することが可能な補数変換回路と、補数変換回路
   の出力に対して任意のビット数だけシフトさせるシフタ
   と、シフタの出力を単調増加演算の累積加算値あるいは
   単調減少演算の累積加算値に加算する加算器と、単調増
   加演算の累積加算値格納用のレジスタ及び単調減少演算
   の累積加算値格納用のレジスタとにより構成し、 単調増加演算の累積加算値の初期値をシナプス演算の結
   果とり得る最小値に設定し、単調減少演算の累積加算値
   の初期値をシナプス演算の結果とり得る最大値の符号を
   反転させた値に設定し、 入力値の全ビットとシナプス係数の下位からｉビット目
   との演算を行う際は、入力値が正の時には“入力値×２
   ⁱ ”を、シナプス係数のビット値が“１”の時には単調
   増加演算の累積加算値に加算し、シナプス係数のビット
   値が“０”の時には単調減少演算の累積加算値に加算
   し、入力値が負の時には“入力値に極性反転を施した値
   ×２ⁱ ”を、シナプス係数のビット値が“１”の時には
   単調減少演算の累積加算値に加算し、シナプス係数のビ
   ット値が“０”の時には単調増加演算の累積加算値に加
   算することにより、単調増加演算及び累積減少演算の累
   積加算値を計算することを特徴とするニューラルネット
   ワーク回路を用いた演算方法。
4. 【請求項４】 請求項３記載のニューラルネットワーク
   回路を用いた演算方法において、 単調増加演算の累積加算値の初期値を「（請求項３記載
   の単調増加演算の累積加算値の初期値）−（過渡領域の
   上限の値）」に設定し、 単調減少演算の累積加算値の初期値を「（請求項３記載
   の単調減少演算の累積加算値の初期値）＋（過渡領域の
   下限の値）」に設定することにより、 単調増加演算の累積加算値又は単調減少演算の累積加算
   値の最上位ビットのいずれかの値が“１”から“０”に
   変化した場合に飽和領域であると判定して演算を停止さ
   せることを特徴とするニューラルネットワーク回路を用
   いた演算方法。
5. 【請求項５】 請求項２記載のニューラルネットワーク
   回路を用いた演算方法において、 単調増加演算及び単調減少演算の累積加算値を計算し、
   判定回路において累積加算値としきい値回路の伝達特性
   の飽和領域及び過渡領域の境界値とを比較することによ
   り、２つ以上の飽和領域の判定を行う際、 シナプス演算及び累積回路を、入力値の全ビットを補数
   に変換することが可能な補数変換回路と、補数変換回路
   の出力に対して任意のビット数だけシフトさせるシフタ
   と、シフタの出力を単調増加演算の累積加算値あるいは
   単調減少演算の累積加算値に加算する加算器と、単調増
   加演算の累積加算値格納用のレジスタ及び単調減少演算
   の累積加算値格納用のレジスタとにより構成し、 単調増加演算の累積加算値の初期値をシナプス演算の結
   果とり得る最小値の符号を反転させた値に設定し、単調
   減少演算の累積加算値の初期値をシナプス演算の結果と
   り得る最大値に設定し、 入力値の全ビットとシナプス係数の下位からｉビット目
   との演算を行う際は、入力値が正の時には“入力値に極
   性反転を施した値×２ⁱ ”を、シナプス係数のビット値
   が“１”の時には単調増加演算の累積加算値に加算し、
   シナプス係数のビット値が”０”の時には単調減少演算
   の累積加算値に加算し、入力値が負の時には“入力値×
   ２ⁱ ”を、シナプス係数のビット値が“１”の時には単
   調減少演算の累積加算値に加算し、シナプス係数のビッ
   ト値が“０”の時には単調増加演算の累積加算値に加算
   することにより、単調増加演算及び単調減少演算の累積
   加算値を計算することを特徴とするニューラルネットワ
   ーク回路を用いた演算方法。
6. 【請求項６】 請求項５記載のニューラルネットワーク
   回路を用いた演算方法において、 単調増加演算の累積加算値の初期値を「（請求項５記載
   の単調増加演算の累積加算値の初期値）＋（過渡領域の
   上限の値）」に設定し、 単調減少演算の累積加算値の初期値を「（請求項５記載
   の単調減少演算の累積加算値の初期値）−（過渡領域の
   下限の値）」に設定することにより、 単調増加演算の累積加算値又は単調減少演算の累積加算
   値の最上位ビットのいずれかの値が“０”から“１”に
   変化した場合に飽和領域であると判定して演算を停止さ
   せることを特徴とするニューラルネットワーク回路を用
   いた演算方法。