JPH05210649A

JPH05210649A - 神経回路網表現装置

Info

Publication number: JPH05210649A
Application number: JP4011413A
Authority: JP
Inventors: Yutaka Arima; 裕有馬
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1992-01-24
Filing date: 1992-01-24
Publication date: 1993-08-20
Also published as: DE4239308A1; US5696883A; DE4239308C2

Abstract

(57)【要約】【目的】長時間にわたって安定に動作する高集積化さ
れた、アナログストレージ方式のシナプス神経回路網表
現装置を提供することを目的とする。【構成】第２の神経回路網表現ユニット５０５は第１
の神経回路網表現ユニットの一部またはすべてのニュー
ロンの出力状態を受け、この第１の神経回路網表現ユニ
ットの収束状態を記憶すべきか否かを判断する。制御回
路ユニット５５０はこの第２の神経回路網表現ユニット
の出力信号に従って第１の神経回路網表現ユニットに含
まれるシナプス表現回路のシナプス荷重値を修正し、こ
れにより第１の神経回路網表現ユニットの記憶情報をリ
フレッシュする。【効果】シナプス荷重値が記憶すべき状態に従って並
列にリフレッシュされ長時間にわたって安定したシナプ
ス荷重値を保持することのできる神経回路網表現装置が
得られる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は神経回路網を電子的に
表現する半導体神経回路網装置に関し、特に、ニューロ
ンを所定の結合強度を通して結合するシナプスを表現す
るシナプス表現回路のシナプス荷重値情報を安定に維持
するための構成に関する。より特定的には、シナプス荷
重値情報を電荷の形態で格納し、それによりシナプス荷
重値をアナログ的に表現するシナプス表現回路のシナプ
ス荷重値情報をリフレッシュするための構成に関する。

【０００２】

【従来の技術】生体細胞（ニューロン）をモデルとして
用いた計算処理手法が種々提案されている。このような
処理手法の１つにボルツマンマシンと呼ばれる並列情報
処理機械がある。ボルツマンマシンは、１９８５年に
Ｄ．Ｈ．Ａｃｋｌｅｙ（ディ・エイチ・アクレイ）等に
よって提案されたニューラルネット（神経回路網）を表
現する数理モデルの一種であり、ニューロンの状態遷移
が確率的に行なわれることを特徴としている。ニューロ
ン間の結合の強さ（以下、シナプス荷重と称す）Ｗｉｊ
が対称（Ｗｉｊ＝Ｗｊｉ）であり、かつ自己結合がない
（Ｗｉｉ＝０）場合には、系（ニューラルネット）の温
度表現パラメータＴが有限な値において、系の定常分布
ｐ（ｚ）が次式のボルツマン分布で与えられることから
このような名前がつけられる。ここで、シナプス荷重Ｗ
ｉｊは、ニューロンｉとニューロンｊとの間のシナプス
荷重を示す。

【０００３】ｐ（ｚ）＝Ｃ・ｅｘｐ（−Ｕ（ｚ）／Ｔ）Ｕ（ｚ）：系のポテンシャル関数ｚ：ニューロンのとる系の状態Ｃ：規格化係数上述のような各ニューロンの状態決定に対する確率の導
入により、ニューラルネット系は、状態エネルギーの局
所的極小値につかまることなく大所的極小値へ収束する
ことが期待される。つまり、よりもっともらしい解を発
見できることが期待される。このようなボルツマンマシ
ンは複雑なコスト問題の解決や、パターン認識および連
想記憶などの非アルゴリズミックな問題の解決を得意と
する装置であり、問題解決にアルゴリズムを必要とする
チューリングマシンとは対照的な性質を有する。

【０００４】このようなボルツマンマシンを効率よく高
速に表現することのできる装置として、ニューラルネッ
トの動作を真似た強力な並列処理系を半導体集積回路に
より実現することが幾つか既に試みられている。従来の
集積回路化された神経回路網表現装置の構成および動作
について説明する前に、簡単にボルツマンマシンの動作
原理について説明する。

【０００５】図２９は、一般的なニューロンモデルの構
成および動作原理を示す図である。図２９において、ニ
ューロンユニットｉは、他のニューロンユニットｋ，
ｊ，およびｍからの出力信号（状態信号）Ｓｋ，Ｓｊ，
およびＳｍを受ける入力部Ａと、入力部Ａからの信号を
予め定められた規則に従って変換する変換部Ｂと、変換
部Ｂからの信号を出力する出力部Ｃとを含む。

【０００６】入力部Ａは、ニューロンユニットｋ，ｊお
よびｍに対して所定のシナプス荷重Ｗ（以下、シナプス
荷重を総称的に示す場合、符号Ｗを用いる）を有する。
たとえば、ニューロンユニットｋからの出力信号Ｓｋ
は、入力部Ａでシナプス荷重Ｗｉｋを付されてＷｉｋ・
Ｓｋに変換された後、変換部Ｂへ伝達される。

【０００７】変換部Ｂは、入力部Ａから与えられた信号
の総和が或る条件を満足すると発火して出力部Ｃへ信号
を伝達する。このニューロンユニットのモデルを生体細
胞に対応させると、入力部Ａは樹状突起に対応し、変換
部Ｂは細胞体本体に対応し、かつ出力部Ｃは軸索に対応
する。

【０００８】このニューロンモデルにおいては、各ニュ
ーロンユニットが２つの状態、すなわちＳｉ＝０（非発
火状態）およびＳｉ＝１（発火状態）をとると仮定され
る。各ニューロンユニットはその入力に応じて自身の状
態を更新する。ニューロンユニットｉの総入力は、Ｕｉ＝ΣＷｉｊ・Ｓｊ＋Ｗｉｉで定義される。ただし総和Σはｊに関して行なわれる。
ここで、Ｗｉｊ＝Ｗｊｉとなる対称なシナプス結合が仮
定されており、また−Ｗｉｉはニューロンユニットｉの
しきい値に対応する。図２９においてはこのしきい値が
０と仮定された場合が示されている。

【０００９】ニューロンユニットの状態の更新は、各ユ
ニット間で非同期的に行なわれかつ確率的に行なわれ
る。ニューロンユニットｉが状態を更新するとき新しい
状態が１となる確率ｐ（Ｓｉ＝１）は、ｐ（Ｓｉ＝１）＝１／（１＋ｅｘｐ（−Ｕｉ／Ｔ））で与えられる。ここで、Ｔは物理系における温度と同様
の働きをするパラメータであり、正の値をとり、通常
“温度”と呼ばれる。

【００１０】図３０は各温度Ｔに対する入力の総和Ｕｉ
と確率ｐ（Ｓｉ＝１）との関係を示す図である。図３０
に見られるように、ニューロンユニットｉは、温度Ｔが
大きい場合にはほぼランダムに確率１／２で“０”また
は“１”のいずれかの値をとり、温度Ｔが０に近い場合
には、ほぼ決定論的にしきい値論理（入力の総和が或る
しきい値を超えた時にその状態が“１”となる論理）に
従う。

【００１１】或る時刻におけるボルツマンマシンの状態
は、すべてのユニットのオン（発火状態；Ｓ＝１）およ
びオフ（非発火状態；Ｓ＝０）の組合せで表わされる。
ここでＳはニューロンユニットの出力信号を総称的に示
す。或る状態にある系に対してエネルギーＥは次のよう
に定義される。

【００１２】Ｅ＝−ΣＷｉｊ・Ｓｉ・Ｓｊただし、総和Σはｉ＜ｊの関係を満足する添字ｉおよび
ｊのすべてについて行なわれる。また、この式において
は、各ニューロンユニットのしきい値は０と仮定され
る。このしきい値０の状態は、各ニューロンユニットに
対し常時オン状態（Ｓ＝１）であるユニットを設け、そ
の結合強度を各ユニットのしきい値に等しくかつその符
号が反対であるように設定することにより実現される。

【００１３】任意の初期状態から出発した各ニューロン
ユニットが動作を続けると、ボルツマンマシンは各ニュ
ーロンユニットのシナプス荷重Ｗによって定められる確
率的な平衡状態に近づく。この場合、ボルツマンマシン
が状態αをとる確率Ｐ（α）は、前述のごとく、次式Ｐ（α）＝Ｃ・ｅｘｐ（−Ｅα／Ｔ）で与えられる。ただしＥαは、状態αにおけるニューラ
ルネット系のエネルギーを示す。

【００１４】ボルツマンマシンにおいては、大所的エネ
ルギー極小値に到達するためにシミュレーテッドアニー
リングと言われる手法が用いられる。２つの大所的状態
αおよびβの相対的な確率が、Ｐ（α）／Ｐ（β）＝ｅｘｐ（−（Ｅα−Ｅβ）／Ｔ）で与えられる。最低エネルギー状態は任意の温度で常に
最もよく生じる確率が高い。通常、熱平衡状態へ到達す
る時間は長いため、このアニールは高温から始め徐々に
温度を下げていくのが好ましいとされる。この状態遷移
は、通常、結晶格子において各結晶原子が与えられた温
度において最低エネルギー状態をとる位置へ移行する状
態と類似している。

【００１５】ボルツマンマシンにおける問題は、入出力
データの確率分布を外部から与えないで、なるべく正確
にネットワーク自体がその分布を実現できるような重み
すなわちシナプス荷重を見出すことである。このような
シナプス荷重Ｗを調整する際に用いられる学習則の基本
方程式としては、 ΔＷｉｊ＝η・（ｐ⁺ｉｊ−ｐ^-ｉｊ） …（１）が用いられることが多い。ここで、ηはシナプス荷重Ｗ
の１回の学習サイクルにおける修正量を示す係数であ
り、正の値をとる。ｐ⁺ｉｊは、外部から教師情報を与
えた状態でニューラルネットワークが動作して平衡状態
に達したときにおいて、ニューロンユニットｉとニュー
ロンユニットｊの状態が共に“１”（発火状態）となる
期待値である。ｐ^-ｉｊは、外部から教師情報を与えな
い場合においてニューロンユニットｉとニューロンユニ
ットｊの状態が共に“１”となる期待値に対応する。

【００１６】上述の式（１）においてｐ⁺ｉｊの項は、
隣合ったニューロンユニットｉとニューロンユニットｊ
が共に活性化しているときに両者の間の結合が強化され
ることを意味している。これはヘブ（Ｈｅｂｂ）の学習
則と呼ばれるシナプス結合の強化学習機構に対応する。

【００１７】ｐ^-ｉｊの項は、外部から出力が与えられ
ない状態において、隣合ったユニットｉとユニットｊと
が共に活性化しているときにその間の結合（シナプス荷
重Ｗｉｊ）が弱められる（小さくなる）ことを意味して
おり、これは通常、反学習と呼ばれる。次に、ボルツマ
ンマシンにおける学習アルゴリズムについて簡単に説明
する。

【００１８】ボルツマンマシンにおける学習アルゴリズ
ムは操作１（プラス（＋）フェーズ）、操作２（マイナ
ス（−）フェーズ）および操作３を含む。（Ｉ）操作１（プラスフェーズ）：入力ユニットおよ
び出力ユニット（可視ユニット）の状態は、入力データ
および出力データ（教師データ）が各々、パターンの出
現確率に従って示す特定のパターンに固定される。操作
１は、（ａ）焼鈍過程、（ｂ）データ収集過程および
（ｃ）ｐ⁺ｉｊを求める過程を含む。焼鈍過程（ａ）に
おいては、各温度Ｔに対して次式（２）および（３）に
従って各ユニットの状態が変更される。

【００１９】 ΔＥｉ＝ΣＷｉｊ・Ｓｊ …（２）Ｐｉ＝１／（１＋ｅｘｐ（−ΔＥｉ／Ｔ）） …（３）ただし、式（２）において総和Σは添字ｊについて行な
われる。式（２）は、ニューラルネット系全体のエネル
ギーＥに対して、ユニットｉの状態Ｓｉが“０”のとき
と“１”のときのエネルギーギャップを与える。

【００２０】式（３）は、このエネルギーギャップが生
じたときのユニットｉの新しい状態Ｓｉが“１”をとる
確率を与える。焼鈍過程（ａ）においては、温度Ｔは高
温から始まって低温へ順次移行される。この温度Ｔが低
温へ移行し所定のアニーリング手続が終了した時点にお
いては、ニューラルネットワークは最低エネルギー状態
へ緩和していき熱平衡状態に達したと仮定される。

【００２１】データ収集過程（ｂ）においては、焼鈍過
程（ａ）を所定回数繰返した後、互いに結合しているユ
ニットのそれぞれの状態Ｓが共に“１”となっている回
数を求める。

【００２２】ｐ⁺ｉｊを求める過程（ｃ）においては、
上述の焼鈍過程（ａ）とデータ収集過程（ｂ）とを再び
教師パターンに対応して所定回数繰返した後、過程
（ｂ）で得られたデータの平均値を求める。この平均値
をｐ⁺ｉｊと仮定する。（ＩＩ）操作２（マイナスフェーズ）：操作２も、同
様に、焼鈍過程（ａ）、データ収集過程（ｂ）およびｐ
^-ｉｊを求める過程（ｃ）を含む。操作２における各過
程（ａ）、（ｂ）および（ｃ）は操作１（プラスフェー
ズ）の場合と同様の手続である。ただし、操作２（マイ
ナスフェーズ）においては、入力データに対応するユニ
ット（入力ユニット）のみが教師データの出現確率に従
ってその状態が固定される。操作２においては、操作１
と同様に、過程（ａ）、（ｂ）および（ｃ）が繰返され
た後、過程（ｃ）において得られた平均値がｐ^-ｉｊと
仮定される。

【００２３】操作３においては、得られた平均値ｐ⁺ｉ
ｊおよびｐ^-ｉｊから、 ΔＷｉｊ＝η・（ｐ⁺ｉｊ−ｐ^-ｉｊ） …（４）の関係式に従ってシナプス荷重Ｗｉｊの変更が行なわれ
る。シナプス荷重の１回の変化量は正の定数で与えられ
る係数ηにより決定される。上式（４）から明らかなよ
うに、シナプス荷重Ｗｉｊの変更量は、２つの互いに結
合されているユニット（隣合ったユニット）ｉおよびｊ
の状態によってのみ決定される。学習の最終目的は、式
（４）に示される変更量ΔＷｉｊをできるだけ小さく、
理想的には０に収束させることである。

【００２４】上述のような学習機能を備える神経回路網
（自己想起型ボルツマンマシンと呼ばれる）を半導体電
子回路で実現した装置が種々提案されており、本発明者
グループも既に集積化に適した構造を備えかつ高速動作
性および高学習効率を有する半導体神経回路網集積回路
装置を提案している（特願平１−１２１９１６参照）。

【００２５】本発明は、これに限定されるものではない
が、本発明者のグループが提案した神経回路網集積回路
装置をさらに高性能化することを主要目的としており、
後に詳細に説明する本発明の神経回路網表現装置の構成
および動作の理解を容易にするために、以下に、少し詳
細に本発明者のグループが既に提案している神経回路網
集積回路装置について説明する。

【００２６】図３１は、本発明者のグループが提案した
半導体神経回路網集積回路装置の全体の構成を示す図で
ある。図３１においては、ニューロンの数が５個の場合
の神経回路網を実現する集積回路装置の構成が一例とし
て示される。

【００２７】図３１において、神経回路網集積回路装置
は、一列に配置される５個のニューロンユニットＮＵ
１，ＮＵ２，ＮＵ３，ＮＵ４およびＮＵ５と、実質的に
直角三角形の形状に配置されるシナプス表現回路ＳＹ１
〜ＳＹ１０を含む。ニューロンユニットＮＵ１〜ＮＵ５
のそれぞれの入力部には樹状突起信号線ＤＥ１，ＤＥ
２，ＤＥ３，ＤＥ４およびＤＥ５が接続される。

【００２８】ニューロンユニットＮＵ１〜ＮＵ５の各々
は、対応の樹状突起信号線ＤＥ１〜ＤＥ５上の信号を、
その内部に含まれるアニール情報（しきい値）と比較
し、その比較結果に基づいて論理“１”または“０”の
状態信号Ｓ１〜Ｓ５を発生する。

【００２９】この神経回路網集積回路装置はさらに、状
態信号ＳＩ１，ＳＩ２，ＳＩ３，ＳＩ４およびＳＩ５を
それぞれ伝達する軸索信号線ＡＸ１，ＡＸ２，ＡＸ３，
ＡＸ４およびＡＸ５を含む。状態信号ＳＩ１〜ＳＩ５
は、外部から与えられる入力データであってもよく、ま
た別の層から伝達されるニューロンユニットの出力信号
すなわち状態信号であってもよい。

【００３０】シナプス表現回路ＳＹ１〜ＳＹ１０の各々
は、対応の軸索信号線ＡＸ（軸索信号線ＡＸ１〜ＡＸ５
を総称的に示す場合には符号ＡＸを用いる）から与えら
れた状態信号ＳＩ（状態信号ＳＩ１〜ＳＩ５を総称的に
示す）に、そこに格納されたシナプス荷重Ｗを重み付け
した信号Ｗ・Ｓを対応の樹状突起信号線ＤＥ（樹状突起
信号線ＤＥ１〜ＤＥ５を総称的に示す）へ伝達する。こ
の神経回路網集積回路装置のモデルであるボルツマンマ
シンにおいては、シナプス荷重Ｗは対称性を有してお
り、Ｗｉｊ＝Ｗｊｉが仮定される。したがって、１つの
シナプス表現回路ＳＹ（シナプス表現回路ＳＹ１〜ＳＹ
１０を総称的に示す）が２つのシナプス荷重を与える。

【００３１】軸索信号線ＡＸ１は、シナプス表現回路Ｓ
Ｙ１，ＳＹ２，ＳＹ３およびＳＹ４の第１の軸索信号入
力端子に接続される。軸索信号線ＡＸ２は、シナプス表
現回路ＳＹ１の第２の軸索信号入力端子と、シナプス表
現回路ＳＹ５，ＳＹ６およびＳＹ７の第１の軸索信号入
力端子に接続される。軸索信号線ＡＸ３は、シナプス表
現回路ＳＹ２およびＳＹ５のそれぞれの第２の軸索信号
入力端子と、シナプス表現回路ＳＹ８およびＳＹ９のそ
れぞれの第１の軸索信号入力端子に接続される。軸索信
号線ＡＸ４は、シナプス表現回路ＳＹ３，ＳＹ６および
ＳＹ８のそれぞれの第２の軸索信号入力端子と、シナプ
ス表現回路ＳＹ１０の第１の軸索信号入力端子とに接続
される。軸索信号線ＡＸ５はシナプス表現回路ＳＹ４，
ＳＹ７，ＳＹ９およびＳＹ１０のそれぞれの第２の軸索
信号入力端子に接続される。

【００３２】樹状突起信号線ＤＥ１は、シナプス表現回
路ＳＹ１，ＳＹ２，ＳＹ３およびＳＹ４のそれぞれの第
１の樹状突起信号出力端子からの出力信号を加算してニ
ューロンユニットＮＵ１へ伝達する。樹状突起信号線Ｄ
Ｅ２は、シナプス表現回路ＳＹ１の第２の樹状突起信号
出力端子からの出力信号とシナプス表現回路ＳＹ５，Ｓ
Ｙ６およびＳＹ７の第１の樹状突起信号出力端子からの
出力信号とを加算してニューロンユニットＮＵ２へ伝達
する。樹状突起信号線ＤＥ３は、シナプス表現回路ＳＹ
２およびＳＹ５のそれぞれの第２の樹状突起信号出力端
子からの出力信号とシナプス表現回路ＳＹ８およびＳＹ
９のそれぞれの第１の樹状突起信号出力端子からの出力
信号とを加算してニューロンユニットＮＵ３へ伝達す
る。

【００３３】樹状突起信号線ＤＥ４は、シナプス表現回
路ＳＹ３，ＳＹ６およびＳＹ８のそれぞれの第２の樹状
突起信号出力端子からの出力信号とシナプス表現回路Ｓ
Ｙ１０の第１の樹状突起信号出力端子からの出力信号と
を加算してニューロンユニットＮＵ４へ伝達する。樹状
突起信号線ＤＥ５は、シナプス表現回路ＳＹ４，ＳＹ
７，ＳＹ９およびＳＹ１０の第２の樹状突起信号出力端
子からの各出力信号を加算してニューロンユニットＮＵ
５へ伝達する。ニューロンユニットＮＵ１〜ＮＵ５の各
々は、対応の樹状突起信号線ＤＥ１〜ＤＥ５を介して伝
達される信号に従って発火（Ｓ＝１）または非発火（Ｓ
＝０）状態となる。

【００３４】図３２は、図３１に示すシナプス表現回路
の構成を概略的に示すブロック図である。図３２におい
て、シナプス表現回路ＳＹは、シナプス荷重値情報を格
納するシナプス荷重値格納回路１０１と、神経回路網の
学習モード時に関連の２つの状態信号（軸索信号）Ｓｉ
およびＳｊに従ってシナプス荷重修正信号を発生する学
習制御回路１１０と、シナプス荷重修正信号に応答し
て、シナプス荷重値格納回路１０１に格納されたシナプ
ス荷重値情報を修正するシナプス荷重修正回路１０３
と、第２の軸索信号入力端子へ与えられた状態信号Ｓｊ
にシナプス荷重値格納回路１０１に格納されたシナプス
荷重値を重み付けし、この重み付けした信号Ｗｉｊ・Ｓ
ｊを樹状突起信号線ＤＥｊへ伝達するシナプス結合表現
回路１０５と、第１の軸索信号入力端子へ伝達された状
態信号（軸索信号）Ｓｉにシナプス荷重値格納回路１０
１に格納されたシナプス荷重値を付加し、信号Ｗｊｉ・
Ｓｉを生成して樹状突起信号線ＤＥｉ上へ伝達するシナ
プス結合表現回路１０７を含む。

【００３５】このシナプス表現回路ＳＹが表現するシナ
プス荷重は対称性を有しており、Ｗｊｉ＝Ｗｉｊであ
る。このシナプス荷重値情報はシナプス荷重値格納回路
１０１に格納される。シナプス荷重値格納回路１０１
は、シナプス荷重値情報を電荷の形態で格納する容量Ｃ
Ａを含む。容量ＣＡが格納する電荷量は連続的に変化可
能であり、したがって、このシナプス荷重値格納回路１
０１が格納するシナプス荷重値はアナログ的に変化す
る。

【００３６】学習制御回路１１０は、学習の有無を示す
制御信号Ａｃｐを受ける端子Ｐと、学習フェーズ（プラ
スフェーズまたはマイナスフェーズ）を示す信号Ｃ＋／
−を受ける端子Ｃと、状態信号Ｓｉを受ける入力端子Ｓ
１と、状態信号Ｓｊを受ける入力端子Ｓ２と、学習モー
ド時において、状態信号ＳｉおよびＳｊの状態に従って
シナプス荷重値格納回路１０１に格納されたシナプス荷
重値を増加させるための第１の修正信号Ｉを発生する端
子Ｉｐと、学習モード時に、状態信号ＳｉおよびＳｊに
従って、シナプス荷重値格納回路１０１に格納されたシ
ナプス荷重値を減少させるための第２の修正信号Ｄを発
生する端子Ｄｐを含む。

【００３７】シナプス荷重修正回路１０３は、第１の修
正信号Ｉを受ける端子Ｖと、第２の修正信号Ｄを受ける
端子Ｌと、端子ＶおよびＬに与えられた修正信号Ｉおよ
びＤに従ってシナプス荷重値格納回路１０１に格納され
たシナプス荷重値を調整する信号を発生する出力端子Ｍ
を含む。

【００３８】シナプス荷重値格納回路１０１に含まれる
容量ＣＡは、その一方電極がノードＮに接続され、その
他方電極が基準電位Ｖに結合される。容量ＣＡに蓄積さ
れる電荷量はシナプス荷重修正回路１０３からの信号に
従って増加または減少される。

【００３９】シナプス結合表現回路１０５および１０７
は共に同一の構成を有しており、状態信号Ｓ（Ｓｉまた
はＳｊ）を受ける状態信号入力端子Ｖｓと、シナプス荷
重値格納回路１０１が格納するシナプス荷重値情報を受
ける端子Ｖｃと、与えられた状態信号Ｓとシナプス荷重
値Ｗとの積結果を示す電流（荷重化電流）を出力する端
子Ｉｏを含む。

【００４０】図３３は、図３２に示す学習制御回路の具
体的構成の一例を示す図である。図３３において、学習
制御回路１１０は、学習フェーズ指示信号Ｃ＋／−を受
けるインバータ回路Ｇ２と、入力端子Ｓ１およびＳ２へ
与えられる状態信号ＳｉおよびＳｊを受ける２入力ＮＡ
ＮＤ回路Ｇ３と、端子Ｐへ与えられる学習制御信号Ａｃ
ｐとインバータ回路Ｇ２の出力とＮＡＮＤ回路Ｇ３の出
力とを受ける３入力ＮＯＲ回路Ｇ４と、学習制御信号Ａ
ｃｐと学習フェーズ指示信号Ｃ＋／−とＮＡＮＤ回路Ｇ
３の出力とを受ける３入力ＮＯＲ回路Ｇ５とを含む。Ｎ
ＯＲ回路Ｇ４から端子Ｉｐを介して第１の修正信号Ｉが
発生される。ＮＯＲ回路Ｇ５から端子Ｄｐを介して第２
の修正信号Ｄが発生される。まず、この学習制御回路１
１０の動作について以下に説明する。

【００４１】非学習モード時においては、制御信号Ａｃ
ｐは“Ｈ”の電位レベルに固定される。この場合、端子
Ｓ１およびＳ２へそれぞれ与えられる状態信号Ｓｉおよ
びＳｊの論理状態にかかわらずＮＯＲ回路Ｇ４およびＧ
５の出力は共に“Ｌ”の電位レベルに固定され、修正信
号ＩおよびＤは発生されない。この状態においては、シ
ナプス荷重値格納回路１０１に格納されたシナプス荷重
値は修正されない。

【００４２】学習時においては、端子Ｐへ一定の周期お
よびパルス幅を有するパルス信号が学習制御信号Ａｃｐ
として与えられる。このとき、学習制御端子Ｃへ与えら
れる学習フェーズ指示信号Ｃ＋／−に従って端子Ｉｐお
よびＤｐから発生される修正信号が変化する。

【００４３】プラスフェーズ時においては、学習フェー
ズ指示信号Ｃ＋／−が“Ｈ”に設定される。この場合、
ＮＯＲ回路Ｇ５の出力Ｄが“Ｌ”固定となる。端子Ｉｐ
へＮＯＲ回路Ｇ４から伝達される第１の修正信号Ｉは、
状態信号ＳｉおよびＳｊが共に“Ｈ”（発火状態；Ｓ＝
１）の場合にのみＮＡＮＤ回路Ｇ３の出力が“Ｌ”とな
るため、パルス信号Ａｃｐを反転した信号となる。この
第１の修正信号Ｉのパルス数に従ってシナプス荷重修正
回路１０３が、シナプス荷重値格納回路１０１が格納す
るシナプス荷重値を増加させる（ΔＷｊｉ＞０）。

【００４４】マイナスフェーズ時においては、学習フェ
ーズ指示信号Ｃ＋／−が“Ｌ”に設定される。この場
合、ＮＯＲ回路Ｇ４の出力信号Ｉが“Ｌ”固定となる。
ＮＯＲ回路Ｇ５は、状態信号ＳｉおよびＳｊが共に
“Ｈ”の場合にのみＮＡＮＤ回路Ｇ３の出力が“Ｌ”と
なるため、この状態においてインバータ回路として機能
し、第２の修正信号Ｄとしてパルス信号Ａｃｐの反転信
号を発生する。このパルス状の第２の修正信号Ｄに従っ
てシナプス荷重修正回路１０３はシナプス荷重値格納回
路１０１に格納されるシナプス荷重値を減少させる（Δ
Ｗｊｉ＜０）。すなわち、この学習制御回路１１０は次
式で示す学習則を実現する。

【００４５】ΔＷ⁺ｉｊ＝η・Ｓｉ・Ｓｊ ΔＷ^-ｉｊ＝−η・Ｓｉ・Ｓｊ η：端子Ｐへ与えられるパルス信号の数に対応する。

【００４６】修正量ΔＷおよび係数ηに付される符号は
学習フェーズに対応する。端子ＰおよびＣへ与えられる
制御信号ＡｃｐおよびＣ＋／−は図示しない外部からの
制御回路から与えられる。この学習制御回路１１０は、
シナプス表現回路それぞれに対応して設けられており、
関連の２つの状態信号ＳｉおよびＳｊが共に発火状態の
ときにのみその学習フェーズに応じてシナプス荷重値を
増加または減少させる。

【００４７】図３４は図３２に示すシナプス表現回路Ｓ
Ｙにおいて、第１の状態信号Ｓｉから樹状突起信号Ｗｊ
ｉ・Ｓｉを生成するシナプス結合表現回路１０７の構成
を示す図である。他方のシナプス結合表現回路１０５も
この図３４に示すシナプス結合表現回路と同様の構成を
備える。

【００４８】図３４において、シナプス結合表現回路１
０７は、第１の電流パス回路を構成するｐチャネルＭＯ
Ｓ（絶縁ゲート型電界効果）トランジスタＰＴ１，ＰＴ
２と、第２の電流パス回路を形成するｐチャネルＭＯＳ
トランジスタＰＴ３およびＰＴ４と、第３の電流パス回
路を形成するｐチャネルＭＯＳトランジスタＰＴ５およ
びｎチャネルＭＯＳトランジスタＮＴ１を含む。

【００４９】ｐチャネルＭＯＳトランジスタＰＴ５とｎ
チャネルＭＯＳトランジスタＮＴ１は基準電位（たとえ
ば電源電位）Ｖｄｄと接地電位Ｖｇｎｄとの間に相補接
続され、端子Ｖｓへ与えられた状態信号Ｓｉを反転する
インバータ回路を形成する。

【００５０】ｐチャネルＭＯＳトランジスタＰＴ１は、
そのソースが基準電圧ノードＶｄｄに接続され、そのゲ
ートがシナプス荷重値格納回路１０１の出力ノードＮ２
に接続されてそのドレインがノードＮ４を介してｐチャ
ネルＭＯＳトランジスタＰＴ２のソースに接続される。
ｐチャネルＭＯＳトランジスタＰＴ２は、そのゲートが
インバータ（トランジスタＰＴ５およびＮＴ１により構
成される）の出力ノードＮ１０に接続され、そのドレイ
ンがシナプス結合（荷重化）電流出力ノードＩｏに接続
される。

【００５１】ｐチャネルＭＯＳトランジスタＰＴ３は、
そのソースが基準電圧ノードＶｄｄに接続され、そのゲ
ートがバイアス電圧Ｖｂを供給するバイアス電圧供給ノ
ードＶｂに接続され、そのドレインがｐチャネルＭＯＳ
トランジスタＰＴ４のソースに接続される。ｐチャネル
ＭＯＳトランジスタＰＴ４は、そのゲートが状態信号入
力ノードＶｓに接続され、そのドレインが荷重化電流出
力ノードＩｏに接続される。ここで、基準電圧ノードと
そこに伝達される基準電圧とは同一符号で示す。

【００５２】ｐチャネルＭＯＳトランジスタＰＴ５は、
そのソースが基準電圧ノードＶｄｄに接続され、そのゲ
ートが状態信号入力ノードＶｓに接続され、そのドレイ
ンがｎチャネルＭＯＳトランジスタＮＴ１のソースに接
続される。

【００５３】同じ電流パス回路に含まれるｐチャネルＭ
ＯＳトランジスタのゲート幅すなわちコンダクタンスは
同一である。しかしながら異なる電流パス回路に含まれ
るｐチャネルＭＯＳトランジスタのゲート幅すなわちコ
ンダクタンスは異なる。すなわち、ｐチャネルＭＯＳト
ランジスタＰＴ１およびＰＴ２のゲート幅は、ｐチャネ
ルＭＯＳトランジスタＰＴ３およびＰＴ４のそれぞれの
ゲート幅よりも大きく、たとえば２倍に設定される。こ
れにより、トランジスタＰＴ１およびＰＴ２からなる第
１の電流パス回路は、トランジスタＰＴ３およびＰＴ４
からなる第２の電流パス回路よりもより大きな電流を流
すことができる。

【００５４】図３４においてはさらにシナプス荷重修正
回路１０３およびシナプス荷重値格納回路１０１の構成
も示される。この図３４に示すシナプス荷重値格納回路
においては容量が設けられる位置が図３２の場合と異な
っている。しかしながらその作用は全く同一である。

【００５５】シナプス荷重値格納回路１０１は１個のキ
ャパシタＣ０を含む。キャパシタＣ０は、その一方電極
がノードＮ２に接続され、他方電極が基準電圧ノードＶ
ｄｄを受けるノードＮ３へ接続される。

【００５６】シナプス荷重修正回路１０３は、第１の修
正信号Ｉを受ける入力端子ＶとノードＮ５との間に設け
られるキャパシタＣ１と、第２の修正信号Ｄを受ける入
力端子ＬとノードＮ６との間に設けられるキャパシタＣ
２と、ノードＮ２と基準電圧ノードＶｄｄ（ノードＮ
３）との間に順方向に接続されるダイオードＤ２および
Ｄ１と、バイアス電圧供給ノードＶｂとノードＮ２との
間に順方向に接続されるダイオードＤ４およびＤ３を含
む。

【００５７】キャパシタＣ１とダイオードＤ１およびＤ
２とは、入力端子Ｖへ与えられる第１の修正信号Ｉに応
答して、キャパシタＣ０のノードＮ２に蓄積された正電
荷を引き抜く経路を与える。キャパシタＣ２とダイオー
ドＤ３およびＤ４とは、入力端子Ｌへ与えられる第２の
修正信号Ｄに応答してキャパシタＣ０へ正電荷を注入す
る経路を与える。

【００５８】通常、バイアス電圧Ｖｂとたとえば電源電
圧である基準電圧Ｖｄｄとは、Ｖｇｎｄ≦Ｖｂ＜Ｖｄｄの関係を満たしている。次に動作について説明する。

【００５９】パルス状の第１の修正信号Ｉが端子Ｖを介
してキャパシタＣ１へ与えられると、キャパシタＣ１の
チャージポンプ動作により、キャパシタＣ０から正電荷
が引き抜かれ、ノードＮ２の電位が下降する。パルス状
の第２の修正信号ＤがキャパシタＣ２へ与えられるごと
に、キャパシタＣ０のノードＮ２へ正電荷が注入され、
ノードＮ２の電位が上昇する。この構成により、１個の
キャパシタＣ０により興奮性結合および抑制性結合が表
現される。このシナプス荷重値格納回路１０１の格納す
るシナプス荷重値の修正動作については後に詳細に説明
する。まず、シナプス結合表現回路１０７の動作につい
て説明する。

【００６０】（ｉ）状態信号Ｓｉが“Ｌ”の場合：この
場合、トランジスタＰＴ４およびＰＴ５がオン状態、ト
ランジスタＰＴ２およびトランジスタＮＴ１がオフ状態
となる（ノードＮ１０の電位はトランジスタＰＴ５によ
り基準電圧Ｖｄｄのレベルとなる）。したがって、出力
端子Ｉｏからは、トランジスタＰＴ３のゲートへ与えら
れるバイアス電圧Ｖｂに応じた一定の電流が流出する。

【００６１】（ｉｉ）状態信号Ｓｉが“Ｈ”の場合：こ
の場合、トランジスタＰＴ４およびＰＴ５がオフ状態、
トランジスタＮＴ１およびトランジスタＰＴ２がオン状
態となる（ノードＮ１０の電位は接地電位Ｖｇｎｄのレ
ベルとなる）。出力端子Ｉｏからは、トランジスタＰＴ
１のゲート電位（ソース電位（ノードＮ３の電位）を基
準電位とする）すなわちキャパシタＣ０の充電電位Ｖｃ
（ノードＮ２の電位）に応じた電流Ｉｄｓが流れる。

【００６２】キャパシタＣ０のノードＮ２の蓄積電荷Ｑ
０が０であれば、ノードＮ２の電位Ｖｃは基準電圧Ｖｄ
ｄに等しい。トランジスタＰＴ１のソース電位は基準電
圧Ｖｄｄである。したがって、電位（Ｖｄｄ−Ｖｃ）＝
０に応じた電流が基準電圧ノードＶｄｄからトランジス
タＰＴ１およびＰＴ２を介して出力端子Ｉｏへ流れる。
トランジスタＰＴ１およびＰＴ２のゲート幅はトランジ
スタＰＴ３およびＰＴ４のゲート幅よりも大きい。した
がって、状態信号Ｓｉが“Ｈ”の場合、この出力端子Ｉ
ｏからは状態信号Ｓｉが“Ｌ”のときよりも大きな電流
が流れる。

【００６３】キャパシタＣ０のノードＮ２における蓄積
電荷量が負の−Ｑ０であれば、ノードＮ２の電位Ｖｃ
は、（Ｖｄｄ−Ｑ０・Ｃａ）となり、トランジスタＰＴ
１のゲート電位が−Ｑ０・Ｃａとなり、ｐチャネルＭＯ
ＳトランジスタＰＴ１のインピーダンスが小さくなり流
れる電流量が増大する。これにより興奮性結合が表現さ
れる。ここで、ＣａはキャパシタＣ０の静電容量を示
す。

【００６４】第１の修正信号Ｉが与えられるごとに、キ
ャパシタＣ０のノードＮ２から正電荷が引き抜かれるた
め、トランジスタＰＴ１のインピーダンスが小さくな
り、出力端子Ｉｏへ流れる電流Ｉｄｓの値が増大する。
一方、第２の修正信号Ｄが与えられるごとに、キャパシ
タＣ０のノードＮ２へ正電荷が注入されるため、トラン
ジスタＰＴ１からノードＮ４へ供給される電流Ｉｄｓの
値が小さくなる。

【００６５】したがって、学習モード時において、この
修正信号ＩおよびＤに従ってキャパシタＣ０の蓄積電荷
量を調節することにより１個のキャパシタＣ０により興
奮性結合および抑制性結合いずれをも実現することがで
きる。またこのとき、キャパシタＣ０が表現するシナプ
ス荷重値はこのキャパシタＣ０の蓄積電荷量により与え
られるため、このシナプス荷重値を任意の値に設定する
ことができ、シナプス荷重値をアナログ的に表現するこ
とが可能となる。次に、学習モード時においてシナプス
荷重値を修正する動作について説明する。

【００６６】キャパシタＣ０により構成されるシナプス
荷重値格納回路１０１において、キャパシタＣ０のノー
ドＮ２に接続された電極に蓄積された負電荷量が−Ｑ０
の場合、ｐチャネルＭＯＳトランジスタＰＴ１のゲート
に接続されるノードＮ２には、前述のごとく、Ｖｃ＝（Ｖｄｄ−Ｑ０・Ｃａ）の電圧が生じる。したがって、ノードＮ２の電圧Ｖｃ
は、Ｑ０＝０の場合には、Ｖｃ＝Ｖｄｄとなる。Ｑ０の
値が大きくなるにつれて、すなわち負電荷量−Ｑ０が増
大するにつれてノードＮ２の電圧Ｖｃは減少する。ノー
ドＮ２の電圧Ｖｃの減少はシナプス荷重値の増加を示
し、ノードＮ２の電圧Ｖｃの増加はシナプス荷重値の減
少を示す。

【００６７】ｐチャネルＭＯＳトランジスタＰＴ１を含
む第１の電流パス回路において、ｐチャネルＭＯＳトラ
ンジスタＰＴ１のゲート−ソース間電圧（以下、単にゲ
ート電圧と称す）は、（Ｖｃ−Ｖｄｄ）である。このゲ
ート電圧（Ｖｃ−Ｖｄｄ）により規定される定電流がト
ランジスタＰＴ１を介してノードＮ４へ流れる。

【００６８】トランジスタＰＴ１を流れる電流につい
て、Ｑ０＝０の場合には、Ｉｄｓ＝０（ｐチャネルＭＯ
Ｓトランジスタのしきい値電圧が負の場合）と最小値と
なり、負の電荷量−Ｑ０が増大するにつれてノードＮ２
の電位が減少し、トランジスタＰＴ１を流れる電流Ｉｄ
ｓが増加する。次に、シナプス荷重修正回路１０３のシ
ナプス荷重値修正動作について説明する。

【００６９】シナプス荷重修正回路１０３は２つのチャ
ージポンプ回路により構成されているため、それぞれの
チャージポンプ回路の動作を図３５（Ａ）および図３５
（Ｂ）を参照して説明する。

【００７０】まず、図３５（Ａ）を参照して、キャパシ
タＣ０のノードＮ２へ正電荷を注入する動作について説
明する。図３５（Ａ）において、ダイオードＤ１３およ
びＤ１４とキャパシタＣ１２とからなる回路にパルス信
号Ｄを与えることにより、キャパシタＣ２０へ正電荷を
注入するチャージポンプ動作が実現される。ダイオード
Ｄ１３はそのアノードがノードＮ２６に接続され、その
カソードがノードＮ２２を介してキャパシタＣ２０の一
方電極に接続される。ダイオードＤ１４は、そのカソー
ドがノードＮ２６に接続され、そのアノードがノードＮ
２１に接続される。ノードＮ２１へバイアス電圧Ｖｂが
与えられる。ダイオードＤ１３およびＤ１４は図３４の
ダイオードＤ３およびＤ４に対応し、キャパシタＣ１２
は図３４のキャパシタＣ２に対応する。キャパシタＣ２
０が図３４のキャパシタＣ０に対応する。キャパシタＣ
１２はノードＮ２８を介してパルス信号Ｄを受ける。

【００７１】パルス信号Ｄが“Ｈ”から“Ｌ”へ立下が
るとき、キャパシタＣ１２の容量結合動作によりノード
Ｎ２６の電位が負方向へ立下がり、ダイオードＤ１４が
オン状態となる。これにより、ノードＮ２１からノード
Ｎ２６へ電流ｉ１が流れる。このとき、ダイオードＤ１
３はオフ状態である。

【００７２】パルス信号Ｄが“Ｌ”から“Ｈ”へ立上が
るときには、キャパシタＣ１２を介したチャージポンプ
動作によりノードＮ２６の電位が上昇しダイオードＤ１
３がオン状態、ダイオードＤ１４がオフ状態となる。こ
れによりノードＮ２６からノードＮ２２へ電流ｉ２が流
れる。電流ｉ１およびｉ２の大きさは、キャパシタＣ１
２の容量と、キャパシタＣ２０に蓄積されている電荷量
Ｑ２０と、ダイオードＤ１３およびＤ１４の順方向Ｉ−
Ｖ特性（電流−電圧特性）と、パルス信号Ｄのパルス幅
により決定される。

【００７３】すなわち、パルス信号Ｄの１周期ごとにノ
ードＮ２２に電流が流れ込み、キャパシタＣ２０を充電
する。これによりキャパシタＣ２０に蓄積されている電
荷量（正の電荷量）が増加する。このパルス信号Ｄは第
２の修正信号Ｄに対応しており、このパルス信号Ｄによ
りノードＮ２２（ノードＮ２）の電位が上昇する。

【００７４】次に図３５（Ｂ）を参照してキャパシタＣ
０から正電荷を引き抜く動作について説明する。この場
合のチャージポンプ動作は、ダイオードＤ１１およびＤ
１２とキャパシタＣ１１とにより実現される。ダイオー
ドＤ１１はそのカソードがノードＮ１３に接続され、そ
のアノードがノードＮ１５に接続される。ノードＮ１３
へ基準電圧Ｖｄｄが与えられる。ダイオードＤ１２は、
そのカソードがノードＮ１５に接続され、そのアノード
がノードＮ１２を介してキャパシタＣ１０の一方電極に
接続される。キャパシタＣ１１はその一方電極がノード
Ｎ１５に接続され、その他方電極がノードＮ１７に接続
される。ノードＮ１７へパルス信号Ｉ（第１の修正信号
Ｉに対応）が与えられる。

【００７５】この構成において、キャパシタＣ１０は図
３４のキャパシタＣ０に対応し、ダイオードＤ１１およ
びＤ１２は図３４のダイオードＤ１およびＤ１２に対応
し、キャパシタＣ１１は図３４のキャパシタＣ１に対応
する。次に動作について説明する。

【００７６】ノードＮ１７にパルス信号Ｉが与えられ
る。パルス信号Ｉが“Ｈ”から“Ｌ”へ立下がるときに
ノードＮ１５の電位がキャパシタＣ１１の容量結合によ
り立下がり、ダイオードＤ１２がオン状態、ダイオード
Ｄ１１がオフ状態となる。この状態においては、ノード
Ｎ１２からノードＮ１５へ電流ｉ３が流れる。

【００７７】パルス信号Ｉが“Ｌ”から“Ｈ”へ立上が
るときには、キャパシタＣ１１のチャージポンプ動作に
よりノードＮ１５の電位が上昇し、このノードＮ１５の
電位が基準電圧Ｖｄｄよりも高くなるとダイオードＤ１
１がオン状態となる。ダイオードＤ１２はオフ状態とな
り、ノードＮ１５からノードＮ１３へ電流ｉ４が流れ
る。この電流ｉ４の供給源はキャパシタＣ１０である。
すなわちこの電流ｉ４は電流ｉ３によりその値が決定さ
れる。したがって、パルス信号Ｉの１周期ごとにノード
Ｎ１２からノードＮ１５を介してノードＮ１３へ電流が
流れ、キャパシタＣ１０に蓄積されている正電荷の量が
減少する。電流ｉ３およびｉ４の大きさは、キャパシタ
Ｃ１０およびＣ１１の静電容量値と、キャパシタＣ１０
に蓄えられている電荷量と、ダイオードＤ１１およびＤ
１２の順方向Ｉ−Ｖ特性と、そしてパルス信号Ｉのパル
ス幅とによって決定される。このパルス信号Ｉの第１の
修正信号Ｉとして利用することにより、そのパルス数に
応じてキャパシタＣ１用の蓄積電荷量を調節することが
できる。

【００７８】図３４に示すシナプス荷重修正回路はこの
図３５に示すチャージポンプ回路を組合せることにより
得られる。すなわち図３５（Ａ）に示すチャージポンプ
回路と図３５（Ｂ）に示すチャージポンプ回路において
キャパシタＣ２０およびＣ１０をキャパシタＣ０に対応
させかつノードＮ２２およびノードＮ１２を共にノード
Ｎ２に対応させることにより図３４に示すシナプス荷重
修正回路およびシナプス荷重値格納回路の構成が得られ
る。

【００７９】図３５（Ａ）のノードＮ２８および図３５
（Ｂ）のノードＮ１７はそれぞれ図３４におけるノード
ＬおよびＶに対応する。したがって、ノードＶへパルス
信号を与えると、ダイオードＤ１およびＤ２とキャパシ
タＣ１によりキャパシタＣ０のノードＮ２の蓄積電荷量
（負の電荷量）が増加し、一方、ノードＬへパルス信号
を与えるとキャパシタＣ０のノードＮ２の蓄積電荷量
（負の電荷量）が減少する。

【００８０】上述の構成により、ノードＶおよびＬそれ
ぞれに与えるパルス信号すなわち第１および第２の修正
信号ＩおよびＤのパルス数およびパルス幅によりキャパ
シタＣ０の蓄積電荷量（負の電荷量）の増減を制御する
ことができる。すなわち、荷重化電流出力端子Ｉｏから
流れ出る電流値を決定するノードＮ２の電位Ｖｃをシナ
プス荷重修正回路１０３へ与えるパルス信号ＩおよびＤ
でアナログ的に制御することができる。

【００８１】

【発明が解決しようとする課題】上述のようなシナプス
表現回路においては、シナプス荷重値はパルス信号で容
易に修正することができる。またシナプス荷重値は容量
に蓄積された電荷量により表現されるため、その値がア
ナログ的に変化し、任意のシナプス荷重値を実現するこ
とができる。容量は比較的小占有面積であるため、上述
のようなシナプス表現回路を用いることにより、学習機
能を備えたシナプス表現回路を少ない素子数で表現する
ことができ、高集積化された学習機能付神経回路網半導
体チップを実現することができる。しかしながら、シナ
プス荷重値が容量に蓄積された電荷量により表現される
ため、以下のような問題が生じる。

【００８２】図３６はシナプス荷重値格納回路を構成す
る容量の構造を示す図である。図３６においてシナプス
荷重値表現用のキャパシタＣ０は、半導体基板２０５上
に絶縁膜２０４を介して形成される一方電極となる第１
の導電層２０３と、この第１の導電層２０３上に誘電体
として機能する絶縁層２０２を介して形成される第２の
導電層２０１とを備える。この構成においては、キャパ
シタＣ０の静電容量は、絶縁層２０２の膜厚と、導電層
２０１および２０３の対向面積により決定された一定値
となる。第１および第２の導電層２０１および２０３は
いずれのノードへ接続される構成であってもよい。図３
６においては、第２の導電層２０１がノードＮ３に接続
されかつ第１の導電層２０３がノードＮ２へ接続される
構成が例示的に示される。

【００８３】ノードＮ２の蓄積電荷量がシナプス荷重値
を与える。このシナプス荷重値は想起動作中は一定値に
保つ必要がある。しかしキャパシタの性質上この蓄積電
荷がリークすることは避けられず、このためシナプス荷
重値が変化し正確かつ高速な想起動作を行なうことがで
きなくなるという問題が生じる。この電荷リークの経路
について以下に説明する。

【００８４】図３７はシナプス荷重修正回路に含まれる
ダイオードの接続形態を示す図である。この図３７に示
すダイオードＤ８０１および８０２は図３４に示すダイ
オードＤ１およびＤ２またはダイオードＤ３およびＤ４
に対応する。ダイオードＤ８０１はノードｂとノードａ
との間に順方向に接続され、ダイオードＤ８０２はノー
ドｃとノードｂとの間に順方向に接続される。ノードｂ
はチャージポンプ用キャパシタに接続され、ノードｂを
介してパルス信号（修正信号）に従った電荷の注入／引
抜きが行なわれる。

【００８５】ダイオードＤ８０１およびＤ８０２の直列
体は小占有面積を実現するため、図３８に示すように１
個のｐチャネルＭＯＳトランジスタを用いて表現され
る。図３８においてｐチャネルＭＯＳトランジスタＰＴ
８００は、その基板領域がノードａに接続され、その一
方電極とゲート電極とがノードｂに接続され、その他方
導通端子がノードｃに接続される。

【００８６】図３９は図３９に示すｐチャネルＭＯＳト
ランジスタの断面構造を示す図である。図３９におい
て、ｐチャネルＭＯＳトランジスタＰＴ８００は、ｐ型
半導体基板８５０表面のＮ型ウェル８５１内に形成され
る。ｐチャネルＭＯＳトランジスタＰＴ８００は、ノー
ドａに接続される高不純物ノードＮ⁺領域８５２と、ノ
ードｂに接続される高不純物ノードＰ⁺領域８５３と、
ノードｃに接続される高不純物ノードＰ⁺領域８５４を
含む。Ｐ⁺領域８５３および８５４の間のチャネル領域
上に絶縁膜（ゲート絶縁膜）８５６を介してゲート電極
８５５が形成される。ゲート電極８５５はノードｂに接
続される。Ｎ型ウェル８５１はＮ⁺領域８５２を介して
ノードａに接続される。

【００８７】ダイオードＤ８０１は、Ｐ⁺領域８５３
と、Ｎ型ウェル８５１と、Ｎ⁺領域８５２により形成さ
れる。ダイオードＤ８０２は、Ｐ⁺領域８５３と、チャ
ネル領域（Ｎ型ウェル８５１のゲート電極８５５下の表
面領域）と、Ｐ⁺領域８５４とにより形成される。

【００８８】図３９に示す構造の場合、ノードａ、Ｎ⁺
領域８５２、Ｎ型ウェル８５１およびＰ⁺領域８５４を
介してさらに別のダイオードが形成される。この別のダ
イオードはノードａとノードｃとの間に形成されるため
チャージポンプ動作そのものについては何ら影響を及ぼ
さない。図３９に示す素子構造の場合、ＰＮ接合ダイオ
ードを用いて一方のダイオードＤ８０１が表現されるた
め、逆方向へ流れる放電電流（ノードａからノードｃへ
流れるリーク電流）を低減することができ、またノード
ｂに付随する浮遊容量を低減することが可能となる。

【００８９】しかしながら、この図３９に示す素子構造
を用いてダイオードの直列体を構成した場合、その素子
構造によりＰＮ接合部分に空乏層８６１および８６２が
生じる。空乏層８６１および８６２においては、電荷の
再結合またはそこを介しての電荷の拡散が生じる。たと
えば図３９に示す構成において、ノードｃはシナプス荷
重値格納回路１０１のキャパシタＣ０のシナプス荷重値
を与える電極すなわちノードＮ２またはバイアス電圧Ｖ
ｂを与えるノードＮ１に接続される。ノードａは図３４
に示す構成において基準電圧Ｖｄｄを供給するノードＮ
３またはノードＮ２に接続される。したがって、このよ
うな空乏層における電荷の再結合または電荷の拡散によ
りキャパシタＣ０の蓄積電荷量が変化し、シナプス荷重
値を長時間にわたって所望の値に保持することができな
くなるという問題が生じる。

【００９０】またさらに別の電荷のリーク経路としては
２列素子間を電気的に分離するための素子分離膜８７０
下に形成される空乏層（または反転層）を介しての経路
Ｉｐも存在する。

【００９１】このノードａまたはノードｃが一定の電圧
ＶｄｄまたはＶｂを与えるノードに接続される構成の場
合、この電圧が動作時に変動し、これによりインパクト
イオン化現象などによりＮウェル領域８５１内において
正孔／電子対が発生し、この発生した電荷がキャパシタ
Ｃ０の蓄積電荷量を変動させる原因となることも考えら
れる。このような原因によりキャパシタＣ０の保持電荷
量が変動することにより、学習により得られたシナプス
荷重値をその想起動作中一定値に保つことができなくな
るという問題が生じる。

【００９２】さらにキャパシタＣ０として図４０に示す
ようなＭＯＳ型容量素子を用いた場合、一方電極が半導
体基板８９０の表面に形成された高不純物ノードＮ⁺領
域８９１により形成され、この一方電極８９１上に絶縁
膜８９２を介して他方電極８９３が形成される。このよ
うな場合、一方電極８９１が高不純物濃度の拡散領域で
形成されるため、この拡散領域から半導体基板８９０へ
電荷がリークし、シナプス荷重値が時間経過とともに変
化することが避けられない。またこの構成においても基
板８９０の電位変動により不純物領域８９１の蓄積電荷
量が変動することも考えられ、この場合においてもシナ
プス荷重値を学習時に得られた値に長時間にわたって保
持することができなくなるという問題が生じる。

【００９３】すなわち、シナプス荷重値格納手段として
容量を用いた場合、学習等によってそれぞれの値に設定
されたシナプス荷重値を長時間にわたって保持すること
ができず、安定に動作する神経回路網を表現することが
できなくなるという問題が生じる。

【００９４】それゆえ、この発明の目的は、長時間にわ
たってシナプス荷重値を安定に保持することのできる神
経回路網表現装置を提供することである。

【００９５】この発明の他の目的は長時間にわたって安
定に動作する信頼性の高い学習機能付神経回路網表現装
置を提供することである。

【００９６】この発明のさらに他の目的は、簡単な構成
でかつ短い操作期間で効率的にシナプス荷重値をリフレ
ッシュすることのできる神経回路網表現装置を提供する
ことである。

【００９７】

【課題を解決するための手段】この発明に係る神経回路
網表現装置は、シナプス荷重値情報が完全に消失する前
に、残された記憶情報すなわち各シナプス荷重値格納容
量手段の蓄積電荷量そのものに基づいて各シナプス荷重
値格納回路の記憶情報をリフレッシュすることを特徴と
する。

【００９８】すなわち、請求項１記載の神経回路網表現
装置は、リフレッシュモード時には、神経回路網のニュ
ーロンユニットの出力に従って、シナプス荷重値格納回
路のシナプス荷重値情報をリフレッシュするリフレッシ
ュ制御手段を含む。

【００９９】請求項２記載の神経回路網表現装置は、請
求項１記載のリフレッシュ制御手段として、乱数発生器
と、リフレッシュ動作時にこの乱数発生器からの乱数パ
ターンに従ってシナプス荷重値情報の修正を行なう修正
制御手段とを含む。

【０１００】請求項３記載の神経回路網表現装置は、請
求項１記載の神経回路網表現装置に加えてさらに、想起
用入力パターンおよび教師パターンと乱数発生器からの
乱数パターンとの一方を選択して修正制御手段へ与える
選択手段を含む。

【０１０１】請求項４記載の神経回路網表現装置は、第
１の神経回路網ユニットと第２の神経回路網ユニットと
を含む。第１の神経回路網ユニットは外部から与えられ
る入力パターンに従って想起動作を行なう。第２の神経
回路網ユニットは、リフレッシュ時に第１の神経回路網
のニューロンユニットの出力に従って想起動作を行な
う。この神経回路網表現装置はさらに、第２の神経回路
網ユニットの出力に従って第１の神経回路網のシナプス
荷重値の修正の方向を制御する制御手段を含む。

【０１０２】請求項５記載の神経回路網表現装置は、請
求項４記載の制御手段として第２の神経回路網が出力す
べき出力パターンを予め格納する判別パターン記憶ユニ
ットと、判別パターン記憶ユニットの記憶する判別パタ
ーンと第２の神経回路網ユニットの出力パターンとの一
致／不一致を検出する検出手段と、この検出手段の出力
に従って第１の神経回路網ユニットのシナプス荷重値の
修正の方向を設定する設定手段とを含む。

【０１０３】請求項６記載の神経回路網表現装置は、請
求項４記載の第２の神経回路網ユニットがシナプス荷重
値情報をスタティックに記憶するシナプス荷重値格納手
段を備える構造を有する。

【０１０４】請求項７記載の神経回路網表現装置は、請
求項４記載の神経回路網表現装置において、第２の神経
回路網ユニットの各ニューロンユニットのしきい値を与
える基準電圧を振動させることを特徴とする。

【０１０５】請求項８記載の神経回路網表現装置は、請
求項４記載の神経回路網表現装置において、第２の神経
回路網ユニットが第１の神経回路網ユニットの学習時に
同時にその出力パターンを学習することを特徴とする。

【０１０６】請求項９記載の神経回路網表現装置は、リ
フレッシュ動作を各想起動作に続いて実行することを特
徴とする。

【０１０７】

【作用】請求項１記載の神経回路網表現装置において
は、ニューロンユニットの出力状態に従ってシナプス荷
重値のリフレッシュが実行されるため、薄れた記憶情報
が回復されて鮮明となり、外部から教師情報を新たに印
加して学習し直すまたは強制的にシナプス荷重値を設定
し直す必要がなく、長時間にわたって安定にシナプス荷
重値情報が保持される。

【０１０８】請求項２記載の神経回路網表現装置におい
ては、乱数パターンに従ってシナプス荷重値が修正され
る。神経回路網は状態空間内において与えられた乱数パ
ターンに最も近いエネルギ極小状態へ収束する。この収
束状態に従ってシナプス荷重値の修正が実行される。乱
数パターンはランダムに発生されるため、神経回路網表
現装置が記憶する状態を教師パターン等の外部データを
印加することなく確実にリフレッシュすることができ
る。

【０１０９】請求項３記載の神経回路網表現装置におい
ては、想起用入力パターンおよび教師パターンとリフレ
ッシュ用乱数パターンとの一方を選択するため、リフレ
ッシュ専用のシナプス荷重修正手段を新たに設ける必要
がない。

【０１１０】請求項４および５記載の神経回路網表現装
置においては、第２の神経回路網ユニットの出力に従っ
てシナプス荷重値の修正の方向が制御される。したがっ
て、第１の神経回路網ユニットが誤って局所的極小値に
収束してもその局所的極小値を与える状態の記憶の強化
を行なうような誤ったシナプス荷重値の修正の実行が防
止される。

【０１１１】請求項６記載の神経回路網表現装置におい
ては、第２の神経回路網ユニットがスタティックにシナ
プス荷重値情報を格納するため、第２の神経回路網ユニ
ットはリフレッシュ動作なしで安定に長時間にわたって
シナプス荷重値を格納し、これにより安定かつ確実に第
１の神経回路網ユニットの出力状態の判別を行なうこと
ができる。

【０１１２】請求項７記載の神経回路網表現装置におい
ては、しきい値が振動するため、第２の神経回路網ユニ
ットの出力に確率が導入され、第１の神経回路網ユニッ
トのシナプス荷重値の修正が確率的に実行され、この第
１の神経回路網ユニットの状態空間におけるポテンシャ
ル分布が正確に反映されたリフレッシュが実行される。

【０１１３】請求項８の神経回路網表現装置において
は、第２の神経回路網ユニットは第１の神経回路網ユニ
ットと同時に学習するので、特に第２の神経回路網ユニ
ットのためだけの学習期間を設ける必要がない。

【０１１４】請求項９記載の神経回路網表現装置では想
起動作に続いてリフレッシュが実行されるため、リフレ
ッシュ期間が表に現われず、装置の利用効率が改善され
る。

【０１１５】

【実施例】

（Ａ）実施例１この発明の第１の実施例について説明する前にまずこの
実施例が依拠する動作原理について説明する。

【０１１６】図１は神経回路網の状態に対するポテンシ
ャルエネルギーを模式的に示す図である。図１において
横軸は神経回路網の状態を示し、縦軸は神経回路網のと
るポテンシャルエネルギーを示す。神経回路網は複数個
のニューロンユニットを含んでおり、神経回路網の状態
はこの複数個のニューロンユニットの各状態の組により
表現される。図１においては、便宜上、神経回路網の状
態は一次元で示される。しかし神経回路網の状態間の距
離は、図１において一次元で表示された状態の距離とが
対応しているものと仮定する。

【０１１７】神経回路網が学習した後、学習した状態は
ポテンシャルエネルギーの極小値を与える。想起動作時
においては神経回路網は入力パターンに従ってこの入力
パターンから最も近いエネルギー極小値を与える状態へ
収束する。図１において曲線Ａは学習直後の神経回路網
のポテンシャルエネルギーを示す。状態ｑ１およびｑ２
はエネルギー極小値を与える状態を示しており、これは
神経回路網が記憶している状態である。

【０１１８】このポテンシャルエネルギーの谷が深けれ
ば深いほどその記憶も深いことを示す。一方、そのポテ
ンシャルエネルギーの谷が浅ければその記憶が浅いこと
を示す。

【０１１９】曲線Ｂは、学習後ある時間が経過したとき
の神経回路網のポテンシャルエネルギーを示す。時間経
過に伴ってシナプス荷重値情報格納用キャパシタから電
荷がリークしシナプス荷重値情報が変動する。この情報
は学習した情報の記憶が薄れた状態に対応し、曲線Ｂに
おいては状態ｑ１およびｑ２におけるポテンシャルエネ
ルギーの谷が浅くなる。まだポテンシャルエネルギーの
谷に残されているため、学習した情報を完全に忘却する
以前の状態を曲線Ｂは示す。

【０１２０】本発明においては、曲線Ｂに示すポテンシ
ャルエネルギープロファイルを有する薄れた記憶を基に
リフレッシュ動作を行なって曲線Ａのポテンシャルエネ
ルギープロファイルを復元し、これにより学習した情報
の記憶を回復する。すなわち、曲線Ｂで示すポテンシャ
ルエネルギーの状態において以下の操作が実行される。

【０１２１】（ａ）ランダムパターンを初期状態（たと
えば図１の点ｐ１またはｐ２）として神経回路網を起動
する。神経回路網はこの与えられたランダムパターンに
従って動作し、最も近い点ｑ１またはｑ２で示される最
も近い谷（エネルギーの極小値）を与える状態にその内
部状態が遷移して収束する。

【０１２２】（ｂ）この収束した状態においてその状態
を記憶すべき状態とする。記憶すべき状態においては、
関連のニューロンが共に発火状態にあるシナプスの荷重
値を一定量増加させる。この動作は記憶を深める動作で
あり、図１において矢印Ｃで示すように収束した状態
（点ｑ１またはｑ２）を中心にポテンシャルが深くなる
方向にポテンシャルエネルギーが変化する。

【０１２３】（ｃ）次に新たなランダムパターン（点ｒ
１、ｒ２またはｒ３）を神経回路網に設定する。この状
態はポテンシャルエネルギーの谷には何ら対応しておら
ず、記憶すべき状態ではないと判断する。この状態にお
いては、関連のニューロンが共に発火しているシナプス
の荷重値を一定量減少させる。この動作はいわゆる反学
習に対応し、その入力パターンの記憶が弱められる状態
に対応する。この状態では、矢印Ｄで示すようにその状
態（点ｒ１、ｒ２またはｒ３）を中心にポテンシャルエ
ネルギーが浅くなる方向に変化する。

【０１２４】上述の一連の操作（ａ）〜（ｃ）を繰返す
ことにより曲線Ｂで与えられるポテンシャルエネルギー
のプロファイルは曲線Ａで示されるポテンシャルエネル
ギープロファイルに近づく。図１においてはこのような
リフレッシュ動作時における中間状態を曲線Ｅで示す。

【０１２５】上述の操作（ａ）〜（ｃ）において、操作
（ａ）および（ｂ）を繰返した後に操作（ｃ）が繰返さ
れてもよい。また、操作（ａ）で設定したランダムパタ
ーンを用いて操作（ｃ）が実行されてもよい。この実施
例では後者の方法が用いられる。

【０１２６】いずれの操作シーケンスにおいても、ラン
ダムパターンを初期状態として神経回路網を起動し、収
束した状態において“強化学習”と類似の動作を行な
い、次いで新たなランダムパターンを記憶すべき状態で
ないとして“反学習”と類似の動作を実行する。この操
作を繰返せば、ランダムパターンであるため、ポテンシ
ャルエネルギーの谷が深くなるように制御される。ここ
で、記憶すべき状態におけるポテンシャルの谷がより深
くなるように、シナプス荷重値を一定量減少させる場合
その修正係数の値を大きくし、シナプス荷重値増加時と
シナプス荷重値の変化量が異なるように構成されてもよ
い。

【０１２７】次に、上述のリフレッシュ方式を実現する
具体的構成について説明する。図２は、この発明の第１
の実施例である神経回路網表現装置の構成を示す図であ
る。この神経回路網表現装置は学習機能を備えており、
図３１ないし図３４に示した神経回路網表現装置と実質
的に同様の構成を備える神経回路網表現ユニット５０１
を含む。

【０１２８】神経回路網表現ユニット５０１は、行列状
に配置されたシナプス表現ユニット７０１〜７０９と、
一列に配置されたニューロンユニット６０１〜６０３と
を含む。

【０１２９】シナプス表現ユニット７０１〜７０９は、
キャパシタにシナプス荷重値情報を格納する。キャパシ
タに格納されたシナプス荷重値情報はリフレッシュされ
る。このリフレッシュを必要とするシナプス表現ユニッ
トをダイナミック型シナプス表現ユニットと以下では称
し、図２においては符号Ｄ−ＳＹで示す。デジタルメモ
リなどのようなメモリにシナプス荷重値情報が記憶さ
れ、そのシナプス荷重値情報のリフレッシュを必要とし
ないシナプス表現ユニットは対照的にスタティック型シ
ナプス表現ユニットと以下では称す。

【０１３０】図２においては、１行に配置されたシナプ
ス表現ユニットがそれぞれ樹状突起信号線ＤＥ１〜ＤＥ
ｎを介して対応のニューロンユニットへ荷重化電流を伝
達する。図２においては、シナプス表現ユニット７０
１、７０２および７０３がニューロンユニット６０１へ
信号線ＤＥ１を介して荷重化電流を伝達する。シナプス
表現ユニット７０４、７０５、および７０５はニューロ
ンユニット６０２へ信号線ＤＥ２を介して荷重化電流を
伝達する。シナプス表現ユニット７０７、７０８および
７０９が信号線ＤＥ３を介して荷重化電流をニューロン
ユニット６０３へ伝達する。

【０１３１】一列に配置されたシナプス表現ユニットの
軸索信号入力端子へそれぞれニューロンユニットの出力
（状態信号）が伝達される。シナプス表現ユニット７０
１、７０４…７０７の軸索信号入力端子へニューロンユ
ニット６０３の出力信号が与えられる。一列に配置され
たシナプス表現ユニット７０２、７０５および７０８の
軸索信号入力端子へニューロンユニット６０２の出力信
号が与えられる。一列に配置されたシナプス表現ユニッ
ト７０３、７０６、７０９の軸索信号入力端子へニュー
ロンユニット６０１の出力信号が与えられる。

【０１３２】この図２に示す構成においては、１つのシ
ナプス表現ユニットは１つのニューロンユニットの出力
信号を受ける。この構成はフルコネクショニストのニュ
ーラルネットワークの構成を与える。シナプス荷重値が
対称な場合（Ｗｉｊ＝Ｗｊｉの場合）１つのシナプス表
現ユニットで２つのシナプス荷重を表現することができ
る。しかしながら図２においては、各ニューロンユニッ
トとシナプス表現ユニットとの接続関係を明確にするた
めに、１つのシナプス表現ユニットが１つのニューロン
ユニットの出力信号を受け、荷重化電流を対応のニュー
ロンユニットへ伝達する構成を示す。対称性が仮定され
ない一般の神経回路網であってもよい。

【０１３３】ニューロンユニット６０１、６０２および
６０３は、入力データＤａｔａｉｎを隣接ニューロンユ
ニットへシフトするとともに、外部から与えられる教師
データおよび属性データ（可視ニューロン、および隠れ
ニューロンを定義するデータ）を隣接ニューロンユニッ
トへ伝達することができる。各ニューロンユニット６０
１、６０２および６０３は制御信号ＩｓｅｌＳに従って
入力される属性データの転送およびラッチを行なう。ま
たニューロンユニット６０１、６０２および６０３は制
御信号ＩｓｅｌＯに従って教師データまたは自身の出力
信号のラッチおよび隣接ニューロンユニットへのシフト
を行なうことができる。このシフト動作はクロック信号
ＣＫに従って行なわれる。神経回路網が動作し収束した
状態においてはニューロンユニット６０１、６０２およ
び６０３の出力信号はその内部でラッチされ、クロック
信号ＣＫに従って順次出力データＤａｔａｏｕｔとして
出力される。

【０１３４】神経回路網表現ユニット５０１では制御信
号Ｔｓ、ＡＣＰ−およびＡＣＰ＋に従ってシナプス荷重
値の修正が実行される。

【０１３５】この神経回路網表現装置はさらに、神経回
路網表現ユニット５０１へ与える入力データを選択する
ための入力データ制御ユニット５０２を含む。入力デー
タ制御ユニット５０２は、乱数パターンを発生するため
の擬似乱数発生器５０３と、制御信号ＩｓｅｌＲに従っ
て外部から与えられる教師パターン（または想起用入力
パターン）と擬似乱数発生器５０３からの乱数パターン
の一方を選択して神経回路網表現ユニット５０１へ与え
るセレクタ５０４を含む。

【０１３６】図３は図２に示すシナプス表現ユニット７
０１〜７０９の構成を示す図である。図３においては、
シナプス表現ユニットを総称的に示すために符号ＤＳＹ
を用いる。シナプス表現ユニットＤＳＹは、２つのニュ
ーロンユニットの出力信号（状態信号）ＳｉおよびＳｊ
を受け、荷重化電流Ｗｊｉ・ＳｉおよびＷｊｉ・Ｓｊを
出力する。図３に示すシナプス表現ユニットＤＳＹは対
称なシナプス荷重を表現しており（Ｗｉｊ＝Ｗｊｉ）、
図２に示す行列状に配置されたシナプス表現ユニット７
０１〜７０９の配置において右上りの対角線について対
称な位置にある２つのシナプス表現ユニットを表現す
る。

【０１３７】この図３に示す表現ユニットＤＳＹは図３
２ないし図３４に示すシナプス表現回路と同様の構成を
備えており、シナプス荷重値格納回路１０１、シナプス
荷重修正回路１０３、シナプス結合表現回路１０５およ
び１０７、および学習制御回路１１１を含む。このシナ
プス結合表現回路１０５および１０７は、図３４に示す
シナプス結合表現回路と同様の構成を備えており、シナ
プス荷重値格納回路１０１に格納されたシナプス荷重値
情報に従って荷重化を行ない，信号Ｗｉｊ・Ｓｉおよび
Ｗｊｉ・Ｓｊをそれぞれ出力する。

【０１３８】シナプス荷重値格納回路１０１はキャパシ
タＣ１により構成され、このキャパシタＣ１の蓄積電荷
量によりシナプス荷重値を表現する。シナプス荷重修正
回路１０３はダイオードとチャージポンプ用キャパシタ
とを含み、図３４に示す回路と同様の構成を備える。こ
の回路１０１、１０３、１０５および１０７の構成およ
び動作は図３２ないし３５を参照して説明したものと同
様であり、その詳細説明は省略する。修正制御信号Ｉが
与えられるとこのシナプス荷重値格納回路１０１のシナ
プス荷重値が増加し、制御信号Ｄが与えられるとシナプ
ス荷重値が減少する。

【０１３９】学習制御回路１１１は、関連の２つのニュ
ーロンユニットの出力信号（状態信号）ＳｉおよびＳｊ
を受ける２入力ＮＡＮＤ回路Ｇ１００と、ＮＡＮＤ回路
Ｇ１００の出力を制御信号Ｔｓに応答してラッチするＤ
ラッチＧ１０１と、制御信号Ｔｓを受けるインバータ回
路Ｇ１０２とを含む。制御信号Ｔｓは学習モードのプラ
スフェーズ時においてのみ“Ｈ”から“Ｌ”へ立下がる
パルス信号であり、常時は“Ｈ”レベルに設定される。
ＤラッチＧ１０１は、信号Ｔｓの“Ｌ”に応答してスル
ー状態となり、かつ入力Ｄへ与えられるＮＡＮＤ回路Ｇ
１００の出力を制御信号Ｔｓの立上がりに応答してラッ
チしかつ出力Ｑから出力する。

【０１４０】学習制御回路１１１はさらに、ＤラッチＧ
１０１の出力とインバータ回路Ｇ１０２の出力とＮＡＮ
Ｄ回路Ｇ１００の出力とを受ける３入力ＮＯＲ回路Ｇ１
０３と、ＤラッチＧ１０１の出力とＮＯＲ回路Ｇ１０３
の出力と制御信号ＡＣＰ＋とを受ける３入力ＮＯＲ回路
Ｇ１０４と、ＮＯＲ回路Ｇ１０３の出力とＮＡＮＤ回路
Ｇ１００の出力と制御信号ＡＣＰ−とを受ける３入力Ｎ
ＯＲ回路Ｇ１０５を含む。制御信号ＡＣＰ＋およびＡＣ
Ｐ−はそれぞれプラスフェーズサイクルおよびマイナス
フェーズサイクルを示す制御信号である。この実施例に
おいては制御信号ＡＣＰ＋およびＡＣＰ−は共にプラス
フェーズ動作およびマイナスフェーズ動作が実行されて
シナプス荷重値を修正するときにのみ同時に“Ｈ”から
“Ｌ”へ立下げられる。この学習制御回路１１１の動作
について次に簡単に説明する。

【０１４１】プラスフェーズ動作時においては、可視ニ
ューロンの状態が教師データに固定されて神経回路網が
動作する。この神経回路網が収束したとき制御信号Ｔｓ
が所定期間“Ｈ”から“Ｌ”へ立下げられる。Ｄラッチ
Ｇ１０１はこの制御信号Ｔｓの立上がりに応答してＮＡ
ＮＤ回路Ｇ１００の出力をラッチし出力する。出力信号
（状態信号）ＳｉおよびＳｊが共に“Ｈ”であればＤラ
ッチＧ１０１には“Ｌ”の信号がラッチされる。出力信
号（状態信号）ＳｉおよびＳｊの少なくとも一方が
“Ｌ”にあればＤラッチＧ１０１には“Ｈ”の信号がラ
ッチされる。

【０１４２】続いてマイナスフェーズの動作が実行され
る。このマイナスフェーズの動作において神経回路網が
ある状態に収束したときに制御信号ＡＣＰ＋およびＡＣ
Ｐ−が共に“Ｈ”から“Ｌ”へ小さなパルス幅を有して
立下げられる。このとき制御信号Ｔｓは“Ｈ”にある。
マイナスフェーズ時において出力信号ＳｉおよびＳｊが
共に“Ｈ”にあればＮＡＮＤ回路Ｇ１００の出力は
“Ｌ”となる。ＮＯＲ回路Ｇ１０３〜Ｇ１０５はそれぞ
れ与えられた入力が全て“Ｌ”のときのみ“Ｈ”の信号
を出力する。制御信号ＩまたはＤが発生されるのは出力
信号ＳｉおよびＳｊが共に“Ｈ”の場合である。この信
号ＳｉおよびＳｊが共に“Ｈ”となりシナプス荷重値が
修正される場合は以下の３つの場合が存在する。

【０１４３】（ｉ）プラスフェーズおよびマイナスフェ
ーズ共に両信号ＳｉおよびＳｊが“Ｈ”のとき：この場
合ゲート回路Ｇ１０３はその３入力がすべて“Ｌ”とな
り“Ｈ”の信号を出力する。この状態においてはゲート
回路Ｇ１０４およびＧ１０５は共に“Ｌ”の信号を出力
する。したがってこの状態においては修正信号Ｉおよび
Ｄは発生されず、シナプス荷重値の修正は実行されな
い。

【０１４４】（ｉｉ）信号ＳｉおよびＳｊが共に“Ｈ”
となるのはプラスフェーズのみ：この場合、マイナスフ
ェーズ終了時点においてゲート回路Ｇ１００の出力は
“Ｈ”であり、ゲート回路Ｇ１０３，Ｇ１０５の出力は
“Ｌ”となる。したがって、ゲート回路Ｇ１０４からは
制御信号ＡＣＰ＋に従ってパルス状の修正制御信号Ｉが
発生され、シナプス荷重値が増加される。

【０１４５】（ｉｉｉ）信号ＳｉおよびＳｊが共に
“Ｈ”となるのはマイナスフェーズのみ：この場合、Ｄ
ラッチＧ１０１は“Ｈ”の信号をラッチかつ出力してお
り、ゲート回路Ｇ１０３およびＧ１０４の出力は“Ｌ”
となる。したがってこの場合においては、ゲート回路Ｇ
１０５から制御信号ＡＣＰ−に従った修正制御信号Ｄが
発生され、シナプス荷重値格納回路１０１に格納された
シナプス荷重値が減少される。

【０１４６】このシナプス荷重値の修正量は制御信号Ａ
ＣＰ＋およびＡＣＰ−のパルス幅（およびパルス数）に
より決定される。

【０１４７】上述の動作に従えば、図３３に示す学習制
御回路と同様の学習規則が実現され、いわゆるボルツマ
ンマシンの学習則の平均場近似、 ΔＷｉｊ＝η・（Ｓｉ⁺・Ｓｊ⁺−Ｓｉ^-・Ｓｊ^-）に従ってシナプス荷重値格納回路１０１に格納されたシ
ナプス荷重値が修正される。このシナプス荷重値の修正
量ΔＷｉｊは、学習係数ηにより決定される。この学習
係数ηの大きさは制御信号ＡＣＰ＋およびＡＣＰ−のパ
ルス数および／またはパルス幅により変化させることが
できる。

【０１４８】図４に、図２に示すニューロンユニットの
構成の一例を示す。図４においては、図２に示すニュー
ロンユニット６０１〜６０３を総称的に示すため符号Ｎ
Ｕが用いられる。図４においてニューロンユニットＮＵ
は、教師データをラッチおよびシフトするための第１の
シフトレジスタＳＲ（Ｔ）と、ニューロンユニットの属
性（可視ニューロンまたは隠れニューロン）を示すデー
タを格納する第２のシフトレジスタＳＲ（Ｐ）とを含
む。シフトレジスタＳＲ（Ｔ）およびＳＲ（Ｐ）へはそ
れぞれ別々の経路から教師データおよび属性データが与
えられる構成であってもよい。またこのシフトレジスタ
ＳＲ（Ｔ）およびＳＲ（Ｐ）のシフト動作を与えるクロ
ックが互いに独立なシフトクロック信号であり、教師デ
ータおよび属性データが同一の経路を介してそれぞれに
与えられる構成であってもよい。

【０１４９】ニューロンユニットＮＵはさらに、シフト
レジスタＳＲ（Ｐ）からの属性データと制御信号Ｉｓｅ
ｌＳとを受ける２入力ＮＯＲ回路ＧＮＲと、ＮＯＲ回路
ＧＮＲの出力に従ってシフトレジスタＳＲ（Ｔ）の格納
する教師データと比較器Ｃｏｍｐの出力の一方を選択す
るセレクタＳＥＬ１と、セレクタＳＥＬ１の出力をバッ
ファ処理して出力するインバータバッファＢと、制御信
号ＩｓｅｌＯに応答してシフトレジスタＳＲ（Ｔ）の格
納する教師データおよびインバータバッファＢの出力の
一方を選択するセレクタＳＥＬ２を含む。

【０１５０】シフトレジスタＳＲ（Ｐ）の格納する属性
データは隣接するニューロンユニットへシフトアウト動
作により伝達することができる。またセレクタＳＥＬ２
の出力は隣接するニューロンユニットの教師データ格納
用シフトレジスタＳＲ（Ｔ）へ伝達できる。このシフト
レジスタＳＲ（Ｔ）およびＳＲ（Ｐ）とセレクタＳＥＬ
２とを用いることにより、初期状態設定時において教師
データおよび属性データをニューロンユニットＮＵを順
次シフト動作により通過させて各ニューロンユニットを
所望の状態に設定することができる。またデータ読出時
においては、このセレクタＳＥＬ２の出力をシフトレジ
スタＳＲ（Ｔ）によりシフトアウトすることにより各ニ
ューロンユニットＮＵ（図２の６０１〜６０３）を通し
て各出力データが順次シフトアウトされる。

【０１５１】インバータバッファＢの出力はニューロン
ユニットＮＵの内部活性値により決定されるニューロン
の状態を示す信号であり、状態信号Ｓｉとして対応の軸
索信号線上へ伝達される。

【０１５２】比較器Ｃｏｍｐはその正入力に基準電圧Ｖ
ｒｅｆを受け、その負入力に樹状突起信号線ＤＥ上に伝
達された荷重化電流ΣＷｉｊ・Ｓｊをその負入力に受け
る。比較器Ｃｏｍｐの負入力には電流−電圧変換用の抵
抗ＲＬが設けられる。ここで総和Σは添字ｊについて行
なわれる。すなわち、比較器Ｃｏｍｐの負入力へは関連
のシナプス荷重表現回路からの荷重化電流が加算されて
伝達される。この比較器Ｃｏｍｐの負入力に接続される
樹状突起信号線はいわゆるキルヒホフアダーの機能を備
える。比較器Ｃｏｍｐはニューロンユニット本体の機能
を備え、図２９に示す模式図において変換部Ｂの機能を
備える。基準電圧Ｖｒｅｆはニューロンユニットのしき
い値の機能を備える。比較器Ｃｏｍｐはその負入力へ与
えられる総和電流Ｉｓと抵抗ＲＬとの積が基準電圧Ｖｒ
ｅｆよりも小さいときに“Ｈ”の信号を出力する。この
比較器Ｃｏｍｐの出力はセレクタＳＥＬ１およびインバ
ータバッファＢを介して反転されて対応の軸索信号線上
へ状態信号Ｓｉとして出力される。この比較器Ｃｏｍｐ
が差動増幅器として機能すれば、この比較器Ｃｏｍｐの
出力はニューロンの内部活性値に対応した状態を表わす
ことになる。ボルツマンマシンのシミュレーテッドアニ
ーリングは、基準電圧Ｖｒｅｆを減衰振動させることに
より擬似的に実現することができる（これについては後
に詳細に説明する）。

【０１５３】図５にニューロンユニットの属性とニュー
ロンの出力状態（出力信号Ｓｉ）との関係を表にして示
す。図５において信号の上に付された記号“バー”はそ
の信号の論理反転信号を示す。

【０１５４】ニューロンの属性はシフトレジスタＳＲ
（Ｐ）のデータにより設定される。ニューロンユニット
が隠れニューロンとして定義された場合には、シフトレ
ジスタＳＲ（Ｐ）には“Ｈ”の信号が格納される。ニュ
ーロンユニットが出力ニューロンまたは入力ニューロン
の可視ニューロンとして定義された場合にはシフトレジ
スタＳＲ（Ｐ）には“Ｌ”のデータが格納される。

【０１５５】隠れニューロンとして定義されたニューロ
ンユニットに対しては制御信号ＩｓｅｌＳの状態は任意
である。この場合、シフトレジスタＳＲ（Ｐ）からの
“Ｈ”の信号によりＮＯＲ回路ＧＮＲの出力が“Ｌ”と
なる。この状態においてはセレクタＳＥＬ１が比較器Ｃ
ｏｍｐの出力を選択してインバータバッファＢへ与え
る。したがって、隠れニューロンとして定義されたニュ
ーロンユニットからは状態信号Ｓｉとして比較器Ｃｏｍ
ｐの出力の反転信号／Ｃｏｍｐが出力される。

【０１５６】出力ニューロンとして定義されたニューロ
ンユニットにおいては、その想起動作時においては比較
器Ｃｏｍｐの出力に応じた状態信号Ｓｉを出力する必要
がある。学習モード時のプラスフェーズ時においては教
師データに対応するデータを状態信号Ｓｉとして出力す
る必要がある。したがって出力ニューロンとして定義さ
れたニューロンユニットにおいては想起動作または学習
フェーズがマイナスフェーズ時においては制御信号Ｉｓ
ｅｌＳが“Ｈ”に設定され、学習フェーズがプラスフェ
ーズの場合には制御信号ＩｓｅｌＳは“Ｌ”に設定され
る。制御信号ＩｓｅｌＳが“Ｈ”の場合、隠れニューロ
ンとして定義されたニューロンユニットの場合と同様セ
レクタＳＥＬ１は比較器Ｃｏｍｐの出力を選択してイン
バータバッファＢへ伝達する。制御信号ＩｓｅｌＳが
“Ｌ”に設定された場合には、セレクタＳＥＬ１はシフ
トレジスタＳＲ（Ｔ）の格納データを選択してインバー
タバッファＢへ与える。

【０１５７】入力ニューロンとして定義されたニューロ
ンユニットにおいては制御信号ＩｓｅｌＳは“Ｌ”に固
定される。この場合は、セレクタＳＥＬ１はシフトレジ
スタＳＲ（Ｔ）の格納データを選択してインバータバッ
ファＢへ与える。想起動作時においては教師データの代
わりに想起用入力データがシフトレジスタＳＲ（Ｔ）へ
与えられる。したがって入力ニューロンとして定義され
たニューロンユニットは常にこのシフトレジスタＳＲ
（Ｔ）に格納されたデータをインバータバッファＢへ与
える。

【０１５８】制御信号ＩｓｅｌＯはこのニューロンユニ
ットＮＵのシフトレジスタＳＲ（Ｔ）のシフト動作を制
御するために用いられる。制御信号ＩｓｅｌＯが“Ｌ”
となるとセレクタＳＥＬ２はインバータバッファＢの出
力を選択して隣接するニューロンユニットのシフトレジ
スタＳＲ（Ｔ）へ伝達する。制御信号ＩｓｅｌＯが
“Ｈ”の場合、セレクタＳＥＬ２はシフトレジスタＳＲ
（Ｔ）の格納データを選択して隣接するニューロンユニ
ットのシフトレジスタＳＲ（Ｔ）へ伝達する。

【０１５９】次に動作について簡単に説明する。ニュー
ロンユニットはシフトレジスタＳＲ（Ｐ）を介したシフ
トイン動作によりその属性が定義される。学習モードに
おいては教師データがセレクタＳＥＬ２を介したシフト
イン動作によりシフトレジスタＳＲ（Ｐ）に設定され
る。この状態で学習が実行される。プラスフェーズ時に
おいては出力ニューロンユニットおよび入力ニューロン
ユニットは制御信号ＩｓｅｌＳが“Ｌ”に設定される。
これによりニューロンユニットＮＵの状態信号Ｓｉはこ
のシフトレジスタＳＲ（Ｐ）に設定された教師データに
対応した値となる。隠れニューロンにおいてはセレクタ
ＳＥＬ１は比較器Ｃｏｍｐの出力を選択しており、その
内部活性値に対応した状態信号Ｓｉが出力される。

【０１６０】マイナスフェーズ時においては、制御信号
ＩｓｅｌＳは出力ニューロンユニットに対して“Ｈ”に
設定され、入力ニューロンユニットに対してはＩｓｅｌ
Ｓは“Ｌ”に設定される。この状態では、入力ユニット
のみがその出力状態が教師データに固定され、隠れニュ
ーロンユニットおよび出力ニューロンユニットは内部活
性値に対応する状態信号Ｓｉを出力する。

【０１６１】想起動作時においてはマイナスフェーズ時
と同様の信号の設定が行なわれる。これにより教師デー
タの代わりに与えられた想起用入力データに対応する内
部活性値が隠れニューロンおよび出力ニューロンユニッ
トから出力され、入力ニューロンユニットからはこの入
力パターンに対応する状態信号が出力される。

【０１６２】神経回路網が収束した後に各ニューロンユ
ニットの状態を読出すためには制御信号ＩｓｅｌＯが
“Ｌ”に設定されインバータバッファＢの出力が選択さ
れ隣接するニューロンユニットＮＵへ伝達される。これ
により各ニューロンユニットＮＵの状態が隣接するニュ
ーロンユニットのシフトレジスタＳＲ（Ｔ）内に設定さ
れる。続いて制御信号ＩｓｅｌＯを“Ｈ”に設定してク
ロック信号によりこのシフトレジスタＳＲ（Ｔ）の内容
をシフトアウトさせる。これにより神経回路網外部へ各
ニューロンユニットＮＵの状態信号を読出すことができ
る。

【０１６３】図６は図２に示す入力データ制御ユニット
５０２の具体的構成例を示す図である。図６において、
入力データ制御ユニット５０２は、１２段の縦続接続さ
れたシフトレジスタＳＲ１０、ＳＲ１２、…、ＳＲ３２
を含む。シフトレジスタＳＲ１０〜ＳＲ３２の各々は２
相のクロック信号Ｔ１およびＴ２に応答してシフト動作
を行なう。すなわちシフトレジスタＳＲ１０〜ＳＲ３２
の各々はクロック信号Ｔ１が与えられたときそのＤ入力
へ与えられた信号をラッチし、クロック信号Ｔ２に応答
してこのラッチしたデータをＱ出力から出力する。

【０１６４】入力データ制御ユニット５０２はさらに、
シフトレジスタＳＲ２４のＱ出力とシフトレジスタＳＲ
３２のＱ出力とを受ける２入力ＥｘＯＲ回路ＥＸ１と、
ＥｘＯＲ回路ＥＸ１の出力とシフトレジスタＳＲ１８の
出力とを受ける２入力ＥｘＯＲ回路ＥＸ２と、ＥｘＯＲ
回路ＥＸ２の出力とシフトレジスタＳＲ１０のＱ出力と
を受けるＥｘＯＲ回路ＥＸ３と、選択制御信号Ｉｓｅｌ
Ｒに応答してＥｘＯＲ回路ＥＸ３の出力と教師データ
（または想起用入力データ）の一方を選択するセレクタ
ＳＬＴを含む。セレクタＳＬＴの出力は初段のシフトレ
ジスタＳＲ１０へ与えられる。シフトレジスタＳＲ３２
から神経回路網表現ユニット５０１へ入力データＤａｔ
ａｉｎが出力される。次にこの入力データ制御ユニット
５０２の動作について説明する。

【０１６５】シフトレジスタＳＲ１０〜ＳＲ３２の各初
期データの設定時においては、セレクタＳＬＴを教師デ
ータ選択状態（Ｄ２入力選択状態）に設定する。セレク
タＳＬＴの選択状態は制御信号ＩｓｅｌＲにより決定さ
れる。教師データまたはその代わりに所望の入力データ
列を与え、クロック信号Ｔ１およびＴ２を発生する。こ
れにより、シフトレジスタＳＲ１０〜ＳＲ３２の各々に
初期データが設定される。セレクタＳＬＴがＤ２入力選
択状態に設定され続けかつクロック信号Ｔ１およびＴ２
が与えられれば、シフトレジスタＳＲ３２からは教師デ
ータが入力データＤａｔａｉｎとして神経回路網表現ユ
ニット１へ伝達される。この動作は、学習モード時にお
ける教師パターンのニューロンユニットＮＵへの設定時
に実行される。

【０１６６】シフトレジスタＳＲ１０〜ＳＲ３２の各々
へ初期データを設定した後、セレクタＳＬＴをＤ１入力
選択状態に設定する。この状態においては、セレクタＳ
ＬＴはＥｘＯＲ回路ＥＸ３の出力を選択してシフトレジ
スタＳＲ１０へ伝達する。

【０１６７】ＥｘＯＲ回路は、一般に、その両入力の論
理値が一致した場合には“Ｌ”の信号を出力し、不一致
の場合に“Ｈ”の信号を出力する。今シフトレジスタＳ
Ｒ１０〜ＳＲ３２に“Ｈ”のデータが設定された状態を
考える。このとき、ＥｘＯＲ回路ＥＸ１の出力は“Ｌ”
となり、応じてＥｘＯＲ回路ＥＸ２の出力は“Ｈ”とな
る。したがってＥｘＯＲ回路ＥＸ３の出力が“Ｌ”とな
り、シフトレジスタＳＲ１０へ“Ｌ”のデータが書込ま
れる。

【０１６８】次のクロックサイクルにおいては、シフト
レジスタＳＲ１０の出力が“Ｌ”となる。このときまだ
シフトレジスタＳＲ２４およびＳＲ３２の出力は“Ｈ”
であり、ＥｘＯＲ回路ＥＸ１の出力が“Ｌ”、ＥｘＯＲ
回路ＥＸ２の出力は“Ｈ”となる。この場合シフトレジ
スタＳＲ１０の出力が“Ｌ”であり、ＥｘＯＲ回路ＥＸ
２の出力が“Ｈ”であるため、ＥｘＯＲ回路ＥＸ３の出
力は“Ｈ”となる。以下この動作を繰返すことによりシ
フトレジスタＳＲ３２はこの初期データに応じて擬似乱
数列を発生する。この擬似乱数列はその初期状態時に設
定されたデータにより予め予測可能であるが、そのデー
タ系列においては何ら法則性が存在せず、このため擬似
乱数列と称される。この擬似乱数列はリフレッシュ動作
時においてランダムパターンとして神経回路網表現ユニ
ット５０１へ与えられる。

【０１６９】ここで、図２に示す入力データ制御ユニッ
ト５０２の機能ブロックの構成と図６に示す入力データ
制御ユニットの構成は１対１には対応していない。しか
しながら機能的には等価であり、この入力データ制御ユ
ニット５０２からは教師パターンまたは擬似乱数列が神
経回路網表現ユニット５０１へ与えられる。

【０１７０】教師パターンを選択して神経回路網表現ユ
ニット５０１へ与えた場合には、学習制御信号Ｔｓ、Ａ
ＣＰ＋、ＡＣＰ−およびＩｓｅｌＳに従って神経回路網
表現ユニット５０１が与えられた教師パターンを学習す
る。この教師パターンを代えてこの学習操作を繰返すこ
とにより神経回路網の学習パターンの記憶が深められ
る。すなわちポテンシャルエネルギーの谷が深くなる。

【０１７１】リフレッシュ動作においては擬似乱数発生
器５０３からの擬似乱数列が与えられる。この状態にお
いては、擬似乱数パターンを教師データとした学習が実
行され、シナプス荷重値が各ニューロンの出力状態に従
って修正され、記憶が回復される。

【０１７２】上述のように学習動作時におけるシナプス
荷重値修正用の回路とリフレッシュ時におけるシナプス
荷重値修正回路とを共用する構成とすることにより新た
に複雑な回路構成を付加することなく確実にシナプス荷
重値情報を容易かつ高速にリフレッシュすることができ
る。次に、この図２ないし図６に示す神経回路網表現装
置の動作についてその動作波形図である図７を参照して
説明する。

【０１７３】第１の実施例における神経回路網表現装置
は学習期間、情報保持期間（想起可能期間）およびリフ
レッシュ期間の３つの動作モードを備える。まず学習期
間の動作について説明する。

【０１７４】学習期間においては教師パターンデータの
入力、学習フェーズのプラスフェーズ、マイナスフェー
ズおよび荷重値修正が実行される。

【０１７５】教師データは、シフトレジスタ用クロック
信号ＣＫを与えながら、入力データ制御ユニット５０２
を介して神経回路網表現ユニット５０１へ教師パターン
を入力データＤａｔａｉｎとして与えることにより各ニ
ューロンユニットＮＵのシフトレジスタＳＲ（Ｔ）へセ
ットされる。この学習期間においてまだニューロンユニ
ットの属性が定義されていない場合にはまた属性データ
が同様にクロック信号ＣＫに従ってシフトレジスタＳＲ
（Ｐ）に設定されてもよい。教師データおよび属性デー
タがニューロンユニットＮＵに設定された後学習フェー
ズが実行される。

【０１７６】まずプラスフェーズが実行される。この状
態においては制御信号ＩｓｅｌＳが“Ｌ”に設定され
る。プラスフェーズにおいては、したがって図４に示す
ように可視ニューロンとして定義されたニューロンユニ
ットＮＵからは入力データおよび出力データとして与え
られた教師データに対応する状態信号Ｓｉが出力され
る。隠れニューロンとして定義されたニューロンユニッ
トからはその内部活性値に対応した状態信号Ｓｉが出力
される。この状態において神経回路網表現装置の状態が
収束するのを待つ。すなわち神経回路網表現ユニットの
内部状態が収束するのを待つ。この収束状態の判別は予
め設定した時間が経過したか否かにより判別される。こ
のプラスフェーズにおいて神経回路網の状態が平衡状態
に達したと判別されると制御信号Ｔｓを発生する。すな
わち制御信号Ｔｓとして負のパルス信号を発生する。こ
れによりシナプス表現回路のＤラッチＧ１０１（図３参
照）に状態信号の積（Ｓｉ・Ｓｊ）の反転信号が格納さ
れる。この状態によりプラスフェーズが終了する。

【０１７７】次にマイナスフェーズが実行される。この
状態においては制御信号ＩｓｅｌＳが“Ｈ”に設定され
る。この状態においては入力ニューロンとして定義され
たニューロンユニットのみが教師データに対応する状態
信号を発生し、隠れニューロンおよび出力ニューロンと
して定義されたニューロンユニットはその内部活性値に
対応した状態信号Ｓｉを出力する。神経回路網表現装置
が所定時間動作し、平衡状態に達したと判別されると、
この状態で制御信号ＡＣＰ＋およびＡＣＰ−が発生され
る。すなわち制御信号ＡＣＰ＋およびＡＣＰ−として負
のパルスが発生される。これにより、各シナプス表現回
路ＤＳＹにおいては、シナプス荷重値格納回路１０１に
格納されたシナプス荷重値が修正される。このときシナ
プス荷重値は前述のボルツマンマシンの学習則の平均場
近似に従って修正される。

【０１７８】この操作を各教師パターンごとに繰返すこ
とにより神経回路網表現装置はすべての教師パターンに
ついて記憶を深めることができる。教師パターンが出現
確率に従って与えられ、所定の学習が完了すると、この
神経回路網表現装置は保持期間へ入り、この期間におい
ては想起動作が可能となる。

【０１７９】保持期間（想起可能期間）においては、学
習制御信号ＡＣＰ＋、ＡＣＰ−、およびＴｓは共に
“Ｈ”に固定される。想起動作時においてのみ制御信号
ＩｓｅｌＳおよびＩｓｅｌＯが発生される。

【０１８０】想起用の入力パターンデータは、クロック
信号ＣＫに同期して先の教師パターンデータの設定時と
同様にして入力ニューロンとして定義されたニューロン
ユニットのシフトレジスタＳＲ（Ｔ）に設定される。

【０１８１】次に、制御信号ＩｓｅｌＳを“Ｌ”に所定
期間設定する。これにより可視ニューロンの初期状態は
想起用入力データパターンの状態に固定される。次いで
制御信号ＩｓｅｌＳを“Ｈ”に立上げる。この状態にお
いては入力ニューロンと定義されたニューロンユニット
のみがその出力状態（状態信号Ｓｉ）が想起用入力デー
タパターンに固定される。この状態において神経回路網
表現ユニットが平衡状態に到達するまで待つ。神経回路
網表現装置が平衡状態に達したと判定されると制御信号
ＩｓｅｌＯを“Ｌ”に立下げる。これによりニューロン
ユニットＮＵの出力状態（状態信号Ｓｉ）はセレクタＳ
ＥＬ２（図４参照）を介して隣接するニューロンユニッ
トへ伝達されそのシフトレジスタＳＲ（Ｔ）に格納され
る。次いでクロック信号ＣＫを与えることによりシフト
レジスタＳＲ（Ｔ）にラッチされたデータが順次シフト
アウトされる。

【０１８２】ここで、ニューロンユニットＮＵの出力状
態信号は隣接するニューロンユニットのシフトレジスタ
ＳＲ（Ｔ）にラッチされる。したがって、出力端子に最
も近いニューロンユニットから制御信号ＩｓｅｌＯに従
ってデータが出力される。このときこのニューロンユニ
ットに対し１段のシフトレジスタを設けておけば、クロ
ック信号ＣＫに従って順次ニューロンユニットの出力状
態信号をシフトアウトさせることができる。この想起の
実行は保持期間中であれば任意の時間に実行することが
でき、入力データパターンに対応して、既に学習した記
憶情報に基づいた想起動作が実行され、対応の出力デー
タパターンが出力される。

【０１８３】一定の保持期間が経過した後にこの発明に
従うリフレッシュ操作が実行される。このリフレッシュ
期間においては、まず入力データ制御ユニット５０２に
おいて教師パターンに代えて擬似乱数発生器５０３（図
２参照）から発生された擬似乱数列（ランダムパター
ン）が選択され神経回路網表現ユニット５０１へ与えら
れる。この状態では制御信号ＩｓｅｌＲが“Ｌ”に設定
され、図６に示すセレクタＳＬＴはＥｘＯＲ回路ＥＸ３
の出力選択状態に設定する。クロックＣＫに従って、先
の教師データパターンおよび入力データパターン設定時
と同様にしてこの擬似乱数列からなるランダムデータパ
ターンがニューロンユニットＮＵに設定される。

【０１８４】このランダムデータパターンの設定の後ま
ず制御信号ＩｓｅｌＳが“Ｌ”に設定される。この状態
で神経回路網表現ユニット５０１を動作させる。この状
態においては隠れニューロンとして定義されたニューロ
ンユニットＮＵの出力状態のみが変化する。これにより
神経回路網表現ユニット５０１の初期状態が設定され
る。所定時間が経過し、神経回路網表現ユニット５０１
が平衡状態に達したとき、制御信号ＩｓｅｌＳを“Ｈ”
に立上げる。この状態では入力ニューロンとして定義さ
れたニューロンユニットＮＵのみがその出力状態が固定
される。この状態で神経回路網表現ユニット５０１を動
作させる。所定時間が経過してこのユニット５０１が平
衡状態に達したとき、この神経回路網表現ユニット５０
１は記憶すべき状態に収束したと判定される（図１のポ
テンシャルエネルギーの谷を与える状態に収束したと判
定される）。このとき、制御信号ＡＣＰ＋として負のパ
ルス信号が与えられる。このとき制御信号Ｔｓは“Ｌ”
に立下げられており、ＤラッチＧ１０１（図３参照）は
ＮＡＮＤ回路Ｇ１００（図３参照）の出力を通過させる
状態となっている。したがって、この状態においては、
状態信号ＳｉおよびＳｊが共に“Ｈ”のシナプス表現ユ
ニットにおいてはそのシナプス荷重値の増加が行なわれ
る。この状態は、その記憶が深められた状態に対応し、
“銘記”状態と称される。

【０１８５】次いで制御信号ＩｓｅｌＳを“Ｈ”から
“Ｌ”に立下げてこの神経回路網表現ユニット５０１を
駆動する。この状態においては、その可視ニューロンの
出力状態は与えられたランダムデータパターンに対応し
ており、隠れニューロンの状態のみがこのランダムデー
タパターンに従って変化する。この状態においては神経
回路網表現ユニット５０１の状態が収束したとき、この
収束した状態は学習により記憶した状態と全く独立の状
態である（図１の点ｒ１、ｒ２またはｒ３に対応）。こ
の状態は記憶すべき状態ではない。この状態において
は、制御信号ＡＣＰ−が“Ｌ”に立下げられる。制御信
号Ｔｓは“Ｌ”に設定されている。したがってこの状態
においては銘記サイクル時と独立に状態信号Ｓｉおよび
Ｓｊが共に“Ｈ”であるシナプス表現ユニットにおいて
そのシナプス荷重値の低減が実行される。

【０１８６】上述の動作を様々なランダムパターンに対
して実行する。この一連のリフレッシュ動作の繰返しに
より、電荷リークにより浅くなったポテンシャルエネル
ギーの谷がさらに深くされ、学習により得た記憶が薄れ
たとしてもその薄れた記憶がその記憶情報に基づいて鮮
明にされる。

【０１８７】リフレッシュ期間が終了した後再び保持期
間に入り、想起動作が可能となる。再び保持期間が一定
時間経過した後にはリフレッシュ期間が実行される。こ
のリフレッシュ期間は定期的かつ周期的に設定される。

【０１８８】リフレッシュ期間の設定は、図示しない内
蔵のタイマにより、保持期間が一定期間経過した後にこ
の内蔵のタイマからのリフレッシュ指示信号によりリフ
レッシュ指示が発生され、必要な制御回路が駆動される
構成が用いられてもよい。

【０１８９】またこれに代えて外部に設けられた別の処
理装置（たとえば中央処理装置）から定期的にリフレッ
シュ指示が与えられてリフレッシュ動作が実行される構
成であってもよい。

【０１９０】上述のようにリフレッシュ期間において銘
記動作に対してはランダムデータパターンを想起用入力
パターンとして最も近いエネルギー極小値を与える状態
へ収束させてその記憶状態を強め、また忘却動作時にお
いては、可視ニューロンをランダムデータパターンに固
定し、その状態を記憶すべき状態ではないとして反学習
を行なうことにより、図１に示すポテンシャルエネルギ
ーの谷を十分に深くすることができる。

【０１９１】この場合、忘却動作時において制御信号Ａ
ＣＰ−のパルス印加回数を多くするまたはそのパルス幅
を十分広くし、忘却時においてはシナプス荷重値の修正
量を大きくすなわち学習係数ηを大きくする構成が用い
られてもよい。これにより、記憶すべき状態を与えるポ
テンシャルエネルギーの谷を十分に深くすることができ
る。

【０１９２】ここで、想起動作時およびリフレッシュ動
作において想起用入力パターンまたはランダムデータパ
ターンにより初期状態を設定しているが、これは、ポテ
ンシャルエネルギーにおいてこの与えられた入力データ
パターンまたはランダムデータパターンが与える状態に
最も近いポテンシャルエネルギーの谷をより高速で見つ
けるために実行される。

【０１９３】（Ｂ）実施例２上述の方法においては、乱数データのランダムパターン
を初期状態として神経回路網が収束した状態はすべて記
憶すべき状態（学習により記憶した状態）であると想定
している。しかし、一般的には、任意の初期状態から常
に、学習し記憶した状態へ遷移するとは限らない。記憶
すべき状態以外にもエネルギー極小点が存在する可能性
があるためである。したがって、上述の実施例１の操作
方法では、誤った記憶の鮮明化が行なわれる可能性があ
る。

【０１９４】そこで、神経回路網の収束した状態が記憶
すべき状態であるか否かの判断を行なうための機構を設
ける。この判断機構として第２の神経回路網を用いる。
第２の神経回路網は、長時間にわたって安定にシナプス
荷重値を保持することのできるリフレッシュ動作を必要
としないスタティック型シナプス表現回路を含む。

【０１９５】第２の神経回路網は第１の神経回路網の出
力に従って第１の神経回路網の収束した状態が記憶すべ
き状態であるか否かを判別する。この判別基準は、第２
の神経回路網が、第１の神経回路網の学習と同時にまた
は別のときに、与えられた入力データパターン（第１の
神経回路網のニューロンユニットの状態出力パターン）
が記憶すべき状態（教師パターン）に対応するか否かを
判別するように学習することにより設定される。

【０１９６】図８は、第２の神経回路網を判別機構とし
て用いた場合のリフレッシュ操作を示す図である。図８
（ａ）は、第１の神経回路網（想起、学習およびリフレ
ッシュが行なわれる回路網）の状態とポテンシャルエネ
ルギーとの関係を示す。図８（ａ）において、横軸は第
１の神経回路網の状態を示し、縦軸は各状態におけるポ
テンシャルエネルギーを示す。また曲線Ａは、第１の神
経回路網の学習直後の記憶状態に対応するポテンシャル
エネルギーを示す。曲線Ｂは、電荷のリークによりシナ
プス荷重値が変動した状態すなわち記憶が薄れた状態
（忘却が進んだ状態）のポテンシャルエネルギーを示
し、曲線Ｅはリフレッシュ操作により回復された状態に
対応するポテンシャルエネルギーを示す。

【０１９７】図８（ｂ）は、第２の神経回路網の入力状
態すなわち、第１の神経回路網の状態を示し、縦軸は第
２の神経回路網の出力を示す。この図８（ｂ）において
折れ線Ｆは第２の神経回路網の学習後における入出力特
性を表わし、“Ｈ”が記憶すべき状態を示し、“Ｌ”が
記憶すべきでない状態を示す。

【０１９８】図８（ａ）および（ｂ）においては第１の
神経回路網の状態と第２の神経回路網の入力状態とを位
置合わせして示している。この第２の神経回路網の出力
が“Ｈ”となる状態領域は第１の神経回路網のポテンシ
ャルエネルギーの谷の領域に対応する。この第２の神経
回路網の出力が“Ｈ”のときには第１の神経回路網の記
憶状態を強化し、そうでない場合にはその記憶を弱め
る。このため、以下の操作が実行される。

【０１９９】（ｉ）ランダムデータパターンを初期状態
として第１の神経回路網を起動する。第１の神経回路網
はこのランダムデータパターンに最も近いポテンシャル
エネルギーの谷を与える状態に収束する。

【０２００】（ｉｉ）第２の神経回路網は、第１の神経
回路網の状態出力を受け、第１の神経回路網の収束した
状態が記憶すべき状態か否かを判別する。

【０２０１】（ｉｉｉ）第２の神経回路網が“Ｈ”の信
号を出力し、記憶すべき状態であると判定した場合、第
１の神経回路網において関連のニューロンが共に発火し
ているシナプスのシナプス荷重値を増加させる。

【０２０２】一方、第２の神経回路網が“Ｌ”の信号を
出力し、記憶すべきでない状態と判定した場合、第１の
神経回路網において関連のニューロンが共に発火してい
るシナプスのシナプス荷重値を減少させる。

【０２０３】（ｉｖ）上記（ｉ）ないし（ｉｉｉ）の操
作を様々なランダムパターンに対して繰返し実行する。

【０２０４】このリフレッシュ方法に従えば、記憶すべ
きでない極小点が存在しても、正しい記憶のリフレッシ
ュが行なわれ、図８（ａ）の曲線Ａに近い形状を有する
曲線Ｅを復元することができる。以下にこの第２の神経
回路網を用いるリフレッシュ方式を実現するための構成
について説明する。

【０２０５】図９は、この発明の第２の実施例である神
経回路網表現装置の全体の構成を示す図である。図９に
おいて、神経回路網表現装置は、第１の神経回路網表現
ユニット５０１と、第１の神経回路網表現ユニット５０
１の出力の一部またはすべてを受ける第２の神経回路網
表現ユニット５０５と、リフレッシュ時には、第２の神
経回路網表現ユニット５０５の出力に従って、第１の神
経回路網表現ユニット５０１のリフレッシュ動作を制御
する制御ユニット５５０を含む。制御ユニット５５０
は、また、第１の神経回路網表現ユニット５０１の学習
動作および想起動作をも制御する。

【０２０６】制御ユニット５５０は、第１の神経回路網
表現ユニット５０１へ与えられるデータを選択するため
の入力データ制御ユニット５０２を含む。入力データ制
御ユニット５０２は図２に示すユニット５０２と同様の
構成を備え、乱数発生器５０３およびセレクタ５０４を
含む。入力データ制御ユニット５０２の構成および動作
は図２および図６を参照して説明したものと同様であ
り、その詳細説明は省略する。

【０２０７】制御ユニット５５０は、さらに、第１の神
経回路網表現ユニット５０１のリフレッシュ動作を制御
するためのサブ制御ユニット５５１を含む。サブ制御ユ
ニット５５１は、第２の神経回路網表現ユニット５０５
の出力パターン（第２の神経回路網表現ユニット５０５
のための教師パターン）を格納する判別パターン格納回
路５０７と、判別パターン格納回路５０７の格納するデ
ータパターンと第２の神経回路網表現ユニット５０５の
出力データパターンとの一致を検出するための一致検出
回路５０６と、制御信号／ＡＣＰおよびＭＯＤＥと一致
検出回路５０６の出力信号とに応答して学習制御信号Ａ
ＣＰ＋およびＡＣＰ−を発生するリフレッシュ制御回路
５０９を含む。

【０２０８】制御信号ＭＯＤＥはモード切換信号であ
り、学習動作モードまたはリフレッシュ動作モードを指
定する。制御信号／ＡＣＰは学習制御信号ＡＣＰ＋およ
びＡＣＰ−の基準信号であり、シナプス荷重値の増減動
作に応じてこの学習制御信号ＡＣＰ＋またはＡＣＰ−が
制御信号／ＡＣＰに応答して発生される。

【０２０９】制御ユニット５０７は、さらに、制御信号
Ｔｓとリフレッシュ制御ユニット５０９の出力信号を受
けて、制御信号Ｔｓ、ＡＣＰ−およびＡＣＰ＋を発生す
るバッファ回路５５５を含む。

【０２１０】図１０は、図９に示す一致検出回路５０６
の構成例を示す図である。図１０においては、第２の神
経回路網表現ユニット５０５がｎ個の出力ニューロンを
有する場合の構成が示される。図１０を参照して、一致
検出回路５０６は、ｎ個のＥｘＯＲ回路ＥＸＲ１〜ＥＸ
Ｒｎと、ＥｘＯＲ回路ＥＸＲ１〜ＥＸＲｎの出力を並列
に受けるＮＯＲ回路ＮＲＧを含む。ＥｘＯＲ回路ＥＸＲ
１〜ＥＸＲｎの各々は、判別パターン格納回路５０７か
らの判別パターンの対応のビットＴｍと第２の神経回路
網表現ユニット５０５の出力パターンの対応のビットＯ
ｍとを受ける。ただし、ｍは１〜ｎのうちの整数であ
る。

【０２１１】ＥｘＯＲ回路は、受けた入力信号の論理レ
ベルが同じときに“Ｌ”の信号を出力する。ＮＯＲ回路
は与えられた入力信号がすべて“Ｌ”のとき“Ｈ”の信
号を出力する。したがって、図１０に示す構成において
は、データビットＴ１〜Ｔｎにより構成される判別パタ
ーンとビットＯ１〜Ｏｎにより構成される出力パターン
とが一致したときに一致検出信号Ｍａは“Ｈ”となる。

【０２１２】判別パターン格納回路５０７に格納された
判別パターンは１個であってもよく複数個であってもよ
い。判別パターンが複数個存在する場合、この一致検出
回路５０６へ判別パターンが順次与えられる。判別パタ
ーンのそれぞれに対する一致検出回路の出力Ｍａがシフ
トレジスタ構成のラッチに格納される。このシフトレジ
スタラッチにラッチされた信号Ｍａの論理和ＯＲをとる
ことにより最終的な一致検出信号Ｍａが発生される。第
２の神経回路網表現ユニット５０５はこの判別パターン
格納回路５０７に格納された判別パターンを教師パター
ンとして学習する（これについては後述する）。

【０２１３】図１１は、図９に示すリフレッシュ制御回
路５０９の構成の一例を示す図である。図１１を参照し
て、リフレッシュ制御回路５０９は、モード切換信号Ｍ
ＯＤＥと一致検出信号Ｍａとを受ける２入力ＮＡＮＤ回
路ＮＤ１０と、一致検出信号Ｍａを反転するインバータ
回路ＧＩと、モード切換信号ＭＯＤＥとインバータ回路
ＧＩの出力とを受ける２入力ＮＡＮＤ回路ＮＤ１２と、
学習制御信号／ＡＣＰとＮＡＮＤ回路ＮＤ１２の出力と
を受ける２入力ＮＡＮＤ回路ＮＤ１４と、学習制御信号
／ＡＣＰとＮＡＮＤ回路ＮＤ１０の出力とを受ける２入
力ＮＡＮＤ回路ＮＤ１１とを含む。ＮＡＮＤ回路ＮＤ１
４からシナプス荷重値を増加させるための学習制御信号
ＡＣＰ＋が発生される。ＮＡＮＤ回路ＮＤ１６からシナ
プス荷重値を減少させるための学習制御信号ＡＣＰ−が
発生される。

【０２１４】バッファ回路５５５は、制御信号Ｔｓを受
けるバッファＢＵ２と、ＮＡＮＤ回路ＮＤ１６の出力を
受けるバッファＢＵ４と、ＮＡＮＤ回路ＮＤ１４の出力
を受けるバッファＢＵ６とを含む。次に図１１を参照し
て、このリフレッシュ制御回路の動作について説明す
る。

【０２１５】学習期間および想起期間はモード切換信号
ＭＯＤＥは“Ｌ”に設定される。したがって、ＮＡＮＤ
回路ＮＤ１０およびＮＤ１２からは一致検出信号Ｍａの
論理レベルにかかわらず“Ｈ”の信号が出力される。こ
れによりＮＡＮＤ回路ＮＤ１４およびＮＤ１６はインバ
ータ回路として機能し、学習制御信号／ＡＣＰに応答し
て学習制御信号ＡＣＰ＋およびＡＣＰ−が発生される。
学習制御信号／ＡＣＰは学習期間においてのみ発生され
る。したがってこの学習期間においては制御信号ＡＣＰ
＋およびＡＣＰ−に従ってシナプス荷重値の修正が行な
われる。

【０２１６】リフレッシュ期間においてはモード切換信
号ＭＯＤＥは“Ｈ”に設定される。ＮＡＮＤ回路ＮＤ１
０およびＮＤ１２はインバータ回路として機能する。一
致検出信号Ｍａが“Ｈ”の場合、ＮＡＮＤ回路ＮＤ１０
の出力は“Ｌ”、ＮＡＮＤ回路ＮＤ１２の出力は“Ｈ”
となる。この状態においては、ＮＡＮＤ回路ＮＤ１６の
出力は“Ｈ”となるが、ＮＡＮＤ回路ＮＤ１４はインバ
ータとして機能し、学習制御信号／ＡＣＰを反転した信
号を出力する。

【０２１７】したがって、第２の神経回路網表現ユニッ
ト５０５が、第１の神経回路網表現ユニット５０１の収
束状態を記憶すべき状態であると判定したときには、学
習制御信号ＡＣＰ＋が発生され、その第１の神経回路網
表現ユニットの記憶が強化される。

【０２１８】一致検出信号Ｍａが“Ｌ”のとき、逆に、
ＮＡＮＤ回路ＮＤ１０の出力が“Ｈ”、ＮＡＮＤ回路Ｎ
Ｄ１２の出力が“Ｌ”となる。この状態では、ＮＡＮＤ
回路ＮＤ１４の出力は“Ｈ”となり、一方、ＮＡＮＤ回
路ＮＤ１６がインバータとして機能して学習制御信号／
ＡＣＰに応答して制御信号ＡＣＰ−を発生する。

【０２１９】すなわち、第２の神経回路網表現ユニット
５０５が、第１の神経回路網表現ユニット５０１の収束
状態を記憶すべき状態ではないと判定した場合には、学
習制御信号ＡＣＰ−のみが発生され、第１の神経回路網
表現ユニット５０１の収束状態の記憶が弱められる。

【０２２０】次に、第１および第２の神経回路網表現ユ
ニット５０１および５０５の構成および動作について説
明する。

【０２２１】図１２に、第１の神経回路網表現ユニット
５０１の構成を示す。図１２に示すように、第１の神経
回路網表現ユニット５０１は図２に示す神経回路網表現
ユニットと同様の構成を備えており、キャパシタにシナ
プス荷重値情報を格納するアナログストレージ方式のシ
ナプス表現回路ＤＳＹのマトリクスと、一列に配置され
たニューロンユニットＮＵとを含む。シナプス表現回路
ＤＳＹおよびニューロンユニットＮＵの構成および動作
は図２ないし図５を参照して説明したものと同様であ
り、その説明は省略する。

【０２２２】図１３に第２の神経回路網表現ユニット５
０５の構成の一例を示す。第２の神経回路網表現ユニッ
ト５０５は３層構造を備え、中間層（隠れ層）を構成す
るニューロンユニット１８０１、１８０２、…、１８０
３と、出力層を構成するニューロンユニット１９０１、
…、１９０２とを含む。この第２の神経回路網の入力層
は第１の神経回路網表現ユニットの各ニューロンユニッ
トで構成する。特に、第１の神経回路網表現ユニット５
０１のすべてのニューロンユニットを第２の神経回路網
表現ユニットの入力層とする必要はない。

【０２２３】入力層と中間層のニューロンユニット１８
０１〜１８０３との間にシナプス表現回路１００１、１
００２、…、１００９が設けられる。中間層のニューロ
ンユニット１８０１〜１８０３と出力層のニューロンユ
ニット１９０１、…、１９０２との間にシナプス表現回
路１１０１、１１０２、…、１１０６が設けられる。

【０２２４】図１３において１行に配置されたシナプス
表現回路（ＳＳＹ）へは第１の神経回路網表現ユニット
５０１の対応のニューロンユニットの出力信号（状態信
号）が伝達される。ここで、図１３においては第１の神
経回路網表現ユニット５０１のすべてのニューロンユニ
ットの状態信号を入力信号として受ける場合の構成が示
される。一列に配置されたシナプス表現回路からの出力
信号は対応の中間層のニューロンユニットへ与えられ
る。ここで、図１３において第２の神経回路網表現ユニ
ット５０５に含まれるシナプス表現回路は、そのシナプ
ス荷重値情報を長時間安定に記憶するため、シナプス荷
重値情報をデジタル情報として記憶しており、キャパシ
タを用いていない。このためこの第２の神経回路網表現
ユニット５０５に含まれるシナプス表現回路はリフレッ
シュ動作を必要としないため、スタティック型シナプス
表現回路として示され、符号ＳＳＹを用いて表わす。

【０２２５】この第２の神経回路網表現ユニット５０５
は、シナプス表現回路１００１〜１１０６によりバック
プロパゲーションと呼ばれる学習則に沿った学習を実現
する。次にこの第２の神経回路網表現ユニット５０５の
各構成要素の構成および動作について説明する。

【０２２６】シナプス表現回路ＳＳＹには２種類存在す
る。すなわち入力層と中間層との結合を表現するための
第１種のシナプス表現回路１００１〜１００９と、中間
層と出力層との結合を表現する第２種のシナプス表現回
路１１０１〜１１０６である。

【０２２７】図１４は入力層と中間層との間の結合を表
現するシナプス表現回路１００１〜１００９の構成を示
す。図１４においては、第１種のシナプス表現回路を符
号ＳＳＹ１で示す。第１種のシナプス表現回路ＳＳＹ１
は、シナプス荷重値情報を格納するシナプス荷重値格納
回路１７０１と、シナプス荷重値格納回路１７０１が格
納するシナプス荷重値を修正するための学習制御回路１
７０３と、状態信号Ｓｉとシナプス荷重値格納回路１７
０１の格納するシナプス荷重Ｗｊｉとの積を示す荷重化
電流Ｉｏを出力するシナプス結合回路１７０２を含む。

【０２２８】シナプス荷重値格納回路１７０１はその初
期データをシフト動作することが可能であり、隣接する
シナプス表現回路からシナプス荷重値情報Ｉを受けてか
つ隣接する別のシナプス表現回路へシナプス荷重値情報
Ｏとして出力することができる。これにより各シナプス
表現回路１７０１の初期値を外部から設定することがで
きる。

【０２２９】図１５にシナプス荷重値格納回路１７０１
の外観の一例を示す。図１５においては、シナプス荷重
値情報が４ビットで表現される場合が示される。シナプ
ス荷重値格納回路１７０１は、隣接のシナプス荷重値格
納回路からのシナプス荷重値情報Ｉ１，／Ｉ１〜Ｉ４，
／Ｉ４を並列に受けかつ隣接する別のシナプス荷重値格
納回路へそのシナプス荷重値を端子Ｏ１，／Ｏ１〜Ｏ
４，／Ｏ４を介して並列にシフトアウトすることができ
る。またシナプス荷重値格納回路１７０１は、プリセッ
ト信号Ｐｒｓに応答してその記憶データがリセットされ
る。さらにシナプス荷重値格納回路１７０１は、学習制
御回路１７０３からのイネーブル信号Ｅｎａｂｌｅに応
答してカウント動作が起動されて学習制御回路１７０３
からのカウントアップ／カウントダウン指示信号Ｕｐ／
Ｄｏｗｎに応答してクロック端子ＣＫへ与えられるクロ
ック信号数をカウントアップまたはカウントダウンす
る。

【０２３０】シナプス荷重値格納回路１７０１は、選択
制御信号Ｓ３に応答して入力端子Ｉ１，／Ｉ１〜Ｉ４，
／Ｉ４ｂ与えられた信号をラッチおよびシフトアウトを
行なうかまたは学習制御回路１７０３からの制御信号Ｅ
ｎａｂｌｅおよびＵｐ／Ｄｏｗｎに応じたカウント動作
を行なうかが設定される。シナプス荷重値格納回路１７
０１へ与えられる信号ｂｉｔＷｋｊはシナプス荷重値の
桁を示す信号であり、シナプス荷重値Ｗｊｉの何桁目の
信号であるかを示す。このビット信号ｂｉｔＷｋｊに応
答してクロック信号ＣＫＳがクロック端子ＣＫへ与えら
れ、このシナプス荷重値格納回路１７０１におけるカウ
ント値の増減が調整される。すなわちたとえばビット信
号ｂｉｔＷｋｊが０桁目を示している場合にはクロック
信号ＣＫＳは１の割合で与えられ、ビット信号ｂｉｔＷ
ｋｊが１桁目を示している場合には２の割合でクロック
信号ＣＫＳが与えられる。この構成は、ビット信号ｂｉ
ｔＷｋｊがそれが表現する桁数に応じてパルス幅が異な
らされ、これに応じてクロック信号ＣＫＳを通過させる
数が調整されてもよい。このビット信号ｂｉｔＷｋｊを
用いる構成は後に詳細に説明するようにこの第２の神経
回路網表現ユニット５０５がフィードフォワード型の構
成を備えており、バックプロパゲーションの学習を実現
するためである。

【０２３１】図１６は図１５に示すシナプス荷重値格納
回路の構成する４ビットアップ／ダウンカウンタの具体
的構成を示す。図１６において、シナプス荷重値格納回
路１７０１は、４ビットのシナプス荷重値情報を格納す
るためのＪＫフリップフロップＪＦ１〜ＪＦ４と、ＪＫ
フリップフロップＪＦ１〜ＪＦ４に対し入力データを与
えるためのセレクタＳＬ１ａ，ＳＬ１ｂ〜ＳＬ４ａ，Ｓ
Ｌ４ｂを含む。セレクタＳＬ１ａおよびＳＬ１ｂは、外
部からの設定データＩ１，／Ｉ１とカウントアップ／カ
ウントダウンの一方を選択してＪＫフリップフロップＪ
Ｆ１のＪおよびＫ入力へ与える。セレクタＳＬ２ａ，Ｓ
Ｌ２ｂはＪＫフリップフロップＪＦ２のＪおよびＫ入力
へ外部からのデータＩ２，／Ｉ２またはカウントアップ
／カウントダウン信号の一方を与える。セレクタＳＬ３
ａ，ＳＬ３ｂは、初期設定データビットＩ３，／Ｉ３と
カウントアップ／カウントダウン信号の一方をＪＫフリ
ップフロップＪＦ３のＪおよびＫ入力へそれぞれ与え
る。セレクタＳＬ４ａ，ＳＬ４ｂは初期設定データビッ
トＩ４，／Ｉ４とカウントアップ／カウントダウン信号
の一方をＪＫフリップフロップＪＦ４のＪおよびＫ入力
へ与える。ここで、カウントアップ／カウントダウン信
号は、このシナプス荷重値格納回路動作時におけるカウ
ント動作により生じたカウントデータビットを示す。

【０２３２】シナプス荷重値格納回路１７０１はさらに
イネーブル信号Ｅｎａｂｌｅを受けるインバータ回路Ｇ
Ａ１と、ゲート回路ＧＡ４およびＧＡ５の出力を受ける
ＮＯＲ回路ＧＡ２と、ＪＫフリップフロップＪＦ１〜Ｊ
Ｆ４のＱ出力を受けるＮＯＲ回路ＧＡ１５と、ＪＫフリ
ップフロップＪＦ１〜ＪＦ４の／Ｑ出力を受けるＮＡＮ
Ｄ回路ＧＡ１６とアップ／ダウン指示信号Ｕｐ／Ｄｏｗ
ｎを受けるインバータ回路ＧＡ３と、インバータ回路Ｇ
Ａ３の出力とＮＡＮＤ回路ＧＡ１５の出力を受けるＮＯ
Ｒ回路ＧＡ４と、アップ／ダウン指示信号Ｕｐ／Ｄｏｗ
ｎとＮＡＮＤ回路ＧＡ１６の出力を受けるＮＯＲ回路Ｇ
Ａ５を含む。ＮＯＲ回路ＧＡ２の出力はセレクタＳＬ１
ａおよびＳＬ１ｂへ与えられる。

【０２３３】フリップフロップＪＦ２に対しては、ＮＯ
Ｒ回路ＧＡ２の出力とＪＫフリップフロップＪＦ１の／
Ｑ出力とインバータ回路ＧＡ３の出力を受けるＡＮＤ回
路ＧＡ６と、ＪＫフリップフロップＪＦ１のＱ出力とＮ
ＯＲ回路ＧＡ２の出力とアップ／ダウン指示信号Ｕｐ／
Ｄｏｗｎを受けるＡＮＤ回路ＧＡ７とＡＮＤ回路ＧＡ６
およびＧＡ７の出力を受けるＯＲ回路ＧＡ８を含む。Ｏ
Ｒ回路ＧＡ８の出力はセレクタＳＬ２ａおよびＳＬ２ｂ
へ与えられる。

【０２３４】フリップフロップＪＦ３に対しては、ＪＫ
フリップフロップＪＦ１およびＪＦ２の／Ｑ出力とＮＯ
Ｒ回路ＧＡ２の出力とインバータ回路ＧＡ３の出力を受
けるＡＮＤ回路ＧＡ９と、フリップフロップＪＦ１およ
びＪＦ２のＱ出力とＮＯＲ回路ＧＡ２の出力とアップ／
ダウン指示信号Ｕｐ／Ｄｏｗｎを受けるＡＮＤ回路ＧＡ
１０と、ＡＮＤ回路ＧＡ９およびＧＡ１０の出力を受け
るＯＲ回路ＧＡ１１とが設けられる。ＯＲ回路ＧＡ１１
の出力はセレクタＳＬ３ａおよびＳＬ３ｂへ与えられ
る。

【０２３５】フリップフロップＪＦ４に対しては、フリ
ップフロップＪＦ１、ＪＦ２およびＪＦ３の／Ｑ出力と
ＮＯＲ回路ＧＡ２の出力とインバータ回路ＧＡ３の出力
を受けるＡＮＤ回路ＧＡ１２と、フリップフロップＪＦ
１〜ＪＦ３のＱ出力とＮＯＲ回路ＧＡ２の出力とアップ
／ダウン指示信号Ｕｐ／Ｄｏｗｎを受けるＡＮＤ回路Ｇ
Ａ１３と、ＡＮＤ回路ＧＡ１２およびＧＡ１３の出力を
受けるＯＲ回路ＧＡ１４を含む。ＯＲ回路ＧＡ１４の出
力はセレクタＳＬ４ａおよびＳＬ４ｂへ与えられる。次
に動作について簡単に説明する。

【０２３６】ＪＫフリップフロップは、一般に、クロッ
ク信号ＣＫが与えられたときにそのＪおよびＫ入力へ与
えられていた信号をＱおよび／Ｑ出力から出力する。し
たがって、セレクタＳＬ１ａ，ＳＬ１ｂ〜ＳＬ４ａ，Ｓ
Ｌ４ｂが外部からの初期設定データＩ１，／Ｉ１〜Ｉ
４，／Ｉ４を選択している場合にはクロック信号ＣＫに
従ってフリップフロップＪＦ１〜ＪＦ４からはこのセレ
クタで選択された外部設定データＩ１，／Ｉ１〜Ｉ４，
／Ｉ４が出力データＯ１，／Ｏ１〜Ｏ４，／Ｏ４として
隣接するシナプス荷重値格納回路へ並列に出力される。

【０２３７】ＪＫフリップフロップはそのＪおよびＫ入
力が共に０（“Ｌ”）の場合にはクロック信号が与えら
れてもその出力状態は反転せず、またそのＪおよびＫ入
力が共に１（“Ｈ”）の場合にはクロック信号の到来に
従ってその出力状態が反転する。

【０２３８】このシナプス荷重値格納回路１７０１がカ
ウント動作を実行するか、外部設定データをシフトイン
／シフトアウトするかは制御信号Ｓ３により決定され
る。初期状態時においてはリセット信号Ｐｒｓに従って
初期状態が設定されるが、フリップフロップＪＦ４はこ
のリセット信号Ｐｒｓをクリア入力／ＣＬＲに受け、フ
リップフロップＪＦ１〜ＪＦ３はこのリセット信号Ｐｒ
ｓをプリセット入力／ＰＬＲＳに受ける。フリップフロ
ップＪＦ４の出力が最上位ビット、フリップフロップＪ
Ｆ１の出力が最下位ビットを与える。

【０２３９】このシナプス荷重値格納回路１７０１のカ
ウントアップ／カウントダウン動作時においてイネーブ
ル信号Ｅｎａｂｌｅが発生される。シナプス荷重値格納
回路１７０１のカウント値が最大値または最小値となる
まではＮＡＮＤ回路ＧＡ１５およびＧＡ１６の出力が共
に“Ｈ”である。この場合には、ゲート回路ＧＡ４およ
びＧＡ５の出力が共に“Ｌ”である。イネーブル信号Ｅ
ｎａｂｌｅが発生され“Ｈ”となると、ＮＯＲ回路ＧＡ
２の出力は“Ｈ”となる。これにより、フリップフロッ
プＪＦ１のＪおよびＫ入力は共に“Ｈ”となり、クロッ
クＣＫに従ってその出力状態を反転させる。この状態は
上位ビット側のフリップフロップＪＦ２〜ＪＦ４へ伝達
され、アップ／ダウン指示信号Ｕｐ／Ｄｏｗｎが示す動
作モードに従ってカウントアップまたはカウントダウン
が実行される。すなわち、カウントアップ／ダウン指示
信号Ｕｐ／Ｄｏｗｎが“Ｈ”にあり、カウントアップ動
作を示している場合には、たとえばＡＮＤ回路ＧＡ７の
出力は、フリップフロップＪＦ１のＱ出力が“Ｈ”であ
れば“Ｈ”となり、応じてフリップフロップＪＦ２はク
ロック信号ＣＫに応じてその出力状態を反転させる。こ
れにより、各フリップフロップＪＦ３およびＪＦ４がそ
れぞれクロック信号ＣＫに応答してその出力状態を反転
させカウントアップ動作が実行される。

【０２４０】カウントアップ／カウントダウン指示信号
Ｕｐ／Ｄｏｗｎが“Ｌ”にある状態においては、たとえ
ばＡＮＤ回路ＧＡ６がフリップフロップＪＦ１の／Ｑ出
力の“Ｈ”出力に応答して“Ｈ”の信号を出力する。し
たがってこの状態ではＯＲ回路ＧＡ８の出力が“Ｈ”と
なり、フリップフロップＪＦ２の出力状態はクロック信
号ＣＫに応答して反転する。フリップフロップＪＦ３は
このＪＦ１およびＪＦ２の／Ｑ出力が共に“Ｈ”となっ
たときにその出力状態がクロック信号ＣＫに応じて反転
する。これにより、カウントダウン動作が実行される。

【０２４１】カウント値がカウント最大値（“１１１
１”または“００００”）に達した場合、ＮＡＮＤ回路
ＧＡ１５またはＮＡＮＤ回路ＧＡ１６の一方の出力が
“Ｌ”となる。この状態においては、ＮＯＲ回路ＧＡ４
またはＮＯＲ回路ＧＡ５の出力が“Ｌ”となり、ＮＯＲ
回路ＧＡ２の出力が“Ｌ”固定となる。この状態におい
ては、フリップフロップＪＦ１〜ＪＦ４のそのＪおよび
Ｋ入力は共に０（“Ｌ”）となるため、その出力状態は
クロック信号ＣＫが与えられても変化しない。これによ
りカウント値は最大値または最小値を維持することにな
る。したがってこの図１６に示すシナプス荷重値格納回
路はリミッタ付のカウンタとなるとともに最大値または
最小値にそのカウント値が到達した場合にはその最大値
または最小値を維持する。

【０２４２】図１７は図１４に示す学習制御回路の構成
を示す図である。図１７を参照して、学習制御回路１７
０３は、状態信号ＳｋおよびＳｉを受けるＮＡＮＤ回路
Ｇ２００と、状態信号Ｓｉと出力ニューロンユニットｋ
に対する教師パターンデータＴｋを受けるＮＡＮＤ回路
Ｇ２０２と、ＮＡＮＤ回路Ｇ２００およびＧ２０２の出
力を受けるＥｘＯＲ回路Ｇ２０４と、シナプス荷重値Ｗ
ｋｊの符号を示す信号ＳｇｎＷｋｊに応答してＮＡＮＤ
回路Ｇ２００およびＧ２０２の一方を選択するセレクタ
ＳＬ２００と、ＥｘＯＲ回路Ｇ２０４の出力と信号ＭＳ
ｊおよびＭＳｋを受けるＡＮＤ回路Ｇ２０６を含む。信
号Ｔｋは出力層においてｋ番目の出力ニューロンに対し
て与えられる教師パターンデータビットである。信号Ｍ
Ｓｊは隠れ層におけるｊ番目のニューロンの出力信号
（状態信号）Ｓｊが中間値（Ｓｊ＝０．５）にあること
を示す信号である。信号ＭＳｋは出力層におけるｋ番目
のニューロンユニットの出力信号（状態信号）Ｓｋの値
が中間値であることを示す信号である。

【０２４３】信号ＳｇｎＷｋｊはシナプス荷重値Ｗｋｊ
すなわち隠れニューロンｊと出力ニューロンｋとの結合
強度の符号を示す信号であり、シナプス荷重値Ｗｋｊが
負の場合には“Ｌ”となり、零または正の場合には
“Ｈ”となる。

【０２４４】第２の神経回路網表現ユニット５０５にお
いてはニューロンユニットがフィードフォアード型に接
続される。すなわち、ニューロンユニットの結合は入力
層から隠れ層、隠れ層から出力層へと一方方向である。
各層におけるニューロンユニット間の結合は存在してい
ない。入力パターンは入力層から出力層へと向かって進
む。この構成の場合のバックプロパゲーション構成にお
いては実際の出力データパターンと教師データパターン
との差を減少させるように出力層から順次、隠れ層、入
力層へと向かってシナプス荷重値を変化させる。

【０２４５】すなわち、図１７に示す学習制御回路の構
成において、ＥｘＯＲ回路Ｇ２０４の出力が“Ｈ”とな
るのは、ＮＡＮＤ回路Ｇ２００およびＧ２０２の出力が
不一致の場合である。これは出力層のニューロンユニッ
トｋの出力状態信号Ｓｋと教師パターンデータビットＴ
ｋとがまだ一致していないことを示している。この状態
において信号ＭＳｊおよびＭＳｋが共に中間値にあるこ
とを示す“Ｈ”のときにはＡＮＤ回路Ｇ２０６からイネ
ーブル信号Ｅｎａｂｌｅが発生されシナプス荷重値の修
正が実行される。

【０２４６】セレクタＳＬ２００は、符号信号ＳｇｎＷ
ｋｊが“Ｈ”にありシナプス荷重値Ｗｋｊが正のときに
ＮＡＮＤ回路Ｇ２００の出力を選択し、“Ｌ”であると
きにはＮＡＮＤ回路Ｇ２０２の出力を選択する。セレク
タＳＬ２００の出力はカウントアップ／カウントダウン
指示信号Ｕｐ／Ｄｏｗｎとして発生される。したがっ
て、この学習制御回路１７０３は、

【０２４７】

【数１】

【０２４８】で与えられるバックプロパゲーション学習
則の近似式を実現する。入力ニューロンの状態信号Ｓｉ
が第１の神経回路網の対応のニューロンユニットから与
えられる。ビット信号ｂｉｔＷｋｊは図１６に示すカウ
ンタ構成においてクロック信号ＣＫがこの桁に応じて２
⁰、２¹、…のようにそのビット位置（桁位置）に応じ
て発生されることにより実現される。このバックプロパ
ゲーションの式における総和Σをとる構成は各項を時分
割的に与えることにより実現される。このための構成を
以下に説明する。

【０２４９】簡単化のため、図１８に示すように入力層
のニューロンの数がｎ個であり、隠れ層のニューロンの
数が３個であり、出力層のニューロンの数が２個の場合
を考える。入力層のｎ個のニューロンをＩ１〜Ｉｎでそ
れぞれ表わし、隠れ層の３個のニューロンをＨ１、Ｈ２
およびＨ３で表わし、出力層の２つのニューロンをＯ１
およびＯ２で表わす。各ニューロンユニット間の結合を
Ｗの後にニューロンユニットの符号を付して表わす。こ
の図１８に示すバックプロパゲーションモデルに従って
上述の近似式を実現するための構成を図１９に示す。

【０２５０】図１９において総和実現回路は、出力ニュ
ーロンユニットＯ１およびＯ２の出力信号（状態信号）
を受けるセレクタ２００２と、出力ニューロンユニット
Ｏ１およびＯ２に対する教師データＴ１およびＴ２を受
けるセレクタ２００４と、隠れ層のニューロンユニット
Ｈ１と出力ニューロンユニットＯ１およびＯ２とのシナ
プス荷重値の符号Ｓｇｎ（ＷＯ１Ｈ１）およびＳｇｎ
（ＷＯ２Ｈ１）を受けるセレクタ２００６と、隠れ層の
ニューロンユニットＨ２と出力ニューロンユニットＯ１
およびＯ２とのシナプス荷重値の符号Ｓｇｎ（ＷＯ１Ｈ
２）およびＳｇｎ（ＷＯ２Ｈ２）を受けるセレクタ２０
０８と、隠れ層のニューロンユニットＨ３と出力ニュー
ロンユニットＯ１およびＯ２のシナプス荷重値の符号Ｓ
ｇｎ（ＷＯ１Ｈ３）およびＳｇｎ（ＷＯ２Ｈ３）を受け
るセレクタ２０１０を含む。

【０２５１】セレクタ２００２〜２０１０の各々は選択
制御信号ＩｓｅｌＢＰに応答して順次その入力へ与えら
れた信号を選択する。セレクタ２００２から出力ニュー
ロンユニットｋの状態信号Ｓｋが出力される。セレクタ
２００４から出力ニューロンユニットｋに対する教師パ
ターンデータＴｋが出力される。セレクタ２００６、２
００８および２０１０からはそれぞれ符号係数Ｓｇｎ
（ＷＯｋＨ１）、Ｓｇｎ（ＷＯｋＨ２）およびＳｇｎ
（ＷＯｋＨ３）が発生される。セレクタ２００２〜２０
１０の出力をさらにラッチ回路２０１２で受け、クロッ
ク信号Ｔに応答して順次選択して学習制御回路１７０３
へ与えることにより上述のバックプロパゲーションの近
似式の総和が実現される。

【０２５２】なお図１９においては、中間値を示す信号
ＭＳｊおよびＭＳｋを出力する経路は示していない。し
かしながらこれも同様に出力ニューロンユニットｋの出
力信号ＭＳｋおよび隠れ層のニューロンユニットｊの中
間価指示信号ＭＳｊをラッチしてクロック信号Ｔに応答
して同時に出力する構成が用いられればよい。

【０２５３】図２０は図１４に示すシナプス結合回路１
７０２の構成を示す図である。図２０においてシナプス
結合回路１７０２は、シナプス荷重値格納回路１７０１
からのシナプス荷重値／Ｏ１、／Ｏ２、／Ｏ３および／
Ｏ４をそのそれぞれのゲートに受けるｐチャネルＭＯＳ
トランジスタ３００２、３００８、３０１４および３０
２０と、シナプス荷重値Ｏ１，Ｏ２，Ｏ３およびＯ４を
そのゲートに受けるｎチャネルＭＯＳトランジスタ３０
０４、３０１０、３０１６および３０２２と、シナプス
荷重値ビットＯ１，Ｏ２，Ｏ３およびＯ４をそれぞれの
ゲートに受けるｐチャネルＭＯＳトランジスタ３００
６、３０１２、３０１８および３０２４と、トランジス
タ３００２および３００４から伝達されるバイアス電圧
Ｖｂ３をそのゲートに受けるｐチャネルＭＯＳトランジ
スタ３０２８と、トランジスタ３００８および３０１０
を介して伝達されるバイアス電圧Ｖｂ３を介してそのゲ
ートに受けるｐチャネルＭＯＳトランジスタ３０３０
と、トランジスタ３０１４および３０１６を介してバイ
アス電圧Ｖｂ３をそのゲートに受けるｐチャネルＭＯＳ
トランジスタ３０３２と、トランジスタ３０２０および
３０２２を介してそのゲートにバイアス電圧Ｖｂ３を受
けるｐチャネルＭＯＳトランジスタ３０３４を含む。

【０２５４】トランジスタ３０２８、３０３０、３０３
２および３０３４は一方導通端子が電源電圧レベルであ
る基準電圧Ｖｄｄに結合される。トランジスタ３００
６、３０１２、３０１８および３０２４はそれぞれ対応
のシナプス荷重値ビットに応答してオン状態となる。

【０２５５】シナプス結合回路１７０２はさらに、バイ
アス電圧Ｖｂ３をそのゲートに受け、基準電圧Ｖｄｄを
伝達するｐチャネルＭＯＳトランジスタ３０２６と、状
態信号Ｓｉを受けるインバータ回路３０３８と、状態信
号Ｓｉをそのゲートに受けるｐチャネルＭＯＳトランジ
スタ３０３６を含む。インバータ回路３０３８の出力は
ｐチャネルＭＯＳトランジスタ３０４０のゲートへ与え
られる。トランジスタ３０３６はオン状態となったとき
にトランジスタ３０２６から伝達される電流を荷重化電
流Ｉｏとして出力する。トランジスタ３０４０はオン状
態となったときに、トランジスタ３０２８、３０３０、
３０３２および３０３４を介して伝達される電流を加算
して荷重化電流Ｉｏを出力する。

【０２５６】トランジスタ３０２６、３０２８、３０３
０、３０３２および３０３４はそれぞれ電圧電流変換機
能を備えており、それぞれのゲート幅Ｗｂ、Ｗ１、Ｗ
２、Ｗ３、およびＷ４はそれぞれ８、１、２、４、およ
び８の比に設定される。次に動作について説明する。

【０２５７】状態信号Ｓｉが“Ｌ”にあり、ニューロン
ユニットｉ（入力ニューロン）が非発火状態にある場合
には、トランジスタ３０３６がオン状態となり、トラン
ジスタ３０４０はオフ状態にある。この状態において
は、トランジスタ３０２６がそのバイアス電圧Ｖｂ３に
応じたコンダクタンスにより基準電圧Ｖｄｄを電流に変
換しており、このトランジスタ３０２６で電流に変換さ
れた情報がトランジスタ３０３６を介して出力される。
このバイアス電圧Ｖｂ３により規定される電流はバイア
ス電流として与えられる。

【０２５８】状態信号Ｓｉが“Ｈ”の場合、トランジス
タ３０３６がオフ状態となり、トランジスタ３０４０が
オン状態となる。今、シナプス荷重値ビットＯ１が
“Ｈ”の状態を考える。このときトランジスタ３００２
および３００４がオン状態、トランジスタ３００６はオ
フ状態となる。この状態ではトランジスタ３０２８のゲ
ートへ基準バイアス電圧Ｖｂ３が与えられ、トランジス
タ３０２８がオン状態となり、そのゲート幅Ｗ１に応じ
た電流を供給する。シナプス荷重値ビットＯ１が“Ｌ”
の場合には、トランジスタ３００２および３００４がオ
フ状態、トランジスタ３００６がオン状態となる。この
状態においては、トランジスタ３０２８のゲートへはト
ランジスタ３００６を介して基準電圧Ｖｄｄが与えられ
オフ状態となる。これにより、トランジスタ３０２８、
３０３０、３０３２および３０３４はそれぞれ対応のシ
ナプス荷重値ビットＯ１、Ｏ２、Ｏ３およびＯ４に応じ
てオン状態となり、そのゲート幅に応じた電流を供給す
る。トランジスタ３０２８〜３０３４からの電流はトラ
ンジスタ３０４０の一方ノードで加算され、荷重化電流
Ｉｏとして出力される。

【０２５９】ここで、バイアス電流を与えるトランジス
タ３０２６のゲート幅Ｗｂを８としているのは、このバ
イアス電流をシナプス荷重値を０の状態に対応させてお
り、このときに流れる荷重化電流を基準とする荷重化電
流の大小に応じてシナプス荷重値の正および負の符号を
実現している。

【０２６０】したがって、この構成によれば先のシナプ
ス荷重値の符号信号ＳｇｎＷｋｊは、ビットＯ４の
“Ｈ”および“Ｌ”により決定することができる。

【０２６１】図２１は、隠れ層の入力ニューロンと出力
層の入力ニューロンとを結合するシナプス表現回路の構
成を示す図である。この第２種のシナプス表現回路は、
図１３においてシナプス表現回路１１０１〜１１０６を
代表しており、符号ＳＳＹ２で示す。図２１を参照し
て、シナプス表現回路ＳＳＹ２は、制御信号Ｓｊ１、Ｓ
ｋ、ＴｋおよびＭＳｋを受け、シナプス荷重値修正用信
号ＥｎａｂｌｅおよびＵｐ／Ｄｏｗｎを発生する学習制
御回路４７０７と、シナプス結合回路４７０２および４
７０６と、シナプス荷重値格納回路４７０１を含む。シ
ナプス荷重値格納回路４７０１は先の図１５および図１
６を参照して説明した第１種のシナプス表現回路におけ
るシナプス荷重値格納回路と同様の構成を備えており、
たとえば４ビットのリミッタ付アップ／ダウンカウンタ
で構成される。

【０２６２】シナプス結合回路４７０２および４７０６
は、隠れ層のニューロンユニットの状態が３値状態（非
発火状態、中間状態、および発火状態）をとるように構
成されているため（これについては後に説明する）、各
状態を表わすために設けられる。隠れ層のニューロンユ
ニットの出力信号は２ビットＳｊ０およびＳｊ１で表現
される。シナプス結合回路４７０２および４７０６は先
に図２０を参照して説明した第１種のシナプス表現回路
におけるシナプス結合回路１７０２と同様の構成を備え
る。

【０２６３】図２２は図２１に示す学習制御回路４７０
７の構成を示す図である。図２２を参照して学習制御回
路４７０７は、隠れ層のｊ番目のニューロンユニットｊ
の出力信号Ｓｊ１と出力層のｋ番目のニューロンユニッ
トの出力信号（状態信号）Ｓｋを受ける２入力ＮＡＮＤ
回路５００２と、状態信号ビットＳｊ１と出力層ニュー
ロンｋに対する教師パターンデータＴｋを受けるＮＡＮ
Ｄ回路５００４と、ＮＡＮＤ回路５００２および５００
４の出力を受けるＥｘＯＲ回路５００６と、ＥｘＯＲ回
路５００６の出力と出力ニューロンユニットｋの状態が
中間状態であることを示す信号ＭＳｋとを受けるＡＮＤ
回路５００８を含む。

【０２６４】図２２に示す学習制御回路４７０７におい
ては、ＥｘＯＲ回路５００６の出力が“Ｈ”となるの
は、ＮＡＮＤ回路５００２および５００４の出力が不一
致の場合である。この場合において、信号ＭＳｋが中間
状態にある“Ｈ”の場合においてはイネーブル信号Ｅｎ
ａｂｌｅが発生され、シナプス荷重値の修正が行なわれ
る。シナプス荷重値を増加するか減少させるかはＮＡＮ
Ｄ回路５００２の出力により決定される。ＮＡＮＤ回路
５００２の出力が“Ｌ”の場合には、シナプス荷重値の
減少が実行され、ＮＡＮＤ回路５００２の出力が“Ｌ”
の場合にはシナプス荷重値の減少が実行される。信号Ｓ
ｊ１が“１”の状態はニューロンユニットｊが発火状態
にあることを示す。したがってこの学習制御回路４７０
７は、次式 ΔＷｋｊ＝（Ｔｋ・Ｓｊ−Ｓｋ・Ｓｊ）・ＭＳｋで表わされるバックプロパゲーションの学習則の近似を
実現する。

【０２６５】図２３は、第２の神経回路網表現ユニット
におけるニューロンユニット１８０１、１８０２、…、
１８０３および１９０１、…、１９０２の構成を示す図
である。図２３においてはこれらのニューロンユニット
を符号ＳＮＵで総称的に示す。ニューロンユニットＳＮ
Ｕはその基準電圧Ｖｒｅｆをその入力に受けるコンパレ
ータ５５０６および５５０８を含む。コンパレータ５５
０６はその正入力に対応の樹状突起信号線を介して伝達
される荷重化電流の総和ＩＮ（＝ΣＷｊｉ・Ｓｉ；総和
はｉに関して実行される）を受ける（抵抗Ｒ０，Ｒ１で
電圧が変換される）。コンパレータ５５０８は総和荷重
化電流ＩＮを抵抗５５０２および５５０４の抵抗値Ｒ０
およびＲ１で分割した電圧を受ける。コンパレータ５５
０６から信号Ｓｊ０が発生され、コンパレータ５５０８
から信号Ｓｊ１が発生される。

【０２６６】この図２３に示すニューロンユニットＳＮ
Ｕは以下に示す３つの状態を表現する。

【０２６７】非発火状態；Ｓｊ０＝Ｓｊ１＝０中間状態；Ｓｊ０＝１，Ｓｊ１＝０発火状態：Ｓｊ０＝Ｓｊ１＝１コンパレータ５５０６からの出力信号Ｓｊ０はバックプ
ロパゲーション学習時における中間値指示信号ＭＳｊと
して使用される。基準電圧Ｖｒｅｆはこのニューロンユ
ニットＳＮＵのしきい値を与える。ニューロンユニット
ＳＮＵが発火状態にあるか否かは信号Ｓｊ１をみること
により判る。したがって、図２２に示す構成において状
態信号Ｓｋとしてはこの信号Ｓｋ１が利用される。

【０２６８】この第２の神経回路網の学習動作時におい
ては図９に示す判別パターン格納回路５０７からの判別
パターンが出力教師パターンとして与えられる。この第
２の神経回路網表現ユニット５０５はこの与えられた教
師パターンに従ってバックプロパゲーションの学習則に
従ってその内部のシナプス荷重値を変更する。学習時に
おいては第１の神経回路網の全てまたは一部の所定のニ
ューロンユニットの状態信号（出力信号）が与えられ
る。このとき与えられる教師パターンは第１の神経回路
網表現ユニットの収束状態が記憶すべき状態であるか否
かを判別することができるパターンであればどのような
ものであってもよい。この第２の神経回路網表現ユニッ
ト５０５の学習動作は第１の神経回路網表現ユニット５
０１の学習動作時に同時に実行されてもよく、また別の
ときに独立に第１の神経回路網表現ユニット５０１の教
師パターンと同様のパターンを入力パターンとして与え
て学習が実行されてもよい。

【０２６９】上述の構成により、第１の神経回路網表現
ユニット５０１のリフレッシュ動作時においてその第１
の神経回路網表現ユニットが収束した状態を記憶すべき
状態であるか否かの判別を正確に行なうことができる。

【０２７０】図２４にこの第２の実施例における神経回
路網表現装置の動作波形図を示す。まとめとして、この
第２の実施例における神経回路網表現装置の動作につい
て以下に説明する。

【０２７１】図２４に示すこの第２の実施例の動作にお
いても、図７に示す実施例１の神経回路網表現装置の動
作とほぼ同様である。異なっているのは、モード切換信
号ＭＯＤＥがリフレッシュ期間のみ“Ｈ”とされかつ学
習制御信号ＡＣＰ＋およびＡＣＰ−に代えてその基とな
る信号／ＡＣＰが用いられていることである。信号／Ａ
ＣＰによりリフレッシュ時においては銘記動作および忘
却動作が同時に実行される。学習期間および保持期間の
動作は図７に示す第１の実施例のものと同様であり、そ
れぞれ教師データまたは入力データパターンに従った学
習および保持（想起）動作が第１の神経回路網表現ユニ
ット５０１において実行される。

【０２７２】リフレッシュ期間においてモード切換信号
ＭＯＤＥが“Ｈ”となると一致信号Ｍａに従って学習制
御信号ＡＣＰ＋またはＡＣＰ−が択一的に制御信号／Ａ
ＣＰに応答して発生される。これにより、第１の神経回
路網表現ユニット５０１においてはシナプス荷重値の増
加または減少のみが実行される。すなわち、リフレッシ
ュ期間において、第２の神経回路網表現ユニット５０５
が動作し、第１の神経回路網表現ユニット５０１の収束
状態が記憶すべき状態と判別した場合、この第２の神経
回路網表現ユニット５０５の出力データパターンは判別
データ格納回路５０７（図９参照）に格納された（複数
の）判別パターンのいずれかとが一致し、一致検出信号
Ｍａが発生される。この場合、図２５に示すように一致
検出信号Ｍａが“Ｈ”となった場合には制御信号／ＡＣ
Ｐに応答してシナプス荷重値増加制御信号ＡＣＰ＋が発
生される。一致検出信号Ｍａが不一致を示す“Ｌ”の場
合には、制御信号／ＡＣＰに応答してシナプス荷重値減
少用の制御信号ＡＣＰ−が発生される。これにより第１
の神経回路網表現ユニット５０１においては、記憶すべ
きではない状態すなわちポテンシャルエネルギーの局所
的極小値などに誤って捕われることがなく、正確に良好
な記憶の明確化を実行することができる。

【０２７３】上記実施例においては、第２の神経回路網
としては、３層のフィードフォアード型に接続されかつ
バックプロパゲーションに従った学習則を実現すること
のできる神経回路網が用いられている。この第２の神経
回路網表現ユニットの構成としては、これに限定され
ず、他の構成が用いられてもよく、安定にそのシナプス
荷重値を保持することができるスタティック型のシナプ
ス表現回路を備えており、第１の神経回路網表現ユニッ
トの収束状態を記憶すべき状態であるか否かを判別する
ことのできるものであればどのようなものであってもよ
い。

【０２７４】（Ｃ）実施例３実施例（Ｂ）のリフレッシュ方式に従えば、ポテンシャ
ルエネルギーの記憶すべきでない極小点（エネルギー極
小値を与える回路網の状態）を正確に識別することがで
き、良好に記憶のリフレッシュを行なうことかできる。

【０２７５】しかし、実施例（Ｂ）の場合、第２の神経
回路網の出力に従って第１の神経回路網のポテンシャル
エネルギーの極小点を中心としてある範囲内にある状態
が記憶すべき状態と判定される。このため、本来の学習
により獲得したポテンシャルエネルギープロファイル
（図８の曲線Ａ）とリフレッシュにより復元されたポテ
ンシャルエネルギープロファイル（図８の曲線Ｅ）とは
少し形が異なる。記憶する状態が一義的に表現されるの
ではなく、確率的に表現される場合にはポテンシャルエ
ネルギーの詳しい形状すなわち谷の深さの程度および谷
を形成するポテンシャルエネルギー側壁の勾配などが重
要な意味を持ってくる。以下に、本来の学習により決定
されたポテンシャルエネルギーのプロファイルをより正
確に再現することのできるリフレッシュ方法について説
明する。

【０２７６】図２６はこの発明の第３の観点に従うリフ
レッシュ方法を説明するための図である。図２６（ａ）
は第１の神経回路網の状態とポテンシャルエネルギーと
の関係を示す。曲線Ａは学習直後のポテンシャルエネル
ギーを示し、曲線Ｂは忘却時におけるポテンシャルエネ
ルギーを示す。図２６（ｂ）は第２の神経回路網の入力
（第１の神経回路網の状態）と第２の神経回路網の出力
との関係を示す。ここで、図２６（ｂ）において、縦軸
は第２の神経回路網の出力パターンの出力確率を示す。
すなわち、この第３の観点に従うリフレッシュ方式にお
いては第２の神経回路網の出力に確率を導入する。

【０２７７】図２６（ａ）および（ｂ）においてポテン
シャルエネルギーは第１の神経回路網の状態が位置合わ
せして示されている。ポテンシャルエネルギーの谷が浅
い状態はそれほど記憶が強くない状態に対応する。この
ような谷に対しては第２の神経回路網の出力値（出現確
率）を小さくする。ポテンシャルエネルギーの谷が深い
状態に対しては第２の神経回路網の出力値を大きくす
る。この第２の神経回路網の出力は、その第１の神経回
路網の状態に対する出力パターンの出現確率を示してお
り、結果的に制御ユニット５５０に含まれる一致検出回
路５０６からの一致検出信号Ｍａが一致を示す確率に対
応する。

【０２７８】この第２の神経回路網の出力は出力パター
ンの出現確率を示しており、リフレッシュ動作を繰返し
実行したときに対応の出力パターンが現われる確率を示
している。個々のリフレッシュサイクルにおいては、Δ
Ｗｉｊ〜±Ｐｉｊ（＝±Ｓｉ・Ｓｊ）に従ったシナプス
荷重値の修正が行なわれる。このような第２の神経回路
網の出力に確率を導入する方法について以下に説明す
る。

【０２７９】図２７に第３の実施例によるリフレッシュ
方法を示す。図２７（ａ）は第２の神経回路網表現ユニ
ット５０５（図１３参照）に含まれるニューロンユニッ
ト１９０１、…、１９０２および１８０１、…、１８０
３へ与えられる基準電圧Ｖｒｅｆ（図２３参照）を示
す。図２７（ａ）に示すようにニューロンのしきい値を
与える基準電圧Ｖｒｅｆを真の値Ｖ０を基準として減衰
振動をさせる。この場合、図２７（ｂ）に示すようにニ
ューロンユニットの出力の曖昧幅がこの減衰振動幅に応
じて小さくなり、その出力状態が確率的に遷移して或る
状態に収束する。曖昧幅とは、或るアニール温度におけ
る確率関数（ボルツマン分布）における勾配を有する部
分の幅を示す。アニール温度が高い場合には確率分布関
数はシグモイド様の関数であり、曖昧幅は大きく、アニ
ール温度が低い場合にはほぼユニットステップ関数の形
状に近づき曖昧幅は０となる。

【０２８０】上述のように基準電圧Ｖｒｅｆを減衰振動
をさせた場合、減衰振動電圧が生じている期間は或るア
ニーリング温度から順次低温のアニール温度へ移行して
いき、最終的に神経回路網が大所的エネルギー極小の熱
平衡状態に到達する過程に対応する。この基準電圧Ｖｒ
ｅｆの初期最大振幅はアニール開始温度を与える。上述
のような減衰振動をする基準電圧Ｖｒｅｆを用いること
によりニューロンユニットの状態遷移が確率的に表現さ
れ、この第２の神経回路網表現ユニット５０５の出力に
確率が導入される。すなわち図２６に示す出力分布（出
現確率）が与えられる。したがって、このような確率を
導入された第２の神経回路網の出力を用いることによ
り、第１の神経回路網の収束状態が記憶すべき状態であ
るか否かの判断に確率が導入されたことになり、第１の
神経回路網の学習直後のポテンシャルエネルギープロフ
ァイルを正確に再現することができる。

【０２８１】このとき、減衰振動する基準電圧Ｖｒｅｆ
は隠れ層および出力層のニューロンユニットへ両者へ与
えられてもよく、また一方の層のニューロンユニットの
み与えられてもよい。出力層のニューロンユニットへ与
えられる基準電圧Ｖｒｅｆのみを減衰振動させてもよ
い。

【０２８２】このような減衰振動させた基準電圧Ｖｒｅ
ｆを用いるリフレッシュ動作における神経回路網の動作
は図２４に示す動作フローのそれと同様であり、リフレ
ッシュ動作は第２の実施例の場合と同様に行なわれる。

【０２８３】（Ｄ）実施例４上述の実施例１ないし実施例３においては、リフレッシ
ュ期間は学習期間から一定期間経過した後定期的または
周期的に実行される。このリフレッシュ方式として別の
方式も可能である。第４のの実施例に従うリフレッシュ
動作のフローを図２８に示す。図２７に示すリフレッシ
ュ方式においては、想起動作が行なわれるごとにリフレ
ッシュ操作が行なわれる。学習期間における動作は先に
説明した実施例１および実施例２の場合と同様である。
すなわち、リフレッシュ操作期間を別に設ける構成の場
合、このリフレッシュ操作期間中には想起動作を実行す
ることができなくなり、神経回路網の利用効率が悪くな
ることが考えられる。そこで、上述のように想起動作が
行なわれた後に合わせてリフレッシュ操作を実行すれ
ば、特にリフレッシュ期間を設ける必要がなくなり、神
経回路網の利用効率が改善される。

【０２８４】すなわちこの図２８に示す第４の実施例に
おけるリフレッシュ方式においては、想起動作時におい
て、想起によって第１の神経回路網の状態が収束したと
き、この想起によって収束した状態で信号Ｔｓを“Ｌ”
に指定してリフレッシュが実行される。この状態におい
てはリフレッシュ用のパターンとしてランダムパターン
は用いられず、リフレッシュが実行される。このとき、
第２の神経回路網が用いられてもよく用いられなくても
よい。図２８においては、制御信号／ＡＣＰが用いら
れ、学習期間においてＡＣＰ＋およびＡＣＰ−が同時に
発生される場合の構成が示される。またモード切換信号
ＭＯＤＥは想起可能期間中“Ｈ”に設定され、一致検出
信号（第２の神経回路網を駆動した結果得られる）に従
って銘記／忘却動作が行なわれる場合が示される（一致
のときに銘記し、不一致のときに忘却）。このリフレッ
シュ期間中は第１の神経回路網の収束状態にある。リフ
レッシュ期間が経過した後制御信号ＩｓｅｌＯを発生
し、各ニューロンユニットの状態信号をシフトレジスタ
ＳＲ（Ｔ）（図４参照）にラッチさせ、クロックＣＫに
従って順次シフトアウトする。

【０２８５】上述のように、想起操作ごとにリフレッシ
ュ操作を実行することにより、定期的にリフレッシュ期
間を設ける必要がなくなり、見かけ上リフレッシュ操作
を必要としない利用効率の優れた神経回路網表現装置を
得ることができる。ただし、この構成の場合、第１の神
経回路網において想起する記憶状態が、記憶した全状態
に対して均等に出現することが望ましい。

【０２８６】

【発明の効果】以上のようにこの発明によれば、簡単な
構成、簡単な操作で高速かつ正確なリフレッシュを実行
することができるため、長時間安定して使用することの
できる高速かつ高集積な神経回路網表現装置を実現する
ことができる。

【０２８７】また、この発明のリフレッシュ方式では、
マクロな記憶の回復によって各シナプス荷重値を修正し
ているため、シナプスおよびニューロンなどのミクロな
部分的機能不良に対しても安定したリフレッシュを実現
することができる。

【０２８８】さらに、この発明によるリフレッシュ方式
における記憶の明確化作用は、不要なポテンシャルの極
小値（ローカルミニマム）をなくす効果があり、神経回
路網が内部で表現する情報のエントロピーを減少させる
効果が得られる。

【０２８９】すなわち、請求項１ないし３記載の発明に
従えば、長時間にわたって安定にシナプス荷重値を保持
することのできる神経回路網表現装置を簡易な構成で得
ることができる。

【０２９０】また、乱数パターンを用いてリフレッシュ
を実行しているため、この神経回路網の内部状態を均等
な確率で発生させることができ、学習直後のポテンシャ
ルエネルギー分布を正確に再現することができる。

【０２９１】請求項４ないし６記載の発明に従えば、第
２の神経回路網を用いて記憶すべき状態とそうでない状
態との判別を行ない、この判別結果に従ってシナプス荷
重値の修正を行なっているため、不要なエネルギー極小
値を与える状態の記憶を強化することがなく、正確なリ
フレッシュを行なうことができる。

【０２９２】請求項７および８記載の発明によれば、第
２の神経回路網の出力に確率が導入されるため、第１の
神経回路網のポテンシャルエネルギーフロファイルをよ
り正確に再現することのできるリフレッシュ動作を実現
することができる。

【０２９３】請求項９記載の発明に従えば、特にリフレ
ッシュ期間を設定する必要がなく、また、神経回路網表
現装置の利用効率が改善される。

【図面の簡単な説明】

【図１】この発明の第１の実施例のリフレッシュ操作を
説明するための図である。

【図２】この発明の第１の実施例である神経回路網表現
装置の全体の構成を概略的に示す図である。

【図３】図２に示すシナプス表現回路の構成を示す図で
ある。

【図４】図２に示すニューロンユニットの構成を示す図
である。

【図５】図４に示すニューロンユニットの属性とそのと
きの各信号の状態との対応関係を一覧にして示す図であ
る。

【図６】図２に示す入力データ制御ユニットの具体的構
成を示す図である。

【図７】第１の実施例による神経回路網表現装置の動作
を示す波形図である。

【図８】この発明の第２の観点に従うリフレッシュ動作
を説明するための図である。

【図９】この発明の第２の実施例である神経回路網表現
装置の構成を概略的に示す図である。

【図１０】図９に示す一致検出回路の構成例を示す図で
ある。

【図１１】図９に示すリフレッシュ制御回路の構成を示
す図である。

【図１２】図９に示す第１の神経回路網表現ユニットの
構成を示す図である。

【図１３】図９に示す第２の神経回路網表現ユニットの
構成を示す図である。

【図１４】図１３に示す入力層と隠れ層とを結合する第
１種のシナプス表現回路の構成を示す図である。

【図１５】図１４に示すシナプス荷重値格納回路の外観
を示す図である。

【図１６】図１４および図１５に示すシナプス荷重値格
納回路の内部構成を示す図である。

【図１７】図１４に示す学習制御回路の構成を示す図で
ある。

【図１８】第２の神経回路網が実現するバックプロパゲ
ーションモデルを示す図である。

【図１９】図１８に示すバックプロパゲーションモデル
における学習則を実現するために図１４に示す学習制御
回路へ信号を与えるための構成を示す図である。

【図２０】図１４に示すシナプス結合回路の構成を示す
図である。

【図２１】図１３に示す隠れ層と出力層とを結合する第
２種のシナプス表現回路の構成を示す図である。

【図２２】図２１に示す学習制御回路の構成を示す図で
ある。

【図２３】図１３に示すニューロンユニットの構成を示
す図である。

【図２４】第２の実施例の動作を示す信号波形図であ
る。

【図２５】第２の実施例における一致検出信号と学習制
御信号との関係を示す波形図である。

【図２６】第３の実施例におけるリフレッシュ操作を説
明するための図である。

【図２７】第３の実施例において第２の神経回路網表現
ユニットのニューロンユニットへ与えられる基準電圧を
示す図である。

【図２８】第４の実施例におけるリフレッシュ方法を示
す信号波形図である。

【図２９】ニューロンユニットの動作原理を説明するた
めの図である。

【図３０】ニューロンユニットの入出力変換特性を示す
図である。

【図３１】従来の神経回路網表現装置の構成例を示す図
である。

【図３２】図３１に示すシナプス表現回路の構成を示す
図である。

【図３３】図３２に示す学習制御回路の構成を示す図で
ある。

【図３４】図３２に示すシナプス結合表現回路の構成を
示す図である。

【図３５】図３４に示すシナプス結合表現回路における
シナプス荷重値の修正動作を説明するための図である。

【図３６】従来のシナプス荷重値格納用キャパシタの構
成を示す図である。

【図３７】従来のシナプス荷重値修正回路におけるチャ
ージポンプ用ダイオードの構成を示す図である。

【図３８】図３７に示すダイオード接続を実現するため
の構成を示す図である。

【図３９】従来のシナプス荷重値格納回路の問題点を説
明するための図である。

【図４０】従来のシナプス荷重値格納用キャパシタの他
の構成例を示す図である。

【符号の説明】

５０１第１の神経回路網表現ユニット５０２入力データ制御ユニット５０３擬似乱数発生回路５０４セレクタＤＳＹシナプス表現回路ＮＵニューロンユニット５０５第２の神経回路網表現ユニット５０７判別パターン格納回路５０６一致検出回路５０９リフレッシュ制御回路５５０制御ユニット５５１サブ制御ユニットＳＳＹ第２の神経回路網のシナプス表現ユニットＤＳＹ第１の神経回路網のシナプス表現ユニット

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年４月２３日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００２０

【補正方法】変更

【補正内容】

【００２０】式（３）は、このエネルギギャップが生じ
たときのユニットｉの新しい状態Ｓｉが“１”をとる確
率を与える。焼鈍過程（ａ）においては、温度Ｔは高温
から始まって低温へ順次移行される。この温度Ｔが低温
へ移行し所定のアニーリング手続が終了した時点におい
ては、ニューラルネットワークは比較的低いエネルギ状
態へ緩和していき熱平衡状態に達したと仮定される。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００２４

【補正方法】変更

【補正内容】

【００２４】上述のような学習機能を備える神経回路網
を半導体電子回路で実現した装置が種々提案されてお
り、本発明者グループも既に集積化に適した構造を備え
かつ高速動作性および高学習効率を有する半導体神経回
路網集積回路装置を提案している（特願平１−１２１９
１６参照）。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００６２

【補正方法】変更

【補正内容】

【００６２】キャパシタＣ０のノードＮ２の蓄積電荷Ｑ
０が０であれば、ノードＮ２の電位Ｖｃは基準電圧Ｖｄ
ｄに等しい。トランジスタＰＴ１のソース電位は基準電
圧Ｖｄｄである。したがって、電位（Ｖｄｄ−Ｖｃ）＝
０に応じた電流が基準電圧ノードＶｄｄからトランジス
タＰＴ１およびＰＴ２を介して出力端子Ｉｏへ流れる。
トランジスタＰＴ１およびＰＴ２のゲート幅はトランジ
スタＰＴ３およびＰＴ４のゲート幅よりも大きい。した
がって、状態信号Ｓｉが“Ｈ”の場合、Ｖｃ＝Ｖｂのと
きにはこの出力端子Ｉｏからは状態信号Ｓｉが“Ｌ”の
ときよりも大きな電流が流れる。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００６３

【補正方法】変更

【補正内容】

【００６３】キャパシタＣ０のノードＮ２における蓄積
電荷量が負の−Ｑ０であれば、ノードＮ２の電位Ｖｃは
（Ｖｄｄ−Ｑ０・Ｃａ）となり、トランジスタＰＴ１の
ゲート電位が−Ｑ０・Ｃａとなり、ｐチャネルＭＯＳト
ランジスタＰＴ１のインピーダンスが小さくなり流れる
電流量が増大する。ここで、ＣａはキャパシタＣ０の静
電容量を示す。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００７５

【補正方法】変更

【補正内容】

【００７５】この構成において、キャパシタＣ１０は図
３４のキャパシタＣ０に対応し、ダイオードＤ１１およ
びＤ１２は図３４のダイオードＤ１およびＤ２に対応
し、キャパシタＣ１１は図３４のキャパシタＣ１に対応
する。次に動作について説明する。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正内容】

【００７７】パルス信号Ｉが“Ｌ”から“Ｈ”へ立上が
るときには、キャパシタＣ１１のチャージポンプ動作に
よりノードＮ１５の電位が上昇し、このノードＮ１５の
電位が基準電圧Ｖｄｄよりも高くなるとダイオードＤ１
１がオン状態となる。ダイオードＤ１２はオフ状態とな
り、ノードＮ１５からノードＮ１３へ電流ｉ４が流れ
る。この電流ｉ４の供給源はキャパシタＣ１０である。
すなわちこの電流ｉ４は電流ｉ３によりその値が決定さ
れる。したがって、パルス信号Ｉの１周期ごとにノード
Ｎ１２からノードＮ１５を介してノードＮ１３へ電流が
流れ、キャパシタＣ１０に蓄積されている正電荷の量が
減少する。電流ｉ３およびｉ４の大きさは、キャパシタ
Ｃ１０およびＣ１１の静電容量値と、キャパシタＣ１０
に蓄えられている電荷量と、ダイオードＤ１１およびＤ
１２の順方向Ｉ−Ｖ特性と、そしてパルス信号Ｉのパル
ス幅とによって決定される。このパルス信号Ｉを第１の
修正信号Ｉとして利用することにより、そのパルス数に
応じてキャパシタＣ１０の蓄積電荷量を調節することが
できる。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】０１３２

【補正方法】変更

【補正内容】

【０１３２】この図２に示す構成においては、１つのシ
ナプス表現ユニットは１つのニューロンユニットの出力
信号を受ける。この構成はフルコネクションのニューラ
ルネットワークの構成を与える。シナプス荷重値が対称
な場合（Ｗｉｊ＝Ｗｊｉの場合）、１つのシナプス表現
ユニットで２つのシナプス荷重を表現することができ
る。しかしながら図２においては、各ニューロンユニッ
トとシナプス表現ユニットとの接続関係を明確にするた
めに、１つのシナプス表現ユニットが２つのニューロン
ユニットの出力信号を受け、荷重化電流を対応のニュー
ロンユニットへ伝達する構成を示す。対称性が仮定され
ない一般の神経回路網であってもよい。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】０１３３

【補正方法】変更

【補正内容】

【０１３３】ニューロンユニット６０１、６０２および
６０３は、入力データＤａｔａｉｎを隣接ニューロンユ
ニットへシフトするとともに、外部から与えられる教師
データおよび属性データ（可視ニューロン、および隠れ
ニューロンを定義するデータ）を隣接ニューロンユニッ
トへ伝達することができる。各ニューロンユニット６０
１、６０２および６０３はクロック信号ＣＫに従って、
教師データと入力される属性データの転送およびラッチ
を行なう。また、ニューロンユニット６０１、６０２お
よび６０３は制御信号ＩｓｅｌＯに従って自身の出力信
号のラッチおよび隣接ニューロンユニットへのシフトを
行なうことができる。このシフト動作はクロック信号Ｃ
Ｋに従って行なわれる。神経回路網が動作し収束した状
態においてはニューロンユニット６０１、６０２および
６０３の出力信号はその内部でラッチされ、クロック信
号ＣＫに従って順次出力データＤａｔａｏｕｔとして出
力される。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】０１５１

【補正方法】変更

【補正内容】

【０１５１】インバータバッファＢの出力はニューロン
ユニットＮＵの内部活性値または教師データにより決定
されるニューロンの状態を示す信号であり、状態信号Ｓ
ｉとして対応の軸索信号線上へ伝達される。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】０１５９

【補正方法】変更

【補正内容】

【０１５９】次に動作について簡単に説明する。ニュー
ロンユニットはシフトレジスタＳＲ（Ｔ）を介したシフ
トイン動作によりその属性が定義される。学習モードに
おいては教師データがセレクタＳＥＬ２を介したシフト
イン動作によりシフトレジスタＳＲ（Ｔ）に設定され
る。この状態で学習が実行される。プラスフェーズ時に
おいては出力ニューロンユニットおよび入力ニューロン
ユニットは制御信号ＩｓｅｌＳが“Ｌ”に設定される。
これによりニューロンユニットＮＵの状態信号Ｓｉはこ
のシフトレジスタＳＲ（Ｔ）に設定された教師データに
対応した値となる。隠れニューロンにおいてはセレクタ
ＳＥＬ１は比較器Ｃｏｍｐの出力を選択しており、その
内部活性値に対応した状態信号Ｓｉが出力される。

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】０１９７

【補正方法】変更

【補正内容】

【０１９７】図８（ｂ）においては、横軸は第２の神経
回路網の入力状態すなわち、第１の神経回路網の状態を
示し、縦軸は第２の神経回路網の出力を示す。この図８
（ｂ）において折れ線Ｆは第２の神経回路網の学習後に
おける入出力特性を表わし、“Ｈ”が記憶すべき状態を
示し、“Ｌ”が記憶すべきでない状態を示す。

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】０２０９

【補正方法】変更

【補正内容】

【０２０９】サブ制御ユニット５５１は、さらに、制御
信号Ｔｓとリフレッシュ制御ユニット５０９の出力信号
を受けて、制御信号Ｔｓ、ＡＣＰ−およびＡＣＰ＋を発
生するバッファ回路５５５を含む。

【手続補正１３】

【補正対象書類名】明細書

【補正対象項目名】０２１３

【補正方法】変更

【補正内容】

【０２１３】図１１は、図９に示すリフレッシュ制御回
路５０９の構成の一例を示す図である。図１１を参照し
て、リフレッシュ制御回路５０９は、モード切換信号Ｍ
ＯＤＥと一致検出信号Ｍａとを受ける２入力ＮＡＮＤ回
路ＮＤ１０と、一致検出信号Ｍａを反転するインバータ
回路ＧＩと、モード切換信号ＭＯＤＥとインバータ回路
ＧＩの出力とを受ける２入力ＮＡＮＤ回路ＮＤ１２と、
学習制御信号／ＡＣＰとＮＡＮＤ回路ＮＤ１２の出力と
を受ける２入力ＮＡＮＤ回路ＮＤ１４と、学習制御信号
／ＡＣＰとＮＡＮＤ回路ＮＤ１０の出力とを受ける２入
力ＮＡＮＤ回路ＮＤ１６とを含む。ＮＡＮＤ回路ＮＤ１
４からシナプス荷重値を増加させるための学習制御信号
ＡＣＰ＋が発生される。ＮＡＮＤ回路ＮＤ１６からシナ
プス荷重値を減少させるための学習制御信号ＡＣＰ−が
発生される。

【手続補正１４】

【補正対象書類名】明細書

【補正対象項目名】０２３２

【補正方法】変更

【補正内容】

【０２３２】シナプス荷重値格納回路１７０１はさら
に、イネーブル信号Ｅｎａｂｌｅを受けるインバータ回
路ＧＡ１と、ゲート回路ＧＡ４およびＧＡ５の出力を受
けるＮＯＲ回路ＧＡ２と、ＪＫフリップフロップＪＦ１
〜ＪＦ４のＱ出力を受けるＮＡＮＤ回路ＧＡ１５と、Ｊ
ＫフリップフロップＪＦ１〜ＪＦ４の／Ｑ出力を受ける
ＮＡＮＤ回路ＧＡ１６と、アップ／ダウン指示信号Ｕｐ
／Ｄｏｗｎを受けるインバータ回路ＧＡ３と、インバー
タ回路ＧＡ３の出力とＮＡＮＤ回路ＧＡ１５の出力を受
けるＮＯＲ回路ＧＡ４と、アップ／ダウン指示信号Ｕｐ
／ＤｏｗｎとＮＡＮＤ回路ＧＡ１６出力の出力とを受け
るＮＯＲ回路ＧＡ５を含む。ＮＯＲ回路ＧＡ２の出力は
セレクタＳＬ１ａおよびＳＬ１ｂへ与えられる。

【手続補正１５】

【補正対象書類名】明細書

【補正対象項目名】０２４１

【補正方法】変更

【補正内容】

【０２４１】カウント値がカウント最大値（“１１１
１”または“００００”）に達した場合、ＮＡＮＤ回路
ＧＡ１５またはＮＡＮＤ回路ＧＡ１６の一方の出力が
“Ｌ”となる。この状態においては、ＮＯＲ回路ＧＡ４
またはＮＯＲ回路ＧＡ５の出力が“Ｈ”となり、ＮＯＲ
回路ＧＡ２の出力が“Ｌ”固定となる。この状態におい
ては、フリップフロップＪＦ１〜ＪＦ４のそのＪおよび
Ｋ入力はともに０（“Ｌ”）となるため、その出力状態
はクロック信号ＣＫが与えられても変化しない。これに
よりカウント値は最大値または最小値を維持することに
なる。したがってこの図１６に示すシナプス荷重値格納
回路はリミッタ付きのカウンタとなるとともに最大値ま
たは最小値にそのカウント値が到達した場合にはその最
大値または最小値を維持する。

【手続補正１６】

【補正対象書類名】明細書

【補正対象項目名】０２４７

【補正方法】変更

【補正内容】

【０２４７】

【数１】

【手続補正１７】

【補正対象書類名】明細書

【補正対象項目名】０２６１

【補正方法】変更

【補正内容】

【０２６１】図２１は、隠れ層のニューロンと出力層の
ニューロンとを結合するシナプス表現回路の構成を示す
図である。この第２種のシナプス表現回路は、図１３に
おいてシナプス表現回路１１０１〜１１０６を代表して
おり、符号ＳＳＹ２で示す。図２１を参照して、シナプ
ス表現回路ＳＳＹ２は、制御信号Ｓｊ１、Ｓｋ、Ｔｋお
よびＭＳｋを受け、シナプス荷重値修正用信号Ｅｎａｂ
ｌｅおよびＵｐ／Ｄｏｗｎを発生する学習制御回路４７
０７と、シナプス結合回路４７０２および４７０６と、
シナプス荷重値格納回路４７０１とを含む。シナプス荷
重値格納回路４７０１は先の図１５および図１６を参照
して説明した第１種のシナプス表現回路におけるシナプ
ス荷重値格納回路と同様の構成を備えており、たとえば
４ビットのリミッタ付きアップ／ダウンカウンタで構成
される。

【手続補正１８】

【補正対象書類名】明細書

【補正対象項目名】０２６４

【補正方法】変更

【補正内容】

【０２６４】図２２に示す学習制御回路４７０７におい
ては、ＥｘＯＲ回路５００６の出力が“Ｈ”となるの
は、ＮＡＮＤ回路５００２および５００４の出力が不一
致の場合である。この場合において、信号ＭＳｋが中間
状態にある“Ｈ”の場合においてはイネーブル信号Ｅｎ
ａｂｌｅが発生され、シナプス荷重値の修正が行なわれ
る。シナプス荷重値を増加するか減少させるかはＮＡＮ
Ｄ回路５００２の出力により決定される。ＮＡＮＤ回路
５００２の出力が“Ｈ”の場合には、シナプス荷重値の
増加が実行され、ＮＡＮＤ回路５００２の出力が“Ｌ”
の場合にはシナプス荷重値の減少が実行される。信号Ｓ
ｊ１が“１”の状態はニューロンユニットｊが発火状態
にあることを示す。したがって、この学習制御回路４７
０７は、次式 ΔＷｋｊ＝（Ｔｋ・Ｓｊ−Ｓｋ・Ｓｊ）・ＭＳｋで表わされるバックプロパゲーションの学習則の近似を
実現する。

【手続補正１９】

【補正対象書類名】図面

【補正対象項目名】図１９

【補正方法】変更

【補正内容】

【図１９】

【手続補正２０】

【補正対象書類名】図面

【補正対象項目名】図３２

【補正方法】変更

【補正内容】

【図３２】

Claims

【特許請求の範囲】

【請求項１】神経回路網を電子的に表現する神経回路
網表現装置であって、各々が神経細胞本体の機能を表現する複数のニューロン
ユニット、各々がニューロンユニット間の結合強度を表現し、かつ
この結合強度を通して関連の一方のニューロンユニット
の出力を関連の他方のニューロンユニットへ伝達する複
数のシナプス表現ユニット、前記シナプス表現ユニット
は結合強度の情報を電荷の形態で格納する容量手段を含
み、リフレッシュ指示に応答して、ニューロンユニットの出
力に従って各前記シナプス表現ユニットの結合強度を修
正し、これにより結合強度情報をリフレッシュする制御
手段を備え、前記制御手段はチャージポンプ動作により
前記容量手段の蓄積電荷量を修正する手段を含む、神経
回路網表現装置。
【請求項２】請求項１記載の神経回路網表現装置であ
って、前記制御手段は、乱数を発生する乱数発生手段と、前記リフレッシュ指示に応答して、前記乱数発生手段の
発生する乱数パターンを教師パターンとして前記複数の
ニューロンユニットへ与え、かつ学習結果に従って関連
のニューロンユニットが共に発火状態にあるシナプス表
現ユニットの結合強度を修正する学習制御手段を含む。
【請求項３】請求項２記載の神経回路網表現装置であ
って、前記学習制御手段は、想起用入力パターンおよび
学習用教師パターンと前記乱数発生手段が発生する乱数
パターンとを受け、前記リフレッシュ指示に応答して前
記乱数パターンを選択する選択手段を含む。
【請求項４】神経回路網を電子的に表現する神経回路
網表現装置であって、各々が神経細胞本体の機能を表現する複数のニューロン
ユニットと、各々がニューロンユニット間の結合強度を
表現しかつこの結合強度を通して関連の一方のニューロ
ンユニットの出力を関連の他方のニューロンユニットへ
伝達するための複数のシナプス表現ユニットとを含む第
１の神経回路網表現ユニット、前記第１の神経回路網表
現ユニットのシナプス表現ユニットは、結合強度の情報
を電荷の形態で格納する容量手段を含み、前記第１の神経回路網表現ユニットの少なくとも一部の
ニューロンユニットの出力を受ける第２の神経回路網表
現ユニット、前記第２の神経回路網表現ユニットは複数
のニューロンユニットを含み、リフレッシュ指示に応答して、前記第１の神経回路網表
現ユニットのニューロンユニットの出力に従って各前記
シナプス表現ユニットの結合強度を修正し、これにより
結合強度情報をリフレッシュするための制御手段、およ
び前記第２の神経回路網表現ユニットの出力に応答して
前記制御手段による前記結合強度の修正方向を設定する
手段を含む、神経回路網表現装置。
【請求項５】請求項４記載の神経回路網表現装置であ
って、前記設定手段は、前記第１の神経回路網表現ユニットの状態が記憶すべき
状態か否かを示す判別パターンを格納する判別パターン
格納手段、および前記第２の神経回路網表現ユニットの
出力パターンと前記判別パターンとの一致／不一致を判
別する手段を含み、前記判別手段が不一致を示すとき前
記制御手段による結合強度の強化動作が禁止される。
【請求項６】請求項４記載の神経回路網表現装置であ
って、前記第２の神経回路網表現ユニットは、ニューロ
ン間の結合強度を表わすシナプス荷重値をスタティック
に保持するシナプス結合表現ユニットを含む。
【請求項７】請求項４記載の神経回路網表現装置であ
って、前記第２の神経回路網表現ユニットの各前記ニュ
ーロンユニットの発火／非発火を決定するしきい値を与
える基準電圧を振動させることを特徴とする。
【請求項８】請求項４記載の神経回路網表現装置であ
って、前記第２の神経回路網表現ユニットは、前記第１
の神経回路網表現ユニットの学習動作時に、その出力す
べきパターンを学習することを特徴とする。
【請求項９】請求項４記載の神経回路網表現装置であ
って、前記リフレッシュ指示は想起動作ごとに発生され
ることを特徴とする。