JPH02133888A

JPH02133888A - 集積回路及び半導体装置

Info

Publication number: JPH02133888A
Application number: JP63286693A
Authority: JP
Inventors: Takeshi Shima; 健島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1988-11-15
Filing date: 1988-11-15
Publication date: 1990-05-23
Anticipated expiration: 2013-05-18
Also published as: JP2752109B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的コ（産業上の利用分野）この発明は、文字認識・音声認識等の識別問題、ロボッ
ト等の運動の最適制御問題、一般のプロセス制御問題、
ニューロコンピューター等に広く利用される多層パーセ
プトロン回路装置に関し、特に拡張の容易となるように
構成された多層パセプトロン回路装置に関する。

（従来の技術）パーセプトロンは１９４０年代にローゼンブラットらに
より考案された層構造を持つニューラルネットワークで
ある。一般にこの層を多数持つパーセプトロンを多層パ
ーセプトロンと呼び第１７図で示すような構成を有して
いる。この様な構成は小脳あるいは大脳皮質にある神経
細胞の結線態様によく似ていることが知られており、そ
の情報処理能力に関する数学的解析がひろく行われてい
る。例えばコルモゴロフのｒｎ　　（２ｎ　＋１）個の
ニューロンを持つパーセプトロンは任意のｎ変数の連続
関数を表すことができる」という定理などがある。この
多層パーセプトロンのパラメータはニューロン間のサイ
ナップス接続の結合荷重であり、このパラメータを学習
方程式と呼ばれる偏微分方程式にしたがって更新してい
くことで自己組織または適応形のネットワークを構成す
る事ができる。最近ルンメルハートらによって誤差逆転
ばん学習アルゴリズムが開発され上記パラメータが最急
工法により求められることが発見された。

この様な歴史的背景を持つ多層バーセプトロンを第１７
図にしたがって詳細に説明する。

第１７図は三層パーセプトロンの場合を示している。第
１層は入力層と呼ばれ一般に複数ｎ１個のＳｒ　　（１
＝１．２．　・−・・、ｎ−）なるニューロンからなる
。第２層は中間層と呼ばれＡ＋（１＝１．２．・・・・
・・、ｎＡ）なるニューロンからなる。

第３層は出力層と呼ばれＲ１（１＝１．　２．・・・・
・ｎＲ）なるニューロンからなる。ただし、図では便宜
上ｎ　＠　”　ｎ　Ａ＝ｎ　Ｒ”’　３の場合について
示す。

サイナップス接続の結合荷重はＲＳ　＋　＋、ＲＡ　＋
　＋（１、ｊ　＝１．２．３）で表わされている。第１
図において信号は左から右に伝ばんするものとする。中
間層および出力層のニューロンＡ、あるいはＲ１には、
それぞれ結合荷重ＲＳ　＋　＋あるいはＲＡ、、で荷重
の施された入力層あるいは中間層のニューロンからの信
号の総和が入力される。

各ニューロンでの入力信号と出力信号とは通常、例えば
ロジスティック関数等単調な変化特性を有する非線形関
数による写像関係にある。

また、入力層ニューロンへの入力は外部より感覚器官刺
激信号に類似した信号をそれぞれのニューロンへあたえ
ることによりなされるものとし、また入力層以外のニュ
ーロンへの入力に対してはそれぞれにニーロンＡ１への入力）ｎ＝　Σ Ｒ８１＋＊（Ｓｔ小出力・・・・・・■ にューロンＲＩへの入力）＝、ΣＲＡ、、＊　（Ａ、の出力）　　・・・・・・■
コーｌで表わされるような荷重和演算が施されるものとする。

次に上記の誤差逆転ばん学習アルゴリズムを説明する。

これは最終層すなわち出力層にのみ教師信号が与えられ
る場合の学習アルゴリズムであり、次の式により、各荷
重値の更新が行われる。

ニューロンの入力信号ｙ＋　　（ｔ）から出力信号への
写像をＦ（＊）としたとき、Ｒ＋＋（ｔ＋Δｔ）＝αＲ＋＋（ｔ）＋ηε１Ｆ　（ｙ＋　　（ｔ））・・
・・・・■ ここで、Ｒ１，はＲＳ　＋　＋およびＲＡ、を代表し、
ηは上記更新式による各荷重値の最終的な値への遷移の
緩和を定めるための緩和係数であり、ε。

は誤差情報を有する信号でありニューロンが出力層にあ
るときは、 ε　１　＝（Ｔ＋　　Ｆ　（ｙ＋　　（ｔ）））Ｆ”　　（３／＋
　　（ｔ））・・・・・・■ で与えられ、ここで、Ｔ、は出力層内ニューロンｊに加
えられる教師信号を表わし、Ｆ−（＊）はＦ（＊）の微
分形を表わす。またニューロンが最終層にないときには
、このニューロンにおける誤差信号ε彦はこのニューロ
ンに出力側に隣接するニューロンにおけるε、を用いて・・・・・・■ で与えられる。

また、αは忘却係数と呼ばれる。α＝１は忘却のない場
合に対応し、αが１より小さいほど速かに忘却のなされ
る場合に対応する。

（発明が解決しようとする課題）上記多層バーセブトロンおよびそのパラメータの学習方
式、例えば上記誤差逆転ばん学習アルゴリズム等は、従
来第１７図で示すごとく模式的に表わされるかまたは簡
単なブレッドボードによる回路が組まれているに過ぎず
、また上記学習アルゴリズム等は机上計算あるいはコン
ピューターによるシュミレーション実験でその能力が調
べられているに過ぎず、例えば集積回路への具体的実現
方法に関する知見に欠けていた。

多層パーセプトロンを集積回路として実現するに際して
の第１の問題点としては前記第１７図で示される多層パ
ーセプトロンの配置・配線をどのように行うかという問
題がある。一般に、互いに向かい合う層間の相互結線は
、層内のニューロン数をｎとしたとき０２本必要となり
、ｎが大きいときには例えば配線が多層に重ならないよ
うによく洗練された配置・配線法が要請される。更に、
集積回路といえども何千万・同僚素子も集積できるわけ
ではないので、複数の集積回路を容易に結線できる拡張
容易性もまた要請される。第２の問題点としては上記誤
差逆転ばん学習アルゴリズムに関する問題があげられる
。すなわち、上記アルゴリズムにおいては最急工法の適
用可能性が示されてはいるが、アルゴリズムをどの様に
分けて回路のビルディングブロックを実際に構成するか
という知見に欠けていた。さらに第３の問題点としては
構成された大規模多層パーセプトロン回路装置をいかに
して一様動作させるかと言う技術を考案することもまた
要請されている。

従って、本発明の目的は上記多層パーセプトロンおよび
その学習方式、例えば上記誤差逆転ばん学習アルゴリズ
ムに代表される学習アルゴリズムを集積回路として実現
する上での種々の問題点を克服し、多層パーセプトロン
回路装置を提供することにある。

［発明の構成］（課題を解決するための手段）本発明の多層パーセプトロン回路装置は上記目的を達成
するため入力信号に所定の重み係数をもって荷重し出力
する複数の荷重演算手段を格子パターンをなすように配
置し、この荷重演算手段配置の格子パターン内各単位格
子の対向する所定の一対の辺が定める第１の方向に、上
記荷重演算手段に対し入力信号を供給する第１の配線を
配し、前記各単位格子の他の対向する一対の辺が定める
第２の方向に上記荷重演算手段の出力信号を入力する第
２の配線を配して構成される荷重演算ブロック装置を有
する。

あるいはさらに、上記荷重演算ブロック装置の第２の方
向の外縁に配列され、各々が入力信号を単調な変化特性
を持つ関数で変換しその結果を前記荷重演算ブロック装
置の第１の配線に出力する複数の変換手段からなる変換
ブロック装置を設ける。

（作用）荷重演算ブロック装置を前記のように構成すればその荷
重演算手段の数が多数の場合であっても内部結線および
外部結線の多層化あるいは錯綜化することはない。

複数の荷重演算ブロック装置と、複数の変換ブロック装
置とを前記のように組合せて配置したものをさらに反復
して配置することにより、任意の層数の多層パーセプト
ロン回路装置を実現することができる。

また、荷重演算ブロック装置を複数、格子パターンをな
すように配置することにより任意の規模の多層パーセプ
トロン回路装置を実現することができる。

（実施例）以下、図面を参照しながら本発明の実施例について説明
する。

一般に、本発明の多層パーセプトロン回路装置にあって
は、その荷重演算を行うブロックであるサイナップスブ
ロックを第１図に示すように構成する。すなわち、サイ
ナップスブロック１は複数ｎｘｍ個のサイナップス２、
同じ方向に配列されたｎ本の信号線路から構成される第
１の配線３およびｎ本の信号線路から構成された第２の
配線４を有しており、各サイナップス２は第１の配線３
から信号を入力し所定の重み係数をもって荷重演算を行
いその結果を第２の配線４に出力する。

第１図に示されるように、複数ｎ　ｘｍのサイナップス
２は全体として格子状に配列されている。

第１図に示されるように隣り合う４つのサイナッブスの
定める１つの基本格子を任意に選んだとき、その対向す
る２つの辺ａ、ｂの定める方向、すなわち第１の配線３
の方向が特許請求の範囲で述べた第１の方向に相当する
。同様に対向する２つの辺ｃ、ｄの定める方向、すなわ
ち第２の配線４の方向が特許請求の範囲で述べた第２の
方向に相当する。

また、サイナッブスブロック１の外縁にはニュロンブロ
ック５が設けられている。ニューロンブロック５は複数
ｎのニューロン６を有している。

ニューロンブロック５はその外部から入力された信号に
所定の変換を施し、その結果を第１の配線３を介してサ
イナップスブロック１に出力する。

ニューロンブロック５内ニユーロン６はサイチップスブ
ロック１内第２の配線４の方向に配列されている。

ニューロン６は、特許請求の範囲で述べた変換手段に相
当する。

二ニーロンブロック５が特許請求の範囲、請求項３記載
の変換ブロック装置に相当し、サイナップスブロック１
が特許請求の範囲、請求項１記載の荷重演算ブロック装
置に相当する。

サイナッブスの配置態様として第１図に示すところのも
のに限られるわけではなく任意の格子状配列、例えば長
方形もしくは四辺形格子状配列とすることができる。

第２図に、第１図に示されるサイナッブスブロックとニ
ューロンブロックとの組合せを２段繰り返した構成を有
する本発明の多層パーセプトロン回路装置７を示す。

ニューロンブロック８および９はそれぞれザイナッブス
ブロック１０あるいは１１に信号を供給するためのもの
であり、第１図の二ニーロンブロック５と同一の機能を
有し、第２図に示される配置態様は請求項４の記載に対
応する。

すなわち、図において矢印は信号の流れる方向を示すが
、ニューロンブロック９の信号入力側と出力側にそれぞ
れサイナッブスブロック１０および１１が配置されてお
り、このときニューロンブロック９内複数個のニューロ
ンの配列方向はサイカップスブロック１１内第２の配線
方向およびサイカップスブロック１０内第１の配線方向
に等しい。

なお、第２図には便宜上反復段数が２の場合を示したが
、この段数は任意であり、この段数を容易かつ合理的に
、任意の段数に構成できるという点に、本発明の主要な
効果の１つが存する。

第３図に第２図の出力層ニューロンブロック１２の構成
態様を示す。すなわち、ニューロンブロック１２は複数
ｍのニューロン１３を有しており、これらのニューロン
１３はサイナップスブロック１１の第１の配線の配列方
向の外縁にサイナップスブロック１１の第１の配線の配
列方向に配列されている。

一般に、例えば多層パーセプトロン回路装置７が自己学
習機能を有するような場合、ニューロン６と１３との構
成は異なる。

本発明の多層パーセプトロン回路装置はこのような一般
的な構成を有するものであるが、次にその具体的実施例
を述べる。　第４図に本発明の実施例の自己学習機能を
有する多層パーセプトロン回路装置１４におけるニュー
ロンブロックとサイナップスブロックの配置態様を示す
。

本発明の多層パーセプトロン回路装置１４は、第２図に
おけるニューロンブロック９とサイナップスブロック１
１との組合せを４段反復して構成されており、ニューロ
ンブロック１５．１６．１７．１８．１９とサイナップ
スブロック２０，２１．２２および２３を有している。

第５図に示されるのは、多層パーセプトロン回路装置１
４の出力層教師信号入力用の二ニーロンブロック１９を
含む部分であり、信号の流れにおいて最終段のサイナッ
プスブロック２３と、サイナップスブロック２３の外縁
に配置され、サイナップスブロック２３に信号を出力す
るためのニューロンブロック１８を有している。

ニューロンブロック１８はサイナップスブロック２３の
第２の配線２４の配列方向に配列される複数ｎ個のニュ
ーロン２５から構成される。

二ニーロンブロック１９はサイナップスブロック２３の
第１の配線２６の配列方向に配列される複数ｍ個のニュ
ーロン２７から構成される。

サイナップスブロック２３は格子状に配列されたｎｘｍ
個のサイナップス２８、第１の配線２６、第２の配線２
４、誤差信号入力用配線２９、誤差信号出力用配線３０
から構成される。第５図に示されるように、第１の配線
２６及び第２の配線２４の配列方向はサイナップス２８
の内部構成もしくは入出力端子の配置態様から自と定ま
る。

本実施例の多層パーセプトロン回路装置１４は前記誤差
逆転ばん学習アルゴリズム方式による自己学習機能を実
現したものであり、各サイナップスで荷重演算を施され
て多層パーセプトロン回路装置１４を伝ばんする信号と
は逆の方向、すなわち、ニューロンブロック１９からサ
イナップスブロック２３へ、さらにニューロンブロック
１８の方向へ誤差信号が伝ばんしてゆき、各サイナップ
ス内荷重値を更新してゆく。

第６図はサイナップス２８の構成を示す。サイナップス
２８は荷重乗算部３１と２つの乗算手段３２．３３を有
する。荷重乗算部３１は第１の配線２６から信号を入力
し、演算結果を第２の配線２４に出力する。

第７図にサイチップス２８内荷重乗算部３１の構成を示
す。この荷重乗算部３１は第１の配線２６から信号を入
力し、この信号値にギルバートマルチプライアーにより
所定の乗率を乗算し、その結果を第２の配線２４に出力
する。この際の乗率は可変電圧源部３４における電圧設
定を通じて設定される。この乗率が前記サイナッブスの
荷重値に相当する。

第８図に前記可変電圧源部３４の構成を示す。

可変電圧源部３４は、静電容量部３５、ＭＯＳスイッチ
回路３６、ＭＯＳスイッチ回路３６と静電容量部３５と
の間に設けられた抵抗３７とからなる、電圧１２１を発
生させる部分と、同様な構成を有する電圧１２２を発生
させる部分とからなり、ＭＯＳスイッチ回路３６、ＭＯ
Ｓスイッチ回路４０制御のため制御信号φ、および乗算
手段３２の出力である差動対信号１０１を構成する２つ
の成分１０１ａおよび１０１ｂを入力している。

第９図にサイチップスブロツク２３内電流電圧変換部４
１の構成を示す。各電流電圧変換部４１はサイナッブス
ブロック２３内第２の配線２４の各々の信号線に対して
設けられ、一端が電源に接続された抵抗を有しそれが接
続されている信号線に接続されている電流源としての各
サイナップスからの電流出力の総和に比例した電位をそ
の接続されている信号線上に発生する。

この電位は第２の配線内各信号線を介して隣接するニュ
ーロンブロック１９にサイチップスブロック２３出力と
して出力される。この様な構成をとることにより拡張容
易性が実現される。

なお、第９図においては各サイナップスはその出力がそ
の外部からの信号により制御される電流源の記号をもっ
て表示されている。

第１０図はニューロン２５の構成を示す図である。各ニ
ューロン２５は第２の配線を通じて隣接するサイナッブ
スブロックから人力された信号１ｄ２に、関数変換部４
２にてロジスティック関数による変換を施しサイナップ
スブロック２３の第１の配線２６に出力するものであり
、この関数変換部４２の他に、多層パーセプトロン回路
装置１４の自己学習機能を実現するため微分関数変換部
４３、および乗算手段４５を有する。また、隣接するサ
イナップスブロックから誤差信号出力用配線３０を介し
て誤差信号ｍを入力する。

第１１図にニューロン２５内関数変換部４２の構成を示
す。関数変換部４２は差動増幅器により構成される。第
１１図に示される構成方法をとることによって関数変換
部４２を簡単に構成することが可能となる。

第１２図は教師信号を入力する出力層ニューロンブロッ
ク１９内ニユーロン２７の構成を示す。

ニューロン２７は前記ニューロン２５と同様に関数変換
部４２の他に、自己学習機能実現のため微分関数変換部
４３、乗算手段４５を有し、また減算手段４６を有する
。

第１３図はニューロン２フ内減算手段４６の構成を示す
。減算手段４６は差動対信号である関数変換部４２出力
１０５の１つの成分１０５ａと、教師信号Ｔとを入力し
、両者の差演算を行い、その結果をニューロン２７内乗
算手段４５に出力する。

減算手段４６は連動するスイッチ回路５０，５１および
５２．５３を有しており、これらのスイッチ回路の開閉
は前記制御信号φおよびその反転信号であるＴによって
制御される。

また、第１４図にその構成態様を示すように多層パーセ
プトロン回路装置１４内各サイナップスブロック５４は
第１の配線２６上隣接するニューロンブロックからの信
号が当該サイナップスブロック内各すイナッブスに供給
される途上に信号減衰補償手段５５を有している。

第１および第２の配線上の信号は第７図に示されるよう
に差動対信号として実現される。こうすることによって
電源電圧の変動等によって生じる同相雑音の影響が回避
される。また、同様の目的のため、誤差信号入力用の配
線を介して各サイナッブスに入力される信号、誤差信号
出力用配線上の信号、さらにサイナップスおよびニュー
ロン内信号、例えば乗算器３３出力信号１０１および関
数変換部４２出力信号１０５等も差動対信号として実現
される。

次に上記のような構成を有する本実施例の多層パーセプ
トロン回路装置１４の機能について説明する。

第６図のサイチップス２８内荷重乗算部３１は第１の配
線２６から信号を入力し、この入力信号に荷重値として
の乗率をもって乗算を施す。

このようなサイナップス内乗率の集合の各々が多層パー
セプトロン回路装置１４の各記憶内容に対応している。

各乗率の設定は、荷重乗算部３１内可変電圧源部３４に
おける電圧設定を通じて行われる。

すなわち、第８図に示されるように構成される可変電圧
源部３４において、前記第６図の第１の配線２６からの
入力信号１０３及び第６図の誤差信号入力用配線２９か
らの入力信号との乗算器３３における乗算結果である差
動対信号１０１の第１の成分である信号１０１ａによる
静電容量部３５の充電を、制御信号φでＭＯＳスイッチ
回路３６の開閉を制御することにより制御して静電容量
部３５の帯電量を制御して前記第７図可変電圧源３４と
して可変に電圧１２１を発生せしめるものである。同様
に制御信号φによりＭＯＳスイッチ回路４０の開閉を制
御し、信号１０１の第２の成分である信号１０１ｂによ
る静電容量部３８の充電を制御することにより可変に電
圧１２２を発生する。

制御信号φは一定のパルス幅を有するパルス信号であり
、この制御信号がハイレベルであるとき信号１０１ａが
抵抗３７を介して静電容量部３５に入力される。同様に
制御信号φがハイレベルのとき、信号１０１ｂが抵抗３
９を介して静電容量部３８に人力される。これによる制
御信号φの各パルス毎の静電容量部３５．３８電極間電
位差の変化分が荷重乗算部３１内ギルバートマルチプラ
イアにおける乗率の変化分、すなわち荷重値の変化分を
与え、またこれは前記式■の右辺第２項の乗算を実現す
る。

このようにして、各サイナッブスの荷重値の更新がなさ
れるが、この更新は後に述べる出力層ニューロン２７内
減算手段４６の演算結果、すなわち誤差信号の絶対値が
減少する方向に行われる。

こうして更新された荷重値と第１の配線２６からの入力
信号１０３との乗算を荷重演算部３１にて行い、その結
果が第２の配線２４に出力される。

こうして得られた、サイナッブスブロック内の第２の配
線２４の１つの信号線に接続されたｎ個のサイナップス
からの信号は、第９図の電流電圧変換部４１で各サイナ
ップスからの出力電流の総和に比例した電圧に変換され
る。

電流電圧変換部４１で得られた結果１０２は、第２の配
線２４を介して隣接するニューロンブロック１９に供給
される。ここでは、第４図にもとずき説明しているが、
一般に最終段ではないサイナップスブロックの場合は加
算手段の結果を第４図に二ニーロンブロック１６，１７
．１８として示される中間層のニューロンブロックに出
力する。

各二ニーロンブロックではまず、隣接するサイナッブス
ブロックから入力された信号１０２に対して単調で非線
形な変化特性をもつロジスティック関数による変換が行
われる。

すなわち、入力された信号は差動増幅器から構成される
関数変換部４２に入力される。

単調な特性を持つ関数変換は、差動増幅器を用いる方法
以外でも実現可能であるが、第１１図に示すように差動
増幅器を用いて構成すれば飽和特性を持つと言うニュー
ロンの動作の特徴を簡単に実現することができる。

教師信号Ｔ人力用の最終層ニューロンブロック１９内ニ
ユーロン２７では、関数変換部４２の出力１０５と教師
信号Ｔとの差、すなわち誤差を表現するパルス信号が減
算手段４６において生成される。

減算手段４６は第１３図に示される４つのスイッチ回路
５０ないし５３を後述の態様にて切り替えることにより
誤差信号を、教師信号Ｔと関数変換部４２出力信号１０
５の差に比例したパルス波高値を有するパルス信号値と
して生成する。

すなわち、前記ＭＯＳスイッチ回路３６．４０に対する
パルス制御信号φを用い、制御信号φがハイレベルにあ
るときスイッチ５０および５１が閉じ、スイッチ５２お
よび５３が開き、他方ローレベルにるあときスイッチ５
２および５３が閉じ、スイッチ５０および５１が開くよ
うに各スイッチの開閉が制御され、減算手段４６の出力
には２つの入力信号の差、すなわち教師信号Ｔから関数
変換部４２出力１０５を引いた値に等しい波高値を有す
るパルス信号が得られる。

このように誤差信号をパルスの波高値として表現するこ
とにより、例えば電源電圧の変動に伴う同相モードの雑
音発生の問題を解消することができる。

このパルス信号は前記式■右辺の項の第１の因子に相当
するものであり、第７図に示されるものと同様にギルバ
ートマルチプライアーおよびカレントミラー回路を用い
て構成される乗算手段４５の一方の入力端子に出力され
る。

乗算手段４５の他方の入力端子には微分関数変換部４３
からの信号が入力されている。微分関数変換部４３の出
力信号は、関数変換部４２に入力される信号１０２に対
して、関数変換部４２での関数変換に用いられるロジス
ティック関数の導関数を用いてなされた関数変換結果と
しての意味を有する。　乗算手段４５において前記式■
で表現される誤差が演算される。

サイナッブスブロック２３内各サイナップスは誤差信号
入力用配線２９を介して得られたパルス誤差信号を入力
する。　こうして入力した誤差信号を前記したように各
サイナップスはその荷重値更新のため利用する。　サイ
ナッブスブロック２３に隣接するニューロンブロック１
８内ｊ番目のニューロンへのサイナップスブロック２３
からの誤差信号の出力は次のようにして行われる。すな
わち、ニューロンブロック１９内に番目のニューロンか
らサイチップスブロック２３内に列目ｊ行目のサイナッ
ブスに入力された誤差信号ξ、はこのサイナップス内乗
算手段３２において更新された荷重値との積が演算され
る。この演算結果は電流信号として誤差信号出力用配線
３０に出力される。　誤差信号出力用配線３０の各信号
線上には第９図に示されるものと同様の態様にて電流電
圧変換手段が設けられており、この電流電圧変換手段に
より、各信号線に接続された各サイナッブスからの誤差
信号電流出力の総和に比例した電位、すなわち前記式■
右辺のΣを含む因子に対応した電位が、この信号線上に
発生せしめられる。

ニューロンブロック１８は誤差信号出力用配線３０を介
して、上記電位を入力し、この値を用い各ニューロン２
５内乗算手段４５において、前記式■により誤差信号を
演算する。

演算された誤差信号は、ニューロンブロック１８に隣接
するサイナップスブロック２２に供給され、以下同様に
して誤差信号は、第１の配線および第２の配線を伝ばん
する信号とは逆の方向に、すなわちサイナップスブロッ
ク２３、ニューロンブロック１８、サイナップスブロッ
ク２２．・・・入力層ニューロンブロック１５へと伝ば
んする。

自己学習機能を実現するため、ニューロンブロック１８
等教師信号を入力する最終層ではないニューロンブロッ
ク内容ニューロン２５は前記ニューロン２７と同様に微
分関数変換手段４３を有しており、この微分関数変換手
段４３に、隣接するサイナップスブロックから第２の配
線２４を通じて信号１０２を入力し単調な特性を有する
関数、すなわち今の場合ロジスティック関数の微分関数
による変換を施し、前記式右辺のΣを含む因子に対する
乗算因子に相当するこの結果をニューロン２５内乗算手
段４５の一方の入力端子に出ノＪする。

この場合においても、ニューロン２５内微分関数変換手
段４３は実際には第１２図に示されるように内部に関数
変換部４２を含むように構成される。

ニューロン２５内乗算手段４５にて演算された誤差信号
ξ、を誤差信号入力用配線２９を介して隣接するサイナ
ッブスブロック２２が入力し、既述の処理を行う。

第５図に示したように規則的に各信号用配線、サイナッ
ブスおよびニューロンを配列することにより、各部間の
結線の簡素化がなされる。すなわち、このように規則的
な構成としない場合には、多層結線となることが避けら
れないが、本実施例のように構成することにより信号線
は回路規模にかかわらず高々２層となるにすぎない。

さらに、規則的構成とすることにより、層数を増大する
ことが極めて容易となる。すなわち、第４図に示される
態様以外に、例えばスパイラル状もしくはジグザグ状に
サイナップスブロックとニューロンブロックとの組合せ
を所要数反復して設けることにより任意の層数の多層パ
ーセプトロンを実現することができる。

なお、人力層ニューロンブロック１５内ニューロンにあ
っては、微分関数変換部４３および乗算手段４５は省略
することができる。

第１５図に本発明の他の実施例の多層パーセプトロン回
路装置５９におけるサイナップスブロックおよび二ニー
ロンブロックの構成を示す。すなわち、本実施例のサイ
ナップスブロック６０は、格子状に配列された複数ｎＸ
ｍの単位サイナップスブロック６１から構成されており
、多層パーセプトロン回路装置５９は全体として１つの
ウェーハ上に形成されている。

各単位サイナッブスブロック６１は、前記第１の実施例
のサイナップスブロック２３と同様の構成を有し、１つ
の集積回路として実現されている。

また、ニューロンブロック６２も各々前記二ニーロンブ
ロック１８と同様の構成を有し集積回路として実現され
た複数の単位ニューロンブロック６３から構成され、そ
の配列態様は前記多層パーセプトロン回路装置１４にお
ける、サイナップスブロック２３に対するニューロン２
５の配列態様に等しい。

ニューロンブロック６４も同様に、各々前記ニューロン
２７の構成を有し、集積回路として実現された複数の単
位二ニーロンブロック６５から構成され、それらの単位
ニューロンブロック６５の配列は前記サイナップスブロ
ック２３に対するニューロン２７の配列態様に等しい。

サイナッブスブロック６０において、第１５図において
矢印Ｉとして示される各単位ブロックの第１の方向に隣
り合う単位サイナップスフロック間に、両者の第１の配
線を接続する結線７０を施し、他方矢印■として示され
る第２の方向に隣り合う単位サイナップスフロック間に
、両者の第２の配線を接続する結線７１を施す。

このように、各々集積回路として実現された単位サイナ
ッブスブロック、単位ニューロンブロックを複数個配置
することにより任意規模のパーセプトロン回路を実現す
ることができ、例えば、一つの集積回路として実装でき
る素子数に現実的上限があることからくる回路規模に対
する制約を受けることもない。

また、例えば第１５図に示される態様にて回路規模を拡
大する場合、既に構成されている部分の内部に同等変更
を加える必要はない。さらに、本実施例にあっては各単
位サイナッブスブロック毎に第９図に示される態様にて
電流電圧変換手段が設けられているので、各電流電圧変
換手段の構成に変更を施すことなく、サイナップスブロ
ックの第２の配線の各信号線上に、この信号線に接続さ
れている各サイナッブスからの電流出力信号の総和に比
例する所定の電位を得、隣接するニューロンブロックへ
出力することができる。

また、本実施例にあっても、前記多層パーセプトロン回
路装置１４の場合のように、信号減衰に対する補償手段
が設けられており、電流電圧変換手段を介してのサイナ
ップスブロックおよびニューロンブロック間信号入出力
方法がとられている。

これにより、拡張性が一層確実なものとされ、また回路
全体の一様動作性が実現されている。

また、本発明の実施態様としては上記されたところのも
のに限られるわけではなく、例えば第８図に示される可
変電圧源部において、コンデンサの代りにＡ／Ｄコンバ
ータ、ラッチ回路およびＤ／Ａコンバータを組み合せて
同様の機能を実現してもよく、この場合も前記と同様長
時間の記憶が可能となる。コンデンサとして強誘電性静
電容量手段を用いることができ、この場合分極により値
を保持できるので長時間の記憶が可能となる。

また、可変電圧源部を、電気的に書き替え可能なＥＥＰ
ＲＯＭを用いて構成し、サイナッブス内結合荷重の値を
長期間保持するように構成することもできる。この構成
をとることにより、信頼性の高い多層パーセプトロン回
路装置を実現することができる。

また、可変電圧源部においてＣＲ回路の代りに、完全な
積分作用を行う積分回路を用いてもよい。

このように構成することにより、最終層ニューロンブロ
ック内誤差信号を最終定常状態で０レベルにすることが
できる。

さらに、可変電圧源部を第１６図に示すように構成して
もよい。

すなわち、この構成にあっては制御信号φがハイレベル
のときスイッチ回路８０．８１が閉じ、スイッチ回路８
２．８３が開き、静電容量部８４゜８５にはそれぞれ信
号１０１ａあるいは１０１ｂに比例した量の電荷が蓄積
される。

一方、制御信号φがローレベルのとき、すなわち信号Ｔ
がハイレベルのときスイッチ回路８２゜８３が閉じ、ス
イッチ回路８０．８１が開き、静電容量部８４．８５に
蓄えられている電荷が静電容量部８６．８７に移動する
。

このとき、静電容量部８４．８５．８６および８７の静
電容量値をそれぞれＣ，、Ｃ２，Ｃ３およびＣ４とする
とＣ：ｌ／ＣＩあるいはＣ４／Ｃ２を適当に選定するこ
とにより、記憶の蓄積速度および忘却速度を任意に設定
することができる。

すなわち、初期状態で静電容量部８６．８７の蓄積電荷
量がＯであるとき、Ｔがハイレベルとなり８４．８５に
蓄積されている電荷が静電容量部８６．８７に移動する
量は、Ｃ３／（Ｃ１十Ｃ３）あるいはＣ４／　（Ｃ２＋
Ｃ４）に比例し、しだがってＣ１に対するＣ３の比ある
いはＣ２に対するＣ４の比が大きいほど大きくなる。こ
の意味で、記憶の蓄積速度は大きくなる。

また、記憶が完全になされ、信号１０１ａと１０１ｂと
が等電位となって安定した場合、Ｔのハイレベルで静電
容量部８６に接続された静電容量部８４あるいは静電容
量部８７に接続された静電容量部８５に蓄積された電荷
が次の制御信号φのハイレベルの期間においてｉ号１０
１ａ、１０１ｂの経路を通じて外部に放電されるが、こ
の電荷量が記憶の忘却量に相当する。

したがって、比Ｃ，／Ｃ３あるいはＣ２／Ｃ４が大きい
ほど忘却速度は大きくなる。

したがって、比Ｃ，／Ｃ３およびＣ２／Ｃ４の設定を通
じて、記憶の蓄積速度および忘却速度を可変に設定する
ことができる。

また、第２の実施例の多層パーセプトロン回路装置５９
において、サイチップスブロック６０全体を１つの集積
回路として構成し、ニューロンブロック６２あるいは６
４を第１５図に示されるように各々が集積回路として実
現された複数の単位ニューロンブロックに分割して構成
してもよい。

また、サイナップスブロックあるいはニューロンブロッ
クを分割して構成する場合各集積回路を必ずしも共通の
１つのウェーハ上に形成する必要はない。さらに、全体
として１つのウェーハ上に形成されると否とにかかわら
ず、サイナッブスブロックあるいはニューロンブロック
を前記のように分割して構成する場合、集積回路の配列
およびそれらの間の結線態様としては必ずしも第１５図
に示されるような規則的なものとする必要はない。

［発明の効果］以上述べてきたところから明らかなように本発明により
次のような効果が得られる。

すなわち、多層パーセプトロン回路装置内すイナップス
ブロック、およびニューロンブロックを所定の規則性を
もって、配列・構成するので任意の層数および規模に回
路を拡張することができる。

また、多層化あるいは大規模化した場合であっても、信
号減衰等の問題、あるいは接続にともなう回路変更等の
問題の生じることはない。さらに回路全体の一様動作が
達成される。

【図面の簡単な説明】

第１図は本発明の多層パーセプトロン回路装置のサイナ
ップスブロックおよびニューロンブロックにおける、サ
イナップスとニューロンの配列の態様を示す図、第２図
および第３図は本発明の多層パーセプトロン回路装置に
おけるサイナップスブロックとニューロンブロックの配
列態様を示す図、第４図は、本発明の第１の実施例の多
層パーセプトロン回路装置におけるサイナップスブロッ
クとニューロンブロックの配列態様を示す図、第５図は
本発明の第１の実施例の多層パーセプトロン回路装置の
サイナップスブロックおよびニューロンブロックにおけ
るサイナップスとニューロンの配列態様を示す図、第６
図、第７図、第８図、第９図、第１０図、第１１図、第
１２図、第１３図および第１４図は本発明の第１の実施
例の多層パーセプトロン回路装置のサイナップス、荷重
演算部、可変電圧源部、電流電圧変換部、ニューロン、
関数変換部、出力層内ニューロン、減算手段、および信
号減衰補償手段の内部構成態様を示す図、第１５図は本
発明の第２の実施例におけるサイナップスブロックとニ
ューロンブロックの配置・構成態様を示す図、第１６図
は可変電圧源部に対する第８図のものとは別の構成態様
を示す図、第１７図は多層パーセプトロン回路装置の一
般的構成を示す図である。１．１０．１１．２０，２１．２２．２３゜５４．６０
．６１・・・サイナッブスブロック２．２８・・・サイ
ナップス３．２６・・・第１の配線４．２４・・・第２の配線５．８．９．１２，１５，１６．１７，１８゜１９．６
２．６３，６４．６５・・・ニューロンブロック６．１３，２５．２７・・・ニューロン７．１４．５９
・・・多層パーセプトロン回路装置２９・・・誤差信号
入力用配線３０・・・誤差信号出力用配線３１・・・荷重乗算部３２．３３．４５・・・乗算手段３４・・・可変電圧源部３５．３８・・・静電容量部３６．４０・・・ＭＯＳスイッチ回路４１・・・電流電圧変換部４２・・・関数変換部４３・・・微分関数変換部４６・・・減算手段５０．５１．５２．５３・・・スイッチ回路５５・・・
信号減衰補償手段８０．８１．８２，８３゜・・・ＭＯＳスイッチ回路８４．８５．８６．８７・・・静電容量部１０１・・・
荷重値更新用乗算手段出力信号１０２・・・第２の配線
上の信号１０３・・・第１の配線上の信号１０５・・・関数変換部出力信号１１１・・・誤差信号出力用配線上の信号φ・・・制御
信号Ｔ・・・教師信号１２１．１２２・・・乗率設定電圧

Claims

【特許請求の範囲】

（１）入力信号に所定の重み係数をもって荷重し出力す
る複数の荷重演算手段を格子パターンをなすように配置
し、この荷重演算手段配置の格子パターン内各単位格子
の対向する所定の一対の辺が定める第１の方向に、上記
荷重演算手段に対し入力信号を供給する第１の配線を配
し、前記各単位格子の他の対向する一対の辺が定める第
２の方向に上記荷重演算手段の出力信号を入力する第２
の配線を配して構成される荷重演算ブロック装置を有す
ることを特徴とする多層パーセプトロン回路装置。
（２）荷重演算ブロック装置の第１の方向の外縁に配列
され、各々がこの荷重演算ブロック装置の第２の配線か
らの信号を入力し単調な変化特性を持つ関数による変換
を施す複数の変換手段からなる変換ブロック装置を有す
ることを特徴とする請求項１記載の多層パーセプトロン
回路装置。
（３）荷重演算ブロック装置の第２の方向の外縁に配列
され、各々が外部から信号を入力し単調な特性を持つ関
数変換を施しその結果を前記荷重演算ブロック装置の第
１の配線に出力する複数の変換手段からなる変換ブロッ
ク装置を有することを特徴とする請求項１記載の多層パ
ーセプトロン回路装置。
（４）入力信号に所定の重み係数をもって荷重し出力す
る複数の荷重演算手段を格子パターンをなすように配置
し、この荷重演算手段配置の格子パターン内各単位格子
の対向する所定の一対の辺が定める第１の方向に、上記
荷重演算手段に対し入力信号を供給する第１の配線を配
し、前記各単位格子の他の対向する一対の辺が定める第
２の方向に上記荷重演算手段の出力信号を入力する第２
の配線を配して構成される複数の荷重演算ブロック装置
と、各々が外部から信号を入力し単調な特性を持つ関数
変換を施しその結果を前記荷重演算ブロック装置の第１
の配線に出力する複数の変換手段からなる複数の変換ブ
ロック装置とを、各変換ブロック装置の信号入力側に１
つの荷重演算ブロック装置が、その第１の方向がこの変
換ブロック装置内変換手段の配列方向に一致するように
配置され、信号出力側に他の１つの荷重演算ブロック装
置が、その第２の方向がこの変換ブロック装置内変換手
段の配列方向に一致するように配置して構成したことを
特徴とする多層パーセプトロン回路装置。
（５）入力信号に所定の重み係数をもって荷重し出力す
る複数の荷重演算手段を格子パターンをなすように配置
し、この荷重演算手段配置の格子パターン内各単位格子
の対向する所定の一対の辺が定める第１の方向に、上記
荷重演算手段に対し入力信号を供給する第１の配線を配
し、前記各単位格子の他の対向する一対の辺が定める第
２の方向に上記荷重演算手段の出力信号を入力する第２
の配線を配して構成される複数の荷重演算ブロック装置
を格子パターンをなすように配置し、前記第１の方向に
隣り合う荷重演算ブロック装置間に両者の第１の配線を
接続する結線を施し、前記第２の方向に隣り合う荷重演
算ブロック装置間に両者の第２の配線を接続する結線を
施すことによって構成された荷重演算ブロック装置を有
することを特徴とする多層パーセプトロン回路装置。