JPH07104847B2

JPH07104847B2 - ニューロコンピュータ

Info

Publication number: JPH07104847B2
Application number: JP1-502606A
Authority: JP
Inventors: 英樹吉沢; 宏基市來; 英樹加藤; 義英杉浦; 和雄浅川; 裕之都築; 秀一遠藤; 貴川崎; 俊春松田; 主税土屋; 勝哉石川; 弘岩本
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1988-08-31
Filing date: 1989-02-23
Publication date: 1995-11-13
Anticipated expiration: 2010-11-13
Also published as: JPH07104847B1

Description

【発明の詳細な説明】技術分野本発明は、ニューロコンピュータに関し、特に、アナロ
グニューロンチップをアナログ時分割伝送路により結合
することで実現されるニューロコンピュータに関するも
のである。

背景技術従来の逐次処理コンピュータ（ノイマン型コンピュー
タ）では、使用方法や環境の変化に応じてコンピュータ
のデータ処理機能を調節することが難しいので、適応性
を有するデータ処理方式として、新たに階層ネットワー
クによる並列分散処理方式が提唱されてきている。特
に、バックプロパゲーション法と呼ばれる処理方式（D.
E.Rumelhart,G.E.Hinton,and R.J.Williams,“Learning
Internal Representations by Error Propagation,"PA
RALLEL DISTRIBUTED PROCESSING,Vol.1,pp.318−364,Th
e MIT Press,1986）が、その実用性の高さから注目され
ている。

バック・プロパゲーション法では、基本ユニットと呼ぶ
一種のノードと重みを持つ内部結合とから階層ネットワ
ークを構成している。第１図に、基本ユニット１の原理
構成を示す。この基本ユニット１は、連続ニューロンモ
デルに類似した処理を実行する。すなわち、これは多入
力一出力系となっており、複数の入力｛Y_h｝に対しそれ
ぞれの内部結合の重み｛W_ih｝を乗じる乗算処理部２
と、それらの全乗算結果を加算する累算処理部３と、こ
の加算値に非線形の閾値処理を施して１つの最終出力X_i
を出力する閾値処理部４とを備える。第２図は階層型ニ
ューラルネットワークの構成概念図である。構成の多数
の基本ユニット｛１−h,1−i,1−ｊ｝が、第２図に示す
ように階層的に接続されることで、入力信号パターンに
対応するところの出力信号パターンが出力されることに
なる。

学習時には、出力パターンと目的とする教師パターンの
差が小さくなるように、各階層間の結合の重み｛W_ih｝
が決定される。このような学習は、複数の入力パターン
に対して行われ、多重化される。また、連続時には、入
力パターンが学習時に入力した完全情報と少し異なる不
完全な情報であっても、学習時の教師パターンに近い出
力パターンが得られることにより、連想処理が可能とな
る。

このような構成のニューロコンピュータを現実のものと
していくためには、階層ネットワークを構成することに
なる基本ユニット１間のデータの授受を、できる限り少
ない配線本数で実現していく必要がある。このことは、
複雑なデータ処理を実現していくために、階層ネットワ
ークの構成をより多層化したり、基本ユニットの数を増
していく必要があるという背景のもとで、どうしても解
決していかなくてはならない課題の１つなのである。

しかしながら、先に説明したデータ転送方式では、第２
図に示す階層ネットワークの構成からも明らかなよう
に、２つの層間の配線本数が極めて多くなることから、
階層ネットワークをチップ化するときに、小さくできな
くなると共に、信頼性を高めることができなくなるとい
う問題点がある。例えば、隣接する２つの層の基本ユニ
ット数が同じとし、すべての基本ユニット１が互いに接
続されるという完全結合を想定するならば、配線本数は
基本ユニット数の２乗に比例して増加することになる。
このように、配線本数が急激に増加してしまう。

発明の開示本発明はかかる事情に鑑みてなされたものであって、少
ない配線本数で階層ネットワークを構成する基本ユニッ
ト間でのデータの授受を実現できるようにすることで、
ネットワーク構成データ処理装置を実現できるようにす
ることを目的とするものである。

第３図は本発明はニューロコンピュータのシステムブロ
ック図である。

ニューラルネットワーク18は各層の入力側にある共通の
第１のアナログバスからアナログ信号を時分割で入力し
デジタル重みデータを用いて積和演算を実行してアナロ
グ信号をその層の出力側にある共通の第２のアナログバ
スに出力するアナログニューロプロセッサ（以下ANPと
記す）の集合を層とする少なくとも１層以上のネットワ
ークである。

制御パターンメモリ12は前記ニューラルネットワークの
制御信号のパターンを格納する。重みメモリ14は重みデ
ータを格納する。シーケンサ13は該制御パターンメモリ
12及び重みメモリ14のアドレスを発生する。デジタル制
御手段15はMPUと主記憶を有する汎用の処理装置であっ
てネットワーク18とD/A及びA/Dコンバータ16,17を介し
て接続され、前記ニューラルネットワーク、制御パター
ンメモリ、シーケンサ、重みメモリの全体を制御する。
本発明はこのようにしてニューロコンピュータシステム
を構成する。

アナログ入力信号を時分割でアナログニューロチップに
入力し、この信号と重みデータとの積を取り、この積信
号をそれぞれ加算して得られる積和信号を非線形関数回
路を通して出力することによりアナログニューロチップ
を構成する。このアナログニューロチップを複数個用い
て階層型あるいは帰還型のニューラルネットワーク18を
構成し、このニューラルネットワーク18にシーケンサ13
によってアクセスすべきアドレスが与えられた制御パタ
ーンメモリ12から出力される制御信号を加える。またニ
ューラルネットワーク18には学習等によって得られる重
みデータが重みメモリ14から供給される。そしてニュー
ラルネットワーク18、制御パターンメモリ12、シーケン
サ13、重みメモリ14はディジタル制御手段15のディジタ
ル信号によって制御され、且つ管理される。また、ディ
ジタル制御手段15内のMPUでは、特に、学習アルゴリズ
ムが実行され、かつ出力信号のチェックなどが行われ
る。このようにして、時分割アナログ入力信号と時分割
アナログ出力信号を用いることを特徴とするアナログニ
ューロコンピュータシステムが実現される。

図面の簡単な説明第１図は、ニューロンモデルの基本ユニットの原理構成
図、第２図は、階層型ニューラルネットワークの構成概念
図、第３図は、本発明のニューロコンピュータの原理ブロッ
ク図、第4A図は、本発明のアナログニューロプロセッサANPの
チップから構成されたパッケージの概略図、第4B図は、本発明のANPの内部構成図、第５図は、本発明のアナログニューロプロセッサの原理
構成図、第６図は、本発明の基本ユニットの一実施例のブロック
図、第７図は、本発明の基本ユニットの実施例の具体的回路
図、第８図は、本発明の基本ユニットの他の実施例の具体的
回路図、第９図は、本発明の基本ユニットに用いられる積分器の
動作タイミングを説明する図、第10A図は、階層型ニューラルネットワークの概念図、第10B図は、本発明による階層型ニューラルネットワー
クの概念図、第11図は本発明のニューロコンピュータにより階層型ネ
ットワークを構成した一実施例のブロック図、第12図は、第11図に示した実施例の具体的ブロック図、第13図は、主制御回路のシステム構成図、第14A、第14B図は、第11図及び第12図に示した実施例の
信号処理のタイミング図、第15図は、同じく第11図及び第12図に示した実施例の信
号処理のタイミング図、第16図は、本発明のニューロコンピュータを階層型ネッ
トワークで実現した一実施例の具体的回路、第17A図、第17B図は、第16図に示した信号処理のタイミ
ング図、第18図は、ディジタル重みデータの読み込みタイミング
を示す図、第19A図は、マスタコントロールブロックの具体的回路
図、第19B図は、制御パターンメモリ及びマイクロコードメ
モリの構造を示す図、第20A図は、重みデータメモリへのデータ充填方法を示
す図、第20B図は、重みデータメモリの具体的構成図、第20C図及び第20D図は学習アルゴリズムのフローチャー
ト、第21図は、ディジー回路の具体的回路図、第22図は、マックバリューノード回路の具体的回路図、第23図は、シグモイド関数発生回路図、第24図は、シーケンスジェネレータの具体的回路図、第25図は、位相制御回路の具体的回路図、第26図は、シフトレジスタの具体的回路図、第27A図は、帰還型ネットワークを説明する概念図、第27B図は、本発明のニューロコンピュータにより帰還
型ネットワークを構成した場合の説明図、第28図は、帰還型ネットワークの一実施例のブロック
図、第29A、及び29B図は、第28図に示した実施例の信号処理
を示すタイミング図、第30図は、本発明によるニューロコンピュータにより、
第１の帰還型ネットワークを構成した実施例の具体的回
路図、第31A及び第31B図は、第30図に示した実施例の信号処理
を示すタイミング図、第32図は、本発明のニューロコンピュータにより、第２
の帰還型ネットワークを構成した実施例の具体的ブロッ
ク図、第33A図及び第33B図は、第32図に示した実施例の信号処
理を示すタイミング図、第34図は、本発明のニューロコンピュータにより、階層
型と帰還型とのネットワークとを組み合わせたシステム
を構成した実施例のブロック図、第35図は、本発明のニューロコンピュータにより階層型
と帰還型とを組み合わせた他の実施例のブロック図、第36A図、及び第36B図は、第35図に示した実施例の信号
処理を示すタイミング図、第37図は、本発明のさらに他の実施例のブロック図、第38図は、本発明の利用例を示すブロック図、第39図は、本発明の他の利用例を示すブロック図であ
る。

発明の基本構成第4A図は本発明のニューロチップから構成されるアナロ
グニューロプロセッサ（ANP）11のデュアルインライン
パッケージの概略図である。これは、MB4442と呼ばれニ
ューロンモデルの処理を実行する。内部の閾値処理部は
シグモイド関数で置換したモデルとなっている。アナロ
グニューロチップはANPと呼ばれ、アナログデータを入
出力するデバイスである。第4B図は本発明のANPの内部
構成図である。第4B図に示すようにANP11はアナログバ
スB1とアナログバスB2の間に接続される。ANP11は入力
するアナログ信号と重みを掛けるアナログ乗算部22、積
の和を求めるアナログ加算部23、和を保持するサンプル
／ホールド部24、シグモイド関数の値を出力する非線形
関数部25よりなる。第4A図のANP11の各端子を説明す
る。ANP11の内部はアナログ回路部とディジタル回路部
から構成されている。＋−６ボルトの端子は、アナログ
回路部のオペアンプに供給される電源端子である。D_in
及びD_outはアナログ入力信号及び出力信号の端子であ
る。AGNDはアナログ回路部の接地端子である。Rt＋及び
Rt−端子はアナログ回路部にある積分回路の外付抵抗Ｒ
の端子であり、Ct＋、Ct−端子は同じく積分回路の外付
キャパシタＣの端子である。DGNDはディジタル回路部の
グランド端子である。＋５ボルトはディジタル回路部の
電源端子である。RSTは積分回路のキャパシタの電荷等
のリセットを行うリセット信号端子である。CSI及びCSO
はディジーチェーン用制御信号の入出力端子であり、OC
はオフセットキャンセル制御信号用端子、S/H端子は、
サンプル／ホールド用制御信号端子、SYNCは各層の処理
に対する同期信号端子、DCLKはアナログ入力信号の処理
を行うための基本クロック信号端子、WCLKはディジタル
重みデータを取り込むためのクロック端子、WDはビット
シリアルで入力するディジタル重みデータ用の端子であ
る。

第５図は、本発明のアナログニューロプロセッサ（AN
P）の原理構成図である。

別々のANP（図示せず）から時分割的に送られてくるア
ナログ入力信号をアナログバスB1からANP11内のアナロ
グ乗算部22に入力し、このアナログ乗算部22ではシフト
レジスタ27を介してビットシリアルに入力されその後直
列変換されたディジタル重みデータWDと掛け算して、ア
ナログ入力信号とディジタル重みデータとの積を示す積
信号を得る。次の、アナログ加算部23は、外付けの抵抗
ＲとキャパシタＣからなるミラー積分回路であって、ア
ナログバスB1に接続された前段の複数のANP（ANPの存在
する場所をノードと呼ぶ）から時分割で送られるアナロ
グ入力信号とダミーノードから送られる閾値用のアナロ
グ入力信号とからそれぞれ得られる積信号の和を求める
ものである。次に、サンプル／ホールド部24で積信号を
所望時間待たせるためにホールドした後に、さらにその
サンプル／ホールドされた出力を非線形関数部25を介し
て変換する。出力制御部26では、シーケンスジェネレー
タ28の制御を受けて所定時間遅延させた後に、アナログ
出力信号D_outをアナログバスB2へ出力する。なお、シー
ケンスジェネレータ28は内部に供給される制御信号も生
成する。そして、位相制御部29では、おもにANP内のア
ナログ回路部とディジタル回路部を接続する各スイッチ
のオンかオフが確実に行われるように、制御信号の位相
を制御するもので、特に、第１のスイッチがオンのとき
第２のスイッチをオフにする場合それ等のスイッチが同
時にオンする場合がないように制御信号の位相を制御す
る。

なお、シーケンスジェネレータ28は、リセット信号RS
T、DCLK、WCLK、SYNC、S/H、OC、CSIを後述するマスタ
コントロールブロックから入力するとともにCSOを出力
し、ANPの内部の制御信号を生成する。

ニューラルネットワークでは、同時処理により高速演算
を行う必要がある。本発明では時分割データを使ってい
るが、定常状態では、各ANPがパイプライン的に同時処
理を行う。理想的なニューラルネットワークでは、ニュ
ーロンは他のそれぞれのニューロンに相互結合した結線
が必要であるが、このままシステムを実現しようとする
と、配線数が多くなる。そこで、本発明では時分割デー
タを扱うので、各ANP内の積和の処理時間が伸びるが、
それを縦方向に、すなわち同層方向にチップを並列に並
べることで、層内のニューロチップを構成するANPの同
時処理により、その処理時間を改善する。また、各層で
はパイプライン処理が可能で、このことでも処理時間が
小さくなる。アナログバスに接続した例えば３個の各ニ
ューロチップには、入力が入ってくると、それは３個と
も同時に入り３個とも並列に、そのアナログ電圧に対し
て、各ANPが重みとの積を生成し、それを積分器のキャ
パシタに電荷として保持する。そして、次の時間区域
で、同じアナログバスのアナログ入力に対して、各ANP
は重みとの積を形成し積分器のキャパシタ内に前の時間
区域で決まった積に加え込むことになる。前段のすべて
のANPからのアナログ入力信号に対する重みとの積に対
する和が生成された後、その和はサンプル／ホールドさ
れる。その後、シグモイド関数を介して出力されるが、
これは、CSI制御信号入力時に出力される。そして、出
力完了時にCSIが立ち下がり、その後一定時間遅延後にC
SOを立ち上げて、出力バスの使用権を同一層内の隣接ニ
ューロチップからなるANPに与える。

最適実施例以下、実施例に従って本発明を詳細に説明する。第６図
はニューロチップである基本ユニットの第１の実施例構
成図である。同図の乗算部32、加算部33、閾値処理部34
は連続ニューロンモデルの実行部であるが、この実施例
では出力保持部35が存在する。具体的には、基本ユニッ
ト31に接続される複数の入力をYi、この各接続に対応し
て設定される重みをWiとするならば、乗算部32は、 Yi・Wi を算出し、加算部33は、Ｘ＝ΣYi・Wi−θ を算出する。但し、θは閾値である。閾値部34は最終出
力をＹとするならば、Ｙ＝1/（１＋exp（−Ｘ））・・・・（１）式を算出することになる。

ダミーノードから入力される“＋1"という値に“−θ”
という重みをかけて加算部33で「Ｘ−θ」の結果が出力
される。従って閾値部34ではＳ字曲線による変換だけが
行われている。

乗算部32は、乗算型D/Aコンバータ32aで構成され、前段
層の基本ユニット31から、あるいは後述するダミーノー
ドの回路からのアナログ信号（入力スイッチ部37を介し
て入力される）の入力と、その入力に対して乗算される
べきディジタル信号の重み情報（後述する重み保持部38
を介して入力される）との乗算を行って、得られた乗算
結果をアナログ信号で出力するよう処理するもの、加算
部33は、積分器で構成されるアナログ加算器33aとアナ
ログ加算器33aの加算結果を保持する保持回路33bとによ
り構成される。乗算型D/Aコンバータ32aは、D/Aコンバ
ータの基準電圧端子にアナログ入力信号を入力し、各デ
ィジタル入力端子に重みの各ビットをディジタル入力信
号として入力するものであり、結果として、そのアナロ
グ入力信号と重みとの積を生成する。アナログ加算器33
aは、乗算型D/Aコンバータ32aの出力と、前回に求めら
れて保持回路33bに保持されている加算値とを加算して
新たな加算値を求めるもの、保持回路33bは、アナログ
加算器33aが求めた加算値をホールドするとともに、そ
のホールド値を前回の加算値としてアナログ加算器33a
にフィードバックさせるものである。これらの加算処理
は制御回路39より出力される加算制御信号に同期して実
行される。閾値部34は、アナログの関数発生回路である
非線形関数発生回路34aで構成され、入力に対してシグ
モイド関数等の非線形信号を出力するものである。乗算
結果の累算が閾値（−θ）の加算を含めて終了したとき
に、保持回路33bにホールドされている加算値Ｘに対し
閾値（−θ）を加えて（１）式のシグモイド関数の演算
処理を施し、アナログ出力値Ｙを得るもの、出力保持部
35は、サンプルホールド回路で構成され、後段層の基本
ユニット31への出力となる非線形関数発生回路34aのア
ナログ信号の出力値Ｙをホールドするものである。

また、36は出力スイッチ部であり、制御回路39よりの出
力信号制御を受けて一定時間ONすることで、出力保持部
35が保持するところの最終出力をアナログバスB2上に出
力するよう処理するもの、37は入力スイッチ部であり、
制御回路39よりの入力制御信号を受けて前段層の基本ユ
ニット31から最終出力からのアナログ出力が送られてく
るときにONすることで入力の受付を行う。38は重み保持
部であり、パラレルアウトシフトレジスタ等により構成
され、重みメモリから送られてくるビットシリアルの重
み信号がバッファ38aのゲートがオープン（制御回路39
による重み入力制御信号がオン）された時に、この重み
信号を乗算部32が必要とするビットパラレルの重みとし
て保持するものである。ビットパラレルの重みは乗算制
御信号が与えられたときにパラレルで乗算部に与えられ
る。39はディジタル回路部の制御回路で外部からの同期
信号から内部の同期信号を生成するもので、内部のアナ
ログ処理の機能の制御を実行するこのように構成されることで、第６図の信号処理構成を
採る基本ユニット31の入出力がアナログ信号でもって実
現されることになるのである。

なお、乗算型D/Aコンバータ32aは、ディジタル信号の重
み情報をパラレルで受け取るようにするものでもよい
し、重み情報をシリアルで受け取ってからパラレル変換
するようにするものでもよい。あるいは、重み情報をア
ナログ信号で構成するならば、乗算型D/Aコンバータ32a
の代わりに、アナログ乗算器を用いることができる。

第７図は１個の本発明のニューロチップ（ANP）の実施
例の具体的回路図である。

このユニットでは入力部42、乗算部43、加算部44、サン
プル／ホールド部45、非線形関数部46、及び出力部47か
ら構成され、ここでは、出力保持回路はなく、サンプル
／ホールド部45が出力保持の機能を有するものとする。

入力部42はオフセットキャンセル部51と、１倍のバッフ
ァ49から構成されている。１倍のバッファ49は電圧フォ
ロアで、オペアンプの出力を−端子にフィードバック
し、＋端子に入力電圧を入力することによって構成され
る。データ入力はアナログの時分割されたパルス信号で
ある。OCはオフセットコントロール信号であり、これが
１のときアナログスイッチ66がオンし、１倍のバッファ
49には、０電圧が強制的に設定される。一方、オフセッ
トコントロール信号OCが、０のときアナログスイッチ66
はオフされ、他方のアナログスイッチの他方65がオン
し、データ入力が１倍のバッファ49に入力される。すな
わち、オフセットコントロール信号OCが１である場合に
は、ニューロンユニットには０ボルトが強制的に入力さ
れて乗算器出力までの回路のオペアンプ出力に生じるオ
フセット電圧に対するオフセットのキャンセルの動作を
行うようにしている。アナログスイッチ65と66は同図で
はOC信号の反転位相と正相位相でスイッチングの制御が
行われているが、位相制御回路によって、同時オンがな
いようになっている。以後このことをOCが「位相制御さ
れた」という言い方をすることにする。

正負切換回路52は２つの倍数器をカスケード結合して構
成されている。倍数器では入力抵抗（10KΩ）とフィー
ドバック抵抗（10KΩ）によって10/10、すなわち１倍の
電圧の反転したものが形成され、それを１段だけを通す
か、２段を通すかによってアナログ電圧の符号を決定し
ている。その制御信号はディジタル重みデータの符号ビ
ット（SIGN）であり、このSIGNビットはMOSスイッチ70
のゲートに接続されている。このSIGNの制御信号も位相
制御されている。符号ビットが１である場合に入力部42
からの入力電圧は第１段目の倍数器で反転され、さらに
スイッチ67もオンしているので後段の倍数器も通り、結
果として正相となる。また符号ビットが０である場合に
は、反転回路68を介して、スイッチ69がオンとなる。こ
の時スイッチ67と70はオフしているため、入力部42から
の入力電圧はスイッチ69を介して後段のオペアンプ71の
−端子に入力される。従って、前段の抵抗72と後段のオ
ペアンプのフィールドバックの抵抗73とによって倍数器
が形成され、１倍された形で反転される。すなわち、符
号ビットの正負によって入力部42の入力が、正または負
の電圧として形成され、これが、興奮性と抑制性のシナ
プス結合に従った電圧となる。正負切換回路52からの出
力は乗算部43の中にあるD/Aコンバータ53のＲ−2R抵抗
回路網74の点、すなわち基準電圧端子に入力される。

Ｒ−2R方式のD/Aコンバータをまず説明する。MSBからLS
Bまでのディジタル重みによって内部のスイッチはオン
またはオフをとる。ディジタル値が１である場合に、電
流は右側のスイッチ75を通って、オペアンプ76の仮想接
地点78に流れ込む。オペアンプ76の仮想接地点78は＋端
子と同じ電圧になるように制御され、これがグランドで
あるから仮想的な０ボルトである。D/Aコンバータ53に
おいてＲは10KΩ、2Rは10KΩである。スイッチの状態に
関わらず、2Rの抵抗には電流が流れ、ディジタル値の値
に従ってその2Rに流れる重み電流が仮想接地点78の方に
流れるかどうかが決定される。１番右の2Rに流れる電流
をｉとする。右から２番目すなわちLSBに対応する2Rの
電流は１番右の2Rにかかる電圧を2Rで割った値であるか
ら2R×ｉ÷2Rでｉとなる。従って１番右の横方向のＲに
は電流2iが流れる。右から３番目の2Rには2R×ｉ＋Ｒ×
2iの電圧がかかり、これを2Rで割るから2iの電流が流れ
る。以下同様で左に行くに従って4i、8iとなって２のべ
き乗で増える電流になる。この２のべき乗になった重み
電流をオペアンプの方に流すか流さないかを決めている
のがMSBからLSBである。従って、ディジタル重みに対応
する電流が２のべき乗の形で仮想接地78に流れこみ、オ
ペアンプ76の入力インピーダンスは無限大であるから、
この電流がオペアンプ36の帰還抵抗78に流れる。従っ
て、D/Aコンバータの出力電圧V_outは入力電圧をＥとす
れば、となる。ここで、D₀はLSBで、D_n-1がMSBであるとする。
すなわち、掛算部３−３の出力は等価的に入力電圧Ｅに
重みを掛けた値になっている。

その重み係数はMSBからLSBに入力されるディジタル値で
制御されることになる。一方、加算部44は時分割多重化
アナログ信号の各電圧とディジタル重みデータとの各積
についてミラー積分器を時分割的に使用することにより
累積加算動作を実行する。そして、サンプル／ホールド
回路45は、加算結果をサンプル／ホールドする。

次に加算部44を説明する。加算部44は抵抗Ｒと帰還キャ
パシタＣによる積分器である。加算部44の入力部には時
分割加算制御部55があり、位相制御されたサンプル／ホ
ールド信号S/H信号が１のとき乗算部43の出力電圧がオ
ペアンプの仮想接地点79に入力される、S/H信号が０の
とき反転回路80によりスイッチ81がオンとなって乗算部
43の出力が抵抗Ｒを介してグランドに接続されるので加
算部44帰還キャパシタＣには加算されないことになる。
今、S/H信号が１のとき、乗算部43の出力電圧は抵抗Ｒ
を介してオペアンプ102の−端子に入力し、入力電圧を
抵抗Ｒで割った電流が仮想接地を介して帰還キャパシタ
Ｃの方に入力される。この後、S/H信号がまた０とな
り、乗算部43と加算部44は切り離されるので、乗算部43
は次の入力信号に対して、重みデータを掛けることがで
きる。キャパシタＣを含む積分回路の帰還回路82には４
つのスイッチを用いてオフセットキャンセル機能が付加
されている。今オフセットコントロール信号OCが１にな
ったとすると、スイッチ83と84がオンで、85と86がオフ
となる。オフセットコントロール信号OCが０の時には、
データ入力部42、データ入力端子DATA−INPUTに入力電
圧が与えられ、それに対応する乗算部43の出力が抵抗Ｒ
を介してキャパシタＣに入力される。この時、スイッチ
85,86がオンであり、キャパシタＣの極性はオペアンプ
の−端子に接続されている側が−、オペアンプ102の出
力に接続されている側が＋である。次に、オフセットコ
ントロール信号OCが１である場合にはデータ入力は強制
的には０にされる。この場合、正負切換回路42及び乗算
部43のD/Aコンバータ53を介してもしオフセットがなけ
れば、D/Aコンバータ44の出力は０ボルトとなる。しか
し、オペアンプ49、103、71、102があるためにオフセッ
ト電圧が生じ、そのオフセット電圧が加算部44のキャパ
シタＣに蓄えられる。この場合、前のオフセットコント
ロール信号OCが０である場合と違ってスイッチ83,84が
オンとなり、キャパシタＣの＋−の極性は逆転する。そ
のため、入力信号が入力された時に生じるオフセット電
圧はオフセットコントロール信号OCを０にすることによ
り、キャパシタＣの極性が変わり、結果として、オフセ
ットがキャンセルされることになる。本発明では、この
ように、キャパシタＣの極性の反転を用いて等価的にオ
フセットキャンセル機能を有するように構成されてい
る。なお、スイッチ87はリセット信号によって制御さ
れ、処理開始時にリセット信号が与えられた場合に、キ
ャパシタC_hの電圧を零にし、加算部の出力を強制的に０
にリセットするものである。このOC信号も位相制御され
ているものとする。

加算部44の出力はサンプル／ホールド回路45の入力とな
る。サンプル／ホールド回路45では、位相制御されたサ
ンプル／ホールド制御信号S/H_outが１である場合に、ス
イッチ88を介して加算部44の出力がキャパシタC_hに蓄べ
られる。S/H_out制御信号が１である場合には、反転回路
94によってスイッチ90の制御信号は０となり、キャパシ
タC_hの一方の端子はグランドに接地されず、スイッチ91
がオンになることによりユニットの最終出力信号がその
スイッチ91を介してキャパシタC_hに入力される。すなわ
ち、その時の最終出力信号がオペアンプ96の出力端から
フィードバックされてキャパシタC_hの下側に与えられ
る。従って、キャパシタＣには、加算部44の出力から最
終出力信号の値を引いた電圧が保持される。一方S/H_out
制御信号が０のときには、スイッチ89と90がオンし、キ
ャパシタC_hの下側はグランドとなり、結果としてキャパ
シタＣに蓄えられた電圧、すなわち加算部44の出力から
最終出力値を引いた電圧値がスイッチ89を介して１倍の
オペアンプ93の＋側に入力され、そしてこのオペアンプ
93はバッファとして働いて、オペアンプ93の出力がシグ
モイド関数の入力となる。また、S/H_out制御信号が１の
ときスイッチ88がオンし、キャパシタC_hには加算器の出
力値と最終出力値との差の電圧が蓄えられているときに
は、スイッチ92がオンしている。そのためオペアンプ93
には０ボルトが強制的に入力される。この時にシグモイ
ド関数46及びオペアンプ96,アナログスイッチ100を介し
てオフセット電圧ΔＶがスイッチ91を介してC_hの下側に
入力される。したがってS/H_out制御信号が０の時点、す
なわちスイッチ89がオンでスイッチ92がオフである場合
には、C_hに蓄えられた電圧、すなわち（加算部の出力−
オフセット電圧ΔＶ）がオペアンプ93とシグモイド関数
46を介して最終出力になるが、S/H_out信号が１になる
と、この時に生成されるオフセット電圧もΔｖであるか
ら結果として、オフセット電圧かキャンセルされること
になる。

シグモイド関数を生成する非線形関数部は非線形回路選
択制御部があり、位相制御されたSe1Sig信号を１にする
とスイッチ95がオンし、シグモイド関数の出力が次段に
入力される。しかし、Se1Sig信号が０の時には反転回路
97を介してスイッチ98の制御信号が１となってそれがオ
ンし、シグモイド関数の出力はカットされる。すなわち
Se1Sig信号が０の時には、サンプル／ホールド部の出力
電圧がシグモイド関数を介さずに直接オペアンプ96に入
力される。オペアンプ96は本質的には出力を−端子に直
接帰還する１倍のオペアンプでバッファの働きをする。
すなわち出力インピーダンスを０にするバッファとな
る。

出力部47には時分割アナログ出力部64と出力制御部63が
接続されている。CSIが１のときにはスイッチ99がオン
で、スイッチ101もオンであるため、オペアンプ96の最
終出力値がDATA−OUTPUTに出力され、しかもその−端子
にフィードバックされて、オペアンプ96は１倍のオペア
ンプとして働く。それと同時に最終出力値がサンプル／
ホールド部45にフィードバックされる。一方、CSIが０
のときインバータ104を介してスイッチ100がオンにな
り、スイッチ101,99がオフになる。すなわちオペアンプ
96の出力はDATA−OUTPUT線には出力されないことにな
る。しかし、スイッチ100がオンすることによって１倍
のバッファを形成するようにしているためオペアンプ96
の電圧フォロア動作は破壊されることなく実行される。
出力部47は出力制御入力端子CSIによって出力パルス電
圧を伝達するかどうかを決める回路である。このCSIを
ディレイ回路105を介してCSOとして出力し、層内の隣接
するニューロチップに対する出力アナログ信号の時間タ
イミングを決定することになる。このため、本発明では
出力部47からのアナログ信号は時分割で伝達されるた
め、バス上で他のニューロチップからのアナログ信号と
競合しない。

第８図は第７図において、オフセットキャンセルOCをOC
0、OC1、サインSIGNをPN,−PN、サンプル／ホールドSH
をSH11、SH10、サンプル／ホールドS/H_outをSH21、SH2
0、シグモイド選択信号Se1Sigを−SIGM、SIGM、ディジ
ーチェーン用信号CSIをCS、−CSでの２信号で位相制御
を実現する。すなわち、１つの制御信号を、それぞれ正
相を逆相の２信号で構成しかつ位相をずらすことによ
り、これらの制御信号の正相と逆相で制御される別のス
イッチが同時にオン状態にならないようにした信号にし
た場合の実施例である。なお、D/Aコンバータ53の出力
端に接続されたキャパシタCf、抵抗R_fはオペアンプ76の
フィードバック信号をD/Aコンバータの演算速度にあわ
せるためのものであり、DT端子には、D/Aコンバータの
ディジタル入力が加えられる。

第８図で第７図と同一箇所は同一番号を付して説明を省
略する。

第９図は、積分器におけるタイミング図である。データ
クロックDCLKと重みクロックWCLKは基本的な動作クロッ
クで、データクロックDCLKのハイ状態の半周期間に高速
な重みクロックWCLKが出力される。重みクロックWCLK信
号は重みシリアルデータを取り込むための同期クロック
である。データクロックDCLK信号はアナログ入力信号に
対する処理を行うための基本クロックである。同期信号
SYNCは各層において一層内の各アナログニューロンプロ
セッサANPの同期をとる同期信号である。積分器の出力
電圧の変化は下の三角形で示された部分の波形で示され
る。積分波形は、サンプル／ホールド制御信号SHのパル
スで制御され、このパルスがハイの間、積分の動作を実
行する。すなわち、積分器のキャパシタＣに対する充電
を開始し、このサンプル／ホールド制御信号SHのパルス
がハイの間は、このキャパシタに徐々に電荷が蓄積され
て電圧は上がるが、サンプル／ホールド制御信号SHのパ
ルスがロウとなって遮断されると、充電動作を停止す
る。従って、この積分時間範囲でのチャージ分だけが意
味を持ち、このサンプル／ホールド制御信号のパルス幅
をコントロールして積分時間範囲を縮めたり延ばしたり
することで、入力は同じ電圧だが、積分結果としてでて
くるものは、サンプル／ホールド制御信号S/Hのパルス
幅Ｗのとき充電電圧はV_a′となる。

サンプル／ホールド制御信号SHが下がり、スイッチング
制御より積分器のキャパシタの極性が変わり、オフセッ
ト分が加算されている積分出力は反転する。そして、オ
フセットコントロール信号OCがハイ状態でサンプル／ホ
ールド制御信号SHが再び立ち上がると、オフセット電圧
V_b（V_b′）がそのキャパシタに加算され、SH信号が立ち
下がった時点では、結果としてオフセット分がキャンセ
ルされた積分出力値V_a−V_b（V_a′−V_b′）を極性をもど
してサンプル／ホールドされる。

次に、階層型ニューラルネットワークを説明する。第10
A図は階層型ネットワークの概念図である。階層型では
左側の入力層の入力ノード110から入った入力データは
順次右側の方向に向かって１方向にだけ処理されてい
く。中間層の各ニューロン112は、ダミーノード111を含
む前の層の出力をそれぞれ層内の完全結合で受けるよう
になっている。入力層に例えば４個の入力ノード110が
あると、それにダミーノード111の１個がたされ、中間
層の各ニューロン112からみると入力層は５つのニュー
ロンに見えている。ここで、ダミーノード111とは、ス
レッシュホールドをコントロールするもので、積和の結
果Ｘのシグモイド関数の値Ｘに一定値−θを加えることによりＸ軸の正方向に
シフトさせた値ｆ（ｘ−θ）にするものである。これは
ダミーノード111に対応する重みをニューロン内で変え
ることと等価であるが、後述するマックスバリューノー
ド回路を用いて、一定値θを生成している。このよう
に、ダミーノードに対する重みを用意しておけば、閾値
を重みで実現することができる。そして出力層のニュー
ロン112から中間層はニューロンが４個あるようにみえ
る。入力層に加えられた入力データは、中間層ニューロ
ン112、出力層ニューロン112で重みデータを用いてそれ
ぞれ積和演算を施され、結果として出力データを発生す
る。

第10A図に示した階層型構造のものを本発明のANPを用い
て実現すると、第10B図のように、各層間、つまり入力
と中間層との間、中間層と出力層の間、出力層の出力に
それぞれの独立のアナログバスB1,B2,B3を設けることに
なる。縦方向のANPは全部並列に実行できるという構造
になる。出力層の出力にはサンプルホールド回路SHを付
ける。

第11図は本発明の一実施例構成図である。

同図において、入力側回路120は入力層に相当し、121は
階層ネットワークの基本単位をなすアナログニューロン
プロセッサANPすなわち基本ユニットであり、121−ｈは
中間層を構成する複数個の基本ユニット、３層以上ある
場合、121−ｈは１つまたは複数段の中間層を構成する
複数個の基本ユニット、121−ｉは出力層を構成する１
つまたは複数個の基本ユニット、121−ｊは出力層回路
である。基本ユニット121−ｈと基本ユニット121−ｉと
の間、基本ユニット121−ｉの相互間、基本ユニット121
−ｉと基本ユニット121−ｊとの間で電気的な接続がな
され、且つこの各接続に対応して設定されることになる
重みにより、130で示される階層ネットワークが構成さ
れることになる。

基本ユニット121は、少なくとも乗算部122、加算部12
3、閾値部124を有し、場合によって出力保持部125を備
える。この乗算部122は、複数の入力とこれらの入力に
対しての重みとを受け取って乗算を行い、加算部123
は、乗算部122により得られる前段層の全ての基本ユニ
ット121に関しての乗算結果を加算し、閾値部124は、加
算部123により得られる加算結果を非線型の閾値関数に
よって変換して最終出力を算出するよう処理する。出力
保持部125がある場合、これは閾値部124により求まる最
終出力を保持するよう処理する。この基本ユニット121
への入出力は、アナログ信号をもって実現されるよう構
成される。

140はアナログバスであり、入力層と最前段の中間層と
の間（140a）、中間層相互間の間（140b）の電気的な接
続及び最終段の中間層と出力層との間（140c）の電気的
接続のために設けられる共通線である。150は主制御回
路であり、階層ネットワーク130中におけるデータ転送
を制御するものである。この主制御回路150は、駆動ユ
ニット選択手段151、重み設定手段152、閾値処理起動手
段153及び出力値送信手段154を備える。

この実施例では、駆動ユニット選択手段151は、前段層
の基本ユニット121を時系列的に順次選択するよう処理
する。そして、出力値送信手段154は、この選択処理と
同期させて、選択された基本ユニット121が保持するア
ナログ信号の最終出力を、アナログバス140を介して、
時分割の送信形式に従って後段層の基本ユニット121に
対して出力するよう処理する。この入力を受け取ると、
後段層の基本ユニット121の乗算部122は、重み設定手段
152により設定されるところの前段層の基本ユニット121
との接続に対応する重みを順次選択して、入力と重みと
の乗算処理を行い、加算部123は、乗算部122により求め
られる乗算結果を順次加算していく。前段層の基本ユニ
ット121に関しての全ての積和処理が終了したことを確
認すると、閾値処理起動手段153は、非線型の閾値関数
ｆで変換する処理を行う。そして、その基本ユニット12
1からはｆ（Ｘ−θ）が出力される。この後段層が、新
たな前段層になって、次の後段層に対して同様の処理を
繰り返していくことになる。このデータ転送方式によ
り、入力パターンに対応するところの出力パターンが、
階層ネットワークの出力層より出力されることになる。

第12図に、この基本ユニット121を複数個、階層的に接
続することで構成されるネットワーク構成データ処理装
置の一実施例を示す。この実施例は、各基本ユニット12
1に与えられる重みをユニットの外部で一時保持し、CSI
の制御を主制御回路より与える場合の実施例である。こ
の実施例は、第２図で示した階層ネットワークの階層構
造間の電気的な接続を、１本の共通なアナログバス140
（識別子としてａ乃至ｃが付くことがある）をもって実
現する実施例である。従って、基本ユニット121の出力
スイッチ部36から出力される最終出力値（これが、後段
層に位置する基本ユニット121への入力となる）は、ア
ナログ信号の出力モードで出力されるように構成され
る。なおこの実施例ではｈ、ｉ層が中間層で、出力層を
ｊ層として示してある。

同図において、161は各基本ユニット121毎に設けられる
重み出力回路で、基本ユニット121内の重み保持部38の
ための重みを出力するもの、162は重み信号線で、重み
出力回路161の出力を重み保持回路38に接続するもの、1
20（識別子としてａ乃至ｎが付くことがある）は入力信
号の数に合わせて設けられる入力側回路で、階層ネット
ワークの入力層に対応して入力パターンとなる初期信号
を出力するもの、164（識別子としてａ乃至ｄが付くこ
とがある）はCSIを含む同期制御信号線で、データ転送
の制御を実行する主制御回路150からの同期制御信号
を、重み出力回路161、入力側回路120及び基本ユニット
121の制御回路39に伝えるための信号線である。なお、
この同期制御信号線164は、図中では共通線で示してあ
るが、詳細には、各回路に対し主制御回路150と個別の
信号線で接続されている。

第13図に、主制御回路150の詳細なシステム構成を示
す。同図において、主制御回路150は、外部バスインタ
フェイス150a、マイクロコードメモリ150b、プログラム
シーケンサ150c、制御パターンメモリ150d、重みデータ
メモリ150eを少なくともを含んで構成される。外部バス
インタフェイス回路150aは、メインバス150xを介してホ
ストコンピュータ150y、外部記憶装置150zと接続されて
おり、ホストコンピュータ150yからの動作指示を受け取
るもの、マイクロコードメモリ150bは、プログラムシー
ケンサ150cの動作を規定するマイクロコードを格納する
もの、プログラムシーケンサ150cは、マイクロコードメ
モリ150b内のマイクロコードに応じて制御パターンメモ
リ150d及び重みデータメモリ150eのアドレスをコントロ
ールするもの、制御パターンメモリ150dは、その出力信
号線が入力側回路120、中間層、出力層における基本ユ
ニット121のそれぞれに個別に接続されており、プログ
ラムシーケンサ150cからの指示に応じて、各組毎、すな
わち、入力側回路120の組、中間層の組、出力層の組毎
に、各組のうちの１つの回路、あるいは基本ユニット12
1を時分割に選択するように、出力信号線、各種同期信
号線のオン、オフを設定するためのもの、重みデータメ
モリ150eは、プログラムシーケンサ150cの指示に応じ
て、時分割入力信号に同期して各基本ユニット121に重
みが与えられるように、各重み出力回路161に重み（デ
ィジタルデータ）を出力するものである。なお、ホスト
コンピュータ150yは、MPUと主記憶を含み、バックプロ
パゲーション等の学習アルゴリズムより重みを決定した
り、入力パターンY_iを与えたりするための制御を行う。
外部記憶装置は、ニューロコンピュータを構築するため
のデータを格納する。

次に、第14図に示すタイミングチャートに従って、この
ように構成される第12図の実施例の動作処理について説
明する。

ホストコンピュータ150yからメインバス150xを介して出
力パターンへの変換要求を与えらると、主制御回路150
は、入力側回路120に対して出力制御信号を時系列的に
サイクリックに送出することで、複数の入力側回路120
を順次、時系列的にサイクリックに選択していくよう処
理する。すなわち、主制御回路150は、プログラムシー
ケンサ150cの指示に応じて、制御パターンメモリ150dか
ら、入力側回路120を順々に選択するべく、同期制御信
号線164aを順々に各入力側回路120毎にオンさせる。つ
まり、まず、入力側回路120aに与えられる入力パターン
Y₁をアナログバス140aに出力すべく、ｎ本の同期制御信
号線164のうち、入力側回路120aのゲートをオープンす
る同期制御信号（CSI）線164a（図中では、164a−１で
表している）のみをオンし、他の同期制御信号線164aは
オフにする。続いて、入力側回路120bに与えられる入力
パターンY₂をアナログバス140aに出力すべく、入力側回
路回路120bのゲートをオープンする同期制御信号線164a
（図中では、164a−２で表している）のみをオンし、他
の同期制御信号線164aはオフにする。以下同様にして、
入力側回路120nの入力パターンY_nをアナログバス140aに
出力するまで、同期制御信号線164aのオン、オフ動作を
行う。また、これと並行して、ｈ層の各基本ユニット12
1の各重み出力回路161に対して重みを与えるべく、各同
期制御信号線164aのオン動作に同期するように、同期制
御信号線164bを介して各重み出力回路161毎に重みデー
タメモリ150eの出力をセットする。

第14A図では、この同期制御信号線164aの同期制御信号
をYi出力制御信号（ｉ＝１〜ｎ）で表して、入力側回路
120を時系列的にサイクリックに選択していく過程を図
示している。ここで、ｎは入力側回路120の個数であ
る。このようにして選択される入力側回路120は、ｈ層
との間に設けられるアナログバス140（図中では、入力
層アナログバス140aという）上に、入力パターンとして
与えられたアナログ信号Yiを送出するよう処理する。こ
の入力パターンは、ホストコンピュータ150yを介して与
えられる。従って、第14A図に示すように、入力層アナ
ログバス140a上には、アナログ信号Y_iが、入力側回路12
0の個数分順序よく送出されるとともに、最初の入力パ
ターンのYi、続いて次の入力パターンのYi、そして次の
入力パターンのY_iというように、次々と繰り返し送出さ
れていくことになる。

ｈ層の各基本ユニット121の乗算部122は、この送出され
てくるアナログ信号Yiを受け取ると、主制御回路150か
らセットされることになる重み保持部38の重みWiを使
い、上述した乗算処理の（Yi・Wi）を実行することにな
る。この重みWiは、バック・プロパゲーション法に従っ
て、MPUですでに決定されているものとする。

従って、主制御回路150は、第14B図に示すように、入力
側回路120の選択処理と同期させて、重み出力回路161を
介して、その選択された入力側回路120に応じた重みWi
を、ｈ層の各基本ユニット121の重み保持部38にセット
していくことになる。そして、１バスサイクルの間にY_i
とW_iの積をとって前の積和との和を求めることになる。

この基本ユニット121への重みの設定処理は、アナログ
信号かディジタル信号のいずれのモードに従って実現す
ることも可能である。

なお、重みは、接続毎に指定されるものであることか
ら、正確にはWij（ｊはｈ層の基本ユニット番号）と表
すべきであるが、説明を簡単にするためにWiとしてあ
る。

ここで、第15図に示される基本ユニット121の信号処理
のタイミングチャートに従って、その処理動作について
説明する。なお、ここでは、中間層における基本ユニッ
ト121（図中の121a）について説明するものとする。

まず、制御回路39は、主制御回路150の制御パターンメ
モリ150dから同期制御信号線164（図中の164b−１）を
介して与えられる同期制御信号を受け取ると、OCに相当
する入力制御信号（ｃ）をオンにし、入力スイッチ部37
を導通させると同時に、バッファ38aのゲートをオープ
ンする重み入力制御信号（ｄ）、出力スイッチ部36を導
通させるCSIに相当する出力制御信号（h₁）をオンにす
る。このとき、主制御回路150は、クロック（ａ）と同
期して前述した同期制御信号線164aのCSIを順次オンに
するので、このクロック（ａ）に同期して入力側回路12
0a,120b,・・・120nに保持されている入力パターン信号
Y_iが、アナログバス140、入力スイッチ部37を介して乗
算型D/Aコンバータ32aに与えられる。

一方、主制御回路150は、同様に、重みデータメモリ150
eの重みを同期制御信号線164b（図中の164b−２）を介
して重み出力回路11に与えているので、この重み（ディ
ジタルデータ）W_iがバッファ38aを通して重み保持部38
に格納される。また、このとき、CSIの出力制御信号（h
₁）がクロック（ａ）の１周期分だけオンになるので、
基本ユニット121のサンプルホールド回路のアナログゲ
ートがこの間オープン状態となり、保持されていたアナ
ログ値が出力スイッチ部36を介して後段のｉ層のアナロ
グバス140b上に出力される。さて、重み保持部38にディ
ジタル値の重みW₁が格納されると、乗算制御信号（ｅ）
がオンとなるので、乗算型D/Aコンバータ32aは、入力ス
イッチ部37を介して与えられるアナログ信号Y₁と重みW₁
との乗算を行い、乗算結果をアナログ信号として出力す
る。続いて、加算制御信号（ｆ）がオンになるので、積
分器で構成されるアナログ加算器33aが動作し、直前保
持されていたアナログ値（最初はクリアされており、ゼ
ロである）と乗算型D/Aコンバータ32aの乗算結果との加
算が行われ、加算結果がサンプルホールド回路33bに再
格納される。

以上の動作により、１バスサイクルが終了し、次のクロ
ック（ａ）に同期して、入力スイッチ部37からは入力側
回路120bの入力パターンY₂が与えられ、重み出力回路16
1からはこの入力パターンY₂に対応する重みW₂が与えら
れるので、入力パターンY₂と重みW₂との乗算が行われ、
そして、この乗算結果とサンプルホールド回路33bのホ
ールド値との加算が行われる。そして、これ以降、入力
側回路120nの入力パターンY_nに対する処理が終了するま
でこの動作を繰り返す。そして、入力パターンY_nとW_nと
の乗算が終了すると、変換制御信号（ｇ）がオンになる
ので、この乗算結果を累算した値が、閾値部124の非線
型関数発生回路34aに入力され、対応するＹ値が保持さ
れる。すなわち、閾値処理部124は、上述したＹ＝1/（１＋exp（−Ｘ＋θ））という演算処理を行い、これにより、基本ユニット121
の最終的な演算出力である最終出力値Ｙが求められ、保
持され、次の出力制御信号（h₁）の立ち上がり時にこの
結果が後段のアナログバス（140b）に出力される。この
値Ｙが求まると、加算部33の累算値は、次の入力側回路
120の選択サイクルと同期して、入力されるクリア信号
によりクリアされる。

以上に説明したような動作を行うことにより、各基本ユ
ニット121は、入力パターンY_iと重みW_iから最終出力値
Ｙを得る。

これ以降、第12図に示される実施例の構成に戻って説明
する。第15図を用いて詳述したように、全ての入力側回
路120からの入力パターンに対する処理が終了すると、
再度主制御回路150から各基本ユニット121（識別子とし
てａないしｎが付くことがある）に対して同期制御信号
が与えられるので、入力側回路120に新たに与えられる
入力パターンY_iと新たな重みW_iに従って同期の動作を実
行する。

一方、このようにして求められるｈ層の基本ユニット12
1の最終出力値Ｙは、保持されて、入力側回路120に対し
てなされた処理とまったく同じ処理により、アナログバ
ス140bを介して、次段に位置するｉ層の基本ユニット12
1へと時分割の送信形式に従って送出されていくことに
なる。すなわち、主制御回路150は、ｈ層の各基本ユニ
ット121a〜121nの制御回路39に対して同期制御信号線16
4b（図中の164b−１）を介して出力制御信号h₁〜h₂（第
15図）を時系列的にサイクリックに送出することで、各
基本ユニット121a,121b・・・の出力スイッチ部36を順
次、時系列的にサイクリックにONする。これにより、各
基本ユニット121a〜121nに保持されている最終出力値の
アナログ信号が、ｉ層の各基本ユニットの乗算部122に
時分割の送信形式で送られることになる。ｉ層の各基本
ユニットは、前述したと同様の処理動作を実行し、この
処理により求められるｉ層の基本ユニット121の最終出
力値Ｙを同様の時分割の送信処理を実行することで、出
力層の基本ユニット121の最終出力値Ｙが求められるこ
とになる。すなわち、主制御回路150は中間層、出力層
の各基本ユニット121に個別に接続された同期制御信号
線164c、164dを介して、同様に各基本ユニットの制御を
行う。

第16図は階層ニューラルネットワークを実現する本発明
のニューロコンピュータのブロック図である。ニューロ
チップからアナログニューロンプロセッサANP1〜５を各
層に並列に配置し、各層間に独立にアナログバス（B1,B
2,B3）を設ける。同図において、ANP1,2,3で中間層を形
成し、ANP4,5で出力層を形成する。また、入力段のANP
はなく、入力側にはアナログ入力信号をタイミングよく
入力するためのディジー回路171,172が存在する。S/Hで
示す回路はサンプル／ホールド回路173,174である。ANP
1〜５にはそれぞれコントロール用のロジック信号が必
要であるので、マスタコントロールブロック（MCB）181
から各層に多くの制御信号線を送り込む。データクロッ
クDCLKはすべてのANPの入力側のディジー回路171と172
に与えられ、アナログ処理の基本クロックとなる。重み
クロックWCLKもすべてのANPと入力側のディジー回路17
1,172に与えられ、重みデータ用の高速クロックであ
る。重みメモリブロック185,186から各ANP4,5及びANP1,
2,3にはその重みクロックWCLKに同期して重みデータが
入力される。また、同期信号SYNC1は中間層のANPに与え
られる層の同期クロックで同期信号SYNC2は出力層のANP
に与えられる層の同期クロックである。SH1とOC1は中間
層のANPに対するサンプル／ホールド制御信号とオフセ
ットコントロール信号、SH2とOC2は出力層のANPに対す
るサンプル／ホールド制御信号とオフセットコントロー
ル信号である。

左側のブロックであるディジー回路171,172は、入力層
に相当する入力側回路である。入力ノード、つまり入力
層内のニューロンを実現するために、アナログ信号を時
分割でANPが出すのと同じタイミングで、アナログ入力
ポート0,1より与えられるアナログ入力信号を回路内に
入力しなければならない。つまり、出力層からみれば、
出力層のANP4,5の前の中間層のANP1,2,3からアナログ信
号をアナログバスB2を介して時分割で受けることを基本
動作としている。これと同じ関係が中間層と入力層にも
存在しなければならない。入力層と中間層の関係は、中
間層のANPから見るとその前に入力層のANPがあるように
見えなければいけない。このことは、中間層のANPがア
ナログバスB2にアナログ信号を出力するタイミングと同
じ機能でアナログ入力ポート0,1からのアナログ入力信
号に対しても決まった規則でアナログバスB1に出力しな
くてはならないという制約がある。即ちアナログ入力ポ
ート0,1からの入力信号はアナログバスB1に時分割に乗
ってくる。アナログ入力ポート０からのアナログ信号
は、適当なタイミングでアナログバスB1に乗るが、そこ
に出力した次のタイミングで、アナログ入力ポート１か
らの次のアナログ入力信号が同じアナログバスB1に乗
る。この同期をとるために一定のタイミングで出力され
る入力制御信号CSIをディジー回路171が入力し、一定時
間後に、その回路から出力制御信号CSOが出力される。
このCSIはマスタコントロール回路181のCSO1から出力さ
れる。ディジー回路171,172は一種の遅延回路である。
各ディジー回路171はマスタコントロール181から入力制
御信号CSIを入力すると、自分は縦方向に隣接する次の
ディジー回路172に対して、アナログ入力ポート１のア
ナログ出力信号を出すように、CSO信号を次に渡すこと
になる。この動作をディジー制御と呼ぶ。

マスタコントロール回路181のCSO1が立ち上がると、ス
イッチ175がオンし、サンプル／ホールド回路173に保持
されているアナログ入力ポート０のアナログ入力信号は
アナログバスB1に乗る。CSO1はディジー回路171のCSIで
あるから、これが立ち下がってから一定時間後にCSOが
立ち上がる。これはディジー回路172のCSIであると同時
に、スイッチ176を制御してオンにさせるので、サンプ
ル／ホールド回路174に保持されていたアナログ入力ポ
ート１のアナログ入力信号をバスB1に乗せる。階層構造
になった本システムでは、このディジー制御が必要とな
る。つまり、アナログ入力信号に対してアナログ入力ポ
ート０からサンプル／ホールド回路173を介してアナロ
グバスB1に出力すれば、次にアナログ入力信号に対して
アナログ入力ポートと１からサンプル／ホールド回路17
4を介して同じアナログバスB1に出力させることにな
る。中間層の各ニューロンでみているとアナログ入力ポ
ート０のアナログ入力信号とアナログ入力ポート１から
の次のアナログ入力信号とは時分割で逐次に入ってく
る。

各ディジー回路171,172は、アナログバスB1上のバス競
合を防ぐために、入力制御信号CSIを特定の時間だけ遅
延させて出力制御信号CSOを出す。

中間層においても、マスタコントロールブロック181か
らの出力制御信号CSO2をCSIとして受けるANP1がアナロ
グ信号を出力したら、CSOをCSIとしてANP2に渡すと、次
にANP2が出力する。ANP2のCSOをCSIとして受けるANP3が
次にアナログ信号を出力することになる。要するに、こ
こではANP1,2,3の順に出力し、中間層のディジー動作が
終わる。これと並行して全ての動作を管理しているマス
タコントロールブロック181は、出力層のANP4にCSO3を
与えるとANP4が出力し、出力完了後、ANP4がANP5にCSO
を与えるとANP5が出力する。

出力層のANP4,5からの出力は、それぞれマスタコントロ
ールブロック181からCSO3信号及びANP4からのディジー
チェーン用出力制御信号CSOによってそれぞれサンプル
／ホールド回路177、178でサンプル／ホールドされる。
この出力電圧は、アナログ出力ポート0,1からアナログ
出力信号として出力される他、アナログマルチプレクサ
179で選択された後、A/Dコンバータ180でA/D変換され、
MPU182、メモリ183、通信インタフェイス184から構成さ
れるディジタル制御手段に入力される。そして、MPU182
で例えば学習時に与えたMPU内に蓄えられた教師信号と
比較し、所望の出力信号であるかのチェックを行い、こ
の結果に基づいて後述する重みメモリの重みデータを変
更する。マックスバリューノード回路187はマスタコン
トロールブロック181からダミーノード制御信号DCS1,DC
S2が出力イネーブル１及び２に加えられるとともに、出
力端子はアナログバスB1,B2に接続される。

第17図は第16図に示した実施例にかかる階層型ニューロ
コンピュータのタイミング図である。各層別にその制御
信号線が抜き出して書かれている。まず基本的な動作ク
ロックであるデータクロックDCLKと重みクロックWCLKは
同一層のすべてのANPや入力側のディジー回路171,172に
同時に入る。

重みクロックWCLKは、重みのディジタルデータをシリア
ルで送り込むためのシリアル同期パルスで、重みメモリ
ブロックから重みを読み出すための同期クロックであ
る。どのタイミングで、入力データを取り込むかはそれ
ぞれの制御信号で規定する。まず第17図のタイミングチ
ャートにおいて、CSO1はマスタコントロールブロック18
1から出力されるディジーチェーン用制御信号CSO1、す
なわちディジー回路171へのディジーチェーン用制御信
号CSIである。ディジー回路171において、CSIが１番目
のアナログ入力信号をアナログ入力ポート０からサンプ
ル／ホールド回路SH173を介してアナログバスB1に出力
させる。すなわちタイミングチャートのにおいてアナ
ログ信号をアナログバスB1に出力させる。この瞬間に、
アナログバスB1上に電圧が乗り、ANP1,ANP2,ANP3はこの
アナログ信号に対して並列に積和演算を行う。そのCSO
がディジー回路171を通過し、CSOが立ち下がってから所
定時間後に次のCSIがに示すように立ち上がり、ディ
ジー回路172にそのCSIが入る。次のCSIは入力層の２番
目のディジー回路172に入る制御信号である。そしてCSI
がハイの間にアナログ入力ポート１からアナログ入力信
号をサンプル／ホールド回路SH174を介してANP1,ANP2,A
NP3に入力し、ここで積和演算を行う。マスタコントロ
ールブロック181からのDCS1は、ダミーノードへの制御
信号である。各層とも入力の他にダミーノードからの信
号があるので（ニューロンノード数＋１）個のノードの
形態であり、入力層では２入力であるが、各中間層のAN
Pからみると３入力であるように見える。これを時間的
に説明すると、２つのCSIと１つのDCS1で１つのブロッ
クとなる制御信号である。入力のサイクルは、最初のCS
Iから始まり、DCS1のダミーへの入力で終わる。ダミー
ノードはマックスバリューノード回路187であり、その
回路はDCS1が入力されている間アナログバスに固定され
たある閾値電圧を出力する。すなわちで示すようにDC
S1が立ち上がってからこの電圧が出力されている間、中
間層の各ANPは通常の入力と同様に積和演算を行って、
その固定電圧が前の２つのアナログ入力信号の積和演算
されたものの結果に加えられることになる。すなわち、
掛け算後、足し算を実行する。SYNC1は、CSO1が立ち上
がる前のDCLKの立ち下がりでハイとなり、DCS1が立ち上
がってから次のDCLKの立ち下がりでロウとなる。これは
入力相の同期をとる信号である。WCLKが入力されている
間でアナログ入力と重みデータの掛け算が行われる。中
間層のANPに入るサンプル／ホールド信号SH1には、２つ
の山M1,M2が出力されているが、最初の山M1の少し前で
積をとり山の部分で和を生成し、ホールドする。そし
て、次の山M2でオフセット電圧V_b（第９図参照）を差し
引いてサンプル／ホールドする。このような処理を入力
されるすべてのアナログ信号について順次繰り返し行
い、積和の計算が終わる。この場合はダミーを含めて中
間層の各ANPは積和演算を３回実行する。これで中間層
の各ANPの１回の処理は終わり、３入力に対する積の加
算までが終了する。

また、タイミングチャートに於いてDCS1が立ち下がった
直後のDCLKがハイのとき、アナログ２力ポート０、1,ダ
ミーノードから３つの信号について積和演算した結果が
各ANP1,2,3のキャパシタ（第７図、サンプル／ホールド
部45内のC_h）にホールドされる。このような動作が基本
的に繰り返されることになるが、中間層と出力層との間
にあるアナログバスB2にANP1の出力信号をいつ出力する
かということはマスタコントロールブロック181から出
されるCSO2の信号の立ち上がりで決まる。

SH1の下に示したオフセットコントロール制御信号OC1は
ANPの内部においてオフセットキャンセルを行う。すな
わち各ANPは内部的にオペアンプを含むアナログ回路で
あって、回路自体がオフセットを持っているため、この
オフセットをキャンセルするための制御信号がOC信号で
ある。OC1に示されるように積和の演算が１つ実行され
る毎に１つのパルスが出され、内部においてオフセット
キャンセルが実行されている。タイミングチャートでは
で示すようにCSO2が立ち上がるとともにANP1からアナ
ログバスB2にANP1にホールドされていた信号が出力し、
CSO2がハイの間に出力層のANP4が積和演算を行う。で
示されるCSO2の立ち上がりはその前の入力結果の積和の
結果を出力するタイミングである。

次に、第17図を使って中間層と出力層との間のタイミン
グを説明する。

なお、同図において、中間層からのディジーチェーン制
御信号の出力，，，及び出力層からの出力，
に同期してアナログバス上にあらわれるアナログ信号
は上述した入力層からのディジーチェーン制御信号の出
力，，に同期してアナログバス上に入力されるア
ナログ信号に対して１処理サイクル前の結果が現れるこ
とになる。パイプライン処理の実行は後で説明するが、
タイミングチャートので示されるCSO2の立ち上がり時
において、ANP1の出力が出される。に示されるCSO2の
立ち上がり時にタイミングチャートSH2の信号を見ると
パルスが２つ出されている。SH2信号は第16図のブロッ
ク図において、出力層の第１番目のANP4に入力されてい
る。すなわちSH2信号の２つの山のパルスにおいて、ANP
4内で和の演算が１つ実行される。中間層には図に示さ
れるようにANP1,2,3の３つの中間層のニューロンがある
が、マックスバリューノード回路187によるダミーノー
ドが１つ加えられ、合計４つのニューロンがあると仮定
されている。従ってSH2信号の山２つのパルスがの部
分から見て４回出力されており、このSH2信号の４組の
山のパルスで中間層のアナログ信号がANP4に入力され積
和が演算される。この動作は当然、中間層のANPが入力
信号に対して積和演算をしているタイミングと同時に行
っていることになり、これはパイプライン処理となって
いる。CSO2の下の信号は中間層にあるANP1のCSOの信号
で、これは同じ中間層のANP2に対するCSIである。これ
がで示されている部分である。その下はANP2のCSOで
その下はANP3のCSIでこれがである。その下がANP3のC
SOであり、その下がのダミーノードのCSIであってこ
れはDCS2、すなわちマスタコントロールブロックから出
される信号である。CSIで見ると，，，の順序
でそれぞれ中間層のANP1,ANP2,ANP3、そしてダミーノー
ドのマックスバリューノード回路187に入力される。こ
の間SH2信号は２つの山を持つパルス信号を４つ出して
いる。すなわち、ANP4の出力層のニューロンは入力アナ
ログ信号と重みとの積を４つ分加えることになる。の
部分でANP1にCSIが入力している時にはANP1からアナロ
グ信号が中間層と出力層の間のアナログバスに信号が出
され、これがANP4に入力される。そしてこの時、対応す
る重みデータがANP4に入力され、それと共に積が実行さ
れ、SH2信号の第１の山で加算され、第２の山でサンプ
ル／ホールドされる。そしてこの計算が終わると、ANP1
からCSOの信号が立ち上がり、これがANP2のCSIとなる。
これがの状態であり、この時重みデータとアナログバ
ス上のデータとが掛け算され、和が計算される。が立
ち下がったあと所定時間後にANP3へのCSIがハイとなり
で示すようにANP4で積和演算が行われる。このような
積和の演算がANP4内で計算され、のところでマトリッ
クスバリューノード回路187から出力される固定電圧がA
NP4に入力され、これが内部のいままで蓄えられた積和
に加えられることになる。

以上の動作は出力層のANP5に対しても並行して行われ
る。ここに同時処理がある。ANP4で計算された積和演算
の結果が出力層に接続されたアナログバスB3に出力され
るタイミングはマスタコントロールブロック181から出
されるCSO3の立ち上がりである。マックスバリューノー
ド回路187がアナログバスB2に出力するための制御信号
がDCS2であって、これがに対応する。このDCS2までは
中間層における計算結果を出力するまでの動作である。
タイミングチャートのこれよりも下に書いてある信号に
対しては同じような動作であり、中間層とスケードに接
続された出力層側の動作を規定する信号パルスである。
CSO3が立ち上がると、ANP4で計算された積和演算の結果
が出力されることになる。出力層ではANP4、ANP5の２個
が出力される。なお、例えばのCSO2の立ち上がりは、
ANP1に入る信号で、この立ち上がりはDCLKよりも遅れて
いる。これはアナログ入力信号とディジタル重みデータ
との積演算を行う場合、WCLKでディジタルデータを読み
込む時にシリアルであって、これを内部でパラレルに変
換するディジタルデータの読み込み時間とアナログ入力
信号がD/Aコンバータすなわち乗算処理部に到達するま
での時間を考慮しCSO2の立ち上がりを遅らせているから
である。すなわち、最初の頭の部分でズレているのは、
データの呼び出し、つまりシリアルデータの読み込み時
間が含まれている。データがセットし終わるのはDCLKの
立ち上がりから、しばらくたった時間すなわちWCLKで16
サイクル後である。アナログ乗算の開始時間はCSO2が立
ち上がってからWCLKで８サイクルたった後である。

第18図は、ディジタル重みデータの読み込みタイミング
を示すタイミングチャートである。同図において、マス
タクロックMCLK、同期信号SYNC、重みクロックWCLK、デ
ータクロックDCLK、実際の重みデータWDATAが示されて
いる。重みデータWDATAは重みメモリからビットシリア
ルで読み出され、16ビットがシリアルに入力される。Ｓ
はサインビットで、B14〜B0までが数値ビットである。
同図において重みデータWDATAのB8,B7,B6の部分が重み
クロックWCLKとの対応として図の下方に拡大された形で
表現されている。重みクロックWCLKは周期が250nsecで
デューティ比50％になっている。WCLKの立ち下がりから
シーケンサ内部にあるアドレス更新用のカウンタの伝播
遅延時間後に重みメモリにアドレスが与えられる。即ち
重みメモリ（RAM）のビットｎのアドレスは重みデータW
DATAのビット７が格納されている重みメモリのアドレス
である。このアドレスが確定した後、tAA時刻後にビッ
ト７が読み出されている。ビット７からビット６への変
化は重みクロックの次の周期への変化によって決まり、
ビット６は次の周期で読み出されている。重みデータの
16ビットはANPに入力され、ANPに入力されるアナログ電
圧との積が内部のD/Aコンバータによって計算されるの
で、アナログ電圧の入力開始は、データクロックDCLKか
らの立ち上がりからずっと後に入力される。即ち、アナ
ログ入力電圧は入力されてからD/Aコンバータに到達さ
れるまでの時間があるのでその時間とディジタル重みデ
ータが内部にセットされる時間とを制御し、重みデータ
の到着時間とアナログの到着時間がちょうど一致するよ
うにアナログ電圧を入力する必要がある。

例えば、アナログ入力電圧の立ち上がりは、重みデータ
のB7あたりから立ちあげ、重みデータのB0が入力され、
その後すべての重みデータが内部で確定した頃にそのア
ナログ値との乗算がスタートするように時間の制御をと
る必要がある。そして加算はDCLKが次にロウになる期間
で行われる。

ANPの動作時間は、SYNC信号とWCLK、及びデータDCLKで
規定される。そしてアナログ入力電圧はANPの入力端子
からディジタル重みデータと積を実行するD/Aコンバー
タ迄の電圧到達時間等にかなりの時間誤差があるので、
マージンを見込んでCSIの立上りはDCLKの立上りより遅
れたところから始まることになる。

第19A図はマスタコントロールブロック181の構成図であ
る。マスタコントロールブロック181はすべての制御信
号を総括する部分である。主要な構成要素は外部バスイ
ンタフェイス回路200、制御パターンメモリ201及びマイ
クロプログラムシーケンサ202とマイクロコードメモリ2
03、アドレス作成部204である。外部バスインタフェイ
ス回路200は、MPU等に接続するためのインタフェイスで
アドレス線205、データ線206及び制御信号線207に接続
されている。外部バスインタフェイス回路200の上位ア
ドレス比較回路208、レジスタであるＤ−FF209はそれぞ
れMPU等から与えられる上位アドレスをデコードし、上
位アドレスが予め定められた番地である場合に、下位ア
ドレスとデータをそれぞれＤ−FF209,211にタイミング
回路214からのラッチ信号をトリガとしてセットする。
そのアドレスとデータはそれぞれバスドライバ210と212
を介して、内部アドレスバスと内部データバスを介して
内部に入力される。そのアドレスはマイクロコードメモ
リ203を参照して、マイクロコードをデータバスを介し
てMPU側から書き込む場合等に利用される。また下位ア
ドレスはバスドライバ210を介してマイクロコードアド
レスをマイクロプログラムシーケンサ202にも渡され、M
PU側からの特定なアドレスで制御パターンメモリ201を
参照できるようにしている。

MPUあるいは主記憶からのデータはデータ線206を介して
Ｄ−FF211にラッチされた後、バスドライバ212を介して
マイクロコードメモリ内のセパレートI/ORAM213あるい
は、制御パターンメモリ201内のセパレートI/ORAM215,2
16に加えられる。MPU或いはメモリからのデータストロ
ーブ信号が制御信号線207を介してタイミング回路214に
加えられるとアクノリッジ信号を返送する通信方式で、
アドレスやデータの送受信に関する制御が行われる。タ
イミング回路214はＤ−FF211,D−FF209へのラッチタイ
ミングやWR信号を介してマイクロコードメモリ203制御
パターンメモリ201への書き込みタイミング等を制御す
る。

第17図のタイミングチャートに示されるようなニューロ
チップに与える複雑な制御信号の“1",“0"パターン
は、制御パターンメモリ201に１周期分格納され、その
１周期分のパターンをマイクロプログラムシーケンサ20
2の制御に従って制御パターンメモリ201から読み出すこ
とによって生成する。例えばリセット信号Reset、デー
タクロックDCLK、重みクロックWCLK、CSO1,CSO2,CSO3や
SYNC1、SYNC2、SH1、SH2、OC1,OC2等の制御信号はセパ
レートI/ORAM215から読出され、パターンに付随する制
御情報つまりシーケンス制御フラグは第２のセパレート
I/ORAM216から読み出される。例えば制御パターンメモ
リ20は1000110001というパターンが格納されている場合
には、“1,0"ビットのパターンであるから、この“1,0"
ビットのパターンを繰り返すように制御パターンメモリ
201のアドレスを制御すれば、このパターンの繰り返し
が制御パターンメモリ201から読み出されることにな
る。すなわち制御信号のパターンは非常に複雑なパター
ンであるので、これらのパターンを予めこのセパレート
I/ORAM215に格納しておき、そのセパレートI/ORAM215の
アドレスをマイクロプログラムシーケンサ202の制御に
従って指定することによって順次そのビットパターンを
出力する構造になっている。よって、幾つかの同じパタ
ーンを繰り返すことになるので、その繰り返しをどのよ
うに実現するかはアドレス制御に従う。この１周期分の
パターンをオリジナルパターンと呼ぶことにする。オリ
ジナルパターンを繰り返すためには、マイクロプログラ
ムシーケンサ202に制御パターンメモリ201からの特定な
情報をフィードバックする必要がある。すなわち第２の
セパレートI/ORAM216内のシーケンサコントロールフラ
グを条件入力としてマイクロプログラムシーケンサ202
に入力することにより、マイクロプログラムシーケンサ
202は第１のセパレートI/ORAM215内のオリジナルパター
ンの入っている先頭アドレスに戻るように制御する。こ
のことにより、オリジナルパターンの繰り返しが実行さ
れる。すなわち、マイクロプログラムシーケンサ202は
その条件が満たされるまで汎用ポート出力線202−１を
介してセパレートI/ORAM215へのアドレス信号を逐次に
生成する。通常はこのアドレスはインクリメントされる
がオリジナルパターンの最終になったという条件が満た
されると、そのオリジナルパターンが格納されている先
頭アドレスに戻るようにする。結果として特定なパター
ンが繰り返しセパレートI/ORAM215から制御パターンが
出力される。

第19B図は、マスタコントロールブロック181を制御する
メモリ201及び203内の情報の相互関係である。同図にお
いて、制御パターンメモリ１が第１のセパレートI/ORAM
215に相当し、制御パターンメモリ２が第２のセパレー
トI/ORAM216に相当する。マイクロコードメモリ203内に
は、シーケンサ202の制御コードが記憶され、主に、Jum
p命令とRepeat命令が格納されている。アドレスの増加
方向にみて、特定なアドレスにRepeat命令があり、この
反復命令に従う制御パターンメモリ内のパターン１の繰
り返し数は制御パターンメモリ２の対応するアドレスに
格納され、例えば「10」であるとすれば、10回の反復を
実行することになる。このようにして、アドレスが増加
し、マイクロコードメモリのJump命令に来たときに、マ
イクロコードメモリ203内の第２のJumpで500Hに飛び、P
attern2を出力する。Pattern2を５回繰り返すと、マイ
クロコードメモリ203内の第３のJumpで、再び「100H」
に飛び、Pattern1を出力することになる。このようにし
て、オリジナルパターンが繰り返されて、制御パターン
メモリ１から読み出される。

この制御パターンメモリ201を参照するアドレスの読み
出しクロックに同期してWCLKが作られており、重みメモ
リ185,186からWCLKに同期して情報が読み出される。重
みメモリ185,186へのアドレスはアドレス作成部204のア
ドレス１及びアドレス２から出力されるアドレス信号に
よってアクセスされる。アドレス１とアドレス２はそれ
ぞれ、中間層と出力層に対応して分離している。中間層
にあるANPに与えるべき重みデータはアドレス１によっ
て指定される重みメモリ185から読み出され、出力層へ
のANPへの重みデータはアドレス２によって指定される
重みメモリ186から読み出された内容である。各アドレ
スは重みメモリ185,186の内容が重みデータの各ビット
をアドレスが増す方向に１ビットずつ格納されているの
で、アドレスカウンタ217,218へのカウント制御信号が
マイクロプログラムシーケンサ202から与えられる必要
がある。そのアドレスカウンタ217,218によってこのア
ドレスがバスドライバ219,220を介して次から次へと重
みメモリ185,186へのアドレス信号として、インクリメ
ントして与えられる。そして複数の重みデータがその重
みメモリ185,186から読み出される。

第１のセパレートI/ORAM215からWCLKとマイクロプログ
ラムシーケンス202からのカウンタ制御信号がアドレス
作成部204内のアンド回路221、222に加えられている。
カウンタ制御信号がハイのとき、WCLKによってアドレス
カウンタは更新され、WCLKの１〜16ビットまではアドレ
スカウンタ217,218をインクリメントする。そして、残
りのWCLK17〜26ビットに対しては、カウンタ制御信号を
ロウとすることによりWCLKをインヒビットとしてアドレ
スカウンタ217,218のインクリメントを停止する。そし
て、SYNC1、SYNC2に同期して、それぞれカウンタリセッ
ト信号をマイクロプログラムシーケンス202からアンド
回路221,222に送出して、アドレスカウンタ217、218を
リセットする。このことにより、重みメモリ185,186の
アドレスを先頭アドレスに戻す。なお、マスタコントロ
ールブロック181から出力されるモード信号は、重みメ
モリの通常使用、すなわち重みメモリをMPUデータバス
から切り離し重みデータをANPに与えるモードと、重み
メモリをMPUデータバスに接続し、MPUから重みメモリを
参照するモードを形成するためのものである。

モード信号は、MPUからのデータの下位ビットが、下位
アドレスの１ビットとタイミング回路214からの書込み
信号からWRをアンド回路223にて生じるアンド信号をト
リガとしてフリップフロップ224にリセットされること
により形成される。このモード信号が０のとき重みメモ
リは通常使用となる。

書込み信号WTと内部アドレスバスの１ビットがアンド回
路223を介してフリップフロップ224のクロック端子に入
力され、内部データバスのLSBがフリップフロップ224の
データ端子に入力される。上位アドレスを比較回路208
でマスタコントロールブロック181が選択されているか
を判定し、選択されている場合、下位アドレスとデータ
をDFF209,211に取り込む。このような、インタフェイス
動作はMPUに接続される他のデバイスに対しても同様に
行われるが重みメモリは通常ANPに対し重みデータを供
給しているので、MPUのデータバスに直接接続するとバ
ス競合が生じる。これを防ぐために、内部データバスの
LSBがフリップフロップ224に取り込まれた時はモードを
１として、重みメモリを後述するようにチップセレクト
しないようにして、重みメモリからデータバス上にデー
タが生じないようにする。内部アドレスバスが所定タイ
ミングにおいて、内部アドレスバスによって、マイクロ
コードメモリ203と制御パターンメモリ201のいずれかの
アドレスを指定し、そのアクセスされたアドレスに内部
データバスから所望のデータを書き込む。これにより、
マイクロプログラムシーケンサ202やマイクロコードメ
モリ203、セパレーI/ORAM216に記憶されたプログラムを
変更するか、セパレートI/ORAM215に記憶された制御パ
ターンを変更する。

第20A図はこの重みデータメモリ230のデータ格納構成図
である。同図において列方向の８ビットは同じアドレス
に入った８ビットデータの情報であり、各ビットは下か
らANP1,ANP2・・・ANP8に与えられる。行方向はアドレ
スが異なり、図に示すように左に行くほどアドレスが増
加する方向となっている。重みデータはサインビットを
含めて16ビットであるからこれをアドレスの小さい方向
から大きい方に向かって格納する。MSBは、サインビッ
トで、それ以外の15ビットは数値ビットである。マイク
ロプログラムシーケンサ202からアドレスがWCLKに同期
してインクリメントされると、重みデータの１ワード
分、すなわち16ビットがMSBから順にLSBまで読み出され
ることになる。８個の複数のANPに同時にこれらの重み
データが渡される。このようにアドレスの増加する方向
にデータが格納される構造になっているため、この重み
データに対するアドレスのカウンタが必要となる。すな
わち、MSBからLSBの重みデータデータの１ワード分がカ
ウントされたら、１個分の重みデータになるようにカウ
ントされる制御が必要となる。この制御はやはりマイク
ロプログラムシーケンサ202で行っている。

第20B図は重みメモリブロック185,186具体的回路であ
る。メモリ230はMB8464A−70というRAMである。出力はA
NP1〜ANP8に対応する８ビットである。基本的にMPUのバ
スから見たバス信号線とマスタコントロールブロック18
1から見えるアドレス１と２のどちらかを使う。アドレ
ス１と２は前述した第19A図のアドレス１と２である。
このアドレス１と２はWCLKに同期してインクリメントさ
れる形で入力される。８ビットのデータは同時に読み出
され、各ビットはANP1〜ANP8に対して同時に与えられ
る。

モード信号が０のときアンドゲート233を介して、重み
メモリ230はチップセレクトされ、このとき、マイクロ
プログラムシーケンサ202からのアドレス1,2がマルチプ
レクサ234で有効となる。そして、重みメモリ230から重
みデータがANP1〜８に送られる。一方、反転回路231の
出力は、ハイであるからトライステートバストランシー
バ232はディスイネーブル状態となって重みメモリ230の
出力はMPUへと出力されない。

MPUに出力する場合には、モード信号を１にして、MPUか
らの適当なアドレス情報によって、アドレスデコーダ23
5を介してメモリ230をチップセレクトし、メモリ230にM
PUからアドレスを与える。モード信号が１のとき、MPU
バスへの読み出しまたはバスからメモリ230への書き込
みの制御すなわちリードライトの方向は、MPUからアン
ドゲート236を介して来るデータ線の読み出し信号Read
Signalによって決められる。

次に学習のアルゴリズムについて説明する。

第20C図は本発明に利用されるバックプロパゲーション
という学習アルゴリズムのフローチャートである。学習
は次のように進められる。本発明のニューラルネットワ
ークすなわち、ANPの集合によって構成される階層型ネ
ットワークの入力に学習すべき完全情報がMPUから図示
しない入力制御回路を介して入力される。そして、その
入力信号は入力側回路、中間層及び出力層を介してネッ
トワーク出力にA/Dコンバータを介した後MPUに与えられ
る。MPU側の主記憶内に学習アルゴリズムが存在する。M
PU内は、教師信号を主記憶から取り入れ、ネットワーク
の出力と教師信号との誤差を調べる。もし、その誤差が
大きければ、MPUは、ネットワークが正しい出力を出す
方向に、ネットワークの接続の強さである重みデータを
変えることになる。この重みデータは重みメモリ230を
介して各層のANPに加えられる。

重みデータが学習アルゴリズムによて更新される場合、
第20C図のバックプロパゲーション学習アルゴリズムに
従うことになる。学習アルゴリズムがスタートすると、
MPUは出力層のＬ番目のニューロンANP_Lの現在の出力Y_L
と教師信号_Ｌと、との誤差を求めてそれをZ_Lに代入す
る。出力Y_LはニューロンANP_Lの出力であるから、例えば
シグモイド関数を非線形素子として使うならば、この非
線形関数の出力値として出されたものである。従って、
ニューロンANP_Lにおいて、誤差Z_Lを非線形関数の入力側
に誤差伝播する必要がある。誤差伝播を行う場合、エネ
ルギー関数、すなわち誤差信号の２乗に1/2を掛けたエ
ネルギー、すなわち E_L＝1/2（_Ｌ−Y_L）^２の非線形関数が入力X_Lに対する偏分、すなわちは次のように変形できる。

となる。ここで、非線形関数ｆ（X_L）がシグモイド関数
であるとするならば、で表される。

このシグモイド関数の微分ｆ′（X_L）を変形すると、ｆ′（X_L）＝Y_L（１−Y_L）となる。これはフローチャートのS2に示されるV_Lであ
る。従って、δすなわちエネルギーの非線形関数入力X_L
に対する偏分はV_L×Z_Lとなり、すなわちS2に示されるU_L
となる。このエネルギーの非線形関数入力に対する誤差
分δをさらに中間層へ逆伝播させる必要がある。

中間層の第Ｋ番目のニューロンをA_kとする。A_kの出力は
Y_kとする。出力層のニューロンANP_Lの非線形関数入力XL
はすべての中間層にあるニューロンの出力｛Y₁・・Y
_kMAX｝までのそれぞれに重みW_LKを掛けた積和で表現さ
れる。従って、X_Lの重みW_LKに対する偏分はとなる。一方、エネルギーE_Lに対する重みW_LKの変分は
次式で与えられる。

となる。すなわちS3のT_LKはを表現しているもので、エネルギーの重みに対する偏分
である。従って、このT_LKを重みの変化分ΔＷとすれば
よいが、収束を早めるためにS4に示される第１式の第２
項を加えて、次のような漸化式にして重みを修正する。

ΔW_LK＝αT_LK＋β・ΔW_LK W_LK＝W_LK＋ΔW_LK ここで、n,αは定数である。今、出力層の特定なニュー
ロンANP_Lに注目しているが、このANP_Lは中間層のニュー
ロンにすべて接続されているものとするならば、各ANP_L
に対してＫを１からK_maxまで繰り返す必要がある。これ
がフローチャートのR1に示す繰り返しで、中間層のニュ
ーロン数K_maxだけ繰り返すことになる。この繰り返しが
終わると出力層の特定なニューロンANP_Lに対する逆伝播
が終了することになる。従ってこれをすべての出力層の
ニューロン｛ANP₁,ANP₂,・・・,ANP_L _max｝に対して行
う必要があるため、フローチャートR2に示すように、Ｌ
を１からL_maxまで繰り返すことになる。すなわち、最終
出力層のニューロンの数L_maxだけ繰り返すことになる。

次に今度は中間層から入力層に向かって学習することに
なる。アルゴリズムはほぼ同様であるが、誤差信号は教
師信号と出力電圧との差で表現できず、S5の式になる。
すなわち、Z_kが中間層のＫ番目のニューロン、A_kの出力
誤差信号に対応する項となる。これは次式によって明ら
かである。

となる。従って、S5のZ_kのインデックスＬに対して１か
らL_maxまで、すなわち出力の数だけ繰り返す（R3）こと
によって中間層の誤差信号分Z_kが計算される。その後は
中間層と出力層との間のアルゴリズムと同じである。す
なわち、まず、シグモイド関数の微分値V_kを出し、それ
を用いてU_k、すなわちエネルギーの非線形関数入力に対
する変化分をS6で求める。S7でそのU_kを用いて入力層の
出力、Y_jとの積T_kjを求める。これを重み変化分の主要
部として、S8に示すように収束を早めるための第２項を
加えて、ΔW_kjを求め、前の値W_kjにそのΔW_kjを加えて
新たなW_kjとする。これが重みの更新である。この重み
の更新を入力数J_maxだけ繰り返す（R4）。すなわちＪ＝
１からj_maxまで繰り返すことによって入力層と中間層の
間の重みが更新されることになる。なお、S5のZ_kは中間
層の出力の誤差信号に対応するものであって、これは出
力層のエネルギーの関数入力値に対する変分U_Lを後ろ向
きに逆伝播した形で表現され、W_LKは中間層と出力層と
の重みが定まって初めて定まるものである。すなわち重
みの更新に対する計算は出力層のニューロンANP_Lから始
めて中間層のニューロンANP_Kに移り、中間層のニューロ
ンANP_Kではその重み変化分ΔＷはその前段のΔＷが決ま
らないと計算できないものとなっている。従って最後の
入力層まで遡って始めて計算が可能となるところからこ
の学習はバックプロパゲーションと呼ばれている。

バックプロパゲージョンによる学習は学習用のデータを
完全情報として入力し、結果を出力する前向き動作とそ
の結果のエラーを小さくするようにすべての結合の強さ
を後ろ向きに変えることになる。その為、この前向き動
作も必要となる。この前向き動作において本発明のアナ
ログニューラルネット部が有効に利用される。また、出
力値を逆伝播するアルゴリズムはMPUで実行される。な
お、シグモイド関数でない非線形である場合には、その
非線形の微分値が異なる。例えばtanh（ｘ）であるなら
ば学習アルゴリズムは第20D図のように、非線形の微分
結果は、出力層ではV_L＝１−|Y_L|となり（S2′）、中間
層ではV_k＝１−|Y_k|（S6′）となる。

その他は、第20C図と同じ参照符号をつけて説明を省略
する。

第21図は入力側のディジー回路173,174の構成図であ
る。図中240,241,242はＤタイプのフリップフロップで
ある。DCLK信号の立ち上がりでＤ端子に入力されるデー
タをセットし、出力Ｑを１の状態にする。第１のフリッ
プフロップ240は、DCLKの立ち下がりで、CSI信号をセッ
トする。そして、次の立ち上がりで第２番目のフリップ
フロップ241にその出力信号をセットする。

その出力は第３番目のフリップフロップ242のＤ端子に
入力されている。その入力をセットするクロック信号は
４ビットカウンタ243の出力である。カウンタ243はWCLK
の立ち下がりでトリガされる。クリアされるのはDCLKの
立ち下がりである。従って、DCLKの立ち下がりにカウン
タ243はオール０となり、WCLKの立ち下がりが８回入力
された後、上位ビットのQD信号がハイとなるので、これ
がトリガとなってフリップフロップ242はCSOにハイ信号
を出力する。フリップフロップ241の出力が０になればC
SOはクリアされる。このような動作により、CSIが立ち
下がって、WCLKの８パルス分に相当する所定な時間通過
したのちCSOが出力されるというディジー動作が行われ
る。

第22図はダミーノードのニューロンを形成するマックス
バリューノード回路187の具体的回路図である。同図に
おいて抵抗250は、ツェナーダイオード251、252、抵抗2
53、電圧フォロア254、255は一定電圧を形成する回路で
ある。抵抗250、253とツェナーダイオード251、252を介
して＋12ボルトから−12ボルトに電流が流れると電圧フ
ォロア254、255の入力には、それぞれ＋７ボルトと−７
ボルトが形成される。これらの電圧は電圧フォロア254,
255の出力抵抗256を介して出力される。この２つの一定
電圧を時分割で引き出すようにアナログスイッチ257〜2
64を用いて制御する。Ｔモードの信号が０の時、その一
定電圧はアナログスイッチ257を介して次の電圧フォロ
ア265に与えられる。Ｔモードが１すなわち、テストモ
ードの時にはアナログスイッチ258によってその出力は
アナロググランドに抑えられるため、０ボルトが電圧フ
ォロア265に入力される。テストモードでは、バス上の
オフセットがMPUに通知されることになる。電圧フォロ
ア265は、出力部のスイッチ制御によってイネーブルさ
れる。出力イネーブルが１のとき、アナログスイッチ26
0がオンで電圧フォロアとして働き、その出力が与えら
れるが、この時、ダミーノード出力には出力されない。
逆に出力イネーブルが０の時にダミーノード出力に出力
される。アナログスイッチ260とその出力のスイッチ制
御は出力イネーブル１または２によって制御され、０イ
ネーブルである。すなわち出力イネーブル１または２が
０の時にダミーノード出力に一定電圧が出力される。な
お、ダミーノード出力は上側が入力層のダミーノード用
であり、２番目が中間層のダミーノード用の出力であ
る。このダミーノードの出力電圧は適当な値に固定され
るため、スレッシュホールド電圧として使用可能とな
る。なお、ツェナーダイオード251,252は逆バイアス状
態で一定の電圧を出すものであり、固定電圧は、＋７ボ
ルトから−７ボルトまでの範囲で可変できるようにして
いる。出力イネーブル1,2はアナログバスにつながって
いる他のANPからの出力電圧とそのアナログバス上で衝
突を避けるためにマスタコトロールブロック181からの
ダミーノード制御信号DCSでイネーブル状態が決められ
ている。

第23図は非線型関数発生回路であり、第24図、第25図、
第26図はANP内部のディジタルロジック側のハードウエ
アである。

第23図はシグモイド関数を実現するトランジスタ回路網
である。ここでいうシグモイド関数とは連続で単調非減
少な関数を指し、かつ線型関数を特に除外するものでは
ない。同図において343,356,378,390,298,314のトラン
ジスタとそれに対になったトランジスタで差動増幅器を
形成し、コレクタ側に接続されたトランジスタ群がそれ
ぞれカレントミラー回路である。差動ANPの左側のトラ
ンジスタのコレクタを流れるコレクタ電流が出力電流で
ある。カレントミラーで電流の方向を変えて出力してい
る。電流は出力V0に接続されている抵抗336にはいる。
抵抗336によって電圧が電流に変えられる。ドライブ能
力がないため、出力にはハイインピーダンスのオペアン
プバッファで受ける。トランジスタ337,339より入力側
の回路はバイアス回路である。シグモイド関数を実現す
るために区分線形法を使っている。シグモイド関数の各
区分の傾きはエミッタに接続されたエミッタ抵抗344と
出力抵抗336の比によって決められる。この時トランジ
スタ343等のエミッタ抵抗も含まれる。各差動ANPのゲイ
ンは異なる。各区分線形の移り変わりに対するブレイク
ポイントは飽和特性を利用している。その飽和特性はす
べて異なる。V0の出力点において、各オペアンプから出
力される電流の総和の値がシグモイド関数になるように
各ANPの飽和特性を変えている。トランジスタ345と抵抗
R1は電流源である。トランジスタ346と抵抗R2、トラン
ジスタ353と抵抗R3等はすべて同じ電流を供給する電流
源である。すなわち、電流値は同じになるように抵抗が
決められている。すべて同一電流源である。トランジス
タ345,346のコレクタは接続されているので、和の電流
が抵抗344、347の交点に流れる。トランジスタ343,348
のコレクタ電流は、バランスした時点では同じになる。
トランジスタ351はカレントミラーの特性をよくするた
めのものである。トランジスタ350はダイオード接続で
ある。電流の向きを変えるということは出力に対して、
電流を引っ張り込む場合と電流を外に出す場合がある。
同図に示すように、カレントミラーのトランジスタ351
のコレクタからは出力に向かって電流が流れる。下側の
トランジスタ配列は沢山あるが、エミッタとコレクタが
同じ点に接続されているトランジスタは同じトランジス
タである。例えばトランジスタ358と360は同じトランジ
スタでこれはトランジスタ345と同じものである。また3
59と361も同じトランジスタでこれは346に対応する。36
8,369のトランジスタは同じであり、これは353に対応す
る。以下、同様である。したがって、同じ電流で駆動さ
れる定電流電源を有するオペアンプが出力電圧の正負に
従って電流の向きが異なるような動作を行うものが全部
で６個ある回路である。また、トランジスタ337,338は
レベルシフトであり、330と327もレベルシフトである。
レベルシフト回路はシグモイド関数の正と負で動作範囲
がほぼ同じになるようにするためのものである。トラン
ジスタ352はトランジスタ351のコレクタ電流とトランジ
スタ353のコレクタ電流が等しくなるための補正用のも
のである。トランジスタ367,385,287,307も同様であ
る。

第24図は、ニューロチップ内に供給するパルス信号の形
成するためのシーケンスジェネレータ28（第５図）の具
体回路である。401と402及び404と405はインバータで、
各インバータはクロック用のインバータである。フリッ
プフロップF.Fのラッチ信号の立ち上がり用と立ち下が
り用とに分けてクロックを作っている。同図のフリップ
フロップは立ち上がりクロックでラッチするもので、イ
ンバータをF.Fで立ち上がりラッチのF.Fを形成する。例
えばDCLKでは、インバータ401を１個通ったものが立ち
上がりラッチ用のクロック信号となる。そしてインバー
タ402を通ったものが立ち上がりラッチ用のクロックDCL
Kとなる。同様にインバータ404の出力が立ち下がり用の
WCLKでインバータ405の出力が立ち上がり用クロックWCL
Kである。F.F410において、SYNC信号をDCLKの立ち下が
りがラッチしている。F.F410と415でSYNC信号をDCLKの
１サイクル分遅らせ、SNC2信号を作って、SYNCとその１
クロック遅れた信号とで１τのパルスを作っている。SY
NCが立ち上がった後の１τ（DCLKの１周期）のパルスで
ANP内の積分用コンデンサの放電を行う。すなわちCRST
という信号がそのコンデンサのリセット信号である。も
う１つのDSH2はSYNCの立ち下がりからDCLKの１τ分の長
さをたっとパルスであって、これがANP内のサンプル／
ホールドのコンデンサに対するサンプル／ホールド信号
となる。411のF.FではクロックがWCLKで、データがDCLK
であるから、WCLKでDCLK信号をラッチしている。その後
ナンドゲート414でSYNC信号がハイになっていて、かつD
CLKがハイという状態で最初にきたWCLKをトリガしてF.F
443のクロックにしている。ナンドゲート414とインバー
タ440でアンドとなる。F.F443において、SYNC信号がハ
イになっている状態で最初にきたWCLKという信号がディ
ジタル重みデータすなわちWDの符号ビットを取り込むで
いる。この信号はシリアルに入ってくる重みディジタル
データのMSB、すなわち符号ビットである。すなわちF.F
411とアンドゲート（414,440）のタイミングで符号ビッ
トをF.F443がラッチする。４ビットの２進カウンタ416
はWCLKのパルス数をかぞえる。16ビットのディジタル重
みデータが入ってくるので16回数える。数え終わったと
ころで、出力がハイとなり、インバータ423に入る。こ
の信号は16個カウントし終わったことを指示する信号で
ある。この信号はシリアルにANPに入ってきた重みデー
タをシフトレジスタ27（第５図）に入れる制御等に使わ
れる。またカウンタ416の最下位ビットはインバータ422
に入力される。このインバータ422の出力はCSO信号を生
成する。CSOはディジーチェーンの制御信号であって、
アナログバスB1において、前段の２つのANPから出され
る信号の競合を防ぐため、前の時刻のCSが落ちた後、次
のCSを出すようにディジー動作を実行するためのディレ
イ回路を形成する必要がある。このディレイの遅延時間
はWCLKをカウントし、そのカウンタ値で形成している。
カウンタ416のカウントが終わり、フリップフロップ433
にその終わったという指示の信号がインバータ423を介
してラッチされるが、これはWCLKでたたいている。すな
わち17個目のWCLKでたたいている。インバータ437と438
を通して、ラッチされた信号がカウンタ416に戻り、カ
ウンタ416のインクリメント動作をこれ以上させないよ
うにディスイネーブルの制御を行っている。インバータ
438の出力がロウになると、カウンタ416はカウントが停
止する。F.F433のの出力はフリップフロップ442に入
っている。これがシフトレジスタ408の出力のゲート信
号になる。すなわち、16個のディジタル重みデータが入
ってくるのをシフトレジスタ408で順々にシフトし、符
号ビットを除いた数値ビットの15ビットのデータをパラ
レルに並べたところでこれらを出力する。シフトしてい
る間は出力は出ないようにし、全部入ったところで出力
するためのゲート信号がWRである。シフトレジスタ408
の内容はANPの掛算器に与えられる。F.F433から出力さ
れる信号は、分岐されてシフトレジスタのイネーブル信
号に使われる。F.F442はF.F433の出力の立ち上がりでラ
ッチするものである。WCLKの16個の立ち下がりラッチで
シフトが完了し、その後ゲートを開くのに立ち上がりラ
ッチでもよいが、立ち下がりで行っている。F.F412はシ
グモイド関数の選択用のパルス信号を作るものである。
F.F412を使ってリセット信号がはいった時点で、WD、す
なわち重みディジタル入力信号が０か１によってシグモ
イドを使うか使わないかを選択する。この方法は本シス
テムで使用されない場合もある。実際はシグモイド選択
信号は、外部から直接形成する。下の回路はディジーチ
ェーン回路である。カウンタ416の出力をF.F434でディ
レイを作り、そのディレイで最後のF.F445をトリガを掛
けている。このことにより、DCLKの１τ分ズラした上
に、そのままズラすのではなく、頭をおとすようにして
いる。すなわちCSI信号それ自身はDCLKの１周期分はな
いこともあり、そのCSIをCSOにするためにはCSIに対し
て、最初の、例えば、２マイクロ分を削って波形の前を
遅らせ、後ろはそのまま信号を作っている。ゲート425
と427はCSIのバッファゲートである。正のバッファとイ
ンバータバッファである。

第25図はサンプル／ホールドS/H信号と、OC信号を形成
する位相制御回路29（第５図）である。S/H信号はイン
バータ515に入るものと、ゲート524に入るものと別れて
いる。OC信号も同様である。S/H信号がゲート524とイン
バータ515に別れ、インバータ515経由でゲート525に入
るとその後はインバータが８段ある。S/H信号に対して
そのまま位相と逆位相の２通りの信号を作っている。こ
れはインバータを数段分カスケードに結合し、たすきか
げすることにより２つの出力が同時に１になることを避
けている。すなわち、サンプル／ホールドS/H信号の２
つ、S/H0とS/H1を形成し、それが両方とも１にならない
ようにするようにしている。すなわち、インバータチェ
ーンはS/H信号の両方が同時オンを避けるためのディレ
イ回路である。ディレイの遅延時間はインバータチェー
ンの長さによって決まり、片方がオンになってから数段
分遅らせ、もう片方をオンにしている。S/HD0とS/HD1に
関しても同様である。OC信号に関する回路も基本的には
同じであるが、それはCRST信号がゲート528と529に入っ
ているので、CRSTが１の場合には強制的に両方出力を１
にする。OC0とOC1の両方共、同時に１になることを避け
ているが、OCの場合はCRSTが１の場合だけ同時に１にな
るようにしている。このことにより、アナログスイッチ
の制御を介して積分器のコンデンサの電荷を放電すると
いうリセット機能を実現している。

第26図は15ビットのシフトレジスタ27（第５図）であ
る。ゲート602と603及び6014、そしてF.F627で１ビット
に相当し、これを使って説明する。ゲート603には、前
の時刻の出力が入力されているもので、これはF.F628の
出力である。前のビットからの入力ということで、シフ
ト用のデータ信号となる。ゲート603に入っている他の
信号はSHFT、すなわちシフト信号のインバータである。
これはシフト制御信号で、これが有効のとき，シフトの
指示を行うことになる。またゲート602にはF.F627のそ
のものの出力が入っている。これは自分自身の出力をフ
ィードバックしていることになる。ゲート602の他の入
力にはSHFT信号のインバートが同じように入っている
が、この位相はゲート603に入っているものと異なる。
これによりシフトが無効の時に、今の出力をそのまま保
持することになる。クロック信号はシフトと無関係に常
時入ってくるので、クロックが入ってもシフトが有効で
なければシフトは行わない。シフト信号SHFTが有効の時
だけ前のビットをシフトし、ゲート603を通って入力す
ることでシフト動作となる。WR信号はゲート632、633等
のアンドに入っている。これは各ビットの出力を出すか
出さないかの選択信号となり、乗算器の方にシフトレジ
スタに格納されたデータをわたすかどうかの制御信号と
なる。また、ファンアウトをとるために、例えばインバ
ータ620によって15個のうち５個のF.Fのリセット信号そ
して、ゲート626で10個のF.Fのリセット信号を受け持つ
ようにしている。ファンアウトのシフトレジスタ608は
シフトイネーブルSHFTと出力のイネーブルWRの機能がつ
いている。

次に、本発明に係るニューロコンピュータを帰還型ネッ
トワークで構成した場合について説明する。

第27A図は帰還型ネットワークの概念図である。

帰還型ネットワークの場合にも、基本的には入力が存在
するが、自分が出力した信号も帰ってくるという帰還路
をもった構造となる。この帰還方式は、階層型ニューラ
ルネットワークにおける１層を時分割多重使用するタイ
プとして利用される場合と、またいわゆるホップフィー
ルド型のニューラルネットワークとして利用される場合
がある。

前者の場合、ANPの入出力信号は、時分割であるので、
各ANPの出力点ではある一定のシーケンスサイクル毎に
その同じANPの出力データが逐次に出力されて、１つシ
ーケンスサイクルごとに階層型ニューラルネットワーク
の入力層、中間層、出力層として順次動作する。後者の
場合、ANPの出力が特定の値になるまで、つまり安定す
るまで、出力電圧が帰還される。帰還している結果を出
した時に、その結果が前のデータ、つまり自分が前に出
したデータと一致するまで、状態が切り帰され、安定解
に達すれば収束となる。

本発明の実施例によれば、第27B図に示されるように、
帰還路を共通アナログバスCBで実現することになりコの
字型の帰還部が存在する。そして１個自分が計算して出
したものが出力され帰還路を通じて各ANPからの出力が
フィードバックされることになる。この帰還路動作を繰
り返していく。

第28図においては帰還型ネットワークの第１の実施例構
成図である。同図において、121は処理層を構成する複
数個の基本ユニット１である。これらの基本ユニット12
1は、同様に、乗算部122、累算部123、閾値部124を有
し、場合によって出力保持部125に備える。そして、同
様に、この基本ユニット121の入出力もアナログ信号を
もって実現されるよう構成される。各基本ユニット121
の出力部とすべての基本ユニット121の入力部との間で
アナログバス141,142,143を介して電気的な接続がなさ
れ、且つこの各接続に対応して設定されることになる重
みにより、等価的に階層ネットワークが構成され、ある
いはホップフィールド型ネットワークが構成される。

142はアナログバスであり、帰還ラインを構成する出力
部と入力部との間の電気的な接続のために設けられる共
通線である。主制御回路150は、駆動ユニット選択手段1
51、重み設定手段152、閾値処理起動手段153及び出力値
送信手段154から構成され、データ転送を制御する。

駆動ユニット選択手段151は、基本ユニット121を時系列
的に順次選択するよう処理する。そして、出力値送信手
段154は、この選択処理と同期させて、選択された基本
ユニット121の出力の保持部が保持するアナログ信号の
最終出力を、アナログバス142を介して、時分割の送信
型式に従ってすべての基本ユニット121の乗算処理部122
に対して帰還するよう処理する。この入力を受け取る
と、各基本ユニット121の乗算部122は、重み設定手段15
2により設定されるところの各接続に対応する重みを順
次選択して、入力と重みとの乗算処理を行い、加算部12
3は、乗算部122により求められる乗算結果を順次累算し
ていく。処理層の基本ユニット121に関してのすべての
累算処理が終了したことを確認すると、閾値処理起動手
段153は、基本ユニット121の閾値処理部124を起動して
閾値の一定電圧を加えシグモイド関数の計算を行うよう
に制御する。

そしてこの処理を予め定められた回数だけサイクリック
に繰り返していくことになる。このデータ転送方式によ
り、例えば、入力パターンに対応するところの出力パタ
ーンが、層の時分割多重化による階層ネットワークの出
力として得られる。

すなわち、この実施例は、単一層で構成される本発明の
ネットワーク構成データ処理装置を開示している。この
実施例では、多層構造のネットワーク構成データ処理装
置を単一層構造のものにするために、共通線のアナログ
バス142を設けるよう構成し、このアナログバス142が、
単一層をなす基本ユニット121の出力を入力に帰還して
いくことで、各基本ユニット121の出力がすべての基本
ユニット121の入力部に接続されることになるようにと
構成するのである。

次に、第29A図に示すタイミングチャートに従って、こ
のように構成される第28図の実施例の動作処理について
説明する。

出力パターンへの変換要求があると、主制御回路150
は、入力側回路120に対してCSIの制御信号を時系列的に
送出することで、複数の入力側回路120を順次、時系列
的に選択していくよう処理する。第29A図に、この選択
処理を図示する。このようにして選択される入力側回路
120は、アナログバス143上に、入力パターンとして与え
られたアナログ信号Yiを時系列的に送出するよう処理す
る。従って、第29A図に示すように、アナログバス143上
に、アナログ信号Y_iが、入力側回路120の個数分順序よ
く送出されることになる。

第29B図のタイミングチャートに示すように、各基本ユ
ニット121の乗算部122は、この送出されてくるアナログ
信号Y_iを受け取ると、主制御回路150からセットされる
ことになる重み保持部８の重みW_iを使って乗算橇を実行
することになる。続いて、各基本ユニット121の累算部1
23は、入力側回路120の選択毎に求められていくことに
なる乗算結果を順序累算し、すべての入力側回路120の
選択が終了することですべての累算処理を終了すると、
各基本ユニット121の閾値部124が基本ユニット121の最
終的な演算出力である最終出力値Ｙを求める処理を行う
ことになる。

このようにして求められる最終出力値Ｙは、内部で保持
される。そして、続いて、各基本ユニット121の出力ス
イッチ部36が重制御回路150よりCSIとしての出力制御信
号を受けると順序、時系列的にONしていくことで、アナ
ログバス142を介して、この保持されている最終出力値
のアナログ信号が、基本ユニット121の乗算部122に帰還
されることになる。この処理により、等価的に、入力層
の基本ユニット121の最終出力値が、中間層の基本ユニ
ット121に対して時分割の送信形式に従って送信される
ことになる。以下、同様の処理を基本ユニット121に繰
り返していくことで、出力層に相当する最終出力値Ｙが
求められることになる。第29A図に、入力側回路120への
Y_i出力制御信号と対応させて、基本ユニット121への出
力制御信号のタイミングチャートを示すとともに、アナ
ログバス142上の最終出力値Ｙのアナログ信号のタイミ
ングチャートを示すことにする。

この第28図の実施例は、階層ネットワークに対して連続
的に入力パターンを入力できないという欠点はあるもの
の、階層ネットワークが単純にできるので、チップ化す
る際に極めて微小にできるという長所がでてくることに
なる。

第30図は本発明のニューロコンピュータを階層型ネット
ワークとして動作する帰還型ネットワークによって実現
した実施例である。アナログ入力ポート1,2からの時分
割アナログ入力信号に対してANP1,2,3において積和演算
を行い、ANP1,2,3を中間層として動作させANP1,2,3から
アナログバスB2に時分割出力し、この出力信号を帰還路
であるアナログコモンバスCBを介してアナログバスB1に
帰還し再びこの帰還信号に対してANP1,2,3で積和演算を
行うことにより、ANP1,2,3を出力層として動作させるこ
とにより、一層のANP1,2,3により階層型ネットワークを
実現したものである。マックスバリューノード回路187
はマスタコントロールブロックのDCS出力を受けてアナ
ログバスB2にダミー信号を生ずる。そしてマスタコント
ロールブロックからDCLK及びWCLKがそれぞれディジー回
路171に入力され、CSI信号の立ち上がり及び立ち下がり
のタイミングを規定する。

第31A図は第30図に示した帰還型階層ネットワークのタ
イミングチャートである。

DCLKが立ち上がっている間だけ、WCLKは発生し、DCLKが
立ち上がってからアナログ信号が定常化し、かつ重みデ
ータがシリアルに入ってきた後で、パラレルに揃う前の
タイミングでマスタコントロールブロック181からのCSO
1がディジー回路171に入力されに示すように立ち上が
る。この時アナログ入力ポート１よりサンプル／ホール
ドS/Hに保持されているアナログ信号はアナログスイッ
チ175を介してアナログバスB1に現れ、ANP1,2,3で積和
演算が行われる。次のDCLKの入力で、ディジー回路172
へのCSIがに示すように立ち上がると、アナログ入力
ポートからの入力信号を保持しているサンプル／ホール
ド回路S/Hの信号がアナログスイッチを介してアナログ
バスB1上に現れ、ANP1,2,3で２回目の積和演算が行われ
る。さらに次のタイミングでDCLKが入力した後、に示
すようにマスタコントロールブロックよりダミー信号DC
Sが発生し、ANP1,2,3においては、固定電圧に対する３
回目の和が実行される。次のSYNC信号が立ち上がってい
る間に、ANP1,2,3の出力層の積和演算が行われる。重み
メモリのアドレス１の信号のアドレスカウント禁止信号
が立ち上がっている間だけ、アドレスカウンタをカウン
トするWCLKがイネーブルされ、それ以外の時には、その
カウントは抑止される。次に、CSO2がマスタコントロー
ルブロックよりANP1に与えられると、ANP1は、前回の積
和の結果をアナログバスB2に出力し、アナログ共通バス
CBを通してアナログバスB1に帰還し、で示すように再
びANP1,2,3において積和演算を行う。CSO2がANP1の内部
のディジーチェーン回路において、所定遅延が加えられ
た後、ANP2にに示すように入力信号CSIを加え、この
時、ANPの出力信号がアナログバスB2に共通バスCB及び
アナログバスA1、B1を介して再びANP1に加えられ、ここ
で積和演算が行われる。同様にANP2からのCSOは所定時
間遅らせた後、ANP3のCSI信号となり、このCSI信号が
に示すように立ち上がった時にANP3の出力信号がアナロ
グバスB2,共通バスCB、アナログバスB1を介して再びANP
1,2,3に帰還されてここで積和演算が行われる。同様に
に示すようにダミーノードからの信号DCSの立ち上が
りの際に再び、固定電圧に対してANP1,2,3により和の演
算が行われる。そして、次のCSO2の信号の立上りでANP
1,2からS/Nを介して出力が，に示すように、なお、
アナログ入力ポート２からは出力されない。

ここで，，はANP1,2,3が中間層として動作し、
，，はANP1,2,3が出力層として動作する。従って
この実施例によれば、ANP1,2,3の１層のみの構成で階層
型ネットワークを構成できる。

第32図は本発明にかかるアナログニューロコンピュータ
をホップフィールド型の帰還型ネットワークで構成した
実施例であり、第33図はそのタイミングチャートであ
る。マスタコントロールブロック181の、メモリ・アド
レス端子及びモード端子の出力が重みメモリブロック18
5に加えられ、この重みメモリブロック185のデータ出力
であるB10はANP1、B11はANP2、B12はANP3に接続され
る。マスタコントロールブロック181のCSO1の端子から
の出力信号は、ディジー回路171、スイッチ175に加えら
れ、この信号の立ち上がりで、アナログ入力ポート１か
らのサンプル／ホールド回路173の出力をアナログバスB
1に乗せる。そしてディジー回路171で所定時間遅延され
た後、CSOの出力が生じ、これがディジー回路172にCSI
として加えられてアナログ入力ポート２に接続されたサ
ンプル／ホールド回路174の信号をスイッチ176を介して
アナログバスB1に乗せる。同様にディジー回路172′の
出力信号CSOがアナログ入力ポート３に接続されたサン
プル／ホールド回路174′の出力スイッチ176′を開いて
その信号をアナログバスB1に乗せる。ANP1では第33図に
示すように、DCLK信号の１周期で１つの積和の演算を行
い、DCLK信号がハイの時に重みクロックを駆動し、その
重みクロックに同期して入るディジタル重みデータと、
アナログ入力信号との掛け算を行い、DCLKの後半のロウ
信号の時に、サンプル／ホールド信号SHがハイとなり、
積分器のキャパシタにおいて、和の動作を行う。すなわ
ちCSO1すなわちディジー回路１のCSIがハイになってい
る期間で、バスB1上のアナログ号に対してANP1,2,3は
積和演算を行う。また、マスタコントロールブロック18
1からのOC信号がハイとなると、ANP1,2,3はオフセット
キャンセルを行い、サンプル／ホールドして１つの積和
演算周期を終える。次に第２のディジー回路172の入力
信号CSIがハイになるので、次のアナログ入力ポート
からの入力信号に対しANP1,2,3は積和演算を行う。そし
て、その積和演算周期が終了した後に、ディジー回路17
2′にCSI信号が入り、サンプル／ホールド回路174′か
ら出力信号が生じて、で示すように第３番目の積和演
算サイクルに入る。

次にマスタコントロールブロック181からCSO2信号が
生じて、ANP1から前回の積和サイクルの時に形成されて
いた信号がアナログバスCBを介して帰還され、その帰還
された信号に対して、ANP1,ANP2,ANP3で積和演算を同時
に行う。次に所定時間遅延した後、ANP1のCSO出力信号
がでANP2に加えられ、ここでディジーチェーン的に前
回の積和サイクルの時に蓄えられた信号をANP2が出力す
る。この信号はアナログバスCBを介して帰還されてANP
1,ANP2,ANP3で積和演算をで駆動する。そして同様に
所定時間遅延した後、ANP2のCSOがでANP3に加えら
れ、ここでANP3からの出力をアナログバスCBを介して帰
還して、ANP1,ANP2,APN3においてで積和演算を行う。
帰還型ネットワークにおいては、第33A図及び第33B図に
示すように、３つのANPにおいて、６つの積和演算サイ
クルを経て出力が、それぞれサンプル／ホールド回路17
7、178、178′を介してアナログ出力ポート０、１、２
へと出力される。また、サンプル／ホールド回路177,17
8、178′の出力信号がアナログマルチプレクサ179で選
択出力されたものをA/Dコンバータ180を介してMPU182、
メモリ182、通信インターフェイス184を含むデジィタル
制御回路に与えられる。MPU182で現時刻のニューロン出
力状態と前時刻のニューロン出力状態が同じになったか
どうかをチェックする。同じになれば収束したものと判
定する。このように、１本の共通アナログバスCBを介し
て実行される。帰還動作を繰り返していくことによって
安定解に到達すればこれを最終的な出力とする。

また、第34図に示す実施例は、第12図に開示した実施例
の階層ネットワークの一部に、第28図に開示した帰還ネ
ットワークを用いる実施例である。

第35図は、帰還型ネットワークと階層型ネットワークを
組み合わせたものの最適実施例である。入力層としてデ
ィジー回路が設けられ、中間層にはANP1,2,3が設けられ
る。出力層にはANP4,5が設けられる。そして中間層のAN
P1,2,3の出力はアナログバスB2と共通アナログバスCDを
介してアナログバスB1に帰還される。また、アナログバ
スB1、B2にはダミーノードとして働くマックスバリュー
ノード回路187が接続されている。そして、出力層を構
成するANP4,5の出力はサンプル／ホールド回路177,178
をそれぞれ介してアナログ出力ポート０及び１に出力さ
れる。B3は出力層アナログバスである。

第36図を用いて第35図に示したニューラルネットワーク
の動作を説明する。

まず、DCLK及びWCLKがマスタコントロールブロックから
ディジー回路171及びANP1,2,3,4,5にそれぞれ入力され
る。マスタコントロールブロック181からに示すよう
にCSO1がCSIとして第１のディジー回路171に入力される
とアナログ入力ポート０からの信号がサンプル／ホール
ド回路173及びスイッチ175を介してアナログバスB1に生
じ、ANP1,2,3において積和演算がSH1及びCS1の制御で行
われる。

次に、CSO1が立下がった後、所定時間経過後に第２のデ
ィジー回路172に入力されるCSI信号がに示すように立
ち上がると、アナログ入力ポート１からの信号かサンプ
ル／ホールド回路174及びスイッチ176を介してアナログ
バスB2により中間層のANP1,2,3において、SH1に示すよ
うに積和演算が行われる。同様にCSOが信号が立ち下が
った後、所定時間経過後にに示すように第３のディジ
ー回路へのCSI信号が立ち上がると、中間層ANP1,2,3で
積和演算が行われる。そして、中間層ANP1,2,3の出力は
CSO2がで示すように立ち上がってANP1に加えられる
と、アナログバスB2に出力されその出力は共通アナログ
バスCBを介してアナログバスB1に帰還されるので、中間
層のANP1,ANP2,ANP3においては再び積和演算が行われSH
1とOC1の制御で積和演算が行われると共に、ANP1の出力
はアナログバスB2上に生じているので、ANP4,ANP5にお
いても、SH2とOC2の制御で積和演算が行われる。すなわ
ち、この実施例においては、中間層ANP1、ANP2、ANP3と
出力層ANP4,ANP5において同時に積和演算が行われる。

次に、CSO2が立ち下がった後所定時間経過後に中間層の
ANP2にに示すようにCSI信号を入力されるとANP2出力
信号はANP2、共通バスCBを介してアナログバスB1に帰還
されるので、ANP1,2,3においては再び積和演算が行われ
ると共にANP4,5においても同時にタイミングで積和演算
が行われる。

さらに、で示すようにCSI信号がANP3に入力されるとA
NP3は出力信号をアドレスバスB1に生じるのでANP1,2,3
及び出力層のANP4,5で同時に積和演算が実行される。

その次に、マックスバリューノード回路187へダミー信
号DCSIがで与えられると、アナログバスＢにに一定
電圧が出力され、この電圧は共通バスCB及びアナログバ
スB1を介して帰還され、これに対して、ANP1,2,3で積和
演算か行われる。それと共に出力層ANP4,5でも積和演算
が行われる。

SYNC1は、中間層で積和演算される期間と中間層及び出
力層で積和演算される期間にわたってハイであり、SYNC
2は中間層と出力層で積和演算がされる間がハイであ
る。そして、CSO3が出力されるとANP4はのところで出
力を生じ、そのCSO3信号が立ち下がった後、所定時間後
にANP5もまた出力をのところで生ずる。

なお、アドレス１及びイネーブル信号がロウである間は
WCLKが抑止される。

第37図に示す実施例は、この第12図の実施例の階層ネッ
トワークを更に簡単な構造とするための実施例である。
この実施例では、基本ユニット121の個数を１つで構成
している。１つの基本ユニット121では、第12図の複数
ある基本ユニット121に係るデータを分離して保持でき
ないので、この実施例を利用する場合には、外部にこの
ためのメモリ手段を設けるよう構成するか、あるいは、
内部に複数の累算部123と複数の出力保持部125とを用意
するとともに、これらを選択するための機構を設けるよ
う構成することになる。

非線型のデータ処理を実行する本発明のニューロコンピ
ュータには、様々な利用分野がある。例えば、第38図
は、多関節ロボットの適用制御装置に用いた応用例であ
るこの適用制御装置では、関節角度や角速度によって所
要トルクが動的に変化する多関節ロボット・アームに対
して、目標関節角度が指令値として与えられた場合に、
所要トルクを算出してフィード・フォワード制御を実現
することになる。すなわち、与えられた角度指令値は、
角度指令値及び角加速度指令値とともに時分割で１段目
の伝送路に供給され、上述したデータ転送処理より、最
終段の出力層から制御指令トルクとして出力されること
になる。また、第39図は、排他論理和に用いた応用例で
ある。すなわち、１段目の伝送路に時分割で入力X,Yが
与えられ、それを並列に処理することで演算結果が出力
されることになる。このような様々な利用分野があるこ
とから、ニューロコンピュータをハードウエアとして実
現できる本発明は、極めて大きな価値を有するものと考
えるのである。

階層型ネットワークにおける想起処理についてみると、
予め「物の名前」とその物の「形、色、味」といった特
徴量の対応関係をネットワークに学習させたとき、ネッ
トワークは、「丸い、赤い、甘酸っぱい」という情報か
ら、それは「りんご」であるとか、「丸い、黄色い、酸
っぱい」から「レモン」というように、自身が学習によ
って蓄えた情報をもとに「物の名前」を想起することが
できる。

帰還型ネットワークにおける連想処理についてみると、
予めネットワークに「A,B,C」の３文字の文字フォント
を学習させておけば、そのネットワークに汚された文字
フォントを入力しても画像情報の復元及び補間処理が行
われ、正しい文字が連想することができる。

以上からわかるように、階層型ネットワークでは、複数
の条件から、ネットワーク内に重みの形で記憶されてい
る名前を選択するのに対し、ホップフィールド型ネット
ワークでは部分的な情報から全体を連想できる。

さらに、３層ネットワークの機能についてみると、ネッ
トワークへの入出力の情報が２値（論理値）である場
合、どのような論理回路もAND、OR,NOTなる論理素子を
最低２段接続すれば実現でき、ニューロン素子を用いて
これらの論理素子が実現できることは、マッカロー＆ピ
ッツの形式ニューロンモデルからいえる。

ネットワークへの入出力の情報が連続値である場合、ニ
ューロンへの重みを変えることで、結果的に非線形関数
（ジクモイド関数）の縦・横を拡大・縮小し、かつスレ
シュホールド値を与えることによって平行移動を行っ
て、所望の関数を近似するのに必要となるさまざまな基
本関数を表現することができる。従って1,2層間の重み
を適当に設定して、さまざまな基本関数を用意し、2,3
層間の重みを利用して基本関数を重ね合わせることによ
っていろいろな関数を作りだすことが、３層以上のネッ
トワークで可能となる。

本発明によれば、ｎ個のニューロチップからなる前段層
とｍ個の複数のニューロチップからなる後段の層を考え
るとき、従来は配線数がnm個になるのに、本発明の実施
例によれば、アナログバス１本にすることができるので
配線数を大幅に減少させることができ、また、ｎ個のニ
ューロチップからなる層に入力アナログ信号を入力する
際に、放送方式と同様にアナログバスを介して同時に入
力できるので、１層内のｎ個のニューロチップが並列演
算ができる。さらに、各層についてもパイプライン処理
が行われるので、演算速度を高速にできる。

また、ニューロチップをアナログ回路で構成しているの
で、回路の規模が小さくてすみ、このため電力も小さく
てすむので、多数のニューロチップによりニューロコン
ピュータを構成することができる。さらに、ニューロチ
ップの数を増やすことはマスタコントロールブロック内
の制御パターンメモリに格納されて制御パターンをかえ
ることにより容易に行える。

───────────────────────────────────────────────────── フロントページの続き (72)発明者浅川和雄神奈川県川崎市宮前区宮前平２―10―１３―403 (72)発明者都築裕之神奈川県川崎市麻生区百合ヶ丘３―22 102―108 (72)発明者遠藤秀一神奈川県川崎市高津区久末1775―２ (72)発明者川崎貴神奈川県川崎市中原区宮内409―１ (72)発明者松田俊春神奈川県川崎市多摩区菅仙谷３―５―９ (72)発明者土屋主税東京都町田市玉川学園６―３―35 (72)発明者石川勝哉神奈川県川崎市宮前区宮崎123―４ (72)発明者岩本弘神奈川県横浜市金沢区平潟町31―２―709

Claims

【特許請求の範囲】

【請求項１】前段層からの複数の入力と、これらの入力
に対して乗算されるべき重みとを受け取って積和を得る
とともに、この得られた積和値を非線形関数によって変
換して最終出力を得る基本ユニット（11）を基本単位と
し、入力層と最前段の中間層との間、中間層相互間及び最終
段の中間層と出力層との間で内部結合を構成するととも
に、この内部結合に対応して上記重みが設定されること
で、階層ネットワークを構成するネットワーク構成デー
タ処理装置であって、上記基本ユニット（11）の入出力をアナログ信号をもっ
て実現するとともに、このアナログ信号の転送を実現す
るために、入力層と最前段の中間層との間、中間層相互
間及び最後段の中間層と出力層との間の電気的な接続を
それぞれアナログバス（B1,B2）をもって構成し、そして、前段層の上記基本ユニット（11）を時系列的に
順次選択するよう構成するとともに、このようにして選
択される上記基本ユニット（11）が、上記アナログバス
（B1,B2）を介して、後段層の上記基本ユニット（11）
に対して、自らの最終出力値を時分割の送信形式に従っ
て出力するよう処理してなることを特徴とするネットワ
ーク構成データ処理装置。
【請求項２】複数の入力と、この入力に対して乗算され
るべき重みとを受け取って積和を得るとともに、この得
られた積和値を非線形関数によって変換して最終出力を
得る基本ユニット（11）を基本単位とし、複数個の上記基本ユニット（11）をもって処理層とする
とともに、この処理層の各基本ユニット（11）の最終出
力を処理層のすべての基本ユニット（11）の入力に帰還
することで、等価的に複数の処理層からなる階層ネット
ワークを構成するネットワーク構成データ処理装置であ
って、上記基本ユニット（11）の入出力をアナログ信号をもっ
て実現するとともに、このアナログ信号の転送を実現す
るために、上記処理層の基本ユニット（11）の帰還ライ
ンをアナログバス（CB）をもって構成し、そして、上記処理層の基本ユニット（11）を時系列的に
順次選択するよう構成するとともに、このようにして選
択される上記基本ユニット（11）が、上記アナログバス
（CB）を介して、上記処理層の基本ユニット（11）に対
して、自らの最終出力値を時分割の送信形式に従って出
力するよう処理してなることを特徴とするネットワーク
構成データ処理装置。
【請求項３】請求の範囲第１記載のネットワーク構成デ
ータ処理装置において、入力層、一部若しくはすべての中間層または出力層、あ
るいはそれらの組み合わせの態様で、２記載のネットワ
ーク構成データ処理装置を用いて構成してなることを特
徴とするネットワーク構成データ処理装置。
【請求項４】第１のアナログバスからアナログ信号を時
分割で入力しディジタル重みデータを用いて積和演算を
実行してアナログ信号を第２のアナログバスに出力する
アナログニューロチップの集合からなるニューラルネッ
ト（18）と、前記ニューラルネット（18）の制御信号のパターンを格
納する制御パターンメモリ（12）と、該制御パターンメモリ（12）のアドレスを発生するシー
ケンサ（13）と、重みデータを格納する重みメモリ（1
4）と、前記ニューラルネット（18）と制御パターンメモリ（1
2）とシーケンサ（13）と、重みメモリ（14）との全体を制御するディジタル制御手
段（15）とよりなることを特徴とするニューロコンピュ
ータ。
【請求項５】アナログ信号と、シリアル重みデータとの
乗算を行う乗算部（22）と、該乗算部（22）の出力信号を、時分割入力されるアナロ
グ信号に対応して加算する加算部（23）と、前記加算部（23）のコンデンサに信号を充電する時間を
可変にする加算時間制御手段と、該加算部（23）に接続するサンプル／ホールド手段（2
4）と、該サンプル／ホールド手段（24）の出力信号を入力する
非線形回路（25）と、該非線形回路（25）の出力信号をアナログ時分割信号と
して出力する出力部（26）とを有することを特徴とする
アナログニューロチップ。
【請求項６】アナログ入力信号を入力する入力側回路
（120）と、該入力側回路（120）の出力に接続された入力層アナロ
グバス（140a）と、前記入力層アナログバス（140a）にアナログニューロン
プロセッサ（121−ｈ）を並列に接続して構成する第１
の中間層と、該第１の中間層の出力が接続された中間層用アナログバ
ス（140b）と、該中間層用アナログバス（140b）にアナログニューロン
プロセッサ（121−ｉ）が並列に接続された第２の中間
層と、該中間層のアナログニューロンプロセッサ（121−ｉ）
が接続された次の中間層用アナログバス（140c）と、前記入力用層用アナログバス上に生じる時分割アナログ
信号を入力して順次積和演算を行うように中間層のアナ
ログニューロンプロセッサ（121−ｈ）を行わさせるよ
うに制御する手段（150）と、前記中間層用アナログバス上に生じる時分割アナログ信
号を入力して順次積和演算を行うように次の中間層のア
ナログニューロンプロセッサ（121−ｉ）を制御する手
段（150）と、前記次の中間層用アナログバス上に生じる時分割アナロ
グ信号を出力する手段（121−ｊ）とからなることを特
徴とするアナログニューロコンピュータシステム。
【請求項７】第１のアナログバスからアナログ信号を時
分割で入力しディジタル重みデータを用いて積和演算を
実行してアナログ信号を第２のアナログバスに出力する
ことを特徴とするニューロンユニット。
【請求項８】前記積和演算はD/A変換器の基準電圧端子
にアナログ入力信号を入力し、ディジタル入力端子にデ
ィジタル重みデータを入力することを特徴とする請求の
範囲第７項記載のニューロンユニット。
【請求項９】第１のアナログバスからアナログ信号を時
分割で入力しディジタル重みデータを用いて積和演算を
実行して該積和演算の結果を非線形関数回路を通してア
ナログ信号を第２のアナログバスに出力することを特徴
とするニューロンユニット。
【請求項１０】前記非線形関数発生手段は、電流切換回
路のコレクタにカレントミラー回路を接続し、エミッタ
側にエミッタ抵抗と定電流回路を接続してなる増幅段を
複数段設けこの増幅段のコレクタ出力を出力抵抗の一端
に接続し、各段において前記エミッタ抵抗と出力抵抗の
比によって非線形関数の各区分線形を限定することによ
り非線形関数を形成することを特徴とする請求の範囲第
９項記載のニューロコンピュータ。
【請求項１１】アナログ信号を受信する第１のアナログ
バスと、該第１のアナログバスに接続され第１のアナログバスか
らの入力信号と重みデータとに対して積和演算を行うア
ナログニューロンプロセッサと、該アナログニューロンプロセッサに接続された第２のア
ナログバスと、前記重みデータを記憶する重みメモリ
と、前記第１のアナログバスの特定の時間区域のアナロ
グ信号を前記アナログニューロンプロセッサに入力し、
アナログ入力信号と前記重みデータとの積を演算し、こ
の積を前の時間区域に得られる積和に加算してその結果
として得られるアナログ信号を前記第２のアナログバス
上の特定の時間区域に出力するように制御する制御手段
とを有することを特徴とするニューロコンピュータ。
【請求項１２】前記制御手段はアナログニューロンプロ
セッサを制御するマスタコントロールブロックからな
り、該マスタコントロールブロックは前記アナログニューロ
ンプロセッサの制御信号の制御パターンを発生する制御
パターンメモリと、その制御パターンメモリのアドレスのシーケンスを制御
するシーケンサと、該シーケンサのシーケンスを制御す
る命令を格納するマイクロコードメモリと、前記シーケンサに接続され前記重みメモリのアドレスを
制御するアドレス制御手段と、外部のディジタル制御手
段に接続するインタフェイス手段とを具備し、特定な時間区域に１個のアナログニューロンプロセッサ
にアナログバスの使用権を割り振ることを特徴とする請
求の範囲第11項記載のニューロコンピュータ。
【請求項１３】前記制御パターンメモリは、第１と第２
の制御パターンメモリからなり、前記第１の制御パター
ンメモリは、ANPを制御する制御信号に対応する制御パ
ターンを格納し、前記第２の制御パターンメモリには前
記第１の制御パターンメモリへの先頭アドレスを少なく
とも有することを特徴とする請求の範囲第12項記載のニ
ューロコンピュータ。
【請求項１４】前記制御パターンメモリは、第１と第２
の制御パターンメモリからなり、前記第１の制御パター
ンメモリには、ANPを制御する制御信号に対応する制御
パターンを格納し、前記第２の制御パターンメモリには
前記パターンメモリへの先頭アドレスと、オリジナルパ
ターンの繰り返し数を有することを特徴とする請求の範
囲第12項記載のニューロコンピュータ。
【請求項１５】前記第１の制御パターンメモリのオリジ
ナルパターンは、ANPのアナログ信号処理を行うため前
記メモリの読み出しタイミングを与えるデータクロック
DCLKと重みクロックWCLKと、各層におけるアナログ信号
のサンプル／ホールドを行うS/H信号と、ANP内部のオフ
セットコントロール信号と、CSI、CSO信号と、各層内の
動作時間を規定する同期信号SYNCと、リセット信号とダ
ミーノードのイネーブル信号のうち少なくとも１つを格
納することを特徴とする請求の範囲第14項記載のニュー
ロコンピュータ。
【請求項１６】前記マイクロコードメモリには、前記オ
リジナルパターンを繰り返すリピート命令と各オリジナ
ルパターンの先頭アドレスを指定する命令を有すること
を特徴とする請求の範囲第12項記載のニューロコンピュ
ータ。
【請求項１７】前記制御パターンメモリからオリジナル
パターンのビット幅方向のデータがアドレスの更新によ
り同時に読み出されることを特徴とする請求の範囲第12
項記載のニューロコンピュータ。
【請求項１８】前記マスタコントロールブロックは重み
メモリのアドレスをカウントするアドレスカウンタを有
し、前記アドレスカウンタは重みクロックWCLKによってカウ
ントされ、前記シーケンサからカウント制御信号によっ
てカウント動作のイネーブルを行いシーケンサからカウ
ンタリセットにより重みメモリの重みデータの格納され
ている先頭アドレスにもどるように制御することを特徴
とする請求の範囲第12項記載のニューロコンピュータ。
【請求項１９】前記マスタコントロールブロックは前記
制御パターンメモリの内容及びマイクロコードメモリの
内容が、外部インタフェイス回路を介してMPU側からの
データとして与えられる場合、MPUからの上位アドレス
をデコードしてタイミング路で形成される適当なタイミ
ングシーケンスデータのラッチ信号を入力し、前記ラッ
チ信号によって、下位アドレスとデータをラッチし、下
位アドレスで指定されたマイクロコードメモリ及び制御
パターンメモリのアドレスに制御パターンを格納するこ
とを特徴とする請求の範囲第12項記載のニューロコンピ
ュータ。
【請求項２０】前記重みメモリは、１つのメモリデバイ
スから複数のANPへビット幅方向に並列化して同時に重
みデータを供給することを特徴とする第11項記載のニュ
ーロコンピュータ。
【請求項２１】前記重みメモリは、重みデータ格納手段
とMPUに接続された双方向バッファと、第１のモードで
はマスコントロールブロックからのアドレスを選択して
重みメモリの出力をANPに送信する前記マスタコントロ
ールブロックからくるアドレスとMPUからくるアドレス
を選択する選択手段と、第２のモードでは重みメモリを
MPUからのアドレスで参照してMPUと重みメモリの間でデ
ータの送受信することを特徴とする請求の範囲第11項記
載のニューロコンピュータ。
【請求項２２】前記第１及び第２のアナログバス間に少
なくとも第１、第２のANPが接続され、第１のANPにCSI信号を加えたときに、アナログバスに出
力信号を生じ、所定時間経過後に、第２のANPにCSI信号
を加えて前記アナログバスに出力信号を生じるように制
御する制御回路を有することを特徴とする請求の範囲第
11項記載のニューロコンピュータ。
【請求項２３】前記第１、第２のアナログバス間に少な
くとも第１、第２のANPが接続され、第１のANPのCSI信
号を特定時間遅らせることによりCSO信号を生じ、このC
SO信号を第２のANPのCSI信号として第２のANPから出力
をアナログバスに生じるディジー回路を有することを特
徴とする請求項11記載のニューロコンピュータ。
【請求項２４】前記ディジー回路は、CSI信号を入力し
てCSOを出力するFFとCSIの終了のエッジから所定遅延量
をWCLKのパルスのカウント数に基づいてCSOの出力タイ
ミングを決定するカウンタ手段とからなることを特徴と
する請求の範囲第23項記載のニューロコンピュータ。
【請求項２５】第１のディジー回路からのCSI信号を特
定時間遅らせることによりCSO信号を生じ、このCSO信号
を第２のディジー回路のCSI信号として第２のディジー
回路の制御により出力をアナログバスに生じることを特
徴とする請求の範囲第11項記載のニューロコンピュー
タ。
【請求項２６】前記ディジー回路より入力層を構成する
ことを特徴とする請求の範囲第15項記載のニューロコン
ピュータ。
【請求項２７】複数のディジーチェーン動作を行うANP
からなる第１層の１つのANPに対して、主制御回路よりC
SI信号を加え所定時間後にCSO信号を発生し、このCSO信
号を隣接するANPのCSI信号とするディジーチェーン動作
を１層内の複数のANPに対して順次行い、第１の層のANP
についてディジーチェーン動作の終了後、次の層のANP
について、前記ディジーチェーン動作を開始することを
特徴とする請求項11記載のニューロコンピュータ。
【請求項２８】前記アナログバスに所定電圧を発生する
手段を設け、この手段はそのイネーブル信号を主制御回
路より特定時間にイネーブルすることによって特定時間
前記所定電圧を発生するダミーノードを構成するマック
スバリューノード回路であることを特徴とする請求の範
囲第11項記載のニューロコンピュータ。
【請求項２９】前記所定電圧発生手段は、非線形関数回
路の閾値に対応する電圧であることを特徴とする請求の
範囲第28項記載のニューロコンピュータ。
【請求項３０】前記所定電圧発生手段はテスト時に０電
圧として、シーケンスのテストを行うことを特徴とする
請求の範囲第28項記載のニューロコンピュータ。
【請求項３１】前記所定電圧発生手段は各アナログバス
に接続され、対象のANPにダミー信号を発生するダミー
ノードであり、このダミーノードを含めて、ディジーチ
ェーン動作を行うことを特徴とする請求の範囲第28項記
載のニューロコンピュータ。
【請求項３２】前記マックスバリューノード回路は固定
電圧を発生する手段と、前記固定電圧をマスタコントロールブロックからのイネ
ーブル信号によってダミーノード出力に送信するメモリ
制御手段とを有することを特徴とする請求の範囲第28項
記載のニューロコンピュータ。
【請求項３３】アナログ入力信号に積和演算を施して信
号としてアナログ出力信号を生じるアナログ回路部分
と、前記アナログ回路部分を制御するディジタル回路部
分とからなるニューロンユニットと、該ディジタル回路部はマスタコントロールブロックから
の制御信号をAN P内スイッチング制御信号に変換するシ
ーケンスジェネレータと、前記アナログ回路に含まれるスイッチ素子のスイッチン
グを制御する制御信号の位相を制御する位相制御回路
と、重みメモリから与えられるシリアル重みディジーをパラ
レルデータに変換するシフトレジスタ手段とよりなるこ
とを特徴とするニューロコンピュータ。
【請求項３４】前記シーケンスジェネレータはリセット
信号を入力し、積分器のキャパシタの電荷を放電するCR
ST信号と同期信号SYNCとDCLK,WCLK,WDを入力し、サンプル／ホールド回路と、シフトレジスタのパラレル
アウトのイネーブル信号と、符号ビットのイネーブル信
号と、内部クロックCLKと、重みデータと、シフト用ク
ロック、非線形関数を通過するかどうかを選択する選択
制御信号と、ディジーチェーン用のCSO信号とを少なく
とも発生することを特徴とする請求の範囲第33項記載の
ニューロコンピュータ。
【請求項３５】前記位相制御手段は逆相信号と正相信号
を遅延する第1,第２の遅延手段と、遅延手段の出力を他方の遅延手段の入力にフィードバッ
クする手段とからなり、前記２つの出力信号が正相と逆
相であってこれらによって制御されるスイッチが同時に
オンとならないように位相制御を行うことを特徴とする
請求の範囲第33項記載のニューロコンピュータ。
【請求項３６】前記シフトレジスタは、コントロール信
号によってイネーブルされ、WCLKから形成されるクロッ
クによって重みデータをビットシリアルにシリアルイン
した後、WR信号によってイネーブルしてパラレル出力す
ることを特徴とする請求の範囲第33項記載のニューロコ
ンピュータ。
【請求項３７】入力層と、 ANPからなる少なくとも１つの中間層ANPと少なくとも１
つの出力層から階層型ネットワークを構成することを特
徴とするニューロコンピュータ。
【請求項３８】複数のANPからなる層の出力信号をアナ
ログバスを介して入力側に帰還することにより一層を時
分割多重使用ことによりにより階層型のネットワークを
構成するニューロコンピュータ。
【請求項３９】複数のANPからなる層の出力信号が定常
状態になるまで帰還動作を繰り返して帰還型ネットワー
クを構成することを特徴とするニューロコンピュータ。
【請求項４０】ANPにより階層型ニューラルネットワー
クと帰還型ニューラルネットワークとを組み合わせてニ
ューラルネットワークを構成することを特徴とするニュ
ーロコンピュータ。