JPH02226383A - ニューロコンピュータの集中制御方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 アナログニューロンチップをアナログ時分割伝送路によ
り結合することで実現されるニューロコンピュータに関
し、 少ない配線本数で階層ネットワークを構成する基本ユニ
ット間でのデータの授受を実現できるようにすることで
、ニューラルネットを実現できるようにし、さらに、そ
のニューラルネットを集中的に制御できることを目的と
し、 アナログ信号を第１のアナログバスより時分割的に入力
し、積和演算を行ってアナログ信号を第２のアナログバ
スに出力するアナログニューロンプロセッサの集合から
なるニューラルネットワークと、該ニューラルネットワ
ークの制御情報を格納する制御パターンメモリと、該制
御パターンメモリと重みメモリのアドレスをアクセスす
るための信号を発生するシーケンサと、該シーケンサの
制御によって制御され、前記アナログニューロンプロセ
ッサに対する重みデータを格納する重みメモリとを有す
るニューロコンピュータにおいて、重みメモリへアドレ
ス信号を送信するアドレス信号送信手段とよりなるよう
に構成する。

〔産業上の利用分野〕

本発明は、ニューロコンピュータに係り、さらに詳しく
は、アナログニューロンチップをアナログ時分割伝送路
により結合することで実現されるニューロコンピュータ
の集中制御方式に関する。

〔従来の技術〕

従来の逐次処理コンピュータ（ノイマン型コンピュータ
）では、使用方法や環境の変化に応じてコンピュータの
データ処理機能を調節することが難しいので、適応性を
有するデータ処理方式として、新たに階層ネットワーク
による並列分散処理方式が提唱されてきている。特に、
バックプロパゲーション法と呼ばれる処理方式（Ｄ、Ｉ
！、Ｒｕｍｅｌｈａｒｔ＋Ｇ、Ｅ、Ｈｉｎｔｏｎ、　ａ
ｎｄ　Ｒ，Ｊ、Ｗｉｌｌｉａｍｓ、　　”Ｌｅａｒｎｉ
ｎｇＩｎｔｅｒｎａｌ　　Ｒｅｐｒｅｓｅｎｔａｔｉｏ
ｎｓ　　ｂｙ　　Ｅｒｒｏｒ　　Ｐｒｏｐａｇａｔｉｏ
ｎＰＡＲＡＬＬＥＬ　　ＤＩＳＴＲＩＢＵＴＥＤ　　Ｐ
ＲＯＣＥＳＳＩＮＧ、　　Ｖｏｌ、Ｌ　　ｐｐ。

３１８−３６４．　Ｔｈｅ　ＭＩＴ　Ｐｒｅｓｓ、　１
９８６）が、その実用性の高さから注目されている。

バンク・プロパゲーション法では、基本ユニットと呼ぶ
一種のノードと重みを持つ内部結合とから階層ネットワ
ークを構成している。第１図に、基本ユニット１の原理
構成を示す。この基本ユニット１は、連続ニューロンモ
デルに類似した処理を実行する。すなわち、これは多大
カー出力系となっており、複数の入力（Ｙ６）に対しそ
れぞれの内部結合の重み（Ｗｉ　ｈ　’ｊを乗じる乗算
処理部２と、それらの全乗算結果を加算する累算処理部
３と、この加算値に非線形の闇値処理を施して１つの最
終出力Ｘ、を出力する闇値処理部４とを備える。

第２７図は階層型ニューラルネットワークの構成概念図
である。構成の多数の基本ユニット（１ｈ、１−ｉ、ｌ
ｊｌが、第２図に示すように階層的に接続されることで
、入力信号パターンに対応するところの出力信号パター
ンが出力されることになる。

学習時には、出カバターンと目的とする教師パターンの
差が小さくなるように、各階層間の結合の重み（ｗ＋　
ｈ　）が決定される。このような学習は、複数の入カバ
ターンに対して行われ、多重化される。また、連想時に
は、人カバターンが学習時に入力した完全情報と少し異
なる不完全な情報であっても、学習時の教師パターンに
近い出カバターンが得られることにより、連想処理が可
能となる。

〔発明が解決しようとする課題〕

このような構成のニューロコンピュータを現実のものと
していくためには、階層ネットワークを構成することに
なる基本ユニット１間のデータの授受を、できる限り少
ない配線本数で実現していく必要がある。このことは、
複雑なデータ処理を実現していくために、階層ネットワ
ークの構成をより多層化したり、基本ユニットの数を増
していく必要があるという背景のもとで、どうしても解
決していかな（ではならない課題の１つなのである。

しかしながら、先に説明したデータ転送方式では、第２
７図に示す階層ネットワークの構成からも明らかなよう
に、２つの層間の配線本数が極めて多くなることから、
階層ネットワークをチップ化するときに、小さくできな
くなると共に、信頼性を高めることができなくなるとい
う問題点がある。例えば、隣接する２つの層の基本ユニ
ット数を同じとし、すべての基本ユニッｌ−１が互いに
接続されるという完全結合を想定するならば、配線本数
は基本ユニット数の２乗に比例して増加することになる
。このように、配線本数が急激に増加してしまう。

本発明は、少ない配線本数で階層ネットワークを構成す
る基本ユニット間でのデータの授受を実現できるように
することで、ニューラルネットを実現できるようにし、
さらに、そのニューラルネットを集中的に制御できるこ
とを目的とする。

〔課題を解決するための手段〕

第１Ａ図は本発明のニューロコンピュータのシステムブ
ロック図である。

ニューラルネットワーク１８は各層の入力側にある共通
の第１のアナログバスからアナログ信号を時分割で入力
しデジタル重みデータを用いて積和演算を実行してアナ
ログ信号をその層の出力側にある共通の第２のアナログ
バスに出力するアナログニューロプロセッサ（以下ＡＮ
Ｐと記す）の集合を層とする少なくとも１層以上のネッ
トワークである。

制御パターンメモリ１２は前記ニューラルネットワーク
の制御信号のパターンを格納する。重みメモリ１４は重
みデータを格納する。シーケンサ１３は該制御パターン
メモリ１２及び重みメモリ１４のアドレスを発生する。

デジタル制御手段１５はＭＰＵと主記憶を有する汎用の
処理装置であってネットワーク１８とＤ／Ａ及びＡ／Ｄ
コンバータ１６，１７を介して接続され、前記ニューラ
ルネットワーク、制御パターンメモリ、シーケンサ、重
みメモリの全体を制御する。本発明はこのようにしてニ
ューロコンピュータシステムを集中制御する。

〔作　　　用〕

アナログ入力信号を時分割でアナログニューロチップに
入力し、この信号と重みデータとの積を取り、この積信
号をそれぞれ加算して得られる積和信号を非線形関数回
路を通して出力することによりアナログニューロチップ
を構成する。このアナログニューロチップを複数個用い
て階層型あるいは帰還型のニューラルネットワーク１８
を構成し、このニューラルネットワーク１８にシーケン
サ１３によってアクセスすべきアドレスが与えられた制
御パターンメモリ１２から出力される制御信号を加える
。またニューラルネットワーク１８には学習等によって
得られる重みデータが重みメモリ１４から供給される。

そしてニューラルネットワーク１８、制御パターンメモ
リ１２、シーケンサ１３、重みメモリ１４はディジタル
制御手段１５のディジタル信号によって制御され、且つ
管理される。また、ディジタル制御手段１５内のＭＰＵ
では、特に、学習アルゴリズムが実行され、かつ出力信
号のチエツクなどが行われる。このようにして、時分割
アナログ入力信号と時分割アナログ出力信号を用いるこ
とを特徴とするアナログニューロコンピュータシステム
が集中制御された形で実現される。

〔実　　施　　例〕

以下、図面を参照して本発明の詳細な説明する。

第１Ｂ図は本発明のニューロチップから構成されるアナ
ログニューロプロセッサ（ＡＮＰ）１１のデュアルイン
ラインパッケージの概略図である。

これは、ＭＢ４４４２と呼ばれニューロンモデルの処理
を実行する。内部の闇値処理部はシグモイド関数で置換
したモデルとなっている。アナログニューロチップはＡ
ＮＰと呼ばれ、アナログデータを入出力するデバイスで
ある。第１Ｃ図は本発明のＡＮＰの内部構成図である。

第１Ｃ図に示すようにＡＮＰＩＩはアナログバスＢ１と
アナログバスＢ２の間に接続される。ＡＮＰＩＩは入力
するアナログ信号と重みを掛けるアナログ乗算部２２、
積の和を求めるアナログ加算部２３、和を保持するサン
プル／ホールド部２４、シグモイド関数の値を出力する
非線形関数部２５よりなる。第１Ｂ図のＡＮＰＩＩの各
端子を説明する。ＡＮＰＩＩの内部はアナログ回路部と
ディジタル回路部から構成されている。＋−６ボルトの
端子は、アナログ回路部のオペアンプに供給される電源
端子である。Ｄ　ｉ　ｎ及びり。ｕｔはアナログ入力信
号及び出力信号の端子である。ＡＧＮＤはアナログ回路
部の接地端子である。Ｒｔ十及びＲｔ一端子はアナログ
回路部にある積分回路の外付抵抗Ｒの端子であり、Ｃｔ
＋、Ｃｔ一端子は同じく積分回路の外付キャパシタＣの
端子である。ＤＧＮＤはディジタル回路部のグランド端
子で弗る。＋５ボルトはディジタル回路部の電源端子で
ある。Ｒ３Ｔは積分回路のキャパシタの電荷等のリセッ
トを行うリセット信号端子である。Ｃ３Ｉ及びＣ８Ｏは
デイジ−チェーン用制御信号の入出力端子であり、ＯＣ
はオフセットキャンセル制御信号用端子、Ｓ／　Ｈｍ子
は、サンプル／ホールド用制御信号端子、５ＹＮＣは各
層の処理に対する同期信号端子、ＤＣＬＫはアナログ入
力信号の処理を行うための基本クロック信号端子、ＷＣ
ＬＫはディジタル重みデータを取り込むためのクロック
端子、ＷＤはビットシリアルで入力するディジタル重み
データ用の端子である。

第２図は、本発明のアナログニューロプロセッサ（ＡＮ
Ｐ）の原理構成図である。

別々のＡＮＰ　（図示せず）から時分割的に送られてく
るアナログ入力信号をアナログバスＢ１からＡＮＰＩＩ
内のアナログ乗算部２２に入力し、このアナログ乗算部
２２ではシフトレジスタ２７を介してビットシリアルに
入力されその後直並列変換されたディジタル重みデータ
ＷＤと掛は算して、アナログ入力信号とディジタル重み
データとの積を示す積信号を得る。次の、アナログ加算
部２３は、外付けの抵抗ＲとキャパシタＣからなるミラ
ー積分回路であって、アナログバスＢ１に接続された前
段の複数のＡＮＰ　（ＡＮＰの存在する場所をノードと
呼ぶ）から時分割で送られるアナログ入力信号とダミー
ノードから送られる闇値用のアナログ入力信号とからそ
れぞれ得られる積信号の和を求めるものである。次に、
サンプル／ホールド部２４で積信号を所望時間待たせる
ためにホールドした後に、さらにそのサンプル／ホール
ドされた出力を非線形関数部２５を介して変換する。出
力制御部２６では、シーケンスジェネレータ２８の制御
を受けて所定時間遅延させた後に、アナログ出力信号り
。ｕｔをアナログバスＢ２へ出力する。なお、シーケン
スジェネレータ２８は内部に供給される制御信号も生成
する。そして、位相制御部２９では、おもにＡＮＰ内の
アナログ回路部とディジタル回路部を接続する各スイッ
チのオンかオフが確実に行われるように、制御信号の位
相を制御するもので、特に、第１のスイッチがオンのと
き第２のスイッチをオフにする場合それ等のスイッチが
同時にオンする場合がないように制御信号の位相を制御
する。

なお、シーケンスジェネレータ２８は、リセット信号Ｒ
３Ｔ、ＤＣＬＫ、、ＷＣＬＫ、５ＹＮＣ。

Ｓ／Ｈ，ＱＣ，Ｃ３Ｉを後述するマスクコントロールブ
ロックから入力するとともにＣ８ｏを出力し、ＡＮＰの
内部の制御信号を生成する。

ニューラルネットワークでは、同時処理により高速演算
を行う必要がある。本発明では時分割データを使ってい
るが、定常状態では、各ＡＮＰがパイプライン的に同時
処理を行う。理想的なニューラルネットワークでは、ニ
ューロンは他のそれぞれのニューロンに相互結合した結
線が必要であるが、このままシステムを実現しようとす
ると、配線数が多くなる。そこで、本発明では時分割デ
ータを扱うので、各ＡＮＰ内の積和の処理時間が伸びる
が、それを縦方向に、すなわち同層方向にチップを並列
に並べることで、層内のニューロチツブを構成するＡＮ
Ｐの同時処理により、その処理時間を改善する。また、
各層ではパイプライン処理が可能で、このことでも処理
時間が小さくなる。アナログバスに接続した例えば３個
の各ニューロチップには、入力が入ってくると、それは
３個とも同時に入り３個とも並列に、そのアナログ電圧
に対して、各ＡＮＰが重みとの積を生成し、それを積分
器のキャパシタに電荷として保持する。

そして、次の時間区域で、同じアナログバスのアナログ
人力に対して、各ＡＮＰは重みとの積を形成し積分器の
キャパシタ内に前の時間区域で決まった積に加え込むこ
とになる。前段のすべてのＡＮＰからのアナログ入力信
号に対する重みとの積に対する和が生成された後、その
和はサンプル／ホールドされる。その後、シグモイド関
数を介して出力されるが、これは、Ｃ３Ｉ制御信号入力
時に出力される。そして、出力完了時にＣ３Ｉが立ち下
がり、その後一定時間遅延後にＣ３Ｏを立ち上げて、出
力バスの使用権を同一層内の隣接ニューロチップからな
るＡＮＰに与える。

以下、実施例に従って本発明の詳細な説明する。

第３図はニューロチップである基本ユニットの第１の実
施例構成図である。同図の乗算部３２、加算部３３、閾
値処理部３４は連続ニューロンモデルの実行部であるが
、この実施例では出力保持部３５が存在する。具体的に
は、基本ユニット３１に接続される複数の入力をＹｉｌ
この各接続に対応して設定される重みをＷｉとするなら
ば、乗算部３２は、 １−Ｗｉ を算出し、加算部３３は、 Ｘ−ΣＹ　ｉ　−Ｗ　ｉ−〇 を算出する。但し、θは閾値である。闇値部３４は最終
出力をＹとするならば、 Ｙ−１／（１＋ｅＸｐ（−Ｘ））・・・・（１）を算出
することになる。

ダミーノードから入力される“＋１″という値に“−θ
”という重みをかけて加算部３３で「Ｘθ」の結果が出
力される。従って闇値部３４ではＳ字曲線による変換だ
けが行われている。

乗算部３２は、乗算型Ｄ／Ａコンバータ３２ａで構成さ
れ、前段層の基本ユニット３１から、あるいは後述する
ダミーノードの回路からのアナログ信号（大カスインチ
部３７を介して入力される）の入力と、その入力に対し
て乗算されるべきディジタル信号の重み情報（後述する
重み保持部３８を介して入力される）との乗算を行って
、得られた乗算結果をアナログ信号で出力するよう処理
するもの、加算部３３は、積分器で構成されるアナログ
加算器３３ａとアナログ加算器３３ａの加算結果を保持
する保持回路３３ｂとにより構成される。乗算型Ｄ／Ａ
コンバータ３２ａは、Ｄ／Ａコンバータの基準電圧端子
にアナログ入力信号を入力し、各ディジタル入力端子に
重みの各ビットをディジタル入力信号として入力するも
のであり、結果として、そのアナログ入力信号と重みと
の積を生成する。アナログ加算器３３ａは、乗算型Ｄ／
Ａコンバータ３２ａの出力と、前回に求められて保持回
路３３ｂに保持されている加算値とを加算して新たな加
算値を求めるもの、保持回路３３ｂは、アナログ加算器
３３ａが求めた加算値をホールドするとともに、そのホ
ールド値を前回の加算値としてアナログ加算器３３ａに
フィードバンクさせるものである。これらの加算処理は
制御回路３９より出力される加算制御信号に同期して実
行される。閾値部３４は、アナログの関数発生回路であ
る非線形関数発生回路３４ａで構成され、入力に対して
シグモイド関数等の非線形信号を出力するものである。

乗算結果の累算が闇値（−θ）の加算を含めて終了した
ときに、保持回路３３ｂにホールドされている加算値Ｘ
に対し閾値（−θ）を加えて（１）式のシグモイド関数
の演算処理を施し、アナログ出力値Ｙを得るもの、出力
保持部３５は、サンプルホールド回路で構成され、後段
層の基本ユニット３１への出力となる非線形関数発生回
路３４ａのアナログ信号の出力値Ｙをホールドするもの
である。

また、３６は出力スイソチ部であり、制御回路３９より
の出力制御信号を受けて一定時間ＯＮすることで、出力
保持部３５が保持するところの最締出力をアナログバス
Ｂ２上に出力するよう処理するもの、３７は入力スイソ
チ部であり、制御回路３９よりの入力制御信号を受けて
前段層の基本ユニット３１から最終出力からのアナログ
出力が送られてくるときにＯＮすることで入力の受付を
行う。３８は重み保持部であり、パラレルアウトシフト
レジスタ等により構成され、重みメモリから送られてく
るビットシリアルの重み信号がバッファ３８ａのゲート
がオープン（制御回路３９による重み人力制御信号がオ
ン）された時に、この重み信号を乗算部３２が必要とす
るビットパラレルの重みとして保持するものである。ビ
ットパラレルの重みは乗算制御信号が与えられたときに
パラレルで乗算部に与えられる。３９はディジタル回路
部の制御回路で外部“からの同期信号から内部の同期信
号を生成するもので、内部のアナログ処理の機能の制御
を実行する。

このように構成されることで、第３図の信号処理構成を
採る基本ユニット３１の入出力がアナログ信号でもって
実現されることになるのである。

なお、乗算型Ｄ／Ａコンバータ３２ａは、ディジタル信
号の重み情報をパラレルで受は取るようにするものでも
よいし、重み情報をシリアルで受は取ってからパラレル
変換するようにするものでもよい。あるいは、重み情報
をアナログ信号で構成するならば、乗算型Ｄ／Ａコンバ
ータ３２ａの代わりに、アナログ乗算器を用いることが
できる。

第４図は１個の本発明のニューロチップ（ＡＮＰ）の実
施例の具体的回路図である。

このユニットでは入力部４２、乗算部４３、加算部４４
、サンプル／ホールド部４５、非線形関数部４６、及び
出力部４７から構成され、ここでは、出力保持回路はな
く、サンプル／ホールド部４５が出力保持の機能も有す
るものとする。

入力部４２はオフセットキャンセル部５１と、１倍のバ
ッファ４９から構成されている。１倍のバッファ４９は
電圧フォロアで、オペアンプの出力を一端子にフィード
バックし、子端子に入力電圧を入力することによって構
成される。データ入力はアナログの時分割されたパルス
信号である。

１９〜 ＯＣはオフセントコントロール信号であり、これが１の
ときアナログスイッチ６６がオンし、１倍のバッファ４
９には、０電圧が強制的に設定される。一方、オフセッ
トコントロール信号ＯＣが、０のときアナログスイッチ
６６はオフされ、他方のアナログスイッチの他方６５が
オンし、データ入力が１倍のバッファ４９に入力される
。すなわち、オフセットコントロール信号ＯＣが１であ
る場合には、ニューロンユニットにはＯボルトが強制的
に入力されて乗算器出力までの回路のオペアンプ出力に
生じるオフセット電圧に対するオフセントのキャンセル
の動作を行うようにしている。

アナログスイッチ６５と６６は同図ではＯＣ信号の反転
位相と正相位相でスイッチングの制御が行われているが
、位相制御回路によって、同時オンがないようになって
いる。以後このことをＯＣが「位相制御された」という
言い方をすることにする。

正負切換回路５２は２つの倍数器をカスケード結合して
構成されている。倍数器では入力抵抗（／ＯにΩ）とフ
ィードバンク抵抗（／ＯにΩ）によって／Ｏ／／Ｏ、す
なわち１倍の電圧の反転したものが形成され、それを１
段だけを通すか、２段を通すかによってアナログ電圧の
符号を決定している。

その制御信号はディジタル重みデータの符号ピッ）（Ｓ
ＩＧＮ）であり、この５ＩＧＮビツトはＭＯＳスイッチ
７０のゲートに接続されている。この５ＩＧＮの制御信
号も位相制御されている。符号ビットが１である場合に
入力部４２からの入力電圧は第１段目の倍数器で反転さ
れ、さらにスイッチ６７もオンしているので後段の倍数
器も通り、結果として正相となる。また符号ビットがＯ
である場合には、反転回路６８を介して、スイッチ６９
がオンとなる。この時スイッチ６７と７０はオフしてい
るため、入力部４２からの入力電圧はスイッチ６９を介
して後段のオペアンプ７１の一端子に入力される。従っ
て、前段の抵抗７２と後段のオペアンプのフィードバン
クの抵抗７３とによって倍数器が形成され、１倍された
形で反転される。すなわち、符号ビットの正負によって
入力部４２の入力が、正または負の電圧として形成され
、これが、興奮性と抑制性のシナプス結合に従った電圧
となる。正負切換回路５２からの出力は乗算部４３の中
にあるＤ／Ａコンバータ５３のＲ−２Ｒ低抵抗路網の７
４の点、すなわち基準電圧端子に入力される。

Ｒ−２Ｒ方式のＤ／Ａコンバータをまず説明する。ＭＳ
ＢからＬＳＢまでのディジタル重みによって内部のスイ
ッチはオンまたはオフをとる。ディジタル値が１である
場合に、電流は右側のスイッチ７５を通って、オペアン
プ７６の仮想接地点７８に流れ込む。オペアンプ７６の
仮想接地点７８は十端子と同じ電圧になるように制御さ
れ、これがグランドであるから仮想的な０ボルトである
。

Ｄ／Ａコンバータ５３においてＲはＩＯＫΩ、２Ｒは２
０にΩである。スイッチの状態に関わらず、２Ｒの抵抗
には電流が流れ、ディジタル値の値に従ってその２Ｒに
流れる重み電流が仮想接地点７８の方に流れるかどうか
が決定される。１香石の２Ｒに流れる電流をｉとする。

右から２番目すなわちＬＳＢに対応する２Ｒの電流は１
香石の２Ｒにかかる電圧を２Ｒで割った値であるから２
ＲＸｉ÷２Ｒでｉとなる。従って１香石の横方向のＲに
は電流２１が流れる。右から３番目の２Ｒには２ＲＸ　
ｉ＋ＲＸ２　ｉの電圧がかかり、これを２Ｒで割るから
２１の電流が流れる。以下同様で左に行くに従って４、
８１となって２のべき乗で増える電流になる。この２の
べき乗になった重み電流をオペアンプの方に流すか流さ
ないかを決めているのがＭＳＢからＬＳＢである。従っ
て、ディジタル重みに対応する電流が２のべき乗の形で
仮想接地７８に流れこみ、オペアンプ７６の入力インピ
ーダンスは無限大であるから、この電流がオペアンプ３
６の帰還抵抗７８に流れる。従って、Ｄ／Ａコンバータ
の出力電圧Ｖ　ｏｕｔは入力電圧をＥとすれば、 Ｖｏｕｔ　＝−Ｘ　（Ｄｏ　＋２ＸＤ、　＋２２ＸＤ２
２ｒ′ ＋・・・・＋２”　　×Ｄ１１−１　）となる。ここで
、Ｄｏ　はＬＳＢで、Ｄｎ−１がＭＳＢであるとする。

すなわち、掛算部４３の出力は等測的に入力電圧已に重
みを掛けた値になっている。

その重み係数はＭＳＢからＬＳＢに入力されるディジタ
ル値で制御されることになる。一方、加算部４４は時分
割多重化アナログ信号の各電圧とディジタル重みデータ
との容積についてミラー積分器を時分割的に使用するこ
とにより累積加算動作を実行する。そして、サンプル／
ホールド回路４５は、加算結果をサンプル／ホールドす
る。

次に加算部４４を説明する。加算部４４は抵抗Ｒと帰還
キャパシタＣによる積分器である。加算部４４の人力部
には時分割加算制御部５５があり、位相制御されたサン
プル／ホールド信号Ｓ／Ｈ信号が１のとき乗算部４３の
出力電圧がオペアンプの仮想接地点７９に入力され、Ｓ
／Ｈ信号が０のとき反転回路８０によりスイッチ８１が
オンとなって乗算部４３の出力が抵抗Ｒを介してグラン
ドに接続されるので加算部４４帰還キャパシタＣには加
算されないことになる。今、Ｓ／Ｈ信号が１のとき、乗
算部４３の出力電圧は抵抗Ｒを介してオペアンプ／Ｏ２
の一端子に入力し、入力電圧を抵抗Ｒで割った電流が仮
想接地を介して帰還キャパシタＣの方に入力される。こ
の後、Ｓ　／　Ｈ信号がまたＯとなり、乗算部４３と加
算部４４は切り離されるので、乗算部４３は次の入力信
号に対して、重みデータを掛けることができる。キャパ
シタＣを含む積分回路の帰還回路８２には４つのスイッ
チを用いてオフセットキャンセル機能が付加されている
。今オフセットコントロール信号ＯＣが１になったとす
ると、スイッチ８３と８４がオンで、８５と８６がオフ
となる。オフセットコントロール信号ＯＣが０の時には
、データ入力部４２、データ入力端子ＤＡＴＡ　−ＩＮ
ＰＵＴに入力電圧が与えられ、それに対応する乗算部４
３の出力が抵抗Ｒを介してキャパシタＣに入力される。

この時、スイッチ８５．８６がオンであり、キャパシタ
Ｃの極性はオペアンプの一端子に接続されている側か−
、オペアンプ／Ｏ２の出力に接続されている側が十であ
る。次に、オフセントコントロール信号ＯＣが１である
場合にはデータ入力は強制的にはＯにされる。この場合
、正負切換回路４２及び乗算部４３のＤ／Ａコンバータ
５３を介してもしオフセットがなければ、Ｄ／Ａコンバ
ータ４４の出力はＯボルトとなる。しかし、オペアンプ
４９．／Ｏ３．７、／Ｏ２があるためにオフセット電圧
が生じ、そのオフセット電圧が加算部４４のキャパシタ
Ｃに蓄えられる。この場合−１前のオフセットコントロ
ール信号ＯＣがＯである場合と違ってスイッチ８３．８
４がオンとなり、キャパシタＣの十−の極性は逆転する
。そのため、入力信号が入力された時に生じるオフセッ
ト電圧はオフセットコントロール信号ＯＣを１にするこ
とにより、キャパシタＣの極性が変わり、結果として、
オフセットがキャンセルされることになる。本発明では
、このように、キャパシタＣの極性の反転を用いて等測
的にオフセットキャンセル機能を有するように構成され
ている。なお、スイッチ８７はリセット信号によって制
御され、処理開始時にリセット信号が与えられた場合に
、キャパシタＣ１の電圧を零にし、加算部の出力を強制
的にＯにリセットするものである。このＯＣ信号も位相
制御されているものとする。

加算部４４の出力はサンプル／ホールド回路４５の入力
となる。サンプル／ホールド部４５では、位相制御され
たサンプル／ホールド制御信号Ｓ／Ｈｏｕｔが１である
場合に、スイッチ８８を介して加算部４４の出力がキャ
パシタＣＩ、に蓄えられる。

Ｓ　／　Ｈ８ｕｔ制御信号が１である場合には、反転回
路９４によってスイッチ９０の制御信号はＯとなり、キ
ャパシタＣ６の一方の端子はグランドに接地されず、ス
イッチ９１がオンになることによりユニットの最終出力
信号がそのスイッチ９１を介してキャパシタＣｈに人力
される。すなわち、その時の最終出力信号がオペアンプ
９６の出力端からフィードバックされてキャパシタＣ１
の下側に与えられる。従って、キャパシタＣには、加算
部４４の出力から最終出力信号の値を引いた電圧が保持
される。一方Ｓ／Ｈｏｕｔ制御信号が０のときには、ス
イッチ８９と９０がオンし、キャパシタＣ，の下側はグ
ランドとなり、結果としてキャパシタＣに蓄えられた電
圧、すなわち加算部４４の出力から最終出力値を引いた
電圧値がスイッチ８９を介して１倍のオペアンプ９３の
＋側に入力され、そしてこのオペアンプ９３はバッファ
として働いて、オペアンプ９３の出力がシグモイド関数
の入力となる。また、Ｓ　／　Ｈ　ｏ．Ｌ制御信号が１
のときスイッチ８８がオンし、キャパシタＣ，には加算
器の出力値と最終出力値との差の電圧が蓄えられている
ときには、スイッチ９２がオンしている。そのためオペ
アンプ９３にはＯボルトが強制的に入力される。この時
にシグモイド関数４６及びオペアンプ９６．アナログス
イッチ／Ｏ０を介してオフセット電圧ΔＶがスイッチ９
１を介してＣ，の下側に入力される。したがってＳ　／
　Ｈ　ｏｕＬ制御信号がＯの時点、すなわちスイッチ８
９がオンでスイッチ９２がオフである場合には、Ｃ，に
蓄えられた電圧、すなわち（加算部の出力−オフセット
電圧ΔＶ）がオペアンプ９３とシグモイド関数４６を介
して最終出力になるが、Ｓ　／　Ｈ　ｏｕｔ信号が１に
なると、この時に生成されるオフセット電圧もΔＶであ
るから結果として、オフセット電圧かキャンセルされる
ことになる。

シグモイド関数を生成する非線形関数部は非線形回路選
択制御部があり、位相制御されたＳｅｌＳｉｇ信号を１
にするとスイッチ９５がオンし、シグモイド関数の出力
が次段に入力される。しかし、ＳｅｌＳｉｇ信号が０の
時には反転回路９７を介してスイッチ９８の制御信号が
１となってそれがオンし、シグモイド関数の出力はカン
トされる。すなわちＳｅｌＳｉｇ信号が０の時には、サ
ンプル／ホールド部の出力電圧がシグモイド関数を介さ
ずに直接オペアンプ９６に入力される。オペアンプ９６
は本質的には出力を一端子に直接帰還する１倍のオペア
ンプでバッファの働きをする。すなわち出力インピータ
ンスをＯにするバッファとなる。

出力部４７には時分割アナログ出力部６４と出力制御部
６３が接続されている。Ｃ３Ｉが１のときにはスイッチ
９９がオンで、スイッチ／Ｏ１もオンであるため、オペ
アンプ９６の最終出力値がＤＡＴＡ−ＯＵＴＰＵＴに出
力され、しかもその一端子にフィードバンクされて、オ
ペアンプ９６は１倍のオペアンプとして働く。それと同
時に最終出力値がサンプル／ホールド部４５にフィード
バックされる。一方、Ｃ５ＩがＯのときインバータ／Ｏ
４を介してスイッチ／Ｏ０がオンになり、スイッチ／Ｏ
、９９がオフになる。ずなわちオペアンプ９６の出力は
ＤＡＴＡ−ＯＵＴＰＵＴ線には出力されないことになる
。しかし、スイッチ／Ｏ０がオンすることによって１倍
のバッファを形成するようにしているためオペアンプ９
６の電圧フォロア動作は破壊されることなく実行される
。出力部４７は出力制御人力信号Ｃ８Ｉによって出力パ
ルス電圧を伝達するかどうかを決める回路である。この
Ｃ３Ｉをデイレイ回路／Ｏ５を介してＣ８Ｏとして出力
し、層内の隣接するニューロチップに対する出力アナロ
グ信号の時間タイミングを決定することになる。

このため、本発明では出力部４７からのアナログ信号は
時分割で伝達されるため、バス上で他のニューロチップ
からのアナログ信号と競合しない。

第５図は第４図において、オフセットキャンセルＯＣを
０ＣＯ１○Ｃ１、サインＳ　Ｉ　ＧＮ＠ＰＮＰＮ、サン
プル／ボールド５ＨｆｃＳＨ１１、ＳＩ］／Ｏ、サンプ
ル／ホールドＳ　／　Ｈｏｕｔを５Ｈ２１、Ｓ　Ｈ２０
、シグモイド選択信号Ｓｅ１５１ｇを−３ＩＧＭ、Ｓ　
ＩＧＭ、デイジ−チェーン用信号Ｃ３ＩをＣ３、−Ｃ８
での２信号で位相制御を実現する。すなわち、１つの制
御信号を、それぞれ正相を逆相の２信号で構成しかつ位
相をずらすことにより、これらの制御信号の正相と逆相
で制御される別のスイッチが同時にオン状態にならない
ようにした信号にした場合の実施例である。なお、Ｄ／
Ａコンバータ５３の出力端に接続されたキャパシタＣｆ
、抵抗Ｒ７はオペアンプ７６のフィードバック信号をＤ
／Ａコンバータの演算速度にあわせるためのものであり
、ＤＴ端子には、Ｄ／Ａコンバータのディジタル入力が
加えられる。

第５図で第４図と同一箇所は同一番号を付して説明を省
略する。

第６図は、積分器におけるタイミング図である。

データクロツタＤＣＬＫと重みクロックＷＣＬＫは基本
的な動作クロックで、データクロックＤＣＬＫのハイ状
態の半周期間に高速な重みクロックＷＣＬＫが出力され
る。重みクロックＷＣＬＫ信号は重みシリアルデータを
取り込むための同期クロックである。データクロックＤ
ＣＬＫ信号はアナログ入力信号に対する処理を行うため
の基本クロックである。同期信号５ＹＮＣは各層におい
て一層内の各アナログニューロンプロセッサＡＮＰ６同
期をとる同期信号である。積分器の出力電圧の変化は下
の三角形で示された部分の波形で示される。積分波形は
、サンプル／ホールド制御信号ＳＨのパルスで制御され
、このパルスがハイの間、積分の動作を実行する。すな
わち、積分器のキャパシタＣに対する充電を開始し、こ
のサンプル／ホールド制御信号Ｓ　Ｈのパルスがハイの
間は、このキャパシタに徐々に電荷が蓄積されて電圧は
上がるが、サンプル／ホールド制御信号ＳＨのパルスが
ロウとなって遮断されると、充電動作を停止する。従っ
て、この積分時間範囲でのチャージ分だけが意味を持ち
、このサンプル／ホールド制御信号のパルス幅をコント
ロールして積分時間範囲を縮めたり延ばしたりすること
で、人力は同じ電圧だが、積分結果としてでてくるもの
は、サンプル／ホールド制御信号のパルスの幅によって
比例配分された電圧、すなわち、電圧に積分ゲインを掛
けたものとなる。すなわち、サンプル／ホールド制御信
号Ｓ／Ｈのパルス幅がＰのときキャパシタＣに充電され
る電圧はＶａであり、サンプル／ホールド制御信号Ｓ／
Ｈのパルス幅Ｗのとき充電電圧はＶ　％　となる。

サンプル／ホールド制御信号ＳＨが下がり、スイッチン
グ制御より積分器のキャパシタの極性が変わり、オフセ
ット分が加算されている積分出力は反転する。そして、
オフセットコントロール信号ＯＣがハイ状態でサンプル
／ホールド制御信号ＳＨが再び立ち上がると、オフセッ
ト電圧■。

（ｖｂ　’　）がそのキャパシタに加算され、ＳＨ倍信
号立ち下がった時点では、結果としてオフセット分がキ
ャンセルされた積分出力値Ｖ、−Ｖｂ′３４ （ｖ、　　′−ｖ、’）を極性をもどしてサンプル／ホ
ールドされる。

次に、階層型ニューラルネットワークを説明する。第７
Ａ図は階層型ネットワークの概念図である。階層型では
左側の入力層の入力ノード１／Ｏから入った人力データ
は順次右側の方向に向かって１方向にだけ処理されてい
く。中間層の各ニューロン１１２は、ダミーノード１１
１を含む前の層の出力をそれぞれ層内の完全結合で受け
るようになっている。人力層に例えば４個の入力ノード
１／Ｏがあると、それにダミーノード１１１の１個かた
され、中間層の各ニューロン１１２からみると入力層は
５つのニューロンに見えている。ここで、ダミーノード
１１１とは、スレッシュホールドをコントロールするも
ので、積和の結果Ｘのシグモイド関数 の値Ｘに一定値一θを加えることによりＸ軸の正方向に
シフトさせた値ｆ　　（Ｘ−θ）にするものである。こ
れはダミーノード１１１に対応する重みをニューロン内
で変えることと等価であるが、後述するマックスバリュ
ーノード回路を用いて、定値θを生成している。このよ
うに、ダミーノードに対する重みを用意しておけば、闇
値を重みで表現することができる。そして出力層のニュ
ーロン１１２から中間層はニューロンが４個あるように
見える。入力層に加えられた入力データは、中間層ニュ
ーロン１１２、出力層ニューロン１１２で重みデータを
用いてそれぞれ積和演算を施され、結果として出力デー
タを発生する。

第７Ａ図に示した階層型構造のものを本発明のＡＮＰを
用いて実現すると、第７Ｂ図のように、各層間、つまり
人力と中間層との間、中間層と出力層の間、出力層の出
力にそれぞれの独立のアナログバスＢ、Ｂ２．Ｂ３を設
けることになる。

縦方向のＡＮＰは全部並列に実行できるという構造にな
る。出力層の出力にはサンプルホールド回路ＳＨを付け
る。

第８図は階層ニューラルネットワークを実現する本発明
のニューロコンピュータのブロック図である。ニューロ
チップからアナログニューロンプロセッサＡＮＰ１〜５
を各層に並列に配置し、各層間に独立にアナログバス（
Ｂｌ、Ｂ２．Ｂ３）を設ける。同図において、ＡＮＰｌ
、２．３で中間層を形成し、ＡＮＰ４．５で出力層を形
成する。

また、入力段のＡＮＰはなく、入力側にはアナログ入力
信号をタイミングよく人力するためのデイジー回路１７
１，１７２が存在する。Ｓ／Ｈで示す回路はサンプル／
ホールド回路１７３，１７４である。ＡＮＰ１〜５には
それぞれコントロール用のロジック信号が必要であるの
で、マスクコントロールブロック（ＭＣＢ）１８１から
各層に多くの制御信号線を送り込む。データクロックＤ
ＣＬＫはすべてのＡＮＰの入力側のデイジー回路１７１
と１７２に与えられ、アナログ処理の基本クロックとな
る。重みクロックＷ　ＣＬ　ＫもずべてのＡＮＰと入力
側のデイジー回路１７１，１７２に与えられ、重みデー
タ用の高速クロックである。

重みメモリブロック１８５，１８６から各ＡＮＰ４．５
及びＡＮＰＩ、２．３にはその重みクロックＷＣＬＫに
同期して重みデータが入力される。

また、同期信号５ＹＮＣＩは中間層のＡＮＰに与えられ
る層の同期クロックで同期信号５ＹＮＣ２は出力層のＡ
ＮＰに与えられる層の同期クロックである。ＳＨＩとＯ
ＣＩは中間層のＡＮＰに対するサンプル／ホールド制御
信号とオフセットコントロール信号、ＳＨ２とＯＣ２は
出力層のＡＮＰに対するサンプル／ホールド制御信号と
オフセットコントロール信号である。

左側のブロックであるデイジー回路１７１，１７２は、
入力層に相当する入力側回路である。入力ノード、つま
り入力層内のニューロンを実現するために、アナログ信
号を時分割でＡＮＰが出すのと同じタイミングで、アナ
ログ入力ボート０゜１より与えられるアナログ入力信号
を回路内に入力しなければならない。つまり、出力層か
らみれば、出力層のＡＮＰ４．５は前の中間層のＡＮＰ
ｌ、２．３からアナログ信号をアナログバスＢ２を介し
て時分割で受けることを基本動作としている。これと同
じ関係が中間層と入力層にも存在しなければならない。

入力層と中間層の関係は、中間層のＡＮＰから見るとそ
の前に入力層のＡＮＰがあるように見えなければいけな
い。このことは、中間層のＡＮＰがアナログバスＢ２に
アナログ信。

号を出力するタイミングと同じ機能でアナログ人力ボー
ト０，１からのアナログ入力信号に対しても決まった規
則でアナログバスＢ１に出力しなくてはならないという
制約がある。即ちアナログ入力ボート０．１からの入力
信号はアナログバスＢ１に時分割に乗ってくる。アナロ
グ入力ポートＯからのアナログ信号は、適当なタイミン
グでアナログバスＢ１に乗るが、そこに出力した次のタ
イミングで、アナログ人力ボート１からの次のアナログ
入力信号が同じアナログバスＢ１に乗る。この同期をと
るために一定のタイミングで出される入力制御信号Ｃ８
Ｉをデイジー回路１７１が人力し、一定時間後に、その
回路から出力制御信号Ｃ８Ｏが出される。このＣ３Ｉは
マスクコントロール回路１８１のＣ３Ｏ１から出力され
る。デイジー回路１７１，１７２は一種の遅延回路であ
る。

各デイジー回路１７１はマスクコントロール１８１から
入力制御信号Ｃ３Ｉを入力すると、自分は縦方向に隣接
する次のデイジー回路１７２に対して、アナログ入力ポ
ート１のアナログ出力信号を出すように、Ｃ８Ｏ信号を
次に渡すことになる。

この動作をデイジー制御と呼ぶ。

マスクコントロール回路１８１のＣ３Ｏ１が立ち上がる
と、スイッチ１７５がオンし、サンプル／ホールド回路
１７３に保持されているアナログ入力ポート０のアナロ
グ入力信号はアナログバスＢ１に乗る。Ｃ３Ｏ１はデイ
ジー回路１７１のＣ３ｌであるから、これが立ち下がっ
てから一定時間後にＣ８Ｏが立ち上がる。これはデイジ
ー回路１７２のＣ３Ｉであると同時に、スイッチ１７６
を制御してオンにさせるので、サンプル／ホールド回路
１７４に保持されていたアナログ入力ポート１のアナロ
グ人力信号をバスＢ１に乗せる。階層構造になった本シ
ステムでは、このデイジー制御が必要となる。つまり、
アナログ入力信号に対してアナログ入力ポート０からサ
ンプル／ホールド回路１７３を介してアナログバスＢ１
に出力すれば、次にアナログ入力信号に対してアナログ
入力ポート１からサンプル／ホールド回路１７４を介し
て同じアナログバスＢ１に出力させることになる。中間
層の各ニューロンでみているとアナログ入力ポートＯの
アナログ入力信号とアナログ人力ボートｌからの次のア
ナログ入力信号とは時分割で逐次に入ってくる。

各デイジー回路１７、１７２は、アナログバスＢ１上の
バス競合を防ぐために、入力制御信号Ｃ３Ｉを特定の時
間だけ遅延させて出力制御信号Ｃ８Ｏを出す。

中間層においても、マスクコントロールブロック１８１
からの出力制御信号Ｃ３Ｏ２をＣ３Ｉとして受けるＡＮ
Ｐ　１がアナログ信号を出力したら、Ｃ８ＯをＣ３Ｉと
してＡＮＰ２に渡すと、次にＡＮＰ２が出力する。ＡＮ
Ｐ２のＣ８ＯをＣ３Ｉとして受けるＡＮＰ３が次にアナ
ログ信号を出力すことになる。要するに、ここではＡＮ
Ｐｌ、２３の順に出力し、中間層のデイジー動作が終わ
る。

これと並行して全ての動作を管理しているマスクコント
ロールブロック１８１は、出力層のＡＮＰ４にＣ３Ｏ３
を与えるとＡＮＰ４が出力し、出力完了後、ＡＮＰ４が
ＡＮＰ５にＣＳＯを与えるとＡＮＰ５が出力する。

出力層のＡＮＰ４，５からの出力は、それぞれマスクコ
ントロールブロック１８１からＣ８０３信号及びＡＮＰ
４からのデイジ−チェーン用出力制御信号Ｃ８Ｏによっ
てそれぞれサンプル／ホールド回路１７７．１７８でサ
ンプル／ホールドされる。この出力電圧は、アナログ出
力ボート０１からアナログ出力信号として出力される他
、アナログマルチプレクサ１７９で選択された後、Ａ／
Ｄコンバータ１８０でＡ／Ｄ変換され、ＭＰＵ１８２、
メモリ１８３、通信インタフェイス１８４から構成され
るディジタル制御手段に入力される。そして、ＭＰＵ１
８２で例えば学習時に与えたＭＰＵ内に蓄えられた教師
信号と比較し、所望の出力信号であるかのチエツクを行
い、この結果に基づいて後述する重みメモリの重みデー
タを変更する。マックスバリューノード回路１８７はマ
スクコントロールブロック１８１からダミーノード制御
信号ＤＣ３Ｉ、ＤＣ３２が出力イネーブル１及び２に加
えられるとともに、出力端子はアナログバスＢｌ、Ｂ２
に接続される。

第９図は第８図に示した実施例にかかる階層型ニューロ
コンピュータのタイミング図である。各層別にその制御
信号線が抜き出して書かれている。

まず基本的な動作クロックであるデータクロックＤＣＬ
Ｋと重みクロックＷＣＬＫは同一層のすべてのＡＮＰや
入力側のデイジー回１１１７１，１７２に同時に入る。

重みクロックＷＣＬＫは、重みのディジタルデータをシ
リアルで送り込むためのシリアル同期パルスで、重みメ
モリブロックから重みを読み出すための同期クロックで
ある。どのタイミングで、入力データを取り込むかはそ
れぞれの制御信号で規定する。まず第９図のタイミング
チャートにおいて、Ｃ８０１はマスクコントロールブロ
ック１８１から出力されるディジーヂエーン用制御信号
Ｃ３Ｏ１、すなわちデイジー回路１７１へのデイジ−チ
ェーン用制御信号Ｃ３Ｉである。デイジー回路１７１に
おいて、Ｃ３Ｉが１番目のアナログ・人力信号をアナロ
グ入力ボート０からサンプル／ホールド回路５Ｈ１７３
を介してアナログバスＢｌに出力させる。すなわちタイ
ミングチャートの■においてアナログ信号をアナログバ
スＢ１に出力させる。この瞬間に、アナログバスＢ１上
に電圧が乗り、ＡＮＰＩ、ＡＮＰ２．ＡＮＰ３はこのア
ナログ信号に対して並列に積和演算を行う。そのＣ８ｏ
がデイジー回路１７１を通過し、Ｃ８Ｏが立ち下がって
から所定時間後に次のＣ３Ｔが■に示すように立ち上が
り、デイジー回路１７２にそのＣ８Ｉが入る。次のＣ３
Ｉは入力層の２番目のデイジー回路１７２に入る制御信
号である。そしてＣ３Ｉがハイの間にアナログ人力ボー
ト１からアナログ入力信号をサンプル／ホールド回路５
Ｈ１７４を介してＡＮＰｉ　　ＡＮＰ２．ＡＮＰ３に入
力し、ここで積和演算を行う。マスクコントロールブロ
ック１８１からのＤＣ３１は、ダミーノードへの制御信
号である。各層とも入力の他にダミーノードからの信号
があるのでにューロンノード数十１）個のノードの形態
であり、入力層では２人力であるが、各中間層のＡＮＰ
がらみると３人力であるように見える。これを時間的に
説明すると、２つのＣ３Ｉと１つのＤＣ３Ｌで１つのブ
ロックとなる制御信号である。入力のサイクルは、最初
のＣ３Ｉから始まり、ＤＣ３ｌのダミーへの人力で終わ
る。ダミーノードはマックスバリューノード回路１８７
であり、その回路はＤＣ８１が入力されている間アナロ
グバスに固定されたある閾値電圧を出力する。すなわち
■で示すようにＤＣ３Ｉが立ち上がってからこの電圧が
出力されている間、中間層の各ＡＮＰは通常の入力と同
様に積和演算を行って、その固定電圧が前の２２のアナ
ログ入力信号の積和演算されたものの結果に加えられる
ことになる。すなわち、掛は算後、足し算を実行する。

５ＹＮＣＩは、Ｃ３Ｏ１が立ち上がる前のＤＣＬＫの立
ち下がりでハイとなり、ＤＣ３Ｌが立ち上がってから次
のＤＣＬＫの立ち下がりでロウとなる。これは入力層の
同期をとる信号である。ＷＣＬＫが入力されている間で
アナログ入力と重みデータの掛は箕が行われる。中間層
のＡＮＰに入るサンプル／ホールド信号ＳＨＩには、２
つの山Ｍｌ、Ｍ２が出力されているが、最初の山Ｍ１の
少し前で積をとり山の部分で和を生成し、ホールドする
。そして、次の山Ｍ２でオフセット電圧Ｖｂ　　（第６
図参照）を差し引いてサンプル／ホールドする。このよ
うな処理を入力されるすべてのアナログ信号について順
次繰り返し行い、積和の計算が終わる。この場合はダミ
ーを含めて中間層の各ＡＮＰは積和演算を３回実行する
。これで中間層の各ＡＮＰの処理は終わり、３人力に対
する積の加算までが終了する。

また、タイミングチャートにおいてＤＣ３Ｌが立ち下が
った直後のＤＣＬＫがハイのとき、アナログ２カポート
０．１　ダミーノードから３つの信号について積和演算
した結果が各ＡＮＰ、２３のキャパシタ（第４図、サン
プル／ホールド部Ｇ ４５内のｃｈ）にホールドされる。このような動作が基
本的に繰り返されることになるが、中間層と出力層との
間にあるアナログバスＢ２にＡＮＰｌの出力信号をいつ
出力するかということはマスクコントロールブロック１
８１から出されるＣ８０２の信号の立ち上がりで決まる
。

５ＨＩＯ下に示したオフセットコントロール制御信号Ｏ
Ｃ１はＡＮＰの内部においてオフセットキャンセルを行
う。すなわち各ＡＮＰは内部的にオペアンプを含むアナ
ログ回路であって、回路自体がオフセットを持っている
ため、このオフセットをキャンセルするための制御信号
がＯＣ信号である。ＯＣＩに示されるように積和の演算
が１つ実行される毎に１つのパルスが出され、内部にお
いてオフセットキャンセルが実行されている。タイミン
グチャートでは■で示すようにＣ３Ｏ２が立ち上がると
ともにＡＮＰＩからアナログバスＢ２にＡＮＰＩにホー
ルドされていた信号が出力し、Ｃ３Ｏ２がハイの間に出
力層のＡＮＰ４が積和演算を行う。■で示されるＣ３Ｏ
２の立ち上がりはその前の入力結果の積和の結果を出力
するタイミングである。

次に、第９図を使って中間層と出力層との間のタイミン
グを説明する。

なお、同図において、中間層からのデイジ−チェーン制
御信号の出力■、■、■、■及び出力層からの出力■、
■に同期してアナログバス上にあられれるアナログ信号
は上述した入力層からのデイジ−チェーン制御信号の出
力■、■、■に同期してアナログバス上に入力されるア
ナログ信号に対して■処理サイクル前の結果が現れるこ
とになる。パイプライン処理の実行は後で説明するが、
タイミングチャートの■で示されるＣ３Ｏ２の立ち上が
り時において、ＡＮＰＩの出力が出される。

■に示されるＣ３Ｏ２の立ち上がり時にタイミングチャ
ー）ＳＨ２の信号を見るとパルスが２つ出されている。

ＳＨ２Ｈ２Ｏ２８図のブロック図において、出力層の第
１番目のＡＮＰ４に人力されている。すなわちＳＨ２Ｈ
２Ｏ２つの山のパルスにおいて、ＡＮＰ４内で和の演算
が１つ実行される。中間層には図に示されるようにＡＮ
ＰＩ、２゜３の３つの中間層のニューロンがあるが、マ
ックスバリューノード回路１８７によるダミーノードが
１つ加えられ、合計４つのニューロンがあると仮定され
ている。従ってＳＨ２Ｈ２Ｏ２２つのパルスが■の部分
から見て４回出力されており、このＳＨ２Ｈ２Ｏ２組の
山のパルスで中間層のアナログ信号がＡＮＰ４に入力さ
れ積和が演算される。

この動作は当然、中間層のＡＮＰが入力信号に対して積
和演算をしているタイミングと同時に行っていることに
なり、これはパイプライン処理となっている。Ｃ３Ｏ２
の下の信号は中間層にあるＡＮＰＩのＣ８Ｏの信号で、
これは同じ中間層のＡＮＰ２に対するＣ３Ｉである。こ
れが■で示されている部分である。その下はＡＮＰ２の
Ｃ８Ｏでその下はＡＮＰ３のＣ３Ｔでこれが■である。

その下がＡＮＰ３のＣ８Ｏであり、その下の■がダミー
ノードのＣ３ＩであってこれはＤＣ３２、すなわちマス
クコントロールブロックから出される信号である。Ｃ３
Ｉで見ると■、■、■、■の順序でそれぞれ中間層のＡ
ＮＰＩ、ＡＮＰ２．ＡＮＰ３、そしてダミーノードのマ
ックスバリューノード回路１８７に入力される。この間
ＳＨ２信号は２つの山を持つパルス信号を４つ出してい
る。

すなわち、ＡＮＰ　４の出力層のニューロンは入力アナ
ログ信号と重みとの積を４つ分加えることになる。■の
部分でＡＮＰ　１にＣ３Ｉが入力している時にはＡＮＰ
　１からアナログ信号が中間層と出力層の間のアナログ
バスに信号が出され、これがＡＮＰ４に入力される。そ
してこの時、対応する重みデータがＡＮＰ４に入力され
、それと共に積が実行され、ＳＨ２Ｈ２Ｏ２１の山で加
算され、第２の山でサンプル／ホールドされる。そして
この計算が終わると、ＡＮＰ　１からＣ８○の信号が立
ち上がり、これがＡＮＰ２のＣ３Ｉとなる。これが■の
状態であり、この時重みデータとアナログバス上のデー
タとが掛は算され、和が計算される。■が立ち下がった
あと所定時間後にＡＮＰ３へのＣ３Ｉがハイとなり■で
示すようにＡＮＰ４で積和演算が行われる。このような
積和の演算がＡＮＰｄ内で計算され、■のところでマッ
クスバリューノード回路１８７から出力される固定電圧
がＡＮＰ４に入力され、これが内部のいままで陰えられ
た積和に加えられることになる。

以上の動作は出力層のＡＮＰ５に対しても並行して行わ
れる。ここに同時処理がある。ＡＮＰ４で計算された積
和演算の結果が出力層に接続されたアナログバスＢ３に
出力されるタイミングはマスクコントロールブロック１
８１から出されるＣ３Ｏ３の立ち上がりである。マック
スバリューノード回路１８７がアナログバスＢ２に出力
するための制御信号がＤＣ３２であって、これが■に対
応する。このＤＣ３２までは中間層における計算結果を
出力するまでの動作である。タイミングチャートのこれ
よりも下に書いである信号に対しては同じような動作で
あり、中間層とカスケードに接続された出力層側の動作
を規定する信号パルスである。Ｃ３Ｏ３が立ち上がると
、ＡＮＰ４で計算された積和演算の結果が出力されるこ
とになる。

出力層ではＡＮＰ４、ＡＮＰ５の２個が出力される。な
お、例えば■のＣ３Ｏ２の立ち上がりは、ＡＮＰＩに入
る信号で、この立ち上がりはＤＣＬＫよりも遅れている
。これはアナログ入力信号とディジタル重みデータとの
積演算を行う場合、ＷＣＬ　Ｋでディジタルデータを読
み込む時にシリアルであって、これを内部でパラレルに
変換するディジタルデータの読み込み時間上アナログ入
力信号がＤ／Ａコンバータすなわち乗算処理部に到達す
るまでの時間を考慮してＣ８０２の立ち上がりを遅らせ
ているからである。すなわち、最初の頭の部分でズして
いるのは、データの呼び出し、つまりシリアルデータの
読み込み時間が含まれている。データがセットし終わる
のはＤＣＬＫの立ち上がりから、しばらくたった時間す
なわちＷＣＬＫで１６サイクル後である。アナログ乗算
の開始時間はＣ３Ｏ２が立ち上がってからＷ　ＣＬ　Ｋ
で８サイクルたった後である。

第／Ｏ図は、ディジタル重みデータの読み込みタイミン
グを示すタイミングチャートである。同図において、マ
スククロックＭＣＬＫ、同期信号ＳＹＮＣ，重みクロッ
クＷＣＬＫ、データクロワタＤＣＬＫ、実際の重みデー
タＷＤＡＴＡが示されている。重みデータＷＤＡＴＡは
重みメモリからビットシリアルで読み出され、１６ビ・
７トがシリアルに入力される。Ｓはサインビットで、Ｂ
１４〜ＢＯまでが数値ビットである。同図において重み
データＷＤＡＴＡのＢ８．Ｂ７．Ｂ６の部分が重みクロ
ックＷＣＬＫとの対応として図の下方に拡大された形で
表現されている。重みクロックＷＣＬＫは周期が２５０
　ｎ５ｅｃでデユーティ比５０％になっている。ＷＣＬ
Ｋの立ち下がりからシーケンサ内部にあるアドレス更新
用のカウンタの伝播遅延時間後に重みメモリにアドレス
が与えられる。

即ち重みメモリ　（ＲＡＭ）のビットｎのアドレスは重
みデータＷＤＡＴＡのビット７が格納されている重みメ
モリのアドレスである。このアドレスが確定した後、ｔ
ＡＡ時刻後にビット７が読み出されている。ビット７か
らビット６への変化は重みクロックの次の周期への変化
によって決まり、ビット６は次の周期で読み出されてい
る。重みデータの１６ビツトはＡＮＰに入力され、ＡＮ
Ｐに入力されるアナログ電圧との積が内部のＤ／Ａコン
バータによって計算されるので、アナログ電圧の入力開
始は、データクロックＤＣＬＫからの立ち上がりからず
っと後に人力される。即ち、アナログ入力電圧は人力さ
れてからＤ／Ａコンバータに到達されるまでの時間があ
るのでその時間とディジタル重みデータが内部にセット
される時間とを制御し、重みデータの到着時間とアナロ
グの到着時間がちょうど一致するようにアナログ電圧を
入力する必要がある。

例えば、アナログ入力電圧の立ち上がりは、重みデータ
のＢ７あたりから立ちあげ、重みデータのＢＯが入力さ
れ、その後すべての重みデータが内部で確定した頃にそ
のアナログ値との乗算がスタートするように時間の制御
をとる必要がある。

そして加算はＤＣＬＫが次にロウになる期間で行われる
。

ＡＮＰの動作時間は、ＳＹＮＣ信号とＷＣＬＫ。

及ヒデータＤＣＬＫで規定される。そしてアナ口グ入力
電圧はＡＮＰの入力端子からディジタル重みデータと積
を実行するＤ／Ａコンバータ迄の電圧到達時間等にかな
りの時間誤差があるので、マージンを見込んでＣ３Ｉの
立上りはＤＣＬＫの立上りより遅れたところから始まる
ことになる。

第１１Ａ図は本発明の集中制御方式に従うマスクコント
ロールブロック１８１の構成図である。

マスクコントロールブロック１８１はすべての制御信号
を総括する部分である。主要な構成要素は外部バスイン
タフェイス回路２００、制御パターンメモリ２０１及び
マイクロプログラムシーケンサ２０２とマイクロコード
メモリ２０３、アドレス作成部２０４である。外部パス
インタフェイス回路２００は、ＭＰＵ等に接続するため
のインタフェイスでアドレス線２０５、データ線２０６
及び制御信号線２０７に接続されている。外部パスイン
タフェイス回路２００の上位アドレス比較回路２０８、
レジスタであるＤ−ＦＦ２０９はそれぞれＭＰＵ等から
与えられる上位アドレスをデコードし、上位アドレスが
予め定められた番地である場合に、下位アドレスとデー
タをそれぞれＤＦＦ２０９，２１１にタイミング回路２
１４からのラッチ信号をトリガとしてセットする。その
アドレスとデータはそれぞれバスドライバ２／Ｏと２１
２を介して、内部アドレスバスと内部データバスを介し
て内部に入力される。そのアドレスはマイクロコードメ
モリ２０３を参照して、マイクロコードをデータバスを
介してＭＰＵ側から書き込む場合等に利用される。また
下位アドレスはバスドライバ２／Ｏを介してマイクロコ
ードアドレスをマイクロプログラムシーケンサ２０２に
も渡され、ＭＰＵ側からの特定なアドレスで制御パター
ンメモリ２０１を参照できるようにしている。

ＭＰＵあるいは主記憶からのデータはデータ線２０６を
介してＤ−ＦＦ２１１にラッチされた後、バスドライバ
２１２を介してマイクロコードメモリ内のセパレートＩ
／ＯＲＡＭ２１３あるいは、制御パターンメモリ２０１
内のセパレートＩ／ＯＲＡＭ２１５，２１６に加えられ
る。ＭＰＵ或いはメモリからのデータストローブ信号が
制御信号線２０７を介してタイミング回路２１４に加え
られるとアクノリッジ信号を返送する通信方式で、アド
レスやデータの送受信に関する制御が行われる。タイミ
ング回路２１４はＤ−ＦＦ２１、ＤＦＦ２０９へのラッ
チタイミングやＷＲ倍信号介してマイクロコードメモリ
２０３、制御パターンメモリ２０１への書き込みタイミ
ング等を制御する。

第９図のタイミングチャートに示されるようなニューロ
チップに与える複雑な制御信号の“１″“０”パターン
は、制御パターンメモリ２０１に１周期分格納され、そ
の１周期分のパターンをマイクロプログラムシーケンサ
２０２の制御に従って制御パターンメモリ２０１から読
み出すことによって生成する。例えばりセント信号Ｒｅ
５ｅｔ　、データクロックＤ　ＣＬ　Ｋ、重みクロック
ＷＣＬＫ、Ｃ３ＯＩ、Ｃ３Ｏ２，Ｃ３Ｏ３やＳＹ、ＮＣ
１，５ＹＮＣ２、ＳＨＩ、ＳＨ２、ＯＣｌ、○Ｃ２等の
制御信号はセパレートＩ／ＯＲＡＭ２１５から読出され
、パターンに付随する制御情報つまりシーケンス制御フ
ラグは第２のセバレー）　Ｉ／ＯＲＡＭ２１６から読み
出される。例えば制御パターンメモリ２０１は／Ｏ００
１／Ｏ００１というパターンが格納されている場合には
、“１，０″ビツトのパターンであるから、この“１，
０”ビットのパターンを繰り返すように制御パターンメ
モリ２０１のアドレスを制御すれば、このパターンの繰
り返しが制御パターンメモリ２０１から読み出されるこ
とになる。すなわち制御信号のパターンは非常に複雑な
パターンであるので、これらのパターンを予めこのセパ
レートＩ／ＯＲＡＭ２１５に格納しておき、そのセパレ
ートＩ／ＯＲＡＭ２１５のアドレスをマイクロプログラ
ムシーケンサ２０２の制御に従って指定することによっ
て順次そのビットパターンを出力する構造になっている
。

よって、幾つかの同じパターンを繰り返すことになるの
で、その繰り返しをどのように実現するかはアドレス制
御に従う。この１周期分のパターンをオリジナルパター
ンと呼ぶことにする。オリジナルパターンを繰り返すた
めには、マイクロプロア ダラムシーケンサ２０２に制御パターンメモリ２０１か
らの特定な情報をフィードバックする必要がある。すな
わち第２のセパレートＩ／ＯＲＡＭ２１６内のシーケン
サコントロールフラグを条件入力としてマイクロプロゲ
ラ１シーケンサ２０２に入力することにより、マイクロ
プログラムシーケンｆ２０２は第１のセパレートＩ／Ｏ
ＲＡＭ２１５内のオリジナルパターンの入っている先頭
アドレスに戻るように制御する。このことにより、オリ
ジナルパターンの繰り返しが実行される。すなわち、マ
イクロプログラムシーケンサ２０２はその条件が満たさ
れるまで汎用ポート出力線２゜２−１を介してセパシー
）１／ＯＲＡＭ２１５へのアドレス信号を逐次に生成す
る。通常はこのアドレスはインクリメントされるがオリ
ジナルパターンの最終になったという条件が満たされる
と、そのオリジナルパターンが格納されている先頭アド
レスに戻るようにする。結果として特定なパターンが繰
り返しセパレートＩ／ＯＲＡＭ２１５から制御パターン
が出力される。

１］ＩＢＩｆｆｌは、マスクコントロールブロック１８
１を制御するメモリ２０１及び２０３内の情報の相互関
係である。同図において、制御パターンメモリｌが第１
のセパＩノートＩ／ＯＲＡＭ２１５に相当し、制御パタ
ーンメモリ２が第２のセパレートＩ／ＯＲＡＭ２１６に
相当する。マイクロッドメモリ２０３内には、シーケン
サ２０２の制御コードが記憶され、主に、Ｊｕｍｐ命令
とＲｅｐｅａ　を命令が格納されている。アドレスの増
加方向にみて、特定なアドレスにＲｅｆｌｅａ　を命令
があり、この反復命令に従う制御パターンメモリ内のパ
ターン１の繰り返し数は制御パターンメモリ２の対応す
るアドレスに格納され、例えばＮ　ＯＪであるとすれば
、／Ｏ回の反復を実行することになる。このようにして
、アドレスが増加し、マイクロコードメモリのＪｕｍｐ
命令に来たときに、マイクロコードメモリ２０３内の第
２のＪｕｍｐで５００Ｈに飛び、Ｐａｔｔｅｒｎ２を出
力する。Ｐａｔｔｅｒｎ　２を５回繰り返すと、マイク
ロコードメモリ２０３内の第３のＪｕｍｐで、再びｒｌ
ｏｏ　ＨＪに飛び、Ｐａｔｔｅｒｎ　］を出力すること
になる。このようにして、オリジナルパターンが繰り返
されて、制御パターンメモリ１から読み出される。

この制御パターンメモリ２０１を参照するアドレスの読
み出しクロックに同期してＷ　ＣＬ　Ｋが作られており
、重みメモリ１８５，１８６からＷＣＬＫに同期して情
報が読み出される。重みメモリ１８５．１８６へのアド
レスはアドレス作成部２０４のアドレス１及びアドレス
２から出力されるアドレス信号によってアクセスされる
。アドレス１とアドレス２はそれぞれ、中間層と出力層
に対応して分離している。中間層にあるＡＮＰに与える
べき重みデータはアドレス１によっ°ζ指定される重み
メモリ１８５から読み出され、出力層へのＡＮＰへの重
みデータはアドレス２によって指定される重みメモリ１
８６から読み出された内容である。各アドレスは重みメ
モリ］８５，１８６の内容が重みデータの各ビットをア
ドレスが増す方向に１ビットずつ格納されているので、
アドレスカウンタ２１７，２１８へのカウント制御信号
ずなわち、重みメモリクロック（ＷＣＬＫ）をイネーブ
ルするための信号がマイクロプログラムシーケンサ２０
２から与えられる必要がある。そのアドレスカウンタ２
１７，２１８によってこのアドレスがバスドライバ２１
９，２２０を介して次から次へと重みメモリ１８５．．
１８６へのアドレス信号として、インクリメントして与
えられる。そして複数の重みデータがその重みメモリ１
８５１８６から読み出される。

第１のセパレートＩ／ＯＲＡＭ２、５からＷＣＬＫとマ
イクロプログラムシーケンス２０２からのカウンタ制御
信号がアドレス作成部２０４内のアンド回路２２、２２
２に加えられている。カウンタ制御信号がハイのとき、
ＷＣＬＫによってアドレスカウンタは更新され、Ｗ　Ｃ
Ｌ　Ｋの１〜１６ビツトまではアドレスカウンタ２１７
．２１８をインクリメントする。そして、残りのＷＣＬ
Ｋ１７〜２６ビ・７トに対しては、カウンタ制御信号を
ロウとすることによりＷＣＬＫをインヒビノドとしてア
ドレスカウンタ２１７，２１８のインクリメントを停止
する。そして、５ＹＮＣＩ、５ＹＮＣ２に同期して、そ
れぞれカウンタリセット信号をマイクロプログラムシー
ケンス２０２からアンド回路２２、２２２に送出して、
アドレスカウンタ２１７．２１８をリセットする。この
ことにより、重みメモリ１８５，１８６のアドレスを先
頭アドレスに戻す。なお、マスクコントロールブロック
１８１から出力されるモード信号は、重みメモリの通常
使用、すなわち重みメモリをＭＰＵデータバスから切り
離し重みデータをＡＮＰに与えるモードと、重みメモリ
をＭＰＵデータバスに接続し、ＭＰＵから重みメモリを
参照するモードを形成するためのものである。

モード信号は、ＭＰＵからのデータの下位ビットが、下
位アドレスの１ビットとタイミング回路２１４からの書
込み信号からＷＲをアンド回路２２３にて生じるアンド
信号をトリガとしてフリップフロップ２２４にセットさ
れることにより形成される。このモード信号がＯのとき
重みメモリは通常使用となる。

書込み信号ＷＲと内部アドレスバスの１ビツトがアンド
回路２２３を介してフリップフロップ２２４のクロック
端子に入力され、内部データバスのＬ　Ｓ　Ｂがフリッ
プフロップ２２４のデータ端子に入力される。」二値ア
ドレスを比較回路２０８でマスクコントロールブロック
１８１が選択されているかを判定し、選択されている場
合、下位アドレスとデータをＤＦＦ２０９．２１１に取
り込む。

このような、インタフェイス動作はＭＰＵに接続される
他のデバイスに対しても同様に行われるが重みメモリは
通常ＡＮＰに対し重みデータを供給しているので、ＭＰ
Ｕのデータバスに直接接続するとバス競合が生じる。こ
れを防ぐために、内部データバスのＬＳＢがフリップフ
ロップ２２４に取り込まれた時はモードを１として、重
みメモリを後述するようにチップセレクトしないように
して、重みメモリからデータバス上にデータが生じない
ようにする。内部アドレスバスが所定タイミングにおい
ζ、内部アドレスバスによって、マイクロコードメモリ
２０３と制御パターンメモリ２０１のいずれかのアドレ
スを指定し、そのアクセスされたアドレスに内部データ
バスから所望のデータを書き込む。これにより、マイク
ロプログラムシーケンサ２０２やマイクロコードメモリ
２０３、セパレートＩ／ＯＲＡＭ２１６に記憶されたプ
ログラムを変更するか、セパレートＩ　／Ｏ　ＲＡＮＰ
１５に記憶された制御パターンを変更する。

第１２Ａ図はこの重みデータメモリ２３０のデータ格納
構成図である。同図において列方向の８ビツトは同じア
ドレスに入った８ビツトデータの情報であり、各ビット
は下からＡＮＰｉ　ＡＮＰ２・・・ＡＮＰ８に与えられ
る。行方向はアドレスが異なり、図に示すように左に行
（はどアドレスが増加する方向となっている。重みデー
タはサインビットを含めて１６ビノトであるからこれを
アドレスの小さい方向から大きい方に向かって格納する
。ＭＳＢは、サインビットで、それ以外の１５ビ、１・
は数値ビットである。マイクロプログラムシーケンサ２
０２からアドレスがＷＣＬＫに同期してインクリメント
されると、重みデータの■ワード分、すなわち１６ビツ
トがＭＳＢから順にＬＳＢまで読み出されることになる
。８個の複数のＡＮＰに同時にこれらの重みデータが渡
される。このようにアドレスの増加する方向にデータが
格納される構造になっているため、この重みデータに対
するアドレスのカウンタが必要となる。

すなわち、ＭＳＢからＬＳＨの重みデータデータの１ワ
一ド分がカウントされたら、１個分の重みデータになる
ようにカウントされる制御が必要となる。この制御はや
はりマイクロプログラムシーケンサ２０２で行っている
。

第１２Ｂ図は重みメモリブロック１８５，１８６具体的
回路である。メモリ２３０はＭＢ　８４６４Ａ−７０と
いうＲＡＭである。出力はＡＮＰ　１〜ＡＮＰ　８に対
応する８ビツトである。基本的にＭＰＵのバスから見た
バス信号線とマスクコントロールブロック１８１から見
えるアドレス１と２のどちらかを使う。アドレス１と２
は前述した第１１Ａ図のアドレス１と２である。このア
ドレス１と２はＷＣＬＫに同期してインクリメントされ
る形で入力される。８ビツトのデータは同時に読み出さ
れ、各ビットはＡＮＰＩ〜ＡＮＰ　８に対して同時に与
えられる。

モード信号が０のときアンドゲート２３３を介して、重
みメモリ２３０はチップセレクトされ、このとき、マイ
クロプログラムシーケンサ２０２からのアドレス１，２
がマルチプレクサ２３４で有効となる。そして、重みメ
モリ２３０から重みデータがＡＮＰ　１〜８に送られる
。一方、反転回路２３１の出力は、ハイであるからトラ
イステートバストランシーバ２３２はディスイネーブル
状態となって重みメモリ２３０の出力はＭＰＵへと出力
されない。

ＭＰＵに出力する場合には、モード信号を１にして、Ｍ
ＰＵからの適当なアドレス情報によって、アドレスデコ
ーダ２３５を介してメモリ２３０をチップセレクトし、
メモリ２３０にＭＰＵからアドレスを与える。モード信
号が１のとき、ＭＰＵバスへの読み出しまたはバスから
メモリ２３０への書き込みの制御すなわちリードライト
の方向は、ＭＰＵからアンドゲート２３６を介して来る
データ線の読み出し信号Ｒｅａｄ　Ｓｉｇｎａｌ　によ
って決められる。

次に学習のアルゴリズムについて説明する。

第１２Ｃ図は本発明に利用されるバックプロパゲーショ
ンという学習アルゴリズムのフローチャートである。学
習は次のように進められる。本発明のニューラルネット
ワークすなわち、ＡＮＰの集合によって構成される階層
型ネットワークの入力に学習すべき完全情報がＭＰＵか
ら図示しない入力制御回路を介して入力される。そして
、その入力信号は入力端回路、中間層及び出力層を介し
てネットワーク出力にＡ／Ｄコンバータを介した後ＭＰ
Ｕに与えられる。ＭＰＵ側の主記憶内に学習アルゴリズ
ムが存在する。ＭＰＵ内は、教師信号を上記ｔｅから取
り入れ、ネットワークの出力と教師信号との誤差を調べ
る。もし、その誤差が大きければ、ＭＰＵは、ネ・７ト
ワークが正しい出力を出す方向に、ネットワークの接続
の強さである重みデータを変えることになる。この重み
データは重みメモリ２３０を介して各層のＡＮＰに加え
られる。

重みデータが学習アルゴリズムによって更新される場合
、第２０Ｃ図のバソクプロパゲーシコン学習アルゴリズ
ムに従うことになる。学習アルゴリズムがスタートする
と、ＭＰＵは出力層のＬ番目のニューロンＡ　Ｎ　Ｐ　
Ｌは教師信号ＹＬと、現在の出力ＹＬとの誤差を求めて
それをＺＬに代入する。出力Ｙ、はニューロンＡＮＰＬ
の出力であるから、例えばシグモイド関数を非線形素子
として使うならば、この非線形関数の出力値として出さ
れたものである。従って、ニューロンＡＮＰＬにおいて
、誤差ＺＬを非線形関数の入力側に誤差伝播する必要が
ある。誤差伝播を行う場合、エネルギー関数、すなわち
誤差信号の２乗に１／２を掛けたエネルギー、すなわち ＥＬ　−１／　２　（Ｙｔ　　Ｙｔ　）　２の非線形関
数入力ＸＬに対する偏分、ずなわちは次のように変形で
きる。

−（ＹＬ　　−ＹＬ　　）　　・　ｒ（ｘＬ　）となる
。ここで、非線形関数ｒ（ｘＬ）がシグモイド関数であ
るとするならば、 このシグモイド関数の微分子′　（ＸＬ）を変形すると
、 ｒ　′（ＸＬ　）　−ＹＬ　　（１−ＹＬ　）となる。

これはフローチャートの８２に示されるＶＬである。従
って、δすなわちエネルギーの非線形関数入力ＸＬに対
する偏分はＶＬｘＺＬとなり、すなわぢＳ２に示される
Ｕｔ　となる。このエネルギーの非線形関数入力に対す
る誤差分δをさらに中間層へ逆伝播させる必要がある。

中間層の第に番目のニューロンをＡ２とする。

Ａｋの出力はＹｋとする。出力層のニューロンＡＮＰＬ
の非線形関数入力ＸＬはすべての中間層にあるニューロ
ンの出力（Ｙ、・・Ｙ工ＡＸ）マでのそれぞれに重みＷ
ＬＫを掛けた積和で表現される。

従って、ＸＬの重みＷＬＫに対する偏分はとなる。一方
、エネルギーＥＬに対する重みＷ、。

の変分は次式で与えられる。

となる。すなわちＳ３のＴＬＫは おＥＬ Ｗｔｋ を表現しているもので、エネルギーの重みに対する偏分
である。従って、このＴＬＫを重みの変化分ΔＷとすれ
ばよいが、収束を早めるために８４に示される第１式の
第２項を加えて、次のような漸化式にして重みを修正す
る。

ΔＷＬｋ−αＴＬｋ　＋β・ΔＷＬｋ ＷＬ　ｋ　＝ｗＬｋ＋ΔＷＬν ここで、α、βは定数である。今、出力層の特定なニュ
ーロンＡＮＰＬに注目しているが、このＡＮ　Ｐ　Ｌは
中間層のニューロンにすべて接続されているものとする
ならば、各Ａ　Ｎ　Ｐ　Ｌに対してＫを１からＫ　ｍａ
ｘまで繰り返す必要がある。これがフローチャートのＲ
１に示す繰り返しで、中間層のニューロン数Ｋｌ、、ｌ
ｌＸだけ繰り返すことになる。この繰り返しが終わると
出力層の特定なニューロンＡ　Ｎ　Ｐ　Ｌに対する逆伝
播が終了することになる。

従ってこれをすべての出力層のニューロン（ＡＮＰ、、
ＡＮＰ２　、　　・・・、ＡＮＰＬｌｌ、、）に対して
行う必要があるため、フローチャートのＲ２に示すよう
に、Ｌを１からＬ０□まで繰り返すことになる。すなわ
ち、最終出力層のニューロンの数ＬＩＩ□だけ繰り返す
ことになる。

次に今度は中間層から入力層に向かって学習することに
なる。アルゴリズムはほぼ同様であるが、誤差信号は教
師信号と出力電圧との差で表現できず、Ｓ５の式になる
。すなわち、Ｚｋが中間層のに番目のニューロン、Ａ、
の出力誤差信号に対応する項となる。これは次式によっ
て明らかである。

＝Σｗｔｈ　　・　Ｕ。

となる。従って、Ｓ５のＺｋのインデックスＬに対して
１からＬ　ＩＩＩＩＩＸまで、すなわち出力の数だけ繰
り返す（Ｒ３）ことによって中間層の誤差信号骨Ｚｋが
計算される。その後は中間層と出力層との間のアルゴリ
ズムと同じである。すなわち、まず、シグモイド関数の
微分値Ｖ６を出し、それを用いてＵｋ、すなわちエネル
ギーの非線形関数入力に対する変化分を８６で求める。

Ｓ７でそのＵ。

を用いて入力層の出力、ＹＪとの積Ｔ３ｊを求める。こ
れを重み変化分の主要部として、Ｓ８に示すように収束
を早めるための第２項を加えて、ΔＷｋＪを求め、前の
値Ｗ□、にそのΔＷｋ１を加えて新たなＷ、Ｊとする。

これが重みの更新である。この重みの更新を入力数Ｊ　
ｍａｘだけ繰り返す（Ｒ４）。すなわちｊ＝１からｊｍ
ａｘまで繰り返すことによって入力層と中間層の間の重
みが更新されることになる。なお、Ｓ５のＺ、は中間層
の出力の誤差信号に対応するものであって、これは出力
層のエネルギーの関数入力値に対する偏分ＵＬを後ろ向
きに逆伝播した形で表現され、ＷＬＸは中間層と出力層
との重みが定まって初めて定まるものである。すなわち
重みの更新に対する計算は出力層のニューロンＡＮＰＬ
から始めて中間層のニューロンＡＮＰＫに移り、中間層
のニューロンＡＮＰＫではその重み変化分ΔＷはその前
段のΔＷが決まらないと計算できないものとなっている
。

従って最後の入力層まで遡って始めて計算が可能となる
ところからこの学習はバックプロパゲーションと呼ばれ
ている。

バックプロパゲーションによる学習は学習用のデータを
完全情報として入力し、結果を出力する前向き動作とそ
の結果のエラーを小さくするようにすべての結合の強さ
を後ろ向きに変えることになる。その為、この前向き動
作も必要となる。この前向き動作において本発明のアナ
ログニューラルネソト部が有効に利用される。また、出
力値を逆伝播するアルゴリズムはＭＰＵで実行される。

なお、シグモイド関数でない非線形である場合には、そ
の非線形の微分値が異なる。例えばｔａｎｈ（Ｘ）であ
るならば学習アルゴリズムは第１２Ｄ図のように、非線
形の微分結果は、出力層では■。

−１−ＩＹＬＩとなり（Ｓ２′）、中間層では■。

−１ｉＹ、ｌ　　（３６′）となる。

その他は、第１２Ｃ図と同じ参照符号をつけて説明を省
略する。

第１３図は入力側のデイジー回路１７３，１７４の構成
図である。図中２４０，２４１，２４２はＤタイプのフ
リップフロップである。ＤＣＬＫ信号の立ち上がりでＤ
端子に入力されるデータをセットし、出力Ｑを１の状態
にする。第１のフリップフロップ２４０は、ＤＣＬＫの
立ち下がりで、Ｃ８Ｔ信号をセットする。そして、次の
立ち上がりで第２番目のフリップフロップ２４１にその
出力信号をセットする。

その出力は第３番目のフリップフロップ２４２のＤ端子
に入力されている。その入力をセントするクロック信号
は４ビットカウンタ２４３の出力である。カウンタ２４
３はＷＣＬＫの立ち下がりでトリガされる。クリアされ
るのはＤＣＬＫの立ち下がりである。従って、ＤＣＬＫ
の立ち下がりにカウンタ２４３はオール０となり、Ｗ、
ＣＬ　Ｋの立ち下がりが８回入力された後、上位ビット
のＱＤ倍信号ハイとなるので、これがトリガとなってフ
リップフロップ２４２はＣ８Ｏにハイ信号を出力する。

フリップフロップ２４１の出力が０になればＣ８Ｏはク
リアされる。このような動作により、Ｃ３Ｔが立ち下が
って、ＷＣＬＫの８パルス分に相当する所定な時間通過
したのちＣ８Ｏが出力されるというデイジー動作が行わ
れる。

第１４図はダミーノードのニューロンを形成するマック
スバリューノード回路１８７の具体的回路図である。同
図において抵抗２５０、ツェナーダイオード２５、２５
２、抵抗２５３、電圧フォロア２５４．２５５は一定電
圧を形成する回路である。抵抗２５０．２５３とツェナ
ーダイオード２５、２５２を介して＋１２ボルトから一
１２ボルトに電流が流れると電圧フォロア２５４．２５
５の入力には、それぞれ＋７ボルトと一７ボルトが形成
される。これらの電圧は電圧フォロア２５４．２５５の
出力抵抗２５６を介して出力される。この２つの一定電
圧を時分割で引き出すようにアナログスイッチ２５７〜
２６４を用いて制御する。Ｔモードの信号がＯの時、そ
の一定電圧はアナログスイッチ２５７を介して次の電圧
フォロア２６５に与えられる。Ｔモードが１すなわち、
テストモードの時にはアナログスイッチ２５８によって
その出力はアナロググランドに抑えられるため、０ボル
トが電圧フォロア２６５に入力される。テストモードで
は、バス上のオフセットがＭＰＵに通知されることにな
る。電圧フォロア２６５は、出力部のスイッチ制御によ
ってイネーブルされる。出力イネーブルが１のとき、ア
ナログスイッチ２６０がオンで電圧フォロアとして働き
、その出力が与えられるが、この時、ダミーノード出力
には出力されない。逆に出力イネーブルが０の時にダミ
ーノード出力に出力される。アナログスイッチ２６０と
その出力のスイッチ制御は出力イネーブル１または２に
よって制御され、０イネーブルである。すなわち出力イ
ネーブル１または２が０の時にダミーノード出力に一定
電圧が出力される。なお、ダミーノード出力は上側が入
力層のダミーノード用であり、２番目が中間層のダミー
ノード用の出力である。このダミーノードの出力電圧は
適当な値に固定されるため、スレッシュホールド電圧と
して使用可能となる。なお、ツェナーダイオード２５１
，２５２は逆バイアス状態で一定の電圧を出すものであ
り、固定電圧は、→−７ボルトから一７ボルトまでの範
囲で可変できるようにしている。出力イネーブル１，２
はアナログバスにつながっている他のＡＮＰからの出力
電圧とそのアナログバス上で衝突を避けるためにマスク
コントロールブロック１８１からのダミーノード制御信
号ＤＯ３でイネーブル状態が決められている。

第１５図は非線形関数発生回路であり、第１６図、第１
７図、第１８図はＡＮＰ内部のディジタルロジック側の
ハードウェアである。

第１５図はシグモイド関数を実現するトランジスタ回路
網である。ここでいうシグモイド関数とは連続で単調非
減少な関数を指し、かつ線形関数を特に除外するもので
はない。同図において３４３．３５６，３７８，３９０
，２９８．３１４のトランジスタとそれに対になったト
ランジスタで差動増幅器を形成し、コレクタ側に接続さ
れたトランジスタ群がそれぞれカレントミラー回路であ
る。差動ＡＮＰの左側のトランジスタのコレクタを流れ
るコレクタ電流が出力電流である。カレントミラーで電
流の方向を変えて出力している。電流は出力■０に接続
されている抵抗３３６にはいる。抵抗３３６によって電
圧が電流に変えられる。

ドライブ能力がないため、出力にはハイインピーダンス
のオペアンプバッファで受ける。トランジスタ３３７，
３３９より入力側の回路はバイアス回路である。シグモ
イド関数を実現するために区分線形法を使っている。シ
グモイド関数の各区分の傾きはエミッタに接続されたエ
ミッタ抵抗３４４と出力抵抗３３６の比によって決めら
れる。この時トランジスタ３４３等のエミッタ抵抗も含
まれる。各差動ＡＮＰのゲインは異なる。各区分線形の
移り変わりに対するブレイクポイントは飽和特性を利用
している。その飽和特性はすべて異なる。ＶＯの出力点
において、各オペアンプから出力される電流の総和の値
がシグモイド関数になるように各ＡＮＰの飽和特性を変
えている。トランジスタ３４５と抵抗Ｒ１は電流源であ
る。トランジスタ３４６と抵抗Ｒ２、トランジスタ３５
３と抵抗Ｒ３等はずべて同じ電流を供給する電流源であ
る。すなわち、電流値は同しになるように抵抗が決めら
れている。すべて同一電流源である。トランジスタ３４
５，３４６のコレクタは接続されているので、和の電流
が抵抗３４４．３４７の交点に流れる。トランジスタ３
４３，３４８のコレクタ電流は、バランスした時点では
同じになる。

トランジスタ３５１はカレントミラーの特性をよくする
ためのものである。トランジスタ３５０はダイオード接
続である。電流の向きを変えるということは出力に対し
て、電流を引っ張りこむ場合と電流を外に出す場合があ
る。同図に示すように、カレントミラーのトランジスタ
３５１のコレクタからは出力に向かって電流が流れる。

下側のトランジスタ配列は沢山あるが、エミッタとコレ
クタが同じ点に接続されているトランジスタは同じトラ
ンジスタである。例えばトランジスタ３５８と３６０は
同じトランジスタでこれはトランジスタ３４５と同じも
のである。また３５９と３６１も同じトランジスタでこ
れは３４６に対応する。３６８．３６９のトランジスタ
は同じであり、これは３５３に対応する。以下、同様で
ある。したがって、同じ電流で駆動される定電流電源を
有するオペアンプが出力電圧の正負に従って電流の向き
が異なるような動作を行うものが全部で６個ある回路で
ある。また、トランジスタ３３７．３３８はレベルシフ
トであり、３３０と３２７もレベルシフトである。レベ
ルシフト回路はシグモイド関数の正と負で動作範囲がほ
ぼ同じになるようにするためのものである。トランジス
タ３５２はトランジスタ３５１のコレクタ電流とトラン
ジスタ３５３のコレクタ電流が等しくなるための補正用
のものである。トランジスタ３６７．３８５　２８７．
３０７も同様である。

第１６図は、ニューロチップ内に供給するパルス信号の
形成するためのシーケンスジェネレータ２８（第２図）
の具体回路である。４０１と４０２及び４０４と４０５
はインバータで、各インバータはクロック用のインバー
タである。フリップフロップＦ、Ｆのランチ信号の立ち
上がり用と立ち下がり用とに分けてクロックを作ってい
る。同図のフリップフロップは立ち上がりクロックでラ
ッチするもので、インバータとＦ、Ｆで立ち上がリラソ
チのＦ、Ｆを形成する。例えばＤＣＬＫでは、インバー
タ４０１を１個通ったものが立ち下がりラッチ用のクロ
ック信号となる。そしてインバータ４０２を通ったもの
が立ち上がりラッチ用のクロックＤＣＬＫとなる。同様
にインバータ４０４の出力が立ち下がり用のＷＣＬＫで
インバータ４０５の出力が立ち上がり用クロックＷＣＬ
Ｋである。Ｆ、Ｆ４／Ｏにおいて、５ＹＮＣ信号をＤＣ
ＬＫの立ち下がりがラッチしている。Ｆ、　　Ｆ４／Ｏ
と４１５で５ＹＮＣ信号をＤＣＬＫの１ザイクル分遅ら
せ、５ＮＣ２信号を作って、５ＹＮＣとその１クロツク
遅れた信号とで１τのパルスを作っている。５ＹＮＣが
立ち上がった後の１τ（ＤＣＬＫの１周期）のパルスで
ＡＮＰ内の積分用コンデンサの放電を行う。すなわちＣ
Ｒ３Ｔという信号がそのコンデンサのリセット信号であ
る。

もう１つのＤＳＨ２は５ＹＮＣの立ち下がりからＤＣＬ
Ｋの１τ分の長さをとったパルスであって、これがＡＮ
Ｐ内のサンプル／ホールドのコンデンサに対するサンプ
ル／ホールド信号となる。４１１のＦ、Ｆではクロック
がＷＣＬＫで、データがＤＣＬＫであるから、ＷＣＬＫ
でＤＣＬＫ信号をラッチしている。その後ナントゲート
４１４で５ＹＮＣ信号がハイになっていて、かつＤＣＬ
Ｋがハイという状態で最初にきたＷＣＬＫをトリガして
Ｆ、Ｆ４４３のクロックにしている。ナントゲート４１
４とインバータ４４０でアンドとなる。

Ｆ、Ｆ４４３において、５ＹＮＣ信号がハイになってい
る状態で最初にきたＷＣＬＫという信号がディジタル重
みデータずなわちＷＤの符号ビットを取り込んでいる。

この信号はシリアルに入ってくる重みディジタルデータ
のＭＳＢ、すなわち符号ビットである。すなわちＦ、Ｆ
４１１とアンドゲート（４１４，４４０＞のタイミング
で符号ビットをＦ、Ｆ４４３がラッチする。４ビツトの
２進カウンタ４１６はＷＣＬＫのパルス数をかぞえる。

１６ビツトのディジタル重みデータが入ってくるので１
６回数える。数え終わったところで、出力がハイとなり
、インバータ４２３に入る。この信号は１６個カウント
し終わったことを指示する信号である。この信号はシリ
アルにＡＮＰに入ってきた重みデータをシフトレジスタ
２７　（第２図）に入れる制御等に使われる。またカウ
ンタ４１６の最下位ビットはインバータ４２２に入力さ
れる。このインバータ４２２の出力はＣ８Ｏ信号を生成
する。Ｃ３Ｏはデイジ−チェーンの制御信号であって、
アナログバスＢ１において、前段の２つのＡＮＰから出
される信号の競合を防ぐため、前の時刻のＣ８が落ちた
後、次のＣ８を出すようにデイジー動作を実行するため
のデイレイ回路を形成する必要がある。このデイレイの
遅延時間はＷＣＬＫをカウントし、そのカウンタ値で形
成している。カウンタ４１６のカウントが終わり、フリ
ップフロップ４３３にその終わったという指示の信号が
インバータ４２３を介してラッチされるが、これはＷＣ
ＬＫでたたいている。すなわち１７個目のＷＣＬＫでた
たいている。インバータ４３７と４３８を通して、ラッ
チされた信号がカウンタ４１６に戻り、カウンタ４１６
のインクリメント動作をこれ以上させないようにディス
イネーブルの制御を行っている。インバータ４３８の出
力がロウになると、カウンタ４１６はカウントが停止す
る。Ｆ、Ｆ４３３のＱの出力はフリップフロップ４４２
に入っている。これがシフトレジスタ４０８の出力のゲ
ート信号になる。すなわち、１６個のディジタル重みデ
ータが入ってくるのをシフトレジスタ４０８で順々にシ
フトし、符号ビットを除いた数値ビットの１５ビツトの
データをパラレルに並べたところでこれらを出力する。

シフトしている間は出力は出ないようにし、全部入った
ところで出力するためのゲート信号がＷＲである。シフ
トレジスタ４０８の内容はＡＮＰの掛算器に与えられる
。Ｆ、Ｆ４３３から出力される信号は、分岐されてシフ
トレジスタのイネーブル信号に使われる。Ｆ、Ｆ４４２
はＦ、Ｆ４３３の出力を立ち上がりでラッチするもので
ある。

ＷＣＬＫの１６個の立ち下がリラソチでシフトが完了し
、その後ゲートを開くのに立ち上がりラッチでもよいが
、立ち下がりで行っている。Ｆ、　Ｆ４１２はシグモイ
ド関数の選択用のパルス信号を作るものである。Ｆ、Ｆ
４１２を使ってリセット信号がはいった時点で、ＷＤ、
すなわち重みディジタル入力信号が０か１によってシグ
モイドを使うか使わないかを選択する。この方法は本シ
ステムで使用されない場合もある。実際はシグモイド選
択信号は、外部から直接形成する。下の回路はデイジ−
チェーン回路である。カウンタ４１６の出力をＦ、Ｆ４
３４でデイレイを作り、そのデイレイで最後のＦ、Ｆ４
４５をトリガを掛けている。

このことにより、ＤＣＬＫの１τ分ズラした上に、その
ままズラすのではなく、頭をおとすようにしている。す
なわちＣ３Ｉ信号それ自身はＤＣＬＫの１周期分はない
こともあり、そのｃｓＩをＣ３ＯにするためにはＣ３Ｉ
に対して、最初の、例えば、２マイクロ分を削って波形
の前を遅らせ、後ろはそのまま信号を作っている。ゲー
ト４２５と４２７はＣ３Ｉのパンファゲートである。正
のバッファとインバータバッファである。

第１７図はサンプル／ホールドＳ　／　Ｈ信号と、ＯＣ
信号を形成する位相制御回路２９（第５図）である。Ｓ
／Ｈ信号はインバータ５１５に入るものと、ゲート５２
４に入るものと別れている。ＯＣ信号も同様である。Ｓ
　／　Ｈ信号がゲート５２４とインバータ５１５に別れ
、インバータ５１５経出でゲート５２５に入るとその後
はインバータが８段ある。Ｓ／Ｈ信号に対してそのまま
の位相と逆位相の２通りの信号を作っている。これはイ
ンバータを数段骨カスケードに結合し、たすきがけする
ことにより２つの出力が同時に１になることを避けてい
る。すなわち、サンプル／ホールドＳ／Ｈ信号の２つ、
Ｓ／ＨＯとＳ／Ｈ１を形成し、それが両方とも１になら
ないようにするようにしている。すなわち、インバータ
チェーンはＳ／Ｈ信号の両方が同時オンを避けるための
デイレイ回路である。デイレイの遅延時間はインバータ
チェーンの長さによって決まり、片方がオンになってか
ら数段骨遅らせ、もう片方をオンにしている。

Ｓ／ＨＤＯとＳ／ＨＤＩに関しても同様である。

ＯＣ信号に関する回路も基本的には同じであるが、それ
はＣＲ３Ｔ信号がゲート５２８と５２９に入っているの
で、ＣＲ３Ｔが１の場合には強制的に両方出力を１にす
る。ＯＣＯとＯＣＩの両方共、同時に１になることを避
けているが、ＯＣの場合はＣＲ３Ｔが１の場合だけ同時
に１になるようにしている。このことにより、アナログ
スイッチの制御を介して積分器のコンデンサの電荷を放
電するというリセット機能を実現している。

第１８図は１５ビツトのシフトレジスタ２７（第２図）
である。ゲート６０２と６０３及び６０１４、そしてＦ
、Ｆ６２７で１ビツトに相当し、これを使って説明する
。ゲート６０３には、前の時刻の出力が入力されている
もので、これはＦ。

Ｆｅ１２の出力である。前のヒントからの入力というこ
とで、シフト用のデータ信号となる。ゲート６０３に入
っている他の信号は５ＨＦＴ、すなわちシフト信号のイ
ンバータである。これはシフト制御信号で、これが有効
のとき、シフトの指示を行うことになる。またゲート６
０２にはＦ、　　Ｆ６２７そのものの出力が入っている
。これは自分自身の出力をフィードバンクしていること
になる。

ゲート６０２の他の入力には５ＨＦＴ信号のインバート
が同じように入っているが、この位相はゲート６０３に
入っているものと異なる。これによりシフトが無効の時
に、今の出力をそのまま保持することになる。クロック
信号はシフトと無関係に常時入ってくるので、クロック
が入ってもシフトが有効でなければシフトは行わない。

シフト信号５ＨＦＴが有効の時だけ前のビットをシフト
し、ゲート６０３を通って入力することでシフト動作と
なる。ＷＲ倍信号ゲート６３２．６３３等のアンドに入
っている。これは各ビットの出力を出すか出さないかの
選択信号となり、乗算器の方にシフトレジスタに格納さ
れたデータをわたすかどうかの制御信号となる。また、
ファンアウトをとるために、例えばインバータ６２０に
よって１５個のうち５個のＦ、Ｆのリセット信号そして
、ゲート６２６で／Ｏ個のＦ、　Ｆのリセット信号を受
は持つようにしている。ファンアウトのシフトレジスタ
６０８はシフトイネーブル５ＨＦＴと出力のイネーブル
ＷＲの機能がついている。

次に、本発明に係るニューロコンピュータを帰還型ネッ
トワークで構成した場合について説明する。

第１９Ａ図は帰還型ネットワークの概念図である。

帰還型ネットワークの場合にも、基本的には入力が存在
するが、自分が出力した信号も帰ってくるという帰還路
をもった構造となる。この帰還方式は、階層型ニューラ
ルネットワークにおける１層を時分割多重使用するタイ
プとして利用される場合と、またいわゆるホップフィー
ルド型のニューラルネットワークとして利用される場合
がある。

前者の場合、ＡＮＰの入出力信号は、時分割であるので
、各ＡＮＰの出力点ではある一定のシーケンスサイクル
毎にその同じＡＮＰの出力データが逐次に出力されて、
１つシーケンスサイクルごとに階層型ニューラルネット
ワークの人力層、中間層、出力層として順次動作する。

後者の場合、ＡＮＰの出力が特定の値になるまで、つま
り安定するまで、出力電圧が帰還される。帰還している
結果を出した時に、その結果が前のデータ、つまり自分
が前に出したデータと一致するまで、状態が繰り返され
、安定解に達すれば収束となる。

本発明の実施例によれば、第１９Ｂ図に示されるように
、帰還路を共通アナログバスＣＢで実現することになり
コの字型の帰還部が存在する。そして１偏向分が計算し
て出したものが出力され帰還路を通じて各ＡＮＰからの
出力がフィードバックされることになる。この帰還動作
を繰り返していく。

第２０図は本発明のニューロコンピュータを階層型ネッ
トワークとして動作する帰還型ネットワークによって実
現した実施例である。アナログ入力ボート、２からの時
分割アナログ入力信号に対してＡＮＰＩ、２．３におい
て積和演算を行い、ＡＮＰＩ、２．３を中間層として動
作させＡＮＰｌ、２．３からアナログバスＢ２に時分割
出力し、この出力信号を帰還路であるアナログコモンバ
スＣＢを介してアナログバスＢ１に帰還し再びこの帰還
信号に対してＡＮＰＩ、２．３で積和演算を行うことに
より、ＡＮＰＩ、２．３を出力層として動作させること
により、−層のＡＮＰｌ、２゜３により階層型ネットワ
ークを実現したものである。マックスバリューノード回
路１８７はマスクコントロールブロックのＤＣ３出力を
受けてアナログバスＢ２にダミー信号を生ずる。そして
マスタコントロールブロックからＤＣＬＫ及びＷＣＬＫ
がそれぞれデイジー回路１７１に入力され、Ｃ３Ｉ信号
の立ち上がり及び立ち下がりのタイミングを規定する。

第２１Ａ図は第２０図に示した帰還型階層ネットワーク
のタイミングチャートである。

ＤＣＬＫが立ち上がっている間だけ、ＷＣＬＫは発生し
、ＤＣＬＫが立ち上がってからアナログ信号が定常化し
、かつ重みデータがシリアルに入ってきた後で、パラレ
ルに揃う前のタイミングでマスクコントロールブロック
１８１からのＣ３Ｏ１がデイジー回路１７１に入力され
■に示すように立ち上がる。この時アナログ入力ボート
１よりサンプル／ホールドＳ／Ｈに保持されているアナ
ログ信号はアナログスイッチ１７５を介してアナログバ
スＢ１に現れ、ＡＮＰＩ、２．３で積和演算が行われる
。次のＤＣＬＫの入力で、デイジー回路１７２へのＣ３
Ｉが■に示ずように立ち上がると、アナログ入力ポート
からの入力信号を保持しているサンプル／ホールド回路
Ｓ／Ｈの信号がアナログスイッチを介してアナログバス
Ｂ１上に現れ、ＡＮＰＩ、２．３で２回目の積和演算が
行われる。さらに次のタイミングでＤＣＬＫが入力した
後、■に示すようにマスクコントロールブロックよりダ
ミー信号ＤＣ３が発生し、ＡＮＰＩ。

２．３においては、固定電圧に対する３回目の和が実行
される。次の５ＹＮＣ信号が立ち上がっている間に、Ａ
ＮＰＩ、２．３の出力層の積和演算が行われる。重みメ
モリへのアドレス１の信号のアドレスカウント禁止信号
が立ち上がっている間だけ、アドレスカウンタをカウン
トするＷＣＬＫがイネーブルされ、それ以外の時には、
そのカウントは抑止される。次に、Ｃ３Ｏ２がマスクコ
ントロールブロックよりＡＮＰＩに与えられると、ＡＮ
ＰＩは、前回の積和の結果をアナログバスＢ２に出力し
、アナログ共通バスＣＢを通してアナログバスＢ１に帰
還し、■で示すように再びＡＮＰＩ、２．３において積
和演算を行う。Ｃ３Ｏ２がＡＮＰＩの内部のデイジ−チ
ェーン回路において、所定遅延を加えられた後、ＡＮＰ
２に■に示すように入力信号Ｃ３Ｉを加え、この時、Ａ
ＮＰの出力信号がアナログバスＢ２に共通バスＣＢ及び
アナログバスＡ１、Ｂ１を介して再びＡＮＰ　１に加え
られ、ここで積和演算が行われる。同様にＡＮＰ２から
のＣ８Ｏは所定時間遅らせた後、ＡＮＰ３のＣ３Ｉ信号
となり、このＣ３Ｉ信号が■に示すように立ち上がった
時にＡＮＰ３の出力信号がアナログバスＢ２．共通バス
ＣＢ、アナログバスＢ１を介して再びＡＮＰＩ、２．３
に帰還されてここで積和演算が行われる。同様に■に示
すようにダミーノードからの信号ＤＯ３の立ち上がりの
際に再び、固定電圧に対してＡＮＰＩ、２３により和の
演算が行われる。そして、次のＣ８０２の信号の立上り
でＡＮＰＩ、２からＳ／Ｈを介して出力が■、■に示す
ように生じる。なお、アナログ人力ボート２からは出力
されない。

ここで■、■、■はＡＮＰＩ、２．’　３が中間層とし
て動作し、■、■、■はＡＮＰＩ、２’、３が出力層と
して動作する。従ってこの実施例によれば、ＡＮＰＩ、
２．３の１層のみの構成で階層型ネットワークを構成で
きる。

第２２図は本発明にかかるアナログニューロコンピュー
タをホップフィールド型の帰還型ネットワークで構成し
た実施例であり、第３３図はそのタイミングチャートで
ある。マスクコントロールブロック１８１の、メモリ・
アドレス端子及びモード端子の出力が重みメモリブロッ
ク１８５に加えられ、この重みメモリブロック１８５の
データ出力であるＢＩＯはＡＮＰ　１、ＢｌｌはＡＮＰ
２、Ｂ１２はＡＮＰ３に接続される。マスクコントロー
ルブロック１８１のＣ３Ｏ１の端子からの出力信号は、
デイジー回路１７１、スイッチ１７５に加えられ、この
信号の立ち上がりで、アナログ入力ボート１からのサン
プル／ホールド回路１７３の出力をアナログバスＢ１に
乗せる。そしてデイジー回路１７１で所定時間遅延され
た後、Ｃ８゜の出力が生じ、これがデイジー回路１７２
にＣ８Ｉとして加えられてアナログ入力ボート２に接続
されたサンプル／ホールド回路１７４の信号をスイッチ
１７６を介してアナログバスＢ１に乗せる。

同様にデイジー回路１７２′の出力信号Ｃ８Ｏがアナロ
グ人力ボート３に接続れたサンプル／ホールド回路１７
４′の出力スイッチ１７６′を開いてその信号をアナロ
グバスＢ１に乗せる。ＡＮＰｌでは第２３図に示すよう
に、ＤＣＬＫ信号の１周期で１つの積和の演算を行い、
ＤＣＬＫ信号がハイの時に重みクロックを駆動し、その
重みクロックに同期して入るディジタル重みデータと、
アナログ入力信号との掛は算を行い、ＤＣＬＫの後半の
ロウ信号の時に、サンプル／ホールド信号ＳＨがハイと
なり、積分器のキャパシタにおいて、和の動作を行う。

すなわちＣ３Ｏ１すなわちデイジー回路１のＣ８Ｉがハ
イになっている期間■で、バスＢ１上のアナログ信号に
対してＡＮＰＩ、２゜３は積和演算を行う。また、マス
クコントロールブロック１８１からのＯＣ信号がノ＼イ
となると、ＡＮＰＩ、２．３はオフセットキャンセルを
行い、サンプル／ホールドして１つの積和演算周期を終
える。次に第２のデイジー回路１７２の入力信号Ｃ３Ｉ
がハイ■になるので、次のアナログ入カポ−トからの入
力信号に対しＡＮＰＩ、２．３は積和演算を行う。そし
て、その積和演算周期が終了した後に、デイジー回路１
７２′にＣ３Ｉ信号が入り、サンプル／ホールド回路１
７４′から出力信号が生して、■で示すように第３番目
の積和演算サイクルに入る。

次にマスクコントロールブロック１８１からＣ３Ｏ２信
号■が生じて、ＡＮＰ　１から前回の積和サイクルの時
に形成されていた信号がアナログバスＣＢを介して帰還
され、その帰還された信号に対して、ＡＮＰＩ、ＡＮＰ
２．ＡＮＰ３で積和演算を同時に行う。次に所定時間遅
延した後、ＡＮＰｌのＣ８Ｏ出力信号が■でＡＮＰ２に
加えられ、ここでデイジ−チェーン的に前回の積和サイ
クルの時に蓄えられた信号をＡＮＰ２が出力する。この
信号はアナログバスＣＢを介して帰還されてＡＮＰＩ、
ＡＮＰ２．ＡＰＮ３で積和演算を■で駆動する。そして
同様に所定時間遅延した後、ＡＮＰ２のＣ８Ｏが■でＡ
ＮＰ３に加わえられ、ここでＡＮＰ３からの出力をアナ
ログバスＣＢを介して帰還して、ＡＮＰＩ、ＡＮＰ２．
ＡＰＮ３において■で積和演算を行う。帰還型ネットワ
ークにおいては、第２３Ａ図及び第２３Ｂ図に示すよう
に、３つのＡＮＰにおいて、６つの積和演算サイクルを
経て出力が、それぞれサンプル／ホールド回路１７７．
１７８．１７８′を介してアナログ出力ボート０．、２
へと出力される。また、サンプル／ホールド回路１７７
．１７８．１７８′の出力信号がアナログマルチプレク
サ１７９で選択出力されたものをＡ／Ｄコンバータ１８
０を介してＭＰＵ１８２、メモリ１Ｂ２、通信インター
フェイス１８４を含むデジイタル制御回路に与えられる
。ＭＰＵ１８２で現時刻のニューロン出力状態と前時刻
のニューロン出力状態が同じになったかどうかをチエツ
クする。同じになれば収束したものと判定する。このよ
うに、１本の共通アナログバスＣＢを介して実行される
。帰還動作を繰り返していくことによって安定解に到達
すればこれを最終的な出力とする。

第２４図は、帰還型ネットワークと階層型ネットワーク
を組み合わせたものの最適実施例である。

入力層としてデイジー回路が設けられ、中間層にはＡＮ
ＰＩ、２．３が設けられる。出力層にはＡＮＰ４，５が
設けられる。そして中間層のＡＮＰｌ、２．３の出力は
アナログバスＢ２と共通アナログバスＣＤを介してアナ
ログバスＢ１に帰還される。また、アナログバスＢ１、
Ｂ２にはダミーノードとして働くマックスバリューノー
ド回路１８７が接続されている。そして、出力層を構成
するＡＮＰ４．５の出力はサンプル／ホールド回路１７
７．１７８をそれぞれ介してアナログ出力ボート０及び
ｌに出力される。Ｂ３は出力層アナログバスである。

第２５図を用いて第２４図に示したニューラルネットワ
ークの動作を説明する。

まず、ＤＣＬＫ及びＷＣＬＫがマスクコントロールブロ
ックからデイジー回路１７１及びＡＮＰｌ、２，３，４
．５にそれぞれ人力される。マスクコントロールブロッ
ク１８１から■に示すようにＣ３Ｏ１がＣ３Ｉとして第
１のデイジー回路１て帰還して、ＡＮＰＩ、ＡＮＰ２．
ＡＰＮ３において■で積和演算を行う。帰還型ネットワ
ークにおいては、第２３Ａ図及び第２３Ｂ図に示すよう
に、３つのＡＮＰにおいて、６つの積和演算サイクルを
経て出力が、それぞれサンプル／ホールド回路１７７．
１７８．１７８′を介してアナログ出力ボート０．１，
２へと出力される。また、サンプル／ホールド回路１７
７．１７８．１７８′の出力信号がアナログマルチプレ
クサ１７９で選択出力されたものをＡ／Ｄコンバータ１
８０を介してＭＰＵ１８２、メモリ１８２、通信インタ
ーフェイス１８４を含むデジイタル制御回路に与えられ
る。ＭＰＵ１８２で現時刻のニューロン出力状態と前時
刻のニューロン出力状態が同じになったかどうかをチエ
ツクする。同じになれば収束したものと判定する。この
ように、１本の共通アナログバスＣＢを介して実行され
る。帰還動作を繰り返していくことによって安定解に到
達すればこれを最終的な出力とする。

第２４図は、帰還型ネットワークと階層型ネットワーク
を組み合わせたものの最適実施例である。

入力層としてデイジー回路が設けられ、中間層にはＡＮ
Ｐｌ、２．３が設けられる。出力層にはＡＮＰ４．５が
設けられる。そして中間層のＡＮＰｌ、２．３の出力は
アナログバスＢ２と共通アナログバスＣＤを介してアナ
ログバスＢ１に帰還される。また、アナログバスＢ１、
Ｂ２にはダミーノードとして働くマックスバリューノー
ド回路１８７が接続されている。そして、出力層を構成
するＡＮＰ４．５の出力はサンプル／ホールド回路１７
７．１７８をそれぞれ介してアナログ出カポ−）０及び
１に出力される。Ｂ３は出力層アナログバスである。

第２５図を用いて第２４図に示したニューラルネットワ
ークの動作を説明する。

まず、ＤＣＬＫ及びＷＣＬＫがマスクコントロールブロ
ックからデイジー回路１７１及びＡＮＰｌ、２．３，４
．５にそれぞれ入力される。マスクコントロールブロッ
ク１８１から■に示すようにＣ３Ｏ１がＣ３Ｉとして第
１のデイジー回路１７１に入力されるとアナログ人力ボ
ートＯからの信号がサンプル／ホールド回路１７３及び
スイッチ１７５を介してアナログバスＢ１に生じ、ＡＮ
ＰＩ、２．３において積和演算がＳＨＩ及びＣ８１の制
御で行われる。

次に、Ｃ３Ｏ１が立下がった後、所定時間経過後に第２
のデイジー回路１７２に入力されるＣ８Ｉ信号が■に示
すように立ち上がると、アナログ入力ボート１からの信
号かサンプル／ホールド回路１７４及びスイッチ１７６
を介してアナログバスＢ２により中間層のＡＮＰＩ、２
．３において、ＳＨＩに示すように積和演算が行われる
。同様にＣ８Ｏが信号が立ち下がった後、所定時間経過
後に■に示すように第３のデイジー回路へのＣ３Ｉ信号
が立ち上がると、中間層ＡＮＰＩ、２．３で積和演算が
行われる。そして、中間層ＡＮＰＩ２．３の出力はＣ３
Ｏ２が■で示すように立ち上がってＡＮＰＩに加えられ
ると、アナログバスＢ２に出力されその出力は共通アナ
ログバスＣＢを介してアナログバスＢ１に帰還されるの
で、中間層のＡＮＰＩ、ＡＮＰ２．ＡＮＰ３においては
再び積和演算が行われＳＨＩとＯＣｌの制御で積和演算
が行われると共に、ＡＮＰＩの出力はアナログバスＢ２
上に生じているので、ＡＮＰ４．ＡＮＰ５においても、
ＳＨ２とＯＣ２の制御で積和演算が行われる。すなわち
、この実施例においては、中間層ＡＮＰＩ、ＡＮＰ２、
ＡＮＰ３と出力層ＡＮＰ４．ＡＮＰ５において同時に積
和演算が行われる。

次に、Ｃ３Ｏ２が立ち下がった後所定時間経過後に中間
層のＡＮＰ２に■に示すようにＣ３Ｉ信号を入力される
とＡＮＰ２の出力信号はＡＮＰ２、共通バスＣＢを介し
てアナログバスＢ１に帰還されるので、ＡＮＰＩ、２．
３においては再び積和演算が行われると共にＡＮＰ４．
．５においても同時タイミングで積和演算が行われる。

さらに、■で示すようにＣ３Ｉ信号がＡＮＰ３に入力さ
れるとＡＮＰ３は出力信号をアドレスバスＢ１に生じる
のでＡＮＰＩ、２．３及び出力層のＡＮＰ４．５で同時
に積和演算が実行される。

その次に、マックスバリューノード回路１８７ヘダミー
信号ＤＳＣＩが■で与えられると、アナログバスＢに■
に一定電圧が出力され、この電圧は共通バスＣＢ及びア
ナログバスＢ１を介して帰還され、これに対して、ＡＮ
Ｐｌ、２．３で積和演算が行われる。それと共に出力層
ＡＮＰ４　５でも積和演算が行われる。

５ＹＮＣＩは、中間層で積和演算される期間と中間層及
び出力層で積和演算される期間にわたってハイであり、
５ＹＮＣ２は中間層と出力層で積和演算がされる間がハ
イである。そして、ｃｓ０３が出力されるとＡＮＰ　４
は■のところで出力を生じ、そのＣ３Ｏ３信号が立ち下
がった後、所定時間後にＡＮＰ５もまた出力を■のとこ
ろで生ずる。

なお、アドレス１及びイネーブル信号がロウである間は
ＷＣＬＫが抑止される。

〔発明の効果〕

本発明によれば、ｎ個のニューロチップからなる前段層
とｍ個の複数のニューロチップからなる後段の層を考え
るとき、従来は配線数がｎｍ個になるのに、本発明の実
施例によれば、アナログバス１本にすることができるの
で配線数を大幅に減少させることができ、また、ｎ個の
ニューロチップからなる層に入力アナログ信号を入力す
る際に、放送方式と同様にアナログバスを介して同時に
入力できるので、１層内のｎ個のニューロチップが並列
演算ができる。さらに、各層についてもパイプライン処
理が行われるので、演算速度を高速にできる。

また、ニューロチップをアナログ回路で構成しているの
で、回路の規模が小さくてすみ、このため電力も小さく
てすむので、多数のニューロチップによりニューロコン
ピュータを構成するこができる。そして、ニューロチッ
プの数を増やすことはマスクコントロールブロック内の
制御パターンをかえることにより容易に行える。

【図面の簡単な説明】

１１Ａ図は、本発明のニューロコンピュータの原理ブロ
ック図、 第１Ｂ図は、本発明のアナログニューロプロセッサＡＮ
Ｐのチップから構成されたパッケージの概略図、 第１Ｃ図は、本発明のＡＮＰの内部構成図、第２図は、
本発明のアナログニューロプロセッサの原理構成図、 第３図は、本発明の基本ユニットの一実施例のブロック
図、 第４図は、本発明の基本ユニットの実施例の具体的回路
図、 第５図は、本発明の基本ユニットの他の実施例の具体的
回路図、 第６図は、本発明の基本ユニットに用いられる積分器の
動作タイミングを説明する図、第７Ａ図は、階層型ニュ
ーラルネットワークの概念図、 第７Ｂ図は、本発明による階層型ニューラルネットワー
クの概念図、 第８図は、本発明のニューロコンピュータを階層型ネ・
７トワークで実現した一実施例の具体的回路、 第９Ａ図、第９Ｂ図は、第８図に示した信号処理のタイ
ミング図、 第／Ｏ図は、ディジタル重みデータの読み込みタイミン
グを示す図、 １１１ＡＩｉＨＬマスタコントロールブロツクの具体的
回路図、 第１１Ｂ図は、制御パターンメモリ及びマイクロコード
メモリの構造を示す図、 第１２Ａ図は、重みデータメモリへのデータ完膚方法を
示す図、 第１２Ｂ図は、重みデータメモリの具体的構成図、 １１２ｃ図及び第１２Ｄ図は学習アルゴリズムの　フロ
ーチャート、 第１３図は、デイジー回路の具体的回路図、第１４図は
、マックスバリューノード回路の具体的回路図、 第１５図は、シグモイド関数発生回路図、第１６図は、
シーケンスジェネレータの具体的回路図、 第１７図は、位相制御回路の具体的回路図、第１８図は
、シフトレジスタの具体的回路図、第１９Ａ図は、帰還
型ネットワークを説明する概念図、 第１９Ｂ図は、本発明のニューロコンピュータにより帰
還型ネントヮークを構成した場合の説明図、 第２０図は、本発明によるニューロコンピュータにより
、第１の帰還型ネットワークを構成した実施例の具体的
回路図、 第２１Ａ及び第２１Ｂ図は、第２０図に示した実施例の
信号処理を示すタイミング図、第２２図は、本発明のニ
ューロコンピュータにより、第２の帰還型ネットワーク
を構成した実施例の具体的ブロック図、 第２３Ａ図及び第２３Ｂ図は、第２２図に示した実施例
の信号処理を示すタイミング図、第２４図は、本発明の
ニューロコンピュータにより階層型と帰還型とを組み合
わせた他の実施例のブロック図、 第２５Ａ図、及び第２５Ｂ図は、第２４図に示した実施
例の信号処理を示すタイミング図、第２６図は、ニュー
ロンモデルの基本ユニットの原理構成図、 第２７図は、階層型ニューラルネットワークの構成概念
図である。 １２・・・制御パターンメモリ、 １３・・・シーケンサ、 １４・・・重みメモリ、 １５・・・ディジタル制御手段、 １６・・・Ｄ／Ａコンバータ、 １７・・・Ａ／Ｄコンバータ、 ・ＡＮＰで構成したニューラルネッ ト ワーク。

Claims (1)

1. 【特許請求の範囲】 １）アナログ信号を第１のアナログバスより時分割的に
   入力し、積和演算を行ってアナログ信号を第２のアナロ
   グバスに出力するアナログニューロンプロセッサの集合
   からなるニューラルネットワーク（１８）と、 該ニューラルネットワーク（１８）の制御情報を格納す
   る制御パターンメモリ（１２）と、該制御パターンメモ
   リ（１２）と重みメモリのアドレスをアクセスするため
   の信号を発生するシーケンサ（１３）と、 該シーケンサ（１３）の制御によって制御され、前記ア
   ナログニューロンプロセッサに対する重みデータを格納
   する重みメモリ（１４）と、重みメモリへアドレス信号
   を送信するアドレス信号送信手段（１９）とよりなるこ
   とを特徴とするニューロコンピュータの集中制御方式。 ２）前記制御パターンメモリは前記ニューラルネットワ
   ークの制御情報を格納する第１のＩ／Ｏメモリと、 該第１のＩ／Ｏメモリのジャンプ信号、リピート信号を
   格納する第２のＩ／Ｏメモリからなることを特徴とする
   請求項１記載のニューロコンピュータの集中制御方式。 ３）前記アドレス信号送信手段は前記制御パターンメモ
   リからの出力される重みメモリクロック信号をイネーブ
   ルする手段を有し、前記重みメモリには所定タイミング
   では重みデータが読み書きできるようにすることを特徴
   とする請求項１記載のニューロコンピュータの集中制御
   方式。 ４）前記シーケンサは外部のディジタル制御手段より転
   送されてきた命令を格納し、この命令によって制御パタ
   ーンメモリを制御することを特徴とする請求項１記載の
   ニューロコンピュータの集中制御方式。 中制御方式。