JPH02236658A - 情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【産業上の利用分野１ 本発明はニューラルネットワーク等の電子式情報処理装
置に係り，特にそのハードウエア量を大幅に削減した情
報処理装置に関する． 【従来の技術１ ニューラルネットワークは，ニューロンと呼ばれる情報
処理単位を複数個持ち，各ニューロンは他の幾つかのニ
ューロンから出力される信号を相互に受ける．各ニュー
ロンには複数個のシナプスと呼ばれーる回路が備えられ
，この回路で他のニューロンから受けた信号と相手毎に
定められた係数（以下，重み値と呼ぶ）を掛け算する。 そして，その積の総和に応じて各ニューロンの出力が決
まるようになっている．このようなニューラルネットワ
ークの例が，日経エレクトロニクス誌の１９８７年８月
１０日号（Ｎｏ．４　２　７）の１１５頁からの記事に
紹介されている．また，日経マイクロデバイス誌の１９
８８年７月号の７２頁からの記事には，ディジタル回路
のみによって構成されたニューラルネットワークの例も
紹介されている．ディジタル回路は，アナログ回路に比
べてハードウエアの量は多くなるが，素子のバラッキや
ノイズ等に対して強く精度を上げることが容易であり，
高集積化に適している。 【発明が解決しようとする課題１ ところで，ニューラルネットワークによってより複雑な
情報処理をさせようとすると，ニューロンの個数を増や
すことが必要になる．ところが，従来の構造のニューラ
ルネットワークでは，各二二一ロンを相互に接続する配
線の量やシナブスの個数がニューロンの個数の２乗に比
例して増えるため，規模の拡張が困難であり，更にニュ
ーロンの個数をある程度以上多くするとその実現が飛躍
的に困難になる。特に，演算精度や耐ノイズ性の面で集
積化に適したディジタル回路の場合，シナプスを構成す
る乗算器には多数の素子が必要であり，この問題は一層
深刻である。 本発明の第１の目的は，ニューラルネットワーク等の情
報処理装置において，情報処理単位であるニューロンの
個数を増やしてもハードウエアの量が飛躍的には増加し
ない情報処理装置を提供することにある。 本発明の第２の目的は，デイジタル回路によって構成し
た大規模なニューラルネットワークを実現することにあ
る。 本発明の第３の目的は，ニューロンの個数を増やしても
歩留まりを下げることなく大規模なニューラルネットワ
ークを構成できる情報処理装置を提供することにある。 本発明の第４の目的は，ニューロンの個数の増加による
動作速度の低下を抑え，高速で大規模なニューラルネッ
トワークを構成できる情報処理装置を提供することにあ
る． 本発明の第５の目的は，より少ない種類のフォトマスク
を用いて大規模なニューラルネットワークを実現できる
情報処理貰置を提供することにある． 【課題を解決するための手段】 本発明の第１もしくは第２の目的は，ニューロン間相互
の信号の伝達を，共通のハードウエアを使って時分割で
行うことにより実現できる。 また，本発明の第１もしくは第２の目的は，重み値を半
導体記憶装置に記憶させ，重み値の絶対値の大きいもの
から所定の個数のみを記憶させることによっても実現で
きる。 本発明の第２の目的は，ニューロン間相互を接続するバ
スを階層化することにより実現できる。 本発明の第３の目的は，上位の階層のバスを構成する配
線の幅や間隔を広くすることにより実現できる． 本発明の第４の目的は，バス上の信号伝達をパイプライ
ン化することにより実現できる。 また，本発明の第４の目的は，重み値をアクセスされる
順に記憶させることによっても実現できる． 本発明の第５の目的は，バスのうちの一部に，位置をシ
フトさせながら隣と接続するものを設けることにより実
現できる。

【作用】

ニューロン間相互の信号の伝達を，共通のハードウエア
を使って時分割で行うことにより，１ニューロン当たり
に必要なシナブスの数が１個で済み，よってニューロン
の個数を増やしても飛躍的にはハードウエアの量が増加
しなくなる。従って，大規模なニューラルネットワーク
を実現することも可能になる。 重み値を半導体記憶装置に記憶させることにより，重み
値の入れ替えが容易になる。そして，絶対値の大きいも
のから所定の個数のみを記憶させることによって，ハー
ドウエアの量を節約することができる。 また，バスをＷＩ層化することにより，ニューロンの数
を増やしても１本のバスに付く負荷が重くならないよう
にすることが可能となり，よって大規模なニューラルネ
ットワークを実現することができる． ＷＳＩ（ウエハスケール集積回路）上にニューラルネッ
トワークを構成した場合，バスを階層化すると，上位の
階層のバスに断線やショート等の故障が発生した時には
大きな範囲にその影響が及び歩留まりが下がるが，上位
の階層のバスのみ配線の幅や間隔を広くすることにより
，その部分の故障発生率を下げることができる． バス上の信号伝達をパイプライン化することにより，１
個のニューロンから他のニューロンに信号が送られる時
間内に数個のニューロンから他のニューロンに信号を送
ることが可能となり，よって動作速度を上げることがで
きる。 重み値をアクセスされる順に記憶させることにより，次
にアクセスされる重み値を予め読み出しておくことが可
能となり，よって動作速度を上げることができる。 位置をシフトさせながら隣と接続するバスを設けること
により，全く同一の形状の集積回路を並べてもそれぞれ
異なる信号を与えることが可能となる．従って，同じマ
スクを使って作成したニューロン回路を並べてＷＳＩ（
ウエハスケール集積回路）を構成することが可能となる
。

【実施例】

以下，第１図を用いて本発明の一実施例を説明する．第
１図において，１００がニューロンであり，この図では
，説明を簡単にするため，４個のニューロンを接続した
場合を示す。各ニューロンの中には，重み値を記憶する
ためのメモリ１０１，入力信号と重み値を掛け算するた
めの乗算器１０２，その積の総和を計算するための加算
器１０３およびラッチ回路１０４，その総和を記憶する
ためのラッチ回路１０５，ラッチ回路１０５の内容を出
力するためのトライステート出力のバッファ回路１０６
，そのニューロンが選択されたか否かを判断するための
デコーダ１０７が備えられている．各ニューロン１００
は，バスを介して制御装置２００と接続される．３０１
，３０２，３０３，３０４は，それぞれ入力信号，アド
レス信号，クロック信号，サイクル信号を，制御装置２
００から各ニューロン１００へ送るためのバスである．
３０５は出力信号を各ニューロン１００から制御装置２
００へ送るためのバスである。この実施例では，ラッチ
回路１０４にはバス３０３からのクロック信号のエッジ
によってデータが取り込まれるものを使用する。また，
各ニューロン１００にはそれぞれ固有のアドレスが割り
当てられており，そのアドレスと制御装置２００からの
アドレス信号が一致した時にデコーダ１０７が信号を出
すように設定する。 次に，この装置の動作を説明する。制御装置２００は，
第２図に示すように，アドレス信号として各ニューロン
のアドレスを順次繰り返すような信号を，クロック信号
として各アドレスが指定される毎にラッチ回路１０４に
データを取り込ませる信号を，サイクル信号としてアド
レスが一巡する毎にラッチ回路１０５にデータを取り込
ませる信号をそれぞれ送出する．制御装置２００からバ
ス３０２により各ニューロン１００に一斉に送られたア
ドレス信号は，デコーダ回路１０７に加えられ，そのア
ドレス信号によって指定されたニューロン内のバッファ
回路１０６のみが出力バス３０５に信号を出力する．そ
の他のニューロン内のバッファ回路１０６は，高抵抗状
態になる．従って，アドレス信号によって指定されたニ
ューロン１００内のラッチ回路１０５の内容が制御装置
２００に送られる．制御装置２００内では，その信号を
そのまま若しくはシグモイド関数等によって関数変換し
，入力バス３０１を介して各ニューロン１００に送出す
る。各ニューロン１００内では，その時にアドレス信号
が指定する相手との間の重み値をメモリ１０１から読み
出し，その重み値と制御回路２００からバス３０１を介
して送られた入力信号の積を乗算器１０２によって求め
，その積とそれまでにラッチ回路１０４に累積された数
値の和を加算器１０３によって求め，その和がラッチ回
路１０４に加えられる。ここでバス３０３からクロック
信号が加えられると，その和がラッチ回路１０４に取り
込まれる．従って，アドレスが一巡する間に，全てのニ
ューロンからの信号と重み値の積の総和がラッチ回Ｉｌ
ｔ１０４内に求まる．そして，バス３０４からサイクル
信号が加えられると，その総和がラッチ回路１０５に取
り込まれ，各ニューロン１００の新たな出力値となる．
このようにして，第１図の回路はニューラルネットワー
クとして動作する． ところで，第１図のような構成のままニューロン１００
の数を増やして大規模なニューラルネットワークを構成
しようとすると，ニューロン数がある程度以上多くなる
とバスに付加される容量が大きくなって動作速度が遅く
なる．第３図は，これを避けるためにバスを階層構造に
した本発明の一実施例の一部分を示したものであり，１
個のニューロン群１５０を示す。これを後に述べる（第
４図）ように多数接続すれば，大規模なニューラルネッ
トワークを実現することができる。第３図において，１
０ｏはニューロン，３０１〜３０５は第１階ｍ＜最下層
）のバスであり，この部分は第１図のニューロン１００
およびバス３０１〜３０５と同じように構成する。ただ
し，大規模なニューラルネットワークを構成できるよう
にするため，アドレスバス３０２のビット数と重み値を
記憶するメモリ１０１の容量とは第１図の場合より大き
くする必要がある。３１１，３１２，３１３，３１４，
３１５は，それぞれ入力信号，アドレス信号，クロック
信号，サイクル信号，出力信号を伝送するための第２階
層のバスである．第２階層のバスのうち３１１〜３１４
はバツファ回路１５８を介して第１階層のバス３０１〜
３０４へ信号を送り出し，第２階層の出力八ス３１５は
トライステートバツファ１５６を介して第１階層の出力
バス３０５からの信号を受ける．１５７は，このニュー
ロン群１５０の中にアドレス信号が指定するニューロン
１００が有るか否かを判定するためのものであり，有る
と判定したときには第１階暦の出力バス３０５上のデー
タが第２階層の出力バス３１５に送り出されるようにし
，無いと判定した時にはトライステートバソファ１５６
の出力を高抵抗状態にする．このニューロン群１５０を
多数用意して第２階層のバス３１１〜３１５同士を接続
すると，１つ１つのバスに付加される容量をあまり増や
さずに多数のニューロン１００を接続することができる
。 第４図は，その接続方法の一実施例を示したものである
．第４図は，１枚の半導体基板５００の上にＷＳＩ（ウ
エハスケール集積回路）として構成した実施例である。 １５０は１個々々が第３図に示したニューロン群であり
，この図には６０個のニューロン群を描いてある。３１
１〜３１５は横方向に設けた第２階層のバスであり，基
板全面に渡って複数組設けてある。３２１〜３２５は縦
方向に設けた第３階暦のバスであり，基板中央に１組だ
け設けてある．この実施例では，２〜４個ずつのニュー
ロン群１５０を第２階暦のバス３１１〜３１５によって
接続し，第２階層のバス３１１〜３１５はバッファ部３
５０を介して第３階層のバス３２１〜３２５に接続する
．バッファ部３５０の構造は，第３図における第１階層
のバス３０１〜３０５と第２階層のバス３１１〜３１５
の接続部の構造と同様であり，入カバッファ，デコーダ
，出力バソファからなる．そして，第３階層のバス３２
１〜３２５の一端に，制御装ｉ１２００を設ける．この
ようにすれば，バスの最大長をせいぜい基板の直径程度
に抑えながら，基板全面に設けたニューロンを全て接続
したニューラルネットワークを実現することができる．
なお，電源については，第２階層のバス３１１〜３１５
と平行に電源供給用のバスを走らせ，両端に設けた電源
パッド部４５０から供給することにより，多数の給電点
を確保することができる．また，電源供給用のバスや第
２階層のバス３１１〜３１５および第３階層のバス３２
１〜３２５等に使う配線ついては，ニューロン群１５０
やバッファ部３５０の内部の配線より線幅が太く間隔の
広いものを使うのが望ましい。これは，線長の長いこれ
らのバスは配線抵抗が大きくならないように特に注意す
る必要があるためと，階層の上の方のバスに断線やショ
ート等の故障があった場合にはこれにつながる多数のニ
ューロンが使えなくなるため，これらのバスは特に故障
率を下げる必要があるからである．少数のニューロンし
か影響を受けないような故障については，正常なニュー
ロンの側において故障したニューロンに対する重み値を
Ｏとすることにより，故障した部分を使わないようにす
ることができる．また，制御装置２００をこのウエハ５
００の上には設けず，この位置にバッファ回路を設けて
外部に設けた制御装置と接続することも可能である。 制御装置２００が故障すると全体が使えなくなるが，こ
の部分だけを外部に設けておけば，故障時には取り替え
ることが可能である。また，制御装置２００若しくは外
部との接続用のバップア回路を，多重化することによっ
て故障率を下げたり，歩留まりの高いウエハの中心部分
に設けることも考えられる．さらに，複数の基板５００
を用意して，このバッファ回路を介して第４階層のバス
に接続し，更に大規模なニューラルネットワークを構成
することも可能である。 ところで，バスの階層を増やすと，末端のニューロン１
００から出た信号が制御装置２００を介して再び末端の
ニューロンｌＯＯに到達するまでの遅延時間が増大する
。しかし，上層のバスと下層のバスを接続するバッファ
の部分にラッチ回路を挿入して信号の伝達を同期化する
ことにより，パイプライン処理を可能にして実質的な処
理時間を増大させずに済む．そのタイミングの一例を，
第５図を用いて詳しく説明する．この図には，ニューロ
ンの個数が１００個の場合を示す．クロック信号につい
ては，なるべく高速の回路を用いて，第３階層のバス３
２３から第２階層のバス３１３，更に第１階層のバス３
０３への伝播時間が小さくなるように供給する．その他
の信号は，全て各階層のクロック信号に同期して伝達さ
せる．アドレス信号は，各ニューロンのアドレス１〜１
００と時分割の制御に必要なアドレス１０１〜１０５を
繰り返すように供給し，最大値１０５から最小値１に戻
る間には１クロック分のインタバルを置く。 これをクロック信号に同期して伝達させるため，第２階
層，第１階層へと伝播していく時に１クロック分ずつシ
フトする．そして，各ニューロンには第１階層のアドレ
スバス３０２が接続さ九でいるため，このバス上のアド
レス信号が指定するニューロンの出力値が第１階Ｍの出
力バス３０５に出力される。そして，今度はこの出力信
号がクロック信号に同期して１クロック分ずつシフトし
ながら第２階層の出力バス３１５，第３階層の出力バス
３２５へと送られる。これが制御回路２００を経由して
第３ｌｌＩＪ層の入力バス３２１へ加えらＪ５るが，制
御回路２００の中でもクロック信号に同期させるようす
れば，図に示すように１クロック分シフトする．そして
これが再び１クロック分ずつシフトしながら第２階層の
入力バス３１１，第１階層の入力バス３０１へと送られ
る。従って，第１階層のアドレスバス３０２上にアドレ
ス信号が到達してから５クロック分後に，そのアドレス
が指定するニューロンからの信号が各ニューロンに到達
する。従って各ニューロンでは，その時のアドレス信号
が示す数値より５だけ小さい数値のアドレスのニューロ
ンからの信号とみなして累積加算の計算を行う．このよ
うにすれば，バス間の信号伝達を同期化しない場合に比
べてクロック信号の周期を短くできる． また，第４図のように直径が数インチに及ぶ半導体基板
全面にわたって集禮回路を形成しようとした場合，基板
に塗布したフォトレジストを露光してパターンを形成す
る工程において１度に全面を露光しようとすると解像度
が悪くなるため，例えばニューロン群１５０を１回の露
光単位として何回かに分けて露光することになる．その
場合，各ニューロン群１５０のパターンが少しずつでも
異なると全てのパターンに対してそれぞれマスクを用意
することが必要となり，マスクの種類が膨大になって不
経済である．一方，各ニューロンにはそれぞれに個別に
定められたアドレスがあり，これを識別する機能が必要
である．すなわち，各ニューロン群１５０の中身を全く
変えずに個別のアドレスを識別できるようにする必要が
ある．これを実現する一実施例を第６図に示す．第６図
は，第４図の中のニューロン群１行分の内の更に右半分
について示したものである．第６図において，１５０は
ニューロン群である．この中で１００はニューロン，３
１１〜３１５は第２階層のバス，１５６はトライステー
トバッファ，１５８はバッファであり，これらの接続関
係は第３図の時と同様である．３５０は第３階層のバス
３２１〜３２５と第２階層のバス３１１〜３１５を接続
する部分であり，１６６はトライステートバッファ，１
６８はバッファである。そして，第３図では各ニューロ
ン群１５０の中に搭載したデコーダ１５７は，第６図で
は第３階層と第２階層のバスの接続部３５０の中に搭載
する。このデコーダ１５７の出力は４ビットのバス３１
Ｇを介して各ニューロン群１５０に送られるが，このバ
スは図に示すようにニューロン群１５０を１個通る毎に
１ビットずつシフトするように形成する。そしてこのデ
コーダ１５７は，アドレス信号が指すニューロン１００
を含むニューロン群１５０に対応する出力のみをハイレ
ベルにする。すると，各ニューロン群１５０は全く同一
形状であるにもかかわらず，目的とするニューロン群１
個だけを選択することができる。また，各ニューロン１
００は，アドレス信号の下２ビットとデコーダ１５７か
ら送られてきた信号によって，自分が選択されたか否か
を判断することができる。更に，接続部３５０について
も，同様の手法を用いて目的とする１行だけを選択する
ことができる。この場合，アドレス信号の上位のビッ１
−をデコードした結果を制御装置２００から９ビットの
バス３２６を介して各接続部３５０に送る。９ビットの
バス３２６は１行毎に１ビットずつシフトするように形
成してあるため，各接続部３５０は全く同一の形状であ
るにもかかわらず，目的とする１行だけを選択すること
ができる。以上により，第４図に示したニューラルネッ
トワークを作成するのに必要なフォトマスクの種類は，
右側のニューロン群１５０用，左側のニューロン群１５
０用，接続部３５０用，制御装置２００または外部との
接続回路用，電源パッド４５０用の５セットに抑えるこ
とができる．なお，略円形の半導体基板を使ってこの手
法を用いるとアドレスに空き番号が生じるが，制御装置
２００からアドレス信号を送るときに空き番号を飛ばす
ようにすれば，処理時間を増大させずに済むことは言う
までもない６また，各ニューロン１００内のデコーダ１
０７についても，各ニューロン１００内に設けずにニュ
ーロン群１５０毎にまとめて設ければ，各ニューロン１
００を全て同一の回路にできるため設計が容易になる。 ところで，接続するニューロンの数が多くなると，第１
図に示した各ニューロン１００内のメモリ１０１に記憶
すべき重み値の個数も増大し，容量の大きなメモリが必
要になる．第７図は，このメモリ１０１の容量を節滅す
る一実施例を示したものである．この回路は，重み値の
中で絶対値の大きなものから順に所定の数だけを相手の
アドレスと対にして記憶し，その他の重み値は０とみな
すことによって記憶容量を節減しようとするものである
．第７図において，１１１，１１２はメモリセルアレイ
，１１３はポインタ，１１４は比較器，１１５はセレク
タである．メモリセルアレイのうち，１１１は相手のア
ドレスを記憶する部分，１１２は重み値を記憶する部分
であり，相手のアドレスと重み値を対にしてメモリセル
アレイの各行に記憶させておく．このとき，各行に記憶
させる順序は，アドレスが昇順に並ぶようにする．また
，前述のように，制御装置２００からバス３０２を介し
て各ニューロンに送出するアドレス信号についても昇順
に送るようにする．そして，ポインタ１１３は，最初は
メモリセルアレイ１１１，１１２の第１行を指すように
セットする。 すると，第１行に記憶されている内容が読み出され，そ
のアドレス情報が比較器１１４の一端１２２に，重み値
情報がセレクタ１１５の一端１２４にそれぞれ加えられ
る。この時に比較器１１４に加えられているアドレス情
報は，メモリセルアレイ１１１の中に記憶されているア
ドレス情報のうち最も小さい数である。一方，制御装置
２００からアドレスバス３０２を介して送られてきたア
ドレス信号は，比較器１１４の他端に加えられる。そし
て，アドレス信号は昇順に送られてくるため，比較器１
１４に加えられる信号１２２が最初に一致するまでの間
はアドレス信号の方が小さい数であり，従ってメモリセ
ルアレイ１１１の中に存在しない数である．この時には
比較器１１４の出力１２３は口・一レベルとなって，セ
レクタ１１５の出力端子１２６には他端１２５に加えら
れた数値Ｉｔ　Ｏ　＃＃が出力される。そして，このセ
レクタ１１５の出力がその時にアドレス信号３０２が指
す相手に対する重み値である。この場合は，メモリセル
アレイ１１１の中に記憶されていない相手，すなわち重
み値の絶対値が小さい場合であり，その重み値は０とみ
なされる。また，比較器１１４の出力１２３がローレベ
ルの間はＡＮＤ回路１１６の出力１２７も常にローレベ
ルであり，ポインタ１１３は同じ行を指したままである
．ところが，１２２の端子に加えられたアドレス情報と
アドレスバス３０２を介して送られてきたアドレス信号
が一致すると，比較器１１４の出力１２３がハイレベル
となって１２４の端子に加えられた重み値情報がセレク
タ１１５の出力端子１２６に現われる。これは，その時
のアドレス信号が指す相手に対する重み値である．そし
て，バス３０３を介して送られてくるクロック信号に同
期してポインタ１１３は次の行を指す。すると，今度は
，その行に記憶されたアドレス情報と，アドレスバス３
０２を斤して送られるアドレス信号とが一致するまで，
セレクタ１１５はＩｔ　Ｏ　Ｉ＋を出力し続け，以下同
様の動作を繰り返す。そして，バス３０４を介してサイ
クル信号が送られてくると，ポインタ１１３は再び第１
行に戻る。以上述べたように，第７図の回路は，メモリ
セルアレイ１１２に記憶された絶対値の大きな重み値は
正確に読み出し，その他の重み値はＯとみなすように動
作する。また，以上述べたようにこのメモリは必ず昇順
に読み出されるため，アドレス信号が送られてくると当
該情報が有るか否かを瞬時に判断することができ，よっ
てアクセス時間を増大させること無く読み出すことがで
きる． 第８図は，第１図中に示したニューロン１００の構成に
ついて，その一実施例を更に詳しく示したものである。 第８図において，重み値を記憶するメモリ１０１，乗算
器１０２，加算器１０３，ラッチ回路１０４，ラッチ回
路１ｏ５，トライステートバソファ１０６，デコーダ１
０７および第１階暦のバス３０１〜３０５の動作は第１
図で説明した通りである。シフタ８０７およびセレクタ
８０３は，動作を安定化させるための回路である。 また，デコーダ８ｏ１，セレクタ８０２，トライステー
トバソファ８０４，ラッチ回路８０５，セレクタ８０６
，８０８，バス８３１〜８３８は，本発明のニューラル
ネットワークに自己学習させるためのものである。 シフタ回路８０７は，ラッチ回路１０４の出力値を１７
２倍，または１／４倍，または１７８倍，・・・とシフ
トさせるように構成する。セレクタ８０３は通常は乗算
器１０２の出力を加算器１０３に伝えるが，サイクル信
号（バス３０４）が入った時にはシフタ回路８０７の出
力を伝えるようにしておく。また，セレクタ８０３がシ
フタ回路８０７の出力を伝える時には，加算器１０３が
減算の動作をするように構成する．セレクタ８０８は，
自己学習時以外はラッチ回路１０４の出力を加算器１０
３に加える。すると，通常は加算ｒＩ１　０　３とラッ
チ回路１０４は前述の累積加算の動作を行゛なうが，サ
イクル信号が入ると，ラッチ回路１０４の出力がラッチ
回路１０５に取り込まれると共に１／２倍，または３／
４倍，または７７８倍，・・・されてラッチ回路１０４
の入力側に加えられる．これがクロック信号（バス３０
３）に同期してラッチ回路１０４に取り込まれ，新たな
累積加算が始まる。この場合には前のサイクルで計算さ
れた値と現サイクルで計算されるべき値の加重平均を計
算することになり，計算結果が収束する迄に時間がかか
るが振動はしにくくなる。 自己学習の動作は以下のようにして行なう。なお，自己
学習のアノレゴリズムには，パックブロパゲーション（
この方式の数学的な根拠は，例えば口経エレクトロニク
ス誌１９８７年８月１０日号１１５頁〜の記事に詳述さ
れている）を使うものとする．先ず最初は，累積加算の
動作を繰り返して各ニューロンの出力値を求め，ラッチ
回路１０５に記憶する．次に，出力層に属するニューロ
ンのアドレスをアドレスバス３０２を介して制御装置２
００から順次送り出し，ラッチ回路１０５の内容を制御
装１２２００側に読み込んで期待される出力値との差（
以下，この値をδ値と称する）を求め，バス８３３を介
してそのニューロンのラッチ回路８０５に書き込む。出
力層に属さないニューロンについては，アドレスバス３
０２上の信号をδ値を求めたいニューロンのアドレスに
固定し，そのニューロンに対する各ニューロンの重み値
と各ニューロンのδ値の積の累積加算によって求める。 その重み値は各ニューロン内のメモリ１０１から，δ値
は各ニューロン内のラッチ回路８０５から，それぞれセ
レクタ８０２，８０６を介して各ニューロン内の乗算器
１０２に加える．これによって先ず積が求まる。次に，
バス８３１を介して制御装１ｉ２００から各ニューロン
のアドレスを順次送出し，今の積をバス８３２を介して
制御装百２００に読み込む。これを制御装置２００内で
累積加算してδ値を求め，目的とするニューロンのラッ
チ回路８０５に書き込む。 そして全てのニューロンのδ値が求まったら，８３７の
バスを介して送られた適当な係数とラッチ回路８０５に
記憶されたδ値の積を乗算器１０２によって求め，加算
器１０３の一端に加える。そして，アドレスバス３０２
を介して加えるアドレス信号を一巡させながら，メモリ
１０１に記憶された重み値と加算器１０３の一端に加え
られている値とを加算した結果を新たな重み値として更
新する。これを繰り返すことにより，自己学習が行なわ
れる。 なお，学習については別の計算機上で行なって，その結
果得られた重み値を直接メモリ１０１に書き込み，通常
の動作のみを本発明のニューラルネットワーク上で行な
うような使い方も可能であるのは言うまでもない。

【発明の効果】

以上述べたように，本発明によればニューロンの個数を
増やしてもハードウエアの量が飛躍的には増大しないニ
ューラルネットワークを実現することができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す構成図，第２図はその
動作を説明するためのタイミング図，第３図は本発明の
他の実施例の１部分を示す構成図，第４図はその全体を
示す構成図，第５図はその動作を説明するためのタイミ
ング図，第６図〜第８図はそれぞれ本発明の更に他の実
施例の１部分を示す構成図である。 符号の説明 １００・・・ニューロン，１０１・・・重み値を記憶す
るためのメモリ，１ｏ２・・・シナプスを構成する乗算
器，２００・・・制御装置，３０１〜３０５・・・第１
階ＪＩのバス，３１１〜３１５・・・第２階層のバス，
３２１〜３２５・・・第３階層のバスである。 第１図 第２図 第３図 二二：旦冫群ニュ因 法Ω映 椋Ｎ蔽ミ 転一鉄 メ±ｌｊｆｌｌ

Claims (1)

1. 【特許請求の範囲】 １、複数の機能ブロック（以下、ニューロンと称する）
   を備え、各ニューロンと他のニューロンとの間には個々
   に定められた係数（以下、重み値と称する）が存在し、
   各ニューロンの出力値は他のニューロンの出力値と重み
   値の積の総和に応じて決まるように構成された情報処理
   装置において、上記複数のニューロンの内から１個を特
   定するためのアドレス信号と、該アドレス信号を伝達す
   るためのアドレスバスと、上記各ニューロンの出力信号
   を伝達するための出力バスとを設け、上記ニューロンは
   上記アドレス信号によって特定された時にのみ上記出力
   バスに出力信号を送り出すように構成したことを特徴と
   する情報処理装置。 ２、複数のニューロンを備え、各ニューロンと他のニュ
   ーロンとの間には個々に定められた重み値が存在し、各
   ニューロンの出力値は他のニューロンの出力値と重み値
   の積の総和に応じて決まるように構成された情報処理装
   置において、上記複数のニューロンは複数の群に分けら
   れ、各群に設けられ該群に属するニューロンと接続され
   る第１階層のバスと、複数の群に共通に設けられ該複数
   の群の第１階層のバスと接続される第２階層のバスとを
   設けたことを特徴とする情報処理装置。 ３、上記第２階層のバスは、上記第１階層のバスより幅
   の広い導体で配線されたことを特徴とする請求項２の情
   報処理装置。 ４、クロック信号が設けられ、上記第１階層のバスと上
   記第２階層のバスの間の信号伝達は上記クロック信号に
   同期して行われることを特徴とする請求項２、または３
   の情報処理装置。 ５、同一形状の複数の半導体集積回路が同一の半導体基
   板上に設けられ、上記複数の半導体集積回路に接続され
   る共通のバスが設けられた情報処理装置において、上記
   共通のバスは、上記複数の半導体集積回路内の信号配線
   より幅の広い導体で配線されたことを特徴とする情報処
   理装置。 ６、同一形状の複数の半導体集積回路が同一の半導体基
   板上に設けられ、上記複数の半導体集積回路に接続され
   る共通のバスが設けられた情報処理装置において、クロ
   ック信号が設けられ、上記共通のバスと上記複数の半導
   体集積回路内の信号配線の間の信号伝達は上記クロック
   信号に同期して行なわれることを特徴とする情報処理装
   置。 ７、同一形状の複数の半導体集積回路が同一の半導体基
   板上に設けられ、上記複数の半導体集積回路に接続され
   る共通のバスが複数組設けられた情報処理装置において
   、上記複数組のバスの内の少なくとも１組は上記複数の
   半導体集積回路内の対応する位置にある信号同士をその
   まま接続し、上記複数組のバスの内の他の少なくとも１
   組は上記複数の半導体集積回路内の対応する位置にある
   信号同士をシフトさせながら接続することを特徴とする
   情報処理装置。 ８、上記シフトさせながら接続するバスは、上記複数の
   半導体集積回路の中から特定のものを選択するために設
   けた信号を伝達することを特徴とする請求項７の情報処
   理装置。 ９、複数のニューロンを備え、各ニューロンと他のニュ
   ーロンとの間には個々に定められた重み値が存在し、各
   ニューロンの出力値は他のニューロンの出力値と重み値
   の積の総和に応じて決まるように構成された情報処理装
   置において、上記重み値は信号を受ける側のニューロン
   内に設けた半導体記憶装置に記憶させたことを特徴とす
   る情報処理装置。 １０、複数のニューロンを備え、各ニューロンと他のニ
   ューロンとの間には個々に定められた重み値が存在し、
   各ニューロンの出力値は他のニューロンの出力値と重み
   値の積の総和に応じて決まるように構成された情報処理
   装置において、上記重み値は、信号を受ける側において
   絶対値の大きな方から所定の個数だけを記憶させること
   を特徴とする情報処理装置。 １１、上記重み値をアクセスされる順に並べて記憶させ
   ることを特徴とする請求項９、または１０の情報処理装
   置。