JPH07101415B2 - 情報処理装置及びその学習方法 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、音声認識、画像処理、制御などに利用するニ
ューラルネットを高速に学習することができる情報処理
装置に関する。特に、ウェハスケール集積回路（WSI）
上に構成するのに好都合で、高速な学習機能付きの大規
模なニューラルネットをコンパクトでかつ低価格で提供
する情報処理装置に及びその学習方法に関する。

［従来の技術］ ニューラルネットは認識、知識処理などの情報処理に応
用されている。ニューラルネットは入力と期待する出力
値を与えれば、学習により自己組織化が可能である。そ
のため、プログラムを必要とせず、その応用が期待され
ている。

学習アルゴリズムの１つに、ランメルハート（Rumelhar
t）らによるパラレル ディストリビューティド プロ
セスィング（Rarallel Distribed Processing）第８章3
18〜362頁及び日経エレクトロニクス1987.8.10（No.42
7）115〜121ページに紹介されている。“バックプロパ
ゲーションが知られている。以下に、このバックプロバ
ゲーションを説明する。

第２図にニューラルネットを構成するニューロンのモデ
ルを示す。ニューロンは他のニューロンから入力x_iを入
力する。そして、それぞれの入力x_iに対し重み値w_jiで
重み付けを行い、その総和である内部エネルギー（内
積）u_jを計算する。この値を例えばシグモイド関数ｆに
よって変換し、出力x_jを出力する。ここで、重みw
_jiは、ニューロンｊにおいて、入力するニューロンｉに
対する重み値である。

w_j＝ｆ（u_j） （１） u_j＝Σ_iw_ji・x_i （２） 複数のニューロンを結合することによって、ニューラル
ネットを構成できる。そして、重み値w_jiを変えること
によって、いろいろな情報処理を行うことが可能であ
る。

第３図に階層型ニューラルネットを示す。本図は、入力
層、中間層、出力層の３階層から構成されているが、中
間層を複数とする構成にしてもよい。入力に対し、情報
処理を行なって出力する順方向に動作するモードと、与
えた入力に対して期待する出力値を外部から与え、出力
層側から入力層側へ向かって、重み値w_jiを修正してい
く逆方向に動作するモードを持つ。そのときの重み値w
_jiの修正値Δw_jiをニューロンｊでは Δw_ji ⁿ⁺¹＝ηδ_jx_i＋αΔw_ji ⁿ （３） とする。ここで、ｎは学習の回数、α、ηは定数であ
る。また、関数δを以下のように決定する。

出力層のニューロンｋでは、期待する出力値をt_kとする
と、 δ_ｋ＝（t_k−x_k）ｆ′（u_k） （４） とし、中間層のニューロンｊでは、 δ_ｊ＝ｆ′（u_j）Σ_ｋδ_kw_ji （５） と決める。ここで、関数ｆ′は関数ｆの導関数である。

以上のように修正値Δｗを決定し、重み値ｗを修正して
いく。そして、出力層の出力が期待するものとなるま
で、以上の学習を繰り返す。

一般に、ニューラルネットの解明及びその応用の研究で
は、遂次型計算機上でソフトウェアによるシミュレーシ
ョンによって行っている。しかし、非常に多くの、例え
ば数千あるいは数万個のニューロンで構成する大規模な
ニューラルネットの学習を行うには、膨大な計算時間が
必要なる。また一般に、学習には非常に多くの反復を必
要とする場合が多い。そのため、大規模なニューラルネ
ットの能力はよくわかっていないのが現状である。

一方、専用のハードウェアによってニューラルネットを
高速に計算させる試みがある。その一つである、“完全
ディジタルニューロWSIの基本設計”、1989年電子情報
通信学会 春季全国大会講演論文集７冊分SD−１−5,29
1〜292ページで発表された方式を第４図に示す。ここで
WSIとは、ウェハスケール インテグレーション（Wafer
Scale Integration）のことである。

第４図において、201はニューロン計算ユニット、210は
バスである。各ニューロン計算ユニット201はバスによ
って結合している。各ニューロン計算ユニット201のう
ち一つが選択され、その出力値をバス210へ、次々と出
力する。各ニューロン計算ユニット201は、出力してい
るニューロンに対する重み値をメモリに保持しており、
バス210から遂次入力する値に、それに対する重み値を
メモリから読みだして重み付けし、その積を累積加算す
る。バス210へ出力するときは、その値を（１）式のシ
グモイド関数によって変換して出力する。重み付け回路
は時分割に動作させる。各ニューロン計算ユニット201
が一通りバス210へ出力すれば、すべてが（２）式の計
算を行うことができる。以下、時分割バス結合方式と呼
ぶ。

以上の動作を行うことによって、（１）（２）式のニュ
ーロンモデルを高速に演算することができる。もう１つ
の特徴は、第４図をWSI上で実現することである。時分
割バス結合方式によれば、重み付け回路を時分割に使用
して、１つのニューロン計算ユニット201の面積を大幅
に低減することができる。このように、１計算ユニット
の面倒をできる限り小さくし、１計算ユニットあたり歩
留まりを向上させ、欠陥によって動作不能となるニュー
ロン計算ユニット201の割合を低下させることで、WSI化
に成功している。WSI化することにより、以前に比して
大規模なニューラルネットを高速にかつコンパクトに実
現することが可能となる。

ニューロン間が完全結合しているニューラルネットで
は、ニューロン数をＮとすると、１回の（１）式、
（２）式の計算を行うのに必要な重み付けの回数は約N²
個となる。時分割バス結合方式では、Ｎ個の重み付け回
路が同時に動作するため、計算時間はＯ（Ｎ）となり、
高速に大規模なニューラルネットを計算することができ
る。

［発明が解決しようとする問題点］ 従来の技術で述べた時分割バス結合方式において、前述
のバックプロパゲーションを行おうとした場合、逆方向
の（３）〜（５）式の計算では、関数δを計算するの
に、ニューロンの出力先における重み値が必要である。
例えば、中間層のニューロンｊのδ_ｊを計算するには、
出力層のニューロンｋにおけるニューロンｊに対する重
み値w_kjが必要である。しかし、前述のようにニューロ
ンｊを計算する計算ユニット201は、入力層のニューロ
ンｉに対する重み値w_jiしか、保持していない。そのた
め、（５）式を並列に計算することができず、δ_kw_kjを
１個ずつ遂次に計算することになる。そのため、順方向
を行うのに要する時間はＯ（Ｎ）となるにもかかわら
ず、逆方向の計算に要する時間がＯ（N²）となり、学習
を高速に行えない問題がある。

本発明の目的は、高速学習可能なニューラルネットによ
り構成される情報処理装置を実現することであり、特に
時分割バス結合方式とバックプロパゲーションを組み合
わせた情報処理装置及びその学習方法を実現することに
ある。

本発明の他の目的は、以下の詳細な説明から明らかにな
るであろう。

［問題点を解決するための手段］ 本発明は、順方向の計算を行う第１のネットワークと逆
方向のδの計算を行う第２のネットワークと相互の通信
を行なう手段とを設ける。

また、各ネットワークには、それぞれの計算を並列に行
うのに都合が良いように重み値を保持する。そのため、
同一の重み値が２重に保持されることになるが、その修
正はそれぞれのネットワークで行い、修正した結果は同
じ値となる。

［作用」 本発明は、バックプロパゲーション学習アルゴリズムの
ような、順方向と逆方向の計算を行うニューラルネット
の学習を高速に行う専用計算機に好適である。本発明で
は、（１）（２）式の計算を順方向ネットワークで、
（４）（５）式の計算を逆方向ネットワークで行なう。
各ニューロン間の重み値は、２つのネットワークで同一
の値で保持されている。また、（３）式の修正値を計算
するために必要な値は、それぞれのネットワークで計算
された値のどちらも必要である。本発明では、２つのネ
ットワーク間に通信手段を設けることによって、それぞ
れの各ネットワークを構成するユニットが重み値を修正
するのに必要な値を得ることができ、それぞれが重み値
を同一の値に修正することを可能としている。順方向ネ
ットワークでは、（１）（２）式を並列に計算するのに
好都合に構成し、逆方向ネットワークでは（４）（５）
式を並列に計算するのに好都合に構成している。また、
（３）式の計算も各ネットワークの各ユニットにおい
て、並列に計算する。そのため、本発明を用いれば、前
述の学習をＯ（Ｎ）の計算時間で実行できる。

また、順方向と逆方向の計算をそれぞれ別のネットワー
クにおいて計算するため、各計算ユニットを小面積で実
現できる。そのため、WSI化した場合、１つの計算ユニ
ットあたりの歩留まりを高くすることができる。

また、順方向の計算を行う計算ユニットと逆方向の計算
を行う計算ユニットは同一の回路構成とすることも可能
で、設計工数を低減することができる。そのときは、ど
ちらの計算ユニットとして動作するかは、制御信号によ
って決めることになる。そのため、WSI化した場合も、
一種類のWSIを設計し、製作すれば良いので、低価格化
できる。また、複数のWSIを容易し、それらを接続すれ
ば、より大規模なニューラルネットを簡単に構成するこ
とができる。

［実施例］ 以下に、実施例を用いて本発明の詳細を説明する。

第１図は本発明の一実施例を示す図である。図におい
て、120F,121F,120B,121Bは計算ユニットで、123,124は
制御回路である。各計算ユニットは制御回路123あるい
は制御回路124と接続されている。130は制御信号発生回
路で、制御信号142〜145に制御信号を出力する。各制御
回路123,124は制御信号線142から制御信号を入力する。
140は出力バスである。128はバッファで、各計算ユニッ
トの出力値を出力バス140に出力するか、出力バス140か
ら分離するか、制御回路123,124によって制御する。131
は関数変換回路で、出力バス140から入力する値に対し
て（１）式のシグモイド関数ｆで変換を行い出力する。
132は関数変換回路で、出力バス140から入力する値に対
して、シグモイド関数ｆの導関数ｆ′に従って変換し、
出力する。125はセレクタで、制御信号線145の制御信号
によって、出力バス140または関数変換回路131の出力ま
たは関数変換回路132の出力のうち１つを出力する。160
は乗算器で、セレクタ125の出力に対し、定数ηを掛け
て、出力する。127はセレクタで、制御信号線144の制御
信号によって、セレクタ125の出力または乗算器160の出
力を出力する。150は外部入力端子で、141は入力バスで
ある。126はセレクタで、制御信号線143の制御信号によ
って、セレクタ127の出力または外部入力端子150から入
力する信号を入力バス141に出力する。各計算ユニット
は入力バス141と接続し、入力バス141に出力される信号
を入力することができる。また151は外部出力端子で、
入力バス141に出力される値を外出する。

第１図は、（１）〜（５）式の演算を高速に行う本発明
の構成を示すものである。各計算ユニットの詳細につい
ては、第７図、第８図、第９図、を用いて、後に述べ
る。第５図に第１図の構成の動作を詳しく示す。まず、
第５図を用いて、本発明の動作についてニューロンｊの
動作を中心に以下に説明する。なお、入力層は単に入力
データを一時的に記憶する層として構成してもよいし、
また第５図に示されるようにニューロモーデルの計算ユ
ニットとして構成してもよい。第５図の各計算ユニット
は第１図の各計算ユニットに対応しており、第１図の計
算ユニット120F,121F,120B,121Bは第５図のそれぞれと
対応している。計算ユニット120F,121Fは順方向の動作
を行う順方向ネットワークを構成しており、計算ユニッ
ト120B,121Bは逆方向の動作を行う逆方向ネットワーク
を構成している。ここで、順方向ネットワークは（１）
（２）式の計算を行うネットワークのことであり、逆方
向ネットワークとは（４）（５）式の計算を行うネット
ワークのことである。また、（３）式は各ネットワーク
において計算する。

順方向ネットワークの中間層の計算ユニットでは、入力
層のニューロンｉ対する重み値w_jiを保持しており、出
力層の計算ユニットでは、中間層のニューロンｊに対す
る重み値w_kjを保持している。中間層の計算ユニット120
Fは、重み値w_jiを保持している。また、逆方向ネットワ
ークの中間層の計算ユニットでは、順方向ネットワーク
における出力層の計算ユニットが中間層のニューロンｊ
対し持っている重み値w_kjを保持しており、逆方向ネッ
トワークの入力層の計算ユニットでは、順方向ネットワ
ークにおける中間層の計算ユニットが入力層のニューロ
ンに対して持っている重み値w_jiを保持している。中間
層の計算ユニット120Bは、重み値w_kjを保持している。
順方向ネットワークが保持する重み値w_ji,w_kjと、逆方
向ネットワークが保持する重み値w_ji,w_kjは対応してお
り、同じ値である。

順方向ネットワークでは、入力層から中間層、出力層と
各計算ユニットの出力x_i,x_j,x_kが決定していく。計算ユ
ニット120Fは入力層の出力x_iを入力し、それに対する重
み値wx_jiで重み付けを行い、内部エネルギーu_jを計算
し、さらに非線形変換を行い、出力値x_jを出力する。次
に、順方向ネットワークの出力層の計算ユニットは中間
層の出力x_jを入力し、それに対する重み値w_kjで重み付
けを行い、内部エネルギーu_kを計算し、さらに非線形変
換を行い、出力値x_kを出力する。順方向ネットワークの
各計算ユニットはそれぞれに対応する逆方向ネットワー
クの計算ユニットへそれぞれの出力値x_i,x_j,x_kを送信す
る。計算ユニット120Fは、計算ユニット120Bへ、その出
力値x_jを送信する。次に、順方向ネットワークの中間層
と出力層の各計算ユニットはそれぞれに対応する逆方向
ネットワークの計算ユニットへそれぞれの出力値x_j,x_k
の部分微分x_j′,x_k′を送信する。計算ユニット120Fは
出力値x_jの微分x_j′（＝ｆ′（u_j））を計算ユニット12
0Bへ出力する。

次に、順方向ネットワークの出力層の出力値x_kが期待し
た値t_kと異なる場合、重み値を修正する必要がある。そ
の動作を以下に説明する。

逆方向ネットワークの出力層において、（４）式に従
い、δ_ｋを計算し、逆方向ネットワークの中間層の各計
算ユニットへ出力する。（４）式を計算するのに必要な
x_k′は既に入力している。逆方向ネットワークは中間層
の各計算ユニットは、δ_ｋを入力すると、その値を用い
て（３）式に従い、修正値Δw_kjを計算し、重み値w_kjを
変更する。また、逆方向ネットワークの出力層の各計算
ユニットはそれぞれに対応する順方向ネットワークの出
力層の計算ユニットへそれぞれの出力値δ_ｋを送信す
る。それにより、順方向ネットワークの出力層の計算ユ
ニットは、（３）式により修正値Δw_kjを計算し、重み
値w_kjを変更することがきる。

次に、逆方向ネットワークの出力層の各計算ユニットの
出力δ_ｋを出力し、それを入力する逆方向ネットワーク
の中間層の計算ユニットはδ_ｋと重み値w_kjとの乗算を
行い、（５）式に従って、δ_ｊを決定し、出力する。
（５）式を計算するのに必要なx_j′は計算ユニット120F
から、既に入力している。逆方向ネットワークは入力層
の各計算ユニットは、δ_ｊを入力すると、その値を用い
て（３）式に従い、の修正値Δw_kjを計算し、重み値w_kj
を変更する。また、逆方向ネットワークの中間層の各計
算ユニットはそれぞれに対応する順方向ネットワークの
中間層の計算ユニットへそれぞれのδ_ｊを送信する。順
方向ネットワークの中間層の計算ユニットは、（３）式
により修正値Δw_kjを計算し、重み値w_kjを変更すること
ができる。

本発明は、以上に述べたように、（１）（２）（４）
（５）式におけるx,x′（＝ｆ′（ｕ））をそれを高速
に計算するのに好都合な順方向ネットワークにおいて計
算し、（４）（５）式におけるδをそれを高速に計算す
るのに好都合な逆方向ネットワークにおいて計算する。
そして、（３）式におけるΔｗは各ネットワークの各計
算ユニットにおいて、それぞれが保持している重み値ｗ
に対して計算する。順方向のネットワークの計算ユニッ
トでは、修正値Δｗを計算するために、δが必要でお
り、逆方向ネットワークの計算ユニットでは、ε及びΔ
Ｗを計算するためにx,x′が必要である。そのために、
それぞれのネットワークで対応している計算ユニット間
では、データの通信が必要であるが、その通信するデー
タ量はニューロン数に対応しており、それに要する転送
時間はＯ（Ｎ）であり、短時間で行うことができる。

本図では、中間層を１層として説明したが、複数の中間
層から構成されるニューラルネットに対しても、同様に
学習を行うことができる。

次に、第１図を用いて、以上の動作のハードウェア上で
の実現方法について説明する。第６図は、以上の動作の
流れを示す演算フロー図で、順方向ネットワークと逆方
向ネットワークの計算ユニットの演算手順を示してい
る。順方向ネットワークの計算ユニットｊは第１図及び
第５図の計算ユニット120Fであり、逆方向ネットワーク
の計算ユニットｊは第１図及び第５図の計算ユニット12
0Bである。以下、第６図に従い、第１図を説明する。

各計算ユニットは入力するニューロンに対する重み値を
メモリに保持している。初めに、重み値ｗの初期値を各
計算ユニットに書き込む。計算ユニット120Fには、入力
層のニューロンｉに対する重み値w_jiを書き込む。計算
ユニット120Bには、旬方向ネットワークの出力層の計算
ユニットｋが保持する中間層のニューロンｊに対する重
み値と同じである重み値w_jiを書き込む。−動作１ 次に、セレクタ126を外部入力端子150側を入力バス141
に出力するように設定し、外部入力端子150から順方向
ネットワークの入力層の各計算ユニットｉへ入力値を書
き込む。−動作２ 制御信号発生回路130は、セレクタ125を出力バス140を
出力するように設定し、セレクタ127をセレクタ125の出
力を出力するように設定し、セレクタ16をセレクタ127
の出力を出力するように、制御信号線143〜145に制御信
号を出力する。次に、制御信号発生回路130は制御信号
線142に、順方向ネットワークの入力層の計算ユニット
ｉのアドレスを出力する。制御回路123はアドレスをデ
コードし、もし、アドレスがその計算ユニットのアドレ
スと一致すれば、バッファ128をイネーブル状態し、順
方向ネットワークの入力層の計算ユニットｉの出力値x_i
を出力バス140に出力する。順方向ネットワークの入力
層の計算ユニットｉは入力値を出力するだけである。順
方向ネットワークの中間層の計算ユニットｊは入力バス
141から順方向ネットワークの入力層の出力x_iを遂次入
力し、それに対する重み値w_jiで重み付けを行い、その
積を累積加算していく。制御信号発生回路130が順方向
ネットワークの入力層の計算ユニットｉのアドレスをす
べて指定すると中間層の各計算ユニットでは（２）式の
計算を行うことができ、その出力値u_jが決定する。

次に、制御信号発生回路130はセレクタ125を関数変換回
路131の出力を出力するように設定した後、順方向ネッ
トワークの中間層の計算ユニットのアドレスを制御信号
線142に出力する。アドレスを指定された計算ユニット
はその出力値u_jを出力バス140に出力する。非線形変換
回路131は（１）式の変換を行い、x_j（＝ｆ（u_j））を
出力する。x_jは入力バス141によって、順方向ネットワ
ークの出力層の計算ユニットｋにブロードキャストされ
る。出力層の計算ユニットｋは入力バス141から中間層
の出力x_jを遂次入力し、それに対する重み値x_kjで重み
付けを行い、その後を累積加算していく。制御信号発生
回路130が順方向ネットワークの中間層の計算ユニット
ｊのアドレスをすべて指定すると出力層の各計算ユニッ
トｋでは（２）式の計算を行うことができ、その出力値
u_kが決定する。−動作３ 次に、制御信号発生回路130が順方向ネットワークの出
力層の計算ユニットｋのアドレスを制御信号線142に出
力する。アドレスを指定された計算ユニットはその出力
値u_kを出力バス140に出力する。その後、非線形変換回
路131によってx_k（＝ｆ（u_k））に変換され、セレクタ1
25、セレクタ127、セレクタ126を通って、入力バス141
に出力される。外部出力端子151から、その出力結果を
読むことができる。そして、出力層の出力値x_kが期待す
る出力値t_kと一致していれば、学習を終了する。一致し
ないときは、以下の動作を行なう。−動作４ 制御信号発生回路130は、セレクタ125の出力を出力バス
140側とし、また、セレクタ127の出力を乗算器160側と
するように設定する。セレクタ127を乗算器160側に設定
し、セレクタ126をセレクタ127の出力を出力する。次
に、制御信号発生回路130は制御信号線142に、順方向ネ
ットワークの入力層の計算ユニットｉのアドレスを出力
する。アドレスを指定された計算ユニットｉの出力x_iは
セレクタ125を通り、乗算器160に出力され、定数ηを掛
けて、η・x_iに変換する。そして、セレクタ127、セレ
クタ126を通り、入力バス141へη・x_iを出力する。逆方
向ネットワークの入力層の計算ユニットｉはそれに対応
するη・x_iが入力バス141へ出力されたとき、その値を
取り込む。次に、制御信号発生回路130は、セレクタ125
の出力を関数変換回路131側とし、また、セレクタ127の
出力を乗算器160側とするように設定する。制御信号発
生回路130は、制御信号142に順方向ネットワークの中間
層の計算ユニットｊのアドレスを出力する。アドレスを
指定された計算ユニットｊの出力u_jは関数変換回路131
によってx_jに変換され、セレクタ125を通り、乗算器160
に出力され、定数ηを掛けて、η・x_jに変換する。そし
て、セレクタ127、セレクタ126を通り、入力バス141へ
η・x_jを出力する。逆方向ネットワークの中間層の計算
ユニットｊはそれに対応するη・x_jを入力する。例え
ば、計算ユニット120Fの出力値u_jは、関数変換回路131
と乗算器160によって、η・x_jに変換され、入力バス141
に出力される。そのときに、計算ユニット120Bは、η・
x_jを取り込む。−動作５ 次に、制御信号発生回路130は、セレクタ125の出力を関
数変換回路132側とし、また、セレクタ127の出力をセレ
クタ125側とするように設定する。制御信号発生回路130
は、制御信号142に順方向ネットワークの中間層の計算
ユニットｊと出力層の計算ユニットｋのアドレスを出力
する。アドレスを指定された計算ユニットの出力u_j,u_k
は関数変換回路132によってu_j′,u_k′に変換し、セレク
タ125、セレクタ127、セレクタ126を通り、入力バス141
へ出力する。逆方向ネットワーク中間層と出力層の計算
ユニットはそれに対応するx_j′,x_k′を入力することが
できる。例えば、計算ユニット120Fの出力値u_jは、関数
変換回路132x_j′に変換され、入力バス141に出力され
る。そのときに、計算ユニット120Bは、x_j′を取り込
む。−動作６ 次の動作では、逆方向ネットワークの出力層の計算ユニ
ットへ期待する出力値t_kと先ほどの出力値x_kの差（t_k−
x_k）をネットワークの外部からセットする。それは、ホ
ストコンピュータが行ってもよいし、（t_k−x_k）を計算
する回路を設けてもよい。逆方向ネットワークの出力層
の計算ユニットｋは、（４）式のδ_ｋの計算を行なう。
一動作７ 次に、制御信号発生回路130は、出力バス140の出力を乗
算器160によって、η倍し、入力バス141に出力するよう
に、セレクタ125〜127を設定する。そして、逆方向ネッ
トワークの出力層の計算ユニットｋのアドレスを制御信
号142へ出力する。アドレスを指定された各計算ユニッ
トの出力δ_ｋが乗算器160によってη倍され、入力バス1
41にη・δ_ｋが出力される。このとき、順方向ネットワ
ークの出力層の計算ユニットｋは、入力バス141に自分
に対応する逆方向ネットワークの計算ユニットの出力η
・δ_ｋが出力されれば、内部に取り込む。−動作８ 次に、制御信号発生回路130は、出力バス140の値が関数
変換回路131を通り、入力バス141に出力されるように、
セレクタ125〜127を設定した後、順方向ネットワークの
中間層の計算ユニットｊのアドレスを制御信号142に出
力する。アドレスを指定された計算ユニットｊは既に計
算済みの内部エネルギー値u_jを出力する。その結果、入
力バス141には、関数変換された値x_jが出力される。順
方向ネットワークの出力層の各計算ユニットでは、入力
する値x_jに対する重み値w_kjの修正値Δw_kjを（３）式に
従って、計算し、重み値w_kjを修正する。−動作９ 次に、制御信号発生回路130は出力バス140の値がそのま
ま入力バス141に出力されるように、セレクタ125〜127
を設定した後、逆方向ネットワークの出力層の計算ユニ
ットｋのアドレスを制御信号142に出力する。アドレス
を指定された計算ユニットは既に計算済みのδ_ｋを出力
する。その結果、δ_ｋは出力バス140、セレクタ125、セ
レクタ127、セレクタ126を通り、入力バス141に出力さ
れる。逆方向ネットワークの中間層の各計算ユニットで
は、入力する値δ_ｋに対する重み値w_kjの修正値Δw_kjを
（３）式に従って、計算し、重み値w_kjを修正する。−
動作10 次に、制御信号発生回路130が逆方向ネットワークの出
力層の計算ユニットｋのアドレスを指定する。アドレス
設定された計算ユニットは既に計算済みのδ_ｋを出力す
る。その結果、δ_ｋは出力バス140、セレクタ125、セレ
クタ127、セレクタ126を通り、入力バス141に出力され
る。逆方向ネットワークの中間層の各計算ユニットで
は、動作10において、修正された重み値w_kjを用い、
（５）式に従い、δ_ｊは計算する。−動作11 次に、制御信号発生回路130は、出力バス140の出力を乗
算器160によって、η倍し、入力バス141に出力するよう
に、セレクタ125〜127を設定する。そして、逆方向ネッ
トワークの中間層の計算ユニットのアドレスを制御信号
142へ出力する。アドレスを指定された各計算ユニット
の出力δ_ｊが乗算器160によってη倍され、セレクタ12
7、セレクタ126を通り、入力バス141にη・δ_ｊが出力
される。このとき、順方向ネットワークの中間層の計算
ユニットｊは、入力バス141に自分に対応する逆方向ネ
ットワークの計算ユニットｊの出力η・δ_ｊが出力され
れば、内部に取り込む。−動作12 次に、制御信号発生回路130は出力バス140の値が、入力
バス141に出力されるように、セレクタ125〜127を設定
した後、順方向ネットワークの入力層の計算ユニットｉ
のアドレスを制御信号142に出力する。アドレスを設定
された計算ユニットはx_iを出力する。その結果、入力バ
ス141には、x_iが出力される。順方向ネットワークの中
間層の各計算ユニットでは、入力する値x_iに対する重み
値w_jiの修正値Δw_kiを（３）式に従って、計算し、重み
値w_kjを修正する。−動作13 次に、制御信号発生回路130は出力バス140の値がそのま
ま入力バス14に出力されるように、セレクタ125〜127を
設定した後、逆方向ネットワークの中間層の計算ｊのア
ドレスを制御信号142に出力する。アドレスを指定され
た計算ユニットは既に計算済みのδ_ｊを出力する。その
結果、δ_ｊは出力バス140、セレクタ125、セレクタ12
7、セレクタ126を通り、入力バス141に出力される。逆
方向ネットワークの入力層ｉの各計算ユニットでは、入
力する値δ_ｊに対する重み値w_jiの修正値Δw_jiを（３）
式に従って、計算し、重み値w_kjを修正する。−動作14 その後、入力に対し、出力層の出力値x_kが期待する値t_k
となるまで、以上の学習を繰り返す。

本発明によれば、順方向及び逆方向のｘ及びδの計算は
各層において並列に動作し、それに要するデータの通信
量もＮに比例しているため、Ｏ（Ｎ）の時間で、高速に
学習することが可能である。

次に、第７図、第８図を用いて、順方向ネットワーク及
び逆方向ネットワークを構成する計算ユニットの詳細に
ついて、説明する。

第７図は順方向ネットワークを構成する計算ユニットを
示す図である。第７図において、501は重み値w_jiと
（３）式におけるαΔw_ji ⁿを記憶しおく、メモリであ
る。503、504は加算器、502は乗算器である。511,512は
ラッチである。520は（３）式における前回の修正値Δw
_ji ⁿをα倍する乗算器である。531〜534はセレクタであ
る。540は入力バス141への接続端子である。550〜557は
制御回路123が出力する制御信号の制御信号線で、それ
ぞれは、セレクタ534、メモリ501,ラッチ511、セレクタ
531、セレクタ533、セレクタ532、ラッチ512、バッファ
128を制御する。541は出力バス140への接続端子であ
る。接続関係を以下に説明する。

ラッチ511は入力バス接続端子540から入力する信号を保
持する。セレクタ531はメモリ501の出力である重み値w
_jiとラッチ511の出力を入力している。乗算器502はセレ
クタ531の出力と入力バス接続端子540を入力している。
加算器503は乗算器502の出力とメモリ501の出力である
αΔw_ji ⁿを入力する。セレクタ532は乗算器502の出力と
加算器503の出力を入力する。加算器504はセレクタ532
の出力とセレクタ533の出力を入力する。ラッチ512は加
算器504の出力を保持する。バッファ128はラッチ512の
出力を入力し、出力バス接続端子541に出力する。セレ
クタ533はラッチ512の出力とメモリ501の出力である重
み値w_jiを入力する。乗算器520は加算器503の出力を入
力する。セレクタ534は入力バス接続端子540から入力す
る信号と加算器504の出力を入力する。メモリ501はセレ
クタ534の出力を重み値w_ji側、乗算器520の出力をαΔw
_ji ⁿ側書き込みデータとして入力する。また、メモリ501
はアクセス時のアドレスを制御回路123から入力する。

動作１の重み値w_jiの初期値を書き込むときは、入力バ
ス接続端子540に初期値を与え、セレクタ534の出力を入
力バス接続端子540側とすれば、メモリ501に書き込むこ
とができる。

（２）式の計算を行なうときは、以下のように行なう。
セレクタ531の出力をメモリ501の重み値w_ji出力側とす
る。入力バス接続端子540に入力する入力値x_iを入力す
る。乗算器502によって、積w_jix_iを行なう。セレクタ53
2は乗算器502側を出力する。セレクタ533はラッチ512側
を出力する。加算器504はそれまで累積加算結果である
ラッチ512の出力と積w_jix_iを加算し、ラッチ512に書き
込む。以上の動作を次々と、入力バス接続端子540に入
力する入力値x_iに対して重み値w_jiを変えて行なえば、
（２）式を計算することができる。

逆方向ネットワークから入力するηδ_ｊは入力バス接続
端子540から入力してラッチ511に書き込む。

（３）式の計算を行なうときは、以下のように行なう。
セレクタ531はラッチ511側を出力する。入力バス接続端
子540に入力する入力値x_iを入力する。乗算器502によっ
て、ηδ_jx_iを計算する。加算器503によって、メモリ50
1の出力αΔw_ji ⁿと乗算器502の出力ηδ_jx_iの加算を行
ない、修正値Δw_ji ⁿ ₎ ¹を計算する。セレクタ532は加算
器503側を出力する。セレクタ533はメモリ501の重み値w
_ji出力側を出力する。加算器504はセレクタ533の出力の
前回の重みw_ji ⁿとセレクタ532の出力Δw_ji ⁿ ₎ ¹を加算
し、修正した重み値w_ji ⁿ ₎ ¹を出力する。セレクタ534は
加算器504側を出力する。また、加算器503の出力Δw_ji ⁿ
₎ ¹は乗算器520によってα倍する。そして、メモリ501に
セレクタ534の出力の修正した重み値w_ji ⁿ ₎ ¹と乗算器520
の出力αΔw_ji ⁿ ₎ ¹を書き込む。以上の動作を次々と、入
力バス接続端子540に入力する入力値x_iに対して行なえ
ば、すべての重み値w_ji ⁿ ₎ ¹を修正することができる。

第８図は逆方向ネットワークを構成する計算ユニットを
示す図である。第８図において、601は重みw_kj（３）式
におけるαΔw_kj ⁿを記憶しておく、メモリである。60
3、604は加算器、602は乗算器である。611〜615はラッ
チである。620は（３）式における前回の修正値Δw_kj ⁿ
をα倍する乗算器である。631〜634,636はセレクタであ
る。640は入力バス接続端子である。650〜659、661、66
2は制御回路124が出力する制御信号の制御信号線で、そ
れぞれは、セレクタ636、ラッチ613、ラッチ613、ラッ
チ612、ラッチ611、メモリ601、セレクタ631、セレクタ
632、セレクタ634、セレクタ633、ラッチ614、ラッチ61
5、バッファ128を制御する。641は出力バス接続端子で
ある。接続関係を以下に説明する。ラッチ611〜613は入
力バス接続端子640から入力する信号を入力する。セレ
クタ631はメモリ601の重み値w_kj出力とラッチ611の出力
とラッチ612の出力を入力している。セレクタ632は入力
バス接続端子640から入力する信号とラッチ613の出力と
ラッチ614の出力を入力する。乗算器602はセレクタ631
の出力とセレクタ632の出力を入力する。加算器603はメ
モリ601のαΔw_kj ⁿ出力と乗算器602の出力を入力する。
セレクタ633は加算器603の出力と乗算器602の出力を入
力する。加算器604はセレクタ634の出力とセレクタ633
の出力を入力する。ラッチ614は加算器604の出力を入力
する。セレクタ634はラッチ614の出力とメモリ601の重
み値w_kj出力を入力している。乗算器620は加算器603の
入力する。セレクタ636は入力バス接続端子640から入力
する信号と加算器604の出力を入力する。メモリ601はセ
レクタ636の出力を重み値w_kj側、乗算器620の出力をα
Δw_kj ⁿ側書き込みデータとして入力する。また、メモリ
601はアクセス時のアドレスを制御回路124から入力す
る。ラッチ615は乗算器602の出力を入力する。バッファ
128はラッチ615の出力を入力し、出力バス接続端子641
に出力する。

重み値w_kjの初期値を書き込むときは、入力バス接続端
子640に初期値を与え、セレクタ636の出力を入力バス接
続端子640側とすれば、書き込むことができる。

逆方向ネットワークから入力するηx_jは入力バス接続端
子640から入力してラッチ611に巻き込む。x_j′（＝ｆ′
（u_j））も入力バス接続端子640から入力してラッチ612
に書き込む。

また、出力層の計算ユニットとして動作させるときに必
要な出力値と期待する出力値の差（t_k−x_k）は入力バス
接続端子640から入力してラッチ613に書き込む。出力層
の計算ユニットでは、δ_ｋを計算するのに以下の動作を
行なう。

セレクタ631はラッチ612側を出力する。セレクタ632は
ラッチ613側を出力する。乗算器602ではラッチ612の出
力値x_k′（＝ｆ′（u_k））とラッチ613の出力値（t_k−x
_k）の乗算を行ない、（４）式のδ_ｋを出力する。ラッ
チ615は乗算器602の出力δ_ｋを取り込み、バッファ128
へ出力する。出力バス接続端子641には、δ_ｋが出力さ
れる。

出力層の計算ユニットでは、（５）式のδ_ｋを計算する
のに以下の動作を行なう。

セレクタ631はメモリ601の重み値w_kj側を出力する。セ
レクタ632は入力バス接続端子640側を出力する。入力バ
ス接続端子640に出力層の出力δ_ｋを入力する。乗算器6
02によって積δ_kw_kjを出力する。セレクタ633は乗算器6
02側を出力する。セレクタ634はラッチ614側を出力す
る。加算器604はそれまでの累積加算効果であるラッチ6
14の出力と積δ_kw_kjを加算し、ラッチ614に書き込む。
以上の動作を次々と、入力バス接続端子640に入力する
値δ_ｋに対して行なえば、（２）式のΣδ_kw_kjを計算す
ることができる。次にセレクタ631はラッチ612側を出力
する。セレクタ632はラッチ614側を出力する。乗算器60
2はラッチ612の出力x_j′（＝ｆ′（u_j））とラッチ614
の出力Σδ_kw_kjの乗算を行ない、δ_ｊを出力する。ラッ
チ615は乗算器602の出力δ_ｊを取り込み、バッファ128
へ出力する。出力バス接続端子641には、δ_ｊが出力さ
れる。

（３）式の計算を行なうときは、逆方向ネットワークの
中間層では以下のように行なう。セレクタ631はラッチ6
11側を出力する。入力バス接続端子640に入力する入力
値δ_ｋを入力する。乗算器602によって、ηx_jδ_ｋを計
算する。加算器603によって、メモリ601の出力αΔw_kj ⁿ
と乗算器602の出力ηx_jδ_ｋの加算を行ない、修正値Δw
_ji ⁿ ₎ ¹を計算する。セレクタ633は加算器603側を出力す
る。セレクタ634はメモリ601の重み値w_kj出力側を出力
する。加算器604はセレクタ634の出力の前回の重み値w
_kj ⁿとセレクタ633の出力w_ji ⁿ ₎ ¹を加算し、修正した重み
値w_ji ⁿ ₎ ¹を出力する。セレクタ636は加算器604側を出力
する。また、加算器603の出力Δw_ji ⁿ ₎ ¹は乗算器620によ
ってα倍する。そして、メモリ601にセレクタ626の出力
の修正した重み値w_kj ⁿ ₎ ¹と乗算器620の出力αΔw_kj ⁿ ₎ ¹
を書き込む。以上の動作を次々と、入力バス接続端子64
0に入力する入力値δ_ｋに対して行なえば、すべての重
み値w_kj ⁿ ₎ ¹を修正することができる。逆方向ネットワー
クの入力層においても、同様に重み値w_jiを修正するこ
とができる。

以上のように、本発明は、順方向ネットワークの出力層
の計算ユニットと逆方向ネットワークの中間層の計算ユ
ニットは同じ重み値w_kj ⁿを持つが、その修正はその重み
値を持つ計算ユニットがそれぞれで行なう。修正を行な
った重み値w_kj ⁿ ₎ ¹は同じ値となる。同様に、順方向ネッ
トワークの中間層の計算ユニットと逆方向ネットワーク
の入力層の計算ユニットは同じ重み値w_ji ⁿを持つが、そ
の修正はその重みを持つ計算ユニットがそれぞれが行な
う。修正を行なった重み値w_ji ⁿ ₎ ¹は同じ値となる。

次に第９図を説明する。第９図は第８図の計算ユニット
にセレクタ635とそれを制御する制御線660を加えたもの
である。122は制御回路である。セレクタ635はラッチ61
4の出力と乗算器602の出力を入力する。ラッチ615はセ
レクタ635の出力を入力する。その他は第８図と同じで
ある。セレクタ635の出力を乗算器602側とすれば、第７
図と同様の動作が可能であり、逆方向ネットワークの計
算ユニットとすることができる。また、セレクタ635の
出力をラッチ614側と設定し、第７図における、ラッチ5
11、セレクタ531、乗算器502、加算器503、セレクタ53
2、加算器504、ラッチ512、セレクタ533、乗算器520、
セレクタ534、メモリ501を第９図のラッチ611、セレク
タ631、乗算器602、加算器603、セレクタ633、加算器60
4、ラッチ614、セレクタ634、乗算器620、セレクタ63
6、メモリ601に対応させれば、順方向ネットワークの計
算ユニットとすることができる。即ち、本発明を実施例
するのに、第７図と第８図の２つの計算ユニットを設計
する必要はなく、第９図の計算ユニットを設計すればよ
い。そのような場合、設計口数を大幅に低減することが
できる。

以上のように、本発明の一実施例によれば、集積回路上
で実現することができるため、高速に学習するニューラ
ルネットを実現することができる。

次に、第10図を説明する。第10図において、１、２はウ
ェハ、700は機能ブロックである。710〜712はセレクタ
である。701は制御信号発生回路であり、第１図の制御
信号発生回路130の機能にセレクタ710〜712を制御する
機能を加えている。720は入力端子、730は出力端子であ
る。721〜725は制御信号線である。機能ブロック700は
第９図で構成することができる。ウェハ１、２内のネッ
トワークは第１図に対応している。セレクタ711はウェ
ハ１の第１図における外部出力端子151と入力端子720の
入力する信号を入力し、ウェハ２の第１図における外部
入力端子150に出力する。セレクタ710は入力端子720の
入力する信号とウェハ２の第１図における外部出力端子
151を入力し、ウェハ１の第１図における外部入力端子1
50に出力する。セレクタ712はウェハ１の外部出力端子1
51とウェハ２の外部出力端子151を入力し、外部出旅端
子730に出力する。制御信号発生回路701は制御信号線72
3〜725を通して、セレクタ710〜712へ制御信号を出力す
る。また、制御信号線721、722によって、ウェハ１、２
を制御する。ウェハ１の入力バス141の信号はセレクタ7
11を通して、ウェハ２の入力バス141へ送ることができ
る。同様にウェハ２からウェハ１へ送ることもできる。
また、外部入力端子720に入力する信号をセレクタ710,7
11を通して、ウェハ１、２の入力ガス141へ送ることが
できる。

以上のようにウェハ間を簡単に接続することでき、非常
に大規模なニューラルネットを高速に学習することがで
きる。

また、ウェハ１で順方向ネットワークを構成し、ウェハ
２で逆方向ネットワークを構成することにより、（３）
式における重み値の修正を各ネットワークで同時に行な
うことができるため、より、高速に学習を行える。

また、本図では、２枚のウェハの接続を示す図である
が、３枚以上の接続も簡単な修正で行なうことができ
る。

また、第１図の構成をそのままウェハ上に構成してもよ
い。また、さらに複数のウェハにより、各ネットワーク
を構成することもできる。

次に、第11図を説明する。第１図において、880,890は
機能ブロックである。801〜803,812〜814はセレクタで
ある。機能ブロック880を第７図で、機能ブロック890を
第８図で構成することができる。また、機能ブロック88
0,890は第９図で構成することができる。850,860は出力
バス、851,861は入力バスである。160a,160bは乗算器で
ある。本図では左側のネットワークは順方向ネットワー
クを、右側は逆方向ネットワーク対応している。

本図には制御信号発生回路及び制御信号を明記しない
が、第１図、第10図と同様な構成とすることで、各機能
ブロックや各セレクタを制御することができる。

順方向ネットワークでは、各機能ブロック880の出力は
出力バス850に出力される。関数変換回路131、132は出
力バス850を入力し、それぞれにおいて関数変換し、出
力する。セレクタ801は出力バス850の出力と関数変換回
路131、132の出力を入力し、そのうち１つを出力する。
セレクタ802はセレクタ801の出力と逆方向ネットワーク
の出力バス860を入力する。乗算器160aはセレクタ802の
出力を入力し、定数η倍して出力する。セレクタ803は
セレクタ801の出力と乗算器160の出力を入力し、入力バ
ス851に出力する。各機能ブロック880は入力バス851に
出力される値を入力することができる。逆方向ネットワ
ークでは、各機能ブロック890の出力は出力バス860に出
力される。セレクタ812は出力バス860と順方向ネットワ
ークのセレクタ801の出力を入力する。乗算器160bはセ
レクタ812の出力を入力し、定数η倍して出力する。セ
レクタ814はセレクタ812の出力と乗算器160bの出力を入
力する。セレクタ813は出力バス860とセレクタ814の出
力を入力し、入力バス861に出力する。

本図の構成では、順方向ネットワークを構成する機能ブ
ロック880は乗算器160aによって、逆方向ネットワーク
の出力バス860の値をη倍して取り込むことができる。
同様に、逆方向ネットワークを構成する機能ブロック89
0は乗算器160bによって順方向ネットワークの出力バス8
50の値をη倍して取り込むことができる。そのため、第
６図における動作５の順方向ネットワークから逆方向ネ
ットワークへηx_jを通信する動作を動作３において行う
ことができる。動作３において、各機能ブロックが他の
機能ブロックへ出力x_jをブロードキャストするときに、
同時に乗算器160bによってη倍し、逆方向ネットワーク
の入力バス861へ出力することができる。同様に、動作
８、12の逆方向ネットワークから順方向ネットワークへ
ηδを通信する動作を動作７、11において行うことがで
きる。以上のように、他方のネットワークのバスへの出
力値を盗み取ることにより、第６図における動作５、
８、12に要する時間を省くことができる。そのため、よ
り高速に学習を行うことができる。

次に、本発明によるニューロコンピューティングシステ
ムについて説明する。以下の実施例は、今まで述べてき
た情報処理装置を実用レベルまで追求した一態様であ
る。まず、第12図〜第19図を用い、構成について一通り
説明した後、その動作とそのために必要な制御につい
て、第20図〜第26図を用いて説明する。尚、今まで説明
してきた実施例と重複する箇所もあるが、一通り説す
る。

第12図はシステム全体を示す図である。第12図におい
て、1000はホストコンピュータ、1001はディジタイザで
ホストコンピュータ1000の入力装値の一つである。1003
はコントロールボードを示す。1030はWSIボード、1031
はWSI基板、1050はウェハで、ウェハ1050はWSI基板1031
と接着し、さらにWSI基板1031をWSIボード上と接続する
ことにより、ウェハ1050の電源給電及び外部との信号の
入出力を可能とする。1080はモード信号線、1081はアド
レス信号線、1082はクロック信号線、1083は入力データ
線、1084は出力データ線を示す。コントロールボード10
03と各WSIボード1030とは、1080〜1084の内部バス1020
によって接続する。コントロールボード1003上の1010は
入力層メモリ、1011は出力層メモリ、1012は教師信号メ
モリ、1013はシーケンスRAM、1002はクロック発振器を
示す。1021は外部バスを示す。ホストコンピュータ1000
はコトロールボード1003上の1010〜1013の各メモリに外
部バス1021を通して、アクセスが可能で任意に読みだ
し、書き込みを行うことができる。1085はデコーダ、10
40は出力バッファ、1041は入力バッファを示す。入力層
メモリ1010、教師信号メモリ1012は、それぞれ、アドレ
ス信号線1081を入力し、出力バッファ1040を通して、メ
モリの内容を入力データ線1083へ送ることが可能である
また、それぞれの出力バッファ1040はデコーダ1085によ
り、制御される。デコーダ1085モード信号線1080とアド
レス信号線1081を入力し、デコードする。シーケンスRA
M1013はモード信号及びアドレス信号を発生する。1086
はポインタで、パルスジェネレータ1002からクロック信
号線1082により送られるクロックを入力して、出力を１
づつ増やす。それを繰返し、シーケンスRAM1013に書き
込まれている命令のアドレスを指定する。シーケンスRA
M1013の各アドレスには、予め、実行するモード信号及
びアドレス信号の命令を順々に書き込んでおく。また、
1051はセレクタでシーケンスRAM1013または外部バス102
1から出力される命令をモード信号線1080及びアドレス
信号線1081へ出力する。1052は、セレクタで出力データ
線1084または外部バス1021から出力される値を入力デー
タ線1083へ出力する。

教師信号メモリ1012には出力層の教師信号を書き込んで
おく、入力層メモリ1010は、入力層ニューロンの役目を
行っており、入力層ニューロンの値を書き込んでおく。
出力層メモリ1011は入力バッファ1041を通して出力デー
タ線1084とアドレス信号線1081を入力し、出力層ニュー
ロンの出力を取り込む。

WSIボード1030はモード信号線1080、アドレス信号線108
1、クロック信号線1082、入力データ線1083を入力バッ
ファ1041を通して、ウェハ1050へ接続し、ウェハ1050か
ら出力される信号をデコーダ 1085により制御する出力バッファ1040を通して、出力デ
ータ線1084に出力する。また、このデコーダ1085はモー
ド信号線1080とアドレス信号線1081により、デコードを
行う。また、ホストコンピュータ1000からウェハ1050内
のラッチ、メモリ等に書き込む場合、自分のボードアド
レスが指定されているときに行う第13図はウェハ1050の
構成を示す図である。ウェハ1050は、1060のＮブロッ
ク、1061のIOブロック、1062のＢブロック、1063のＰブ
ロックから構成する。各ブロックは等間隔で縦（列）方
向横（行）方向に配列する。ウェハ1050の中央の列の下
辺には、IOブロック1061を配置し、その他の中央の列に
は７個のＢブロック1062を配置する。外部との入出力は
下辺のIOブロック1061が行う。中央の列以外には、Ｎブ
ロック1060を配置し、周辺部にＰブロック1063を配置す
る。Ｐブロック1063はウェハの半導体プロセスにおける
品質管理を行うためのものである。Ｎブロク1060には、
ニューロンブロックを搭載し、Ｂブロック1062には、関
数変換テーブルを搭載する。IOブロック1061はＢブロッ
ク1062の機能の他に外部との入出力を行うための機能も
持つ。IOブロック1061、Ｂブロック1062、Ｎブロック10
60の詳細については、第16図、第17図を用いて説明す
る。

第14図はウエハ1050内の信号線の構成と配置を示す図で
ある。1201はボンディングパッドでIOブロック1061の下
辺に設け、ボンディングワイヤーにより信号線を外部と
接続する。各Ｎブロック1060への信号線は、IOブロック
1061、各Ｂブロック1062において、まず、縦方向に信号
が伝わり、さらに、各横方向へ信号を送る。Ｎブロック
1060内のニューロンブロックの出力は、まず、その行の
IOブロック1061、Ｂブロック1062に集められ、そこで関
数変換を行い、入出力を行う下辺のIOブロック1061へ送
り、外部へ出力する。

第15図に、ウェハ1050の各ブロック1060〜1062への電源
給電方法及びWSI基板1031の構成を示す。第15図におい
て、1301〜1303はボンディングパッド1304はボンディン
グワイヤー1305はコネクタを示す。1310は各ブロック10
60〜1062へ電源を給電するための電源バスである。コネ
クタ1305はWSIボード1030と接続することにより、電源
及び信号線のWSI基板1031への接続を行う。電源線をボ
ンディングパッド1301、1304からWSI基板1031内を通
り、コレクタ1305へ引き出す。また、信号線をボンディ
ングパッド1303からコネクタ1305へ引き出す。ウェハ10
50内では、各ブロック1060〜1062の間に格子状に電源バ
ス1310を設け、各ブロック1060〜1062を電源バス1310と
接続する。電源バス1310の終端には、ボンディングパッ
ド1302を設ける。ウェハ1050上のボンディングパッド13
02とWSI基板1031上のボンディングパッド1301、1304を
ボンディングワイヤー1304により接続することにより、
各ブロック1060〜1062へ電源を給電することができる。
また、ウェハ1050上の第14図のボンディングパッド1201
とWSI基板1031上のボンディングパッド1303をボンディ
ングワイヤー1304により、接続することにより、第12図
の内部ハス1020とIOブロック1061と接続することができ
る。

第16図にＢブロック1062を示す。IOブロック1061はＢブ
ロック図1062の機能の他に外部との入出力機能を持つ。
第16図において、1070は変換テーブル、1071は制御回
路、1072〜1076はセレクタである。IOブロック1061、Ｂ
ブロク1062は、下辺に接続される外部またはIOブロック
1061またはＢブロック1062からモード信号線1080、アド
レス信号線1081、クロック信号線1082を入力し、上辺に
接続されるＢブロック1062とサイドに接続されるＮブロ
ック1060へ出力する。入力データ線1083は、下辺から入
力し、セレクタ1073、変換テーブル1070、セレクタ107
4、セレクタ1076を通り左右辺へ出力するパスを持つ。
また、変換テーブル1070を通らずに、セレクタ1076のみ
を通り、左右辺へ出力することもできる。左右に接続さ
れるＮブロック1060から入力する出力データセン1084は
セレクタ1072セレクタ1073、変換テーブル1070、セレク
タ1074、セレクタ1075を通り、下辺に接続されるＢブロ
ック1062またはIOブロック1061または外部へ出力するパ
スを持つ。また、左右から入力する出力データ線1084は
セレクタ1072、セレクタ1075を通り、下辺の出力するこ
ともできる。セレクタ1072〜1076は、制御回路1071によ
って、制御される。制御回路1071はモード信号線1080と
アドレス信号1081を入力し、セレクタ1072〜1075の制御
信号を発生する。制御回路1071の構成については、第21
図は用いて、後に説明する。また、変換テーブル1070
は、書き込みのため、アドレス信号線1081、入力データ
線1083と接続する。

第17図にＮブロック1060を示す。第17図に示すＮブロッ
ク1060はウェハ1050において、中心より右側に配置する
ものである。左側に配置するＮブロック1060は横方向に
対象なものとなる。第17図において、1100はニューロン
ブロックを示す。1101、1103はセレクタ、1102は制御回
路を示す。各Ｎブロック1060内にはニューロンブロック
1100を６個づつ搭載する。各ニューロンブロック1100
に、モード信号線1080、アドレス信号線1081、クロック
信号線1082、入力データ線1083を接続する、制御回路11
02はアドレス信号線1081をデコードし、セレクタ1101に
より、Ｎブロック1060内の６個のニューロンブロック11
00の出力から１つを選択心、セレクタ1103へ出力する。
セレクタ1103の入力のもう１つは右側に接続されている
Ｎブロック1060から出力される出力データ線1084であ
る。セレクタ1103の出力は左側に接続されるＮブロック
1060またはＢブロック1062またはIOブロック1061と接続
する。セレクタ1103の制御は制御回路1102が行う。

第18図にニューロンブロック1100の詳細を示す。本図は
第９図に示したものとほぼ同様の構成となっている。第
18図において、1121〜1125はラッチを示す。1130は乗算
器、1131はα乗算器、1132はη乗算器を示す。1140〜11
41は加算器を示す。

1150〜1152はセレクタを示す。1160はメモリ、1161はメ
モリのアドレスを指すポインタを示す。メモリ1160に
は、結合元のニューロンブロック1100のアドレスとそれ
結合係数ｗと前回の修正値Δｗを記憶する。1170は制御
回路を示す。ラッチ1121は逆方向ネットワーク側として
動作するときにのみ使用し、入力データ線1083から送ら
れる（４）（５）式における、ｆ′（ｕ）を取り込む。
ラッチ1122順方向ネットワーク側として動作するとき
は、入力データ線1083から送られる（３）式における学
習信号δを取り込み、逆方向ネットワーク側として動作
するときは、入力データ線1083から送られる（３）式に
おけるｘを取り込む。ラッチ1123は逆方向ネットワーク
の出力層として動作するときにのみ使用し、入力データ
線1083から送られる（４）式における教師信号ｔを取り
込む。セレクタ1150はメモリ1160の結合係数w,入力デー
タ線1083、ラッチ1121、ラッチ1122、ラッチ1124を入力
し、そのうち２つを選び、乗算器1130へ出力する。乗算
器1130は入力した値を乗算し、入力する。セレクタ1151
は、η乗算器1132、メモリ1160の結合係数ｗ、乗算器11
30、ラッチ1122、ラッチ1123、ラッチ1124を入力し、そ
のうち２つを選択し、加算器1140へ出力する。加算器11
40は入力する値を加算または減算し、出力する。ラッチ
1024は加算器1140の出力を取り込む。セレクタ1152は、
ラッチ1124、乗算器1130を入力し、そのうち１つを選択
し、ラッチ1125へ出力する。ラッチ1125は第17図のセレ
クタ1101、1103を通して、出力データ線1084へ出力す
る。α乗算器1131はメモリ1160の前回の修正値Δｗを入
力し、定数α倍し、出力する。加算器1141はα乗算器11
31、乗算器1130を入力し、加算して出力する。η乗算器
1132は加算器1141の出力を定数η倍して、出力する。メ
モリ1160は、加算器1140の出力の修正した結合係数ｗ
と、加算器1141の出力の修正値Δｗを取り込む。制御回
路1170はモード信号線1080、アドレス信号線1081、クロ
ック信号線1082を入力し、ニューロンブロック1100内の
セレクタの制御及びラッチ、メモリの書き込みの制御を
行う。以上のWSIによる構成について説明したが、第19
図に示すように、チップによっても、構成することがで
きる。第19図において、1400はチップボード、1401はＮ
チップ、1403はＢチップ、1404はコネクタを示す。チッ
プボード1400を第12図におけるWSIボード1030と差し替
えることにより、同様にニューロンコンピューティング
システムを構成することができる。また、チップとWSI
の混在による構成も可能である。Ｎチップ1401はＮブロ
ック1060と同じ機能を持ち、Ｂチップ1403はＢブロック
1062と同じ機能を有する。ＮチップとＢチップをチップ
ボード1400上でウェハ1050と同様となる接続を行えばよ
い。

以上に説明した第12図のシステムの構成がいろいろな動
作を繰り返すことにより、学習を行う。

第25図は第12図のモード信号線1080に出力するモード信
号の一部を示す図である。各モード信号における簡単な
動作内容について示した。

第12図のシステムは本図のモード信号に従い、いろいろ
な動作を行う。モード信号線1080を1,3,5,8,9,11,13,1
5,17,19に設定することにより、各ラッチ、メモリの初
期値を書き込むことができ。学習動作は時はモード信号
24〜32を使用する。設定する順番に関しては後に第26図
を用いて、説明する。

第25図に従い、第12図のシステムがどのように動作する
か説明し、それに伴い、第12図のシーケンスRAM1013、
第16図の制御回路1071、第17図の制御回路1102、第18図
の制御回路1170の機能についても説明することとする。

まず、第20図を用いて、IOブロック1061、Ｂブロック10
62、Ｎブロック1060及びＮブロック1060内のニューロン
ブロック1100にアクセスするためのアドレスについて説
明する。学習動作時の各ニューロンブロック1100のアド
レスは相対アドレスで動作する。WSIでは、欠陥によ
り、全てのニューロンブロック1100を使用することがで
きない可能性が高い。また、本発明では、順方向ネット
ワークと逆方向ネットワークを構成するニューロンブロ
ック1100は１対１に対応している。そのため、各ニュー
ロンブロック1100は、任意の相対アドレスに設定できる
ようにする。相対アドレスを設定するときは、絶対アド
レスによりアクセスする。第20図（ａ）にウェハ1050内
の各ブロックの絶対アドレスを示す。また、第20図
（ｂ）に絶対アドレスのビット構成を示す。ウェハ1050
内に全部で288個のニューロンブロック1100があるの
で、ウェハ内の絶対アドレスは９ビットとする。また、
それに、ボードアドレス４ビットを加える。なお、ボー
ドアドレスは第12図のデコード1085必要なもので、ウェ
ハ1050内へ送る必要はない。多くのボードを接続する場
合は、ボードアドレスのビットを増やせばよい。ウェハ
ナ内絶対アドレスのうち、３ビットは行アドレス、１ビ
ットは右／左アドレス、２ビットは列アドレス、３ビッ
トはＮブロック内ニューロンブロックアドレスを示す。
行アドレスとは、ウェハ1050の下段からの０〜７行を示
す。右／左アドレスは、中心より、右か左かを示す。列
アドレスはどの列かを示す。Ｎブロック内ニューロンブ
ロックアドレスはＮブロック1060内の６個のニューロン
ブロックのうちどれかを示す。Ｎブロック内アドレスの
ニューロンブロックアドレスを第20図（ｂ）に示す。ま
た、第20図（ｃ）に、チップボード1400内の絶対アドレ
スを示す。

第21図に第16図の制御回路1071を示す。また、第22図に
第17図の制御回路1102を第23図に第18図の制御回路1170
を示す。まず、この３つの図を用い、アドレスのデコー
ド方法について説明する。

第21図において、1501は絶対アドレスの列アドレスをデ
コードする列デコードである。

1502は絶対アドレスの行アドレスをデコードする行デコ
ーダ示す。1503はモード信号線をデコードするデコーダ
を示す。1506〜1507はラッチを示す。1504はインバータ
回路、1505はアンド回路を示す。1511〜1512は引き算回
路で、アドレス信号線1081に送られる相対アドレスとラ
ッチ1506、1507に予め書き込まれてい値と引き算を行
い、その結果の符号を出力する。

1509〜1510はセレクタで、絶対アドレスによるデコーダ
の結果と相対アドレスによるデコードの結果のいずれか
を選択し、出力する。デコーダ1503よりセレクタ1509、
1510に接続される制御線は絶対アドレスか相対アドレス
かを選択するものである。1520はＮブロックセレクト線
を示す。

第22図において、1607はモード信号線1080をデコードす
るデコーダである。

1604はラッチで、入力データ線1083の出力を取り込むこ
とができる。その制御はデコーダ1607が行う。1603は引
き算回路で、アドレス信号線1081に送られる相対アドレ
スとラッチ1604に予め書き込まれている値と引き算を行
い、その結果の符号を出力する。1601〜1602はセレクタ
を示す。セレクタ1601は、列アドレスの絶対アドレスの
デコード結果であるＮブロックセレクト線1520と相対ア
ドレスによるデコード結果のいずれかを選択し、出力す
る。セレクタ1602は、Ｎブロック内の絶対アドレスのデ
コード結果と相対アドレスのデコード結果を選択するも
のである。デコード1607よりセレクタ1601、1602に接続
される制御線は絶対アドレスか相対アドレスかを選択す
るものである。また、Ｎブロックセレクト線1520を捻じ
り、隣りのブロックと接続するのは、各列のＮブロック
1060を同一パターンとすることができるからである。そ
れにより、半導体マスク設計工数を低減することができ
る。1605はデコーダでアドレス信号線1081のうち、絶対
アドレスのＮブロック内アドレスをデコードする。

1606はエンコーダで６個の各ニューロンブロック1100に
おいて、アドレスをデコードされた結果を入力する。

第23図において、1701はラッチで、入力データ線1083に
出力される自分の相対アドレスを取り込む。また、相対
アドレスの他、自分が順方向ネットワーク側として動作
するのか、逆方向ネットワーク側で動作するのか、ま
た、逆方向ネットワーク側で動作する場合は、さらに、
中間層なのか、出力層なのかを示す情報も取り込む。17
03は比較回路で、アドレス信号線1081に出力される相対
アドレスと予め書き込まれているラッチ1701の自分の相
対アドレスを比較し、一致しているかどうをデコーダ17
02へ送る。また、その結果は第22図のデコーダ1605へも
出力する。1704は比較回路で、第18図のメモリ1160の結
合元アドレスとアドレス信号線1081に出力される相対ア
ドレスを比較する。1702はデコーダで、比較回路1703、
ラッチ1701、モード1081、第22図のデコーダ1605、クロ
ック４信号線1082、比較回路1704、第22図のセレクタ16
01を入力し、ニューロンブロック1100内のセレクタ、ラ
ッチ、メモリ、ポインタ、またラッチ1701の制御を行
う。

第25図には、動作を説明するのに必要な事項のみ示した
が、検査のために、ラッチ、メモリなどの書き込み読み
出しなどを行うためのモード信号も設定する。

まず、初期設定として絶対アドレスにより、相対アドレ
スと、順方向ネットワークまたは逆方向ネットワーク、
また、中間層または出力層を示す情報の２ビットを各ニ
ューロンブロク110の第23図の制御回路1170のラッチ170
1に書き込む。ホストコンピュータ1000により、第12図
のセレクタ1051、1052を外部バス1021側とする。モード
信号線1080を17に設定し、アクセスするニューロンブロ
ック1100の絶対アドレスをアドレス信号線1081に設定す
る。書き込みたい値を入力データ線1083に設定する。WS
Iボード1030では、デコーダ1085により、ボードアドレ
スをデコードし、自分のアドレスのときのみ、ウェハ10
50のラッチ、メモリ等の書き込みを行うように制御す
る。

絶対アドレスによる動作では、第21図の行デコーダ1502
により、行アドレスをデコードし、もし、その行が選択
されているかどうかがわかる。また、列デコーダ1501に
より、列アドレスを選択し、１〜４個その行方向にある
Ｎブロック1060のうち１個をそれに接続されているＮブ
ロックセレクト線1520により選択するまた、右／左ビッ
トにより、右側または左側のＮブロック1060かを選択す
る。行デコーダ1502の結果と右／左アドレスをアンド回
路1505によりアンドし、左側のデコーダ1501のイネーブ
ル信号にする。また、行デコーダ1502の結果と右／左ア
ドレスをインバータ回路1504により論理反転したものと
をアンド回路1505によりアンドし、その結果をデコーダ
1501のイネーブル信号とする。選択されたＮブロック10
60内においては、第22図のデコーダ1605により、Ｎブロ
ック内アドレスをデコードし、各ニューロンブロック11
00内の第23図の制御回路1170へその結果を出力する。ま
た、セレクタ1601のＮブロックの選択結果も制御回路11
70へ出力する。セレクト線制御回路1170のデコーダ1702
の制御より、モード信号が17でかつ自分が選択されてい
れば、そのラッチ1701に入力信号線1083に出力されてい
る値を取り込む。以上の動作により全てのニューロンブ
ロック1100のラッチ1701へ書き込む。ただし、同一のウ
ェハ内における相対アドレスは絶対アドレスの小さなも
のから多きなものに向かって増やす。空番号が存在して
もよい。これは、次に説明する出力データ線1084の制御
方法にかかわってくる。

次に、全てのＮブロック1060の第22図のラッチ1604を設
定する。モード信号を15に設定しラッチ1604にはそのＮ
ブロック1060内のニューロンブロック1100に設定されさ
相対アドレスの最も大きな値を書き込む。ホストコンピ
ュータ1000によりモード信号線1080を15に設定し、アク
セスするＮブロック1060の絶対アドレスをアドレス信号
線1081に設定する。Ｎブロック内ニューロンブロックア
ドレスの設定は不要である。書き込みたい値を入力デー
タ線1083に設定する。相対アドレスによる動作時のＮブ
ロック1060における出力データ線1084の制御、即ち、第
17図にのセレクタ1103の制御は第22図の引き算回路1603
により、アドレス信号線1081からラッチ1604を引いた結
果の符号ビットにより行う。ラッチ1604には、そのＮブ
ロック1060内のニューロンブロック1100の最大の相対ア
ドレスが書き込まれているので、そのＮブロック1060よ
り外側のニューロンブロック1100は、ラッチ1604に書き
込まれた値より大きな相対アドレス設定されている。そ
のため、アドレス信号線1081がラッチ1604より大きな値
となる場合には、第17図のセレクタ1103を隣のＮブロッ
ク1060に接続されている出力データ線1084を選択する。

次に、全てのIOブロック1061、Ｂブロック1062の第21図
のラッチ1507にその行のニューロブロック1100に設定さ
れた最大の相対アドレスを書き込む。ホストコンピュー
タ1000により、モード信号線1080を11に設定し、アクセ
スするIOブロック1061またはＢブロック1062の絶対アド
レスの行アドレスをアドレス信号線1081に設定する。右
／左アドレス、列アドレス、Ｎブロック内アドレスの設
定は不要である。書き込む値を入力データ線1083に設定
する。

IOブロック1061,Bブロック1062における出力データセン
1084の制御、即ち、第16図のセレクタ1075の制御は第21
図の引き算回路1512により、アドレス信号線1081からラ
ッチ1507をいた結果の符号ビットにより行う。ラッチ15
07には、その行にあるニューロンブロック1100の最大の
相対アドレスが書き込まれているので、そのブロックよ
り上方のニューロンブロック1100には、ラッチ1507の値
より大きな相対アドレスが設定されている。そのため、
アドレス信号線1081がラッチ1507より大きな値となる場
合には、第16図のセレクタ1075を上方のＢブロック1062
に接続されている出力データ線1084を選択する。

次に、全てのIOブロック1061、Ｂブロック1062の第21図
のラッチ1506にその行の右側のリューロンブロック1100
に設定された最大の相対アドレスを書き込む。ホストコ
ンピュータ1000により、モード信号線1080を13に設定
し、アクセスするIOブロック1061またはＢブロック1062
の絶対アドレスの行アドレスをアドレス信号線1081に設
定する。右／左アドレス、列アドレス、Ｎブロック内ア
ドレスの設定は不要である。書き込む値を入力データセ
ン1083に設定する。第16図のセレクタ1072の制御は第21
図の引き算回路1511により、アドレス信号線1081からラ
ッチ1506を引きた結果の符号ビットにより行う。ラッチ
1506には、その行の右側にあるニューロンブロック1100
の最大の相対アドレスが書き込まれているので、左側の
ニューロンブロック1100には、ラッチ1506の値よりも大
きな相対アドレスが設定されている。そのため、アドレ
ス信号線1081がラッチ1506より大きな値となる場合に
は、第16図のセレクタ1072は左側と接続されている出力
データセン1084を選択する。

次に、IOブロック図1061、Ｂブロック1062の第16図の変
換テーブル1070の書き込みを行う。順方向ネットワーク
を構成するウェハ1050の変換テーブル1070は（１）式は
のｆ変換を、また、逆方向ネットワークを構成するウェ
ハ1050の変換テーブル1070は（４）（５）式のｆ′変換
を行う。

ホストコンピュータ1000により、モード信号線1080を９
に設定し、アドレス号線1081にアクセスするIOブロック
1061、Ｂブロック1062の絶対アドレスの行アドレスを設
定する右／左アドレス、列アドレス、Ｎブロック内アド
レスのビットに変換テーブル1070のアクセスしたいアド
レスを設定する。もし、７ビットで不足する場合は、ア
ドレス信号線1081のビット数を増やす。入力データ線10
83に書き込みたい値を設定する。IOブロック1061、各Ｂ
ブロック1062では、第21図の行デコーダ1502により、行
アドレスをデコードし、自分が選択されていれば、入力
データ線1083に出力されている値を変換テーブル1070に
書き込む。

次に、第12図の入力層メモリ1010に入力層ニューロンの
出力を教師信号メモリ1012に教師信号を書き込む。一般
に、ニューラルネットは、いろいろなパターンを学習さ
せるので、入力層メモリ1010は各パターンごとにセグメ
ント化する。同様に、各パターンに対応する教師信号を
書き込む教師信号メモリ1012もセグメント化する。各パ
ターンごとにアクセスするセグメントを変える。ホスト
コンピュータ1000により、それぞれ、モード信号を１、
３に設定し、アドレス信号を線1081に信号線1081にアド
レスを設定し、各メモリに値を書き込む。

次に、使用するニューロンブロック1100のメモリ1160に
結合係数の初期値を書き込む。モード信号を19に設定
し、まず、アドレス信号線1081にアクセスするニューロ
ンブロック1100のアドレスを設定し、その後アドレス信
号線1081にメモリ1160の書き込むアドレスを設定し、入
力データ線1083に書き込む値を設定する。このように、
アドレス信号線1081を時分割に使用してもよいし、始め
ポインタ1161を０にして、アドレス０から書き込み、順
次ポインタを１づつ進めて、メモリ1160にき込むことも
できる。メモリ1160には、結合するニューロンブロック
110の相対アドレスと、それとの結合係数ｗと、前回の
修正値Δｗを書き込む。ただし、Δｗの初期値は０でよ
い。また、学習動作を途中で中断し、途中結果をホスト
コンピュータ1000に読み出し、また、学習を再開すると
きなどは、それに応じて、必要な値を書き込むことにな
る。また、順方向ネットワークと逆方向ネットワークの
対応している結合係数の初期値は同じ値にする必要があ
る。

次に、第24図に示すようにシーケンスRAM1013に学習を
行うための一連のモード信号と出力を行うニューロンブ
ロック1100の相対アドレスを書き込む。

第26図にその例を示す。第26図では、入力層ニューロン
数３、中間層ニューロン数２、出力層ニューロン数２の
ニューラルネットの学習を行うためのシーケンスRAM101
3の例である。第26図には、１パターンの学習を示す
が、２パターン以上ある場合は、パターンを変えるごと
に、入力層メモリ、教師信号メモリのセグメントを変え
る必要がある。

以下に、学習動作を第26図に従い、説明する。入力層ニ
ューロンの相対アドレスを０〜２、中間層ニューロンの
相対アドレスを３〜４、出力層ニューロンの相対アドレ
スを５〜６とする。順方向ネットワークを構成するボー
ドアドレスを３、逆方向ネットワークを構成するボード
アドレスを４とし、２枚のボードを使用している。

逆方向ネットワークは入力層ニューロンを必要としない
ので、全部で８個のニューロンブロック1100を使用す
る。入力層メモリ、教師信号メモリはボードアドレスを
それぞれ０、１である。

まず、ポンプ1086をリセットする。シーケンスRAM1013
はアドレス０に書き込まれている命令とアドレスをそれ
ぞれ、モード信号線1080、アドレス信号線1081に出力す
る。それより、モード信号線1080を24に設定し、アドレ
ス信号線にアドレス５を設定する。また、ボードアドレ
スを１に設定する。デコーダ1085によりボードアドレス
をデコードシ、教師信号メモリ1012の出力を入力データ
線1083へ出力バッファ1040を通して、出力させる。教師
信号メモリ1012は、アドレス信号線1081に指定されるア
ドレス５の値を出力をする。逆方向ネットワーク側の出
力層の相対アドレスが５のニューロンブロック1100は入
力データ線1083に出力されている自分の教師信号を第18
図のラッチ1123に取り込む。同様に相対アドレスが６の
逆方向ネットワークの出力層のニューロンブロック100
に対しても行う。

ここで、ラッチ、メモリ等に書き込むには、アドレスの
ホールド時間や書き込むデータのホールド時間が必要で
ある。そのため、クロック信号線1082のクロック信号に
より、それらへのライトイネーブル信号のタイミングを
作る。

次に、ポインタ1086はクロック信号線1082よりクロック
を入力すると、第12図のポインタ1086は１つ進み、次の
命令に移る。モード信号線1080を25に設定し、第18図の
ポインタ1161をリセットする。また、第18図のニューロ
ンブロック110内のラッチ1124の内容もリセットする。

次の命令では、順方向動作を行う。モード信号線1080を
26に設定し、アドレス信号線は、入力層から出力層に向
かって、相対アドレスの小さい順にニューロンブロック
1100が指定する。ボードアドレスは入力層ではボードア
ドレス０を、そして、中間層、出力層ではボードアドレ
ス３を設定する。指定された入力層メモリ1010は入力デ
ータ線1083へ、その値を出力し、全てのニューロンブロ
ック1100へブロードキャストする。ニューロンブロック
1100では、26に設定されているモード信号線1080を第23
図のデコーダ1702でデコードし、第18図のニューロンブ
ロック1100の各セレクタを制御する。セレクタ1150はメ
モリ1160の結合係数ｗと入力データ線1083を乗算器1130
へ出力する。乗算器1130により、結合係数ｗとニューロ
ンの出力ｘとのシナプス演算、即ち、乗算を行う。セレ
クタ1151は乗算器1130とラッチ1124を加算器1140へ出力
するラッチ1124に加算器1140の出力を書き込む。セレク
タ1152はセレクタ114を選択する。ラッチ1125はその値
を取り込む。第23図の制御回路1170の比較回路1704によ
り、メモリ1160の結合元アドレスとアドレス信号線1081
に出力されているアドレスを比較し、一致しているとき
に、ラッチ1124と乗算器1130の出力を加算し、その結果
をラッチ1124に書き込む。そして、第18図のポイン1161
の値を１つ進める。このように、順次、アドレス信号線
1081に送られる出力元の相対アドレスと入力データ線10
83に送られるその出力を入力し、累積加算を行う。メモ
リ1160には、結合元アドレスの小さい順に書き込んでお
く。また、アドレス信号線1081と第23図のラッチ1701の
書き込まれた自分の相対アドレスを比較回路1703によ
り、比較し、一致していれば累積加算の結果、即ち、ラ
ッチ1125の内部エネルギー値ｕを第17図のセレクタ110
1、1103、出力データ線1084を通して、第16図のセレク
タ1072に送られる。IOブロック1061、Ｂブロック1062の
第21図のデコーダ1503は、モード信号が26に設定されて
いるとき、セレクタ1073はセレクタ1072側を選択し、セ
レクタ1074は変換テーブル1070を選択する。また、セレ
クタ1076は下側から送られる入力データ線1083をそのま
ま、サイドのＮブロック1060に送るように、入力データ
線1083側を選択する。セレクタ1072、1075はアドレス信
号線1081を前述の方法により、制御する。これにより、
相対アドレスを指定されたニューロンブロック1100の出
力である内部エネルギー値ｕはその行の変換テーブル10
70に送られ、ニューロンの出力ｘに変換され、出力デー
タ線1084により、第12図のコントロールボード1003へ送
られる。第12図のセレクタ1052は、出力データ線1084の
値を、そのまま、入力データ線1083へ出力する。

また、このモードにおける逆方向ネットワーク側では、
第18図において、アドレス信号線1081に自分の相対アド
レスが出力されたときに、入力データ線1083の値をラッ
チ1122に取り込む。

次の動作では、モード信号線1080を27に設定し、中間層
と出力層の相対アドレスをアドレス信号1081に順次設定
していく。相対アドレスを指定された順方向ネットワー
クのニューロンブロック1100は再び第18のラッチ1125の
内容、即ち、内部エネルギー値ｕを第16図のIOブロック
1061、Ｂブロック1062へ送る。モード27において、IOブ
ロック1061、Ｂブロック1062のセレクタ1074はセレクタ
1072を選択する。そのため、内部エネルギー値ｕがその
まま下側の出力データ線1084へ出力する。アドレス信号
線1081のデコード方法に関しては、モード26と同様であ
る。内部エネルギー値ｕは、第12図のコントロールボー
ドを通り、出力データ線1084へ出力される。一方、逆方
向ネットワークのIOブロック1061、Ｂブロック1062で
は、セレクタ1073を入力データセン1083側に、セレクタ
1074を変換テーブル1071側に、セレクタ1076をセレクタ
1074側に設定する。入力データ線1083により送られる内
部エネルギー値ｕは、変換テーブル1071により、ｆ′変
換して、ｆ′（ｕ）となり、サイドのＮブロック1060へ
入力データ線1083により出力する。逆方向ネットワーク
の第18図のニューロンブロック1100では、アドレス信号
線1081に出力されるアドレスと自分の相対アドレス一致
すれば、入力データ線1083に出力されいるｆ′（ｕ）を
ラッチ1121に取り込む。

次にモード信号線1080を28に設定する。逆方向ネットワ
ークの出力層のニューロンブロック1100はセレクタを次
のように設定する。第18図において、セレクタ1151はラ
ッチ1122とラッチ1123を加算消1140に出力する。加算器
1140により（ｔ−ｘ）を計算し、ラッチ1124へ書き込
む。セレクタ1150はラッチ1124とラッチ1121を乗算器11
30へ出力する。乗算器1130により、ラッチ1124の（ｔ−
ｘ）とラッチ1121のｆ′（ｕ）の乗算を行い出力層の学
習信号δを計算する。セレクタ1152は乗算器1130の出力
をラッチ1125へ出力する。ラッチ1125に学習信号δを書
き込む。

次の命令では、モード信号線1080を25に設定し、第18図
のポインタ1161をリセットする。また、第18図のニュー
ロンブロック1100内のラッチ1124をリセットする。

次の命令では、モード信号線1080を29に設定し、出力層
の相対アドレスをアドレ信号線1081に小さい順に設定し
ていく。相対アドレスを指定された逆方向ネットワーク
の第18図のニューロンブロック1100はラッチ1125の内
容、即ち、出力層の学習信号δを第16図のIOブロック10
61、Ｂブロック1062へ送る。モード29において、IOブロ
ック1061、Ｂブロック1062の第16図のセレクタ1074はセ
レクタ1072を選択するので、学習信号δがそのまま出力
データ線1084へ出力される。アドレス信号線1081のデコ
ードに関しては、モード26と同様である。学習信号δ
は、第12図のコントロールボード1003を通り、入力デー
タ線1083へ出力される。順方向ネットワークのIOブロッ
ク1061、Ｂブロック1062では、第16図のセレクタ1076を
下側と接続されている入力データ線1083側に設定する。
逆方向ネットワークから送られる学習信号δは、サイド
のＮブロック1060へ出力される。順方向ネットワークの
第18図のニューロンブロック110では、アドレス信号線1
081に出力されるアドレスと自分の相対アドレス一致す
れば、入力データ線1083に出力されている学習信号δを
ラッチ1122に取り込む。

また、逆方向ネットワークの中間層のニューロンブロッ
ク1100では、セレクタ1150はメモリ1160の結合係数ｗと
入力データ線1083を乗算器1130へ出力する。乗算器1130
により、係合係数ｗと学習信号δとの乗算を行う。セレ
クタ1151は乗算器1130とラッチ1124を加算器1140へ出力
する。ラッチ124は加算器1140の出力を取り込む。第23
図の比較回路1704により、メモリ1160が出力する結合元
アドレスとアドレス信号線1081を比較し、一致している
ときに、ラッチ1124と乗算器1130の出力を加算し、ラッ
チ1124に書き込む。そして、ポインタ1161の値を１つ進
める。このように、順次、アドレス信号線1081と入力デ
ータ線1083に送られてくる。出力元のニューロンブロッ
ク1100の相対アドレスとその出力を入力し、Σｗ・δの
累積加算を行う。

次の命令では、モード信号線1080を30に設定する。逆方
向ネットワークの出力層のニューロンブロック1100はセ
レクタを次のように設定する。第18図において、セレク
タ1150はラッチ1124とラッチ1121を乗算器1130へ出力す
る乗算器1130により、ラッチ1124のΣｗ・δとｆ′
（ｕ）の乗算を行い中間層の学習信号δを計算する。セ
レクタ1152は乗算器1130の出力をラッチ1125へ出力す
る。ラッチ1125に学習信号δを書き込む。

次に、モード信号線1080を29に設定し、中間層の学習信
号δを全ニューロンブロック1100にブロドキャストす
る。順方向ネットワークのニューロンブロック1100は、
アドレス信号線1081の値と第23図のラッチ1701に書き込
まれた自分の相対アドレス比較回路1703により、比較
し、一致していれば、学習信号δをラッチ1122に取り込
む。

中間層が２層以上あるいは場合は、この後、再びモード
30の命令を行い、学習信号δを計算し、その後モード29
により順方向ネットワークへ送ればよい。

次の命令では、モード信号線1080を25に設定し、第18図
のポインタ1161をリセットする。

次に、モード信号線1080を、31に設定し、アドレス信号
線1081を入力層から中間層に向かって相対アドレスの小
さい順に指定する。入力層に関しては、入力層メモリ10
10から出力する。中間層に関して、順方向ネットワーク
の中間層のニューロンブロック1100はその内部エネルギ
ー値ｕをIOブロク1061、Ｂブロッック1062の変換テーブ
ル1070でｆ変換し、その値をブロードキャストする。順
方向ネットワークの第18図のニューロンブロック1100の
各セレクタを次のように制御する。セレクタ1150はラッ
チ1122と入力データ線1083を乗算器1130へ出力する。乗
算器1130により、ラッチ1122の学習信号δとニューロン
の出力ｘの乗算を行う。セレクタ1151はメモリ1160の結
合係数ｗとη乗算機1132を加算器1140へ出力する。ま
た、α乗算機1131はメモリ1160の前回の修正値Δｗ′を
入力し、α倍し、αΔｗ′を出力する。加算器1141は乗
算器1130の出力δ・ｘとα乗算器1131の出力αΔｗ′を
入力し、加算してη乗算器1132に出力する。η乗算器11
32の出力は、修正値である。メモリ1160のΔｗ′には、
ηを掛ける前の値を書き込む。

w_ji ⁿ⁺¹＝w_ji ^η＋η・Δｗ′_ji ⁿ⁺¹ （６） Δｗ′_ji ⁿ⁺¹＝δ_ｊ・x_i＋α・Δｗ′_ji ⁿ⁺¹ （７） 定数ηは広範囲な値となるのでこのようにすることによ
り、メモリ1160へ書き込むΔｗ′のビット数を節約する
ことができる。加算器1140により、結合係数ｗを修正
し、メモリ1160にその修正結果を書き込む。また、以上
の修正動作は、第23図の比較回路1704により、メモリ11
60の結合元のアドレスとアドレス信号線1081が一致して
いるときに行う。

次に、モード信号線1080を25に設定し、第18図のポイン
タ1161をリセットする。

次に、モード信号線1080を32に設定し、逆方向ネットワ
ークの出力層のニューロンブロック1100の相対アドレス
をアドレス信号線1081に設定し、学習信号δをブロード
キャストする。もし、中間層が２層以上ある場合は、中
間層の学習信号δもブロードキャストする。逆方向ネッ
トワークの第18図のニューロンブロック1100の各セレク
タをモード31の順方向ネットワークの結合係数ｗの修正
とと同じように設定する。乗算器1130により、ラッチ11
22のニューロンの出力ｘと入力データ線1083に出力され
る学習信号δの乗算を行い、η乗算器1132、加算器114
0、α乗算器1131、加算器1141により、修正値Δｗ′お
よび修正した結合係数ｗを計算し、メモリ1160に書き込
む。

以上の動作を各パターンごとに、入力層メモリ、教師信
号メモリのセグメントを変えて行うことにより、学習動
作を行うことができる。また、出力層メモリ1011は、出
力データ線1084に出力される順方向ネットワークの出力
層ニューロンの出力を取り込む。ホストコンピュータ10
00は出力層メモリ1011を外部バス1021から読み出し、期
待する出力となっているか調べることができる。第12図
のアプリケーションの例として、例えば、第12図のディ
ジタイザー1001により、手書き文字を入力し、ホストコ
ンピュータ1000により入力した文字の座標を正規化し、
ニューラルネットの入力とし、手書き文字を認識するシ
ステムを作ることができる。第12図のシステムにおい
て、入力層ｐ個、中間層ｑ個、出力層ｒ個の階層型ニュ
ーラルネットの１パターン１回の学習に要する時間は、
１回に要する累積加算の時間をｔとすると、ほぼ、 （2p＋4q＋5r）・ｔ（ｓ） （８） となる。例えば、手書き文字認識にｐを256（16ドット
×16ドット）、ｑを100、ｒを26、ｔを100msとすると、
１パターンの１回の学習を約0.1msで行うことができ
る。１文字の学習に1000回の繰り返しが必要としても、
10文字パターンの学習をわずか１秒で行うことができ
る。

［発明の効果］ 本発明によれば、ニューラルネットを高速に学習させる
ことができる。また、ウェハスケール集積回路で構成す
るのに好都合で、複数のウェハで構成することも可能で
ある。また、その設計工数も少ない。そのため、大規模
なニューラルネットを高速に計算ができ、かつコンパク
トなニューロコンピュータ用のウェハスケール集積回路
を製造することができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す図、第２図はニューラ
ルネットを構成するニューロンモデルを示す図、第３図
は３層の階層型ニューラルネットを示す図、第４図はニ
ューラルネットを高速に計算する専用ハードウェハを示
す図、第５図は本発明の動作の詳細について説明する
図、第６図は本発明による演算の流れを示す図、第７
図、第８図、第９図はそれぞれ本発明で用いる機能ブロ
ックの一例の詳細を示す図、第10図、第11図はそれぞれ
本発明の他の一実施例を示す図、第12図は本発明ニュー
ロコンピューティングシステムの全体を示す図、第13図
は本発明のニューロコンピューティングシステムのウェ
ハの構成を示す図、第14図はウェハの信号線の構成と配
置を示す図、第15図はウェハの各ブロックへの電源供給
方法およびWSI基板の構成を示す図、第16図はＢブロッ
ク（IOブロック）を示す図、第17図はＮブロックを示す
図、第18図はニューロンブロックの詳細を示す図、第19
図は本発明のシステムをチップにより構成した場合につ
いて説明する図、第20図はIOブロック、Ｂブロック、Ｎ
ブロック、Ｎブロック内のニューロンブロックにアクセ
スするためのアドレスについ説明する図、第21図は第16
図のの制御回路を示す図、第22図は第17図の制御回路を
示す図、第23図は第18図の制御回路を示す図、第24図は
シーケンスRAMについて説明する図、第25図はモード信
号とその動作の一例を示す図、第26図は第24図のシーケ
ンスRAMに書き込む命令の一例を示す図である。 符号の説明 120F,121F,120B,121B……計算ユニット、123,124……制
御回路、125〜127……セレクタ、128……バッファ、130
……制御信号発生回路、131,132……関数変換回路、140
……出力バス、141……入力バス、142〜145……制御信
号線、150……外部入力端子、151……外部出力端子、16
0……乗算器。

フロントページの続き (72)発明者 柳生 正義 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 山田 稔 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 柴田 克成 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (56)参考文献 特開 昭60−219837（ＪＰ，Ａ)

Claims (18)

【特許請求の範囲】
1. 【請求項１】少なくとも１つの計算ユニットによって構
   成され、外部からの信号が入力される入力層、該入力層
   の出力を入力し入力値に対応した出力値を出力する中間
   層、及び上記入力層または中間層の出力を入力し入力値
   に対応した出力値を出力する出力層を備えた階層型ネッ
   トワークであって、入力層から出力層に向かって順方向
   に出力値を決定する第１のネットワークと、 少なくとも１つの計算ユニットによって構成され上記第
   １のネットワークに対応して少なくとも中間層及び該中
   間層に接続された出力層を備えた階層型ネットワークで
   あって、出力層から中間層に向かって逆方向に出力値を
   決定する第２ネットワークと、 上記第１及び第２のネットワーク間を相互に通信して上
   記各々のネットワークの計算ユニットの出力値を修正値
   を修正する手段と、 を有することを特徴とする情報処理装置。
2. 【請求項２】上記計算ユニットは、他の計算ユニットか
   ら入力し、該入力値に重み付けした値の総和を計算し、
   該総和層に対応して出力値を決定するニューロン計算ユ
   ニットで構成される請求項１記載の情報処理装置。
3. 【請求項３】上記第１のネットワークの入力層は、外部
   からの入力信号を記憶する機能を有する請求項１記載の
   情報処理装置。
4. 【請求項４】上記中間層または出力層を構成する複数の
   計算ユニットは、１枚のウェハスケール集積回路上に集
   積される請求項１記載の情報処理装置。
5. 【請求項５】上記第１のネットワークは、少なくとも１
   枚の第１のウェハスケール集積回路上に集積され、上記
   第２のネットワークは、少なくとも１枚の第２のウェハ
   スケール集積回路上に集積される請求項１記載の情報処
   理装置。
6. 【請求項６】上記第１のネットワークの入力層は第１の
   機能ブロックとして、上記第１のネットワークの中間層
   及び出力層は第２の機能ブロックとして構成され、上記
   第２のネットワークの中間層及び出力層は第３の機能ブ
   ロックとして構成される請求項１記載の情報処理装置。
7. 【請求項７】少なくとも１つのデータパスを有し、上記
   第１の機能ブロックと上記第２の機能ブロック間の通信
   と、上記第２の機能ブロック間の通信と、上記第３の機
   能ブロック間の通信と、上記第２の機能ブロックと上記
   第３の機能ブロック間の通信を上記データパスによって
   行う請求項６記載の情報処理装置。
8. 【請求項８】上記第２の機能ブロックと上記第３の機能
   ブロックは、同一の回路で構成される請求項４記載の情
   報処理装置。
9. 【請求項９】少なくとも１つの計算ユニットによって構
   成され、外部からの信号が入力される入力層、該入力層
   の出力を入力し入力値に対応した出力値を出力する中間
   層、及び上記入力層または中間層の出力を入力し入力値
   に対応した出力値を出力する出力層を備えた階層型ネッ
   トワークであって、入力層は第１の機能ブロックとし
   て、中間層及び出力層は第２の機能ブロックとして構成
   され、上記第１機能ブロック及び上記第２の機能ブロッ
   クは入力層側の出力値に対する重み値を保持し、入力層
   から出力層に向かって順方向に上記第１の機能ブロック
   及び上記第２の機能ブロックの出力値を決定する第１の
   ネットワークと、 少なくとも１つの計算ユニットによって構成され、上記
   第１のネットワークに対応して少なくとも中間層及び該
   中間層に接続された出力層を備えた階層型ネットワーク
   であって、中間層及び出力層は上記第２の機能ブロック
   に対応して第３の機能ブロックから構成され、上記第３
   の機能ブロックは出力層側の出力に対する重み値を保持
   し、出力層から中間層に向かって逆方向に上記第３の機
   能ブロックの出力値を決定する第２のネットワークと、 上記第２の機能ブロックと上記第３の機能ブロックとを
   相互に通信する手段とを有し、 上記第２の機能ブロックの保持する重み値と上記第３の
   機能ブロックの保持する重み値を１対１に対応させ、同
   一の値に修正することを特徴とする情報処理装置。
10. 【請求項１０】少なくとも１つのデータバスを有し、上
    記第１の機能ブロックと上記第２の機能ブロック間の通
    信と、上記第２の機能ブロック間の通信と、上記第３の
    機能ブロック間の通信と、上記第２の機能ブロックと上
    記第３の機能ブロック間の通信を上記データバスによっ
    て行う請求項９記載の情報処理装置。
11. 【請求項１１】少なくとも１つの第１のデータバスと少
    なくとも１つの第２のデータバスに接続された複数の機
    能ブロックと、 上記機能ブロックから第１のデータバスへ出力される値
    を関数により変換し、上記第２のデータバスへ出力する
    第１の関数計算手段と、 上記機能ブロックから第１のデータバスへ出力される値
    を上記関数の導関数により変換し、上記第２のデータバ
    スへ出力する第２の関数計算手段と、 上記機能ブロックから第１のデータバスへの出力を制御
    する手段とを有し、 上記機能ブロックは、入力値に重み付した値の総和を計
    算し、該総和値に対応して出力値を決定するニューロン
    モデルを計算する手段、当該機能ブロックの出力を上記
    第１のデータバスへ出力する手段、及び上記第１又は上
    記第２の関数計算手段にて上記第２のデータバスに出力
    される値を入力する手段を備えたことを特徴とする情報
    処理装置。
12. 【請求項１２】少なくとも１つの計算ユニットによって
    構成され、入力層、中間層及び出力層を備えた階層型ネ
    ットワークであって、入力層は第１の機能ブロックとし
    て、中間層及び出力層は第２の機能ブロックとして構成
    され、上記第１の機能ブロックは第１のデータバスと接
    続され、上記第２の機能ブロックは上記第１のデータバ
    スと第２のデータバスと接続され、入力層から出力層に
    向かって順方向に上記第１の機能ブロック及び上記第２
    の機能ブロックの出力値を決定する第１のネットワーク
    と、 少なくとも１つの計算ユニットによって構成され、上記
    第１のネットワークに対応して少なくとも中間層及び出
    力層を備えた階層型ネットワークであって、中間層及び
    出力層は上記第２の機能ブロックに対応して第３の機能
    ブロックから構成され、上記第３の機能ブロックは上記
    第１のデータバスと上記第２のデータバスに接続され、
    出力層から中間層に向かって逆方向に上記第３の機能ブ
    ロックの出力値を決定する第２のネットワークと、 第２のデータバスへ出力される値を関数により変換して
    上記第１のデータバスへ出力する第１の関数計算手段
    と、上記第２のデータバスへ出力される値を直接上記第
    １のデータバスへ出力する手段と、上記第２のデータバ
    スへ出力される値を上記関数の導関数により変換して上
    記第１のデータバスへ出力する第２の関数計算手段とを
    有し、 上記第２の機能ブロックは、入力値に重み付けするため
    のニューロンモデルの重み値を記憶する手段、上記重み
    付けされた入力値の総和を計算してニューロンモデルの
    内積演算を行う手段、及び上記重み値を書き換えて修正
    する手段を備え、 上記第３の機能ブロックは、上記ニューロンモデルの重
    み値を保持する手段、上記重み値を修正するために必要
    な値を計算する手段、及び上記重み値を書き換えて修正
    する手段を備え、 上記第２の機能ブロックは対応する上記第３の機能ブロ
    ックと相互に通信し、上記第２の機能ブロックと上記第
    ３の機能ブロックはそれぞれが保持する上記重み値を対
    応する重み値と同一の値に修正することを特徴とする情
    報処理装置。
13. 【請求項１３】上記中間層または出力層を構成する複数
    の計算ユニットは、１枚のウェハスケール集積回路上に
    集積される請求項12記載の情報処理措置。
14. 【請求項１４】上記第１のネットワークは、少なくとも
    １枚の第１のウェハスケール集積回路上に集積され、上
    記第２のネットワークは、少なくとも１枚の第２のウェ
    ハスケール集積回路上に集積される請求項12記載の情報
    処理装置、
15. 【請求項１５】上記第１のウェハスケール集積回路と上
    記第２のウェハスケール集積回路は同一の回路で構成さ
    れる請求項14記載の情報処理装置。
16. 【請求項１６】上記第１の機能ブロックと上記第２の機
    能ブロックを同一の回路構成とする請求項13記載の情報
    処理装置。
17. 【請求項１７】入力層、中間層、及び出力層を備えた階
    層型ネットワークを有する情報処理装置の学習方法にお
    いて、 上記入力層から上記出力層に向かって順方向に出力層に
    向かって順方向に出力値を決定し、 上記中間層及び上記出力層は入力層側の出力値に対する
    第１の重み値を保持し、 学習時には、上記出力層から入力層に向かって逆方向に
    学習信号値を決定し、 上記入力層及び上記中間層は出力層側の学習信号値に対
    する第２の重みを保持し、 上記第１の重み値と第２の重み値は、上記学習によって
    同一の値に修正することを特徴とする情報処理装置の学
    習方法。
18. 【請求項１８】第１のデータバス（140）と、 情報処理装置の外部からのデータの入力と外部へのデー
    タの出力をおこなうための第２のデータバス（141）
    と、 ニューロンモデルの重み値を保持し、上記第２のデータ
    バス（141）からデータを入力して、入力された各々の
    データに上記保持されているニューロンモデルの重み値
    に従って重み付けし、重み付けしたデータの総和を計算
    してニューロンモデルの内積を計算し、該内積に対応し
    た出力を上記第１のデータバス（140）へ出力する第１
    の計算ユニット（120F）、第２の計算ユニット（121
    F）、第３の計算ユニット（121B）、及び第４の計算ユ
    ニット（120B）と、 上記第１の計算ユニット（120F）及び上記第２の計算ユ
    ニット（121F）によって計算されたニューロンモデルの
    内積を、上記第１のデータバス（140）から入力して、
    関数により変換し、上記第２のデータバス（141）に出
    力する第１の関数計算手段（131）と、 上記第１の計算ユニット（120F）及び上記第２の計算ユ
    ニット（121F）によって計算されたニューロンモデルの
    内積を、上記第１のデータバスから入力して、上記関数
    により変換して、上記第２のデータバス（141）に出力
    する第２の関数計算手段（132）と、 上記第１の計算ユニット（120F）、上記第２の計算ユニ
    ット（121F）、上記第３の計算ユニット（121B）、上記
    第４の計算ユニット（120F）、上記第１の関数計算手段
    （131）、及び上記第２の関数計算手段を制御するため
    の制御手段（130,125,126,127）とを備えた情報処理装
    置の学習方法であって、 上記情報処理装置が、外部からデータを入力して、上記
    第１の計算ユニット（120F）、上記第２の計算ユニット
    （121F）、及び上記第１の関数計算手段（131）を有す
    る順方向ネットワークによって計算を行うことにより、
    上記順方向ネットワークの出力値を決定し、 与えられた入力に対して期待される出力値を入力し、上
    記第３の計算ユニット（121B）、及び上記第４の計算ユ
    ニット（120B）を有する逆方向ネットワークと、上記第
    ２の関数計算手段（132）によって計算をおこなうこと
    により、上記逆方向ネットワークの学習信号値を決定
    し、 上記第１乃至第４の各計算ユニットの出力値と上記学習
    信号値の積に比例した値をニューロンモデルの重み値に
    加算することにより、上記重み値を修正することを特徴
    とする情報処理装置の学習方法。