JPH05197707A - 情報処理システム - Google Patents
情報処理システムInfo
- Publication number
- JPH05197707A JPH05197707A JP4209163A JP20916392A JPH05197707A JP H05197707 A JPH05197707 A JP H05197707A JP 4209163 A JP4209163 A JP 4209163A JP 20916392 A JP20916392 A JP 20916392A JP H05197707 A JPH05197707 A JP H05197707A
- Authority
- JP
- Japan
- Prior art keywords
- output
- value
- input
- memory
- selector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【目的】 高速学習可能なニューラルネットにより構成
される情報処理システムを実現する。 【構成】 データバス１０８０〜１０８４により接続さ
れる半導体集積回路１０５０と、入力値を記憶する第１
のメモリ１０１０と、出力の所望する値を記憶する第２
のメモリ１０１２と、出力値を記憶する第３のメモリ１
０１１と、これらを制御する制御回路１００３を備えた
情報処理システムであって、半導体集積回路はニューロ
ンモデルを計算する複数の機能ブロックを有し、機能ブ
ロックの１つはデータバスにより、自他の機能ブロック
の少なくともいずれかへデータを転送する手段と、複数
の入力値とそれらの入力値に対応する出力の所望する値
に対して、ニューロンモデル間の重み値を修正する手段
を有するものである。
される情報処理システムを実現する。 【構成】 データバス１０８０〜１０８４により接続さ
れる半導体集積回路１０５０と、入力値を記憶する第１
のメモリ１０１０と、出力の所望する値を記憶する第２
のメモリ１０１２と、出力値を記憶する第３のメモリ１
０１１と、これらを制御する制御回路１００３を備えた
情報処理システムであって、半導体集積回路はニューロ
ンモデルを計算する複数の機能ブロックを有し、機能ブ
ロックの１つはデータバスにより、自他の機能ブロック
の少なくともいずれかへデータを転送する手段と、複数
の入力値とそれらの入力値に対応する出力の所望する値
に対して、ニューロンモデル間の重み値を修正する手段
を有するものである。
Description
【０００１】
【産業上の利用分野】本発明は、音声認識、画像処理、
制御などに利用するニューラルネットを高速に学習する
ことができる情報処理システムに関する。特に、ウェハ
スケール集積回路（ＷＳＩ）上に構成するのに好都合
で、高速な学習機能付きの大規模なニューラルネットを
コンパクトでかつ低価格で提供する情報処理システムに
関する。
制御などに利用するニューラルネットを高速に学習する
ことができる情報処理システムに関する。特に、ウェハ
スケール集積回路（ＷＳＩ）上に構成するのに好都合
で、高速な学習機能付きの大規模なニューラルネットを
コンパクトでかつ低価格で提供する情報処理システムに
関する。
【０００２】
【従来の技術】ニューラルネットは認識、知識処理など
の情報処理に応用されている。ニューラルネットは入力
と期待する出力値を与えれば、学習により自己組織化が
可能である。そのため、プログラムを必要とせず、その
応用が期待されている。
の情報処理に応用されている。ニューラルネットは入力
と期待する出力値を与えれば、学習により自己組織化が
可能である。そのため、プログラムを必要とせず、その
応用が期待されている。
【０００３】学習アルゴリズムの１つに、ランメルハー
ト(Rumelhart) らによるパラレルディストリビューティ
ド プロセスィング (Rarallel Distributed Processin
g)第8章318〜362頁及び日経エレクトロニクス 1987.8.1
0（No.427）115〜121ページに紹介されている、”バッ
クプロパゲーション”が知られている。以下に、このバ
ックプロパゲーションを説明する。
ト(Rumelhart) らによるパラレルディストリビューティ
ド プロセスィング (Rarallel Distributed Processin
g)第8章318〜362頁及び日経エレクトロニクス 1987.8.1
0（No.427）115〜121ページに紹介されている、”バッ
クプロパゲーション”が知られている。以下に、このバ
ックプロパゲーションを説明する。
【０００４】図２にニューラルネットを構成するニュー
ロンのモデルを示す。ニューロンは他のニューロンから
入力ｘi を入力する。そして、それぞれの入力ｘi に対
し重み値ｗjiで重み付けを行い、その総和である内部エ
ネルギー（内積）ｕj を計算する。この値を例えばシグ
モイド関数ｆによって変換し、出力ｘj を出力する。こ
こで、重み値ｗjiは、ニューロンｊにおいて、入力する
ニューロンｉに対する重み値である。
ロンのモデルを示す。ニューロンは他のニューロンから
入力ｘi を入力する。そして、それぞれの入力ｘi に対
し重み値ｗjiで重み付けを行い、その総和である内部エ
ネルギー（内積）ｕj を計算する。この値を例えばシグ
モイド関数ｆによって変換し、出力ｘj を出力する。こ
こで、重み値ｗjiは、ニューロンｊにおいて、入力する
ニューロンｉに対する重み値である。
【０００５】
【数１】
【０００６】
【数２】
【０００７】複数のニューロンを結合することによっ
て、ニューラルネットを構成できる。そして、重み値ｗ
jiを変えることによって、いろいろな情報処理を行うこ
とが可能である。
て、ニューラルネットを構成できる。そして、重み値ｗ
jiを変えることによって、いろいろな情報処理を行うこ
とが可能である。
【０００８】図３に階層型ニューラルネットを示す。本
図は、入力層、中間層、出力層の３階層から構成されて
いるが、中間層を複数とする構成にしてもよい。入力に
対し、情報処理を行なって出力する順方向に動作するモ
ードと、与えた入力に対して期待する出力値を外部から
与え、出力層側から入力層側へ向かって、重み値ｗjiを
修正していく逆方向に動作するモードを持つ。そのとき
の重み値ｗjiの修正値Δｗjiをニューロンｊでは
図は、入力層、中間層、出力層の３階層から構成されて
いるが、中間層を複数とする構成にしてもよい。入力に
対し、情報処理を行なって出力する順方向に動作するモ
ードと、与えた入力に対して期待する出力値を外部から
与え、出力層側から入力層側へ向かって、重み値ｗjiを
修正していく逆方向に動作するモードを持つ。そのとき
の重み値ｗjiの修正値Δｗjiをニューロンｊでは
【０００９】
【数３】
【００１０】とする。ここで、ｎは学習の回数、α、η
は定数である。また、関数δを以下のように決定する。
は定数である。また、関数δを以下のように決定する。
【００１１】出力層のニューロンｋでは、期待する出力
値をｔk とすると、
値をｔk とすると、
【００１２】
【数４】
【００１３】とし、中間層のニューロンｊでは、
【００１４】
【数５】
【００１５】と決める。ここで、関数ｆ’は関数ｆの導
関数である。
関数である。
【００１６】以上のように修正値Δｗを決定し、重み値
ｗを修正していく。そして、出力層の出力が期待するも
のとなるまで、以上の学習を繰り返す。
ｗを修正していく。そして、出力層の出力が期待するも
のとなるまで、以上の学習を繰り返す。
【００１７】一般に、ニューラルネットの解明及びその
応用の研究は、逐次型計算機上でソフトウェアによるシ
ミュレーションによって行っている。しかし、非常に多
くの、例えば数千あるいは数万個のニューロンで構成す
る大規模なニューラルネットの学習を行うには、膨大な
計算時間が必要となる。また一般に、学習には非常に多
くの反復を必要とする場合が多い。そのため、大規模な
ニューラルネットの能力はよくわかっていないのが現状
である。
応用の研究は、逐次型計算機上でソフトウェアによるシ
ミュレーションによって行っている。しかし、非常に多
くの、例えば数千あるいは数万個のニューロンで構成す
る大規模なニューラルネットの学習を行うには、膨大な
計算時間が必要となる。また一般に、学習には非常に多
くの反復を必要とする場合が多い。そのため、大規模な
ニューラルネットの能力はよくわかっていないのが現状
である。
【００１８】一方、専用のハードウェアによってニュー
ラルネットを高速に計算させる試みがある。その一つで
ある、”完全ディジタルニューロＷＳＩの基本設計”、
1989年 電子情報通信学会 春季全国大会講演論文集 ７
分冊 SD-1-5,291〜292ページで発表された方式を図４に
示す。ここでＷＳＩとは、ウェハスケール インテグレ
ーション(Wafer Scale Integration)のことである。
ラルネットを高速に計算させる試みがある。その一つで
ある、”完全ディジタルニューロＷＳＩの基本設計”、
1989年 電子情報通信学会 春季全国大会講演論文集 ７
分冊 SD-1-5,291〜292ページで発表された方式を図４に
示す。ここでＷＳＩとは、ウェハスケール インテグレ
ーション(Wafer Scale Integration)のことである。
【００１９】図４において、201 はニューロン計算ユニ
ット、210 はバスである。各ニューロン計算ユニット20
1 はバスによって結合している。各ニューロン計算ユニ
ット201 のうち一つが選択され、その出力値をバス210
へ、次々と出力する。各ニューロン計算ユニット201
は、出力しているニューロンに対する重み値をメモリに
保持しており、バス210 から逐次入力する値に、それに
対する重み値をメモリから読みだして重み付けし、その
積を累積加算する。バス210へ出力するときは、その値
を (1)式のシグモイド関数によって変換して出力する。
重み付け回路は時分割に動作させる。各ニューロン計算
ユニット201が一通りバス210へ出力すれば、すべてが
(2)式の計算を行うことができる。以下、時分割バス結
合方式と呼ぶ。
ット、210 はバスである。各ニューロン計算ユニット20
1 はバスによって結合している。各ニューロン計算ユニ
ット201 のうち一つが選択され、その出力値をバス210
へ、次々と出力する。各ニューロン計算ユニット201
は、出力しているニューロンに対する重み値をメモリに
保持しており、バス210 から逐次入力する値に、それに
対する重み値をメモリから読みだして重み付けし、その
積を累積加算する。バス210へ出力するときは、その値
を (1)式のシグモイド関数によって変換して出力する。
重み付け回路は時分割に動作させる。各ニューロン計算
ユニット201が一通りバス210へ出力すれば、すべてが
(2)式の計算を行うことができる。以下、時分割バス結
合方式と呼ぶ。
【００２０】以上の動作を行うことによって、(1)(2)式
のニューロンモデルを高速に演算することができる。も
う１つの特徴は、図４をＷＳＩ上で実現することであ
る。時分割バス結合方式によれば、重み付け回路を時分
割に使用して、１つのニューロン計算ユニット201 の面
積を大幅に低減することができる。このように、１計算
ユニットの面積をできる限り小さくし、１計算ユニット
あたり歩留まりを向上させ、欠陥によって動作不能とな
るニューロン計算ユニット201 の割合を低下させること
で、ＷＳＩ化に成功している。ＷＳＩ化することによ
り、以前に比して大規模なニューラルネットを高速にか
つコンパクトに実現することが可能となる。
のニューロンモデルを高速に演算することができる。も
う１つの特徴は、図４をＷＳＩ上で実現することであ
る。時分割バス結合方式によれば、重み付け回路を時分
割に使用して、１つのニューロン計算ユニット201 の面
積を大幅に低減することができる。このように、１計算
ユニットの面積をできる限り小さくし、１計算ユニット
あたり歩留まりを向上させ、欠陥によって動作不能とな
るニューロン計算ユニット201 の割合を低下させること
で、ＷＳＩ化に成功している。ＷＳＩ化することによ
り、以前に比して大規模なニューラルネットを高速にか
つコンパクトに実現することが可能となる。
【００２１】ニューロン間が完全結合しているニューラ
ルネットでは、ニューロン数をＮとすると、１回の
（１）式、（２）式の計算を行うのに必要な重み付けの
回数は約Ｎ2個となる。時分割バス結合方式では、Ｎ個
の重み付け回路が同時に動作するため、計算時間はＯ
（Ｎ）となり、高速に大規模なニューラルネットを計算
することができる。
ルネットでは、ニューロン数をＮとすると、１回の
（１）式、（２）式の計算を行うのに必要な重み付けの
回数は約Ｎ2個となる。時分割バス結合方式では、Ｎ個
の重み付け回路が同時に動作するため、計算時間はＯ
（Ｎ）となり、高速に大規模なニューラルネットを計算
することができる。
【００２２】
【発明が解決しようとする課題】従来の技術で述べた時
分割バス結合方式において、前述のバックプロパゲーシ
ョンを行おうとした場合、逆方向の（３）〜（５）式の
計算では、関数δを計算するのに、ニューロンの出力先
における重み値が必要である。例えば、中間層のニュー
ロンｊのδjを計算するには、出力層のニューロンｋに
おけるニューロンｊに対する重み値ｗkiが必要である。
しかし、前述のようにニューロンｊを計算する計算ユニ
ット201 は、入力層のニューロンｉに対する重み値ｗji
しか、保持していない。そのため、（５）式を並列に計
算することができず、δkｗkjを１個ずつ逐次に計算す
ることになる。そのため、順方向の計算を行うのに要す
る時間はＯ（Ｎ）となるにもかかわらず、逆方向の計算
に要する時間がＯ（Ｎ2 ）となり、学習を高速に行えな
い問題がある。
分割バス結合方式において、前述のバックプロパゲーシ
ョンを行おうとした場合、逆方向の（３）〜（５）式の
計算では、関数δを計算するのに、ニューロンの出力先
における重み値が必要である。例えば、中間層のニュー
ロンｊのδjを計算するには、出力層のニューロンｋに
おけるニューロンｊに対する重み値ｗkiが必要である。
しかし、前述のようにニューロンｊを計算する計算ユニ
ット201 は、入力層のニューロンｉに対する重み値ｗji
しか、保持していない。そのため、（５）式を並列に計
算することができず、δkｗkjを１個ずつ逐次に計算す
ることになる。そのため、順方向の計算を行うのに要す
る時間はＯ（Ｎ）となるにもかかわらず、逆方向の計算
に要する時間がＯ（Ｎ2 ）となり、学習を高速に行えな
い問題がある。
【００２３】また、上記従来技術に記載したニューラル
ネット専用ハードウエアは、高速に学習を行なう機能を
有していない他、それをホストコンピュータに接続する
などして、情報処理システム全体として好適に動作させ
る点の開示はない。
ネット専用ハードウエアは、高速に学習を行なう機能を
有していない他、それをホストコンピュータに接続する
などして、情報処理システム全体として好適に動作させ
る点の開示はない。
【００２４】本発明の目的は、高速学習可能なニューラ
ルネットにより構成される情報処理システムを実現する
ことであり、特に時分割バス結合方式とバックプロパゲ
ーションを組み合わせた情報処理システムを実現するこ
とにある。
ルネットにより構成される情報処理システムを実現する
ことであり、特に時分割バス結合方式とバックプロパゲ
ーションを組み合わせた情報処理システムを実現するこ
とにある。
【００２５】本発明の他の目的は、以下の詳細な説明か
ら明らかになるであろう。
ら明らかになるであろう。
【００２６】
【課題を解決するための手段】本発明の特徴の一つは、
学習機能を有するニューラルネットワークの情報処理シ
ステムそのものを構成することであり、データバスによ
り接続される半導体集積回路と、入力値を記憶する第１
のメモリと、出力の所望する値を記憶する第２のメモリ
と、出力値を記憶する第３のメモリと、これらを制御す
る制御回路を備えた情報処理システムであって、ニュー
ロンモデルを計算する機能ブロックからデータバスを介
して、自他の機能ブロックの少なくともいずれかへデー
タを転送する手段と、複数の入力値とそれらの入力値に
対する出力の所望する値に対して、ニューロンモデル間
の重みを修正する手段を有するものである。
学習機能を有するニューラルネットワークの情報処理シ
ステムそのものを構成することであり、データバスによ
り接続される半導体集積回路と、入力値を記憶する第１
のメモリと、出力の所望する値を記憶する第２のメモリ
と、出力値を記憶する第３のメモリと、これらを制御す
る制御回路を備えた情報処理システムであって、ニュー
ロンモデルを計算する機能ブロックからデータバスを介
して、自他の機能ブロックの少なくともいずれかへデー
タを転送する手段と、複数の入力値とそれらの入力値に
対する出力の所望する値に対して、ニューロンモデル間
の重みを修正する手段を有するものである。
【００２７】他の特徴は、ウエハスケール集積回路を用
いて、学習機能を有するニューラルネットワークの情報
処理システムを構成するものである。
いて、学習機能を有するニューラルネットワークの情報
処理システムを構成するものである。
【００２８】他の特徴は、学習機能を有するニューラル
ネットワークの情報処理装置がホストコンピュータと接
続され、ホストコンピュータからの所期設定により、情
報処理装置の動作中はホストコンピュータを介在させず
に制御する手段を有するものである。
ネットワークの情報処理装置がホストコンピュータと接
続され、ホストコンピュータからの所期設定により、情
報処理装置の動作中はホストコンピュータを介在させず
に制御する手段を有するものである。
【００２９】更に他の特徴は、学習機能を有するニュー
ラルネットワークの情報処理装置が、順方向の計算を行
う第１のネットワークと逆方向のδの計算を行う第２の
ネットワークを有し、各ネットワークは、それぞれの計
算を並列に行うのに都合が良いように重み値を保持し、
それらの修正はそれぞれのネットワークで行い、修正し
た結果を同じ重み値となるように構成した情報処理シス
テムである。
ラルネットワークの情報処理装置が、順方向の計算を行
う第１のネットワークと逆方向のδの計算を行う第２の
ネットワークを有し、各ネットワークは、それぞれの計
算を並列に行うのに都合が良いように重み値を保持し、
それらの修正はそれぞれのネットワークで行い、修正し
た結果を同じ重み値となるように構成した情報処理シス
テムである。
【００３０】
【作用】本発明は、バックプロパゲーション学習アルゴ
リズムのような、順方向と逆方向の計算を行うニューラ
ルネットの学習を高速に行う専用計算機を用いた情報処
理システムに好適である。本発明では、（１）（２）式
の計算を順方向ネットワークで、（４）（５）式の計算
を逆方向ネットワークで行なう。各ニューロン間の重み
値は、２つのネットワークで同一の値で保持されてい
る。また、（３）式の修正値を計算するために必要な値
は、それぞれのネットワークで計算された値のどちらも
必要である。本発明では、２つのネットワーク間に通信
手段を設けることによって、それぞれの各ネットワーク
を構成するユニットが重み値を修正するのに必要な値を
得ることができ、それぞれで重み値を同一の値に修正す
ることを可能としている。順方向ネットワークでは、
（１）（２）式を並列に計算するのに好都合に構成し、
逆方向ネットワークでは（４）（５）式を並列に計算す
るのに好都合に構成している。また、（３）式の計算も
各ネットワークの各ユニットにおいて、並列に計算す
る。そのため、本発明を用いれば、前述の学習をＯ
（Ｎ）の計算時間で実行できる。
リズムのような、順方向と逆方向の計算を行うニューラ
ルネットの学習を高速に行う専用計算機を用いた情報処
理システムに好適である。本発明では、（１）（２）式
の計算を順方向ネットワークで、（４）（５）式の計算
を逆方向ネットワークで行なう。各ニューロン間の重み
値は、２つのネットワークで同一の値で保持されてい
る。また、（３）式の修正値を計算するために必要な値
は、それぞれのネットワークで計算された値のどちらも
必要である。本発明では、２つのネットワーク間に通信
手段を設けることによって、それぞれの各ネットワーク
を構成するユニットが重み値を修正するのに必要な値を
得ることができ、それぞれで重み値を同一の値に修正す
ることを可能としている。順方向ネットワークでは、
（１）（２）式を並列に計算するのに好都合に構成し、
逆方向ネットワークでは（４）（５）式を並列に計算す
るのに好都合に構成している。また、（３）式の計算も
各ネットワークの各ユニットにおいて、並列に計算す
る。そのため、本発明を用いれば、前述の学習をＯ
（Ｎ）の計算時間で実行できる。
【００３１】また、順方向と逆方向の計算をそれぞれ別
のネットワークにおいて計算するため、各計算ユニット
を小面積で実現できる。そのため、ＷＳＩ化した場合、
１つの計算ユニットあたりの歩留まりを高くすることが
できる。
のネットワークにおいて計算するため、各計算ユニット
を小面積で実現できる。そのため、ＷＳＩ化した場合、
１つの計算ユニットあたりの歩留まりを高くすることが
できる。
【００３２】また、順方向の計算を行う計算ユニットと
逆方向の計算を行う計算ユニットは同一の回路構成とす
ることも可能で、設計工数を低減することができる。そ
のときは、どちらの計算ユニットとして動作させるか
は、制御信号によって決めることになる。そのため、Ｗ
ＳＩ化した場合も、一種類のＷＳＩを設計し、製作すれ
ば良いので、低価格化できる。また、複数のＷＳＩを用
意し、それらを接続すれば、より大規模なニューラルネ
ットを簡単に構成することができる。
逆方向の計算を行う計算ユニットは同一の回路構成とす
ることも可能で、設計工数を低減することができる。そ
のときは、どちらの計算ユニットとして動作させるか
は、制御信号によって決めることになる。そのため、Ｗ
ＳＩ化した場合も、一種類のＷＳＩを設計し、製作すれ
ば良いので、低価格化できる。また、複数のＷＳＩを用
意し、それらを接続すれば、より大規模なニューラルネ
ットを簡単に構成することができる。
【００３３】
【実施例】以下に、実施例を用いて本発明の詳細を説明
する。
する。
【００３４】図１は本発明の一実施例を示す図である。
図において、120F,121F,120B,121Bは計算ユニットで、1
23,124は制御回路である。各計算ユニットは制御回路12
3あるいは制御回路124と接続されている。130は制御信
号発生回路で、制御信号線142〜145に制御信号を出力す
る。各制御回路123,124は制御信号線142から制御信号を
入力する。140は出力バスである。128はバッファで、各
計算ユニットの出力値を出力バス140に出力するか、出
力バス140から分離するか、制御回路123,124よって制御
する。131は関数変換回路で、出力バス140から入力する
値に対して(1)式のシグモイド関数ｆで変換を行い出力
する。132は関数変換回路で、出力バス140から入力する
値に対して、シグモイド関数ｆの導関数ｆ’に従って変
換し、出力する。125はセレクタで、制御信号線145の制
御信号によって、出力バス140または関数変換回路131の
出力または関数変換回路132の出力のうち1つを出力す
る。160は乗算器で、セレクタ125の出力に対し、定数η
を掛けて、出力する。127はセレクタで、制御信号線144
の制御信号によって、セレクタ125の出力または乗算器1
60の出力を出力する。150は外部入力端子で、141は入力
バスである。126はセレクタで、制御信号線143の制御信
号によって、セレクタ127の出力または外部入力端子150
から入力する信号を入力バス141に出力する。各計算ユ
ニットは入力バス141と接続し、入力バス141に出力され
る信号を入力することができる。また151は外部出力端
子で、入力バス141に出力される値を出力する。
図において、120F,121F,120B,121Bは計算ユニットで、1
23,124は制御回路である。各計算ユニットは制御回路12
3あるいは制御回路124と接続されている。130は制御信
号発生回路で、制御信号線142〜145に制御信号を出力す
る。各制御回路123,124は制御信号線142から制御信号を
入力する。140は出力バスである。128はバッファで、各
計算ユニットの出力値を出力バス140に出力するか、出
力バス140から分離するか、制御回路123,124よって制御
する。131は関数変換回路で、出力バス140から入力する
値に対して(1)式のシグモイド関数ｆで変換を行い出力
する。132は関数変換回路で、出力バス140から入力する
値に対して、シグモイド関数ｆの導関数ｆ’に従って変
換し、出力する。125はセレクタで、制御信号線145の制
御信号によって、出力バス140または関数変換回路131の
出力または関数変換回路132の出力のうち1つを出力す
る。160は乗算器で、セレクタ125の出力に対し、定数η
を掛けて、出力する。127はセレクタで、制御信号線144
の制御信号によって、セレクタ125の出力または乗算器1
60の出力を出力する。150は外部入力端子で、141は入力
バスである。126はセレクタで、制御信号線143の制御信
号によって、セレクタ127の出力または外部入力端子150
から入力する信号を入力バス141に出力する。各計算ユ
ニットは入力バス141と接続し、入力バス141に出力され
る信号を入力することができる。また151は外部出力端
子で、入力バス141に出力される値を出力する。
【００３５】図１は、（１）〜（５）式の演算を高速に
行う本発明の構成を示すものである。各計算ユニットの
詳細については、図７、図８、図９を用いて、後に述べ
る。図５に図１の構成の動作を詳しく示す。まず、図５
を用いて、本発明の動作についてニューロンｊの動作を
中心に以下に説明する。なお、入力層は単に入力データ
を一時的に記憶する層として構成してもよいし、また図
５に示されるようにニューロモデルの計算ユニットとし
て構成してもよい。図５の各計算ユニットは図１の各計
算ユニットに対応しており、図１の計算ユニット120F,1
21F,120B,121Bは図５のそれぞれと対応している。計算
ユニット120F,121Fは順方向の動作を行う順方向ネット
ワークを構成しており、計算ユニット120B,121Bは逆方
向の動作を行う逆方向ネットワークを構成している。こ
こで、順方向ネットワークは（１）（２）式の計算を行
うネットワークのことであり、逆方向ネットワークとは
（４）（５）式の計算を行うネットワークのことであ
る。また、（３）式は各ネットワークにおいて計算す
る。
行う本発明の構成を示すものである。各計算ユニットの
詳細については、図７、図８、図９を用いて、後に述べ
る。図５に図１の構成の動作を詳しく示す。まず、図５
を用いて、本発明の動作についてニューロンｊの動作を
中心に以下に説明する。なお、入力層は単に入力データ
を一時的に記憶する層として構成してもよいし、また図
５に示されるようにニューロモデルの計算ユニットとし
て構成してもよい。図５の各計算ユニットは図１の各計
算ユニットに対応しており、図１の計算ユニット120F,1
21F,120B,121Bは図５のそれぞれと対応している。計算
ユニット120F,121Fは順方向の動作を行う順方向ネット
ワークを構成しており、計算ユニット120B,121Bは逆方
向の動作を行う逆方向ネットワークを構成している。こ
こで、順方向ネットワークは（１）（２）式の計算を行
うネットワークのことであり、逆方向ネットワークとは
（４）（５）式の計算を行うネットワークのことであ
る。また、（３）式は各ネットワークにおいて計算す
る。
【００３６】順方向ネットワークの中間層の計算ユニッ
トでは、入力層のニューロンｉに対する重み値ｗjiを保
持しており、出力層の計算ユニットでは、中間層のニュ
ーロンｊに対する重み値ｗkjを保持している。中間層の
計算ユニット120Fは、重み値ｗjiを保持している。ま
た、逆方向ネットワークの中間層の計算ユニットでは、
順方向ネットワークにおける出力層の計算ユニットが中
間層のニューロンｊに対して持っている重み値ｗkjを保
持しており、逆方向ネットワークの入力層の計算ユニッ
トでは、順方向ネットワークにおける中間層の計算ユニ
ットが入力層のニューロンに対して持っている重み値ｗ
jiを保持している。中間層の計算ユニット120Bは、重み
値ｗkjを保持している。順方向ネットワークが保持する
重み値ｗji,wkjと、逆方向ネットワークが保持する重み
値ｗji，ｗkjは対応しており、同じ値である。
トでは、入力層のニューロンｉに対する重み値ｗjiを保
持しており、出力層の計算ユニットでは、中間層のニュ
ーロンｊに対する重み値ｗkjを保持している。中間層の
計算ユニット120Fは、重み値ｗjiを保持している。ま
た、逆方向ネットワークの中間層の計算ユニットでは、
順方向ネットワークにおける出力層の計算ユニットが中
間層のニューロンｊに対して持っている重み値ｗkjを保
持しており、逆方向ネットワークの入力層の計算ユニッ
トでは、順方向ネットワークにおける中間層の計算ユニ
ットが入力層のニューロンに対して持っている重み値ｗ
jiを保持している。中間層の計算ユニット120Bは、重み
値ｗkjを保持している。順方向ネットワークが保持する
重み値ｗji,wkjと、逆方向ネットワークが保持する重み
値ｗji，ｗkjは対応しており、同じ値である。
【００３７】順方向ネットワークでは、入力層から中間
層、出力層と各計算ユニットの出力ｘi、ｘj、ｘkが決
定していく。計算ユニット120Fは入力層の出力ｘi を入
力し、それに対する重み値ｗjiで重み付けを行い、内部
エネルギーｕj を計算し、さらに非線形変換を行い、出
力値ｘj を出力する。次に、順方向ネットワークの出力
層の計算ユニットは中間層の出力ｘj を入力し、それに
対する重み値ｗkjで重み付けを行い、内部エネルギーｕ
k を計算し、さらに非線形変換を行い、出力値ｘk を出
力する。順方向ネットワークの各計算ユニットはそれぞ
れに対応する逆方向ネットワークの計算ユニットへそれ
ぞれの出力値ｘi、ｘj、ｘkを送信する。計算ユニット1
20Fは、計算ユニット120Bへ、その出力値ｘj を送信す
る。次に、順方向ネットワークの中間層と出力層の各計
算ユニットはそれぞれに対応する逆方向ネットワークの
計算ユニットへそれぞれの出力値ｘj、ｘkの微分ｘj'、
ｘk'を送信する。計算ユニット120Fは出力値ｘj の微分
ｘj'(=ｆ'(uj))を計算ユニット120Bへ出力する。 次
に、順方向ネットワークの出力層の出力値ｘkが期待し
た値ｔkと異なる場合、重み値を修正する必要がある。
その動作を以下に説明する。
層、出力層と各計算ユニットの出力ｘi、ｘj、ｘkが決
定していく。計算ユニット120Fは入力層の出力ｘi を入
力し、それに対する重み値ｗjiで重み付けを行い、内部
エネルギーｕj を計算し、さらに非線形変換を行い、出
力値ｘj を出力する。次に、順方向ネットワークの出力
層の計算ユニットは中間層の出力ｘj を入力し、それに
対する重み値ｗkjで重み付けを行い、内部エネルギーｕ
k を計算し、さらに非線形変換を行い、出力値ｘk を出
力する。順方向ネットワークの各計算ユニットはそれぞ
れに対応する逆方向ネットワークの計算ユニットへそれ
ぞれの出力値ｘi、ｘj、ｘkを送信する。計算ユニット1
20Fは、計算ユニット120Bへ、その出力値ｘj を送信す
る。次に、順方向ネットワークの中間層と出力層の各計
算ユニットはそれぞれに対応する逆方向ネットワークの
計算ユニットへそれぞれの出力値ｘj、ｘkの微分ｘj'、
ｘk'を送信する。計算ユニット120Fは出力値ｘj の微分
ｘj'(=ｆ'(uj))を計算ユニット120Bへ出力する。 次
に、順方向ネットワークの出力層の出力値ｘkが期待し
た値ｔkと異なる場合、重み値を修正する必要がある。
その動作を以下に説明する。
【００３８】逆方向ネットワークの出力層において、
（４）式に従い、δkを計算し、逆方向ネットワークの
中間層の各計算ユニットへ出力する。（４）式を計算す
るのに必要なｘk'は既に入力している。逆方向ネットワ
ークは中間層の各計算ユニットは、δkを入力すると、
その値を用いて（３）式に従い、修正値Δｗkjを計算
し、重み値ｗkjを変更する。また、逆方向ネットワーク
の出力層の各計算ユニットはそれぞれに対応する順方向
ネットワークの出力層の計算ユニットへそれぞれの出力
値δkを送信する。それにより、順方向ネットワークの
出力層の計算ユニットは、（３）式により修正値Δｗkj
を計算し、重み値ｗkjを変更することができる。
（４）式に従い、δkを計算し、逆方向ネットワークの
中間層の各計算ユニットへ出力する。（４）式を計算す
るのに必要なｘk'は既に入力している。逆方向ネットワ
ークは中間層の各計算ユニットは、δkを入力すると、
その値を用いて（３）式に従い、修正値Δｗkjを計算
し、重み値ｗkjを変更する。また、逆方向ネットワーク
の出力層の各計算ユニットはそれぞれに対応する順方向
ネットワークの出力層の計算ユニットへそれぞれの出力
値δkを送信する。それにより、順方向ネットワークの
出力層の計算ユニットは、（３）式により修正値Δｗkj
を計算し、重み値ｗkjを変更することができる。
【００３９】次に、逆方向ネットワークの出力層の各計
算ユニットの出力δkを出力し、それを入力する逆方向
ネットワークの中間層の計算ユニットはδkと重み値ｗ
kjとの乗算を行い、(5)式に従って、δjを決定し、出力
する。(5)式を計算するのに必要なｘj'は計算ユニット1
20Fから、既に入力している。逆方向ネットワークは入
力層の各計算ユニットは、δj を入力すると、その値を
用いて（３）式に従い、修正値Δｗjiを計算し、重み値
ｗjiを変更する。また、逆方向ネットワークの中間層の
各計算ユニットはそれぞれに対応する順方向ネットワー
クの中間層の計算ユニットへそれぞれのδj を送信す
る。順方向ネットワークの中間層の計算ユニットは、
（３）式により修正値Δｗjiを計算し、重み値ｗjiを変
更することができる。
算ユニットの出力δkを出力し、それを入力する逆方向
ネットワークの中間層の計算ユニットはδkと重み値ｗ
kjとの乗算を行い、(5)式に従って、δjを決定し、出力
する。(5)式を計算するのに必要なｘj'は計算ユニット1
20Fから、既に入力している。逆方向ネットワークは入
力層の各計算ユニットは、δj を入力すると、その値を
用いて（３）式に従い、修正値Δｗjiを計算し、重み値
ｗjiを変更する。また、逆方向ネットワークの中間層の
各計算ユニットはそれぞれに対応する順方向ネットワー
クの中間層の計算ユニットへそれぞれのδj を送信す
る。順方向ネットワークの中間層の計算ユニットは、
（３）式により修正値Δｗjiを計算し、重み値ｗjiを変
更することができる。
【００４０】本発明は、以上に述べたように、（１）
（２）（４）（５）式におけるｘ，ｘ'(＝ｆ'(u)）をそ
れを高速に計算するのに好都合な順方向ネットワークに
おいて計算し、（４）（５）式におけるδをそれを高速
に計算するのに好都合な逆方向ネットワークにおいて計
算する。そして、（３）式におけるΔｗは各ネットワー
クの各計算ユニットにおいて、それぞれが保持している
重み値ｗに対して計算する。順方向のネットワークの計
算ユニットでは、修正値Δｗを計算するために、δが必
要であり、逆方向ネットワークの計算ユニットでは、δ
及びΔｗを計算するために、ｘ，ｘ’が必要である。そ
のために、それぞれのネットワークで対応している計算
ユニット間では、データの通信が必要であるが、その通
信するデータ量はニューロン数に対応しており、それに
要する転送時間はＯ（Ｎ）であり、短時間で行うことが
できる。
（２）（４）（５）式におけるｘ，ｘ'(＝ｆ'(u)）をそ
れを高速に計算するのに好都合な順方向ネットワークに
おいて計算し、（４）（５）式におけるδをそれを高速
に計算するのに好都合な逆方向ネットワークにおいて計
算する。そして、（３）式におけるΔｗは各ネットワー
クの各計算ユニットにおいて、それぞれが保持している
重み値ｗに対して計算する。順方向のネットワークの計
算ユニットでは、修正値Δｗを計算するために、δが必
要であり、逆方向ネットワークの計算ユニットでは、δ
及びΔｗを計算するために、ｘ，ｘ’が必要である。そ
のために、それぞれのネットワークで対応している計算
ユニット間では、データの通信が必要であるが、その通
信するデータ量はニューロン数に対応しており、それに
要する転送時間はＯ（Ｎ）であり、短時間で行うことが
できる。
【００４１】本図では、中間層を１層として説明した
が、複数の中間層から構成されるニューラルネットに対
しても、同様に学習を行うことができる。
が、複数の中間層から構成されるニューラルネットに対
しても、同様に学習を行うことができる。
【００４２】次に、図１を用いて、以上の動作のハード
ウェア上での実現方法について説明する。図６は、以上
の動作の流れを示す演算フロー図で、順方向ネットワー
クと逆方向ネットワークの計算ユニットの演算手順を示
している。順方向ネットワークの計算ユニットｊは図１
及び図５の計算ユニット120Fであり、逆方向ネットワー
クの計算ユニットｊは図１及び図５の計算ユニット120B
である。以下、図６に従い、図１を説明する。
ウェア上での実現方法について説明する。図６は、以上
の動作の流れを示す演算フロー図で、順方向ネットワー
クと逆方向ネットワークの計算ユニットの演算手順を示
している。順方向ネットワークの計算ユニットｊは図１
及び図５の計算ユニット120Fであり、逆方向ネットワー
クの計算ユニットｊは図１及び図５の計算ユニット120B
である。以下、図６に従い、図１を説明する。
【００４３】各計算ユニットは入力するニューロンに対
する重み値をメモリに保持している。初めに、重み値ｗ
の初期値を各計算ユニットに書き込む。計算ユニット12
0Fには、入力層のニューロンｉに対する重み値ｗjiを書
き込む。計算ユニット120Bには、順方向ネットワークの
出力層の計算ユニットｋが保持する中間層のニューロン
ｊに対する重み値と同じである重み値ｗkjを書き込む。
−動作１ 次に、セレクタ126を外部入力端子150側を入力バス141
に出力するように設定し、外部入力端子150から順方向
ネットワークの入力層の各計算ユニットｉへ入力値を書
き込む。−動作２ 制御信号発生回路130は、セレクタ125を出力バス140を
出力するように設定し、セレクタ127をセレクタ125の出
力を出力するように設定し、セレクタ126をセレクタ127
の出力を出力するように、制御信号線143〜145に制御信
号を出力する。次に、制御信号発生回路130は制御信号
線142に、順方向ネットワークの入力層の計算ユニット
ｉのアドレスを出力する。制御回路123はアドレスをデ
コードし、もし、アドレスがその計算ユニットのアドレ
スと一致すれば、バッファ128をイネーブル状態とし、
順方向ネットワークの入力層の計算ユニットｉの出力値
ｘiを出力バス140に出力する。順方向ネットワークの入
力層の計算ユニットｉは入力値を出力するだけである。
順方向ネットワークの中間層の計算ユニットｊは入力バ
ス141から順方向ネットワークの入力層の出力ｘiを逐次
入力し、それに対する重み値ｗjiで重み付けを行い、そ
の積を累積加算していく。制御信号発生回路130が順方
向ネットワークの入力層の計算ユニットｉのアドレスを
すべて指定すると中間層の各計算ユニットでは（２）式
の計算を行うことができ、その出力値ｕjが決定する。
する重み値をメモリに保持している。初めに、重み値ｗ
の初期値を各計算ユニットに書き込む。計算ユニット12
0Fには、入力層のニューロンｉに対する重み値ｗjiを書
き込む。計算ユニット120Bには、順方向ネットワークの
出力層の計算ユニットｋが保持する中間層のニューロン
ｊに対する重み値と同じである重み値ｗkjを書き込む。
−動作１ 次に、セレクタ126を外部入力端子150側を入力バス141
に出力するように設定し、外部入力端子150から順方向
ネットワークの入力層の各計算ユニットｉへ入力値を書
き込む。−動作２ 制御信号発生回路130は、セレクタ125を出力バス140を
出力するように設定し、セレクタ127をセレクタ125の出
力を出力するように設定し、セレクタ126をセレクタ127
の出力を出力するように、制御信号線143〜145に制御信
号を出力する。次に、制御信号発生回路130は制御信号
線142に、順方向ネットワークの入力層の計算ユニット
ｉのアドレスを出力する。制御回路123はアドレスをデ
コードし、もし、アドレスがその計算ユニットのアドレ
スと一致すれば、バッファ128をイネーブル状態とし、
順方向ネットワークの入力層の計算ユニットｉの出力値
ｘiを出力バス140に出力する。順方向ネットワークの入
力層の計算ユニットｉは入力値を出力するだけである。
順方向ネットワークの中間層の計算ユニットｊは入力バ
ス141から順方向ネットワークの入力層の出力ｘiを逐次
入力し、それに対する重み値ｗjiで重み付けを行い、そ
の積を累積加算していく。制御信号発生回路130が順方
向ネットワークの入力層の計算ユニットｉのアドレスを
すべて指定すると中間層の各計算ユニットでは（２）式
の計算を行うことができ、その出力値ｕjが決定する。
【００４４】次に、制御信号発生回路130はセレクタ125
を関数変換回路131の出力を出力するように設定した
後、順方向ネットワークの中間層の計算ユニットのアド
レスを制御信号線142に出力する。アドレスを指定され
た計算ユニットはその出力値ｕjを出力バス140に出力す
る。非線形変換回路131は(1)式の変換を行い、ｘj (＝
ｆ(ｕj）)を出力する。ｘj は入力バス141によって、順
方向ネットワークの出力層の計算ユニットｋにブロード
キャストされる。出力層の計算ユニットｋは入力バス14
1から中間層の出力ｘj を逐次入力し、それに対する重
み値ｗkjで重み付けを行い、その積を累積加算してい
く。制御信号発生回路130が順方向ネットワークの中間
層の計算ユニットｊのアドレスをすべて指定すると出力
層の各計算ユニットｋでは（２）式の計算を行うことが
でき、その出力値ｕk が決定する。−動作３ 次に、制御信号発生回路130が順方向ネットワークの出
力層の計算ユニットｋのアドレスを制御信号線142に出
力する。アドレスを指定された計算ユニットはその出力
値ｕk を出力バス140に出力する。その後、非線形変換
回路131によってｘk (＝ｆ(ｕk）)に変換され、セレク
タ125、セレクタ127、セレクタ126を通って、入力バス1
41に出力される。外部出力端子151から、その出力結果
を読むことができる。そして、出力層の出力値ｘkが期
待する出力値ｔkと一致していれば、学習を終了する。
一致しないときは、以下の動作を行なう。−動作４ 制御信号発生回路130は、セレクタ125の出力を出力バス
140側とし、また、セレクタ127の出力を乗算器160側と
するように設定する。セレクタ127を乗算器160側に設定
し、セレクタ126をセレクタ127の出力を出力する。次
に、制御信号発生回路130は制御信号線142に、順方向ネ
ットワークの入力層の計算ユニットｉのアドレスを出力
する。アドレスを指定された計算ユニットｉの出力ｘi
はセレクタ125を通り、乗算器160に出力され、定数ηを
掛けて、η・ｘiに変換する。そして、セレクタ127、セ
レクタ126を通り、入力バス141へη・ｘiを出力する。逆
方向ネットワークの入力層の計算ユニットｉはそれに対
応するη・ｘiが入力バス141へ出力されたとき、その値
を取り込む。次に、制御信号発生回路130は、セレクタ1
25の出力を関数変換回路131側とし、また、セレクタ127
の出力を乗算器160側とするように設定する。制御信号
発生回路130は、制御信号142に順方向ネットワークの中
間層の計算ユニットｊのアドレスを出力する。アドレス
を指定された計算ユニットｊの出力ｕjは関数変換回路1
31によってｘjに変換され、セレクタ125を通り、乗算器
160に出力され、定数ηを掛けて、η・ｘjに変換する。
そして、セレクタ127、セレクタ126を通り、入力バス14
1へη・ｘjを出力する。逆方向ネットワークの中間層の
計算ユニットｊはそれに対応するη・ｘjを入力する。例
えば、計算ユニット120Fの出力値uj は、関数変換回路1
31と乗算器160によって、η・ｘjに変換され、入力バス1
41に出力される。そのときに、計算ユニット120Bは、η
・ｘjを取り込む。−動作５ 次に、制御信号発生回路130は、セレクタ125の出力を関
数変換回路132側とし、また、セレクタ127の出力をセレ
クタ125側とするように設定する。制御信号発生回路130
は、制御信号142に順方向ネットワークの中間層の計算
ユニットｊと出力層の計算ユニットｋのアドレスを出力
する。アドレスを指定された計算ユニットの出力ｕj、
ｕkは関数変換回路132によってｘj'、ｘk'に変換し、セ
レクタ125、セレクタ127、セレクタ126を通り、入力バ
ス141へ出力する。逆方向ネットワーク中間層と出力層
の計算ユニットはそれに対応するｘj'、ｘk'を入力する
ことができる。例えば、計算ユニット120Fの出力値uj
は、関数変換回路132ｘj'に変換され、入力バス141に出
力される。そのときに、計算ユニット120Bは、ｘj'を取
り込む。−動作６ 次の動作では、逆方向ネットワークの出力層の計算ユニ
ットへ期待する出力値ｔkと先ほどの出力値ｘkの差(ｔk
−ｘk）をネットワークの外部からセットする。それ
は、ホストコンピュータが行ってもよいし、(ｔk−
ｘk）を計算する回路を設けてもよい。逆方向ネットワ
ークの出力層の計算ユニットｋは、(4)式のδkの計算を
行なう。−動作７ 次に、制御信号発生回路130は、出力バス140の出力を乗
算器160によって、η倍し、入力バス141に出力するよう
に、セレクタ125〜127を設定する。そして、逆方向ネッ
トワークの出力層の計算ユニットｋのアドレスを制御信
号142へ出力する。アドレスを指定された各計算ユニッ
トの出力δk が乗算器160によってη倍され、入力バス1
41にη・δk が出力される。このとき、順方向ネットワ
ークの出力層の計算ユニットｋは、入力バス141に自分
に対応する逆方向ネットワークの計算ユニットの出力η
・δk が出力されれば、内部に取り込む。−動作８ 次に、制御信号発生回路130は、出力バス140の値が関数
変換回路131を通り、入力バス141に出力されるように、
セレクタ125〜127を設定した後、順方向ネットワークの
中間層の計算ユニットｊのアドレスを制御信号142に出
力する。アドレスを指定された計算ユニットｊは既に計
算済みの内部エネルギー値ｕj を出力する。その結果、
入力バス141には、関数変換された値ｘj が出力され
る。順方向ネットワークの出力層の各計算ユニットで
は、入力する値ｘj に対する重み値ｗkjの修正値Δｗkj
を（３）式に従って、計算し、重み値ｗkjを修正する。
−動作９ 次に、制御信号発生回路130は出力バス140の値がそのま
ま入力バス141に出力されるように、セレクタ125〜127
を設定した後、逆方向ネットワークの出力層の計算ユニ
ットｋのアドレスを制御信号142に出力する。アドレス
を指定された計算ユニットは既に計算済みのδk を出力
する。その結果、δk は出力バス140、セレクタ125、セ
レクタ127、セレクタ126を通り、入力バス141に出力さ
れる。逆方向ネットワークの中間層の各計算ユニットで
は、入力する値δk に対する重み値ｗkjの修正値Δｗkj
を（３）式に従って、計算し、重み値ｗkjを修正する。
−動作10 次に、制御信号発生回路130が逆方向ネットワークの出
力層の計算ユニットｋのアドレスを指定する。アドレス
を指定された計算ユニットは既に計算済みのδk を出力
する。その結果、δk は出力バス140、セレクタ125、セ
レクタ127、セレクタ126を通り、入力バス141に出力さ
れる。逆方向ネットワークの中間層の各計算ユニットで
は、動作10において、修正された重み値ｗkjを用い、
（５）式に従い、δj を計算する。−動作11 次に、制御信号発生回路130は、出力バス140の出力を乗
算器160によって、η倍し、入力バス141に出力するよう
に、セレクタ125〜127を設定する。そして、逆方向ネッ
トワークの中間層の計算ユニットのアドレスを制御信号
142へ出力する。アドレスを指定された各計算ユニット
の出力δj が乗算器160によってη倍され、セレクタ12
7、セレクタ126を通り、入力バス141にη・δj が出力さ
れる。このとき、順方向ネットワークの中間層の計算ユ
ニットｊは、入力バス141に自分に対応する逆方向ネッ
トワークの計算ユニットｊの出力η・δj が出力されれ
ば、内部に取り込む。−動作12 次に、制御信号発生回路130は出力バス140の値が、入力
バス141に出力されるように、セレクタ125〜127を設定
した後、順方向ネットワークの入力層の計算ユニットｉ
のアドレスを制御信号142に出力する。アドレスを指定
された計算ユニットはｘi を出力する。その結果、入力
バス141には、ｘi が出力される。順方向ネットワーク
の中間層の各計算ユニットでは、入力する値ｘi に対す
る重み値ｗjiの修正値Δｗjiを（３）式に従って、計算
し、重み値ｗjiを修正する。−動作13 次に、制御信号発生回路130は出力バス140の値がそのま
ま入力バス141に出力されるように、セレクタ125〜127
を設定した後、逆方向ネットワークの中間層の計算ｊの
アドレスを制御信号142に出力する。アドレスを指定さ
れた計算ユニットは既に計算済みのδj を出力する。そ
の結果、δj は出力バス140、セレクタ125、セレクタ12
7、セレクタ126を通り、入力バス141に出力される。逆
方向ネットワークの入力層ｉの各計算ユニットでは、入
力する値δj に対する重み値ｗjiの修正値Δｗjiを
（３）式に従って、計算し、重み値ｗjiを修正する。−
動作14その後、入力に対し、出力層の出力値ｘkが期待
する値ｔkとなるまで、以上の学習を繰り返す。
を関数変換回路131の出力を出力するように設定した
後、順方向ネットワークの中間層の計算ユニットのアド
レスを制御信号線142に出力する。アドレスを指定され
た計算ユニットはその出力値ｕjを出力バス140に出力す
る。非線形変換回路131は(1)式の変換を行い、ｘj (＝
ｆ(ｕj）)を出力する。ｘj は入力バス141によって、順
方向ネットワークの出力層の計算ユニットｋにブロード
キャストされる。出力層の計算ユニットｋは入力バス14
1から中間層の出力ｘj を逐次入力し、それに対する重
み値ｗkjで重み付けを行い、その積を累積加算してい
く。制御信号発生回路130が順方向ネットワークの中間
層の計算ユニットｊのアドレスをすべて指定すると出力
層の各計算ユニットｋでは（２）式の計算を行うことが
でき、その出力値ｕk が決定する。−動作３ 次に、制御信号発生回路130が順方向ネットワークの出
力層の計算ユニットｋのアドレスを制御信号線142に出
力する。アドレスを指定された計算ユニットはその出力
値ｕk を出力バス140に出力する。その後、非線形変換
回路131によってｘk (＝ｆ(ｕk）)に変換され、セレク
タ125、セレクタ127、セレクタ126を通って、入力バス1
41に出力される。外部出力端子151から、その出力結果
を読むことができる。そして、出力層の出力値ｘkが期
待する出力値ｔkと一致していれば、学習を終了する。
一致しないときは、以下の動作を行なう。−動作４ 制御信号発生回路130は、セレクタ125の出力を出力バス
140側とし、また、セレクタ127の出力を乗算器160側と
するように設定する。セレクタ127を乗算器160側に設定
し、セレクタ126をセレクタ127の出力を出力する。次
に、制御信号発生回路130は制御信号線142に、順方向ネ
ットワークの入力層の計算ユニットｉのアドレスを出力
する。アドレスを指定された計算ユニットｉの出力ｘi
はセレクタ125を通り、乗算器160に出力され、定数ηを
掛けて、η・ｘiに変換する。そして、セレクタ127、セ
レクタ126を通り、入力バス141へη・ｘiを出力する。逆
方向ネットワークの入力層の計算ユニットｉはそれに対
応するη・ｘiが入力バス141へ出力されたとき、その値
を取り込む。次に、制御信号発生回路130は、セレクタ1
25の出力を関数変換回路131側とし、また、セレクタ127
の出力を乗算器160側とするように設定する。制御信号
発生回路130は、制御信号142に順方向ネットワークの中
間層の計算ユニットｊのアドレスを出力する。アドレス
を指定された計算ユニットｊの出力ｕjは関数変換回路1
31によってｘjに変換され、セレクタ125を通り、乗算器
160に出力され、定数ηを掛けて、η・ｘjに変換する。
そして、セレクタ127、セレクタ126を通り、入力バス14
1へη・ｘjを出力する。逆方向ネットワークの中間層の
計算ユニットｊはそれに対応するη・ｘjを入力する。例
えば、計算ユニット120Fの出力値uj は、関数変換回路1
31と乗算器160によって、η・ｘjに変換され、入力バス1
41に出力される。そのときに、計算ユニット120Bは、η
・ｘjを取り込む。−動作５ 次に、制御信号発生回路130は、セレクタ125の出力を関
数変換回路132側とし、また、セレクタ127の出力をセレ
クタ125側とするように設定する。制御信号発生回路130
は、制御信号142に順方向ネットワークの中間層の計算
ユニットｊと出力層の計算ユニットｋのアドレスを出力
する。アドレスを指定された計算ユニットの出力ｕj、
ｕkは関数変換回路132によってｘj'、ｘk'に変換し、セ
レクタ125、セレクタ127、セレクタ126を通り、入力バ
ス141へ出力する。逆方向ネットワーク中間層と出力層
の計算ユニットはそれに対応するｘj'、ｘk'を入力する
ことができる。例えば、計算ユニット120Fの出力値uj
は、関数変換回路132ｘj'に変換され、入力バス141に出
力される。そのときに、計算ユニット120Bは、ｘj'を取
り込む。−動作６ 次の動作では、逆方向ネットワークの出力層の計算ユニ
ットへ期待する出力値ｔkと先ほどの出力値ｘkの差(ｔk
−ｘk）をネットワークの外部からセットする。それ
は、ホストコンピュータが行ってもよいし、(ｔk−
ｘk）を計算する回路を設けてもよい。逆方向ネットワ
ークの出力層の計算ユニットｋは、(4)式のδkの計算を
行なう。−動作７ 次に、制御信号発生回路130は、出力バス140の出力を乗
算器160によって、η倍し、入力バス141に出力するよう
に、セレクタ125〜127を設定する。そして、逆方向ネッ
トワークの出力層の計算ユニットｋのアドレスを制御信
号142へ出力する。アドレスを指定された各計算ユニッ
トの出力δk が乗算器160によってη倍され、入力バス1
41にη・δk が出力される。このとき、順方向ネットワ
ークの出力層の計算ユニットｋは、入力バス141に自分
に対応する逆方向ネットワークの計算ユニットの出力η
・δk が出力されれば、内部に取り込む。−動作８ 次に、制御信号発生回路130は、出力バス140の値が関数
変換回路131を通り、入力バス141に出力されるように、
セレクタ125〜127を設定した後、順方向ネットワークの
中間層の計算ユニットｊのアドレスを制御信号142に出
力する。アドレスを指定された計算ユニットｊは既に計
算済みの内部エネルギー値ｕj を出力する。その結果、
入力バス141には、関数変換された値ｘj が出力され
る。順方向ネットワークの出力層の各計算ユニットで
は、入力する値ｘj に対する重み値ｗkjの修正値Δｗkj
を（３）式に従って、計算し、重み値ｗkjを修正する。
−動作９ 次に、制御信号発生回路130は出力バス140の値がそのま
ま入力バス141に出力されるように、セレクタ125〜127
を設定した後、逆方向ネットワークの出力層の計算ユニ
ットｋのアドレスを制御信号142に出力する。アドレス
を指定された計算ユニットは既に計算済みのδk を出力
する。その結果、δk は出力バス140、セレクタ125、セ
レクタ127、セレクタ126を通り、入力バス141に出力さ
れる。逆方向ネットワークの中間層の各計算ユニットで
は、入力する値δk に対する重み値ｗkjの修正値Δｗkj
を（３）式に従って、計算し、重み値ｗkjを修正する。
−動作10 次に、制御信号発生回路130が逆方向ネットワークの出
力層の計算ユニットｋのアドレスを指定する。アドレス
を指定された計算ユニットは既に計算済みのδk を出力
する。その結果、δk は出力バス140、セレクタ125、セ
レクタ127、セレクタ126を通り、入力バス141に出力さ
れる。逆方向ネットワークの中間層の各計算ユニットで
は、動作10において、修正された重み値ｗkjを用い、
（５）式に従い、δj を計算する。−動作11 次に、制御信号発生回路130は、出力バス140の出力を乗
算器160によって、η倍し、入力バス141に出力するよう
に、セレクタ125〜127を設定する。そして、逆方向ネッ
トワークの中間層の計算ユニットのアドレスを制御信号
142へ出力する。アドレスを指定された各計算ユニット
の出力δj が乗算器160によってη倍され、セレクタ12
7、セレクタ126を通り、入力バス141にη・δj が出力さ
れる。このとき、順方向ネットワークの中間層の計算ユ
ニットｊは、入力バス141に自分に対応する逆方向ネッ
トワークの計算ユニットｊの出力η・δj が出力されれ
ば、内部に取り込む。−動作12 次に、制御信号発生回路130は出力バス140の値が、入力
バス141に出力されるように、セレクタ125〜127を設定
した後、順方向ネットワークの入力層の計算ユニットｉ
のアドレスを制御信号142に出力する。アドレスを指定
された計算ユニットはｘi を出力する。その結果、入力
バス141には、ｘi が出力される。順方向ネットワーク
の中間層の各計算ユニットでは、入力する値ｘi に対す
る重み値ｗjiの修正値Δｗjiを（３）式に従って、計算
し、重み値ｗjiを修正する。−動作13 次に、制御信号発生回路130は出力バス140の値がそのま
ま入力バス141に出力されるように、セレクタ125〜127
を設定した後、逆方向ネットワークの中間層の計算ｊの
アドレスを制御信号142に出力する。アドレスを指定さ
れた計算ユニットは既に計算済みのδj を出力する。そ
の結果、δj は出力バス140、セレクタ125、セレクタ12
7、セレクタ126を通り、入力バス141に出力される。逆
方向ネットワークの入力層ｉの各計算ユニットでは、入
力する値δj に対する重み値ｗjiの修正値Δｗjiを
（３）式に従って、計算し、重み値ｗjiを修正する。−
動作14その後、入力に対し、出力層の出力値ｘkが期待
する値ｔkとなるまで、以上の学習を繰り返す。
【００４５】本発明によれば、順方向及び逆方向のｘ及
びδの計算は各層において並列に動作し、それに要する
データの通信量もＮに比例しているため、Ｏ（Ｎ）の時
間で、高速に学習することが可能である。
びδの計算は各層において並列に動作し、それに要する
データの通信量もＮに比例しているため、Ｏ（Ｎ）の時
間で、高速に学習することが可能である。
【００４６】次に、図７、図８を用いて、順方向ネット
ワーク及び逆方向ネットワークを構成する計算ユニット
の詳細について、説明する。
ワーク及び逆方向ネットワークを構成する計算ユニット
の詳細について、説明する。
【００４７】図７は順方向ネットワークを構成する計算
ユニットを示す図である。図７において、501は重み値
ｗjiと(3)式におけるαΔｗji(n) を記憶しおく、メモ
リである。503、504は加算器、502は乗算器である。51
1，512はラッチである。520は(3)式における前回の修正
値Δｗji(n) をα倍する乗算器である。531〜534はセレ
クタである。540は入力バス141への接続端子である。55
0〜557は制御回路123が出力する制御信号の制御信号線
で、それぞれは、セレクタ534、メモリ501、ラッチ51
1、セレクタ531、セレクタ533、セレクタ532、ラッチ51
2、バッファ128を制御する。541は出力バス140への接続
端子である。接続関係を以下に説明する。
ユニットを示す図である。図７において、501は重み値
ｗjiと(3)式におけるαΔｗji(n) を記憶しおく、メモ
リである。503、504は加算器、502は乗算器である。51
1，512はラッチである。520は(3)式における前回の修正
値Δｗji(n) をα倍する乗算器である。531〜534はセレ
クタである。540は入力バス141への接続端子である。55
0〜557は制御回路123が出力する制御信号の制御信号線
で、それぞれは、セレクタ534、メモリ501、ラッチ51
1、セレクタ531、セレクタ533、セレクタ532、ラッチ51
2、バッファ128を制御する。541は出力バス140への接続
端子である。接続関係を以下に説明する。
【００４８】ラッチ511は入力バス接続端子540から入力
する信号を保持する。セレクタ531はメモリ501の出力で
ある重み値ｗjiとラッチ511の出力を入力している。乗
算器502はセレクタ531の出力と入力バス接続端子540を
入力している。加算器503は乗算器502の出力とメモリ50
1の出力であるαΔｗji(n) を入力する。セレクタ532は
乗算器502の出力と加算器503の出力を入力する。加算器
504はセレクタ532の出力とセレクタ533の出力を入力す
る。ラッチ512は加算器504の出力を保持する。バッファ
128はラッチ512の出力を入力し、出力バス接続端子541
に出力する。セレクタ533はラッチ512の出力とメモリ50
1の出力である重み値ｗjiを入力する。乗算器520は加算
器503の出力を入力する。セレクタ534は入力バス接続端
子540から入力する信号と加算器504の出力を入力する。
メモリ501はセレクタ534の出力を重み値ｗji側、乗算器
520の出力をαΔｗji(n) 側書き込みデータとして入力
する。また、メモリ501はアクセス時のアドレスを制御
回路123から入力する。
する信号を保持する。セレクタ531はメモリ501の出力で
ある重み値ｗjiとラッチ511の出力を入力している。乗
算器502はセレクタ531の出力と入力バス接続端子540を
入力している。加算器503は乗算器502の出力とメモリ50
1の出力であるαΔｗji(n) を入力する。セレクタ532は
乗算器502の出力と加算器503の出力を入力する。加算器
504はセレクタ532の出力とセレクタ533の出力を入力す
る。ラッチ512は加算器504の出力を保持する。バッファ
128はラッチ512の出力を入力し、出力バス接続端子541
に出力する。セレクタ533はラッチ512の出力とメモリ50
1の出力である重み値ｗjiを入力する。乗算器520は加算
器503の出力を入力する。セレクタ534は入力バス接続端
子540から入力する信号と加算器504の出力を入力する。
メモリ501はセレクタ534の出力を重み値ｗji側、乗算器
520の出力をαΔｗji(n) 側書き込みデータとして入力
する。また、メモリ501はアクセス時のアドレスを制御
回路123から入力する。
【００４９】動作１の重み値ｗjiの初期値を書き込むと
きは、入力バス接続端子540に初期値を与え、セレクタ5
34の出力を入力バス接続端子540側とすれば、メモリ501
に書き込むことができる。
きは、入力バス接続端子540に初期値を与え、セレクタ5
34の出力を入力バス接続端子540側とすれば、メモリ501
に書き込むことができる。
【００５０】（２）式の計算を行なうときは、以下のよ
うに行なう。セレクタ531の出力をメモリ501の重み値ｗ
ji出力側とする。入力バス接続端子540に入力する入力
値ｘiを入力する。乗算器502によって、積ｗjiｘiを行
なう。セレクタ532は乗算器502側を出力する。セレクタ
533はラッチ512側を出力する。加算器504はそれまでの
累積加算結果であるラッチ512の出力と積ｗjiｘiを加算
し、ラッチ512に書き込む。以上の動作を次々と、入力
バス接続端子540に入力する入力値ｘiに対して重み値ｗ
jiを変えて行なえば、(2)式を計算することができる。
うに行なう。セレクタ531の出力をメモリ501の重み値ｗ
ji出力側とする。入力バス接続端子540に入力する入力
値ｘiを入力する。乗算器502によって、積ｗjiｘiを行
なう。セレクタ532は乗算器502側を出力する。セレクタ
533はラッチ512側を出力する。加算器504はそれまでの
累積加算結果であるラッチ512の出力と積ｗjiｘiを加算
し、ラッチ512に書き込む。以上の動作を次々と、入力
バス接続端子540に入力する入力値ｘiに対して重み値ｗ
jiを変えて行なえば、(2)式を計算することができる。
【００５１】逆方向ネットワークから入力するηδj は
入力バス接続端子540から入力してラッチ511に書き込
む。
入力バス接続端子540から入力してラッチ511に書き込
む。
【００５２】（３）式の計算を行なうときは、以下のよ
うに行なう。セレクタ531はラッチ511側を出力する。入
力バス接続端子540に入力する入力値ｘiを入力する。乗
算器502によって、ηδjｘiを計算する。加算器503によ
って、メモリ501の出力αΔｗji(n) と乗算器502の出力
ηδjｘiの加算を行ない、修正値Δｗji(n+1)を計算す
る。セレクタ532は加算器503側を出力する。セレクタ53
3はメモリ501の重み値ｗji出力側を出力する。加算器50
4はセレクタ533の出力の前回の重み値ｗji(n)とセレク
タ532の出力Δｗji(n+1)を加算し、修正した重み値ｗji
(n+1)を出力する。セレクタ534は加算器504側を出力す
る。また、加算器503の出力Δｗji(n+1)は乗算器520に
よってα倍する。そして、メモリ501にセレクタ534の出
力の修正した重み値ｗji(n+1)と乗算器520の出力αΔｗ
ji(n+1)を書き込む。以上の動作を次々と、入力バス接
続端子540に入力する入力値ｘiに対して行なえば、すべ
ての重み値ｗji(n+1)を修正することができる。
うに行なう。セレクタ531はラッチ511側を出力する。入
力バス接続端子540に入力する入力値ｘiを入力する。乗
算器502によって、ηδjｘiを計算する。加算器503によ
って、メモリ501の出力αΔｗji(n) と乗算器502の出力
ηδjｘiの加算を行ない、修正値Δｗji(n+1)を計算す
る。セレクタ532は加算器503側を出力する。セレクタ53
3はメモリ501の重み値ｗji出力側を出力する。加算器50
4はセレクタ533の出力の前回の重み値ｗji(n)とセレク
タ532の出力Δｗji(n+1)を加算し、修正した重み値ｗji
(n+1)を出力する。セレクタ534は加算器504側を出力す
る。また、加算器503の出力Δｗji(n+1)は乗算器520に
よってα倍する。そして、メモリ501にセレクタ534の出
力の修正した重み値ｗji(n+1)と乗算器520の出力αΔｗ
ji(n+1)を書き込む。以上の動作を次々と、入力バス接
続端子540に入力する入力値ｘiに対して行なえば、すべ
ての重み値ｗji(n+1)を修正することができる。
【００５３】図８は逆方向ネットワークを構成する計算
ユニットを示す図である。図８において、601は重み値
ｗkjと(3)式におけるαΔｗkj(n) を記憶しおく、メモ
リである。603、604は加算器、602は乗算器である。611
〜615はラッチである。620は(3)式における前回の修正
値Δｗkj(n) をα倍する乗算器である。631〜634,636は
セレクタである。640は入力バス接続端子である。650〜
659、661、662は制御回路124が出力する制御信号の制御
信号線で、それぞれは、セレクタ636、ラッチ613、ラッ
チ612、ラッチ611、メモリ601、セレクタ631、セレクタ
632、セレクタ634、セレクタ633、ラッチ614、ラッチ61
5、バッファ128を制御する。641は出力バス接続端子で
ある。接続関係を以下に説明する。ラッチ611〜613は入
力バス接続端子640から入力する信号を入力する。セレ
クタ631はメモリ601の重み値ｗkj出力とラッチ611の出
力とラッチ612の出力を入力している。セレクタ632は入
力バス接続端子640から入力する信号とラッチ613の出力
とラッチ614の出力を入力する。乗算器602はセレクタ63
1の出力とセレクタ632の出力を入力する。加算器603は
メモリ601のαΔｗkj(n) 出力と乗算器602の出力を入力
する。セレクタ633は加算器603の出力と乗算器602の出
力を入力する。加算器604はセレクタ634の出力とセレク
タ633の出力を入力する。ラッチ614は加算器604の出力
を入力する。セレクタ634はラッチ614の出力とメモリ60
1の重み値ｗkj出力を入力している。乗算器620は加算器
603の出力を入力する。セレクタ636は入力バス接続端子
640から入力する信号と加算器604の出力を入力する。メ
モリ601はセレクタ636の出力を重み値ｗkj側、乗算器62
0の出力をαΔｗkj(n) 側書き込みデータとして入力す
る。また、メモリ601はアクセス時のアドレスを制御回
路124から入力する。ラッチ615は乗算器602の出力を入
力する。バッファ128はラッチ615の出力を入力し、出力
バス接続端子641に出力する。
ユニットを示す図である。図８において、601は重み値
ｗkjと(3)式におけるαΔｗkj(n) を記憶しおく、メモ
リである。603、604は加算器、602は乗算器である。611
〜615はラッチである。620は(3)式における前回の修正
値Δｗkj(n) をα倍する乗算器である。631〜634,636は
セレクタである。640は入力バス接続端子である。650〜
659、661、662は制御回路124が出力する制御信号の制御
信号線で、それぞれは、セレクタ636、ラッチ613、ラッ
チ612、ラッチ611、メモリ601、セレクタ631、セレクタ
632、セレクタ634、セレクタ633、ラッチ614、ラッチ61
5、バッファ128を制御する。641は出力バス接続端子で
ある。接続関係を以下に説明する。ラッチ611〜613は入
力バス接続端子640から入力する信号を入力する。セレ
クタ631はメモリ601の重み値ｗkj出力とラッチ611の出
力とラッチ612の出力を入力している。セレクタ632は入
力バス接続端子640から入力する信号とラッチ613の出力
とラッチ614の出力を入力する。乗算器602はセレクタ63
1の出力とセレクタ632の出力を入力する。加算器603は
メモリ601のαΔｗkj(n) 出力と乗算器602の出力を入力
する。セレクタ633は加算器603の出力と乗算器602の出
力を入力する。加算器604はセレクタ634の出力とセレク
タ633の出力を入力する。ラッチ614は加算器604の出力
を入力する。セレクタ634はラッチ614の出力とメモリ60
1の重み値ｗkj出力を入力している。乗算器620は加算器
603の出力を入力する。セレクタ636は入力バス接続端子
640から入力する信号と加算器604の出力を入力する。メ
モリ601はセレクタ636の出力を重み値ｗkj側、乗算器62
0の出力をαΔｗkj(n) 側書き込みデータとして入力す
る。また、メモリ601はアクセス時のアドレスを制御回
路124から入力する。ラッチ615は乗算器602の出力を入
力する。バッファ128はラッチ615の出力を入力し、出力
バス接続端子641に出力する。
【００５４】重み値ｗkjの初期値を書き込むときは、入
力バス接続端子640に初期値を与え、セレクタ636の出力
を入力バス接続端子640側とすれば、書き込むことがで
きる。
力バス接続端子640に初期値を与え、セレクタ636の出力
を入力バス接続端子640側とすれば、書き込むことがで
きる。
【００５５】逆方向ネットワークから入力するηxj は
入力バス接続端子640から入力してラッチ611に書き込
む。xj'(=ｆ'(uj))も入力バス接続端子640から入力して
ラッチ612に書き込む。
入力バス接続端子640から入力してラッチ611に書き込
む。xj'(=ｆ'(uj))も入力バス接続端子640から入力して
ラッチ612に書き込む。
【００５６】また、出力層の計算ユニットとして動作さ
せるときに必要な出力値と期待する出力値の差（ｔk−
ｘk）は入力バス接続端子640から入力してラッチ613に
書き込む。出力層の計算ユニットでは、δk を計算する
のに以下の動作を行なう。
せるときに必要な出力値と期待する出力値の差（ｔk−
ｘk）は入力バス接続端子640から入力してラッチ613に
書き込む。出力層の計算ユニットでは、δk を計算する
のに以下の動作を行なう。
【００５７】セレクタ631はラッチ612側を出力する。セ
レクタ632はラッチ613側を出力する。乗算器602ではラ
ッチ612の出力値ｘk'(=ｆ'(uk))とラッチ613の出力値
（ｔk−ｘk）の乗算を行ない、(4)式のδkを出力する。
ラッチ615は乗算器602の出力δkを取り込み、バッファ1
28へ出力する。出力バス接続端子641には、δk が出力
される。
レクタ632はラッチ613側を出力する。乗算器602ではラ
ッチ612の出力値ｘk'(=ｆ'(uk))とラッチ613の出力値
（ｔk−ｘk）の乗算を行ない、(4)式のδkを出力する。
ラッチ615は乗算器602の出力δkを取り込み、バッファ1
28へ出力する。出力バス接続端子641には、δk が出力
される。
【００５８】出力層の計算ユニットでは、(5)式のδj
を計算するのに以下の動作を行なう。
を計算するのに以下の動作を行なう。
【００５９】セレクタ631はメモリ601の重み値ｗkj側を
出力する。セレクタ632は入力バス接続端子640側を出力
する。入力バス接続端子640に出力層の出力δkを入力す
る。乗算器602によって積δkｗkjを出力する。セレクタ
633は乗算器602側を出力する。セレクタ634はラッチ614
側を出力する。加算器604はそれまでの累積加算結果で
あるラッチ614の出力と積δkｗkjを加算し、ラッチ614
に書き込む。以上の動作を次々と、入力バス接続端子64
0に入力する入力値δkに対して行なえば、(2)式のΣδk
ｗkjを計算することができる。次にセレクタ631はラッ
チ612側を出力する。セレクタ632はラッチ614側を出力
する。乗算器602はラッチ612の出力xj'(=ｆ'(uj))とラ
ッチ614の出力Σδkｗkjの乗算を行ない、δjを出力す
る。ラッチ615は乗算器602の出力δj を取り込み、バッ
ファ128へ出力する。出力バス接続端子641には、δj が
出力される。
出力する。セレクタ632は入力バス接続端子640側を出力
する。入力バス接続端子640に出力層の出力δkを入力す
る。乗算器602によって積δkｗkjを出力する。セレクタ
633は乗算器602側を出力する。セレクタ634はラッチ614
側を出力する。加算器604はそれまでの累積加算結果で
あるラッチ614の出力と積δkｗkjを加算し、ラッチ614
に書き込む。以上の動作を次々と、入力バス接続端子64
0に入力する入力値δkに対して行なえば、(2)式のΣδk
ｗkjを計算することができる。次にセレクタ631はラッ
チ612側を出力する。セレクタ632はラッチ614側を出力
する。乗算器602はラッチ612の出力xj'(=ｆ'(uj))とラ
ッチ614の出力Σδkｗkjの乗算を行ない、δjを出力す
る。ラッチ615は乗算器602の出力δj を取り込み、バッ
ファ128へ出力する。出力バス接続端子641には、δj が
出力される。
【００６０】（３）式の計算を行なうときは、逆方向ネ
ットワークの中間層では以下のように行なう。セレクタ
631はラッチ611側を出力する。入力バス接続端子640に
入力する入力値δkを入力する。乗算器602によって、η
ｘjδkを計算する。加算器603によって、メモリ601の出
力αΔｗkj(n) と乗算器602の出力ηｘjδkの加算を行
ない、修正値Δｗkj(n+1)を計算する。セレクタ633は加
算器603側を出力する。セレクタ634はメモリ601の重み
値ｗkj出力側を出力する。加算器604はセレクタ634の出
力の前回の重み値ｗkj(n) とセレクタ633の出力Δｗ
kj(n+1)を加算し、修正した重み値ｗkj(n+1)を出力す
る。セレクタ636は加算器604側を出力する。また、加算
器603の出力Δｗkj(n+1)は乗算器620によってα倍す
る。そして、メモリ601にセレクタ636の出力の修正した
重み値ｗkj(n+1)と乗算器620の出力αΔｗkj(n+1)を書
き込む。以上の動作を次々と、入力バス接続端子640に
入力する入力値δkに対して行なえば、すべての重み値
ｗkj(n+1)を修正することができる。逆方向ネットワー
クの入力層においても、同様に重み値ｗjiを修正するこ
とができる。
ットワークの中間層では以下のように行なう。セレクタ
631はラッチ611側を出力する。入力バス接続端子640に
入力する入力値δkを入力する。乗算器602によって、η
ｘjδkを計算する。加算器603によって、メモリ601の出
力αΔｗkj(n) と乗算器602の出力ηｘjδkの加算を行
ない、修正値Δｗkj(n+1)を計算する。セレクタ633は加
算器603側を出力する。セレクタ634はメモリ601の重み
値ｗkj出力側を出力する。加算器604はセレクタ634の出
力の前回の重み値ｗkj(n) とセレクタ633の出力Δｗ
kj(n+1)を加算し、修正した重み値ｗkj(n+1)を出力す
る。セレクタ636は加算器604側を出力する。また、加算
器603の出力Δｗkj(n+1)は乗算器620によってα倍す
る。そして、メモリ601にセレクタ636の出力の修正した
重み値ｗkj(n+1)と乗算器620の出力αΔｗkj(n+1)を書
き込む。以上の動作を次々と、入力バス接続端子640に
入力する入力値δkに対して行なえば、すべての重み値
ｗkj(n+1)を修正することができる。逆方向ネットワー
クの入力層においても、同様に重み値ｗjiを修正するこ
とができる。
【００６１】以上のように、本発明は、順方向ネットワ
ークの出力層の計算ユニットと逆方向ネットワークの中
間層の計算ユニットは同じ重み値ｗkj(n)を持つが、そ
の修正はその重み値を持つ計算ユニットがそれぞれで行
なう。修正を行なった重み値ｗkj(n+1)は同じ値とな
る。同様に、順方向ネットワークの中間層の計算ユニッ
トと逆方向ネットワークの入力層の計算ユニットは同じ
重み値ｗji(n)を持つが、その修正はその重み値を持つ
計算ユニットがそれぞれで行なう。修正を行なった重み
値ｗji(n+1)は同じ値となる。
ークの出力層の計算ユニットと逆方向ネットワークの中
間層の計算ユニットは同じ重み値ｗkj(n)を持つが、そ
の修正はその重み値を持つ計算ユニットがそれぞれで行
なう。修正を行なった重み値ｗkj(n+1)は同じ値とな
る。同様に、順方向ネットワークの中間層の計算ユニッ
トと逆方向ネットワークの入力層の計算ユニットは同じ
重み値ｗji(n)を持つが、その修正はその重み値を持つ
計算ユニットがそれぞれで行なう。修正を行なった重み
値ｗji(n+1)は同じ値となる。
【００６２】次に図９を説明する。図９は図８の計算ユ
ニットにセレクタ635とそれを制御する制御線660を加え
たものである。122は制御回路である。セレクタ635はラ
ッチ614の出力と乗算器602の出力を入力する。ラッチ61
5はセレクタ635の出力を入力する。その他は図８と同じ
である。セレクタ635の出力を乗算器602側とすれば、図
７と同様の動作が可能であり、逆方向ネットワークの計
算ユニットとすることができる。また、セレクタ635の
出力をラッチ614側と設定し、図７における、ラッチ51
1、セレクタ531、乗算器502、加算器503、セレクタ53
2、加算器504、ラッチ512、セレクタ533、乗算器520、
セレクタ534、メモリ501を図９のラッチ611、セレクタ6
31、乗算器602、加算器603、セレクタ633、加算器604、
ラッチ614、セレクタ634、乗算器620、セレクタ636、メ
モリ601に対応させれば、順方向ネットワークの計算ユ
ニットとすることができる。即ち、本発明を実施するの
に、図７と図８の２つの計算ユニットを設計する必要は
なく、図９の計算ユニットを設計すればよい。そのよう
な場合、設計工数を大幅に低減することができる。
ニットにセレクタ635とそれを制御する制御線660を加え
たものである。122は制御回路である。セレクタ635はラ
ッチ614の出力と乗算器602の出力を入力する。ラッチ61
5はセレクタ635の出力を入力する。その他は図８と同じ
である。セレクタ635の出力を乗算器602側とすれば、図
７と同様の動作が可能であり、逆方向ネットワークの計
算ユニットとすることができる。また、セレクタ635の
出力をラッチ614側と設定し、図７における、ラッチ51
1、セレクタ531、乗算器502、加算器503、セレクタ53
2、加算器504、ラッチ512、セレクタ533、乗算器520、
セレクタ534、メモリ501を図９のラッチ611、セレクタ6
31、乗算器602、加算器603、セレクタ633、加算器604、
ラッチ614、セレクタ634、乗算器620、セレクタ636、メ
モリ601に対応させれば、順方向ネットワークの計算ユ
ニットとすることができる。即ち、本発明を実施するの
に、図７と図８の２つの計算ユニットを設計する必要は
なく、図９の計算ユニットを設計すればよい。そのよう
な場合、設計工数を大幅に低減することができる。
【００６３】以上のように、本発明の一実施例によれ
ば、集積回路上で実現することができるため、高速に学
習するニューラルネットを実現することができる。
ば、集積回路上で実現することができるため、高速に学
習するニューラルネットを実現することができる。
【００６４】次に、図１０を説明する。図１０におい
て、1、2はウェハ、700は機能ブロックである。710〜71
2はセレクタである。701は制御信号発生回路であり、図
１の制御信号発生回路130の機能にセレクタ710〜712を
制御する機能を加えている。720は入力端子、730は出力
端子である。721〜725は制御信号線である。機能ブロッ
ク700は図９で構成することができる。ウェハ1、2内の
ネットワークは図１に対応している。セレクタ711はウ
ェハ1の図１における外部出力端子151と入力端子720の
入力する信号を入力し、ウェハ2の図１における外部入
力端子150に出力する。セレクタ710は入力端子720の入
力する信号とウェハ2の図１における外部出力端子151を
入力し、ウェハ1の図１における外部入力端子150に出力
する。セレクタ712はウェハ1の外部出力端子151とウェ
ハ2の外部出力端子151を入力し、外部出力端子730に出
力する。制御信号発生回路701は制御信号線723〜725を
通して、セレクタ710〜712へ制御信号を出力する。ま
た、制御信号線721、722によって、ウェハ1、2を制御す
る。ウェハ1の入力バス141の信号はセレクタ711を通し
て、ウェハ2の入力バス141へ送ることができる。同様に
ウェハ2からウェハ1へ送ることもできる。また、外部入
力端子720に入力する信号をセレクタ710、711を通し
て、ウェハ1、2の入力バス141へ送ることができる。
て、1、2はウェハ、700は機能ブロックである。710〜71
2はセレクタである。701は制御信号発生回路であり、図
１の制御信号発生回路130の機能にセレクタ710〜712を
制御する機能を加えている。720は入力端子、730は出力
端子である。721〜725は制御信号線である。機能ブロッ
ク700は図９で構成することができる。ウェハ1、2内の
ネットワークは図１に対応している。セレクタ711はウ
ェハ1の図１における外部出力端子151と入力端子720の
入力する信号を入力し、ウェハ2の図１における外部入
力端子150に出力する。セレクタ710は入力端子720の入
力する信号とウェハ2の図１における外部出力端子151を
入力し、ウェハ1の図１における外部入力端子150に出力
する。セレクタ712はウェハ1の外部出力端子151とウェ
ハ2の外部出力端子151を入力し、外部出力端子730に出
力する。制御信号発生回路701は制御信号線723〜725を
通して、セレクタ710〜712へ制御信号を出力する。ま
た、制御信号線721、722によって、ウェハ1、2を制御す
る。ウェハ1の入力バス141の信号はセレクタ711を通し
て、ウェハ2の入力バス141へ送ることができる。同様に
ウェハ2からウェハ1へ送ることもできる。また、外部入
力端子720に入力する信号をセレクタ710、711を通し
て、ウェハ1、2の入力バス141へ送ることができる。
【００６５】以上のようにウェハ間を簡単に接続するこ
とでき、非常に大規模なニューラルネットを高速に学習
することができる。
とでき、非常に大規模なニューラルネットを高速に学習
することができる。
【００６６】また、ウェハ１で順方向ネットワークを構
成し、ウェハ２で逆方向ネットワークを構成することに
より、（３）式における重み値の修正を各ネットワーク
で同時に行なうことができるため、より、高速に学習を
行なえる。
成し、ウェハ２で逆方向ネットワークを構成することに
より、（３）式における重み値の修正を各ネットワーク
で同時に行なうことができるため、より、高速に学習を
行なえる。
【００６７】また、本図では、２枚のウェハの接続を示
す図であるが、３枚以上の接続も簡単な修正で行なうこ
とができる。
す図であるが、３枚以上の接続も簡単な修正で行なうこ
とができる。
【００６８】また、図１の構成をそのままウェハ上に構
成してもよい。また、さらに複数のウェハにより、各ネ
ットワークを構成することもできる。
成してもよい。また、さらに複数のウェハにより、各ネ
ットワークを構成することもできる。
【００６９】次に、図１１を説明する。図１１におい
て、880,890は機能ブロックである。801〜803,812〜814
はセレクタである。機能ブロック880を図７で、機能ブ
ロック890を図８で構成することができる。また、機能
ブロック880,890は図９で構成することができる。850,8
60は出力バス、851,861は入力バスである。160a,160bは
乗算器である。本図では左側のネットワークは順方向ネ
ットワークを、右側は逆方向ネットワーク対応してい
る。本図には制御信号発生回路及び制御信号線を明記し
ないが、図１、図１０と同様な構成とすることで、各機
能ブロックや各セレクタを制御することができる。
て、880,890は機能ブロックである。801〜803,812〜814
はセレクタである。機能ブロック880を図７で、機能ブ
ロック890を図８で構成することができる。また、機能
ブロック880,890は図９で構成することができる。850,8
60は出力バス、851,861は入力バスである。160a,160bは
乗算器である。本図では左側のネットワークは順方向ネ
ットワークを、右側は逆方向ネットワーク対応してい
る。本図には制御信号発生回路及び制御信号線を明記し
ないが、図１、図１０と同様な構成とすることで、各機
能ブロックや各セレクタを制御することができる。
【００７０】順方向ネットワークでは、各機能ブロック
880の出力は出力バス850に出力される。関数変換回路13
1、132は出力バス850を入力し、それぞれにおいて関数
変換し、出力する。セレクタ801は出力バス850の出力と
関数変換回路131、132の出力を入力し、そのうち1つを
出力する。セレクタ802はセレクタ801の出力と逆方向ネ
ットワークの出力バス860を入力する。乗算器160aはセ
レクタ802の出力を入力し、定数η倍して出力する。セ
レクタ803はセレクタ801の出力と乗算器160の出力を入
力し、入力バス851に出力する。各機能ブロック880は入
力バス851に出力される値を入力することができる。逆
方向ネットワークでは、各機能ブロック890の出力は出
力バス860に出力される。セレクタ812は出力バス860と
順方向ネットワークのセレクタ801の出力を入力する。
乗算器160bはセレクタ812の出力を入力し、定数η倍し
て出力する。セレクタ814はセレクタ812の出力と乗算器
160bの出力を入力する。セレクタ813は出力バス860とセ
レクタ814の出力を入力し、入力バス861に出力する。
880の出力は出力バス850に出力される。関数変換回路13
1、132は出力バス850を入力し、それぞれにおいて関数
変換し、出力する。セレクタ801は出力バス850の出力と
関数変換回路131、132の出力を入力し、そのうち1つを
出力する。セレクタ802はセレクタ801の出力と逆方向ネ
ットワークの出力バス860を入力する。乗算器160aはセ
レクタ802の出力を入力し、定数η倍して出力する。セ
レクタ803はセレクタ801の出力と乗算器160の出力を入
力し、入力バス851に出力する。各機能ブロック880は入
力バス851に出力される値を入力することができる。逆
方向ネットワークでは、各機能ブロック890の出力は出
力バス860に出力される。セレクタ812は出力バス860と
順方向ネットワークのセレクタ801の出力を入力する。
乗算器160bはセレクタ812の出力を入力し、定数η倍し
て出力する。セレクタ814はセレクタ812の出力と乗算器
160bの出力を入力する。セレクタ813は出力バス860とセ
レクタ814の出力を入力し、入力バス861に出力する。
【００７１】本図の構成では、順方向ネットワークを構
成する機能ブロック880は乗算器160aによって、逆方向
ネットワークの出力バス860の値をη倍して取り込むこ
とができる。同様に、逆方向ネットワークを構成する機
能ブロック890は乗算器160bによって、順方向ネットワ
ークの出力バス850の値をη倍して取り込むことができ
る。そのため、図６における動作５の順方向ネットワー
クから逆方向ネットワークへηｘjを通信する動作を動
作３において行うことができる。動作３において、各機
能ブロックが他の機能ブロックへ出力ｘjをブロードキ
ャストするときに、同時に乗算器160bによってη倍し、
逆方向ネットワークの入力バス861へ出力することがで
きる。同様に、動作８、12の逆方向ネットワークから順
方向ネットワークへηδを通信する動作を動作７、11に
おいて行うことができる。以上のように、他方のネット
ワークのバスへの出力値を盗み取ることにより、図６に
おける動作５、８、12に要する時間を省くことができ
る。そのため、より高速に学習を行うことができる。
成する機能ブロック880は乗算器160aによって、逆方向
ネットワークの出力バス860の値をη倍して取り込むこ
とができる。同様に、逆方向ネットワークを構成する機
能ブロック890は乗算器160bによって、順方向ネットワ
ークの出力バス850の値をη倍して取り込むことができ
る。そのため、図６における動作５の順方向ネットワー
クから逆方向ネットワークへηｘjを通信する動作を動
作３において行うことができる。動作３において、各機
能ブロックが他の機能ブロックへ出力ｘjをブロードキ
ャストするときに、同時に乗算器160bによってη倍し、
逆方向ネットワークの入力バス861へ出力することがで
きる。同様に、動作８、12の逆方向ネットワークから順
方向ネットワークへηδを通信する動作を動作７、11に
おいて行うことができる。以上のように、他方のネット
ワークのバスへの出力値を盗み取ることにより、図６に
おける動作５、８、12に要する時間を省くことができ
る。そのため、より高速に学習を行うことができる。
【００７２】次に、本発明によるニューロコンピューテ
ィングシステムについて説明する。以下の実施例は、今
まで述べてきた情報処理装置を実用レベルまで追求した
一態様である。まず、図１２〜図１９を用い、構成につ
いて一通り説明した後、その動作とそのために必要な制
御について、図２０〜図２６を用いて説明する。尚、今
まで説明してきた実施例と重複する箇所もあるが、一通
り説明する。
ィングシステムについて説明する。以下の実施例は、今
まで述べてきた情報処理装置を実用レベルまで追求した
一態様である。まず、図１２〜図１９を用い、構成につ
いて一通り説明した後、その動作とそのために必要な制
御について、図２０〜図２６を用いて説明する。尚、今
まで説明してきた実施例と重複する箇所もあるが、一通
り説明する。
【００７３】図１２はシステム全体を示す図である。図
１２において、１０００はホストコンピュータ、１００
１はディジタイザでホストコンピュータ１０００の入力
装置の一つである。１００３はコントロールボードを示
す。１０３０はＷＳＩボード、１０３１はＷＳＩ基板、
１０５０はウェハで、ウェハ１０５０はＷＳＩ基板１０
３１と接着し、さらにＷＳＩ基板１０３１をＷＳＩボー
ド上と接続することにより、ウェハ１０５０の電源給電
及び外部との信号の入出力を可能とする。１０８０はモ
ード信号線、１０８１はアドレス信号線、１０８２はク
ロック信号線、１０８３は入力データ線、１０８４は出
力データ線を示す。コントロールボード１００３と各Ｗ
ＳＩボード１０３０とは、１０８０〜１０８４の内部バ
ス１０２０によって接続する。コントロールボード１０
０３上の１０１０は入力層メモリ、１０１１は出力層メ
モリ、１０１２は教師信号メモリ、１０１３はシーケン
スＲＡＭ、１００２はクロック発振器を示す。１０２１
は外部バスを示す。ホストコンピュータ１０００はコン
トロールボード１００３上の１０１０〜１０１３の各メ
モリに外部バス１０２１を通して、アクセスが可能で任
意に読みだし、書き込みを行うことができる。１０８５
はデコーダ、１０４０は出力バッファ、１０４１は入力
バッファを示す。入力層メモリ１０１０、教師信号メモ
リ１０１２は、それぞれ、アドレス信号線１０８１を入
力し、出力バッファ１０４０を通して、メモリの内容を
入力データ線１０８３へ送ることが可能である。また、
それぞれの出力バッファ１０４０はデコーダ１０８５に
より、制御される。デコーダ１０８５はモード信号線１
０８０とアドレス信号線１０８１を入力し、デコードす
る。シーケンスＲＡＭ１０１３はモード信号及びアドレ
ス信号を発生する。１０８６はポインタで、パルスジェ
ネレータ１００２からクロック信号線１０８２により送
られるクロックを入力して、出力を１づつ増やす。それ
を繰返し、シーケンスＲＡＭ１０１３に書き込まれてい
る命令のアドレスを指定する。シーケンスＲＡＭ１０１
３の各アドレスには、予め、実行するモード信号及びア
ドレス信号の命令を順々に書き込んでおく。また、１０
５１はセレクタで、シーケンスＲＡＭ１０１３または外
部バス１０２１から出力される命令をモード信号線１０
８０及びアドレス信号線１０８１へ出力する。１０５２
は、セレクタで出力データ線１０８４または外部バス１
０２１から出力される値を入力データ線１０８３へ出力
する。
１２において、１０００はホストコンピュータ、１００
１はディジタイザでホストコンピュータ１０００の入力
装置の一つである。１００３はコントロールボードを示
す。１０３０はＷＳＩボード、１０３１はＷＳＩ基板、
１０５０はウェハで、ウェハ１０５０はＷＳＩ基板１０
３１と接着し、さらにＷＳＩ基板１０３１をＷＳＩボー
ド上と接続することにより、ウェハ１０５０の電源給電
及び外部との信号の入出力を可能とする。１０８０はモ
ード信号線、１０８１はアドレス信号線、１０８２はク
ロック信号線、１０８３は入力データ線、１０８４は出
力データ線を示す。コントロールボード１００３と各Ｗ
ＳＩボード１０３０とは、１０８０〜１０８４の内部バ
ス１０２０によって接続する。コントロールボード１０
０３上の１０１０は入力層メモリ、１０１１は出力層メ
モリ、１０１２は教師信号メモリ、１０１３はシーケン
スＲＡＭ、１００２はクロック発振器を示す。１０２１
は外部バスを示す。ホストコンピュータ１０００はコン
トロールボード１００３上の１０１０〜１０１３の各メ
モリに外部バス１０２１を通して、アクセスが可能で任
意に読みだし、書き込みを行うことができる。１０８５
はデコーダ、１０４０は出力バッファ、１０４１は入力
バッファを示す。入力層メモリ１０１０、教師信号メモ
リ１０１２は、それぞれ、アドレス信号線１０８１を入
力し、出力バッファ１０４０を通して、メモリの内容を
入力データ線１０８３へ送ることが可能である。また、
それぞれの出力バッファ１０４０はデコーダ１０８５に
より、制御される。デコーダ１０８５はモード信号線１
０８０とアドレス信号線１０８１を入力し、デコードす
る。シーケンスＲＡＭ１０１３はモード信号及びアドレ
ス信号を発生する。１０８６はポインタで、パルスジェ
ネレータ１００２からクロック信号線１０８２により送
られるクロックを入力して、出力を１づつ増やす。それ
を繰返し、シーケンスＲＡＭ１０１３に書き込まれてい
る命令のアドレスを指定する。シーケンスＲＡＭ１０１
３の各アドレスには、予め、実行するモード信号及びア
ドレス信号の命令を順々に書き込んでおく。また、１０
５１はセレクタで、シーケンスＲＡＭ１０１３または外
部バス１０２１から出力される命令をモード信号線１０
８０及びアドレス信号線１０８１へ出力する。１０５２
は、セレクタで出力データ線１０８４または外部バス１
０２１から出力される値を入力データ線１０８３へ出力
する。
【００７４】教師信号メモリ１０１２には出力層の教師
信号を書き込んでおく、入力層メモリ１０１０は、入力
層ニューロンの役目を行っており、入力層ニューロンの
値を書き込んでおく。出力層メモリ１０１１は入力バッ
ファ１０４１を通して出力データ線１０８４とアドレス
信号線１０８１を入力し、出力層ニューロンの出力を取
り込む。
信号を書き込んでおく、入力層メモリ１０１０は、入力
層ニューロンの役目を行っており、入力層ニューロンの
値を書き込んでおく。出力層メモリ１０１１は入力バッ
ファ１０４１を通して出力データ線１０８４とアドレス
信号線１０８１を入力し、出力層ニューロンの出力を取
り込む。
【００７５】ＷＳＩボード１０３０はモード信号線１０
８０、アドレス信号線１０８１、クロック信号線１０８
２、入力データ線１０８３を入力バッファ１０４１を通
して、ウェハ１０５０へ接続し、ウェハ１０５０から出
力される信号をデコーダ１０８５により制御する出力バ
ッファ１０４０を通して、出力データ線１０８４に出力
する。また、このデコーダ１０８５はモード信号線１０
８０とアドレス信号線１０８１により、デコードを行
う。また、ホストコンピュータ１０００からウェハ１０
５０内のラッチ、メモリ等に書き込む場合、自分のボー
ドアドレスが指定されているときに行う。
８０、アドレス信号線１０８１、クロック信号線１０８
２、入力データ線１０８３を入力バッファ１０４１を通
して、ウェハ１０５０へ接続し、ウェハ１０５０から出
力される信号をデコーダ１０８５により制御する出力バ
ッファ１０４０を通して、出力データ線１０８４に出力
する。また、このデコーダ１０８５はモード信号線１０
８０とアドレス信号線１０８１により、デコードを行
う。また、ホストコンピュータ１０００からウェハ１０
５０内のラッチ、メモリ等に書き込む場合、自分のボー
ドアドレスが指定されているときに行う。
【００７６】図１３はウェハ１０５０の構成を示す図で
ある。ウェハ１０５０は、１０６０のＮブロック、１０
６１のＩＯブロック、１０６２のＢブロック、１０６３
のＰブロックから構成する。各ブロックは等間隔で縦
（列）方向横（行）方向に配列する。ウェハ１０５０の
中央の列の下辺には、ＩＯブロック１０６１を配置し、
その他の中央の列には７個のＢブロック１０６２を配置
する。外部との入出力は下辺のＩＯブロック１０６１が
行う。中央の列以外には、Ｎブロック１０６０を配置
し、周辺部にＰブロック１０６３を配置する。Ｐブロッ
ク１０６３はウェハの半導体プロセスにおける品質管理
を行うためのものである。Ｎブロック１０６０には、ニ
ューロンブロックを搭載し、Ｂブロック１０６２には、
関数変換テーブルを搭載する。ＩＯブロック１０６１は
Ｂブロック１０６２の機能の他に外部との入出力を行う
ための機能も持つ。ＩＯブロック１０６１、Ｂブロック
１０６２、Ｎブロック１０６０の詳細については、図１
６、図１７を用いて説明する。
ある。ウェハ１０５０は、１０６０のＮブロック、１０
６１のＩＯブロック、１０６２のＢブロック、１０６３
のＰブロックから構成する。各ブロックは等間隔で縦
（列）方向横（行）方向に配列する。ウェハ１０５０の
中央の列の下辺には、ＩＯブロック１０６１を配置し、
その他の中央の列には７個のＢブロック１０６２を配置
する。外部との入出力は下辺のＩＯブロック１０６１が
行う。中央の列以外には、Ｎブロック１０６０を配置
し、周辺部にＰブロック１０６３を配置する。Ｐブロッ
ク１０６３はウェハの半導体プロセスにおける品質管理
を行うためのものである。Ｎブロック１０６０には、ニ
ューロンブロックを搭載し、Ｂブロック１０６２には、
関数変換テーブルを搭載する。ＩＯブロック１０６１は
Ｂブロック１０６２の機能の他に外部との入出力を行う
ための機能も持つ。ＩＯブロック１０６１、Ｂブロック
１０６２、Ｎブロック１０６０の詳細については、図１
６、図１７を用いて説明する。
【００７７】図１４はウェハ１０５０内の信号線の構成
と配置を示す図である。１２０１はボンディングパッド
でＩＯブロック１０６１の下辺に設け、ボンディングワ
イヤーにより信号線を外部と接続する。各Ｎブロック１
０６０への信号線は、ＩＯブロック１０６１、各Ｂブロ
ック１０６２において、まず、縦方向に信号が伝わり、
さらに、各横方向へ信号を送る。Ｎブロック１０６０内
のニューロンブロックの出力は、まず、その行のＩＯブ
ロック１０６１、Ｂブロック１０６２に集められ、そこ
で関数変換を行い、入出力を行う下辺のＩＯブロック１
０６１へ送り、外部へ出力する。
と配置を示す図である。１２０１はボンディングパッド
でＩＯブロック１０６１の下辺に設け、ボンディングワ
イヤーにより信号線を外部と接続する。各Ｎブロック１
０６０への信号線は、ＩＯブロック１０６１、各Ｂブロ
ック１０６２において、まず、縦方向に信号が伝わり、
さらに、各横方向へ信号を送る。Ｎブロック１０６０内
のニューロンブロックの出力は、まず、その行のＩＯブ
ロック１０６１、Ｂブロック１０６２に集められ、そこ
で関数変換を行い、入出力を行う下辺のＩＯブロック１
０６１へ送り、外部へ出力する。
【００７８】図１５に、ウェハ１０５０の各ブロック１
０６０〜１０６２への電源給電方法及びＷＳＩ基板１０
３１の構成を示す。図１５において、１３０１〜１３０
３はボンディングパッド、１３０４はボンディングワイ
ヤー、１３０５はコネクタを示す。１３１０は各ブロッ
ク１０６０〜１０６２へ電源を給電するための電源バス
である。コネクタ１３０５はＷＳＩボード１０３０と接
続することにより、電源及び信号線のＷＳＩ基板１０３
１への接続を行う。電源線をボンディングパッド１３０
１、１３０４からＷＳＩ基板１０３１内を通り、コレク
タ１３０５へ引き出す。また、信号線をボンディングパ
ッド１３０３からコネクタ１３０５へ引き出す。ウェハ
１０５０内では、各ブロック１０６０〜１０６２の間に
格子状に電源バス１３１０を設け、各ブロック１０６０
〜１０６２を電源バス１３１０と接続する。電源バス１
３１０の終端には、ボンディングパッド１３０２を設け
る。ウェハ１０５０上のボンディングパッド１３０２と
ＷＳＩ基板１０３１上のボンディングパッド１３０１、
１３０４をボンディングワイヤー１３０４により接続す
ることにより、各ブロック１０６０〜１０６２へ電源を
給電することができる。また、ウェハ１０５０上の図１
４のボンディングパッド１２０１とＷＳＩ基板１０３１
上のボンディングパッド１３０３をボンディングワイヤ
ー１３０４により、接続することにより、図１２の内部
バス１０２０とＩＯブロック１０６１と接続することが
できる。
０６０〜１０６２への電源給電方法及びＷＳＩ基板１０
３１の構成を示す。図１５において、１３０１〜１３０
３はボンディングパッド、１３０４はボンディングワイ
ヤー、１３０５はコネクタを示す。１３１０は各ブロッ
ク１０６０〜１０６２へ電源を給電するための電源バス
である。コネクタ１３０５はＷＳＩボード１０３０と接
続することにより、電源及び信号線のＷＳＩ基板１０３
１への接続を行う。電源線をボンディングパッド１３０
１、１３０４からＷＳＩ基板１０３１内を通り、コレク
タ１３０５へ引き出す。また、信号線をボンディングパ
ッド１３０３からコネクタ１３０５へ引き出す。ウェハ
１０５０内では、各ブロック１０６０〜１０６２の間に
格子状に電源バス１３１０を設け、各ブロック１０６０
〜１０６２を電源バス１３１０と接続する。電源バス１
３１０の終端には、ボンディングパッド１３０２を設け
る。ウェハ１０５０上のボンディングパッド１３０２と
ＷＳＩ基板１０３１上のボンディングパッド１３０１、
１３０４をボンディングワイヤー１３０４により接続す
ることにより、各ブロック１０６０〜１０６２へ電源を
給電することができる。また、ウェハ１０５０上の図１
４のボンディングパッド１２０１とＷＳＩ基板１０３１
上のボンディングパッド１３０３をボンディングワイヤ
ー１３０４により、接続することにより、図１２の内部
バス１０２０とＩＯブロック１０６１と接続することが
できる。
【００７９】図１６にＢブロック１０６２を示す。ＩＯ
ブロック１０６１はＢブロック１０６２の機能の他に外
部との入出力機能を持つ。図１６において、１０７０は
変換テーブル、１０７１は制御回路、１０７２〜１０７
６はセレクタである。ＩＯブロック１０６１、Ｂブロッ
ク１０６２は、下辺に接続される外部またはＩＯブロッ
ク１０６１またはＢブロック１０６２からモード信号線
１０８０、アドレス信号線１０８１、クロック信号線１
０８２を入力し、上辺に接続されるＢブロック１０６２
とサイドに接続されるＮブロック１０６０へ出力する。
入力データ線１０８３は、下辺から入力し、セレクタ１
０７３、変換テーブル１０７０、セレクタ１０７４、セ
レクタ１０７６を通り左右辺へ出力するパスを持つ。ま
た、変換テーブル１０７０を通らずに、セレクタ１０７
６のみを通り、左右辺へ出力することもできる。左右に
接続されるＮブロック１０６０から入力する出力データ
線１０８４はセレクタ１０７２、セレクタ１０７３、変
換テーブル１０７０、セレクタ１０７４、セレクタ１０
７５を通り、下辺に接続されるＢブロック１０６２また
はＩＯブロック１０６１または外部へ出力するパスを持
つ。また、左右から入力する出力データ線１０８４はセ
レクタ１０７２、セレクタ１０７５を通り、下辺の出力
することもできる。セレクタ１０７２〜１０７６は、制
御回路１０７１によって、制御される。制御回路１０７
１はモード信号線１０８０とアドレス信号線１０８１を
入力し、セレクタ１０７２〜１０７５の制御信号を発生
する。制御回路１０７１の構成については、図２１を用
いて、後に説明する。また、変換テーブル１０７０は、
書き込みのため、アドレス信号線１０８１、入力データ
線１０８３と接続する。
ブロック１０６１はＢブロック１０６２の機能の他に外
部との入出力機能を持つ。図１６において、１０７０は
変換テーブル、１０７１は制御回路、１０７２〜１０７
６はセレクタである。ＩＯブロック１０６１、Ｂブロッ
ク１０６２は、下辺に接続される外部またはＩＯブロッ
ク１０６１またはＢブロック１０６２からモード信号線
１０８０、アドレス信号線１０８１、クロック信号線１
０８２を入力し、上辺に接続されるＢブロック１０６２
とサイドに接続されるＮブロック１０６０へ出力する。
入力データ線１０８３は、下辺から入力し、セレクタ１
０７３、変換テーブル１０７０、セレクタ１０７４、セ
レクタ１０７６を通り左右辺へ出力するパスを持つ。ま
た、変換テーブル１０７０を通らずに、セレクタ１０７
６のみを通り、左右辺へ出力することもできる。左右に
接続されるＮブロック１０６０から入力する出力データ
線１０８４はセレクタ１０７２、セレクタ１０７３、変
換テーブル１０７０、セレクタ１０７４、セレクタ１０
７５を通り、下辺に接続されるＢブロック１０６２また
はＩＯブロック１０６１または外部へ出力するパスを持
つ。また、左右から入力する出力データ線１０８４はセ
レクタ１０７２、セレクタ１０７５を通り、下辺の出力
することもできる。セレクタ１０７２〜１０７６は、制
御回路１０７１によって、制御される。制御回路１０７
１はモード信号線１０８０とアドレス信号線１０８１を
入力し、セレクタ１０７２〜１０７５の制御信号を発生
する。制御回路１０７１の構成については、図２１を用
いて、後に説明する。また、変換テーブル１０７０は、
書き込みのため、アドレス信号線１０８１、入力データ
線１０８３と接続する。
【００８０】図１７にＮブロック１０６０を示す。図１
７に示すＮブロック１０６０はウェハ１０５０におい
て、中心より右側に配置するものである。左側に配置す
るＮブロック１０６０は横方向に対象なものとなる。図
１７において、１１００はニューロンブロックを示す。
１１０１、１１０３はセレクタ、１１０２は制御回路を
示す。各Ｎブロック１０６０内にはニューロンブロック
１１００を６個づつ搭載する。各ニューロンブロック１
１００に、モード信号線１０８０、アドレス信号線１０
８１、クロック信号線１０８２、入力データ線１０８３
を接続する。制御回路１１０２はアドレス信号線１０８
１をデコードし、セレクタ１１０１により、Ｎブロック
１０６０内の６個のニューロンブロック１１００の出力
から１つを選択し、セレクタ１１０３へ出力する。セレ
クタ１１０３の入力のもう１つは右側に接続されている
Ｎブロック１０６０から出力される出力データ線１０８
４である。セレクタ１１０３の出力は左側に接続される
Ｎブロック１０６０またはＢブロック１０６２またはＩ
Ｏブロック１０６１と接続する。セレクタ１１０３の制
御は制御回路１１０２が行う。
７に示すＮブロック１０６０はウェハ１０５０におい
て、中心より右側に配置するものである。左側に配置す
るＮブロック１０６０は横方向に対象なものとなる。図
１７において、１１００はニューロンブロックを示す。
１１０１、１１０３はセレクタ、１１０２は制御回路を
示す。各Ｎブロック１０６０内にはニューロンブロック
１１００を６個づつ搭載する。各ニューロンブロック１
１００に、モード信号線１０８０、アドレス信号線１０
８１、クロック信号線１０８２、入力データ線１０８３
を接続する。制御回路１１０２はアドレス信号線１０８
１をデコードし、セレクタ１１０１により、Ｎブロック
１０６０内の６個のニューロンブロック１１００の出力
から１つを選択し、セレクタ１１０３へ出力する。セレ
クタ１１０３の入力のもう１つは右側に接続されている
Ｎブロック１０６０から出力される出力データ線１０８
４である。セレクタ１１０３の出力は左側に接続される
Ｎブロック１０６０またはＢブロック１０６２またはＩ
Ｏブロック１０６１と接続する。セレクタ１１０３の制
御は制御回路１１０２が行う。
【００８１】図１８にニューロンブロック１１００の詳
細を示す。本図は図９に示したものとほぼ同様の構成と
なっている。図１８において、１１２１〜１１２５はラ
ッチを示す。１１３０は乗算器、１１３１はα乗算器、
１１３２はη乗算器を示す。１１４０〜１１４１は加算
器を示す。１１５０〜１１５２はセレクタを示す。１１
６０はメモリ、１１６１はメモリのアドレスを指すポイ
ンタを示す。メモリ１１６０には、結合元のニューロン
ブロック１１００のアドレスとそれ結合係数ｗと前回の
修正値Δｗを記憶する。１１７０は制御回路を示す。ラ
ッチ１１２１は逆方向ネットワーク側として動作すると
きにのみ使用し、入力データ線１０８３から送られる
（４）（５）式における、ｆ’（ｕ）を取り込む。ラッ
チ１１２２は順方向ネットワーク側として動作するとき
は、入力データ線１０８３から送られる（３）式におけ
る学習信号δを取り込み、逆方向ネットワーク側として
動作するときは、入力データ線１０８３から送られる
（３）式におけるｘを取り込む。ラッチ１１２３は逆方
向ネットワークの出力層として動作するときにのみ使用
し、入力データ線１０８３から送られる（４）式におけ
る教師信号ｔを取り込む。セレクタ１１５０はメモリ１
１６０の結合係数ｗ，入力データ線１０８３、ラッチ１
１２１、ラッチ１１２２、ラッチ１１２４を入力し、そ
のうち２つを選び、乗算器１１３０へ出力する。乗算器
１１３０は入力した値を乗算し、出力する。セレクタ１
１５１は、η乗算器１１３２、メモリ１１６０の結合係
数ｗ、乗算器１１３０、ラッチ１１２２、ラッチ１１２
３、ラッチ１１２４を入力し、そのうち２つを選択し、
加算器１１４０へ出力する。加算器１１４０は入力する
値を加算または減算し、出力する。ラッチ１０２４は加
算器１１４０の出力を取り込む。セレクタ１１５２は、
ラッチ１１２４、乗算器１１３０を入力し、そのうち１
つを選択し、ラッチ１１２５へ出力する。ラッチ１１２
５は図１７のセレクタ１１０１、１１０３を通して、出
力データ線１０８４へ出力する。α乗算器１１３１はメ
モリ１１６０の前回の修正値Δｗを入力し、定数α倍
し、出力する。加算器１１４１はα乗算器１１３１、乗
算器１１３０を入力し、加算して出力する。η乗算器１
１３２は加算器１１４１の出力を定数η倍して、出力す
る。メモリ１１６０は、加算器１１４０の出力の修正し
た結合係数ｗと、加算器１１４１の出力の修正値Δｗを
取り込む。制御回路１１７０はモード信号線１０８０、
アドレス信号線１０８１、クロック信号線１０８２を入
力し、ニューロンブロック１１００内のセレクタの制御
及びラッチ、メモリの書き込みの制御を行う。
細を示す。本図は図９に示したものとほぼ同様の構成と
なっている。図１８において、１１２１〜１１２５はラ
ッチを示す。１１３０は乗算器、１１３１はα乗算器、
１１３２はη乗算器を示す。１１４０〜１１４１は加算
器を示す。１１５０〜１１５２はセレクタを示す。１１
６０はメモリ、１１６１はメモリのアドレスを指すポイ
ンタを示す。メモリ１１６０には、結合元のニューロン
ブロック１１００のアドレスとそれ結合係数ｗと前回の
修正値Δｗを記憶する。１１７０は制御回路を示す。ラ
ッチ１１２１は逆方向ネットワーク側として動作すると
きにのみ使用し、入力データ線１０８３から送られる
（４）（５）式における、ｆ’（ｕ）を取り込む。ラッ
チ１１２２は順方向ネットワーク側として動作するとき
は、入力データ線１０８３から送られる（３）式におけ
る学習信号δを取り込み、逆方向ネットワーク側として
動作するときは、入力データ線１０８３から送られる
（３）式におけるｘを取り込む。ラッチ１１２３は逆方
向ネットワークの出力層として動作するときにのみ使用
し、入力データ線１０８３から送られる（４）式におけ
る教師信号ｔを取り込む。セレクタ１１５０はメモリ１
１６０の結合係数ｗ，入力データ線１０８３、ラッチ１
１２１、ラッチ１１２２、ラッチ１１２４を入力し、そ
のうち２つを選び、乗算器１１３０へ出力する。乗算器
１１３０は入力した値を乗算し、出力する。セレクタ１
１５１は、η乗算器１１３２、メモリ１１６０の結合係
数ｗ、乗算器１１３０、ラッチ１１２２、ラッチ１１２
３、ラッチ１１２４を入力し、そのうち２つを選択し、
加算器１１４０へ出力する。加算器１１４０は入力する
値を加算または減算し、出力する。ラッチ１０２４は加
算器１１４０の出力を取り込む。セレクタ１１５２は、
ラッチ１１２４、乗算器１１３０を入力し、そのうち１
つを選択し、ラッチ１１２５へ出力する。ラッチ１１２
５は図１７のセレクタ１１０１、１１０３を通して、出
力データ線１０８４へ出力する。α乗算器１１３１はメ
モリ１１６０の前回の修正値Δｗを入力し、定数α倍
し、出力する。加算器１１４１はα乗算器１１３１、乗
算器１１３０を入力し、加算して出力する。η乗算器１
１３２は加算器１１４１の出力を定数η倍して、出力す
る。メモリ１１６０は、加算器１１４０の出力の修正し
た結合係数ｗと、加算器１１４１の出力の修正値Δｗを
取り込む。制御回路１１７０はモード信号線１０８０、
アドレス信号線１０８１、クロック信号線１０８２を入
力し、ニューロンブロック１１００内のセレクタの制御
及びラッチ、メモリの書き込みの制御を行う。
【００８２】以上にＷＳＩによる構成について説明した
が、図１９に示すように、チップによっても、構成する
ことができる。図１９において、１４００はチップボー
ド、１４０１はＮチップ、１４０３はＢチップ、１４０
４はコネクタを示す。チップボード１４００を図１２に
おけるＷＳＩボード１０３０と差し替えることにより、
同様にニューロコンピューティングシステムを構成する
ことができる。また、チップとＷＳＩの混在による構成
も可能である。Ｎチップ１４０１はＮブロック１０６０
と同じ機能を持ち、Ｂチップ１４０３はＢブロック１０
６２と同じ機能を有する。ＮチップとＢチップをチップ
ボード１４００上でウェハ１０５０と同様となる接続を
行えばよい。
が、図１９に示すように、チップによっても、構成する
ことができる。図１９において、１４００はチップボー
ド、１４０１はＮチップ、１４０３はＢチップ、１４０
４はコネクタを示す。チップボード１４００を図１２に
おけるＷＳＩボード１０３０と差し替えることにより、
同様にニューロコンピューティングシステムを構成する
ことができる。また、チップとＷＳＩの混在による構成
も可能である。Ｎチップ１４０１はＮブロック１０６０
と同じ機能を持ち、Ｂチップ１４０３はＢブロック１０
６２と同じ機能を有する。ＮチップとＢチップをチップ
ボード１４００上でウェハ１０５０と同様となる接続を
行えばよい。
【００８３】以上に説明した図１２のシステムの構成が
いろいろな動作を繰り返すことにより、学習を行う。
いろいろな動作を繰り返すことにより、学習を行う。
【００８４】図２５は図１２のモード信号線１０８０に
出力するモード信号の一部を示す図である。各モード信
号における簡単な動作内容について示した。図１２のシ
ステムは本図のモード信号に従い、いろいろな動作を行
う。モード信号線１０８０を１，３，５，８，９，１
１，１３，１５，１７，１９に設定することにより、各
ラッチ、メモリの初期値を書き込むことができる。学習
動作時はモード信号２４〜３２を使用する。設定する順
番に関しては後に図２６を用いて、説明する。
出力するモード信号の一部を示す図である。各モード信
号における簡単な動作内容について示した。図１２のシ
ステムは本図のモード信号に従い、いろいろな動作を行
う。モード信号線１０８０を１，３，５，８，９，１
１，１３，１５，１７，１９に設定することにより、各
ラッチ、メモリの初期値を書き込むことができる。学習
動作時はモード信号２４〜３２を使用する。設定する順
番に関しては後に図２６を用いて、説明する。
【００８５】図２５に従い、図１２のシステムがどのよ
うに動作するか説明し、それに伴い、図１２のシーケン
スＲＡＭ１０１３、図１６の制御回路１０７１、図１７
の制御回路１１０２、図１８の制御回路１１７０の機能
についても説明することとする。
うに動作するか説明し、それに伴い、図１２のシーケン
スＲＡＭ１０１３、図１６の制御回路１０７１、図１７
の制御回路１１０２、図１８の制御回路１１７０の機能
についても説明することとする。
【００８６】まず、図２０を用いて、ＩＯブロック１０
６１、Ｂブロック１０６２、Ｎブロック１０６０及びＮ
ブロック１０６０内のニューロンブロック１１００にア
クセスするためのアドレスについて説明する。学習動作
時の各ニューロンブロック１１００のアドレスは相対ア
ドレスで動作する。ＷＳＩでは、欠陥により、全てのニ
ューロンブロック１１００を使用することができない可
能性が高い。また、本発明では、順方向ネットワークと
逆方向ネットワークを構成するニューロンブロック１１
００は１対１に対応している。そのため、各ニューロン
ブロック１１００は、任意の相対アドレスに設定できる
ようにする。相対アドレスを設定するときは、絶対アド
レスによりアクセスする。図２０（ａ）にウェハ１０５
０内の各ブロックの絶対アドレスを示す。また、図２０
（ｂ）に絶対アドレスのビット構成を示す。ウェハ１０
５０内に全部で２８８個のニューロンブロック１１００
があるので、ウェハ内の絶対アドレスは９ビットとす
る。また、それに、ボードアドレス４ビットを加える。
なお、ボードアドレスは図１２のデコーダ１０８５に必
要なもので、ウェハ１０５０内へ送る必要はない。多く
のボードを接続する場合は、ボードアドレスのビットを
増やせばよい。ウェハ内絶対アドレスのうち、３ビット
は行アドレス、１ビットは右／左アドレス、２ビットは
列アドレス、３ビットはＮブロック内ニューロンブロッ
クアドレスを示す。行アドレスとは、ウェハ１０５０の
下段からの０〜７行を示す。右／左アドレスは、中心よ
り、右か左かを示す。列アドレスはどの列かを示す。Ｎ
ブロック内ニューロンブロックアドレスはＮブロック１
０６０内の６個のニューロンブロックのうちどれかを示
す。Ｎブロック内アドレスのニューロンブロックアドレ
スを図２０（ｂ）に示す。また、図２０（ｃ）に、チッ
プボード１４００内の絶対アドレスを示す。
６１、Ｂブロック１０６２、Ｎブロック１０６０及びＮ
ブロック１０６０内のニューロンブロック１１００にア
クセスするためのアドレスについて説明する。学習動作
時の各ニューロンブロック１１００のアドレスは相対ア
ドレスで動作する。ＷＳＩでは、欠陥により、全てのニ
ューロンブロック１１００を使用することができない可
能性が高い。また、本発明では、順方向ネットワークと
逆方向ネットワークを構成するニューロンブロック１１
００は１対１に対応している。そのため、各ニューロン
ブロック１１００は、任意の相対アドレスに設定できる
ようにする。相対アドレスを設定するときは、絶対アド
レスによりアクセスする。図２０（ａ）にウェハ１０５
０内の各ブロックの絶対アドレスを示す。また、図２０
（ｂ）に絶対アドレスのビット構成を示す。ウェハ１０
５０内に全部で２８８個のニューロンブロック１１００
があるので、ウェハ内の絶対アドレスは９ビットとす
る。また、それに、ボードアドレス４ビットを加える。
なお、ボードアドレスは図１２のデコーダ１０８５に必
要なもので、ウェハ１０５０内へ送る必要はない。多く
のボードを接続する場合は、ボードアドレスのビットを
増やせばよい。ウェハ内絶対アドレスのうち、３ビット
は行アドレス、１ビットは右／左アドレス、２ビットは
列アドレス、３ビットはＮブロック内ニューロンブロッ
クアドレスを示す。行アドレスとは、ウェハ１０５０の
下段からの０〜７行を示す。右／左アドレスは、中心よ
り、右か左かを示す。列アドレスはどの列かを示す。Ｎ
ブロック内ニューロンブロックアドレスはＮブロック１
０６０内の６個のニューロンブロックのうちどれかを示
す。Ｎブロック内アドレスのニューロンブロックアドレ
スを図２０（ｂ）に示す。また、図２０（ｃ）に、チッ
プボード１４００内の絶対アドレスを示す。
【００８７】図２１に図１６の制御回路１０７１を示
す。また、図２２図に図１７の制御回路１１０２を図２
３に図１８の制御回路１１７０を示す。まず、この３つ
の図を用い、アドレスのデコード方法について説明す
る。
す。また、図２２図に図１７の制御回路１１０２を図２
３に図１８の制御回路１１７０を示す。まず、この３つ
の図を用い、アドレスのデコード方法について説明す
る。
【００８８】図２１において、１５０１は絶対アドレス
の列アドレスをデコードする列デコーダである。１５０
２は絶対アドレスの行アドレスをデコードする行デコー
ダを示す。１５０３はモード信号線をデコードするデコ
ーダを示す。１５０６〜１５０７はラッチを示す。１５
０４はインバータ回路、１５０５はアンド回路を示す。
１５１１〜１５１２は引き算回路で、アドレス信号線１
０８１に送られる相対アドレスとラッチ１５０６、１５
０７に予め書き込まれている値と引き算を行い、その結
果の符号を出力する。１５０９〜１５１０はセレクタ
で、絶対アドレスによるデコードの結果と相対アドレス
によるデコードの結果のいずれかを選択し、出力する。
デコーダ１５０３よりセレクタ１５０９、１５１０に接
続される制御線は絶対アドレスか相対アドレスかを選択
するものである。１５２０はＮブロックセレクト線を示
す。
の列アドレスをデコードする列デコーダである。１５０
２は絶対アドレスの行アドレスをデコードする行デコー
ダを示す。１５０３はモード信号線をデコードするデコ
ーダを示す。１５０６〜１５０７はラッチを示す。１５
０４はインバータ回路、１５０５はアンド回路を示す。
１５１１〜１５１２は引き算回路で、アドレス信号線１
０８１に送られる相対アドレスとラッチ１５０６、１５
０７に予め書き込まれている値と引き算を行い、その結
果の符号を出力する。１５０９〜１５１０はセレクタ
で、絶対アドレスによるデコードの結果と相対アドレス
によるデコードの結果のいずれかを選択し、出力する。
デコーダ１５０３よりセレクタ１５０９、１５１０に接
続される制御線は絶対アドレスか相対アドレスかを選択
するものである。１５２０はＮブロックセレクト線を示
す。
【００８９】図２２において、１６０７はモード信号線
１０８０をデコードするデコーダである。１６０４はラ
ッチで、入力データ線１０８３の出力を取り込むことが
できる。その制御はデコーダ１６０７が行う。１６０３
は引き算回路で、アドレス信号線１０８１に送られる相
対アドレスとラッチ１６０４に予め書き込まれている値
と引き算を行い、その結果の符号を出力する。１６０１
〜１６０２はセレクタを示す。セレクタ１６０１は、列
アドレスの絶対アドレスのデコード結果であるＮブロッ
クセレクト線１５２０と相対アドレスによるデコード結
果のいずれかを選択し、出力する。セレクタ１６０２
は、Ｎブロック内の絶対アドレスのデコード結果と相対
アドレスのデコード結果を選択するものである。デコー
ダ１６０７よりセレクタ１６０１、１６０２に接続され
る制御線は絶対アドレスか相対アドレスかを選択するも
のである。また、Ｎブロックセレクト線１５２０を捻じ
り、隣のブロックと接続するのは、各列のＮブロック１
０６０を同一パターンとすることができるからである。
それにより、半導体マスク、設計工数を低減することが
できる。１６０５はデコーダで、アドレス信号線１０８
１のうち、絶対アドレスのＮブロック内アドレスをデコ
ードする。１６０６はエンコーダで６個の各ニューロン
ブロック１１００において、アドレスをデコードされた
結果を入力する。
１０８０をデコードするデコーダである。１６０４はラ
ッチで、入力データ線１０８３の出力を取り込むことが
できる。その制御はデコーダ１６０７が行う。１６０３
は引き算回路で、アドレス信号線１０８１に送られる相
対アドレスとラッチ１６０４に予め書き込まれている値
と引き算を行い、その結果の符号を出力する。１６０１
〜１６０２はセレクタを示す。セレクタ１６０１は、列
アドレスの絶対アドレスのデコード結果であるＮブロッ
クセレクト線１５２０と相対アドレスによるデコード結
果のいずれかを選択し、出力する。セレクタ１６０２
は、Ｎブロック内の絶対アドレスのデコード結果と相対
アドレスのデコード結果を選択するものである。デコー
ダ１６０７よりセレクタ１６０１、１６０２に接続され
る制御線は絶対アドレスか相対アドレスかを選択するも
のである。また、Ｎブロックセレクト線１５２０を捻じ
り、隣のブロックと接続するのは、各列のＮブロック１
０６０を同一パターンとすることができるからである。
それにより、半導体マスク、設計工数を低減することが
できる。１６０５はデコーダで、アドレス信号線１０８
１のうち、絶対アドレスのＮブロック内アドレスをデコ
ードする。１６０６はエンコーダで６個の各ニューロン
ブロック１１００において、アドレスをデコードされた
結果を入力する。
【００９０】図２３において、１７０１はラッチで、入
力データ線１０８３に出力される自分の相対アドレスを
取り込む。また、相対アドレスの他、自分が順方向ネッ
トワーク側として動作するのか、逆方向ネットワーク側
で動作するのか、また、逆方向ネットワーク側で動作す
る場合は、さらに、中間層なのか、出力層なのかを示す
情報も取り込む。１７０３は比較回路で、アドレス信号
線１０８１に出力される相対アドレスと予め書き込まれ
ているラッチ１７０１の自分の相対アドレスを比較し、
一致しているかどうかをデコーダ１７０２へ送る。ま
た、その結果は図２２のデコーダ１６０５へも出力す
る。１７０４は比較回路で、図１８のメモリ１１６０の
結合元アドレスとアドレス信号線１０８１に出力される
相対アドレスを比較する。１７０２はデコーダで、比較
回路１７０３、ラッチ１７０１、モード信号線１０８
１、図２２のデコーダ１６０５、クロック信号線１０８
２、比較回路１７０４、図２２のセレクタ１６０１を入
力し、ニューロンブロック１１００内のセレクタ、ラッ
チ、メモリ、ポインタ、また、ラッチ１７０１の制御を
行う。
力データ線１０８３に出力される自分の相対アドレスを
取り込む。また、相対アドレスの他、自分が順方向ネッ
トワーク側として動作するのか、逆方向ネットワーク側
で動作するのか、また、逆方向ネットワーク側で動作す
る場合は、さらに、中間層なのか、出力層なのかを示す
情報も取り込む。１７０３は比較回路で、アドレス信号
線１０８１に出力される相対アドレスと予め書き込まれ
ているラッチ１７０１の自分の相対アドレスを比較し、
一致しているかどうかをデコーダ１７０２へ送る。ま
た、その結果は図２２のデコーダ１６０５へも出力す
る。１７０４は比較回路で、図１８のメモリ１１６０の
結合元アドレスとアドレス信号線１０８１に出力される
相対アドレスを比較する。１７０２はデコーダで、比較
回路１７０３、ラッチ１７０１、モード信号線１０８
１、図２２のデコーダ１６０５、クロック信号線１０８
２、比較回路１７０４、図２２のセレクタ１６０１を入
力し、ニューロンブロック１１００内のセレクタ、ラッ
チ、メモリ、ポインタ、また、ラッチ１７０１の制御を
行う。
【００９１】図２５には、動作を説明するのに必要な事
項のみ示したが、検査のために、ラッチ、メモリなどの
書き込み読みだしなどを行うためのモード信号も設定す
る。
項のみ示したが、検査のために、ラッチ、メモリなどの
書き込み読みだしなどを行うためのモード信号も設定す
る。
【００９２】まず、初期設定として、絶対アドレスによ
り、相対アドレスと、順方向ネットワークまたは逆方向
ネットワーク、また、中間層または出力層を示す情報の
２ビットを各ニューロンブロック１１００の図２３の制
御回路１１７０のラッチ１７０１に書き込む。ホストコ
ンピュータ１０００により、図１２のセレクタ１０５
１、１０５２を外部バス１０２１側とする。モード信号
線１０８０を１７に設定し、アクセスするニューロンブ
ロック１１００の絶対アドレスをアドレス信号線１０８
１に設定する。書き込みたい値を入力データ線１０８３
に設定する。ＷＳＩボード１０３０では、デコーダ１０
８５により、ボードアドレスをデコードし、自分のアド
レスのときのみ、ウェハ１０５０のラッチ、メモリ等の
書き込みを行うように制御する。
り、相対アドレスと、順方向ネットワークまたは逆方向
ネットワーク、また、中間層または出力層を示す情報の
２ビットを各ニューロンブロック１１００の図２３の制
御回路１１７０のラッチ１７０１に書き込む。ホストコ
ンピュータ１０００により、図１２のセレクタ１０５
１、１０５２を外部バス１０２１側とする。モード信号
線１０８０を１７に設定し、アクセスするニューロンブ
ロック１１００の絶対アドレスをアドレス信号線１０８
１に設定する。書き込みたい値を入力データ線１０８３
に設定する。ＷＳＩボード１０３０では、デコーダ１０
８５により、ボードアドレスをデコードし、自分のアド
レスのときのみ、ウェハ１０５０のラッチ、メモリ等の
書き込みを行うように制御する。
【００９３】絶対アドレスによる動作では、図２１の行
デコーダ１５０２により、行アドレスをデコードし、も
し、その行が選択されているかどうかがわかる。また、
列デコーダ１５０１により、列アドレスを選択し、１〜
４個その行方向にあるＮブロック１０６０のうち１個
を、それに接続されているＮブロックセレクト線１５２
０により選択する。また、右／左ビットにより、右側ま
たは左側のＮブロック１０６０かを選択する。行デコー
ダ１５０２の結果と右／左アドレスをアンド回路１５０
５によりアンドし、左側のデコーダ１５０１のイネーブ
ル信号にする。また、行デコーダ１５０２の結果と右／
左アドレスをインバータ回路１５０４により論理反転し
たものとをアンド回路１５０５によりアンドし、その結
果をデコーダ１５０１のイネーブル信号とする。選択さ
れたＮブロック１０６０内においては、図２２のデコー
ダ１６０５により、Ｎブロック内アドレスをデコード
し、各ニューロンブロック１１００内の図２３の制御回
路１１７０へその結果を出力する。また、セレクタ１６
０１のＮブロックの選択結果も制御回路１１７０へ出力
する。セレクト線制御回路１１７０のデコーダ１７０２
の制御により、モード信号が１７でかつ自分が選択され
ていれば、そのラッチ１７０１に入力信号線１０８３に
出力されている値を取り込む。以上の動作により全ての
ニューロンブロック１１００のラッチ１７０１へ書き込
む。ただし、同一のウェハ内における相対アドレスは絶
対アドレスの小さなものから大きなものに向かって増や
す。空番号が存在してもよい。これは、次に説明する出
力データ線１０８４の制御方法にかかわってくる。
デコーダ１５０２により、行アドレスをデコードし、も
し、その行が選択されているかどうかがわかる。また、
列デコーダ１５０１により、列アドレスを選択し、１〜
４個その行方向にあるＮブロック１０６０のうち１個
を、それに接続されているＮブロックセレクト線１５２
０により選択する。また、右／左ビットにより、右側ま
たは左側のＮブロック１０６０かを選択する。行デコー
ダ１５０２の結果と右／左アドレスをアンド回路１５０
５によりアンドし、左側のデコーダ１５０１のイネーブ
ル信号にする。また、行デコーダ１５０２の結果と右／
左アドレスをインバータ回路１５０４により論理反転し
たものとをアンド回路１５０５によりアンドし、その結
果をデコーダ１５０１のイネーブル信号とする。選択さ
れたＮブロック１０６０内においては、図２２のデコー
ダ１６０５により、Ｎブロック内アドレスをデコード
し、各ニューロンブロック１１００内の図２３の制御回
路１１７０へその結果を出力する。また、セレクタ１６
０１のＮブロックの選択結果も制御回路１１７０へ出力
する。セレクト線制御回路１１７０のデコーダ１７０２
の制御により、モード信号が１７でかつ自分が選択され
ていれば、そのラッチ１７０１に入力信号線１０８３に
出力されている値を取り込む。以上の動作により全ての
ニューロンブロック１１００のラッチ１７０１へ書き込
む。ただし、同一のウェハ内における相対アドレスは絶
対アドレスの小さなものから大きなものに向かって増や
す。空番号が存在してもよい。これは、次に説明する出
力データ線１０８４の制御方法にかかわってくる。
【００９４】次に、全てのＮブロック１０６０の図２２
のラッチ１６０４を設定する。モード信号を１５に設定
しラッチ１６０４には、そのＮブロック１０６０内のニ
ューロンブロック１１００に設定された相対アドレスの
最も大きな値を書き込む。ホストコンピュータ１０００
により、モード信号線１０８０を１５に設定し、アクセ
スするＮブロック１０６０の絶対アドレスをアドレス信
号線１０８１に設定する。Ｎブロック内ニューロンブロ
ックアドレスの設定は不要である。書き込みたい値を入
力データ線１０８３に設定する。相対アドレスによる動
作時のＮブロック１０６０における出力データ線１０８
４の制御、即ち、図１７のセレクタ１１０３の制御は図
２２の引き算回路１６０３により、アドレス信号線１０
８１からラッチ１６０４を引いた結果の符号ビットによ
り行う。ラッチ１６０４には、そのＮブロック１０６０
内のニューロンブロック１１００の最大の相対アドレス
が書き込まれているので、そのＮブロック１０６０より
外側のニューロンブロック１１００は、ラッチ１６０４
に書き込まれた値より大きな相対アドレスに設定されて
いる。そのため、アドレス信号線１０８１がラッチ１６
０４より大きな値となる場合には、図１７のセレクタ１
１０３を隣のＮブロック１０６０に接続されている出力
データ線１０８４を選択する。
のラッチ１６０４を設定する。モード信号を１５に設定
しラッチ１６０４には、そのＮブロック１０６０内のニ
ューロンブロック１１００に設定された相対アドレスの
最も大きな値を書き込む。ホストコンピュータ１０００
により、モード信号線１０８０を１５に設定し、アクセ
スするＮブロック１０６０の絶対アドレスをアドレス信
号線１０８１に設定する。Ｎブロック内ニューロンブロ
ックアドレスの設定は不要である。書き込みたい値を入
力データ線１０８３に設定する。相対アドレスによる動
作時のＮブロック１０６０における出力データ線１０８
４の制御、即ち、図１７のセレクタ１１０３の制御は図
２２の引き算回路１６０３により、アドレス信号線１０
８１からラッチ１６０４を引いた結果の符号ビットによ
り行う。ラッチ１６０４には、そのＮブロック１０６０
内のニューロンブロック１１００の最大の相対アドレス
が書き込まれているので、そのＮブロック１０６０より
外側のニューロンブロック１１００は、ラッチ１６０４
に書き込まれた値より大きな相対アドレスに設定されて
いる。そのため、アドレス信号線１０８１がラッチ１６
０４より大きな値となる場合には、図１７のセレクタ１
１０３を隣のＮブロック１０６０に接続されている出力
データ線１０８４を選択する。
【００９５】次に、全てのＩＯブロック１０６１、Ｂブ
ロック１０６２の図２１のラッチ１５０７にその行のニ
ューロンブロック１１００に設定された最大の相対アド
レスを書き込む。ホストコンピュータ１０００により、
モード信号線１０８０を１１に設定し、アクセスするＩ
Ｏブロック１０６１またはＢブロック１０６２の絶対ア
ドレスの行アドレスをアドレス信号線１０８１に設定す
る。右／左アドレス、列アドレス、Ｎブロック内アドレ
スの設定は不要である。書き込む値を入力データ線１０
８３に設定する。
ロック１０６２の図２１のラッチ１５０７にその行のニ
ューロンブロック１１００に設定された最大の相対アド
レスを書き込む。ホストコンピュータ１０００により、
モード信号線１０８０を１１に設定し、アクセスするＩ
Ｏブロック１０６１またはＢブロック１０６２の絶対ア
ドレスの行アドレスをアドレス信号線１０８１に設定す
る。右／左アドレス、列アドレス、Ｎブロック内アドレ
スの設定は不要である。書き込む値を入力データ線１０
８３に設定する。
【００９６】ＩＯブロック１０６１，Ｂブロック１０６
２における出力データ線１０８４の制御、即ち、図１６
のセレクタ１０７５の制御は図２１の引き算回路１５１
２により、アドレス信号線１０８１からラッチ１５０７
を引いた結果の符号ビットにより行う。ラッチ１５０７
には、その行にあるニューロンブロック１１００の最大
の相対アドレスが書き込まれているので、そのブロック
より上方のニューロンブロック１１００には、ラッチ１
５０７の値より大きな相対アドレスが設定されている。
そのため、アドレス信号線１０８１がラッチ１５０７よ
り大きな値となる場合には、図１６のセレクタ１０７５
を上方のＢブロック１０６２に接続されている出力デー
タ線１０８４を選択する。
２における出力データ線１０８４の制御、即ち、図１６
のセレクタ１０７５の制御は図２１の引き算回路１５１
２により、アドレス信号線１０８１からラッチ１５０７
を引いた結果の符号ビットにより行う。ラッチ１５０７
には、その行にあるニューロンブロック１１００の最大
の相対アドレスが書き込まれているので、そのブロック
より上方のニューロンブロック１１００には、ラッチ１
５０７の値より大きな相対アドレスが設定されている。
そのため、アドレス信号線１０８１がラッチ１５０７よ
り大きな値となる場合には、図１６のセレクタ１０７５
を上方のＢブロック１０６２に接続されている出力デー
タ線１０８４を選択する。
【００９７】次に、全てのＩＯブロック１０６１、Ｂブ
ロック１０６２の図２１のラッチ１５０６にその行の右
側のニューロンブロック１１００に設定された最大の相
対アドレスを書き込む。ホストコンピュータ１０００に
より、モード信号線１０８０を１３に設定し、アクセス
するＩＯブロック１０６１またはＢブロック１０６２の
絶対アドレスの行アドレスをアドレス信号線１０８１に
設定する。右／左アドレス、列アドレス、Ｎブロック内
アドレスの設定は不要である。書き込む値を入力データ
線１０８３に設定する。図１６のセレクタ１０７２の制
御は図２１の引き算回路１５１１により、アドレス信号
線１０８１からラッチ１５０６を引いた結果の符号ビッ
トにより行う。ラッチ１５０６には、その行の右側にあ
るニューロンブロック１１００の最大の相対アドレスが
書き込まれているので、左側のニューロンブロック１１
００には、ラッチ１５０６の値より大きな相対アドレス
が設定されている。そのため、アドレス信号線１０８１
がラッチ１５０６より大きな値となる場合には、図１６
のセレクタ１０７２は左側と接続されている出力データ
線１０８４を選択する。
ロック１０６２の図２１のラッチ１５０６にその行の右
側のニューロンブロック１１００に設定された最大の相
対アドレスを書き込む。ホストコンピュータ１０００に
より、モード信号線１０８０を１３に設定し、アクセス
するＩＯブロック１０６１またはＢブロック１０６２の
絶対アドレスの行アドレスをアドレス信号線１０８１に
設定する。右／左アドレス、列アドレス、Ｎブロック内
アドレスの設定は不要である。書き込む値を入力データ
線１０８３に設定する。図１６のセレクタ１０７２の制
御は図２１の引き算回路１５１１により、アドレス信号
線１０８１からラッチ１５０６を引いた結果の符号ビッ
トにより行う。ラッチ１５０６には、その行の右側にあ
るニューロンブロック１１００の最大の相対アドレスが
書き込まれているので、左側のニューロンブロック１１
００には、ラッチ１５０６の値より大きな相対アドレス
が設定されている。そのため、アドレス信号線１０８１
がラッチ１５０６より大きな値となる場合には、図１６
のセレクタ１０７２は左側と接続されている出力データ
線１０８４を選択する。
【００９８】次に、ＩＯブロック１０６１、Ｂブロック
１０６２の図１６の変換テーブル１０７０の書き込みを
行う。順方向ネットワークを構成するウェハ１０５０の
変換テーブル１０７０は（１）式のｆ変換を、また、逆
方向ネットワークを構成するウェハ１０５０の変換テー
ブル１０７０は（４）（５）式のｆ’変換を行う。
１０６２の図１６の変換テーブル１０７０の書き込みを
行う。順方向ネットワークを構成するウェハ１０５０の
変換テーブル１０７０は（１）式のｆ変換を、また、逆
方向ネットワークを構成するウェハ１０５０の変換テー
ブル１０７０は（４）（５）式のｆ’変換を行う。
【００９９】ホストコンピュータ１０００により、モー
ド信号線１０８０を９に設定し、アドレス信号線１０８
１にアクセスするＩＯブロック１０６１、Ｂブロック１
０６２の絶対アドレスの行アドレスを設定する。右／左
アドレス、列アドレス、Ｎブロック内アドレスのビット
に変換テーブル１０７０のアクセスしたいアドレスを設
定する。もし、７ビットで不足する場合は、アドレス信
号線１０８１のビット数を増やす。入力データ線１０８
３に書き込みたい値を設定する。ＩＯブロック１０６
１、各Ｂブロック１０６２では、図２１の行デコーダ１
５０２により、行アドレスをデコードし、自分が選択さ
れていれば、入力データ線１０８３に出力されている値
を変換テーブル１０７０に書き込む。
ド信号線１０８０を９に設定し、アドレス信号線１０８
１にアクセスするＩＯブロック１０６１、Ｂブロック１
０６２の絶対アドレスの行アドレスを設定する。右／左
アドレス、列アドレス、Ｎブロック内アドレスのビット
に変換テーブル１０７０のアクセスしたいアドレスを設
定する。もし、７ビットで不足する場合は、アドレス信
号線１０８１のビット数を増やす。入力データ線１０８
３に書き込みたい値を設定する。ＩＯブロック１０６
１、各Ｂブロック１０６２では、図２１の行デコーダ１
５０２により、行アドレスをデコードし、自分が選択さ
れていれば、入力データ線１０８３に出力されている値
を変換テーブル１０７０に書き込む。
【０１００】次に、図１２の入力層メモリ１０１０に入
力層ニューロンの出力を教師信号メモリ１０１２に教師
信号を書き込む。一般に、ニューラルネットは、いろい
ろなパターンを学習させるので、入力層メモリ１０１０
は各パターンごとにセグメント化する。同様に、各パタ
ーンに対応する教師信号を書き込む教師信号メモリ１０
１２もセグメント化する。各パターンごとにアクセスす
るセグメントを変える。ホストコンピュータ１０００に
より、それぞれ、モード信号を１、３に設定し、アドレ
ス信号線１０８１にアドレスを設定し、各メモリに値を
書き込む。
力層ニューロンの出力を教師信号メモリ１０１２に教師
信号を書き込む。一般に、ニューラルネットは、いろい
ろなパターンを学習させるので、入力層メモリ１０１０
は各パターンごとにセグメント化する。同様に、各パタ
ーンに対応する教師信号を書き込む教師信号メモリ１０
１２もセグメント化する。各パターンごとにアクセスす
るセグメントを変える。ホストコンピュータ１０００に
より、それぞれ、モード信号を１、３に設定し、アドレ
ス信号線１０８１にアドレスを設定し、各メモリに値を
書き込む。
【０１０１】次に、使用するニューロンブロック１１０
０のメモリ１１６０に結合係数の初期値を書き込む。モ
ード信号を１９に設定し、まず、アドレス信号線１０８
１にアクセスするニューロンブロック１１００のアドレ
スを設定し、その後アドレス信号線１０８１にメモリ１
１６０の書き込むアドレスを設定し、入力データ線１０
８３に書き込む値を設定する。このように、アドレス信
号線１０８１を時分割に使用してもよいし、初めポイン
タ１１６１を０にして、アドレス０から書き込み、順次
ポインタを１づつ進めて、メモリ１１６０に書き込むこ
ともできる。
０のメモリ１１６０に結合係数の初期値を書き込む。モ
ード信号を１９に設定し、まず、アドレス信号線１０８
１にアクセスするニューロンブロック１１００のアドレ
スを設定し、その後アドレス信号線１０８１にメモリ１
１６０の書き込むアドレスを設定し、入力データ線１０
８３に書き込む値を設定する。このように、アドレス信
号線１０８１を時分割に使用してもよいし、初めポイン
タ１１６１を０にして、アドレス０から書き込み、順次
ポインタを１づつ進めて、メモリ１１６０に書き込むこ
ともできる。
【０１０２】メモリ１１６０には、結合するニューロン
ブロック１１００の相対アドレスと、それとの結合係数
ｗと、前回の修正値Δｗを書き込む。ただし、Δｗの初
期値は０でよい。また、学習動作を途中で中断し、途中
結果をホストコンピュータ１０００に読み出し、また、
学習を再開するときなどは、それに応じて、必要な値を
書き込むことになる。また、順方向ネットワークと逆方
向ネットワークの対応している結合係数の初期値は同じ
値にする必要がある。
ブロック１１００の相対アドレスと、それとの結合係数
ｗと、前回の修正値Δｗを書き込む。ただし、Δｗの初
期値は０でよい。また、学習動作を途中で中断し、途中
結果をホストコンピュータ１０００に読み出し、また、
学習を再開するときなどは、それに応じて、必要な値を
書き込むことになる。また、順方向ネットワークと逆方
向ネットワークの対応している結合係数の初期値は同じ
値にする必要がある。
【０１０３】次に、図２４に示すようにシーケンスＲＡ
Ｍ１０１３に学習を行うための一連のモード信号と出力
を行うニューロンブロック１１００の相対アドレスを書
き込む。
Ｍ１０１３に学習を行うための一連のモード信号と出力
を行うニューロンブロック１１００の相対アドレスを書
き込む。
【０１０４】図２６にその例を示す。図２６では、入力
層ニューロン数３、中間層ニューロン数２、出力層ニュ
ーロン数２のニューラルネットの学習を行うためのシー
ケンスＲＡＭ１０１３の例である。図２６には、１パタ
ーンの学習を示すが、２パターン以上ある場合は、パタ
ーンを変えるごとに、入力層メモリ、教師信号メモリの
セグメントを変える必要がある。
層ニューロン数３、中間層ニューロン数２、出力層ニュ
ーロン数２のニューラルネットの学習を行うためのシー
ケンスＲＡＭ１０１３の例である。図２６には、１パタ
ーンの学習を示すが、２パターン以上ある場合は、パタ
ーンを変えるごとに、入力層メモリ、教師信号メモリの
セグメントを変える必要がある。
【０１０５】以下に、学習動作を図２６に従い、説明す
る。入力層ニューロンの相対アドレスを０〜２、中間層
ニューロンの相対アドレスを３〜４、出力層ニューロン
の相対アドレスを５〜６とする。順方向ネットワークを
構成するボードアドレスを３、逆方向ネットワークを構
成するボードアドレスを４とし、２枚のボードを使用し
ている。
る。入力層ニューロンの相対アドレスを０〜２、中間層
ニューロンの相対アドレスを３〜４、出力層ニューロン
の相対アドレスを５〜６とする。順方向ネットワークを
構成するボードアドレスを３、逆方向ネットワークを構
成するボードアドレスを４とし、２枚のボードを使用し
ている。
【０１０６】逆方向ネットワークは入力層ニューロンを
必要としないので、全部で８個のニューロンブロック１
１００を使用する。入力層メモリ、教師信号メモリはボ
ードアドレスをそれぞれ０、１である。
必要としないので、全部で８個のニューロンブロック１
１００を使用する。入力層メモリ、教師信号メモリはボ
ードアドレスをそれぞれ０、１である。
【０１０７】まず、ポインタ１０８６をリセットする。
シーケンスＲＡＭ１０１３はアドレス０に書き込まれて
いる命令とアドレスをそれぞれ、モード信号線１０８
０、アドレス信号線１０８１に出力する。それより、モ
ード信号線１０８０を２４に設定し、アドレス信号線に
アドレス５を設定する。また、ボードアドレスを１に設
定する。デコーダ１０８５によりボードアドレスをデコ
ードし、教師信号メモリ１０１２の出力を入力データ線
１０８３へ出力バッファ１０４０を通して、出力させ
る。教師信号メモリ１０１２は、アドレス信号線１０８
１に指定されるアドレス５の値を出力する。逆方向ネッ
トワーク側の出力層の相対アドレスが５のニューロンブ
ロック１１００は入力データ線１０８３に出力されてい
る自分の教師信号を図１８のラッチ１１２３に取り込
む。同様に相対アドレスが６の逆方向ネットワークの出
力層のニューロンブロック１１００に対しても行う。
シーケンスＲＡＭ１０１３はアドレス０に書き込まれて
いる命令とアドレスをそれぞれ、モード信号線１０８
０、アドレス信号線１０８１に出力する。それより、モ
ード信号線１０８０を２４に設定し、アドレス信号線に
アドレス５を設定する。また、ボードアドレスを１に設
定する。デコーダ１０８５によりボードアドレスをデコ
ードし、教師信号メモリ１０１２の出力を入力データ線
１０８３へ出力バッファ１０４０を通して、出力させ
る。教師信号メモリ１０１２は、アドレス信号線１０８
１に指定されるアドレス５の値を出力する。逆方向ネッ
トワーク側の出力層の相対アドレスが５のニューロンブ
ロック１１００は入力データ線１０８３に出力されてい
る自分の教師信号を図１８のラッチ１１２３に取り込
む。同様に相対アドレスが６の逆方向ネットワークの出
力層のニューロンブロック１１００に対しても行う。
【０１０８】ここで、ラッチ、メモリ等に書き込むに
は、アドレスのホールド時間や書き込むデータのホール
ド時間が必要である。そのため、クロック信号線１０８
２のクロック信号により、それらへのライトイネーブル
信号のタイミングを作る。
は、アドレスのホールド時間や書き込むデータのホール
ド時間が必要である。そのため、クロック信号線１０８
２のクロック信号により、それらへのライトイネーブル
信号のタイミングを作る。
【０１０９】次に、ポインタ１０８６はクロック信号線
１０８２よりクロックを入力すると、図１２のポインタ
１０８６が１つ進み、次の命令に移る。モード信号線１
０８０を２５に設定し、図１８図のポインタ１１６１を
リセットする。また、図１８のニューロンブロック１１
００内のラッチ１１２４の内容もリセットする。
１０８２よりクロックを入力すると、図１２のポインタ
１０８６が１つ進み、次の命令に移る。モード信号線１
０８０を２５に設定し、図１８図のポインタ１１６１を
リセットする。また、図１８のニューロンブロック１１
００内のラッチ１１２４の内容もリセットする。
【０１１０】次の命令では、順方向動作を行う。モード
信号線１０８０を２６に設定し、アドレス信号線は、入
力層から出力層に向かって、相対アドレスの小さい順に
ニューロンブロック１１００が指定する。ボードアドレ
スは入力層ではボードアドレス０を、そして、中間層、
出力層ではボードアドレス３を設定する。指定された入
力層メモリ１０１０は入力データ線１０８３へ、その値
を出力し、全てのニューロンブロック１１００へブロー
ドキャストする。ニューロンブロック１１００では、２
６に設定されているモード信号線１０８０を図２３のデ
コーダ１７０２でデコードし、図１８のニューロンブロ
ック１１００の各セレクタを制御する。セレクタ１１５
０はメモリ１１６０の結合係数ｗと入力データ線１０８
３を乗算器１１３０へ出力する。乗算器１１３０によ
り、結合係数ｗとニューロンの出力ｘとのシナプス演
算、即ち、乗算を行う。セレクタ１１５１は乗算器１１
３０とラッチ１１２４を加算器１１４０へ出力する。ラ
ッチ１１２４に加算器１１４０の出力を書き込む。セレ
クタ１１５２はセレクタ１１２４を選択する。ラッチ１
１２５はその値を取り込む。図２３の制御回路１１７０
の比較回路１７０４により、メモリ１１６０の結合元ア
ドレスとアドレス信号線１０８１に出力されているアド
レスを比較し、一致しているときに、ラッチ１１２４と
乗算器１１３０の出力を加算し、その結果をラッチ１１
２４に書き込む。そして、図１８のポインタ１１６１の
値を１つ進める。このように、順次、アドレス信号線１
０８１に送られる出力元の相対アドレスと入力データ線
１０８３に送られるその出力を入力し、累積加算を行
う。メモリ１１６０には、結合元アドレスの小さい順に
書き込んでおく。また、アドレス信号線１０８１と図２
３のラッチ１７０１に書き込まれた自分の相対アドレス
を比較回路１７０３により、比較し、一致していれば、
累積加算の結果、即ち、ラッチ１１２５の内部エネルギ
ー値ｕを図１７のセレクタ１１０１、１１０３、出力デ
ータ線１０８４を通して、図１６のセレクタ１０７２に
送られる。ＩＯブロック１０６１、Ｂブロック１０６２
の図２１のデコーダ１５０３は、モード信号が２６に設
定されているとき、セレクタ１０７３はセレクタ１０７
２側を選択し、セレクタ１０７４は変換テーブル１０７
０を選択する。また、セレクタ１０７６は下側から送ら
れる入力データ線１０８３をそのまま、サイドのＮブロ
ック１０６０に送るように、入力データ線１０８３側を
選択する。セレクタ１０７２、１０７５はアドレス信号
線１０８１を前述の方法により、制御する。これによ
り、相対アドレスを指定されたニューロンブロック１１
００の出力である内部エネルギー値ｕはその行の変換テ
ーブル１０７０に送られ、ニューロンの出力ｘに変換さ
れ、出力データ線１０８４により、図１２のコントロー
ルボード１００３へ送られる。図１２のセレクタ１０５
２は、出力データ線１０８４の値を、そのまま、入力デ
ータ線１０８３へ出力する。
信号線１０８０を２６に設定し、アドレス信号線は、入
力層から出力層に向かって、相対アドレスの小さい順に
ニューロンブロック１１００が指定する。ボードアドレ
スは入力層ではボードアドレス０を、そして、中間層、
出力層ではボードアドレス３を設定する。指定された入
力層メモリ１０１０は入力データ線１０８３へ、その値
を出力し、全てのニューロンブロック１１００へブロー
ドキャストする。ニューロンブロック１１００では、２
６に設定されているモード信号線１０８０を図２３のデ
コーダ１７０２でデコードし、図１８のニューロンブロ
ック１１００の各セレクタを制御する。セレクタ１１５
０はメモリ１１６０の結合係数ｗと入力データ線１０８
３を乗算器１１３０へ出力する。乗算器１１３０によ
り、結合係数ｗとニューロンの出力ｘとのシナプス演
算、即ち、乗算を行う。セレクタ１１５１は乗算器１１
３０とラッチ１１２４を加算器１１４０へ出力する。ラ
ッチ１１２４に加算器１１４０の出力を書き込む。セレ
クタ１１５２はセレクタ１１２４を選択する。ラッチ１
１２５はその値を取り込む。図２３の制御回路１１７０
の比較回路１７０４により、メモリ１１６０の結合元ア
ドレスとアドレス信号線１０８１に出力されているアド
レスを比較し、一致しているときに、ラッチ１１２４と
乗算器１１３０の出力を加算し、その結果をラッチ１１
２４に書き込む。そして、図１８のポインタ１１６１の
値を１つ進める。このように、順次、アドレス信号線１
０８１に送られる出力元の相対アドレスと入力データ線
１０８３に送られるその出力を入力し、累積加算を行
う。メモリ１１６０には、結合元アドレスの小さい順に
書き込んでおく。また、アドレス信号線１０８１と図２
３のラッチ１７０１に書き込まれた自分の相対アドレス
を比較回路１７０３により、比較し、一致していれば、
累積加算の結果、即ち、ラッチ１１２５の内部エネルギ
ー値ｕを図１７のセレクタ１１０１、１１０３、出力デ
ータ線１０８４を通して、図１６のセレクタ１０７２に
送られる。ＩＯブロック１０６１、Ｂブロック１０６２
の図２１のデコーダ１５０３は、モード信号が２６に設
定されているとき、セレクタ１０７３はセレクタ１０７
２側を選択し、セレクタ１０７４は変換テーブル１０７
０を選択する。また、セレクタ１０７６は下側から送ら
れる入力データ線１０８３をそのまま、サイドのＮブロ
ック１０６０に送るように、入力データ線１０８３側を
選択する。セレクタ１０７２、１０７５はアドレス信号
線１０８１を前述の方法により、制御する。これによ
り、相対アドレスを指定されたニューロンブロック１１
００の出力である内部エネルギー値ｕはその行の変換テ
ーブル１０７０に送られ、ニューロンの出力ｘに変換さ
れ、出力データ線１０８４により、図１２のコントロー
ルボード１００３へ送られる。図１２のセレクタ１０５
２は、出力データ線１０８４の値を、そのまま、入力デ
ータ線１０８３へ出力する。
【０１１１】また、このモードにおける逆方向ネットワ
ーク側では、図１８において、アドレス信号線１０８１
に自分の相対アドレスが出力されたときに、入力データ
線１０８３の値をラッチ１１２２に取り込む。
ーク側では、図１８において、アドレス信号線１０８１
に自分の相対アドレスが出力されたときに、入力データ
線１０８３の値をラッチ１１２２に取り込む。
【０１１２】次の動作では、モード信号線１０８０を２
７に設定し、中間層と出力層の相対アドレスをアドレス
信号１０８１に順次設定していく。相対アドレスを指定
された順方向ネットワークのニューロンブロック１１０
０は再び図１８のラッチ１１２５の内容、即ち、内部エ
ネルギー値ｕを図１６のＩＯブロック１０６１、Ｂブロ
ック１０６２へ送る。モード２７において、ＩＯブロッ
ク１０６１、Ｂブロック１０６２のセレクタ１０７４は
セレクタ１０７２を選択する。そのため、内部エネルギ
ー値ｕがそのまま下側の出力データ線１０８４へ出力す
る。アドレス信号線１０８１のデコード方法に関して
は、モード２６と同様である。内部エネルギー値ｕは、
図１２のコントロールボードを通り、出力データ線１０
８４へ出力される。一方、逆方向ネットワークのＩＯブ
ロック１０６１、Ｂブロック１０６２では、セレクタ１
０７３を入力データ線１０８３側に、セレクタ１０７４
を変換テーブル１０７０側に、セレクタ１０７６をセレ
クタ１０７４側に設定する。入力データ線１０８３によ
り送られる内部エネルギー値ｕは、変換テーブル１０７
０により、ｆ’変換して、ｆ’（ｕ）となり、サイドの
Ｎブロック１０６０へ入力データ線１０８３により出力
する。逆方向ネットワークの図１８のニューロンブロッ
ク１１００では、アドレス信号線１０８１に出力される
アドレスと自分の相対アドレスが一致すれば、入力デー
タ線１０８３に出力されているｆ’（ｕ）をラッチ１１
２１に取り込む。
７に設定し、中間層と出力層の相対アドレスをアドレス
信号１０８１に順次設定していく。相対アドレスを指定
された順方向ネットワークのニューロンブロック１１０
０は再び図１８のラッチ１１２５の内容、即ち、内部エ
ネルギー値ｕを図１６のＩＯブロック１０６１、Ｂブロ
ック１０６２へ送る。モード２７において、ＩＯブロッ
ク１０６１、Ｂブロック１０６２のセレクタ１０７４は
セレクタ１０７２を選択する。そのため、内部エネルギ
ー値ｕがそのまま下側の出力データ線１０８４へ出力す
る。アドレス信号線１０８１のデコード方法に関して
は、モード２６と同様である。内部エネルギー値ｕは、
図１２のコントロールボードを通り、出力データ線１０
８４へ出力される。一方、逆方向ネットワークのＩＯブ
ロック１０６１、Ｂブロック１０６２では、セレクタ１
０７３を入力データ線１０８３側に、セレクタ１０７４
を変換テーブル１０７０側に、セレクタ１０７６をセレ
クタ１０７４側に設定する。入力データ線１０８３によ
り送られる内部エネルギー値ｕは、変換テーブル１０７
０により、ｆ’変換して、ｆ’（ｕ）となり、サイドの
Ｎブロック１０６０へ入力データ線１０８３により出力
する。逆方向ネットワークの図１８のニューロンブロッ
ク１１００では、アドレス信号線１０８１に出力される
アドレスと自分の相対アドレスが一致すれば、入力デー
タ線１０８３に出力されているｆ’（ｕ）をラッチ１１
２１に取り込む。
【０１１３】次にモード信号線１０８０を２８に設定す
る。逆方向ネットワークの出力層のニューロンブロック
１１００はセレクタを次のように設定する。図１８にお
いて、セレクタ１１５１はラッチ１１２２とラッチ１１
２３を加算器１１４０に出力する。加算器１１４０によ
り（ｔ−ｘ）を計算し、ラッチ１１２４へ書き込む。セ
レクタ１１５０はラッチ１１２４とラッチ１１２１を乗
算器１１３０へ出力する。乗算器１１３０により、ラッ
チ１１２４の（ｔ−ｘ）とラッチ１１２１のｆ’（ｕ）
の乗算を行い出力層の学習信号δを計算する。セレクタ
１１５２は乗算器１１３０の出力をラッチ１１２５へ出
力する。ラッチ１１２５に学習信号δを書き込む。
る。逆方向ネットワークの出力層のニューロンブロック
１１００はセレクタを次のように設定する。図１８にお
いて、セレクタ１１５１はラッチ１１２２とラッチ１１
２３を加算器１１４０に出力する。加算器１１４０によ
り（ｔ−ｘ）を計算し、ラッチ１１２４へ書き込む。セ
レクタ１１５０はラッチ１１２４とラッチ１１２１を乗
算器１１３０へ出力する。乗算器１１３０により、ラッ
チ１１２４の（ｔ−ｘ）とラッチ１１２１のｆ’（ｕ）
の乗算を行い出力層の学習信号δを計算する。セレクタ
１１５２は乗算器１１３０の出力をラッチ１１２５へ出
力する。ラッチ１１２５に学習信号δを書き込む。
【０１１４】次の命令では、モード信号線１０８０を２
５に設定し、図１８のポインタ１１６１をリセットす
る。また、図１８のニューロンブロック１１００内のラ
ッチ１１２４をリセットする。
５に設定し、図１８のポインタ１１６１をリセットす
る。また、図１８のニューロンブロック１１００内のラ
ッチ１１２４をリセットする。
【０１１５】次の命令では、モード信号線１０８０を２
９に設定し、出力層の相対アドレスをアドレス信号線１
０８１に小さい順に設定していく。相対アドレスを指定
された逆方向ネットワークの図１８のニューロンブロッ
ク１１００はラッチ１１２５の内容、即ち、出力層の学
習信号δを図１６のＩＯブロック１０６１、Ｂブロック
１０６２へ送る。モード２９において、ＩＯブロック１
０６１、Ｂブロック１０６２の図１６のセレクタ１０７
４はセレクタ１０７２を選択するので、学習信号δがそ
のまま出力データ線１０８４へ出力される。アドレス信
号線１０８１のデコードに関しては、モード２６と同様
である。学習信号δは、図１２のコントロールボード１
００３を通り、入力データ線１０８３へ出力される。順
方向ネットワークのＩＯブロック１０６１、Ｂブロック
１０６２では、図１６のセレクタ１０７６を下側と接続
されている入力データ線１０８３側に設定する。逆方向
ネットワークから送られる学習信号δは、サイドのＮブ
ロック１０６０へ出力される。順方向ネットワークの図
１８のニューロンブロック１１００では、アドレス信号
線１０８１に出力されるアドレスと自分の相対アドレス
が一致すれば、入力データ線１０８３に出力されている
学習信号δをラッチ１１２２に取り込む。
９に設定し、出力層の相対アドレスをアドレス信号線１
０８１に小さい順に設定していく。相対アドレスを指定
された逆方向ネットワークの図１８のニューロンブロッ
ク１１００はラッチ１１２５の内容、即ち、出力層の学
習信号δを図１６のＩＯブロック１０６１、Ｂブロック
１０６２へ送る。モード２９において、ＩＯブロック１
０６１、Ｂブロック１０６２の図１６のセレクタ１０７
４はセレクタ１０７２を選択するので、学習信号δがそ
のまま出力データ線１０８４へ出力される。アドレス信
号線１０８１のデコードに関しては、モード２６と同様
である。学習信号δは、図１２のコントロールボード１
００３を通り、入力データ線１０８３へ出力される。順
方向ネットワークのＩＯブロック１０６１、Ｂブロック
１０６２では、図１６のセレクタ１０７６を下側と接続
されている入力データ線１０８３側に設定する。逆方向
ネットワークから送られる学習信号δは、サイドのＮブ
ロック１０６０へ出力される。順方向ネットワークの図
１８のニューロンブロック１１００では、アドレス信号
線１０８１に出力されるアドレスと自分の相対アドレス
が一致すれば、入力データ線１０８３に出力されている
学習信号δをラッチ１１２２に取り込む。
【０１１６】また、逆方向ネットワークの中間層のニュ
ーロンブロック１１００では、セレクタ１１５０はメモ
リ１１６０の結合係数ｗと入力データ線１０８３を乗算
器１１３０へ出力する。乗算器１１３０により、結合係
数ｗと学習信号δとの乗算を行う。セレクタ１１５１は
乗算器１１３０とラッチ１１２４を加算器１１４０へ出
力する。ラッチ１１２４は加算器１１４０の出力を取り
込む。図２３の比較回路１７０４により、メモリ１１６
０が出力する結合元アドレスとアドレス信号線１０８１
を比較し、一致しているときに、ラッチ１１２４と乗算
器１１３０の出力を加算し、ラッチ１１２４に書き込
む。そして、ポインタ１１６１の値を１つ進める。この
ように、順次、アドレス信号線１０８１と入力データ線
１０８３に送られてくる、出力元のニューロンブロック
１１００の相対アドレスとその出力を入力し、Σｗ・δ
の累積加算を行う。
ーロンブロック１１００では、セレクタ１１５０はメモ
リ１１６０の結合係数ｗと入力データ線１０８３を乗算
器１１３０へ出力する。乗算器１１３０により、結合係
数ｗと学習信号δとの乗算を行う。セレクタ１１５１は
乗算器１１３０とラッチ１１２４を加算器１１４０へ出
力する。ラッチ１１２４は加算器１１４０の出力を取り
込む。図２３の比較回路１７０４により、メモリ１１６
０が出力する結合元アドレスとアドレス信号線１０８１
を比較し、一致しているときに、ラッチ１１２４と乗算
器１１３０の出力を加算し、ラッチ１１２４に書き込
む。そして、ポインタ１１６１の値を１つ進める。この
ように、順次、アドレス信号線１０８１と入力データ線
１０８３に送られてくる、出力元のニューロンブロック
１１００の相対アドレスとその出力を入力し、Σｗ・δ
の累積加算を行う。
【０１１７】次の命令では、モード信号線１０８０を３
０に設定する。逆方向ネットワークの出力層のニューロ
ンブロック１１００はセレクタを次のように設定する。
図１８において、セレクタ１１５０はラッチ１１２４と
ラッチ１１２１を乗算器１１３０へ出力する。乗算器１
１３０により、ラッチ１１２４のΣｗ・δとｆ’（ｕ）
の乗算を行い中間層の学習信号δを計算する。セレクタ
１１５２は乗算器１１３０の出力をラッチ１１２５へ出
力する。ラッチ１１２５に学習信号δを書き込む。
０に設定する。逆方向ネットワークの出力層のニューロ
ンブロック１１００はセレクタを次のように設定する。
図１８において、セレクタ１１５０はラッチ１１２４と
ラッチ１１２１を乗算器１１３０へ出力する。乗算器１
１３０により、ラッチ１１２４のΣｗ・δとｆ’（ｕ）
の乗算を行い中間層の学習信号δを計算する。セレクタ
１１５２は乗算器１１３０の出力をラッチ１１２５へ出
力する。ラッチ１１２５に学習信号δを書き込む。
【０１１８】次に、モード信号線１０８０を２９に設定
し、中間層の学習信号δを全ニューロンブロック１１０
０にブロードキャストする。順方向ネットワークのニュ
ーロンブロック１１００は、アドレス信号線１０８１の
値と図２３のラッチ１７０１に書き込まれた自分の相対
アドレスを比較回路１７０３により、比較し、一致して
いれば、学習信号δをラッチ１１２２に取り込む。
し、中間層の学習信号δを全ニューロンブロック１１０
０にブロードキャストする。順方向ネットワークのニュ
ーロンブロック１１００は、アドレス信号線１０８１の
値と図２３のラッチ１７０１に書き込まれた自分の相対
アドレスを比較回路１７０３により、比較し、一致して
いれば、学習信号δをラッチ１１２２に取り込む。
【０１１９】中間層が２層以上ある場合は、この後、再
び、モード３０の命令を行い、学習信号δを計算し、そ
の後モード２９により順方向ネットワークへ送ればよ
い。
び、モード３０の命令を行い、学習信号δを計算し、そ
の後モード２９により順方向ネットワークへ送ればよ
い。
【０１２０】次の命令では、モード信号線１０８０を２
５に設定し、図１８のポインタ１１６１をリセットす
る。
５に設定し、図１８のポインタ１１６１をリセットす
る。
【０１２１】次に、モード信号線１０８０を３１に設定
し、アドレス信号線１０８１を入力層から中間層に向か
って相対アドレスの小さい順に指定する。入力層に関し
ては、入力層メモリ１０１０から出力する。中間層に関
して、順方向ネットワークの中間層のニューロンブロッ
ク１１００はその内部エネルギー値ｕをＩＯブロック１
０６１、Ｂブロック１０６２の変換テーブル１０７０で
ｆ変換し、その値をブロードキャストする。順方向ネッ
トワークの図１８のニューロンブロック１１００の各セ
レクタを次のように制御する。セレクタ１１５０はラッ
チ１１２２と入力データ線１０８３を乗算器１１３０へ
出力する。乗算器１１３０により、ラッチ１１２２の学
習信号δとニューロンの出力ｘの乗算を行う。セレクタ
１１５１はメモリ１１６０の結合係数ｗとη乗算機１１
３２を加算器１１４０へ出力する。また、α乗算器１１
３１はメモリ１１６０の前回の修正値Δｗ’を入力し、
α倍し、αΔｗ’を出力する。加算器１１４１は乗算器
１１３０の出力δ・ｘとα乗算器１１３１の出力αΔ
ｗ’を入力し、加算してη乗算器１１３２に出力する。
η乗算器１１３２の出力は、修正値である。メモリ１１
６０のΔｗ’には、ηを掛ける前の値を書き込む。
し、アドレス信号線１０８１を入力層から中間層に向か
って相対アドレスの小さい順に指定する。入力層に関し
ては、入力層メモリ１０１０から出力する。中間層に関
して、順方向ネットワークの中間層のニューロンブロッ
ク１１００はその内部エネルギー値ｕをＩＯブロック１
０６１、Ｂブロック１０６２の変換テーブル１０７０で
ｆ変換し、その値をブロードキャストする。順方向ネッ
トワークの図１８のニューロンブロック１１００の各セ
レクタを次のように制御する。セレクタ１１５０はラッ
チ１１２２と入力データ線１０８３を乗算器１１３０へ
出力する。乗算器１１３０により、ラッチ１１２２の学
習信号δとニューロンの出力ｘの乗算を行う。セレクタ
１１５１はメモリ１１６０の結合係数ｗとη乗算機１１
３２を加算器１１４０へ出力する。また、α乗算器１１
３１はメモリ１１６０の前回の修正値Δｗ’を入力し、
α倍し、αΔｗ’を出力する。加算器１１４１は乗算器
１１３０の出力δ・ｘとα乗算器１１３１の出力αΔ
ｗ’を入力し、加算してη乗算器１１３２に出力する。
η乗算器１１３２の出力は、修正値である。メモリ１１
６０のΔｗ’には、ηを掛ける前の値を書き込む。
【０１２２】
【数６】
【０１２３】
【数７】
【０１２４】定数ηは広範囲な値となるのでこのように
することにより、メモリ１１６０へ書き込むΔｗ’のビ
ット数を節約することができる。加算器１１４０によ
り、結合係数ｗを修正し、メモリ１１６０にその修正結
果を書き込む。また、以上の修正動作は、図２３の比較
回路１７０４により、メモリ１１６０の結合元アドレス
とアドレス信号線１０８１が一致しているときに行う。
することにより、メモリ１１６０へ書き込むΔｗ’のビ
ット数を節約することができる。加算器１１４０によ
り、結合係数ｗを修正し、メモリ１１６０にその修正結
果を書き込む。また、以上の修正動作は、図２３の比較
回路１７０４により、メモリ１１６０の結合元アドレス
とアドレス信号線１０８１が一致しているときに行う。
【０１２５】次に、モード信号線１０８０を２５に設定
し、図１８のポインタ１１６１をリセットする。
し、図１８のポインタ１１６１をリセットする。
【０１２６】次に、モード信号線１０８０を３２に設定
し、逆方向ネットワークの出力層のニューロンブロック
１１００の相対アドレスをアドレス信号線１０８１に設
定し、学習信号δをブロードキャストする。もし、中間
層が２層以上ある場合は、中間層の学習信号δもブロー
ドキャストする。逆方向ネットワークの第１８図のニュ
ーロンブロック１１００の各セレクタをモード３１の順
方向ネットワークの結合係数ｗの修正と同じように設定
する。乗算器１１３０により、ラッチ１１２２のニュー
ロンの出力ｘと入力データ線１０８３に出力される学習
信号δの乗算を行い、η乗算器１１３２、加算器１１４
０、α乗算器１１３１、加算器１１４１により、修正値
Δｗ’および修正した結合係数ｗを計算し、メモリ１１
６０に書き込む。
し、逆方向ネットワークの出力層のニューロンブロック
１１００の相対アドレスをアドレス信号線１０８１に設
定し、学習信号δをブロードキャストする。もし、中間
層が２層以上ある場合は、中間層の学習信号δもブロー
ドキャストする。逆方向ネットワークの第１８図のニュ
ーロンブロック１１００の各セレクタをモード３１の順
方向ネットワークの結合係数ｗの修正と同じように設定
する。乗算器１１３０により、ラッチ１１２２のニュー
ロンの出力ｘと入力データ線１０８３に出力される学習
信号δの乗算を行い、η乗算器１１３２、加算器１１４
０、α乗算器１１３１、加算器１１４１により、修正値
Δｗ’および修正した結合係数ｗを計算し、メモリ１１
６０に書き込む。
【０１２７】以上の動作を各パターンごとに、入力層メ
モリ、教師信号メモリのセグメントを変えて行うことに
より、学習動作を行うことができる。また、出力層メモ
リ１０１１は、出力データ線１０８４に出力される順方
向ネットワークの出力層ニューロンの出力を取り込む。
ホストコンピュータ１０００は出力層メモリ１０１１を
外部バス１０２１から読み出し、期待する出力となって
いるか調べることができる。
モリ、教師信号メモリのセグメントを変えて行うことに
より、学習動作を行うことができる。また、出力層メモ
リ１０１１は、出力データ線１０８４に出力される順方
向ネットワークの出力層ニューロンの出力を取り込む。
ホストコンピュータ１０００は出力層メモリ１０１１を
外部バス１０２１から読み出し、期待する出力となって
いるか調べることができる。
【０１２８】図１２のアプリケーションの例として、例
えば、図１２のディジタイザー１００１により、手書き
文字を入力し、ホストコンピュータ１０００により入力
した文字の座標を正規化し、ニューラルネットの入力と
し、手書き文字を認識するシステムを作ることができ
る。図１２のシステムにおいて、入力層ｐ個、中間層ｑ
個、出力層ｒ個の階層型ニューラルネットの１パターン
の１回の学習に要する時間は、１回に要する累積加算の
時間をｔとすると、ほぼ、
えば、図１２のディジタイザー１００１により、手書き
文字を入力し、ホストコンピュータ１０００により入力
した文字の座標を正規化し、ニューラルネットの入力と
し、手書き文字を認識するシステムを作ることができ
る。図１２のシステムにおいて、入力層ｐ個、中間層ｑ
個、出力層ｒ個の階層型ニューラルネットの１パターン
の１回の学習に要する時間は、１回に要する累積加算の
時間をｔとすると、ほぼ、
【０１２９】
【数８】（２ｐ＋４ｑ＋５ｒ）・ｔ（ｓ） （８） となる。例えば、手書き文字認識にｐを２５６（１６ド
ット×１６ドット）、ｑを１００、ｒを２６、ｔを１０
０ｎｓとすると、１パターンの１回の学習を約０.１ｍ
ｓで行うことができる。１文字の学習に１０００回の繰
り返しが必要としても、１０文字パターンの学習をわず
か１秒で行うことができる。
ット×１６ドット）、ｑを１００、ｒを２６、ｔを１０
０ｎｓとすると、１パターンの１回の学習を約０.１ｍ
ｓで行うことができる。１文字の学習に１０００回の繰
り返しが必要としても、１０文字パターンの学習をわず
か１秒で行うことができる。
【０１３０】
【発明の効果】本発明によれば、ニューラルネットを高
速に学習させることができる。また、ウェハスケール集
積回路で構成するのに好都合で、複数のウェハで構成す
ることも可能である。また、その設計工数も少ない。そ
のため、大規模なニューラルネットを高速に計算がで
き、かつコンパクトなニューロコンピュータ用のウェハ
スケール集積回路を製造することができる。
速に学習させることができる。また、ウェハスケール集
積回路で構成するのに好都合で、複数のウェハで構成す
ることも可能である。また、その設計工数も少ない。そ
のため、大規模なニューラルネットを高速に計算がで
き、かつコンパクトなニューロコンピュータ用のウェハ
スケール集積回路を製造することができる。
【図１】本発明の一実施例を示す図である。
【図２】ニューラルネットを構成するニューロンモデル
を示す図である。
を示す図である。
【図３】３層の階層型ニューラルネットを示す図であ
る。
る。
【図４】ニューラルネットを高速に計算する専用ハード
ウェアを示す図である。
ウェアを示す図である。
【図５】本発明の動作の詳細について説明する図であ
る。
る。
【図６】本発明による演算の流れを示す図である。
【図７】本発明で用いる機能ブロックの一例の詳細を示
す図である。
す図である。
【図８】本発明で用いる機能ブロックの一例の詳細を示
す図である。
す図である。
【図９】本発明で用いる機能ブロックの一例の詳細を示
す図である。
す図である。
【図１０】本発明の他の一実施例を示す図である。
【図１１】本発明の他の一実施例を示す図である。
【図１２】本発明のニューロコンピューティングシステ
ムの全体を示す図である。
ムの全体を示す図である。
【図１３】本発明のニューロコンピューティングシステ
ムのウェハの構成を示す図である。
ムのウェハの構成を示す図である。
【図１４】ウェハの信号線の構成と配置を示す図であ
る。
る。
【図１５】ウェハの各ブロックへの電源供電方法および
ＷＳＩ基板の構成を示す図である。
ＷＳＩ基板の構成を示す図である。
【図１６】Ｂブロック（ＩＯブロック）を示す図であ
る。
る。
【図１７】Ｎブロックを示す図である。
【図１８】ニューロンブロックの詳細を示す図である。
【図１９】本発明のシステムをチップにより構成した場
合について説明する図である。
合について説明する図である。
【図２０】ＩＯブロック、Ｂブロック、Ｎブロック、Ｎ
ブロック内のニューロンブロックにアクセスするための
アドレスについて説明する図である。
ブロック内のニューロンブロックにアクセスするための
アドレスについて説明する図である。
【図２１】図１６の制御回路を示す図である。
【図２２】図１７の制御回路を示す図である。
【図２３】図１８の制御回路を示す図である。
【図２４】シーケンスＲＡＭについて説明する図であ
る。
る。
【図２５】モード信号とその動作の一例を示す図であ
る。
る。
【図２６】図２４のシーケンスＲＡＭに書き込む命令の
一例を示す図である。
一例を示す図である。
120F,121F,120B,121B…計算ユニット、123,124…制御回
路、125〜127…セレクタ、128…バッファ、130…制御信
号発生回路、131,132…関数変換回路、140…出力バス、
141…入力バス、142〜145…制御信号線、150…外部入力
端子、151…外部出力端子、160…乗算器。
路、125〜127…セレクタ、128…バッファ、130…制御信
号発生回路、131,132…関数変換回路、140…出力バス、
141…入力バス、142〜145…制御信号線、150…外部入力
端子、151…外部出力端子、160…乗算器。
フロントページの続き (72)発明者 柳生 正義 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 山田 稔 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 柴田 克成 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内
Claims (8)
- 【請求項１】データバスにより接続される半導体集積回
路と、入力値を記憶する第１のメモリと、出力の所望す
る値を記憶する第２のメモリと、出力値を記憶する第３
のメモリと、これらを制御する制御回路を備えた情報処
理システムであって、 上記半導体集積回路はニューロンモデルを計算する複数
の機能ブロックを有し、上記機能ブロックの１つは上記
データバスにより、自他の機能ブロックの少なくともい
ずれかへデータを転送する手段と、 複数の上記入力値とそれらの入力値に対応する上記所望
する値に対して、上記ニューロンモデル間の重み値を修
正する手段を有することを特徴とする情報処理システ
ム。 - 【請求項２】データバスにより接続される少なくとも１
つのウェハスケール集積回路と、入力値を記憶する第１
のメモリと、出力の所望する値を記憶する第２のメモリ
と、出力値を記憶する第３のメモリと、これらを制御す
る制御回路を備えた情報処理システムであって、 上記ウェハスケール集積回路はニューロンモデルを計算
する複数の機能ブロックを有し、上記機能ブロックの１
つは上記データバスにより、自他の機能ブロックの少な
くともいずれかへデータを転送する手段と、 複数の上記入力値とそれらの入力値に対応する上記所望
する値に対して、上記ニューロンモデル間の重み値を修
正する手段を有することを特徴とする情報処理システ
ム。 - 【請求項３】データバスにより接続される少なくとも１
つのウェハスケール集積回路と、入力値を記憶する第１
のメモリと、出力の所望する値を記憶する第２のメモリ
と、出力値を記憶する第３のメモリと、これらを制御す
る制御回路を備えた情報処理システムであって、 上記ウェハスケール集積回路はニューロンモデルを計算
する複数の機能ブロックを有し、上記機能ブロックの１
つは上記データバスにより、自他の機能ブロックの少な
くともいずれかへデータを転送する手段を有し、 少なくとも１つの上記機能ブロックにより中間層、出力
層とその出力が決定していく第１の階層的ネットワーク
を構成すると共に、少なくとも１つの上記機能ブロック
により出力層、中間層とその出力が決定していく第２の
階層的ネットワークを構成し、 上記第１の階層的ネットワークと上記第２の階層的ネッ
トワークの上記機能ブロックは１対１に対応し、複数の
上記入力値とそれらの入力値に対応する上記所望する値
に対して、上記ニューロンモデル間の結合係数を修正す
る手段を有することを特徴とする情報処理システム。 - 【請求項４】上記ウェハスケール集積回路の複数の機能
ブロックは、物理的に決まる絶対的なアドレスと外部か
ら設定する論理的なアドレスにより、外部からアクセス
する請求項３記載の情報処理システム。 - 【請求項５】上記第１の階層的ネットワークと上記第２
の階層的ネットワークの１対１に対応する２つの上記機
能ブロックは、上記論理的なアドレスを同一に設定し、
上記論理的なアドレスにより対応付けを判別する請求項
４記載の情報処理システム。 - 【請求項６】入力値を記憶する第１のメモリと、出力の
所望する値を記憶する第２のメモリと、出力値を記憶す
る第３のメモリと、複数の機能ブロックと、これら制御
する制御回路を備え、上記機能ブロックは１つのニュー
ロンモデルを計算する情報処理装置を有する情報処理シ
ステムであって、 上記情報処理装置はホストコンピュータと接続され、上
記ホストコンピュータは上記情報処理装置の初期設定を
行い、上記情報処理装置を動作させたとき、上記出力値
を記憶する第３のメモリから各ニューロンモデルの出力
値を得て、上記動作中は上記ホストコンピュータを介在
させず制御する手段を有することを特徴とする情報処理
システム。 - 【請求項７】入力値を記憶する第１のメモリと、出力の
所望する値を記憶する第２のメモリと、出力値を記憶す
る第３のメモリと、複数の機能ブロックと、これらを制
御する制御回路を備え、上記機能ブロックは１つのニュ
ーロンモデルを計算する情報処理装置を有する情報処理
システムであって、 上記情報処理装置はホストコンピュータと接続され、上
記機能ブロックはニューロンモデルの出力値を計算する
第１の機能と、ニューロンモデルの学習信号値を計算す
る第２の機能を有し、動作時は上記第１の機能または上
記第２の機能のどちらか一方の動作を行うように構成
し、 上記ホストコンピュータは、上記機能ブロックを上記第
１の機能または上記第２の機能として動作させるか、各
々の上記機能ブロックを設定するように制御する手段を
有することを特徴とする情報処理システム。 - 【請求項８】外部から信号を入力し上記信号を保持して
出力する入力層、信号を入力しニューロン計算ユニット
におけるニューロンモデルの出力値を計算して出力する
第１の中間層、信号を入力しニューロン計算ユニットに
おけるニューロンモデルの出力値を計算して出力する第
１の出力層、上記第１の中間層又は上記第１の出力層の
ニューロンモデルの重み値を修正する修正手段を備え、
外部から信号を入力し、入力層、第１の中間層、第１の
出力層の順に信号を処理し、ニューロンモデルの出力値
を決定する第１のネットワークと、 学習信号を計算して出力する第２の出力層、上記修正手
段の出力値と上記学習信号値を計算して出力する第２の
中間層を備え、与えられた入力に対して期待される出力
値を入力し、第２の出力層、第２の中間層の順に信号を
処理し、学習信号値を決定する第２のネットワークと、 上記第１のネットワークと上記第２のネットワーク間
で、相互にデータを通信する通信手段とを備え、 上記通信手段によって、上記第１のネットワークと上記
第２のネットワーク間で、上記ニューロンモデルの出力
値と上記学習信号値を通信することを通して、上記の修
正手段により、上記ニューロンモデルの出力値と上記学
習信号値の積に比例した値をニューロンモデルの重み値
に加算することにより、上記重み値を修正する手段を有
することを特徴とする情報処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4209163A JPH05197707A (ja) | 1992-08-05 | 1992-08-05 | 情報処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4209163A JPH05197707A (ja) | 1992-08-05 | 1992-08-05 | 情報処理システム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2284235A Division JPH07101415B2 (ja) | 1989-10-25 | 1990-10-24 | 情報処理装置及びその学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05197707A true JPH05197707A (ja) | 1993-08-06 |
Family
ID=16568372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4209163A Pending JPH05197707A (ja) | 1992-08-05 | 1992-08-05 | 情報処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05197707A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002304617A (ja) * | 2001-04-04 | 2002-10-18 | Pacific Systems Corp | 反応型情報処理装置 |
| US6654730B1 (en) | 1999-12-28 | 2003-11-25 | Fuji Xerox Co., Ltd. | Neural network arithmetic apparatus and neutral network operation method |
| JP2017130221A (ja) * | 2015-10-23 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 半導体装置及び電子機器 |
| JP2020046821A (ja) * | 2018-09-18 | 2020-03-26 | 株式会社東芝 | ニューラルネットワーク装置 |
| JP2020149625A (ja) * | 2019-03-15 | 2020-09-17 | 株式会社東芝 | 演算装置 |
-
1992
- 1992-08-05 JP JP4209163A patent/JPH05197707A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6654730B1 (en) | 1999-12-28 | 2003-11-25 | Fuji Xerox Co., Ltd. | Neural network arithmetic apparatus and neutral network operation method |
| JP2002304617A (ja) * | 2001-04-04 | 2002-10-18 | Pacific Systems Corp | 反応型情報処理装置 |
| JP2017130221A (ja) * | 2015-10-23 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 半導体装置及び電子機器 |
| US10922605B2 (en) | 2015-10-23 | 2021-02-16 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US11893474B2 (en) | 2015-10-23 | 2024-02-06 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US12387093B2 (en) | 2015-10-23 | 2025-08-12 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| JP2020046821A (ja) * | 2018-09-18 | 2020-03-26 | 株式会社東芝 | ニューラルネットワーク装置 |
| US11455526B2 (en) | 2018-09-18 | 2022-09-27 | Kabushiki Kaisha Toshiba | Neural network device |
| JP2020149625A (ja) * | 2019-03-15 | 2020-09-17 | 株式会社東芝 | 演算装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5604840A (en) | Information processing apparatus | |
| US12147359B2 (en) | AI accelerator apparatus using in-memory compute chiplet devices for transformer workloads | |
| US5138695A (en) | Systolic array image processing system | |
| JP2746350B2 (ja) | 学習機械シナプス・プロセッサ・システム装置 | |
| JP2001188767A (ja) | ニューラルネットワーク演算装置及びニューラルネットワークの演算方法 | |
| US5564115A (en) | Neural network architecture with connection pointers | |
| JPH04293151A (ja) | 並列データ処理方式 | |
| US5781702A (en) | Hybrid chip-set architecture for artificial neural network system | |
| JPH03251947A (ja) | ニューロチップおよびそのチップを用いたニューロコンピュータ | |
| CN112559046B (zh) | 数据处理装置及人工智能处理器 | |
| EP0557997A2 (en) | Information processing apparatus and information processing system | |
| US12260223B2 (en) | Generative AI accelerator apparatus using in-memory compute chiplet devices for transformer workloads | |
| JPH05282272A (ja) | ニューラルネットワーク並列分散処理装置 | |
| JPH0784975A (ja) | 情報処理装置および学習演算処理方法 | |
| JPH05197707A (ja) | 情報処理システム | |
| CN110232441B (zh) | 一种基于单向脉动阵列的堆栈式自编码系统及方法 | |
| JP2001117900A (ja) | ニューラルネットワーク演算装置 | |
| JPH076146A (ja) | 並列データ処理システム | |
| JPH04316153A (ja) | ニューロプロセッサ | |
| JPH07101415B2 (ja) | 情報処理装置及びその学習方法 | |
| JPH05159087A (ja) | ニューロプロセッサ | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JP2765903B2 (ja) | 情報処理装置 | |
| JP2825133B2 (ja) | 並列データ処理方式 | |
| CN112949834A (zh) | 一种概率计算脉冲式神经网络计算单元和架构 |