JPH04112355A - 自己学習型アナログ方式ニューロン回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は入力情報の並列分散処理か可能なニューラルネ
ットワークを構成するニューロン回路に関し、より詳し
くは誤差逆伝播処理により自己学習の可能なアナログ方
式のニューロン回路に関する。

〔従来の技術〕

近年、曖昧な情報処理に適したニューラルネットワーク
を認識問題や信号処理に応用する研究が盛んに行なわれ
ている。かかる分野においては入力情報の実時間処理が
要求される事が多く、いわゆるノイマン方式に基づく逐
次計算機を用いたシミュレーションでは処理時間か長く
なる為、専用ハードウェアが必要とされている。ＬＳＩ
技術を用いてハードウェア化する方法としては、大別し
てアナログ方式とディジタル方式がある。ディジタル方
式は高精度化が容易である一方シナップスやニューロン
回路を構成する為に必要な素子数が膨大となり実際には
高集積化が困難である。この点、アナログ方式において
は必要な素子数が比較的少ない為高集積度化が可能であ
る。かかるアナログ方式のニューラルネットワークの一
例が、例えば電子情報通信学会技術研究報告ｌＣＤ９０
−１に開示されている。開示されたニューラルネットワ
ークの各ノードに配置されるアナログニューロン回路を
第８図に示す。図において、ｘｌないしＸ　は複数の入
力信号であり、ＷｌないしＷ。

は個々の入力信号に対応したシナップス結合荷重である
。さらに、ｙは出力信号を表わす。この回路は個々のシ
ナップス結合荷重ｗ１ないしＷｎの量に応じた電荷を保
持する為の結合荷重回路群Ｗ１ないしＷ。を含んでいる
。さらに、個々のアナログ入力信号ｘ１ないしＸｎに対
応した乗算器群を具備している。各乗算器は特定の入力
信号と対応する結合荷重回路から供給されるシナップス
結合荷重の乗算処理を実行する。この乗算器群は加算器
に接続されており、個々の乗算結果の加算処理が行なわ
れる。この加算器には非線形関数回路が接続されており
、加算結果に対して所定の非線形処理を行ない出力信号
ｙを生成している。即ち、第８図に示すニューロン回路
は複数の入力信号と複数の対応するシナップス結合荷重
との積和演算を実行し出力信号を得るものである。従っ
て、出力信号と入力信号との間には以下に示す関係式が
成立する。

ｙ　駆ｆ　（ｘ　１’　ｗ　ｔ　十Ｘ　２　”　ｗ２　
＋”・＋ｘ　ｎ　”ｎ）ところで、ニューラルネットワ
ークは学習機能を有する点に特徴がある。この学習機能
は出力信号と教師信号とを比較した結果を逐次フィード
バックしシナップス結合荷重の修正を繰り返し行なう事
により完全な出力信号が得られる様にするものである。

この為に、各ニューロン回路におけるシナップス結合荷
重の逐次的な修正更新処理が必要となる。従来のアナロ
グ方式ニューラルネットワークにおいては入力信号の高
速な並列分散処理を行なっているにも拘らず、学習によ
りシナップス結合荷重を修正更新し収束させる過程はノ
イマン方式を用いたソフトウェアによる逐次計算処理に
より行なわれていた。従って、学習速度が遅いという欠
点があった。

ところで、シナップス結合荷重の修正演算を別経路で行
なうのではなく、入力信号の完全並列処理と同様にニュ
ーラルネットワークを介して自己学習を行なう方式が提
案されている。例えば、１９９０年電子情報通信学会春
季全国大会Ｄ−５６には出力信号と教師信号の差に応じ
た誤差信号をニューラルネットワークに逆伝播させてシ
ナップス結合荷重の自動的な修正を行なう事のできるニ
ューロン回路が開示されている。

〔発明が解決しようとする問題点〕

しかしながら、上述した誤差逆伝播方式により自己学習
の可能なニューロン回路はアナログ方式ではなく、デー
タの数値がパルス密度で表わされたいわゆるパルス密度
方式による回路構成となっている。このパルス密度方式
においては一定時間内におけるパルス数により入力デー
タが表現されている為処理の時間的な遅れを避ける事か
できないという問題点かある。さらに、パルス密度方式
では、本来連続量の論理演算を行なうべきであるにも拘
らずパルス数を用いた近似的な論理演算により情報処理
を行なっているので本来の連続性が失なわれ処理誤差が
大きくなるという問題点がある。この為自己学習過程に
おいてシナップス結合荷重が収束しにくいという問題点
がある。

〔問題点を解決するための手段〕

上述した従来の技術の問題点に鑑み、本発明はアナログ
入力信号の完全並列処理に加えてアナログ量で表わされ
た誤差信号の逆伝播処理を可能とする完全アナログ方式
ニューロン回路を提供する事を目的とする。即ち、アナ
ログ量を用いた入力情報の高速処理と精度の高い学習及
びシナップス結合荷重の迅速な収束を可能とするアナロ
グ方式ニューロン回路を提供する事を目的とする。

上述した目的を達成する為に、本発明にかかる自己学習
型アナログ方式ニューロン回路は第１図に示す基本的構
成を有する。図示する様に、ニューロン回路は順処理手
段Ａと内部処理手段Ｂと更新手段Ｃと逆処理手段りとで
構成されている。

順処理手段Ａは、複数の順入力アナログ信号Ｘ。

を受け複数の対応するシナップス結合荷重Ｗ、との間の
積和処理を行ない順出力アナログ信号ｙを生成する為の
アナログ回路から構成されている。

又、内部処理手段Ｂは、複数の逆入力誤差信号Δｙ、を
受け該順出力アナログ信号ｙを用いた処理を行なって内
部修正信号を生成する為のアナログ回路から構成されて
いる。さらに、更新手段Ｃは、該内部修正信号と個々の
順入力アナログ信号Ｘ、との処理を行ない個々のシナッ
プス結合荷重修正量を演算するとともに該修正量に従っ
て対応するシナップス結合荷重Ｗ、の修正あるいは更新
を行なう為のアナログ回路から構成されている。

加えて、逆処理手段りは、該内部修正信号と個々のシナ
ップス結合荷重Ｗ、との処理を行ない複数の逆出力誤差
信号ΔＸ、を生成する為のアナログ回路から構成されて
いる。かかる構成を有するニューロン回路を複数接続す
る事により階層構造を有するニューラルネットワークを
構築する事ができる。このニューラルネットワークは、
アナログ信号の順方向並列分散処理を高速で行なうとと
もに、最終順出力アナログ信号と所定の教師信号との差
に応じた誤差信号の逆方向伝播処理を行ない各ニューロ
ン回路のシナップス結合荷重の内部修正あるいは自己修
正を実行して自己学習を可能とする。

本発明の御飯様によれば、内部処理手段Ｂは、複数の逆
入力誤差信号を加算する為のアナログ加算回路と、順出
力アナログ信号を非線形処理する為のアナログ非線形関
数器と、加算された逆入力誤差信号と非線形処理された
順出力アナログ信号を乗算し内部修正信号を出力する為
のアナログ乗算器とから構成されている。又、該更新手
段Ｃは、内部修正信号と個々の順入力アナログ信号を乗
算し個々のシナップス結合荷重修正量を演算する為のア
ナログ乗算器群と、個々のシナップス結合荷重量を保持
するとともに対応するシナップス結合荷重修正量の入力
を受け積分処理を行なう事により保持するシナップス結
合荷重量の修正更新を行なう為のアナログ積分器群とか
ら構成されている。

さらに、該逆処理手段りは、該内部修正信号と更新され
た個々のシナップス結合荷重との乗算処理を行ない複数
の逆出力誤差信号を生成する為のアナログ乗算器群を含
む構成となっている。

〔発明の作用〕

本発明にかかるニューラルネットワークにおいては、そ
の自己学習機能により各ニューロン回路に含まれるシナ
ップス結合荷重を変化させ且つ収束させている。その為
、各ニューロン回路は、アナログ情報信号をニューラル
ネットワークの前段側から後段側に向って伝播する順方
向信号経路に加えて、ニューラルネットワークの後段側
から前段側へ向って誤差信号を伝播する逆方向信号経路
とを備えている。各ニューロン回路内における順方向信
号経路と逆方向信号経路との間における相互作用により
シナップス結合荷重は自動的に修正される。かかるニュ
ーロン回路を複数用いてリアルタイム処理の可能なニュ
ーラルネットワークを実現する事かできる。ここで、各
ニューロン回路は逆伝播される誤差信号に従って必要な
内部修正信号を形成する内部処理部分とニューラルネッ
トワークの前段側に対して誤差信号をフィードバックす
る為の逆処理部分とを有している。これらの処理はいわ
ゆるルーメルハートの誤差逆伝播学習則に基づいて実行
される。これらの処理部分は全てアナログ形式の回路に
より構成されており、情報の順方向伝播ばかりでなく誤
差の逆方向伝播をも高速で行なう事のできるハードウェ
ア構成を得る事ができる。

〔実　施　例〕

以下図面を参照して本発明の好適な実施例を詳細に説明
する。第２図は本発明にかかる自己学習型アナログ方式
ニューロン回路の具体的構成を示す回路ブロック図であ
る。図において、ｘｌないしＸ　はＮ個の前段側ニュー
ロン回路から供給される複数の順方向人力信号を示し、
ｙｌな（化ｙ　はＭ個の後段側ニューロン回路に送出さ
れる共通の順出力アナログ信号を示す。又、Δｙ１ない
しΔｙ　はＭ個の後段側ニューロン回路から供給される
複数の逆入力誤差信号を示し、ΔＸ１ないしΔＸ　はＮ
個の前段側ニューロン回路に送出口 される複数の逆出力誤差信号を示す。１、ないし１．２
　ないし２ｎ１３１ないし３゜、および９はアナログ乗
算器を示す。４１ないし４ｎはアナログ積分器を示し、
５および８はアナログ加算器を示し、６および７は非線
形関数器を示す。非線形関数器６の具体例としては例え
ば次式で示すシグモイド関数特性を有するものが用いら
れる。

又非線形関数器７としては例えば次式に示す関数特性を
有するものが用いられる。

ｇ　（ｘ）　＝ｘ　（１−ｘ） Ｎ個の乗算器群１、ないし１ｎ、Ｎ個の乗算器群２　な
いし２　、Ｎ個の乗算器群３、ないしｎ ３　およびＮ個の積分器群４Ｉないし４゜は各々Ｎ個の
順入力アナログ信号ｘ１ないしＸ。に対応して分割配置
されている。例えば、乗算器１、の一方の入力端子には
順入力アナログ信号ｘ１が印加され、他方の入力端子に
は積分器４□に保持されているシナップス結合荷重Ｗｌ
が印加される。

その出力端子は共通に加算器５に接続されている。

又乗算器２１の一方の入力端子には順入力アナログ信号
ｘ１が印加され、他方の入力端子にはアナログ乗算器９
から供給される内部修正信号が印加される。その出力端
子に現われるシナップス結合荷重修正量ΔＷ　は積分器
４□に加えられす る。さらに、乗算器３、の一方の入力端子には内部修正
信号か印加され、他方の入力端子には積分器４　に保持
されているシナップス結合荷重Ｗ１が印加される。この
乗算器３、の出力端子には逆出力誤差信号Δｘ１が現わ
れる。加算器５はＮ個の乗算器群工□ないし１゜の出力
端子に接続されているとともに、加算器５の出力端子は
非線形関数器６に接続されている。この非線形関数器６
の出力端子には順出力アナログ信号ｙ　（ｙＩないしｙ
　）が現われる。さらに、非線形関数器６の出力端子は
非線形関数器７の入力端子に接続されている。加算器８
の入力端子にはＭ個の逆入力誤差信号Δｙ１ないしΔｙ
ＩＩが印加されている。この非線形関数器７の出力端子
と加算器８の出力端子は乗算器９の一対の入力端子に接
続されており、乗算器９の出力端子には前述した様に内
部修正信号か現われる。

かかる構成を有する回路において、Ｎ個の乗算器群１□
ないし１゜と加算器５と非線形関数器６は順出力アナロ
グ信号ｙを生成する為の順処理手段を構成する。又、非
線形関数器７と加算器８と乗算器９は内部修正信号を生
成する為の内部処理手段を構成する。さらに、Ｎ個の積
分器４、ないし４　とＮ個の乗算器２１ないし２ｎはシ
ナッブス結合荷重ｗ１ないしＷ。の修正更新を行なう為
の更新手段を構成する。加えて、Ｎ個の乗算器３　ない
し３　は複数の逆出力誤差信号ΔＸ１な１ｎ いしΔＸ　を生成する為の逆処理手段を構成する。

引き続き第２図を参照して本発明にかかるニューロン回
路の動作を詳細に説明する。先ず順処理手段の動作を説
明する。Ｎ個の積分器４□ないし４　の出力端子には個
々の順入力アナログ信号ｘ１ないしＸｎに対応したシナ
ップス結合荷重ｗ１ないしＷ。がアナログ量として供給
されている。個々の乗算器１１ないし１゜は各々対応し
た順入力アナログ信号ｘ１ないしＸｎとシナップス結合
荷重ｗ１ないしＷ。との乗算処理を行なう。

このＮ個の乗算結果はアナログ信号として加算器５に印
加され加算処理が行なわれる。引き続き、加算結果はシ
グモイド型の非線形関数器６によって非線形処理され所
定の顕出力アナログ信号ｙ（ｙｌないしｙｌ、ｌ）が得
られる。かかる動作を数式で表わすと以下の通りである
。

ｙ“ｙｌｌ　ｙ２１°゛ｌ　ｙｌ ！ｆ（Ｘ１＠ｗ１＋ｘ２・Ｗ２＋・・−＋ｘｎ　ｗｎ）
次に内部処理手段の動作を説明する。非線形関数器７は
共通の顕出力アナログ信号ｙを所定の関数特性ｇに従っ
て非線形処理する。又、加算器８はＭ個の逆入力誤差信
号の加算を行なう。この非線形処理結果と加算結果は乗
算器９によって互いに掛は合わせられ以下に示す形式で
表わされる内部処理信号が生成される。

ｇ（ｙ）　　　（Δｙ　十Δｙ２＋・・・＋ΔｙＩ１１
）この内部処理信号はニューロン回路内においてシナッ
プス結合荷重を修正したり誤差逆伝播を実行する為に用
いられる。

続いて更新手段の動作を説明する。アナログ乗算器９の
出力である内部修正信号と個々の順入力アナログ信号ｘ
１ないしＸ。は対応するアナログ乗算器２□ないし２゜
に入力され、互いに掛は合わされて個々のシナップス結
合荷重修正量ΔＷ１ないしΔＷ　を算出する。従って、
これらシナッブス結合荷重修正量は以下の式により表わ
される。

６ｗ１＝ｘ１・ｇ　（ｙ）・（Δｙ１＋Δｙ２＋・・・
＋Δｙｍ）６ｗ２＝ｘ２・ｇ（ｙ）・（Δｙ１＋ΔＶ２
　＋”’＋ΔｙｌＩ）６ｗ　　−ｘ　　−ｇＣｙ）　　
・　（Δｙ　十Δｙ２＋・・・＋Δｙ、）ｎｎ　　　　
　　　　　　　　　１ 個々のシナップス結合荷重修正量Δｗ１ないしΔＷ　は
対応する積分器４１ないし４゜の各々に入力される。各
積分器４□な（ル４ｎは入力されたシナップス結合荷重
修正量の積分処理を行ない、積分器自身が保持していた
シナップス結合荷重量ｗ１ないしｗｎの修正あるいは更
新を行なう。この結果、後段側のニューロン回路群から
逆入力された誤差信号に基づいてシナップス結合荷重量
の修正が行なわれる。この動作を繰り返し行なう事によ
りシナップス結合荷重量は完全な出力アナログ信号が得
られる様に収束してくる。

最後に、逆処理手段の動作を説明する。アナログ乗算器
９から出力された内部修正信号と更新された個々のシナ
ップス結合荷重ｗ１ないしｗｎは対応するアナログ乗算
器３１ないし３゜に入力され、互いに掛は合わされて個
々の逆出力誤差信号Δｘ１ないしΔＸ、が生成される。

従って、これら逆出力誤差信号は以下の式により表わさ
れる。

Δｘ　　−ｗ　　−ｇ（ｙ）　　・　（Δｙ　＋Δｙ２
＋・・・十Δｙ、）Δｘ　　＝ｗ　　−ｇ（ｙ）　　・
　（Δｙ　十Δｙ２＋・・・十ΔｙｌＩｌ）Δｘ　　−
ｗ　　−ｇ（ｙ）　　・　（Δｙ　＋Δｙ２＋・・・十
Δｙ、）ｎｎ　　　　　　　　　　　　　１ この様にして、誤差信号は後段側から前段側に逆伝播さ
れ各段におけるニューロン回路の自己学習が実行される
。

以上に示した各式はルーメルハート等の誤差逆伝播学習
剤に基づくものである。従って、第２図に示すニューロ
ン回路を複数結合する事により自己学習可能なニューラ
ルネットワークを構成する事かできる。

次に第３図ないし第６図を参照してアナログ方式ニュー
ロン回路に用いられるアナログ構成部品の具体例を説明
する。先ず、第３図はアナログ加算回路５，８の具体的
回路構成例を示す。図示する様に、加算回路５，８はア
ナログ差動増幅器からなり正入力端子に印加された複数
の入力信号Ｘ、はアナログ的に加算され出力端子に現わ
れる。

極めて単純な構成を有しておリニューロン回路のハード
ウェア化に最適である。

第４図は非線形関数回路６の具体的回路構成例を示し、
シグモイド関数特性を有する。この回路は５個のトラン
ジスタと６個の抵抗素子からなり、入力端子に入力信号
Ｘを印加すると出力端子に出力信号 ｆ　　（ｘ）　　− １＋ｅｘｐ（−ｘ） が現われる。このシグモイド関数は、生体のニューロン
細胞の信号応答特性をシミュレートしたものである。一
般に、シグモイド関数が用いられるがこれに限られるも
のではない。

第５図は非線形関数回路７の具体的回路構成図を示す。

この回路は２個の差動増幅器と１個のアナログ乗算器と
３個の抵抗器とから構成されている。入力信号Ｘをアナ
ログ的に処理して出力信号ｇ　（ｘ）　＝ｘ　（１−ｘ
） を送出する。この非線形関数回路は、シグモイド関数を
微分した形の特性を持ち、逆入力誤差信号の加算結果に
対して重み付けを行なう為の信号を発生する。この重み
付けは、より適正な内部修正信号を得る為のものである
。

第６図は積分器４、ないし４ｎの具体的回路構成例を示
す。この回路は容量成分と抵抗成分の直列接続からなり
、入力信号Ｘのアナログ的な時間積分を行なう。ニュー
ロン回路においては、積分器の出力端子にはシナップス
結合荷重ｗ１ないしＷ　が現われている。入力端子にシ
ナップス結合荷重修正量Δｗ１ないしΔｗｏが印加され
るとその積分処理を行ない出力端子に保持されているシ
ナップス結合荷重の修正あるいは更新が行なわれる。

以上に説明した様に、本発明にかかるニューロン回路に
用いられる各構成部品は比較的単純な構造を有するアナ
ログ回路からなりニューロン回路全体をハードウェア化
するのに極めて適している。なお、アナログ乗算器１１
ないし１ｎ１２□ないし２゜、３１ないし３゜および９
については、実際に市販されているものか多数あるので
これらを使用すれば良い。アナログ乗算器ＩＣとしては
、例えばＲＣ４２００，Ｉ　ＣＬ８０１３．　ＭＣ１４
９５Ｌ等かある。

最後に第７図は本発明にかかるアナログ方式ニューロン
回路を多数個使ったニューラルネットワークの一例を示
す。図において、円ブロックで示された構成要素が個々
のアナログ方式ニューロン回路を表わしている。このニ
ューラルネットワークは３段からなる階層構造を有して
おり、入力側から出力側に向かうアナログ信号の順方向
並列分散処理を行なう。同時に、最終順出力アナログ信
号ＯないしＯ８と所定の教師信号Ｔ１ない■ しＴ、との差に応じた誤差信号の、出力側から入力端に
向かう逆方向伝播処理を行ない各ニューロン回路のシナ
ップス結合荷重の内部修正を実行して自己学習を行なう
ものである。図において、第１段を構成するニューラル
回路群はＮ１で表わされており、第２段を構成するニュ
ーラル回路群はＭ、で表わされており、第３段を構成す
るニューラル回路群はＬｋで表わされている。入力側か
ら出力側に向かう結線は順方向経路を表わし、出力側か
ら入力側に向かう結線は逆方向経路を表わしている。図
において、前段側ニューロン回路から供給された順出力
アナログ信号は後段側のニューロン回路に順入力アナロ
グ信号として受け入れられる。又後段側ニューロン回路
から送出される逆入力誤差信号は前段側ニューロン回路
により逆入力誤差信号として受け入れられる。各ニュー
ロン回路には前段から送られる複数の順入カアナログ信
号に対応して複数のシナップス結合荷重が保持されてい
る。例えば、第３段の第１番目のニューロン回路Ｌ１に
は前段の第１番目のニューロン回路Ｍ、から送られる順
入力アナログ信号に対応してシナップス結合荷重ｖ１□
を保持しており、第２段の第１番目のニューロン回路Ｍ
。

から送られる順入力アナログ信号に対応してシナップス
結合荷重■１ｊを保持している。同様にして、第３段の
に番目のニューロン回路Ｌｋはシナップス結合荷重ｖｋ
１やｖｋｊを保持しており、第２段の第１番目のニュー
ロン回路Ｍ１は例えばシナップス結合荷重Ｗ１１やＷｌ
ｌを有しており、同じく第２段の第１番目のニューロン
回路Ｍｊはシナップス結合荷重Ｗｊ１やＷｊｌを備えて
いる。さらに、誤差逆伝播を行なう場合の初期誤差値と
して、第３段のニューロン回路Ｌｋにはその最終順出力
アナログ信号Ｏと対応する教師信号Ｔ、との差か与えら
れる。

第７図に示すニューラルネットワークを誤差逆伝播学習
則により自己学習させる場合、シナ・ソプス結合荷重修
正量Δ■、ｊおよびΔＷｊｉは次式で示される。

ΔＭ　−α・（Ｔ　　−０）・ｇ（Ｏｋ）・Ｍｊｋｊ　
　　　　　ｋ　　　ｋ ・・・・・・・・・・・・・・・　■ （αは比例定数） ΔＷ１．＝β・ｇ　（Ｍ、　’）　　・Ｎ。

ＪＩ　　　　　　　　　　　Ｊ Σ（Ｔ　　−０）・ｇ（０）・ｖｋｊ ｋｋｋ　　　　　　ｋ ・・・・・・・・・・・・・・・　■ （βは比例定数） 但し、第０式においてＭ　はシナツブス結合荷重Ｖ、ｊ
に対応する順入力アナログ信号の大きさを示しており、
第２式に示すＮ、はシナップス結合荷重Ｗ３．に対応す
る順入力アナログ信号の大きさを表わしている。

次に、第３段の第に番目のニューロン回路Ｌｋに対して
第２図に示す本発明にかかるアナログ方式ニューロン回
路を用いた場合に、確かに第０式を満たす事を示す。即
ち、逆入力誤差信号Δｙとして初期誤差信号（Ｔ、−０
ｋ）を用いると、誤差修正量Δ■、ｊは以下に示す形と
して与えられる。

ΔＭ　　−Ｍ、・ｇ　（０）　　　（Ｔｋ−Ｏｋ）ｋｊ
　　　　Ｊ　　　　　　　ｋ これは第０式と一致している。

又このニューロン回路Ｌｋの逆入力誤差信号ΔＸのうち
前段のニューロン回路Ｍ、に送出されるものをΔＭ　と
して表わすと、このΔＭｋｊは以ｊ 下の様に与えられる。

ΔＭ　　＝Ｖ　　−ｇ（０）　　　（Ｔｋ−Ｏｋ）ｊｋ
ｊｋ さて、この様にして得られた逆入力誤差信号八Ｍｋｊを
、前段に接続されているニューロン回路Ｍ、の逆入力誤
差信号Δｙとして与えると、このニューロン回路Ｍ、の
シナップス結合荷重の修正量ΔＷ１．は以下の通りに与
えられる。

ｇ　（０）　　　（Ｔ、−０ｋ） これは第２式と一致している。さらに、このニュ−ロン
回路Ｍ、の逆出力誤差信号ΔＸとしては以下に示す式で
表わされる量が得られる。

ΔＮ　、、−Ｗ、、・ｇ（Ｍ、）Σｖｋｊ・コ１　　　
　コＩ　　　　　　　　Ｊ　　　　ｋｇ（０）・（Ｔｋ
−Ｏｋ） 従って、この逆出力誤差信号ΔＮｊ１をさらに前段側の
ニューロン回路Ｎ、に送出する事により逆誤差伝播学習
側通りの自己学習を各階層順に行なう事ができる。

〔発明の効果〕

以上説明した様に、本発明にかかる自己学習型アナログ
方式ニューロン回路を用いる事により、ニューラルネッ
トワーク全体をハードウェアで構成する事が可能となり
、誤差逆伝播学習における処理速度を従来のソフトウェ
アによる逐次計算方式と比べて極めて速くする事ができ
る様になった。

従来の逐次計算方式ではニューロン回路の数が増える程
処理時間がかかっていたが本発明によればニューロン回
路の数と無関係に高速処理を実行する事ができる。又、
従来のパルス密度方式では一定時間内のパルス数単位毎
に演算を行なう為処理時間の遅延が避けられないのに対
して本発明においては完全なアナログ量を扱うので瞬時
に信号処理を行なう事ができるという効果がある。さら
に、従来のパルス密度方式では近似的な演算処理を行な
っているので信号処理誤差か大きく学習によるシナップ
ス結合荷重の収束性が悪いのに対して、本発明において
は完全なアナログ処理を行なっているので極めて正確な
学習が可能であるとともに結合荷重の迅速な収束が可能
となるという効果もある。

【図面の簡単な説明】

第１図は自己学習型アナログ方式ニューロン回路の基本
的構成を示す模式的ブロック図、第２図はアナログ方式
ニューロン回路の具体的回路構成を示すブロック図、第
３図は構成部品であるアナログ加算器の具体的回路構成
例を示すブロック図、第４図は非線形関数器の具体的回
路構成例を示すブロック図、第５図は他の非線形関数器
の回路構成を示すブロック図、第６図は積分器の具体的
回路構成を示すブロック図、第７図は第２図に示すニュ
ーロン回路を用いて構成されたニューラルネットワーク
を示す模式図、及び第８図は従来のニューロン回路の構
成を示す模式図である。 ５・・・加算器　　　　　　６・・・非線形関数器７・
・・非線形関数器　　　８・・・加算器９・・・乗算器 １□ないし１゜・・・乗算器 ２□ないし２゜・・・乗算器 ３□ないし３゜・・・乗算器 ４□ないし４ｎ・・・積分器 Ａ・・・順処理手段　　　　Ｂ・・・内部処理手段Ｃ・
・更新手段　　　　　Ｄ・・・逆処理手段塁、β 第３図 ４１　　、ｖ４ｎ

Claims (1)

1. 【特許請求の範囲】 １、複数の順入力アナログ信号を受け複数の対応するシ
   ナップス結合荷重との間の積和処理を行ない順出力アナ
   ログ信号を生成する為のアナログ回路から構成される順
   処理手段と、 複数の逆入力誤差信号を受け該順出力アナログ信号との
   間で処理を行ない内部修正信号を生成する為のアナログ
   回路から構成される内部処理手段と、 該内部修正信号と個々の順入力アナログ信号との処理を
   行ない個々のシナップス結合荷重修正量を演算するとと
   もに該修正量に従って対応するシナップス結合荷重の修
   正更新を行なう為のアナログ回路から構成される更新手
   段と、 該内部修正信号と個々のシナップス結合荷重との処理を
   行ない複数の逆出力誤差信号を生成する為のアナログ回
   路から構成される逆処理手段とからなるニューロン回路
   。 ２、該内部処理手段は、複数の逆入力誤差信号を加算す
   る為のアナログ加算回路と、順出力アナログ信号を非線
   形処理する為のアナログ非線形関数器と、加算された逆
   出力誤差信号と非線形処理された順出力アナログ信号を
   乗算し内部修正信号を出力する為のアナログ乗算器とか
   らなる請求項１に記載のニューロン回路。 ３、該更新手段は、内部修正信号と個々の順入力アナロ
   グ信号を乗算し個々のシナップス結合荷重修正量を演算
   する為のアナログ乗算器群と、個々のシナップス結合荷
   重量を保持するとともに対応するシナップス結合荷重修
   正量の入力を受け積分処理を行なう事により保持するシ
   ナップス結合荷重量の修正更新を行なう為のアナログ積
   分器群とからなる請求項１に記載のニューロン回路。 ４、該逆処理手段は、該内部修正信号と更新された個々
   のシナップス結合荷重との乗算処理を行ない複数の逆出
   力誤差信号を生成する為のアナログ乗算器群を含む請求
   項１に記載のニューロン回路。 ５、請求項１に記載のニューロン回路を複数接続した階
   層構造からなり、アナログ信号の順方向並列分散処理を
   行なうとともに、最終順出力アナログ信号と所定の教師
   信号との差に応じた誤差信号の逆方向伝播処理を行ない
   各ニューロン回路のシナップス結合荷重の内部修正を実
   行して自己学習を可能とするニューラルネットワーク。