JPH08153148A - アナログニューラルネットワーク学習回路 - Google Patents

Abstract

(57)【要約】 【目的】 積分回路を用いずオフセットの影響を受けに
くいアナログニューラルネットワーク学習回路を提供す
る。 【構成】 同一時刻には、高々１つのパルスだけが発生
している複数のパルス信号を重みあるいは閾値出力値に
重畳し、得られた誤差信号を上記のパルス信号の１つが
発する時間に同期して、誤差信号をラッチし、全てのパ
ルス信号が発生していない場合の誤差信号との差分を求
めることにより、このパルス信号に対応した重みあるい
は閾値の変化に伴うエネルギー関数の変化分を直接求め
る。パルス信号を１周期出力する期間、入力信号、及び
これに対する教師信号を保持することによって、入力信
号に対するエネルギー関数の変化分が求められる。さら
に、全ての入力信号に対して、対応するエネルギー関数
の変化分を求め、その結果に基づいて対応する重みある
いは閾値を修正する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、アナログニューラルネ
ットワークの学習回路に関するものである。

【０００２】

【従来の技術】従来、入力信号に加減算、非線形処理を
施すような処理エレメントを多数用いて構成され、パタ
ーン認識、推論、最適化問題等の人間の知能活動に類似
した機能を持ったニューラルネットワークにおいては、
所望の入出力特性を得るために、入出力条件に応じて内
部パラメータを修正する学習過程が必要である。しかし
ながら、ニューラルネットワークの学習はディジタル回
路やソフトウェアを利用したシミュレータあるいはエミ
ュレータの上で実現されたものであり、アナログ回路で
実現されたニューラルネットワーク回路に対する学習法
の確立が望まれている。

【０００３】図９は３層ニューラルネットワークの構成
を示す。図９の(a) は３層パーセプトロンを示し、同図
の(b) はニューロン素子の構成を示す。同図（a)に示す
ニューラルネットワークは、信号入力端子１−１〜１−
４、入力層２、中間層３、出力層４、信号出力端子５−
１〜５−４、及びニューロン素子６より構成される。同
図(b) に示されるニューロン素子は積和演算部Σと関数
出力部ｆに大別される。積和演算部Σでは、複数の入力
Ｉ１〜Ｉｎのそれぞれに異なった重みＷ１〜Ｗｎを乗算
し、乗算した値を加算した値に、上記の入力によって変
動しない関数θをさらに加算した値を出力する。関数出
力部ｆは上記積和演算部Σの出力に関数処理を施し、そ
の結果を出力する。ニューロン素子の出力Ｏは、 Ｏ＝ｆ（ΣＩｉＷｉ＋θ） と表せる。ここで、関数ｆは、一般に単調な関数であ
り、入力に対して非線形な特性を持つ。通常はシグモイ
ド関数と呼ばれる以下の形の関数Ｓが用いられる。 Ｓ(x) ＝１／｛１＋ｅｘｐ（−ｘ／ａ）｝ ここで、ａは関数の傾きの急峻さを決めるパラメータで
ある。図９(b) のニューロン素子を同図(a) のように層
状に配置し、各層間のニューロン素子同士を結合するこ
とによって、多層ニューラルネットワークが構成され
る。このニューラルネットワークはある入力に対する望
ましい出力と実際の出力との差分（誤差）から各ニュー
ロン素子の重みおよび閾値を修正し、種々の入力に対し
て、それに対応した望ましい出力を常に得られるように
することができる。

【０００４】図１０はアナログニューラルネットワーク
素子の構成例を示す。同図に示すニューラルネットワー
ク素子は素子への入力信号の入力端子１１、素子への重
みを入力する入力端子１２、出力信号を出力する出力端
子１３、入力信号と重みに比例した出力を発生する乗算
回路１４、閾値に相当する出力を付加する閾値回路１
５、乗算回路１４及び閾値回路１５の出力を加算した結
果を出力する加算回路１６、加算回路１６の出力に対す
る非線形関数を出力端子に出力する非線形関数発生回路
１７から構成される。各乗算回路１４および閾値回路１
５の出力電流は加算回路１６を介して加算され、非線形
関数発生回路１７によって処理され、出力される。

【０００５】上記のような多層ニューラルネットワーク
の学習は、以下の式に基づいて実行するのが一般的であ
る。

【０００６】ΔＷｉ＝−η・∂Ｅ／∂Ｗｉ Ｅ＝１／２Σ（Ｏ_i −Ｔ_i ）² ここで、ΔＷｉは重みあるいは閾値Ｗｉの修正量、ηは
系の学習の学習速度を表す学習係数、Ｅはエネルギー関
数である。また、Ｏｉ、Ｔｉはそれぞれ、出力信号およ
び教師信号である。

【０００７】上記多層ニューラルネットワークの学習動
作をコンピュータシミュレーションする場合には、一般
に各ニューロン素子の入出力特性がシグモイド関数であ
ると仮定して、上式から重みあるいは閾値をそのまま図
１０に示すようにアナログニューラルネットワーク素子
に与えても、素子の乗算回路、閾値回路、及び非線形関
数発生回路の特性には、オフセット等のばらつきが存在
するため、素子がシミュレーション通りに動作するとは
限らない。従って、こうしたばらつきのある素子に対し
ても正しい学習動作を行なわせるためには、何らの方法
で、エネルギー関数の変化量∂Ｅ／∂Ｗの値を直接測定
し、これに基づいて重みあるいは閾値の修正を行なう学
習法が必要となる。

【０００８】∂Ｅ／∂Ｗを直接測定する学習法として、
多周波振動法が提案されている。従来のアナログニュー
ラルネットワークの学習法を図１１に示す。これは、T.
Matsumoto, and M.Koga,"Novel learning method for a
nalog neuralnetwoks," Electron. Lett.,vol.26,pp.11
36-1137,1990に開示されている。図１１の(a) は多周波
数振動法に基づくニューラルネットワーク学習回路の概
略を示す。同図において、ニューラルネットワーク学習
回路は、アナログニューラルネットワーク素子２１、ニ
ューラルネットワーク素子２１への入力信号発生回路２
２、入力信号発生回路の信号に対応する教師信号発生回
路２３、ニューラルネットワーク素子２１の各出力と対
応する教師信号発生回路２３の各出力との差分の２乗和
（２乗誤差）を出力する誤差２乗和発生回路２４、重み
・閾値制御回路２５、単一周波数の正弦波を出力する発
振回路２６、２つの入力の積を出力する乗算回路２７、
入力信号の低周波成分のみを出力する低減フィルタ回路
２８、入力信号の正負を逆転させて出力するインバータ
２９、入力信号を時間領域で積分した値を出力する積分
回路３０、２つの入力の和を計算する加算回路３１によ
り構成される。

【０００９】ここで、各重み・閾値制御回路２５はそれ
ぞれ、ニューラルネットワーク素子２１の対応する重
み、あるいは閾値入力に接続されている。また、各重
み、閾値制御回路２５に接続された発振回路２６は全て
互いに異なった周波数で発振するものとする。また、各
重み・閾値制御回路２５中の低減フィルタ回路２８の遮
断周波数は、発振回路２６の隣接周波数間隔に比べて十
分に低く設定されるものとする。このとき、各重み・閾
値制御回路２５の中の１つの発振回路（振幅ｂ、周波数
ｇ）を動作させると、ニューラルネットワーク素子中の
対応する重みあるいは閾値に振幅ｂ、周波数ｇの振動成
分が重畳される。この振動成分はニューラルネットワー
ク素子２１の各出力端に伝搬し、最終的に誤差２乗和発
生回路の出力は回路の機能から明らかなように、ニュー
ラルネットワーク素子のエネルギー関数に比例する。従
って、上記の振幅ｂが微小であれば、誤差２乗和発生回
路２４の周波数ｇの成分の振幅ｂ´とｂとの比は、重み
あるいは閾値の微小な変化によって生ずるエネルギー関
数の変化分の絶対値、すなわち｜∂Ｅ／∂Ｗ｜を直接表
すことになる。また、重畳信号がニューラルネットワー
ク素子２１及び誤差２乗和発生回路２４を伝搬する際の
位相遅れを無視すれば、発振回路２６の出力と誤差２乗
和発生回路２４の周波数ｇの成分の出力とが同相であれ
ば、∂Ｅ／∂Ｗの値は正であり、逆層であれば負であ
る。

【００１０】周波数ｇの成分が重畳された誤差２乗和発
生回路２４の出力は、各重み・閾値制御回路２５に分配
され、乗算回路２７で発振回路２６の正弦波と乗算さ
れ、低域フィルタ回路２８を通過することにより、周波
数ｇを発生した発振回路２６を持つ重み・閾値制御回路
２５にのみ、∂Ｅ／∂Ｗに比例した出力が現れ、他の制
御回路には現れない。この出力をインバータ２９を介し
て積分回路３０に入力することによって、積分回路３０
の出力は単位時間当たり、∂Ｅ／∂Ｗに比例した修正を
受けることになり、∂Ｅ／∂Ｗを直接測定する学習が実
現する。各制御回路は、それぞれの持つ発振器の全てが
同時に動作した場合でも、個々に自分自信の発振器の周
波数成分のみを検知して独立に動作する。従って、こう
した場合でも各制御回路が持つ学習機能はそのまま保た
れる。この時、ニューラルネットワーク素子中のすべて
の重み・閾値が同時に修正されるため、高速な学習が達
成される。

【００１１】

【発明が解決しようとする課題】前述した従来の学習法
では、学習回路を構成する積分回路のオフセットが重み
あるいは閾値の修正に影響するため、オフセットが大き
い場合には学習が進まなくなるといった問題があった。

【００１２】本発明の目的は、積分回路を用いずオフセ
ットの影響を受けにくいアナログニューラルネットワー
ク学習回路を提供することにある。

【００１３】

【課題を解決するための手段】本発明は前記課題を解決
するために、請求項１では、複数のニューラルネットワ
ーク入力ポート、少なくとも１つのニューラルネットワ
ーク出力ポート、入力される信号に対して重み付け加算
や非線形処理を行なう複数の処理エレメント、該処理エ
レメントを相互に接続する複数の結線エレメントと、該
ニューラルネットワークにおいて学習すべき入力信号を
発生させる入力信号発生手段と、該入力信号に対応した
教師信号を発生させる教師信号発生手段と、該ニューラ
ルネットワークの学習時にニューラルネットワークの出
力信号と、該教師信号を比較して誤差信号を発生する差
信号発生手段とを含むニューラルネットワークに接続さ
れる学習回路において、クロック信号に同期した複数の
パルス信号であり、かつ同一時刻には該複数のパルス信
号の中から１つのパルス信号のみを出力するパルス信号
発生手段と、該誤差信号発生手段の出力を該パルス発生
手段により出力された該パルス信号に同期して、該誤差
信号発生手段の出力を保持する保持手段と、該保持手段
の出力信号に応じて該ニューラルネットワークの重みあ
るいは閾値入力を変更するパラメータ制御手段と、該ニ
ューラルネットワークへの入力信号および教師信号は少
なくとも該複数のパルス信号のすべてを出力するのに要
する時間の間はそれぞれの値を保持し、該複数のパルス
信号の出力の開始と該ニューラルネットワークへの入力
信号の切り替えとを同期させる同期手段とを含むアナロ
グニューラルネットワーク学習回路を提供する。また請
求項２では、複数のニューラルネットワーク入力ポー
ト、少なくとも１つのニューラルネットワーク出力ポー
ト、入力される信号に対して重み付け加算や非線形処理
を行なう複数の処理エレメント、該処理エレメントを相
互に接続する複数の結線エレメントと、該ニューラルネ
ットワークにおいて学習信号を発生する教師信号発生手
段と、該入力信号に対応した教師信号を発生する教師信
号発生手段と、該ニューラルネットワークの出力信号と
該教師信号とを比較して誤差信号を発生する誤差信号発
生手段とを含むニューラルネットワークに接続される学
習回路において、ｎ個の直交符号パターンをそれぞれＰ
1 ，Ｐ2 ，…，Ｐn とし、該直交符号パターンの配列
が、 Ｐi ＝｛Ｐi1，Ｐi2，…，Ｐim｝ （Ｐik=
±1,1 ≦k ≦m ） とすると、各直交符号パターンが、 かつ かつ を満足する直交符号パターンを発生する直交符号パター
ン発生手段と、該誤差信号発生手段の出力信号をクロッ
ク信号に同期して保持する信号保持手段と、直交符号パ
ターンを重畳していないときの該信号保持手段の出力と
該直交符号パターン発生手段の直交符号パターンが重畳
されている場合の誤差信号発生手段との差分を検出する
差分検出手段と、該信号保持手段の出力信号に該直交符
号パターンを乗算した結果を加算する加算手段と、該加
算手段の出力に応じて該ニューラルネットワークの重み
あるいは閾値入力を変更するパラメータ制御手段と、該
ニューラルネットワークへの入力信号及び該教師信号は
該直交符号パターンの少なくとも１周期の間それぞれの
値を保存し、該直交符号パターンの１周期の開始と該ニ
ューラルネットワークの切り替えと同期させる同期手段
とを含むアナログニューラルネットワーク学習回路を提
供する。

【００１４】また請求項３では、複数のニューラルネッ
トワーク入力ポート、少なくとも１つのニューラルネッ
トワーク出力ポート、入力される信号に対して重み付け
加算や非線形処理を行なう複数の処理エレメント、該処
理エレメントを相互に接続する複数の結線エレメント
と、該ニューラルネットワークにおいて教師信号を発生
する教師信号発生手段と、該入力信号に対応した教師信
号を発生する教師信号発生手段と、該ニューラルネット
ワークの出力信号と該教師信号とを比較して誤差信号を
発生する誤差信号発生手段とを含むニューラルネットワ
ークに接続される学習回路において、ｎ個の直交符号パ
ターンをそれぞれＰ1 ，Ｐ2 ，…，Ｐn とし、該直交符
号パターンの配列が、 Ｐii={Ｐi1，Ｐi2, …，Ｐpim ｝ （Ｐik= ±1 ，1
≦k ≦m ）とすると、各直交パターンが、 かつ かつ を満足する直交符号パターンを発生する直交符号パター
ン発生手段と、該誤差信号発生手段の出力信号をクロッ
ク信号に同期して保持する信号保持手段と、該信号保持
手段の出力信号に該直交符号パターンを乗算した結果を
加算する加算手段と、該加算手段の出力に応じて該ニュ
ーラルネットワークの重みあるいは閾値入力を変更する
パラメータ制御手段と、該ニューラルネットワークへの
入力信号及び該教師信号は該直交符号パターンの少なく
とも１周期の間それぞれの値を保存し、該直交符号パタ
ーンの１周期の開始と該ニューラルネットワークの切り
替えと同期させる同期手段とを含む。

【００１５】

【作用】本発明によれば、同一時刻には、高々１つのパ
ルスだけが発生している複数のパルス信号を重みあるい
は閾値出力値に重畳し、得られた誤差信号を上記のパル
ス信号の１つが発する時間に同期して、誤差信号をラッ
チし、全てのパルス信号が発生していない場合の誤差信
号との差分を求めることにより、このパルス信号に対応
した重みあるいは閾値の変化に伴うエネルギー関数の変
化分∂Ｅ／∂Ｗを直接求める。パルス信号を１周期出力
する期間、入力信号及びこれに対する教師信号を保持す
ることによって、入力信号に対するエネルギー関数の変
化分∂Ｅ／∂Ｗが求められる。さらに、全ての入力信号
に対して、対応するエネルギー関数の変化分を求め、そ
の結果に基づいて対応する重みあるいは閾値を修正する
ことにより、全ての入力信号に対して学習動作を行なう
ことができる。

【００１６】また、本発明は、所定の条件を充足する直
交符号パターンを対応する重みあるいは閾値出力信号に
重畳し、得られた誤差信号と符号パターンを重畳してい
ない誤差信号との差分信号を検出し、その差分信号と直
交符号パターンの１つとを乗算して、それをパターン毎
に加算することにより、入力信号についてのエネルギー
関数の変化分∂Ｅ／∂Ｗを直接求める。さらに全ての入
力信号に対して対応するエネルギー関数の変化分を求
め、その結果に基づいて対応する重みあるいは閾値出力
を修正することにより、すべての信号について学習動作
を行なうことができる。

【００１７】また、本発明は、所定の条件を充足する直
交符号パターンを対応する重みあるいは閾値出力信号に
重畳し、得られた誤差信号と直交符号パターンの１つを
乗算して、それをパターン毎に加算することにより、入
力信号についてエネルギー関数の変化分∂Ｅ／∂Ｗを直
接求める。さらに全ての入力信号に対して対応するエネ
ルギー関数の変化分を求め、その結果に基づいて対応す
る重みあるいは閾値出力を修正することにより、すべて
の信号について学習動作を行うことができる。

【００１８】

【実施例】図１は本発明の第１の実施例を示すもので、
図１において、４１はアナログニューラルネットワーク
素子、４２はアナログニューラルネットワーク素子４１
への入力信号発生回路、４３は入力信号発生回路４２に
対応する教師信号の発生回路である。また、４４は誤差
２乗発生回路であり、ニューラルネットワーク素子４１
の出力と対応する教師信号発生回路４３の差分の２乗和
を出力する。また、４５は重み・閾値制御回路であり、
図２に詳細に示す。４６はクロック発生回路であり、系
全体の同期のためのクロック信号を出力する。４７はタ
イミング発生回路であり、入力信号発生回路４２の入力
パターン切り替えあるいは重み・閾値制御回路４５のタ
イミングを制御する機能を持つ。

【００１９】図２は、重み・閾値制御回路４５の構成を
示す図である。１４１はパルス発生回路であり、クロッ
ク信号、あるいはタイミング信号に同期したパルス信号
を出力する。１４２−１、１４２−２はラッチ回路であ
り、タイミング信号に同期して、入力信号の状態を保持
する機能を持つ。１４３−１、１４３−２はスイッチで
あり、タイミング信号がＯＮの時にスイッチをＯＮにし
て、入力信号をそのまま出力する。１４４は＋側の入力
信号と−側の入力信号の減算を行う引き算回路である。
１４５はラッチ回路であり、タイミング信号に同期し
て、入力信号の状態を保持する機能を持つ。１４６はス
イッチであり、タイミング信号がＯＮの時にスイッチ１
４６をＯＮにして、入力信号をそのまま出力する。１４
７はラッチ回路であり、タイミング信号に同期して入力
信号を取り込みこれを保持する機能を有する。１４８は
加算回路であり、２つの入力信号を加算する。１４９は
減衰器であり、パルス発生回路１４１の出力を減衰させ
る。１５０は加算回路であり、２つの入力の和を計算す
る。

【００２０】図３に本実施例における各信号のタイミン
グの一例を示す。同図においてＩＮ−１〜ＩＮ−３は入
力信号発生回路４２から供給される入力信号、ＯＵＴ−
１はニューラルネットワーク素子４１の出力信号、ＴＥ
ＡＣＨ−１は教師信号発生回路４３の出力信号、Ｅ２は
誤差２乗和発生回路４４の出力を示す。また、同期信号
ＳＹＮはタイミング発生回路４７から出力される１つの
入力パターンに対する学習動作の開始を示すタイミング
信号、Ｐ−１〜Ｐｎは各重み・閾値制御回路４５中のパ
ルス発生回路１４１からの出力信号を示し、Ｗ−１〜Ｗ
−ｎは加算回路１４７の出力である。

【００２１】また、図の上方の数字１〜８は、それぞれ
１つの入力パターンが保持される期間を示し、その境界
の破線部分で入力パターンが切り替えられる。各パルス
発生回路１４１はＳＹＮ信号の次のクロック周期からク
ロック発生回路４６によって供給されるクロック信号
（ＣＬＫ）に同期して、１番目のパルス発生回路１４１
は最初のクロック周期、２番目のパルス発生回路１４１
は２番目のクロック周期というように１つのクロック毎
に１つのパルス発生回路１４１がパルス信号を出力す
る。入力信号発生回路４２および教師信号発生回路４３
は全てのパルス発生回路１４１がパルス信号を出力して
いる間、同一の入力パターンおよびこれに対応する教師
パターンを保持している。このため、タイミング発生回
路４７は、最後のパルス発生回路のパルス信号が出力さ
れた後、ＬＴＣＨ−Ｅ信号を送出して、各重み・閾値制
御回路４５中のスイッチ１４６をＯＮにして、加算回路
１４８に重み・閾値修正信号を入力して、重みあるいは
閾値を更新するとともに、入力信号発生回路４２に入力
パターン切り替え信号を送出し、入力パターンを切り替
える。その後、タイミング発生回路４７が各重み・閾値
制御回路４５に再びＳＹＮ信号を送出することにより、
各重み・閾値制御回路４５は、次の新たな入力パターン
に対する動作を開始する。

【００２２】タイミング発生回路４７の同期信号（ＳＹ
Ｎ）は、各重み・閾値制御回路４５のラッチ回路１４２
−１に供給され、重み・閾値にパルスを重畳する前の誤
差２乗和がラッチされる。このため、誤差２乗和信号Ｅ
２がすべての重み・閾値制御回路中のラッチ回路１４２
−１にラッチされる。一方、ｉ番目の重み・閾値制御回
路中のパルス発生回路１４１がパルスを発生すると、こ
のパルスはｉ番目の重み・閾値制御回路４５中のラッチ
回路１４２−２に供給され、ｉ番目の重み・閾値制御回
路の重みあるいは閾値にパルスが重畳された時の誤差２
乗和がラッチされる。同時にｉ番目の重み、閾値制御回
路中のパルス発生回路のパルスはスイッチ１４３−１お
よび１４３−２に供給され、スイッチ１４３−１および
１４３−２がともにＯＮ状態となりラッチ回路１４２−
１、１４２−２の信号が引き算回路１４４に導かれる。
さらにその信号はラッチ回路１４５にも供給されてお
り、引き算回路１４４の出力信号がラッチされる。とこ
ろで、同期信号（ＳＹＮ）出力時には、全てのパルス発
生回路がパルスを出力していない状態であり、Ｐ−ｉ信
号出力時には、ｉ番目のパルス発生回路１４１の出力の
みが対応する重みあるいは閾値に重畳された状態であ
る。従って、ラッチ回路１４５にラッチされる信号は、
全てのパルスが重畳されていない時の誤差２乗和と、ラ
ッチ回路１４５にラッチされる信号は、全てのパルスが
重畳されていない時の誤差２乗和と、ｉ番目のパルス発
生回路の出力のみが対応する重みあるいは閾値に重畳さ
れた状態での誤差２乗和の差分を示すことになる。従っ
て、パルスの振幅が十分小さい場合（パルスの振幅をＤ
とする）には、ラッチ回路１４５にラッチされた信号
は、重みを微小に変化させた時の誤差２乗和の変化分で
ある−Ｄ・∂Ｅ／∂Ｗを直接示していることになる（Ｄ
は定数）。従って、ラッチ回路１４５の出力を加算回路
１４８を介して、修正前の重みあるいは閾値に加算して
やることにより、ニューラルネットワークの学習が行な
われることになる。重みあるいは閾値の修正はＬＴＣＨ
−ＥパルスがＯＮになった時に行われる。このとき、ス
イッチ１４６がＯＮ状態となり、修正すべき値が加算回
路１４８に供給される。加算回路１４８では、修正すべ
き値を修正前の重みあるいは閾値に加算して出力する。
ラッチ回路１４７では、修正後の重みあるいは閾値の値
をラッチする。

【００２３】図４は、本発明の第２の実施例を示す。図
４はニューラルネットワーク回路全体を示す。ニューラ
ルネットワーク回路は、アナログニューラルネットワー
ク素子４１、ニューラルネットワーク素子４１へ入力す
るための信号を発生させる入力信号発生回路４２、入力
信号発生回路４２の信号に対応する教師信号を発生させ
る教師信号発生回路４３、ニューラルネットワーク素子
４１の各出力と、対応する教師信号を発生させる教師信
号発生回路４３、ニューラルネットワーク素子４１の各
出力と、対応する教師信号発生回路４３の各出力との差
分の２乗和（２乗誤差）を出力する誤差２乗和回路４
４、重み・閾値制御回路４５、系全体の同期のためのク
ロック信号を出力するクロック発生回路４６、入力信号
発生回路４２の入力パターン切り替え、あるいは重み・
閾値制御回路４５の動作タイミングを制御する機能を有
するタイミング発生回路４７により構成される。

【００２４】図５は、本発明の第２の実施例のニューラ
ルネットワーク回路の重み・閾値制御回路の構成を示
す。重み・閾値制御回路４５は、クロック発生回路４６
あるいはタイミング発生回路４７からのタイミング信号
に同期した直交符号パターンを出力する直交符号パター
ン回路１６１、誤差２乗和発生回路４４の出力信号Ｅ２
を同期信号（ＳＹＮ）に同期してその信号を保持するラ
ッチ回路１６２、クロック信号（ＣＬＫ）に同期して、
誤差２乗和発生回路４４の出力信号Ｅ２を保持する機能
を有するラッチ回路１６３、ラッチ回路１６３とラッチ
回路１６２の出力信号の差分を求める引き算回路１６
４、直交符号パターン回路１６１及び引き算回路１６４
の２つの値の積を出力する乗算回路１６５、クロック信
号に同期してその入力信号を保持する機能を有するラッ
チ回路１６６、２つの入力信号を加算する加算回路１６
７、タイミング信号がＯＮの時にスイッチをＯＮにし
て、入力信号をそのまま出力するスイッチ１６８、ＬＴ
ＣＨに同期して入力信号の値を保持するラッチ回路１６
９、２つの入力信号の加算を行う加算回路１７０、直交
符号パターン回路１６１の出力を減衰させる減衰器１７
１、２つの入力の和を計算する加算回路１７２より構成
される。

【００２５】直交符号パターン回路１６１が発生させる
直交符号パターンは”＋１”あるいは”−１”の２値を
取る固定長符号パターンで、各重み・閾値制御回路４５
が持つ符号パターンは全てパターン長が等しく、かつ互
いに異なるパターンである。ここで、各重み・閾値制御
回路４５が持つ符号パターンをそれぞれＰ１、…、Ｐｎ
として、パターンＰｉの配列が、 Ｐi ＝｛Ｐi1，Ｐi2，…，Ｐim｝ （Ｐik= ±1,1 ≦
k ≦m ） を満足するものであるとする。但し、ｍはパターン数、
Ｐｉｋは直交パターンである。一般に、上記式を満足す
る直交符号パターンはパターン長ｍが４の倍数である時
のみ実現可能であり、逆にｍが４の倍数であれば、最大
（ｍ−１）種類の直交符号パターンをつくることができ
る。

【００２６】図６は本発明の第２の実施例における各信
号のタイミングを示す。同図において、ＩＮ−１〜ＩＮ
−３は、入力信号発生回路４２から供給される入力信
号、ＯＵＴ−１はニューラルネットワーク素子４１の出
力信号、ＴＥＡＣＨ−１は教師信号発生回路４３の出力
信号、Ｅ２は誤差２乗和発生回路４４の出力信号をそれ
ぞれ表す。また、同期信号ＳＹＮはタイミング発生回路
４７から出力される１つの入力パターンに対する学習動
作の開始を示すタイミング信号、Ｐ−１〜Ｐ−ｎは各重
み・閾値制御回路４５中のパルス発生回路１４１からの
出力信号を示し、Ｗ−１〜Ｗ−ｎは加算回路１４７の出
力である。ＣＬＫはクロック信号を示す。また、上方に
付されている数値１〜８はそれぞれ１つの入力パターン
を示し、その境界の破線部分で入力パターンが切り替え
られる。各直交符号パターン回路１６１はクロック信号
（ＣＬＫ）に同期して直交符号パターンを出力する。入
力信号発生回路４２および教師信号発生回路４３は少な
くとも各直交符号パターン回路１６１が１周期分の直交
符号パターンは出力している間、同一の入力パターンお
よびこれに対応する教師パターンを保持している。この
ため、タイミング発生回路４７は、クロック信号から上
記直交符号パターンの１周期のタイミングを検出して、
入力信号発生回路４２に入力パターン切り替え信号を送
出する。

【００２７】図５の構成から明からなように、各重み・
閾値制御回路４５の出力には、微小な直交符号パターン
が重畳されている。この重畳された直交符号パターンの
振幅をＤとすると、この直交符号パターンのｉ番目のビ
ット（直交符号パターンの開始からｉ番目のクロック周
期）が出力されている時の誤差２乗和発生回路４４の出
力Ｅｉ（ラッチ回路１６３の出力信号）は近似的に、 と表せる。ただし、Ｅ₀ は重畳信号の全くなり場合の誤
差２乗和発生回路４４の出力である。また、ラッチ回路
１６２は直交符号パターンが重畳されていない場合の誤
差２乗和回路４４の出力信号を保持しているので、引き
算回路１６４の出 表せる。従って、ｊ番目の重み・閾値制御回路４５にお
ける直交符号パターン１周期出力後の加算回路１６７の
出力は、 となる。上式においてＣは定数である。つまり、加算回
路出力信号は−∂Ｅ／∂Ｗj に比例しているので、その
値を直交符号パターンを１周期出力する毎に加算回路１
７０により前の重み・あるいは閾値に加算してやれば、
−∂Ｅ／∂Ｗｊに比例した重み・閾値の修正が行なえ
る。

【００２８】図７は、本発明の第３の実施例を示す。ニ
ューラルネットワーク回路の重み・閾値制御回路の構成
図である。なお、ニューラルネットワーク回路全体は第
４図と同様である。重み・閾値制御回路４５は、クロッ
ク発生回路４６あるいはタイミング発生回路４７からの
タイミング信号に同期した直交符号パターンを出力する
直交符号パターン回路１８１、クロック信号（ＣＬＫ）
に同期して、誤差２乗和発生回路４４の出力信号Ｅ２を
保持する機能を有するラッチ回路１８２、直交符号パタ
ーン回路１８１の出力とラッチ回路１８２の出力の２つ
の値の積を出力する乗算回路１８３、入力信号の符号を
反転させるインバータ１８４、クロック信号に同期して
その入力信号を保持する機能を有するラッチ回路１８
５、２つの入力信号を加算する加算回路１８６、タイミ
ング信号がＯＮの時にスイッチをＯＮにして、入力信号
をそのまま出力するスイッチ１８７、ＬＴＣＨに同期し
て入力信号の値を保持するラッチ回路１８８、２つの入
力信号の加算を行う加算回路１８９、直交符号パターン
回路１８１の出力を減衰させる減衰器１９０、２つの入
力の和を計算する加算回路１９１より構成される。

【００２９】直交符号パターン回路１８１が発生させる
直交符号パターンは“＋１“あるいは“−１“の２値を
取る固定長符号パターンで、各重み・閾値制御回路４５
がもつ符号パターンは全てパターン長が等しく、かつ互
いに異なるパターンである。ここで、各重み・閾値制御
回路４５が持つ符号パターンをそれぞれＰ１、…、Ｐｎ
として、パターンＰｉの配列が、 Ｐi ＝｛Ｐi1，Ｐi2，…，Ｐim｝ （Ｐik= ±1,1 ≦
k ≦m ） であるとき、各パターンが、 を満足するものであるとする。但し、ｍはパターン数、
Ｐ_ikは直交パターンである。一般に、上記式を満足する
直交符号パターン長ｍが４の倍数である時のみ実現可能
であり、逆にｍが４の倍数であれば、最大（ｍ−１）種
類の直交符号パターンをつくることができる。

【００３０】図８は本発明の第３の実施例における各信
号のタイミングを示す。同図において、ＩＮ−１〜ＩＮ
−３は、入力信号発生回路４２から供給される入力信
号、ＯＵＴ−１はニューラルネットワーク素子４１の出
力信号、ＴＥＡＣＨ−１は教師信号発生回路４３の出力
信号、Ｅ２は誤差２乗和発生回路の出力の出力信号をそ
れぞれ表す。また、同期信号ＳＹＮはタイミング発生回
路４７から出力される１つの入力パターンに対する学習
動作の開始を示すタイミング信号、Ｐ−１〜Ｐ−ｎは各
重み・閾値制御回路４５中のパルス発生回路１４１から
の出力信号を示し、Ｗ−１〜Ｗ−ｎは加算回路１４７の
出力である。ＣＬＫはクロック信号を示す。 また、上
方に付されている数値１〜８はそれぞれ１つの入力パタ
ーンを示し、その境界の破線部分で入力パターンが切り
替えられる。各直交符号パターン回路１８１はクロック
信号（ＣＬＫ）に同期して直交符号パターンを出力す
る。入力信号発生回路４２および教師信号発生回路４３
は少なくとも各直交符号パターン回路１８１が１周期分
の直交符号パターンを出力している間、同一の入力パタ
ーンおよびこれに対応する教師パターンを保持してい
る。このため、タイミング発生回路４７は、クロック信
号から上記直交符号パターンの１周期のタイミングを検
出して、入力信号発生回路４２に入力パターン切り替え
信号を送出する。

【００３１】図７の構成から明らかなように、各重み・
閾値制御回路４５の出力には、微小な直交符号パターン
が重畳されている。この重畳された直交符号パターンの
振幅をＤとすると、この直交符号パターンのｉ番目のビ
ット（直交符号パターンの開始からｉ番目のクロック周
期）が出力されている時の誤差２乗和発生回路４４の出
力Ｅｉ（ラッチ回路１８２の出力信号）は、 と表せる。但し、Ｅ₀ は重畳信号の全くない場合の誤差
２乗和発生回路４４の出力である。

【００３２】ｊ番目の重み・閾値制御回路４５における
直交符号パターン１周期出力後の加算回路１８６の出力
は、 となる。上式において、Ｃは定数である。つまり、加算
回路出力信号は−∂Ｅ／∂Ｗj に比例しているので、そ
の値を直交符号パターン１を１周期出力する毎に加算回
路１８９により前の重み・あるいは閾値に加算してやれ
ば、−∂Ｅ／∂Ｗ_j に比例した重み・閾値の修正が行え
る。

【００３３】

【発明の効果】以上説明したように本発明によれば、エ
ネルギー関数の変化分を求めるために、全てのパルスが
ない場合の誤差信号とパルスが１つの場合の誤差信号の
差分を用いて計算しているが、２つとも同じ誤差２乗和
発生回路を通過するため、誤差２乗和発生回路のオフセ
ットの影響はキャンセルされて出力には現れない。ま
た、重み・閾値制御回路において、積分回路を用いてい
ないので、オフセット分が積分されることがないため、
重み・閾値制御回路のトータルでのオフセットを小さく
することができ、オフセットが学習動作に影響を与えな
いアナログニューラルネットワークの学習回路を構成す
ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すニューラルネット
ワーク回路の構成図

【図２】第１の実施例の重み・閾値制御回路を示す図

【図３】第１の実施例の各信号のタイミングチャート

【図４】本発明の第２の実施例を示すニューラルネット
ワーク回路の構成図

【図５】第２の実施例の重み・閾値制御回路を示す図

【図６】第２の実施例の各信号のタイミングチャート

【図７】第３の実施例の重み・閾値制御回路を示す図

【図８】第３の実施例の各信号のタイミングチャート

【図９】３層ニューラルネットワークの構成を示す図

【図１０】アナログニューラルネットワーク素子の構成
例を示す図

【図１１】従来のアナログニューラルネットワーク学習
方法を示す図

【符号の説明】

４１…アナログニューラルネットワーク素子、４２…入
力信号発生回路、４３…教師信号発生回路、４４…誤差
２乗和発生回路、４５…重み・閾値制御回路、４６…ク
ロック発生回路、４７…タイミング発生回路、１４１…
パルス発生回路、１４２…ラッチ回路、１４３…スイッ
チ、１４４…引き算回路、１４５…ラッチ回路、１４６
…スイッチ、１４７…ラッチ回路、１４８…加算回路、
１４９…減衰回路、１５０…加算回路、１６１…直交符
号パターン回路、１６２…ラッチ回路、１６３…ラッチ
回路、１６４…引き算回路、１６５…乗算回路、１６６
…ラッチ回路、１６７…加算回路、１６８…スイッチ、
１６９…ラッチ回路、１７０…加算回路、１７１…減衰
器、１７２…加算回路、１８１…直交符号パターン回
路、１８２…ラッチ回路、１８３…乗算回路、１８４…
インバータ、１８５…ラッチ回路、１８６…加算回路、
１８７…スイッチ、１８８…ラッチ回路、１８９…加算
回路、１９０…減衰器、１９１…加算回路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数のニューラルネットワーク入力ポー
   ト、少なくとも１つのニューラルネットワーク出力ポー
   ト、入力される信号に対して重み付け加算や非線形処理
   を行なう複数の処理エレメント、該処理エレメントを相
   互に接続する複数の結線エレメントと、該ニューラルネ
   ットワークにおいて学習すべき入力信号を発生させる入
   力信号発生手段と、該入力信号に対応した教師信号を発
   生させる教師信号発生手段と、該ニューラルネットワー
   クの学習時にニューラルネットワークの出力信号と、該
   教師信号を比較して誤差信号を発生する差信号発生手段
   とを含むニューラルネットワークに接続される学習回路
   において、 クロック信号に同期した複数のパルス信号であり、かつ
   同一時刻には該複数のパルス信号の中から１つのパルス
   信号のみを出力するパルス信号発生手段と、 該誤差信号発生手段の出力を該パルス発生手段により出
   力された該パルス信号に同期して、該誤差信号発生手段
   の出力を保持する保持手段と、 該保持手段の出力信号に応じて該ニューラルネットワー
   クの重みあるいは閾値入力を変更するパラメータ制御手
   段と、 該ニューラルネットワークへの入力信号および教師信号
   は少なくとも該複数のパルス信号のすべてを出力するの
   に要する時間の間はそれぞれの値を保持し、該複数のパ
   ルス信号の出力の開始と該ニューラルネットワークへの
   入力信号の切り替えとを同期させる同期手段とを含むこ
   とを特徴とするアナログニューラルネットワーク学習回
   路。
2. 【請求項２】 複数のニューラルネットワーク入力ポー
   ト、少なくとも１つのニューラルネットワーク出力ポー
   ト、入力される信号に対して重み付け加算や非線形処理
   を行なう複数の処理エレメント、該処理エレメントを相
   互に接続する複数の結線エレメントと、該ニューラルネ
   ットワークにおいて学習信号を発生する教師信号発生手
   段と、該入力信号に対応した教師信号を発生する教師信
   号発生手段と、該ニューラルネットワークの出力信号と
   該教師信号とを比較して誤差信号を発生する誤差信号発
   生手段とを含むニューラルネットワークに接続される学
   習回路において、 ｎ個の直交符号パターンをそれぞれＰ1 ，Ｐ2 ，…，Ｐ
   n とし、該直交符号パターンの配列が、 Ｐi ＝｛Ｐi1，Ｐi2，…，Ｐim｝ （Ｐik= ±1,1 ≦
   k ≦m ） とすると、各直交符号パターンが、 かつ かつ を満足する直交符号パターンを発生する直交符号パター
   ン発生手段と、 該誤差信号発生手段の出力信号をクロック信号に同期し
   て保持する信号保持手段と、 直交符号パターンを重畳していないときの該信号保持手
   段の出力と該直交符号パターン発生手段の直交符号パタ
   ーンが重畳されている場合の誤差信号発生手段の出力と
   の差分を検出する差分検出手段と、 該信号保持手段の出力信号に該直交符号パターンを乗算
   した結果を加算する加算手段と、 該加算手段の出力に応じて該ニューラルネットワークの
   重みあるいは閾値入力を変更するパラメータ制御手段
   と、 該ニューラルネットワークへの入力信号及び該教師信号
   は該直交符号パターンの少なくとも１周期の間それぞれ
   の値を保存し、該直交符号パターンの１周期の開始と該
   ニューラルネットワークの切り替えと同期させる同期手
   段とを含むことを特徴とするアナログニューラルネット
   ワーク学習回路。
3. 【請求項３】 複数のニューラルネットワーク入力ポー
   ト、少なくとも１つのニューラルネットワーク出力ポー
   ト、入力される信号に対して重み付け加算や非線形処理
   を行なう複数の処理エレメント、該処理エレメントを相
   互に接続する複数の結線エレメントと、該ニューラルネ
   ットワークにおいて教師信号を発生する教師信号発生手
   段と、該入力信号に対応した教師信号を発生する教師信
   号発生手段と、該ニューラルネットワークの出力信号と
   該教師信号とを比較して誤差信号を発生する誤差信号発
   生手段とを含むニューラルネットワークに接続される学
   習回路においてｎ個の直交符号パターンをそれぞれＰ1
   ，Ｐ2 ，…，Ｐn とし、該直交符号パターンの配列
   が、 Ｐii={Ｐi1，Ｐi2, …，Ｐpim ｝ （Ｐik= ±1 ，1
   ≦k ≦m ）とすると、各直交符号パターンが、 かつ かつ を満足する直交符号パターンを発生する直交符号パター
   ン発生手段と、 該誤差信号発生手段の出力信号をクロック信号に同期し
   て保持する信号保持手段と、 該信号保持手段の出力信号に該直交符号パターンを乗算
   した結果を加算する加算手段と、 該加算手段の出力に応じて該ニューラルネットワークの
   重みあるいは閾値入力を変更するパラメータ制御手段
   と、 該ニューラルネットワークへの入力信号及び該教師信号
   は該直交符号パターンの少なくとも１周期の間それぞれ
   の値を保存し、該直交符号パターンの１周期の開始と該
   ニューラルネットワークの切り替えと同期させる同期手
   段とを含むことを特徴とするアナログニューラルネット
   ワーク学習回路。