JPH0798694A

JPH0798694A - 神経回路網模擬装置

Info

Publication number: JPH0798694A
Application number: JP6093237A
Authority: JP
Inventors: Toshiki Kanemichi; 敏樹金道; Natsuki Oka; 夏樹岡
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-04-30
Filing date: 1994-05-02
Publication date: 1995-04-11
Anticipated expiration: 2013-03-30
Also published as: JP2734374B2

Abstract

(57)【要約】【目的】パターン認識等に用いられる神経回路網模擬
装置に関し、学習の収束性等を保証するポテンシャル関
数が明かで、実用上十分な学習速度が得られ、滑らかに
目的関数を近似でき、目的関数の近似に適した構造が得
られることを目的とする。【構成】限定的な入力に対して０でない出力を行う値
をもつ複数の局所基底出力計算回路１０の出力信号をそ
の総和によって規格化する除算器１２と、規格化局所基
底出力信号と結合加重との積の総和を出力信号として出
力する加算器１４と、教師信号などから結合加重を修正
する結合加重修正回路１５と、局所基底出力計算回路１
３の内部パラメータを修正する局所基底修正回路１６
と、結合加重を設定する結合加重設定回路１７と、局所
基底出力計算回路１０の内部パラメータを設定する局所
基底設定回路１８とからなる構成を有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声、画像をはじめと
するパターン認識、適応制御に用いられる神経回路網模
擬装置に関するものである。

【０００２】

【従来の技術】近年、神経回路網を応用した神経回路網
模擬装置は、音声認識などに広く応用されるようになっ
てきた。神経回路網を応用した神経回路網模擬装置は、
大きく分けて２つのタイプがある。一つは、文献（ＰＤ
Ｐモデル、D.E.ラメルハート他２名、甘利俊一監訳、１
９８９年）に詳しく記載されている多層パーセプトロン
（ＭＬＰ）と呼ばれるものであり、もう一つは、文献
（セルフ・オーガニゼイション・アンド・アソシエイテ
ィブ・メモリ、Self-Organization and Associative Me
mory、T.Kohonen 著、Springer-Verlag、１９８７年）
に記載された学習ベクトル量子化（ＬＶＱ）と呼ばれる
ものである。こうした神経回路網模擬装置の目的の多く
は、提示される入力と教師信号（理想的な出力信号）か
ら入出力関係を獲得すること（学習）である。神経回路
網模擬装置は、この機能を持つが故に、入出力関係が従
来のルールによる記述では容易ではない場合、すなわち
パターン分類や制御値の推定が困難である場合でも、利
用可能なパターン分類装置や適応制御装置を実現できる
要素技術となっている。

【０００３】こうした神経回路網模擬装置の目的のもう
少し数学的な表現が、文献（出力信号の構造を反映した
競合学習型神経回路モデル、坂口豊、村田昇著、電子情
報通信学会研究会報告ＮＣ８９−５４、１９８９年）
に、「神経回路網構造の系を用いて、任意の連続な非線
形関数を逐次的な学習によって実現する」とまとめられ
ている。この観点に立てば、同文献に的確にまとめられ
ているように、ＭＬＰは学習の過程で誤差関数の極小値
に捕らわれ、必ずしも学習が収束しない。ＬＶＱは、教
師なし学習を用いて中間層素子を形成するために、学習
の結果得られる神経回路網は必ずしも目標とする関数
（目的関数）を実現するに適した構造とならない。坂口
らは、同文献において、目的関数の性質を反映した中間
素子を形成し、目的関数をよりよく近似する以下の学習
法を提案している。

【０００４】図９は、坂口らが提案している従来の神経
回路網模擬装置の構成を示すブロック図である。図９に
おいて、１−ｉ（ｉ＝１〜４）は入力信号ｘを受けて内
部に保持した参照ベクトルＷiとの距離を計算して距離
信号Ｄiを出力する距離計算回路であり、２は距離計算
回路１−１〜４から距離信号Ｄi（i＝１〜４）を受け
て、最小の距離信号を与える距離計算回路の番号を示す
最小距離番号信号ＩＤminと、２番目に小さい距離信号
を与える距離計算回路の番号を示す第２距離番号信号Ｉ
Ｄsecを出力する競合回路であり、３は競合回路２から
最小距離番号信号ＩＤminを受けて内部に保持した距離
計算回路の番号に応じて割り振られたメモリから最小距
離信号ＩＤminが指定するアドレスに格納された値（ま
たはベクトル）を読みだして出力信号ｙとして出力する
出力計算回路であり、４は教師信号入力端子から与えら
れる教師信号ｚと出力計算回路４から出力信号ｙとの差
分信号Ｅ＝ｚ − ｙと競合回路２からの最小距離番号信号ＩＤminを受けて
出力計算回路３のメモリを修正する結合加重修正回路で
あり、５は差分信号Ｅと最小距離番号信号ＩＤminと第
２距離番号信号ＩＤsecと、入力信号ｘとを受けて距離
計算回路１−１〜４の参照ベクトルを修正する参照ベク
トル修正回路である。

【０００５】以上のように構成された神経回路網模擬装
置について、以下その動作について説明する。まず、距
離計算回路１−ｉ（ｉ＝１〜４）は入力端子からの入力
信号ｘを受け、内部に保持した参照ベクトルＷiとの距
離を示す距離信号Ｄiを次式のように計算して、出力す
る。

【０００６】

【数１】

【０００７】競合回路２はそれぞれの距離計算回路１−
ｉから距離信号Ｄi を受けて、最小の距離信号を与える
距離計算回路の番号を示す最小距離番号信号

【０００８】

【数２】

【０００９】と２番目に小さい距離信号を与える距離計
算回路の番号を示す第２距離番号信号ＩＤsec とを計算
して出力する。出力計算回路３は競合回路２から最小距
離番号信号ＩＤmin を受けて、内部記憶に距離計算回路
１−ｉごとに対応して記憶されている値ｖ(ｉ)から、最
小距離番号信号ＩＤminによって指定される値ｖ(ＩＤmi
n)を読みだして出力信号ｙとして出力する。

【００１０】学習動作は、次のように行われる。結合加
重修正回路４は、出力信号ｙと教師信号ｚとの差分信号
Ｅと最小距離番号信号ＩＤmin とを受けて、出力計算回
路３の内部記憶の記憶されている最小距離番号信号ＩＤ
minによって指定される値ｖ(ＩＤmin)をｖ(ＩＤmin)＋ｃ２・Ｅに修正する。ここで、ｃ２は学習速度を決めるパラメー
タである。参照ベクトル修正回路５は、出力信号ｙと教
師信号ｚとの差分信号Ｅと最小距離番号信号ＩＤminと
第２距離番号信号ＩＤsec とを受けて、距離計算回路１
−ＩＤminの内部に記憶された参照ベクトルＷIDminと距
離計算回路１−ＩＤsecの内部に記憶された参照ベクト
ルＷIDsecとを

【００１１】

【数３】

【００１２】のように修正する。ここで、ｃ１は学習速
度を決めるパラメータである。このように距離の最小の
参照ベクトルだけでなく、第２距離番号信号で指定され
る隣接する領域の参照ベクトルについても学習を行わせ
ることにより、図１０に示されたように最小距離番号信
号によって指定される領域は、学習によってあまり移動
せずに、代わりに領域の大きさが小さくなる。このと
き、参照ベクトルが動く度合いが大きいほど、２つの参
照ベクトルの距離は縮まり、その分だけさらに領域は小
さくなる。したがって、誤差の絶対値に比例した大きさ
で参照ベクトルを動かせば、参照ベクトルの引っ張りあ
いにより、関数の傾きが急なところほど領域は小さくな
り、参照ベクトルは密に分布するようになる。関数の近
似に適した構造が実現される。

【００１３】

【発明が解決しようとする課題】しかしながら上記従来
の構成では、目的関数の近似に適した構造が得られる神
経回路網模擬装置が得られるものの、坂口らが文献の中
でも指摘しているように、坂口らの学習則に関するポテ
ンシャル関数が明かでないために、学習の収束性の保証
や、学習平衡解の性質について一般に論じることができ
ない。また、学習速度もＭＬＰに比べて優れていると言
えず、実用上十分な学習速度が得られない。加えて関数
の近似が階段関数によるものである為に、制御などに利
用するのが難しいと言う課題があった。

【００１４】本発明は上記従来の課題を解決するもの
で、学習の収束性などを保証するポテンシャル関数が明
かであり、実用上十分な学習速度が得られ、滑らかに目
的関数を近似でき、目的関数の近似に適した構造が得ら
れる神経回路網模擬装置を実現するものである。

【００１５】

【課題を解決するための手段】この目的を達成するため
に本発明の神経回路網模擬装置は、入力信号空間におい
て０でない値を局所的に持つ関数（局所基底関数）を用
いて入力信号を受けて複数の局所基底関数（０でない値
を局所的に持つ関数）によりそれぞれ局所基底出力信号
を計算して出力する局所基底出力計算回路と、前記複数
の局所基底出力信号を受けてその総和をとり総局所基底
出力信号を出力する加算器と、前記各局所基底出力信号
に対して総局所基底出力信号を用いて規格化局所基底出
力信号を出力する除算器と、除算器からの規格化局所基
底出力信号を受け内部に保持した結合加重との積を局所
出力信号として出力する局所出力計算回路と、各局所基
底出力信号に対応する複数の前記局所出力信号の総和を
出力信号として出力する加算器と、教師信号と出力信号
との差分信号と規格化局所基底出力信号を受けて対応す
る局所出力計算回路の結合加重を修正する結合加重修正
回路と、入力信号と出力信号と差分信号と除算器からの
規格化局所基底出力信号を受けて対応する局所基底出力
計算回路の内部パラメータを修正する局所基底修正回路
と、出力信号と教師信号と前記加算器からの総局所基底
出力信号とを受けて局所出力計算回路の結合加重を設定
する結合加重設定回路と、入力信号と規格化局所出力信
号と局所出力計算回路の内部パラメータに基づいて局所
基底出力計算回路の内部パラメータを設定する局所基底
設定回路とからなる構成を有してしている。

【００１６】

【作用】この構成によって、出力信号ｙは入力信号ｘと
いくつかのパラメータとを用いた初等関数の組み合わせ
で生成されており、神経回路網模擬装置の学習則に対す
るポテンシャル関数Ｃは

【００１７】

【数４】

【００１８】と書ける。これを用いて、学習の収束性な
どについても容易に解析できる。また、目的関数に適し
た構造を数１０〜数１００回程度の学習で得ることがで
きる。加えて、本発明の構成から明らかなように、一つ
の入力信号に対して通常複数個の局所出力計算回路が０
でない出力を行い、出力信号ｙはその総和で与えられる
ために、ＬＶＱや坂口らの神経回路網模擬装置と異なっ
て、滑らかな関数近似ができる。さらに、誤差が大きい
場合に、過去に蓄積したパラメータに込められた情報を
そのままに入力信号ｘの近くでのみ働く神経細胞模擬素
子を与えられた教師信号ｚが出力信号ｙとなるように新
たに活性化することによって、学習の高速化を実現する
ことができる。

【００１９】

【実施例】

（実施例１）以下本発明の第１の実施例について、図面
を参照しながら説明する。

【００２０】図１において、１０は入力信号ｘを受けて
局所基底出力信号Ｓを計算して出力する局所基底出力計
算回路であり、１１は複数の局所基底出力計算回路１０
からの局所基底出力信号Ｓを受けてその総和をとり総局
所基底出力信号Ｓtotal を出力する加算器であり、１２
は局所基底出力計算回路１０と加算器１１とから局所基
底出力信号Ｓと総局所基底出力信号Ｓtotal とを受けて
規格化局所基底出力信号ｂを出力する除算器であり、１
３は除算器１２からの規格化局所基底出力信号を受け内
部に保持した結合加重ｖとの積を局所出力信号ｏとして
出力する局所出力計算回路であり、１４は複数の局所出
力計算回路１３からの局所出力信号ｏの総和を出力信号
ｙとして出力する加算器であり、１５は教師信号ｚと出
力信号ｙとの差分信号Ｅと除算器１２からの規格化局所
基底出力信号ｂを受けて対応する局所出力計算回路１３
の結合加重ｖを修正する結合加重修正回路であり、１６
は入力信号ｘと出力信号ｙと差分信号Ｅと除算器１２か
らの規格化局所基底出力信号ｂを受けて対応する局所基
底出力計算回路１０の内部パラメータを修正する局所基
底修正回路であり、１７は出力信号ｙと教師信号ｚと差
分信号Ｅと総局所基底出力信号Ｓtotalを受けて局所出
力計算回路１３の結合加重を設定する結合加重設定回路
であり、１８は差分信号Ｅと入力信号ｘと規格化局所基
底出力信号ｂと局所出力計算回路１０の内部パラメータ
に基づいて局所基底出力計算回路１０の内部パラメータ
を設定する局所基底設定回路である。

【００２１】以上のように構成された神経回路網模擬装
置について、その動作を説明する。なお、ここでは局所
基底出力計算回路１０の性質を特徴づける局所基底関数
として、ガウス関数を用いた場合について説明する。

【００２２】まず、入力信号ｘが局所基底出力計算回路
１０に入る。ｉ番目の局所基底出力計算回路において、
局所基底出力信号Ｓ(i)が

【００２３】

【数５】

【００２４】と計算され、出力される。ここで、ａ(i)
は０または１の値を持つ活性パラメータであり、μ(i)
は参照ベクトルであり、σ²(i)は分散である。加算器１
１は局所基底出力計算回路１０から出力されるすべての
局所基底出力信号Ｓ(i)の総和

【００２５】

【数６】

【００２６】を計算して総局所基底出力信号Ｓtotalを
出力する。ｉ番目の除算器１２はｉ番目の局所基底出力
計算回路１０と加算器１１から局所基底出力信号Ｓ(i)
と総局所基底出力信号Ｓtotalを受けて、規格化局所基
底出力信号ｂ(i)を

【００２７】

【数７】

【００２８】と計算し出力する。ｉ番目の局所出力計算
回路１３は、除算器１２からの規格化局所基底出力信号
ｂ(i)と内部に保持した結合加重ｖ(i)とから、局所出力
信号ｏ(i)を次式のように計算し、出力する。

【００２９】

【数８】

【００３０】加算器１４は、局所出力計算回路１３から
の局所出力信号ｏを受けて、出力信号ｙを次式のように
計算し、出力する。

【００３１】

【数９】

【００３２】次に学習の動作について説明する。入力信
号ｘに対して教師信号ｚが与えられると、まず、入力信
号ｘから計算された出力信号ｙと教師信号ｚとの差分が
とられ、差分信号Ｅが生成される。差分信号Ｅは結合加
重修正回路１５と局所基底修正回路１６と結合加重設定
回路１７と局所基底設定回路１８に入力される。

【００３３】差分信号Ｅの絶対値が閾値θE より小さい
か、または値が１である活性パラメータの数Ｎａが局所
基底出力計算回路１０の数Ｎに等しい場合には、結合加
重修正回路１５と局所基底修正回路１６は以下のように
動作する。

【００３４】ｉ番目（ｉ＝１〜Ｎａ）の結合加重修正回
路１５は、また教師信号ｚとｉ番目の除算器から規格化
局所基底出力信号ｂ(i) を受け、ｉ番目の局所出力計算
回路１３の結合加重ｖ(i)を次のように修正する。

【００３５】

【数１０】

【００３６】一方、ｉ番目の局所基底修正回路１６は、
また入力信号ｘとｉ番目の除算器から規格化局所基底出
力信号ｂ(i) と出力信号ｙとを受け、局所基底出力計算
回路１３から結合加重ｖ(i)を読みだしｉ番目の局所基
底出力計算回路１０の内部パラメータを次のように修正
する。

【００３７】

【数１１】

【００３８】次に、差分信号Ｅの絶対値が閾値θE より
大きく、かつ値が１である活性パラメータの数Ｎａが局
所基底出力計算回路１０の数Ｎより小さい場合には、結
合加重修正回路１５と局所基底修正回路１６は何もしな
い。

【００３９】結合加重設定回路１７と局所基底設定回路
１８は、差分信号Ｅの絶対値が閾値θEより小さいか、
または値が１である活性パラメータの数Ｎａが局所基底
出力計算回路１０の数Ｎに等しい場合には、何もしな
い。

【００４０】次に、差分信号Ｅの絶対値が閾値θE より
大きく、かつ値が１である活性パラメータの数Ｎａが局
所基底出力計算回路１０の数Ｎより小さい場合には、結
合加重設定回路１７と局所基底設定回路１８は、以下の
ように動作する。

【００４１】結合加重設定回路１７は、Ｎａ＋１番目の
局所出力計算回路１３の結合加重ｖ(Na+1)を次のように
設定する。

【００４２】

【数１２】

【００４３】一方、局所基底設定回路１８は、また入力
信号ｘと除算器から規格化局所基底出力信号ｂを受け、
局所基底出力計算回路１０のパラメータを読みだし、Ｎ
ａ＋１番目の局所基底出力計算回路１０の内部パラメー
タを次のように設定する。

【００４４】

【数１３】

【００４５】ｃ2は正の値をもつパラメータである。た
だし、Ｎａが０の初期状態については、 σ(Na+1)＝σ0 と固定値σ0を与えるものとする。

【００４６】なお、ｃ2 の値は、０.１から１.０程度の
値を設定すると良いが、このパラメータにはかなりの任
意性があり、この範囲に限る必要はない。また、初期の
設定については、最初の２つのデータ（ｘ１，ｚ１）、
（ｘ２，ｚ２）から、

【００４７】

【数１４】

【００４８】とする方法などを用いてもよい。本実施例
による神経回路網模擬装置によれば、本実施例による出
力信号ｙが入力信号ｘといくつかのパラメータとを用い
た初等関数の組み合わせで生成されており、ポテンシャ
ル関数Ｃは

【００４９】

【数１５】

【００５０】と書ける。これを用いて、学習の収束性な
どについても容易に解析できる。また、図２に示したよ
うに目的関数に適した構造を数１０〜数１００回程度の
学習で得ることができる。本実施例によれば、参照ベク
トルは目的関数の１階微分が大きい領域に多く分布す
る。加えて、本発明の構成から明らかなように、一つの
入力信号ｘに対して通常複数個の神経細胞模擬素子が０
でない出力を行い、出力信号ｙはその総和で与えられる
ために、ＬＶＱや坂口らの神経回路網模擬装置と異なっ
て、滑らかな関数近似ができる。さらに、誤差が大きい
場合に、過去に蓄積したパラメータに込められた情報を
そのままに入力信号ｘの近くでのみ働く新しく神経細胞
模擬素子を与えられた教師信号ｚが出力信号ｙとなるよ
うに活性化することによって、学習の高速化が実現され
る。

【００５１】なお、ここでは基底関数としてガウス関数
を用いたが、この関数は０でない値を局所的に持つ関数
であれば、神経生理学の分野などでよく知られているＤ
ＯＧ関数、ガボール関数や量子力学における調和振動子
波動関数として知られているエルミート多項式にガウス
関数をかけた関数や、ウエーブレット変換の基底関数な
どを用いることができる。こうした関数を用いた場合で
あっても、本発明においては学習則についてのポテンシ
ャル関数が与えられているから、関数のパラメータに関
する微分をとることによって、容易にパラメータの修正
量を計算できる。これは、以下の実施例においても同様
であるので、以下の実施例においては、繰り返さない。

【００５２】（実施例２）以下本発明の第２の実施例に
ついて、図面を参照しながら説明する。

【００５３】図３は、実施例１と同等の機能を持った神
経回路網模擬装置のもう一つの構成である。実施例１で
触れたように、本発明の神経回路網模擬装置の出力信号
ｙは初等関数の組み合わせで表現される。したがって、
演算の順序の変更については、いくらかの自由度が残さ
れる。本実施例は、それを示すものである。

【００５４】図３において、１０は入力信号ｘを受けて
局所基底出力信号Ｓを計算して出力する局所基底出力計
算回路であり、１１は複数の局所基底出力計算回路１０
からの局所基底出力信号Ｓを受けてその総和をとり総局
所基底出力信号Ｓtotal を出力する加算器であり、１３
は局所基底出力計算回路１１からの規格化局所基底出力
信号を受け内部に保持した結合加重ｖとの積を局所出力
信号ｏとして出力する局所出力計算回路であり、１４は
複数の局所出力計算回路１３からの局所出力信号ｏの総
和を非規格化出力信号ｎｙとして出力する加算器であ
り、１２は加算器１４と加算器１１とから非規格化出力
信号ｎｙと総局所基底出力信号Ｓtotal とを受けて出力
信号ｙを出力する除算器であり、１９は局所基底出力計
算回路１０と加算器１１とから局所基底出力信号Ｓと総
局所基底出力信号Ｓtotal を受けて、規格化局所基底出
力信号ｂを出力する除算器であり、１５は教師信号ｚと
出力信号ｙとの差分信号Ｅと除算器１９からの規格化局
所基底出力信号ｂを受けて対応する局所出力計算回路１
３の結合加重ｖを修正する結合加重修正回路であり、１
６は入力信号ｘと出力信号ｙと差分信号Ｅと除算器１９
からの規格化局所基底出力信号ｂを受けて対応する局所
基底出力計算回路１０の内部パラメータを修正する局所
基底修正回路であり、１７は教師信号ｚを受けて局所出
力計算回路１３の結合加重を設定する結合加重設定回路
であり、１８は入力信号ｘと規格化局所基底出力信号ｂ
と局所出力計算回路１０の内部パラメータに基づいて局
所基底出力計算回路１０の内部パラメータを設定する局
所基底設定回路である。

【００５５】以上のように構成された神経回路網模擬装
置について、その動作を説明する。なお、ここでは局所
基底出力計算回路１０の性質を特徴づける局所基底関数
として、ガウス関数を用いた場合について説明する。

【００５６】まず、入力信号ｘが局所基底出力計算回路
１０に入る。ｉ番目の局所基底出力計算回路において、
局所基底出力信号Ｓ(i)が次のように計算され、出力さ
れる。

【００５７】

【数１６】

【００５８】ここで、ａ(i)は０または１の値を持つ活
性パラメータであり、μ(i)は参照ベクトルであり、σ²
(i)は分散である。加算器１１は局所基底出力計算回路
１０から出力されるすべての局所基底出力信号Ｓの総和
を次式のように計算して総局所基底出力信号Ｓtotal を
出力する。

【００５９】

【数１７】

【００６０】ｉ番目の局所出力計算回路１３は、除算器
１２からの規格化局所基底出力信号ｂ(i)と内部に保持
した結合加重ｖ(i)とから、局所出力信号ｏ(i)を次式の
ように計算し、出力する。

【００６１】

【数１８】

【００６２】加算器１４は、局所出力計算回路１３から
の局所出力信号ｏを受けて、非規格化出力信号ｎｙを次
式のように計算し、出力する。

【００６３】

【数１９】

【００６４】除算器１２は加算器１４と加算器１１とか
ら非規格化出力信号ｎｙと総局所基底出力信号Ｓtotal
を受けて、出力信号ｙを次式のように計算し、出力す
る。

【００６５】

【数２０】

【００６６】次に学習の動作について説明する。入力信
号ｘに対して教師信号ｚが与えられると、まず、入力信
号ｘから計算された出力信号ｙと教師信号ｚとの差分が
とられ、差分信号Ｅが生成される。差分信号Ｅは結合加
重修正回路１５と局所基底修正回路１６と結合加重設定
回路１７と局所基底設定回路１８に入力される。除算器
１９は、加算器１４と局所基底出力回路１０から総局所
基底出力信号Ｓtotalと局所基底出力信号Ｓとを受け
て、規格化局所信号ｂを出力する。以下の動作は、実施
例１と同様なので、説明を省略する。効果等についても
同様である。

【００６７】（実施例３）以下本発明の第３の実施例に
ついて図面を参照しながら説明する。本実施例の構成の
説明に先だって、本実施例と実施例１、２との違いにつ
いて説明する。

【００６８】実施例１、２においては、局所出力計算回
路１３の働きは、規格化局所基底出力信号ｂまたは局所
出力信号Ｓに入力信号ｘに依存しない結合加重ｖをかけ
るものであった。本実施例では、これをｘに依存する項
を含むように拡張する。すなわち、局所出力信号ｏ(i)
を

【００６９】

【数２１】

【００７０】と拡張するものである。この拡張に伴っ
て、大きく機能変更が必要な構成要素は加重結合設定回
路１７だけである。これにかんがみ、本実施例の構成を
示すブロック図である図４においては、煩雑を避けるた
めにその他の構成要素は３０にまとめて表現している。

【００７１】図４において、３０は入力信号ｘを受け出
力信号ｙと規格化局所基底出力信号ｂを出力する結合加
重設定回路１７を除く本発明の神経回路網模擬装置の全
てを含むブロックであり、２０は差分信号Ｅに基づいて
結合加重設定を制御する結合加重設定制御部であり、２
１はブロック３０から参照ベクトルμを読みだして入力
信号として入力線に出力する参照ベクトル信号発生部で
あり、２２は入力信号ｘ（またはμ）と規格化局所基底
出力信号ｂと教師信号ｚと出力信号ｙを記憶する信号記
憶部であり、２３は信号記憶部２３から必要に応じてデ
ータを読みだして結合加重を計算し設定する結合加重設
定部である。

【００７２】以上のように構成された神経回路網模擬装
置について、その動作を説明する。入力信号ｘが入力さ
れると、実施例１、または２とｐ同様に信号処理が行わ
れ、出力信号ｙが出力される。ただし、ｉ番目（ｉ＝１
〜Ｎａ）の局所出力計算回路１３では、局所出力信号ｏ
(i)が次のように計算される。

【００７３】

【数２２】

【００７４】と局所出力信号ｏ(i)が計算される。出力
信号ｙと教師信号ｚとの差分信号Ｅが計算され、結合加
重設定回路１７の結合加重設定制御部２０に送られる。
結合加重設定制御部２０は、差分信号Ｅの絶対値が閾値
θE より大きくかつ値が１である活性パラメータの数Ｎ
ａが局所基底出力計算回路１０の数Ｎに等しい場合に、
結合加重設定制御信号ＣをＯＮにして参照ベクトル信号
発生部２１に送る。参照ベクトル信号発生部２１は、結
合加重設定制御信号ＣがＯＮの場合、ブロック３０から
活性パラメータａが１である局所基底出力計算回路１０
から参照ベクトルμを一つづつ読みだして入力信号とし
て入力線に送り、すべての参照ベクトルについての処理
が終了すると信号発生終了信号を結合加重設定部２３に
送る。ブロック３０は出力信号ｙ(μ)と規格化出力信号
ｂ(ｉ，μ)を出力する。信号記憶回路２２は結合加重設
定制御信号ＣがＯＮの場合、入力信号ｘ（またはμ）と
出力信号ｙ（またはｙ(μ)）と規格化局所基底出力信号
ｂ(ｉ，μ)と総局所出力信号Ｓtotal（またはＳtotal
(μ)）教師信号ｚを追記的に記憶する。

【００７５】結合加重設定部２３は、参照ベクトル信号
発生部２１から信号発生終了信号を受けると、信号記憶
部２２に記憶された信号、ｘ，ｙ，ｚ，μ，ｙ(μ)，Ｓ
total，Ｓtotal(μ)，ｂ(ｉ，μ)からＮａ＋１番目の局
所出力計算回路１３の結合加重を次のように計算する。
ここでは、入力信号が２次元の場合について説明を行う
が、これは入力の次元が幾つであっても同様に計算する
ことができる。結合加重設定部２３は、Ｎａ＋１番目の
局所出力計算回路１３の結合加重ｖ(Na+1)とｗ(Na+1)を

【００７６】

【数２３】

【００７７】と設定する。最後に信号記憶部２２をリセ
ットする。局所基底設定回路１８の動作は、実施例１、
２と同様である。

【００７８】差分信号Ｅの絶対値が閾値θE より大きく
かつ値が１である活性パラメータの数Ｎａが局所基底出
力計算回路１０の数Ｎに等しい場合に、結合加重設定制
御部２０は、結合加重設定制御信号ＣをＯＦＦにして参
照ベクトル信号発生部２１と信号記憶部２２に送る。参
照ベクトル信号発生部２１は、結合加重設定制御信号Ｃ
がＯＦＦの場合、何もしない。信号記憶部２２は結合加
重設定制御信号ＣがＯＦＦの場合、記憶内容をリセット
する。

【００７９】差分信号Ｅの絶対値が閾値θE より小さい
かまたは値が１である活性パラメータの数Ｎａが局所基
底出力計算回路１０の数Ｎに等しい場合には、結合加重
修正回路１５が結合加重ｖ(i)とｗ(i)を

【００８０】

【数２４】

【００８１】と修正する。その他の動作は実施例１、２
と同様である。本実施例による神経回路網模擬装置によ
れば、本実施例による出力信号ｙが入力信号ｘといくつ
かのパラメータとを用いた初等関数の組み合わせで生成
されており、ポテンシャル関数Ｃは同様に

【００８２】

【数２５】

【００８３】と書ける。これを用いて、学習の収束性な
どについても容易に解析できる。また、目的関数に適し
た構造を数１０〜数１００回程度の学習で得ることがで
きる。特に本実施例によれば、参照ベクトルは目的関数
の２階微分の値が大きい領域に多く分布する。加えて、
本発明の構成から明らかなように、一つの入力信号ｘに
対して通常複数個の神経細胞模擬素子が０でない出力を
行い、出力信号ｙはその総和で与えられるために、ＬＶ
Ｑや坂口らの神経回路網模擬装置と異なって、滑らかな
関数近似ができる。さらに、誤差が大きい場合に、過去
に蓄積したパラメータに込められた情報をそのままに入
力信号ｘの近くでのみ働く新しく神経細胞模擬素子を与
えられた教師信号ｚが出力信号ｙとなるように活性化す
ることによって、学習の高速化が実現される。

【００８４】なお、結合加重を入力信号の１次に限るこ
となく、２次、３次へと拡張することは、原理的に容易
である。また、結合加重をフーリエ級数など適当な直交
関数を用いることも原理的に可能である。

【００８５】（実施例４）上記実施例においては、各局
所基底修正回路１６、各結合加重修正回路１５、各局所
基底設定回路１８、各結合加重設定回路１７が、独立に
学習の処理の判定を行っていた。この方法は、装置のロ
バスト性を考えれば有効であるが、回路規模が大きくな
るという面を持っている。本実施例では、回路規模の縮
小を実現するために、学習方法をひとまとめに制御する
学習方法切り替え回路を設けた場合について説明する。

【００８６】以下本発明の第４の実施例について、図面
を参照しながら説明する。図５において、１０は前記局
所基底出力計算回路であり、１１は前記加算器であり、
１２は前記除算器であり、１３は前記局所出力計算回路
であり、１４は前記加算器であり、４４は教師信号と出
力信号の差分をとって得られる差分信号と局所基底出力
計算回路の内部パラメータから学習方法を切り替える学
習法切り替え回路であり、４６は入力信号と出力信号と
前記除算器からの規格化局所基底出力信号と学習法切り
替え回路からの修正差分信号を受けて局所基底出力計算
回路１０と局所出力計算回路１３から内部パラメータを
読みだし局所基底出力回路１０の内部パラメータを修正
する簡易局所基底修正回路であり、４５は前記除算器か
らの規格化局所基底出力信号と学習法切り替え回路から
の修正差分信号を受けて局所出力計算回路１３の内部パ
ラメータを読みだし局所出力計算回路１３の内部パラメ
ータを修正する簡易結合加重修正回路であり、４８は入
力信号と前記除算器１２からの規格化局所基底出力と学
習法切り替え回路４４からの設定信号を受けて局所基底
出力計算回路１０の内部パラメータを読みだし局所基底
出力計算回路１０の内部パラメータを設定する簡易局所
基底設定回路であり、４７は前記加算器１１からの総局
所基底出力信号と出力信号と教師信号と学習法切り替え
回路４４からの設定信号を受けて局所出力計算回路１３
の内部パラメータを設定する簡易結合加重設定回路であ
る。

【００８７】以上のように構成された神経回路網模擬装
置について、その動作を説明する。なお、ここでは局所
基底出力計算回路１０の性質を特徴づける局所基底関数
として、ガウス関数を用いた場合について説明する。

【００８８】まず、入力信号ｘが局所基底出力計算回路
１０に入る。ｉ番目の局所基底出力計算回路において、
局所基底出力信号Ｓ(i)が（数５）と計算され、出力さ
れる。ここで、ａ(i)は０または１の値を持つ活性パラ
メータであり、μ(i)は参照ベクトルであり、σ²(i)は
分散である。加算器１１は局所基底出力計算回路１０か
ら出力されるすべての局所基底出力信号Ｓの総和（数
６）を計算して総局所基底出力信号Ｓtotalを出力す
る。ｉ番目の除算器１２はｉ番目の局所基底出力計算回
路１０と加算器１１から局基底出力信号Ｓ(i)と総局所
基底出力信号Ｓtotalを受けて、規格化局所基底出力信
号ｂ(i)を（数７）と計算し出力する。ｉ番目の局所出
力計算回路１３は、除算器１２からの規格化局所基底出
力信号ｂ(i)と内部に保持した結合加重ｖ(i)とから、局
所出力信号ｏ(i)を（数８）のように計算し、出力す
る。加算器１４は、局所出力計算回路１３からの局所出
力信号ｏを受けて、出力信号ｙを（数９）のように計算
し、出力する。

【００８９】次に学習の動作について説明する。入力信
号ｘに対して教師信号ｚが与えられると、まず、上記の
動作によって得られる入力信号ｘに対応する出力信号ｙ
と教師信号ｚとの差分がとられ、差分信号Ｅが生成され
る。差分信号Ｅは、学習方法切り替え回路４４に入力さ
れる。学習方法切り替え回路４４は、差分信号Ｅを受け
ると、局所基底計算回路１０の内部パラメータを読みだ
す。学習方法切り替え回路４４は、読みだしたパラメー
タから活性状態にある局所基底出力計算回路の数Ｎαを
計算し、｜Ｅ｜＜θE、または、Ｎα＝（局所基底出力計算回路
の総数）のとき、修正差分信号Ｅ１＝Ｅ設定制御信号Ｅ２＝ＮＯ｜Ｅ｜≧θE、かつ、Ｎα＜（局所基底出力計算回路
の総数）のとき、修正差分信号Ｅ１＝０設定制御信号Ｅ２＝Ｎα＋１を出力する。

【００９０】簡易結合加重修正回路４５と簡易局所基底
修正回路４６は以下のように動作する。

【００９１】ｉ番目（ｉ＝１〜Ｎａ）の簡易結合加重修
正回路４５は、また教師信号ｚとｉ番目の除算器１２か
ら規格化局所基底出力信号ｂ(i) を受け、ｉ番目の局所
出力計算回路１３の結合加重ｖ(i)を次のように修正す
る。

【００９２】

【数２６】

【００９３】ｉ番目の簡易局所基底修正回路１６は、ま
た入力信号ｘと、ｉ番目の除算器１２から規格化局所基
底出力信号ｂ(i) と、出力信号ｙとを受け、ｉ番目の局
所出力計算回路１３の結合加重ｖ(i)を読みだし、ｉ番
目の局所基底出力計算回路１０の内部パラメータを次の
ように修正する。

【００９４】

【数２７】

【００９５】以上のパラメータの修正が終わると、簡易
局所基底修正回路４６、簡易結合加重修正回路４５は、
修正終了信号を返す。

【００９６】一方、簡易結合加重設定回路４７と簡易局
所基底設定回路４８は、設定制御信号がＮＯの場合に
は、何もしない。設定制御信号が（Ｎα＋１）の場合に
は、以下のように動作する。

【００９７】簡易結合加重設定回路４７は、出力信号ｙ
と教師信号ｚと加算器１１から総局所基底出力信号Ｓto
talとを受けて、設定制御信号によって指定されるＮａ
＋１番目の局所出力計算回路１３の結合加重ｖ(Na+1)を
（数１２）のように設定する。

【００９８】簡易局所基底設定回路４８は、また入力信
号ｘと除算器から規格化局所基底出力信号ｂを受け、局
所基底出力計算回路１０の内部パラメータを読みだし、
設定制御信号によって指定されるＮａ＋１番目の局所基
底出力計算回路１０の内部パラメータを（数１３）のよ
うに設定する。以上のパラメータの設定が終わると、簡
易局所基底設定回路４８、簡易結合加重設定回路４７
は、設定終了信号を返す。

【００９９】なお、上記実施例と同様にｃ2は正の値を
もつパラメータである。ただし、Ｎａが０の初期状態に
ついては、 σ(Na+1)＝σ0 と固定値σ0を与えるものとする。ｃ2 の値は、０.１か
ら１.０程度の値を設定すると良いが、このパラメータ
にはかなりの任意性があり、この範囲に限る必要はな
い。また、初期の設定については、最初の２つのデータ
（ｘ１，ｚ１）、（ｘ２，ｚ２）から、（数１４）とす
る方法などを用いてもよい。

【０１００】本実施例による神経回路網模擬装置によれ
ば、本実施例による出力信号ｙが入力信号ｘといくつか
のパラメータとを用いた初等関数の組み合わせで生成さ
れており、ポテンシャル関数Ｃは（数１５）と書ける。
これを用いて、学習の収束性などについても容易に解析
できる。

【０１０１】また、図２に示したように目的関数に適し
た構造を数１０〜数１００回程度の学習で得ることがで
きる。本実施例によれば、参照ベクトルは目的関数の１
階微分が大きい領域に多く分布する。加えて、本発明の
構成から明らかなように、一つの入力信号ｘに対して通
常複数個の神経細胞模擬素子が０でない出力を行い、出
力信号ｙはその総和で与えられるために、ＬＶＱや坂口
らの神経回路網模擬装置と異なって、滑らかな関数近似
ができる。さらに、誤差が大きい場合に、過去に蓄積し
たパラメータに込められた情報をそのままに入力信号ｘ
の近くでのみ働く新しく神経細胞模擬素子を与えられた
教師信号ｚが出力信号ｙとなるように活性化することに
よって、学習の高速化が実現される。

【０１０２】また、学習方法切り替え回路４４を設ける
ことにより、局所基底修正回路１６、結合加重修正回路
１５、局所基底設定回路１８、および結合加重設定回路
１７のかわりに、学習方法の選択判定を行わない簡易局
所基底修正回路４６、簡易結合加重修正回路４５、簡易
局所基底設定回路４８、および簡易結合加重設定回路４
７を用いることができる。

【０１０３】（実施例５）本発明の神経回路網模擬装置
においては、誤差が大きい場合に、局所基底出力計算回
路１０等を新たに設定することにより、学習の高速化を
図っている。しかし、この方法だけでは、学習用のデー
タの順番によっては、実質的に不必要な局所基底出力計
算回路１０が生き残る場合がある。図６は、本発明の実
験結果の目的関数の等高線図と参照ベクトルの分布を示
したものである。図中の参照ベクトルＡは、学習初期に
活性化されたものであるが、このように学習がすすんだ
あとでは、他の参照ベクトルによって代替可能、すなわ
ち、参照ベクトルＡがなくなっても出力は変わらなくな
ってしまっている。こうした現象は、神経回路網模擬装
置のロバスト性の面からは有効であるが、メモリおよび
回路規模の面からは不利となる。この課題を解決し、局
所基底出力計算回路などを効率的に利用するために、忘
却を入れた場合の実施例について説明する。

【０１０４】以下本発明の第５の実施例について、図面
を参照しながら説明する。図７において図５と異なるの
は、学習方法切り替え回路４４に替えて、４９は教師信
号と出力信号の差分をとって得られる差分信号と局所基
底出力計算回路の内部パラメータから学習方法を選択す
る学習方法選択回路であり、５０は学習方法選択回路４
９からの忘却処理開始信号を受けて局所基底出力計算回
路１０の内部パラメータを読みだし忘却処理を行う忘却
処理回路を備えた点である。以上のように構成された神
経回路網模擬装置について、その動作を説明する。な
お、ここでは局所基底出力計算回路１０の性質を特徴づ
ける局所基底関数として、ガウス関数を用いた場合につ
いて説明する。

【０１０５】まず、入力信号ｘが局所基底出力計算回路
１０に入る。ｉ番目の局所基底出力計算回路において、
局所基底出力信号Ｓ(i)が（数５）のように計算され、
出力される。ここで、ａ(i)は０または１の値を持つ活
性パラメータであり、μ(i)は参照ベクトルであり、σ²
(i)は分散である。加算器１１は局所基底出力計算回路
１０から出力されるすべての局所基底出力信号Ｓの総和
（数６）を計算して総局所基底出力信号Ｓtotalを出力
する。ｉ番目の除算器１２はｉ番目の局所基底出力計算
回路１０と加算器１１から局基底出力信号Ｓ(i)と総局
所基底出力信号Ｓtotalを受けて、規格化局所基底出力
信号ｂ(i)を（数７）と計算し出力する。ｉ番目の局所
出力計算回路１３は、除算器１２からの規格化局所基底
出力信号ｂ(i)と内部に保持した結合加重ｖ(i)とから、
局所出力信号ｏ(i)を（数８）のように計算し、出力す
る。加算器１４は、局所出力計算回路１３からの局所出
力信号ｏを受けて、出力信号ｙを（数９）のように計算
し、出力する。

【０１０６】次に学習の動作について説明する。入力信
号ｘに対して教師信号ｚが与えられると、まず、上記の
動作によって得られる入力信号ｘに対応する出力信号ｙ
と教師信号ｚとの差分がとられ、差分信号Ｅが生成され
る。差分信号Ｅは、学習方法選択回路４９に入力され
る。学習方法選択回路４９は、差分信号Ｅを受けると、
局所基底計算回路１０の内部パラメータを読みだす。学
習方法選択回路４９は、読みだしたパラメータから活性
状態にある局所基底出力計算回路の数Ｎαを計算し、不
活性状態にある局所基底出力計算回路の指標ＩＮＤＥＸ
を探索し、｜Ｅ｜＜θE、または、Ｎα＝（局所基底出力計算回路
の総数）のとき、修正差分信号Ｅ１＝Ｅ設定制御信号Ｅ２＝ＮＯ｜Ｅ｜≧θE、かつ、Ｎα＜（局所基底出力計算回路
の総数）のとき、修正差分信号Ｅ１＝０設定制御信号Ｅ２＝ＩＮＤＥＸを出力する。

【０１０７】簡易結合加重修正回路４５と簡易局所基底
修正回路４６は以下のように動作する。

【０１０８】ｉ番目（ｉ＝１〜Ｎａ）の簡易結合加重修
正回路４５は、また教師信号ｚとｉ番目の除算器１２か
ら規格化局所基底出力信号ｂ(i) を受け、ｉ番目の局所
出力計算回路１３の結合加重ｖ(i)を次（数２６）のよ
うに修正する。

【０１０９】ｉ番目の簡易局所基底修正回路１６は、ま
た入力信号ｘと、ｉ番目の除算器１２から規格化局所基
底出力信号ｂ(i) と、出力信号ｙとを受け、ｉ番目の局
所出力計算回路１３の結合加重ｖ(i)を読みだし、ｉ番
目の局所基底出力計算回路１０の内部パラメータを（数
２７）のように修正する。

【０１１０】以上のパラメータの修正が終わると、簡易
局所基底修正回路４６、簡易結合加重修正回路４５は、
修正終了信号を返す。

【０１１１】一方、簡易結合加重設定回路４７と簡易局
所基底設定回路４８は、設定制御信号がＮＯの場合に
は、何もしない。設定制御信号がＩＮＤＥＸの場合に
は、以下のように動作する。

【０１１２】簡易結合加重設定回路４７は、出力信号ｙ
と教師信号ｚと加算器１１から総局所基底出力信号Ｓto
talとを受けて、設定制御信号によって指定されるＩＮ
ＤＥＸ番目の局所出力計算回路１３の結合加重ｖ(INDE
X)を次のように設定する。

【０１１３】

【数２８】

【０１１４】簡易局所基底設定回路４８は、また入力信
号ｘと除算器から規格化局所基底出力信号ｂを受け、局
所基底出力計算回路１０のパラメータを読みだし、設定
制御信号によって指定されるＩＮＤＥＸ番目の局所基底
出力計算回路１０の内部パラメータを次のように設定す
る。

【０１１５】

【数２９】

【０１１６】以上のパラメータの設定が終わると、簡易
局所基底設定回路４８、簡易結合加重設定回路４７は、
設定終了信号を返す。学習方法選択回路４９は、設定終
了信号を受けると、忘却処理開始信号を忘却処理回路５
０に送る。忘却処理開始信号を受けた忘却処理回路５０
の動作を図８に示したフローチャートを参照しながら説
明する。

【０１１７】忘却処理回路５０は、局所基底出力計算回
路１０から、内部パラメータ読みだす。そして、局所基
底出力回路１０を指定する指標ｉに１を入れる。読みだ
したｉ番目の局所基底出力計算回路１０の活性パラメー
タが１の場合、読みだしたｉ番目の局所基底出力計算回
路１０の参照ベクトルμ(ｉ)を入力端子へ出力し、加算
器１４からの出力信号ｙ(μ(ｉ))を受けて、これを保持
し、次に、ｉ番目の局所基底出力計算回路１０を不活性
化して、ｉ番目の局所基底出力計算回路１０の参照ベク
トルμ(ｉ)を入力端子へ出力し、その出力信号ｙ'(μ
(ｉ)，ｉ)を保持した出力信号ｙ(μ(ｉ))と比較し、｜ｙ'(μ(ｉ)，ｉ)−ｙ(μ(ｉ))｜＜θの場合処理を終了し、ｉ番目の局所基底出力計算回路を不活性
化状態にとどめる｜ｙ'(μ(ｉ)，ｉ)−ｙ(μ(ｉ))｜≧θの場合ｉ番目の局所基底出力計算回路を再活性化するｉをインクリメントするという処理を行う。

【０１１８】読みだしたｉ番目の局所基底出力計算回路
１０の活性パラメータが０の場合、ｉをインクリメント
する。

【０１１９】ｉ＝Ｎ＋１でない場合、上の処理に戻る。
ｉ＝Ｎ＋１の場合、処理を終了する。

【０１２０】こうして、不必要に冗長な局所基底出力計
算回路１０は不活性化され、次の学習に備えることがで
きるようになる。

【０１２１】なお、閾値θは、差分信号Ｅについて設定
されている閾値θE対し、 θ ＝ θE/2 程度にとるとよい。ただし、閾値θはこれに限る必要は
なく、 θ＜θE であればよい。

【０１２２】また、閾値θを分散σ²(ｉ)の関数 θ＝θE ｆ(σ²(ｉ)) としてもよい。関数ｆを単調減少する正の値をとる関数
とすれば、広い入力信号領域をカバーしている局所基底
出力計算回路１０は不活性化されにくくなる。これによ
って、素子の不活性化による一時的な誤差の増大を抑制
できる。

【０１２３】局所基底出力計算回路の不活性化が出力信
号ｙに与える影響を抑制する手段として、不活性化され
るａ番目の局所基底出力計算回路１０に対応するａ番目
の局所出力計算回路１３の結合加重ｖ（ａ）が担ってい
た情報を他の局所出力計算回路１３の結合加重に移し替
える方法がある。

【０１２４】具体的には、ｂ番目以外の局所出力計算回
路１３の結合加重ｖ（ｂ）を不活性化する前のａ番目の
局所基底出力計算回路１０の出力を用いて、ｖ（ｂ）＝ｖ（ｂ）＋（ｖ（ａ）−ｖ（ｂ））Ｂ（μ
（ｂ））とすればよい。ここで、Ｂ（μ（ｂ））は、入力信号が
μ（ｂ）であるときの不活性化する前のａ番目の局所基
底出力計算回路１０の出力である。

【０１２５】この結合加重の修正をａ番目の局所基底出
力計算回路１０の不活性化と同時に行うことにより、局
所基底出力計算回路１０の不活性化の出力信号ｙへの影
響を抑制することができる。

【０１２６】初期学習については、上の実施例と同様で
ある。本実施例による神経回路網模擬装置によれば、上
の実施例の効果に加えて、最も効率的に神経回路網模擬
装置の内部パラメータを設定することができ、比較的小
さな規模の装置でも目的関数を精度よく近似できる優れ
た神経回路網模擬装置を実現できる。

【０１２７】なお、本実施例においては、ｉ番目の局所
基底出力計算回路１０が活性化されているときと不活性
化されているときの、加算器１４からの出力信号ｙと
ｙ’を比較するための入力として、ｉ番目の局所基底出
力計算回路１０の参照ベクトルμ(ｉ)を使用したが、こ
の参照ベクトルμ(ｉ)の代わりに学習用のデータとして
与えられた入力信号ｘを用いることもできる。この場合
は、学習用のデータが与えられるごとに、活性化されて
いる各々の局所基底出力計算回路１０に対して、ＣＤ(ｉ，ｘ)＝｜ｙ'(ｘ，ｉ)−ｚ(ｘ)｜−｜ｙ(ｘ)−
ｚ(ｘ)｜を計算し記憶しておく。ここに、ＣＤ(ｉ，ｘ)は、入力
信号ｘに対するｉ番目の局所基底出力計算回路１０の貢
献度を表し、ｙ'(ｘ，ｉ)はｉ番目の局所基底出力計算
回路１０を不活性化してｘを入力信号としたときの加算
器１４からの出力信号を表し、ｚ(ｘ)は入力信号ｘに対
応する教師信号を表し、ｙ(ｘ)はｉ番目の局所基底出力
計算回路を不活性化せずにｘを入力信号としたときの加
算器１４からの出力信号を表す。さらに、活性化されて
いる各々の局所基底出力計算回路ごとに、過去の各学習
用データに対する貢献度ＣＤ(ｉ，ｘ)の平均値ＡＣＤ
(ｉ)を求め、ＡＣＤ(ｉ)＜θ’の場合ｉ番目の局所基底出力計算回路を不活性化するＡＣＤ(ｉ)≧θ’の場合ｉ番目の局所基底出力計算回路を活性化したままにするという処理を行う。この方法によると、学習用のデータ
にノイズが含まれている場合でも、ノイズの影響を軽減
して滑らかな関数近似を行うことができる。また、この
方法において、θ’を閾値として各々の局所基底出力計
算回路１０の活性化と不活性化を不連続に切替える代わ
りに、ＡＣＤ(ｉ)に比例するように各々の局所基底出力
計算回路１０の内部パラメータａ(ｉ)を連続的に変化さ
せることもできる。ただし、ＡＣＤ(ｉ)が負の値となっ
た場合は、ａ(ｉ)の値は０とする。

【０１２８】（実施例６）本発明の神経回路網模擬装置
においては、局所基底出力計算回路１０等を新たに設定
することにより、高速に滑らかな関数近似を行うことが
できる。しかし、この方法だけでは、学習用のデータの
順番によっては、実質的に不必要な局所基底出力計算回
路１０が生き残る場合がある。これに対して、実施例５
の方法によると、不要な局所基底出力計算回路１０を消
去することができるが、そのために必要な計算量が増大
する。本実施例においては、学習すべき入出力関係に関
してあらかじめ分かっている情報が存在するとき、この
情報を利用して本発明の神経回路網模擬装置の内部パラ
メータを初期設定することにより、計算量を増やすこと
なく、より高速で、より少数の局所基底出力計算回路１
０による学習を可能とする方法について説明する。

【０１２９】本発明の第６の実施例の構成は、図１に示
した第１の実施例と同一であるので、ここでは繰り返さ
ない。

【０１３０】つぎに、第６の実施例の動作について説明
する。学習データに基づく本発明の神経回路網模擬装置
の内部パラメータの修正に先立ち、最初に、学習すべき
入出力関係に関してあらかじめ分かっている情報を利用
して本発明の神経回路網模擬装置の内部パラメータを以
下のように初期設定する。

【０１３１】学習すべき入出力関係に関してあらかじめ
分かっている情報がＲ個存在し、ｋ番目の情報は「入力
ｘが入力空間上の閉領域ａ(ｋ)に属するならば、出力ｙ
(ｘ)は定数ｃ(ｋ)に等しい」の形式で表されているとす
る。これらの情報は完全に正しいものである必要はな
い。具体的な情報の例を次に２つ示す。ここでは入力ｘ
は２次元のベクトル（ｘ ₁，ｘ₂）であり、出力ｙ(ｘ)は
スカラーであるとした。

【０１３２】「０.２＜ｘ₁＜０.５かつ０.４＜ｘ₂＜０.
８ならば、ｙ(ｘ)＝１.０」「ｘ₁ ²＋ｘ₂ ²≦４.０ならば、ｙ(ｘ)＝０.５」さて、入力ｘが一般にＮ次元ベクトル（ｘ₁，…，ｘ_N）
であるとし、このベクトルのＪ番目の要素をｘ_Jと表記
することにする。ａ(ｋ)は閉領域であるとしたから、各
要素ｘ_Jは領域ａ(ｋ)内における最大値ｘ_Jｍａｘと最小
値ｘ_Jｍｉｎを持つ。ここで、局所基底出力計算回路１
０の内部パラメータと局所出力計算回路１３の内部パラ
メータを次の通り初期設定する。ｋ番目（ｋは１からＲ
までのそれぞれを表す）の局所基底出力計算回路１０の
内部パラメータａ(ｋ)、μ(ｋ)、σ(ｋ)と、ｋ番目の局
所出力計算回路１３の内部パラメータｖ(ｋ)について
は、

【０１３３】

【数３０】

【０１３４】と初期設定する。ここに、ベクトルμ(ｋ)
のＪ番目の要素をμ_J(ｋ)と表記した。また、ｃ3は正の
定数であり、第１の実施例における学習時に使用した定
数ｃ2と等しい値を設定する。また、上記以外の局所基
底出力計算回路１０の内部パラメータについては、ａ(ｉ)＝０と初期設定する。

【０１３５】以上の初期設定終了後、第１の実施例にお
ける学習の動作と同一の手順で、学習データに基づき、
局所基底出力計算回路１０の内部パラメータａ(ｉ)、μ
(ｉ)、σ(ｉ)と局所出力計算回路１３の内部パラメータ
ｖ(ｉ)を逐次的に修正する。あらかじめ分かっていたＲ
個の情報が完全に正しいものではなかった場合や、これ
らのＲ個の情報に基づく内部パラメータの初期値設定に
よってできた神経回路網模擬装置の入出力関係が、これ
らのＲ個の情報と完全には一致しなかった場合において
も、それらの内部パラメータの学習データに基づく逐次
的な修正によって、高速に目的関数の良好な近似を実現
できる。

【０１３６】なお、内部パラメータμ(ｋ)とσ(ｋ)の初
期設定において、以上の設定方法の代わりに、μ(ｋ)を
閉領域ａ(ｋ)の重心と一致するように初期設定し、σ
(ｋ)を閉領域ａ(ｋ)の体積の（１／Ｎ）乗に比例する値
に初期設定してもよい。

【０１３７】また、本実施例では、第１の実施例と同一
の構成の神経回路網模擬装置の内部パラメータを初期設
定する方法について説明したが、第２の実施例、第３の
実施例、第４の実施例、第５の実施例のいずれと同一の
構成の神経回路網模擬装置に対しても、本実施例と同様
の初期設定方法が適用できることは言うまでもない。特
に、あらかじめ分かっている情報が、ｆ(ｘ)をｘの関数
として「入力ｘが入力空間上の閉領域ａ(ｋ)に属するな
らば、出力ｙ(ｘ)はｆ(ｘ)に等しい」の形式で表現され
ている場合には、第３の実施例と同一の構成の神経回路
網模擬装置に対して、本実施例と同様の方法でパラメー
タの初期設定を行なうことが、目的関数の良好な近似を
実現するために有効である。

【０１３８】また、第５の実施例と同一の構成の神経回
路網模擬装置に対して、本実施例と同様の方法で局所基
底出力計算回路１０の内部パラメータａ(ｉ)、μ(ｉ)、
σ(ｉ)と局所出力計算回路１３の内部パラメータｖ(ｉ)
を初期設定した後に、第５の実施例の方法を用いて忘却
を入れた学習を行なうと、比較的少数の局所基底出力計
算回路１０だけが活性化された状態で目的関数を良好に
近似することができる。したがって、この場合には、学
習終了後の内部パラメータａ(ｉ)、μ(ｉ)、σ(ｉ)、ｖ
(ｉ)の値を調べることにより、神経回路網模擬装置の動
作を理解したり予測することが容易にできるという利点
を有する。

【０１３９】また、本実施例では、学習すべき入出力関
係に関してあらかじめ分かっている情報がＲ個存在し、
ｋ番目の情報が「入力ｘが入力空間上の閉領域ａ(ｋ)に
属するならば、出力ｙ(ｘ)は定数ｃ(ｋ)に等しい」の形
式で表現されている場合における、内部パラメータの初
期設定の方法を説明したが、入力ｘがＮ次元ベクトル
（ｘ₁，…，ｘ_N）であって、このベクトルの各要素ｘ_J
としては０または１の２種類の値だけをとるものと０か
ら１の間で連続的に任意の値をとりうるものが混在し、
学習すべき入出力関係に関してあらかじめ分かっている
情報が「入力ｘが論理式Ｌ(ｋ)(ｘ)を満足するならば、
出力ｙ(ｘ)は定数ｃ(ｋ)に等しい」の形式で表現されて
いる場合においても、以下のように内部パラメータを初
期設定することができる。ここで、論理式Ｌ(ｋ)(ｘ)
は、素論理式の連言であるとし、素論理式は、要素ｘ_J
が０または１の２種類の値だけをとるときはｘ_J＝０の
形かまたはｘ_J＝１の形であり、素論理式ｘ_J＝０と素論
理式ｘ_J＝１が両方同時に存在することはなく、要素ｘ_J
が０から１の間で連続的に任意の値をとりうるときは、
ｘ_Jｍｉｎ≦ｘ_J≦ｘ_Jｍａｘの形であるとする。

【０１４０】ｋ番目（ｋは１からＲまでのそれぞれを表
す）の局所基底出力計算回路１０の内部パラメータａ
(ｋ)、μ(ｋ)、σ(ｋ)と、ｋ番目の局所出力計算回路１
３の内部パラメータｖ(ｋ)については、

【０１４１】

【数３１】

【０１４２】と初期設定する。ここに、ベクトルμ(ｋ)
のＪ番目の要素をμ_J(ｋ)と表記した。また、ｃ3は正の
定数であり、第１の実施例における学習時に使用した定
数ｃ2と等しい値を設定する。Ｗ(Ｊ)はつぎの通りの値
をとる。

【０１４３】

【数３２】

【０１４４】また、上記以外の局所基底出力計算回路１
０の内部パラメータについては、ａ(ｋ)＝０と初期設定する。

【０１４５】学習すべき入出力関係に関してあらかじめ
分かっている情報が「入力ｘが論理式Ｌ(ｋ)(ｘ)を満足
するならば、出力ｙ(ｘ)は定数ｃ(ｋ)に等しい」の形式
で表現されている場合に対する、以上の初期設定法は、
「入力ｘが論理式Ｌ(ｋ)(ｘ)を満足すること」を次の手
順で「入力ｘが入力空間上の閉領域ａ(ｋ)に属するこ
と」に変換し、変換後の情報に対応して前記の方法によ
る初期設定を行なうことと同等のものとなっている。

【０１４６】１）素論理式ｘ_J＝０が論理式Ｌ(ｋ)(ｘ)
に含まれていれば、それを素論理式−０.５≦ｘ_J≦０.
５に置き換える。

【０１４７】２）素論理式ｘ_J＝１が論理式Ｌ(ｋ)(ｘ)
に含まれていれば、それを素論理式０.５≦ｘ_J≦１.５
に置き換える。

【０１４８】３）ｘ_Jｍｉｎ≦ｘ_J≦ｘ_Jｍａｘの形の素
論理式に対する置き換えは行わない。

【０１４９】４）要素ｘ_Jについての素論理式が論理式
Ｌ(ｋ)(ｘ)に含まれていなければ、素論理式０≦ｘ_J≦
１を論理式Ｌ(ｋ)(ｘ)に追加する。

【０１５０】（実施例７）忘却処理回路の第２の実施例
を説明する。

【０１５１】図７において、忘却処理回路５０は局所基
底出力計算回路１０から、内部パラメータ読みだす。

【０１５２】局所基底出力回路１０を指定する指標ｊに
１を入れる。ｊ番目の局所基底出力計算回路１０の活性
パラメータを判断する。

【０１５３】ｊ番目の局所基底出力計算回路１０の活性
化パラメータが１の場合は、以下の処理を行う。

【０１５４】局所基底出力回路１０を指定する指標ｉに
１を入れる。読みだしたｉ番目の局所基底出力計算回路
１０の活性パラメータが１の場合、読みだしたｉ番目の
局所基底出力計算回路１０の参照ベクトルμ(ｉ)を入力
端子へ出力し、加算器１４からの出力信号ｙ（μ(ｉ)）
を受けて、これを保持し、ｉをインクリメントする。こ
れを繰り返し、活性化パラメータが１である参照ベクト
ルμ(ｉ)の出力信号ｙ（μ(ｉ)）を全て計算する。

【０１５５】次に、ｊ番目の局所基底出力計算回路１０
を不活性化して、同様の処理を行い、ｊ番目の素子が不
活性化された場合の出力信号ｙ’（μ(ｉ)）を全て計算
する。

【０１５６】さらに、計算された２種類の出力信号を用
いて、参照ベクトルμ(ｉ)に対する最大誤差Ｅｍａｘ＝ｍａｘ｛｜ｙ'（μ(ｉ)，ｉ）−ｙ（μ
(ｉ)）｜｝を計算する。この最大誤差Ｅｍａｘと比較し、Ｅｍａｘ＜θの場合処理を終了し、ｊ番目の局所基底出力計算回路を不活性
化状態にとどめるＥｍａｘ≧θの場合ｊ番目の局所基底出力計算回路を再活性化するｊをインクリメントするという処理を行う。

【０１５７】読みだしたｊ番目の局所基底出力計算回路
１０の活性パラメータが０の場合、ｊをインクリメント
する。

【０１５８】ｊ＝Ｎ＋１でない場合、上の処理に戻る。
ｊ＝Ｎ＋１の場合、処理を終了する。

【０１５９】こうして、不必要に冗長な局所基底出力計
算回路１０は不活性化され、次の学習に備えることがで
きるようになる。

【０１６０】なお、閾値θは、差分信号Ｅについて設定
されている閾値θE対し、 θ ＝ θE/2 程度にとるとよい。ただし、閾値θはこれに限る必要は
なく、 θ＜θE であればよい。

【０１６１】局所基底出力計算回路の不活性化が出力信
号ｙに与える影響を抑制する手段として、不活性化され
るａ番目の局所基底出力計算回路１０に対応するａ番目
の局所出力計算回路１３の結合加重ｖ（ａ）が担ってい
た情報を他の局所出力計算回路１３の結合加重に移し替
える方法がある。

【０１６２】具体的には、ｂ番目以外の局所出力計算回
路１３の結合加重ｖ（ｂ）を不活性化する前のａ番目の
局所基底出力計算回路１０の出力を用いて、ｖ（ｂ）＝ｖ（ｂ）＋（ｖ（ａ）−ｖ（ｂ））Ｂ（μ
（ｂ））とすればよい。ここで、Ｂ（μ（ｂ））は、入力信号が
μ（ｂ）であるときの不活性化する前のａ番目の局所基
底出力計算回路１０の出力である。

【０１６３】この結合加重の修正をａ番目の局所基底出
力計算回路１０の不活性化と同時に行うことにより、局
所基底出力計算回路１０の不活性化の出力信号ｙへの影
響を抑制することができる。

【０１６４】

【発明の効果】以上のように本発明は、入力信号ｘを受
けて局所基底出力信号Ｓを計算して出力する局所基底出
力計算回路と、複数の局所基底出力計算回路からの局所
基底出力信号Ｓを受けてその総和をとり総局所基底出力
信号Ｓtotal を出力する加算器と、局所基底出力計算回
路と加算器とから局所基底出力信号Ｓと総局所基底出力
信号Ｓtotal とを受けて規格化局所基底出力信号ｂを出
力する除算器と、除算器からの規格化局所基底出力信号
を受け内部に保持した結合加重ｖとの積を局所出力信号
ｏとして出力する局所出力計算回路と、複数の局所出力
計算回路からの局所出力信号ｏの総和を出力信号ｙとし
て出力する加算器と、教師信号ｚと出力信号ｙとの差分
信号Ｅと除算器からの規格化局所基底出力信号ｂを受け
て対応する局所出力計算回路の結合加重ｖを修正する結
合加重修正回路と、出力信号ｙとの差分信号Ｅと除算器
からの規格化局所基底出力信号ｂを受けて対応する局所
基底出力計算回路の内部パラメータを修正する局所基底
修正回路と、教師信号ｚを受けて局所出力計算回路の結
合加重を設定する結合加重設定回路と、入力信号ｘと規
格化局所基底出力信号ｂと局所出力計算回路の内部パラ
メータに基づいて局所基底出力計算回路の内部パラメー
タを設定する局所基底設定回路とから構成することによ
り、ポテンシャル関数を持ち、目的関数に適した構造を
数１０〜数１００回程度の学習で得ることができ、滑ら
かな関数近似ができる神経回路網模擬装置を実現でき
る。

【０１６５】さらに、目的関数について予めわかってい
る情報が存在する場合は、その情報に基づいて神経回路
網模擬装置の内部パラメータを初期設定することによっ
て、より高速な学習を実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における神経回路網模擬
装置のブロック図

【図２】（ａ）同実施例によって得られた目的関数を近
似するための構造を示す概念図（ｂ）同実施例が学習によって目的関数を近似精度を上
げるようすを示す概念図

【図３】本発明の第２の実施例における神経回路網模擬
装置のブロック図

【図４】本発明の第３の実施例における神経回路網模擬
装置のブロック図

【図５】本発明の第４の実施例における神経回路網模擬
装置のブロック図

【図６】忘却処理回路がない本発明において学習が進む
と、無駄な参照ベクトルが生じることを示す概念図

【図７】本発明の第５の実施例における神経回路網模擬
装置のブロック図

【図８】忘却処理回路の動作を説明するフローチャート

【図９】従来の神経回路網模擬装置のブロック図

【図１０】従来の神経回路網模擬装置の学習の様子を説
明するための概念図

【符号の説明】

１−１〜４距離計算回路２競合回路３出力計算回路４結合加重修正回路５参照ベクトル修正回路１０局所基底出力計算回路１１加算器１２除算器１３局所出力計算回路１４加算器１５結合加重修正回路１６局所基底修正回路１７結合加重設定回路１８局所基底設定回路１９加算器２０結合加重設定制御部２１参照ベクトル信号発生部２２信号記憶部２３結合加重設定部４４学習法切り替え回路４５簡易結合加重修正回路４６簡易局所基底修正回路４７簡易結合加重設定回路４８簡易局所基底設定回路４９学習法選択回路５０忘却処理回路

Claims

【特許請求の範囲】

【請求項１】０でない値を局所的に持つ関数（局所基
底関数）を用いた神経回路網模擬装置であって、少なく
とも局所的に値をもつ関数を新たに設定する局所基底設
定回路と、結合加重を設定する結合加重設定回路を有す
る神経回路網模擬装置。
【請求項２】局所基底関数を用いた神経回路網模擬装
置であって、結合加重が入力信号の関数である神経回路
網模擬装置。
【請求項３】局所基底関数を用いた神経回路網模擬装
置であって、少なくとも局所的に値をもつ関数を新たに
設定する局所基底設定回路と結合加重設定回路を有し、
結合加重が入力信号の関数である神経回路網模擬装置。
【請求項４】結合加重が入力信号の１次式であること
を特徴とする請求項１から３のいずれかに記載の神経回
路網模擬装置。
【請求項５】局所基底関数を用いた神経回路網模擬装
置であって、出力信号が局所基底関数の出力の総和によ
って規格化されていることを特徴とする請求項１から４
のいずれかに記載の神経回路網模擬装置。
【請求項６】入力信号を受け、複数の局所基底関数に
よりそれぞれ局所基底出力信号を出力する局所基底出力
計算回路と、前記複数の局所基底出力信号を受けてその
総和をとり総局所基底出力信号を出力する加算器と、前
記局所基底出力信号と前記総局所基底出力信号とを受け
て規格化局所基底出力信号を出力する除算器と、前記規
格化局所基底出力信号を受け内部に保持した結合加重と
の積を局所出力信号として出力する局所出力計算回路
と、前記局所出力信号の総和を出力信号として出力する
加算器と、教師信号と出力信号との差分信号と除算器か
らの規格化局所基底出力信号を受けて対応する局所出力
計算回路の結合加重を修正する結合加重修正回路と、出
力信号との差分信号と除算器からの規格化局所基底出力
信号を受けて対応する局所基底出力計算回路の内部パラ
メータを修正する局所基底修正回路と、差分信号と出力
信号と教師信号と総局所基底出力信号とを受けて局所出
力計算回路の結合加重を設定する結合加重設定回路と、
入力信号と規格化局所出力信号と局所出力計算回路の内
部パラメータに基づいて局所基底出力計算回路の内部パ
ラメータを設定する局所基底設定回路とからなる神経回
路網模擬装置。
【請求項７】入力信号を受けて局所基底出力信号を計
算して出力する局所基底出力計算回路と、複数の局所基
底出力計算回路からの局所基底出力信号を受けてその総
和をとり総局所基底出力信号を出力する加算器と、局所
基底出力計算回路からの規格化局所基底出力信号を受け
内部に保持した結合加重との積を局所出力信号として出
力する局所出力計算回路と、複数の局所出力計算回路か
らの局所出力信号の総和を非規格化出力信号として出力
する加算器と、加算器と加算器とから非規格化出力信号
と総局所基底出力信号とを受けて出力信号を出力する除
算器と、局所基底出力計算回路と加算器とから局所基底
出力信号と総局所基底出力信号を受けて、規格化局所基
底出力信号を出力する除算器と、差分信号と除算器から
の規格化局所基底出力信号を受けて対応する局所出力計
算回路の結合加重を修正する結合加重修正回路と、出力
信号との差分信号と除算器からの規格化局所基底出力信
号を受けて対応する局所基底出力計算回路の内部パラメ
ータを修正する局所基底修正回路と、差分信号と教師信
号と総局所基底出力信号と出力信号とを受けて局所出力
計算回路の結合加重を設定する結合加重設定回路と、入
力信号と規格化局所基底出力信号と局所出力計算回路の
内部パラメータに基づいて局所基底出力計算回路の内部
パラメータを設定する局所基底設定回路とからなる神経
回路網模擬装置。
【請求項８】結合加重設定回路は、差分信号に基づい
て結合加重設定を制御する結合加重設定制御部と、参照
ベクトルを読みだして入力信号として入力線に出力する
参照ベクトル信号発生部と、入力信号と規格化局所基底
出力信号と教師信号と出力信号を記憶する信号記憶部
と、信号記憶部から必要に応じてデータを読みだして結
合加重を計算し設定する結合加重設定部とからなる請求
項１から７のいずれかに記載の神経回路網模擬装置。
【請求項９】前記局所基底出力計算回路と、総局所基
底出力信号を計算する前記加算器と、前記除算器と、前
記局所出力計算回路と、出力信号を計算する前記加算器
と、教師信号と出力信号の差分をとって得られる差分信
号と局所基底出力計算回路の内部パラメータから学習方
法を切り替える学習法切り替え回路と、入力信号と出力
信号と前記除算器からの規格化局所基底出力信号と前記
学習法切り替え回路からの修正差分信号を受けて前記局
所基底出力計算回路と前記局所出力計算回路から内部パ
ラメータを読みだし前記局所基底出力回路の内部パラメ
ータを修正する簡易局所基底修正回路と、前記除算器か
らの規格化局所基底出力信号と前記学習法切り替え回路
からの修正差分信号を受けて前記局所出力計算回路の内
部パラメータを読みだし前記局所出力計算回路の内部パ
ラメータを修正する簡易結合加重修正回路と、入力信号
と前記除算器からの規格化局所基底出力と前記学習法切
り替え回路からの設定信号を受けて前記局所基底出力計
算回路の内部パラメータを読みだし前記局所基底出力計
算回路の内部パラメータを設定する簡易局所基底設定回
路と、前記加算器からの総局所基底出力信号と出力信号
と教師信号と前記学習法切り替え回路からの設定信号を
受けて前記局所出力計算回路の内部パラメータを設定す
る簡易前記結合加重設定回路とからなる神経回路網模擬
装置。
【請求項１０】忘却処理回路を有することを特徴とす
る請求項１から５、８のいずれかに記載の神経回路網模
擬装置。
【請求項１１】前記局所基底出力計算回路と、総局所
基底出力信号を計算する前記加算器と、前記除算器と、
前記局所出力計算回路と、出力信号を計算する前記加算
器と、前記簡易結合加重修正回路と、前記簡易局所基底
修正回路と、前記簡易前記結合加重設定回路と、前記簡
易局所基底設定回路と、教師信号と出力信号の差分をと
って得られる差分信号と前記局所基底出力計算回路の内
部パラメータから学習方法を選択する学習方法選択回路
と、前記学習方法選択回路からの忘却処理開始信号を受
けて前記局所基底出力計算回路の内部パラメータを読み
だし忘却処理を行う忘却処理回路とからなる神経回路網
模擬装置。
【請求項１２】前記入力信号と前記教師信号の間の関
数関係についてあらかじめ判明している情報に基づい
て、前記局所基底出力計算回路の内部パラメータと前記
局所出力計算回路の結合加重とが初期設定され、前記局
所基底修正回路と前記結合加重修正回路により、また
は、前記簡易局所基底修正回路と前記簡易結合加重修正
回路により、前記局所基底出力計算回路の内部パラメー
タと前記局所出力計算回路の結合加重とを修正すること
を特徴とした請求項６、７、９、１１のいずれかに記載
の神経回路網模擬装置。