JPH02222061A - 学習機械 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は学習機械に間するものである。

従来の技術 従来の学習機械としては、例えばテーイイールンメルハ
料（Ｄ、Ｅ、Ｒｕｗ＋ｇｗｅｌｈａｒｔ）らによる”ラ
ーニシク゛レフ０１セ゛ンテイシ］シ八−イ　ハーツク
フ００１１°ヶ′イティンク′エラー（Ｌｅａｒｎｉｎ
ｇ　　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　　ｂｙ　　ｂ
ａｃｋ−ｐｒｏｐａｇａｔｉｎｇ　　ｅｒｒｏｒｓ）”
、　ネイチ＋−（Ｎａｔｕｒｅ）　Ｖｏｌ、３２３　Ｎ
ｏ、９（１９８６）に示されている。

第９図はこの従来の学習機械の構成図を示すものであり
、５１．５２は入力端子、５３、ヌ、５５、団、訂、５
８は可変重み乗算器、５９、印、６１は飽和入出力特性
を持つ加算器、６２は出力端子、６３は教師信号発生部
、６４は誤差算出部、６５は探索方向決定部、６６は重
み変更部である。第９図に示されるように、従来の学習
機械は飽和入出力特性を持つ加算器を階層状に接続し、
各層の加算器の間に可変重み乗算器を接続した構成とな
っている。

以上のように構成された従来の学習機械における加算器
別、６０及び６１の入出力特性を第１０図に示す、第１
Ｏ図に示されるように加算器５９．６０及び６１の入出
力特性は飽和特性を持つ。即ち、加算器の入出力特性は ｏｕｔｐｕｔ［ｊｌ　＝　ｆｕｎｃ　（Σ１ｎｐｕｔ［
ｉｌ）　”（１）で表わすことができる。ここで、ｏｕ
ｔｐｕｔ［ｊｌは第ｊ番目の加算器の出力信号、１ｎｐ
ｕｔ［ｉｌは第ｊ番目の加算器に入力される第ｉ番目の
入力信号、ｆｕｎｃＯは飽和特性を持つ間数でシグモイ
ド間数ｆｕｒｌｃ（ｘ）　＝２　／　（１＋　ｅｘｐ（
−ｘ）　）　−１等で表される。

第９図に示されるように、加算器に入力される信号は、
前段の加算器の出力信号に重みを掛けたものになってい
る。即ち、 １ｎｐｕｔ［ｉｌ　＝讐［Ｌ　Ｊ］ネｘ［ｉｌ・・・・
（２）ここに、ｘ［：ｉｌは前段の第ｉ番目の加算器の
出力信号であり、％’［Ｌ　Ｊｌは前段の第ｉ番目の加
算器の出力信号が第３番目の加算器に入力されるときに
可変重み乗算器で掛けられる重みである。

従来の学習機械では、入力端子５１及び５２から入力さ
れる信号に応じて、教師信号発生部６３が前記入力信号
に対する望ましい出力信号を教師信号として発生し、誤
差算出部６４は出力端子６２から出力される実際の出力
信号と前記教師信号との差から誤差Ｅを算出する。誤差
Ｅは Ｅ＝０．５零ｉｉ　（ｚ［ｋｌ　−ｔ［ｋｌ）　”＝Ｅ
（ｗ）・・・・（３） で表される。ここに、２［ｋｌは出力層の第に番目の加
算器の出力信号、ｔ［ｋｌは２［ｋｌに対する教師信号
、ｉは教師信号のパターン数に間する総和、ンは出力層
の加算器の数に関する総和、Ｗは前記可変重み乗算器の
重みのベクトル表現である。探索方向決定部６５は重み
をベクトルで表現する重み空閏における誤差の最小点探
索方向を求める。探索方向は、最急降下方向であり、 で求まる。このようにして求まった探索方向をもとに、
重み変更部６６は、各可変重み乗算器５３．５４．５５
、団、５７．５８の重みの変更量を求め、重みを変更す
る０重みの変更量の求め方は、最急降下法及び加速法に
よるもので、 習パラメータと呼ばれる正の定数、αは加速パラメータ
と呼ばれる正の定数、ΔＷ”は前回の重み変更における
ΔＷである。以上のように重みの変更量を求めることの
繰り返しにより、誤差を小さくしてゆき、誤差が十分に
小さくなると、出力信号が望ましい値に十分近くなった
ものとして、学習を終了する。

発明が解決しようとする課題 しかしながら上記のような構成では、学習パラメータε
及び加速パラメータαは経験的に定められているので、
それらは必ずしも最適値ではなく、学習に要する時間が
長くなるという課題を有していた。

本発明はかかる点に鑑み、学習に要する時間の短い学習
機械を提供することを目的とする。

課題を解決するための手段 本発明は、可変重み乗算器の重・みをベクトルで表現す
る重み空間における誤差の最小点探索方向を決定する探
索方向決定部と、誤差の最小点探索方向において学習パ
ラメータの値を次第に増加または減少させて誤差を求め
る学習パラメータ変化部と、誤差の最小点の近傍におけ
る誤差曲面を放物面で近似してその頂点における誤差を
求める放物面近似部と、それら誤差が最小となる点にお
ける学習パラメータを学習パラメータの最適値として各
可変重み乗算器の重みを変更する重み変更部と、前回の
誤差の最小点探索における学習パラメータの最適値を今
回の誤差の最小点探索における学習パラメータの初期値
に反映させる学習パラメータ初期化部と、前記探索方向
決定部と前記学習パラメータ初期化部と前記学習パラメ
ータ変化部と前記放物面近似部と前記重み変更部とを繰
り返し用いてと差を十分に小さくする誤差最小化回路と
を備えた学習機械である。

作用 本発明は前記した構成により、探索方向決定部で重み空
間において誤差が最小となる点の探索方向を決定した後
、学習パラメータ変化部で前記探索方向における誤差の
最小点の近傍の学習パラメータを求め、放物面近似部に
おいて誤差の最小点の近傍を放物面近似してその頂点に
おける誤差を求め、それら誤差が最小となる点を前記探
索方向における誤差最小の点として、その点における学
習パラメータを用いて重み変更部で各可変重み乗算器の
重みを変更する。次に、探索方向決定部で前記誤差最小
の点において新たに誤差最小の点の探索方向を求め、学
習パラメータ初期化部で前回の最小点探索における学習
パラメータの最適値を反映させて学習パラメータの初期
値を設定し、以下前回の誤差の最小点探索と同様に今回
の探索方向における誤差の最小点を求め重みを変更し、
誤差最小化回路によって誤差が十分に小さくなるまで誤
差最小点の探索を繰り返す。以上により、誤差の最小点
探索方向が決まるとその方向において最適な学習パラメ
ータが自動的に求まり、前回の探索における学習パラメ
ータの最適値を今回の探索の初期値に反映させることに
よって、常に最適の学習パラメータを効率良く求めなが
ら誤差を小さくして学習を進めるために、短い学習時間
で誤差が十分に小さくなり、学習を終了することができ
る。

実施例 以下に、本発明の実施例について図面を参照しながら説
明する。

第１図は本発明の第１の実施例における学習機械の構成
図を示すものである。第１図において、■及び２は入力
端子、３．４．５．６．７及び８は可変重み乗算器、９
．１０及び１１は飽和入出力特性をもつ加算器、１２は
出力端子、１３は出力信号算出回路、１４は教師信号発
生部、１５は誤差算出部、Ｉ６は探索方向決定部、１７
は学習パラメータ初期化部、１８は学習パラメータ変化
部、１９は放物面近似部、２０は重み変更部、２１は誤
差最小化回路である。

第２図に可変重み乗算器の重みをベクトルで表す重み空
間における誤差曲面の等高線図を示す。

第２図において、ＷＥ！ｓ、ｊ＋］及びｗ［＋ｐｔ　Ｊ
２］は可変重み乗算器３．４．５．６．７及び８のうち
任意の２つの可変重み乗算器の重みである。本実施例の
学習機械の学習においては、第２図に示される誤差曲面
の出発点で表される可変重み乗算器の重みの初期値から
始めて、誤差曲面上を誤差の小さく触る方向に最小点探
索を繰り返し、誤差の大局的最小点に達することが目的
となる。可変重み乗算器３．４．５．６．７及び８は入
力信号に対して重みを掛けて出力する。加算器９．１０
及び１１は（１）式で表される飽和入出力特性を持つ、
出力信号算出回路１３は入力端子１及び２から入力され
る人力信号の乗算及び加算によって出力信号を求める。

教師信号発生部１４は人力信号に対して望ましい出力信
号を教師信号として発生し、誤差算出部１５は端子！２
から出力される実際の出力信号と前記教師信号とから（
３）式にしたがって誤差の最初の値を求める。探索方向
決定部１６は可変重み乗算器の重みをベクトルで表す重
み空間における誤差の最小点探索方向を決定する。探索
方向は出発点における最急降下方向ｇ即ち（４）式で求
められる。第３図に本実施例の初回の最小点探索におけ
る誤差最小化回路の動作説明図を示す。第３図に示す出
発点及びＰＩは第２図の出発点及びＰｉに一致しており
、第３図は第２図に示されている誤差曲面の出発点とＰ
Ｉとを結ぶ直線による断面の誤差曲線を示す。学習パラ
メータ初期化部１７は、学習パラメータの初期値を、初
回の最小点探索ではεθとし、２回目以後の最小点探索
では前回の重み変更に用いた学習パラメータの値もしく
はε６のうち大きい方の値に決定し、前記学習パラメー
タの初期値に対する誤差を求める。ここにεｅは正の定
数である。第３図に示す初回の最小点探索では、学習パ
ラメータの初期値はεＢとなる。学習パラメータ変化部
１８では、学習パラメータの初期値に対する誤差が、前
記誤差の最初の値より小さくなったときには、学習パラ
メータεの値を２倍にして誤差の値を求めるという動作
を誤差の値が増加に転するまで繰り返す。

即ち、 ε　ｋ　　＝　　ε　ｋ−１ネ　　２・・・・（６）と
して誤差を Ｅｈ　　　＝　　Ｅ（ｗ　　　＋　　　ｔ　　ｋ　　＊
　　　ｇ）・・・（７）として求める。第３図に示す初
回の最小点探索ではＥｓ　＜Ｅｏｒｇなので学習パラメ
ータεの値を２倍にしていき、Ｅｏｒｏ　＞ＥＩＩ＞Ｅ
ｌ　＞　Ｅ２　（Ｅｓとなるため、学習パラメータ変化
部１８はＥｓまで求める。なお学習パラメータの初期値
に対する誤差が、前記誤差の最初の値より増加したとき
には、学習パラメータ変化部１８は学習パラメータの値
を１／２倍して誤差を求めるという動作を、誤差が前記
誤差の最初の値より小さくなるまで繰り返す。即ち、ε
に：εｂ−＋　／　２・・・◆（８）として誤差を（７
）式で求める。放物面近似部１９は、誤差最小点の近傍
を放物面で近似するもので、第３図において重み空間内
で重みの値が等間隔に変化する点での誤差を求めるため
に、まずε２．５　”　（ε２＋ε３）／２ における誤差 を求める。第３図においてはＥ２．Ｓ　＜　Ｅ２　＜　
Ｅｓ　＜　Ｅｌなので、Ｅ２　＊　Ｅ２　、　ｓ　、　
Ｅｓの３点を通る放物面で、誤差最小の点の近傍の誤差
曲面を近似し、その頂点における誤差を求める。即ち、 Ｅｖ　＝　Ｅ（ｗ＋εｖ＊ｇ）・・・・（９）ただし 重み変更部２０では、以上のようにして求まった誤差の
うちで最も小さい誤差に対する学習パラメータを用いて
、各可変重み乗算器の重みを変更する。

第３図ではＥＩＩ　Ｅ２．　Ｅ２．Ｓ、　Ｅ３ｔ　Ｅｖ
のうちで最も小さい誤差であるＥｓに対応する学習パラ
メータε３をこの探索方向における学習パラメータの最
適値として、ε３を用いて各可変重み乗算器の重みを変
更する。

変更された重みについて、出力信号算出回路１３は出力
信号を算出し、教師信号発生部１４が出力する教師信号
と出力信号との差をもとに誤差算出部１５は（３）式で
与えられる誤差を算出する。初回の最小点探索の時と同
様にして、探索方向決定部１６は重み空間における誤差
の最小点探索方向をＰＩにおける最急降下方向に決定す
る。第４図に本実施例の２回目の最小点探索における誤
差最小化回路の動作説明図を示す。第４図に示すＰｌ及
びＰｌは第２図のＰｌ及びＰｌに一致しており、第４図
は第２図の誤差曲面のｐｔとＰｌとを結ぶ直線による断
面の誤差曲線を示す、学習パラメータ初期化部１７は、
学習パラメータの初期値を、初回の最小点探索ではεＢ
とし、２回目以後の最小点探索では前回の重み変更に用
いた学習パラメータの値もしくはε８のうち大きい方の
値に決定し、前記学習パラメータの初期値に対する誤差
を求める。即ち、前回の学習パラメータの最適値がεＢ
よりも大きいときには前回の学習パラメータの最適値が
学習バラメ−タの初期値となり、前回の学習パラメータ
の最適値がεＢよりも小さいときにはε８が学習パラメ
ータの初期値となる。これは前回の学習パラメータの最
適値を今回の探索における学習パラメータの初期値とす
ることにより今回の探索に最適な学習パラメータの設定
を効率良く行えるとともに、前回の学習パラメータの最
適値が小さくて、それを今回の最小点探索の学習パラメ
ータの初期値として用いると、誤差曲面の局所的最小点
から抜けられなくなることを防いでいる。第４図では、
前回の学習パラメータの最適値ε３がε８より大きいの
で、ε３を学習パラメータの初期値とする。

第４図において、学習パラメータの初期値ε３に対する
誤差Ｅ３は誤差の最初の値Ｅｓより小さいので、学習パ
ラメータ変化部１８は学習パラメータεの値を２倍にし
て誤差の値を求めるという動作を誤差の値が増加に転す
るまで繰り返す。第４図では、Ｅｓ　＞　Ｅ３　＜　Ｅ
ａとなるので、Ｅａまで求める。放物面近似部１９は誤
差最小点の近傍を放物面で近似する。

第４図では、重み空間内で重みの値が学習パラメータの
値０．ε３．ε４で等間隔に変化しているので、これら
の点における誤差から誤差曲面を放物面近似して、その
頂点における誤差を（９）式で求める。ただし、 である。重み変更部２０は、以上のようにして求まった
誤差Ｅ３．　Ｅａ、　Ｅｖのうちで最も小さい誤差Ｅｖ
に対する学習パラメータε９を２回目の探索の学習パラ
メータの最適値とし、それを用いて各可変重み乗算器の
重みを変更する。以下、誤差最小化回路２１は、教師信
号発生部１４と誤差算出部１５と探索方向決定部１６と
学習パラメータ初期化部１７と学習パラメータ変化部１
８と放物面近似部１９と重み変更部２０とを繰り返し用
いて誤差を小さくする。この繰り返しを誤差が十分小さ
くなるまで行い、学習を終了する。

以上のように本実施例によれば、学習パラメータ初期化
部１７、学習パラメータ変化部１８及び放物面近似部１
９を設けることによって、誤差の最小点探索方向におけ
る学習パラメータの最適値を常に効率良く求めながら可
変重み乗算器の重みを変更していくので、誤差の最小化
を効率良く行うことができ、学習時間を短縮できる。

なお、本実施例において、探索方向決定部１６は誤差の
最小点探索の方向を最急降下方向に決定したが、最小点
探索の方向を共役勾配方向にしてもよい。共役勾配方向
は、 ｐ　＝ｇ＋β＊ｐ゛・・・・（１２） で与えられる。ただし、ｇは最急降下方向でありであり
、ｐ′は前回の最小点探索における共役勾配方向、ｇ′
は前回の最小点探索における最急降下方向である。この
場合も初回の最小点探索方向は、最急降下方向に決定す
る。以上のように第１の実施例では、探索方向決定部１
６が誤差の最小点探索の方向を、最急降下の方向として
も、共役勾配の方向としても同様の効果が得られる。

第５図は、本発明の第２の実施例の構成図である。第５
図において、２２は最急降下方向決定部、２３は学習パ
ラメータ最大値制限部、２４は誤差最小化回路である。

本実施例においては、最急降下方向決定部２２は誤差の
最小点探索方向を（４）式で表される最急降下方向に決
定する。学習のパラメータ初期化部１７は、第１の実施
例と同様にして、学習パラメータの初期値を、初回の最
小点探索では８日とし、２回目以後の最小点探索では前
回の最小点探索における学習パラメータの最適値もしく
はεθのうち大きい方の値に決定し、前記学習パラメー
タの初期値に対する誤差を求める。学習パラメータ変化
部１８では、学習パラメータの初期値に対する誤差が誤
差の最初の値よりも小さいときには、学習パラメータε
の値を２倍にして誤差の値を求めるという動作を誤差の
値が増加に転するまで繰り返すか、または学習パラメー
タの初期値に対する誤差が誤差の最初の値よりも増加し
たときには、学習パラメータεの値を　１／２倍にして
誤差の値を求めるという動作を誤差の値が誤差の最初の
値より小さくなるまで繰り返す。ただし、本実施例では
、学習パラメータεの値が適当な正の定数εｓａｗを越
えても誤差が増加に転じないときには、その時点の学習
パラメータの値で各可変型み乗算器の重みを変更する。

学習パラメータεの値がε、□を越えない範囲で誤差が
増加に転じた場合には、放物面近似部１９及び重み変更
部２０の動作は第１の実施例と同様である。本実施例で
は、誤差の最小点探索において、探索方向を最急降下方
向に決め、学習パラメータεの値が正の定数ε□８を越
えない範囲で学習パラメータを変化させる点で第１の実
施例と異なっている。第６図は本発明の第２の実施例の
効果の説明図である。第１の実施例によると、第６図に
おいて、初回の最小点探索において、出発点の最急降下
方向をもとにその探索方向における誤差最小の点を求め
ていたので、初回の最小点探索がＰｌ′で終了し、２回
目の最小点探索がＰ２’で終了し、結局局所的最小点に
陥ってしまう。本実施例によれば、学習パラメータεの
値が正の定数ε１１．ｘを越えない範囲で学習パラメー
タを変化させるので、初回の最小点探索は学習パラメー
タの最大値ε□８に対応する点Ｐ１で終了し、２回目の
最小点探索ではＰＬにおける最急降下方向をもとに最小
点探索方向を決定し、２回目の最小点探索は学習パラメ
ータの最大値ε、□に対応する点Ｐ２で終了する。同様
に３回目の最小点探索はＰ３で終了し、４回目の最小点
探索はＰ４で終了し、結局大局的最小点にたどり着くこ
とができる。以上のように、本実施例では、学習パラメ
ータの最大値を制限することによって、局所的最小点に
陥ることを防ぐことができる。

第７図は本発明の第３の実施例の構成図である。

第７図において、２５は探索方向決定部、２６は最急降
下方向決定部、２７は誤差最小化回路である。本実施例
においては、探索方向決定部２５は誤差の最小点探索方
向を初回の探索では（４）式で表される最急降下方向に
決定し、２回目以後の探索では（ｌコ）式で表される共
役勾配方向に決定する。学習のパラメータ初期化部１７
は、第１及び第２の実施例と同様にして、学習パラメー
タの初期値を、初回の最小点探索ではε日とし、２回目
以後の最小点探索では前回の最小点探索における学習パ
ラメータの最適値もしくはε８のうち大きい方の値に決
定し、前記学習パラメータの初期値に対する誤差を求め
る。学習パラメータ変化部１８では、学習パラメータの
初期値に対する誤差が誤差の最初の値よりも小さいとき
には、学習パラメータεの値を２倍にして誤差の値を求
めるという動作を誤差の値が増加に転するまで繰り返す
か、または学習パラメータの初期値に対する誤差が誤差
の最初の値よりも増加したときには、学習パラメータε
の値を１／２倍にして誤差の値を求めるという動作を誤
差の値が誤差の最初の値より小さくなるまで繰り返す。

ただし、本実施例では、学習パラメータεの値を、適当
な正の定数ε１ｎより小さくしても誤差の値が誤差の最
初の値よりも小さくならないときには、最小点探索方向
を共役勾配方向から最急降下方向に切り替える。放物面
近似部１９及び重み変更部２０の動作は第１の実施例と
同様である。

本実施例では、２回目以後の誤差の最小点探索において
、探索方向を共役勾配方向に決め、学習パラメータεの
値が正の定数ε１ｎより小さくならない範囲で学習パラ
メータを変化させる点で第１の実施例と異なっている。

第８図は本発明の第３の実施例の効果の説明図である。

第１の実施例によると、第８図において、初回の最小点
探索において、出発点の最急降下方向をもとにその探索
方向における誤差最小の点を求めて、初回の最小点探索
がＰＩで終了し、２回目の最小点探索はＰｉにおける共
役勾配方向を探索方向としてその方向で誤差が最小とな
る点を求めていたので、２回目の探索はＰ２’で終了し
ていた。本実施例によれば、学習パラメータεの値が正
の定数ε１．、ｌより小さくならない範囲で学習パラメ
ータを変化させるので、２回目の最小点探索において学
習パラメータεの値をε□。より小さくしても誤差が誤
差の最初の値より小さくならない場合には、共役勾配方
向の探索を打ち切り、探索方向を最急降下方向に切り替
え、２回目の最小点探索はＰ２で終了する。以１のよう
に、本実施例では、共役勾配方向に対する学習パラメー
タの値の最小値を制限し、それより小さくなるときには
探索方向を最急降下方向に切り替えることにより、大局
的最小点に効率良くたどり着くことができる。

発明の詳細 な説明したように、本発明によれば、誤差の最小点探索
方向における学習パラメータの最適値を常に効率良く求
めながら可変重み乗算器の重みを変更していくので、誤
差の最小化を効率良く行うことができ、学習機械の学習
に要する時閉を短縮でき、その実用的効果は大きい。

【図面の簡単な説明】

第１図は本発明における第１の実施例の学習機械のブロ
ック図、第２図は重み空間における誤差曲面の等高線図
、第３図は同実施例の初回の最小点探索における誤差最
小化回路の動作説明図、第４図は同実施例の初回の最小
点探索における誤差最小化回路の動作説明図、第５図は
本発明の第２の実施例の学習機械のブロック図、第６図
は同実施例の効果の説明図、第７図は本発明の第３の実
施例の学習機械のブロック図、第８図は同実施例の効果
の説明図、第９図は従来の学習機械のブロック図、第１
Ｏ図は加算器の入出力特性図である。 ３．４．５．６．７．８・・・・可変重み乗算器、９．
１Ｏ１１１・・・・加算器、】４・・・・教師信号発生
部、Ｉ５・・・・誤差算出部、１６．２５・・・・探索
方向決定部、１７・・・・学習パラメータ初期化部、１
８・・・・学習パラメータ変化部、１９・・・・放物面
近似部、２０・・・・重み変更部、ｎ、２６・・・・最
急降下方向決定部、２３・・・・学習パラメータ最大値
制限部。 代理人の氏名　弁理士　粟野重孝はか１名１図 第３図 ２図 第４図 ＩＭＥ　Ｌ（ｒ　Ｊ　１１ ＴＱ／ｉ″ζＶ“ｔ 第 図 第 図 第 図 第 図

Claims (3)

【特許請求の範囲】
1. （１）飽和入出力特性を持つ多入力一出力の加算器を各
   層の前記加算器が次段の層の前記加算器と可変重み乗算
   器を介して階層状に接続した出力信号算出回路と、入力
   信号が入るたびに出力層の前記加算器の出力信号の望ま
   しい値として教師信号を与える教師信号発生部と、出力
   信号と前記教師信号との誤差を求める誤差算出部と、前
   記可変重み乗算器の重みをベクトルで表現する重み空間
   における前記誤差の最小点探索方向を決定する探索方向
   決定部と、前記誤差の最小点探索方向において学習パラ
   メータの値を次第に増加または減少させて前記誤差を求
   める学習パラメータ変化部と、前記誤差の最小点の近傍
   における誤差曲面を放物面で近似してその頂点における
   誤差を求める放物面近似部と、それら誤差が最小となる
   点における学習パラメータを学習パラメータの最適値と
   して各可変重み乗算器の重みを変更する重み変更部と、
   前回の前記誤差の最小点探索における学習パラメータの
   最適値を今回の前記誤差の最小点探索における学習パラ
   メータの初期値に反映させる学習パラメータ初期化部と
   、前記教師信号発生部と前記誤差算出部と前記探索方向
   決定部と前記学習パラメータ初期化部と前記学習パラメ
   ータ変化部と前記放物面近似部と前記重み変更部とを繰
   り返し用いて前記誤差を十分に小さくする誤差最小化回
   路とを備えたことを特徴とする学習機械。
2. （２）可変重み乗算器の重みをベクトルで表現する重み
   空間における前記誤差の最小点探索方向を最急降下方向
   に決定する最急降下方向決定部と、学習パラメータの最
   大値を制限する学習パラメータ最大値制限部とを備えた
   ことを特徴とする請求項１記載の学習機械。
3. （３）可変重み乗算器の重みをベクトルで表現する重み
   空間における前記誤差の最小点探索方向を共役勾配方向
   に決定する共役勾配方向決定部と、学習パラメータをあ
   る値より小さくしても誤差が減少しないときには最急降
   下方向を前記誤差の最小点探索の方向とする探索方向変
   更部とを備えたことを特徴とする請求項１記載の学習機
   械。