JPH0736184B2 - 学習機械 - Google Patents
学習機械Info
- Publication number
- JPH0736184B2 JPH0736184B2 JP1043730A JP4373089A JPH0736184B2 JP H0736184 B2 JPH0736184 B2 JP H0736184B2 JP 1043730 A JP1043730 A JP 1043730A JP 4373089 A JP4373089 A JP 4373089A JP H0736184 B2 JPH0736184 B2 JP H0736184B2
- Authority
- JP
- Japan
- Prior art keywords
- error
- weight
- learning parameter
- value
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Feedback Control In General (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は学習機械に関するものである。
従来の技術 従来の学習機械としては、例えばディイールンメルハル
ト（D..E.Rummelhart）らによる“ラーニングレプレゼ
ンテイション バイ バックプロパゲイティングエラー
（Learning representations by back-propagating err
ors）",ネイチャー（Nature）Vol.323 No.9（1986）に
示されている。
ト（D..E.Rummelhart）らによる“ラーニングレプレゼ
ンテイション バイ バックプロパゲイティングエラー
（Learning representations by back-propagating err
ors）",ネイチャー（Nature）Vol.323 No.9（1986）に
示されている。
第９図はこの従来の学習機械の構成図を示すものであ
り、51、52は入力端子、53、54、55、56、57、58は可変
重み乗算器、59、60、61は飽和入出力特性を持つ加算
器、62は出力端子、63は教師信号発生部、64は誤差算出
部、65は探索方向決定部、66は重み変更部である。第９
図に示されるように、従来の学習機械は飽和入出力特性
を持つ加算器を階層状に接続し、各層の加算器の間に可
変重み乗算器を接続した構成となっている。
り、51、52は入力端子、53、54、55、56、57、58は可変
重み乗算器、59、60、61は飽和入出力特性を持つ加算
器、62は出力端子、63は教師信号発生部、64は誤差算出
部、65は探索方向決定部、66は重み変更部である。第９
図に示されるように、従来の学習機械は飽和入出力特性
を持つ加算器を階層状に接続し、各層の加算器の間に可
変重み乗算器を接続した構成となっている。
以上のように構成された従来の学習機械における加算器
59、60及び61の入出力特性を第10図に示す。第10図に示
されるように加算器59、60及び61の入出力特性は飽和特
性を持つ。即ち、加算器の入出力特性は で表わすことができる。ここで、output［ｊ］は第ｊ番
目の加算器の出力信号、input［ｉ］は第ｊ番目の加算
器に入力される第ｉ番目の入力信号、func（）は飽和特
性を持つ関数でシグモイド関数func（ｘ）＝2/（１＋ex
p（−ｘ））−１等で表される。
59、60及び61の入出力特性を第10図に示す。第10図に示
されるように加算器59、60及び61の入出力特性は飽和特
性を持つ。即ち、加算器の入出力特性は で表わすことができる。ここで、output［ｊ］は第ｊ番
目の加算器の出力信号、input［ｉ］は第ｊ番目の加算
器に入力される第ｉ番目の入力信号、func（）は飽和特
性を持つ関数でシグモイド関数func（ｘ）＝2/（１＋ex
p（−ｘ））−１等で表される。
第９図に示されるように、加算器に入力される信号は、
前段の加算器の出力信号に重みを掛けたものになってい
る。即ち、 input［ｉ］＝ｗ［i,j］＊ｘ［ｉ］ ……（２） ここに、ｘ［ｉ］は前段の第ｉ番目の加算器の出力信号
であり、ｗ［i,j］は前段の第ｉ番目の加算器の出力信
号が第ｊ番目の加算器に入力されるときに可変重み乗算
器で掛けられる重みである。
前段の加算器の出力信号に重みを掛けたものになってい
る。即ち、 input［ｉ］＝ｗ［i,j］＊ｘ［ｉ］ ……（２） ここに、ｘ［ｉ］は前段の第ｉ番目の加算器の出力信号
であり、ｗ［i,j］は前段の第ｉ番目の加算器の出力信
号が第ｊ番目の加算器に入力されるときに可変重み乗算
器で掛けられる重みである。
従来の学習機械では、入力端子51及び52から入力される
信号に応じて、教師信号発生部63が前記入力信号に対す
る望ましい出力信号を教師信号として発生し、誤差算出
部64は出力端子62から出力される実際の出力信号と前記
教師信号との差から誤差Ｅを算出する。誤差Ｅは で表される。ここに、ｚ［ｋ］は出力層の第ｋ番目の加
算器の出力信号、ｔ［ｋ］はｚ［ｋ］に対する教師信
号、 は教師信号のパターン数に関する総和、 は出力層の加算器の数に関する総和、は前記可変重み
乗算器の重みのベクトル表現である。探索方向決定部65
は重みをベクトルで表現する重み空間における誤差の最
小点探索方向を求める。探索方向は、最急降下方向であ
り、 で求まる。このようにして求まった探索方向をもとに、
重み変更部66は、各可変重み乗算器53、54、55、56、5
7、58の重みの変更量を求め、重みを変更する。重みの
変更量の求め方は、最急降下法及び加速法によるもの
で、 Δ＝ε＊＋α＊Δ′ …（５） で表される。ここに、Δはの変更量、εは学習パラ
メータと呼ばれる正の定数、αは加速パラメータと呼ば
れる正の定数、Δ′は前回の重み変更におけるΔで
ある。以上のように重みの変更量を求めることの繰り返
しにより、誤差を小さくしてゆき、誤差が十分に小さく
なると、出力信号が望ましい値に十分近くなったものと
して、学習を終了する。
信号に応じて、教師信号発生部63が前記入力信号に対す
る望ましい出力信号を教師信号として発生し、誤差算出
部64は出力端子62から出力される実際の出力信号と前記
教師信号との差から誤差Ｅを算出する。誤差Ｅは で表される。ここに、ｚ［ｋ］は出力層の第ｋ番目の加
算器の出力信号、ｔ［ｋ］はｚ［ｋ］に対する教師信
号、 は教師信号のパターン数に関する総和、 は出力層の加算器の数に関する総和、は前記可変重み
乗算器の重みのベクトル表現である。探索方向決定部65
は重みをベクトルで表現する重み空間における誤差の最
小点探索方向を求める。探索方向は、最急降下方向であ
り、 で求まる。このようにして求まった探索方向をもとに、
重み変更部66は、各可変重み乗算器53、54、55、56、5
7、58の重みの変更量を求め、重みを変更する。重みの
変更量の求め方は、最急降下法及び加速法によるもの
で、 Δ＝ε＊＋α＊Δ′ …（５） で表される。ここに、Δはの変更量、εは学習パラ
メータと呼ばれる正の定数、αは加速パラメータと呼ば
れる正の定数、Δ′は前回の重み変更におけるΔで
ある。以上のように重みの変更量を求めることの繰り返
しにより、誤差を小さくしてゆき、誤差が十分に小さく
なると、出力信号が望ましい値に十分近くなったものと
して、学習を終了する。
発明が解決しようとする課題 しかしながら上記のような構成では、学習パラメータε
及び加速パラメータαは経験的に定められているので、
それらは必ずしも最適値ではなく、学習に要する時間が
長くなるという課題を有していた。
及び加速パラメータαは経験的に定められているので、
それらは必ずしも最適値ではなく、学習に要する時間が
長くなるという課題を有していた。
本発明はかかる点に鑑み、学習に要する時間の短い学習
機械を提供することを目的とする。
機械を提供することを目的とする。
課題を解決するための手段 本発明は、可変重み乗算器で乗算するそれぞれの重み
（w1，w2，……）を座標軸とし、重みをベクトル（＝
（w1，w2，……））で表現する仮想的な重み空間におい
て、最急降下法などに基づいて、前記誤差の最小点探索
方向 を決定する探索方向決定部と、誤差の最小点探索方向に
おいて学習パラメータ（ε）の値をε０に設定したとき
の重み（′＝＋ε０）に対する誤差が、重みに
対する誤差よりも減少すれば学習パラメータを増加さ
せ、重みに対する誤差よりも増加すれば学習パラメー
タを減少させて、誤差が最小となる近傍の学習パラメー
タおよび誤差を求める学習パラメータ変化部と、誤差の
最小点の近傍において、重みの変化に対する誤差の変化
を表す誤差曲面を放物面で近似してその頂点における誤
差を求める放物面近似部と、それら誤差が最小となる点
における学習パラメータを学習パラメータの最適値とし
て各可変重み乗算器の重みを変更する重み変更部と、前
回の誤差の最小点探索における学習パラメータの最適値
を今回の誤差の最小点探索における学習パラメータの初
期値に反映させる学習パラメータ初期化部と、前記探索
方向決定部と前記学習パラメータ初期化部と前記学習パ
ラメータ変化部と前記放物面近似部と前記重み変更部と
を繰り返し用いて誤差を十分に小さくする誤差最小化回
路とを備えた学習機械である。
（w1，w2，……）を座標軸とし、重みをベクトル（＝
（w1，w2，……））で表現する仮想的な重み空間におい
て、最急降下法などに基づいて、前記誤差の最小点探索
方向 を決定する探索方向決定部と、誤差の最小点探索方向に
おいて学習パラメータ（ε）の値をε０に設定したとき
の重み（′＝＋ε０）に対する誤差が、重みに
対する誤差よりも減少すれば学習パラメータを増加さ
せ、重みに対する誤差よりも増加すれば学習パラメー
タを減少させて、誤差が最小となる近傍の学習パラメー
タおよび誤差を求める学習パラメータ変化部と、誤差の
最小点の近傍において、重みの変化に対する誤差の変化
を表す誤差曲面を放物面で近似してその頂点における誤
差を求める放物面近似部と、それら誤差が最小となる点
における学習パラメータを学習パラメータの最適値とし
て各可変重み乗算器の重みを変更する重み変更部と、前
回の誤差の最小点探索における学習パラメータの最適値
を今回の誤差の最小点探索における学習パラメータの初
期値に反映させる学習パラメータ初期化部と、前記探索
方向決定部と前記学習パラメータ初期化部と前記学習パ
ラメータ変化部と前記放物面近似部と前記重み変更部と
を繰り返し用いて誤差を十分に小さくする誤差最小化回
路とを備えた学習機械である。
作用 本発明は前記した構成により、探索方向決定部で重み空
間において誤差が最小となる点の探索方向を決定した
後、学習パラメータ変化部で前記探索方向における誤差
の最小点の近傍の学習パラメータを求め、放物面近似部
において誤差の最小点の近傍を放物面近似してその頂点
における誤差を求め、それら誤差が最小となる点を前記
探索方向における誤差最小の点として、その点における
学習パラメータを用いて重み変更部で各可変重み乗算器
の重みを変更する。次に、探索方向決定部で前記誤差最
小の点において新たに誤差最小の点の探索方向を求め、
学習パラメータ初期化部で前回の最小点探索における学
習パラメータの最適値を反映させて学習パラメータの初
期値を設定し、以下前回の誤差の最小点探索と同様に今
回の探索方向における誤差の最小点を求め重みを変更
し、誤差最小化回路によって誤差が十分に小さくなるま
で誤差最小点の探索を繰り返す。以上により、誤差の最
小点探索方向が決まるとその方向において最適な学習パ
ラメータが自動的に求まり、前回の探索における学習パ
ラメータの最適値を今回の探索の初期値に反映させるこ
とによって、常に最適の学習パラメータを効率良く求め
ながら誤差を小さくして学習を進めるために、短い学習
時間で誤差が十分に小さくなり、学習を終了することが
できる。
間において誤差が最小となる点の探索方向を決定した
後、学習パラメータ変化部で前記探索方向における誤差
の最小点の近傍の学習パラメータを求め、放物面近似部
において誤差の最小点の近傍を放物面近似してその頂点
における誤差を求め、それら誤差が最小となる点を前記
探索方向における誤差最小の点として、その点における
学習パラメータを用いて重み変更部で各可変重み乗算器
の重みを変更する。次に、探索方向決定部で前記誤差最
小の点において新たに誤差最小の点の探索方向を求め、
学習パラメータ初期化部で前回の最小点探索における学
習パラメータの最適値を反映させて学習パラメータの初
期値を設定し、以下前回の誤差の最小点探索と同様に今
回の探索方向における誤差の最小点を求め重みを変更
し、誤差最小化回路によって誤差が十分に小さくなるま
で誤差最小点の探索を繰り返す。以上により、誤差の最
小点探索方向が決まるとその方向において最適な学習パ
ラメータが自動的に求まり、前回の探索における学習パ
ラメータの最適値を今回の探索の初期値に反映させるこ
とによって、常に最適の学習パラメータを効率良く求め
ながら誤差を小さくして学習を進めるために、短い学習
時間で誤差が十分に小さくなり、学習を終了することが
できる。
実施例 以下に、本発明の実施例について図面を参照しながら説
明する。
明する。
第１図は本発明の第１の実施例における学習機械の構成
図を示すものである。第１図において、１及び２は入力
端子、３、４、５、６、７及び８は可変重み乗算器、
９、10及び11は飽和入出力特性をもつ加算器、12は出力
端子、13は出力信号算出回路、14は教師信号発生部、15
は誤算算出部、16は探索方向決定部、17は学習パラメー
タ初期化部、18は学習パラメータ変化部、19は放物面近
似部、20は重み変更部、21は誤差最小化回路である。
図を示すものである。第１図において、１及び２は入力
端子、３、４、５、６、７及び８は可変重み乗算器、
９、10及び11は飽和入出力特性をもつ加算器、12は出力
端子、13は出力信号算出回路、14は教師信号発生部、15
は誤算算出部、16は探索方向決定部、17は学習パラメー
タ初期化部、18は学習パラメータ変化部、19は放物面近
似部、20は重み変更部、21は誤差最小化回路である。
可変重み乗算器で乗算するそれぞれの重み（ｗ［i1，
j1］,w［i2，j2］）を座標軸とする仮想的な重みを空間
において、重みを変化させたときに教師信号と出力信号
との誤差が等しくなる点を結んだ線を示す。重みが変化
したときの誤差の値を第２図の紙面に垂直な方向の軸で
表すと、誤差の値は、その３次元空間における曲面（誤
差曲面）となる。第２図は、この誤差曲面の紙面からの
高さが等しい点を結んだグラフという意味で、誤差曲面
の等高線図と呼ぶ。第２図において、ｗ［i1，j1］及び
ｗ［i2，j2］は可変重み乗算器３、４、５、６、７及び
８のうち任意の２つの可変重み乗算器で乗算する重みで
ある。第２図の仮想的な重み空間においては、重みを、
＝（ｗ［i1，j1］,w［i2，j2］……）のように、各重
みの値を要素とするベクトルで表す。本実施例の学習機
械の学習においては、第２図に示される誤差曲面の出発
点で表される可変重み乗算器の重みの初期値から始め
て、誤差曲面上を誤差の小さくなる方向に最小点探索を
繰り返し、誤差の大局的最小点に達することが目的とな
る。可変重み乗算器３、４、５、６、７及び８は入力信
号に対して重みを掛けて出力する。加算器９、10及び11
は（１）式で表される飽和入出力特性を持つ。出力信号
算出回路13は入力端子１及び２から入力される入力信号
の乗算及び加算によって出力信号を求める。教師信号発
生部14は入力信号に対して望ましい出力信号を教師信号
として発生し、誤差算出部15は端子12から出力される実
際の出力信号と前記教師信号とから（３）式にしたがっ
て誤差の最初の値を求める。探索方向決定部16は可変重
み乗算器の重みをベクトルで表す重み空間における誤差
の最小点探索方向を決定する。探索方向は出発点におけ
る最急降下方向即ち（４）式で求められる。第３図に
本実施例の初回の最小点探索における誤差最小化回路の
動作説明図を示す。第３図に示す出発点及びP1は第２図
の出発点及びP1に一致しており、第３図は第２図に示さ
れている誤差曲面の出発点とP1とを結ぶ直線による断面
の誤差曲線を示す。学習パラメータ初期化部17は、学習
パラメータの初期値を、初回の最小点探索ではε０と
し、２回目以降の最小点探索では前回の重み変更に用い
た学習パラメータの値もしくはε０のうち大きい力の値
に決定し、前記学習パラメータの初期値に対する誤差を
求める。ここにε０は正の定数である。第３図に示す初
回の最小点探索では、学習パラメータの初期値はε０と
なる。学習パラメータ変化部18では、学習パラメータの
初期値に対する誤差が、前記誤差の最初の値より小さく
なったときには、学習パラメータεの値を２倍にして誤
差の値を求めるという動作を誤差の値が増加に転ずるま
で繰り返す。即ち、 εｋ＝εｋ−１＊２ ……（６） として誤差を Ek＝Ｅ（＋εｋ＊） ……（７） として求める。第３図に示す初回の最小点探索ではE0＜
Eorgなので学習パラメータεの値を２倍にしていき、E
org＞E0＞E1＞E2＜E3となるため、学習パラメータ変化
部18はE3まで求める。なお学習パラメータの初期値に対
する誤差が、前記誤差の最初の値より増加したときに
は、学習パラメータ変化部18は学習パラメータの値を1/
2倍して誤差を求めるという動作を、誤差が前記誤差の
最初の値より小さくなるまで繰り返す。即ち、 εｋ＝εｋ−１/2 ……（８） として誤差を（７）式で求める。放物面近似部19は、誤
差最小点の近傍を放物面で近似するもので、第３図にお
いて重み空間内で重みの値が等間隔で変化する点での誤
差を求めるために、まず ε2.5＝（ε２＋ε３）/2 における誤差 E2.5＝Ｅ（＋ε2.5＊） を求める。第３図においてはE2.5＜E2＜E3＜E1なので、
E2，E2.5，E3の３点を通る放物面で、誤差最小の点の近
傍の誤差曲面を近似し、その頂点における誤差を求め
る。即ち、 Ev＝Ｅ（＋εｖ＊） ……（９） ただし 重み変更部20では、以上のようにして求まった誤差のう
ちで最も小さい誤差に対する学習パラメータを用いて、
各可変重み乗算器の重みを変更する。第３図ではE1，
E2，E2.5，E3，Evのうちで最も小さい誤差であるE3に対
応する学習パラメータε３をこの探索方向における学習
パラメータの最適値として、ε３を用いて各可変重み乗
算器の重みを変更する。
j1］,w［i2，j2］）を座標軸とする仮想的な重みを空間
において、重みを変化させたときに教師信号と出力信号
との誤差が等しくなる点を結んだ線を示す。重みが変化
したときの誤差の値を第２図の紙面に垂直な方向の軸で
表すと、誤差の値は、その３次元空間における曲面（誤
差曲面）となる。第２図は、この誤差曲面の紙面からの
高さが等しい点を結んだグラフという意味で、誤差曲面
の等高線図と呼ぶ。第２図において、ｗ［i1，j1］及び
ｗ［i2，j2］は可変重み乗算器３、４、５、６、７及び
８のうち任意の２つの可変重み乗算器で乗算する重みで
ある。第２図の仮想的な重み空間においては、重みを、
＝（ｗ［i1，j1］,w［i2，j2］……）のように、各重
みの値を要素とするベクトルで表す。本実施例の学習機
械の学習においては、第２図に示される誤差曲面の出発
点で表される可変重み乗算器の重みの初期値から始め
て、誤差曲面上を誤差の小さくなる方向に最小点探索を
繰り返し、誤差の大局的最小点に達することが目的とな
る。可変重み乗算器３、４、５、６、７及び８は入力信
号に対して重みを掛けて出力する。加算器９、10及び11
は（１）式で表される飽和入出力特性を持つ。出力信号
算出回路13は入力端子１及び２から入力される入力信号
の乗算及び加算によって出力信号を求める。教師信号発
生部14は入力信号に対して望ましい出力信号を教師信号
として発生し、誤差算出部15は端子12から出力される実
際の出力信号と前記教師信号とから（３）式にしたがっ
て誤差の最初の値を求める。探索方向決定部16は可変重
み乗算器の重みをベクトルで表す重み空間における誤差
の最小点探索方向を決定する。探索方向は出発点におけ
る最急降下方向即ち（４）式で求められる。第３図に
本実施例の初回の最小点探索における誤差最小化回路の
動作説明図を示す。第３図に示す出発点及びP1は第２図
の出発点及びP1に一致しており、第３図は第２図に示さ
れている誤差曲面の出発点とP1とを結ぶ直線による断面
の誤差曲線を示す。学習パラメータ初期化部17は、学習
パラメータの初期値を、初回の最小点探索ではε０と
し、２回目以降の最小点探索では前回の重み変更に用い
た学習パラメータの値もしくはε０のうち大きい力の値
に決定し、前記学習パラメータの初期値に対する誤差を
求める。ここにε０は正の定数である。第３図に示す初
回の最小点探索では、学習パラメータの初期値はε０と
なる。学習パラメータ変化部18では、学習パラメータの
初期値に対する誤差が、前記誤差の最初の値より小さく
なったときには、学習パラメータεの値を２倍にして誤
差の値を求めるという動作を誤差の値が増加に転ずるま
で繰り返す。即ち、 εｋ＝εｋ−１＊２ ……（６） として誤差を Ek＝Ｅ（＋εｋ＊） ……（７） として求める。第３図に示す初回の最小点探索ではE0＜
Eorgなので学習パラメータεの値を２倍にしていき、E
org＞E0＞E1＞E2＜E3となるため、学習パラメータ変化
部18はE3まで求める。なお学習パラメータの初期値に対
する誤差が、前記誤差の最初の値より増加したときに
は、学習パラメータ変化部18は学習パラメータの値を1/
2倍して誤差を求めるという動作を、誤差が前記誤差の
最初の値より小さくなるまで繰り返す。即ち、 εｋ＝εｋ−１/2 ……（８） として誤差を（７）式で求める。放物面近似部19は、誤
差最小点の近傍を放物面で近似するもので、第３図にお
いて重み空間内で重みの値が等間隔で変化する点での誤
差を求めるために、まず ε2.5＝（ε２＋ε３）/2 における誤差 E2.5＝Ｅ（＋ε2.5＊） を求める。第３図においてはE2.5＜E2＜E3＜E1なので、
E2，E2.5，E3の３点を通る放物面で、誤差最小の点の近
傍の誤差曲面を近似し、その頂点における誤差を求め
る。即ち、 Ev＝Ｅ（＋εｖ＊） ……（９） ただし 重み変更部20では、以上のようにして求まった誤差のう
ちで最も小さい誤差に対する学習パラメータを用いて、
各可変重み乗算器の重みを変更する。第３図ではE1，
E2，E2.5，E3，Evのうちで最も小さい誤差であるE3に対
応する学習パラメータε３をこの探索方向における学習
パラメータの最適値として、ε３を用いて各可変重み乗
算器の重みを変更する。
変更された重みについて、出力信号算出回路13は出力信
号を算出し、教師信号発生部14が出力する教師信号と出
力信号との差をもとに誤差算出部15は（３）式で与えら
れる誤差を算出する。初回の最小点探索の時と同様にし
て、探索方向決定部16は重み空間における誤差の最小点
探索方向をP1における最急降下方向に決定する。第４図
に本実施例の２回目の最小点探索における誤差最小化回
路の動作説明図を示す。第４図に示すP1及びP2は第２図
のP1及びP2に一致しており、第４図は第２図の誤差曲面
のP1とP2とを結ぶ直線による断面の誤差曲線を示す。学
習パラメータ初期化部17は、学習パラメータの初期値
を、初回の最小点探索ではε０とし、２回目以後の最小
点探索では前回の重み変更に用いた学習パラメータの値
もしくはε０のうち大きい方の値に決定し、前記学習パ
ラメータの初期値に対する誤差を求める。即ち、前回の
学習パラメータの最適値がε０よりも大きいときには前
回の学習パラメータの最適値が学習パラメータの初期値
となり、前回の学習パラメータの最適値がε０よりも小
さいときにはε０が学習パラメータの初期値となる。こ
れは前回の学習パラメータの最適値を今回の探索におけ
る学習パラメヘータの初期値とすることにより今回の探
索に最適な学習パラメータの設定を効率良く行えるとと
もに、前回の学習パラメータの最適値が小さくて、それ
を今回の最小点探索の学習パラメータの初期値として用
いると、誤差曲面の局所的最小点から抜けられなくなる
ことを防いでいる。第４図では、前回の学習パラメータ
の最適値ε３がε０より大きいので、ε３を学習パラメ
ータの初期値とする。第４図において、学習パラメータ
の初期値ε３に対する誤差E3は誤差の最初の値E0より小
さいので、学習パラメータ変化部18は学習パラメータε
の値を２倍にして誤差の値を求めるという動作を誤差の
値が増加に転ずるまで繰り返す。第４図では、E0＞E3＜
E4となるので、E4まで求める。放物面近似部19は誤差最
小点の近傍を放物面で近似する。第４図では、重み空間
内で重みの値が学習パラメータの値0,ε３，ε４で等間
隔に変化しているので、これらの点における誤差から誤
差曲面を放物面近似して、その頂点における誤差を
（９）式で求める。ただし、 である。重み変更部20は、以上のようにして求まった誤
差E3，E4，Evのうちで最も小さい誤差Evに対する学習パ
ラメータεｖを２回目の探索の学習パラメータの最適値
とし、それを用いて各可変重み乗算器の重みを変更す
る。以下、誤差量小化回路21は、教師信号発生部14と誤
差算出部15と探索方向決定部16と学習パラメータ初期化
部17と学習パラメータ変化部18と放物面近似部19と重み
変更部20とを繰り返し用いて誤差を小さくする。この繰
り返しを誤差が十分小さくなるまで行い、学習を終了す
る。
号を算出し、教師信号発生部14が出力する教師信号と出
力信号との差をもとに誤差算出部15は（３）式で与えら
れる誤差を算出する。初回の最小点探索の時と同様にし
て、探索方向決定部16は重み空間における誤差の最小点
探索方向をP1における最急降下方向に決定する。第４図
に本実施例の２回目の最小点探索における誤差最小化回
路の動作説明図を示す。第４図に示すP1及びP2は第２図
のP1及びP2に一致しており、第４図は第２図の誤差曲面
のP1とP2とを結ぶ直線による断面の誤差曲線を示す。学
習パラメータ初期化部17は、学習パラメータの初期値
を、初回の最小点探索ではε０とし、２回目以後の最小
点探索では前回の重み変更に用いた学習パラメータの値
もしくはε０のうち大きい方の値に決定し、前記学習パ
ラメータの初期値に対する誤差を求める。即ち、前回の
学習パラメータの最適値がε０よりも大きいときには前
回の学習パラメータの最適値が学習パラメータの初期値
となり、前回の学習パラメータの最適値がε０よりも小
さいときにはε０が学習パラメータの初期値となる。こ
れは前回の学習パラメータの最適値を今回の探索におけ
る学習パラメヘータの初期値とすることにより今回の探
索に最適な学習パラメータの設定を効率良く行えるとと
もに、前回の学習パラメータの最適値が小さくて、それ
を今回の最小点探索の学習パラメータの初期値として用
いると、誤差曲面の局所的最小点から抜けられなくなる
ことを防いでいる。第４図では、前回の学習パラメータ
の最適値ε３がε０より大きいので、ε３を学習パラメ
ータの初期値とする。第４図において、学習パラメータ
の初期値ε３に対する誤差E3は誤差の最初の値E0より小
さいので、学習パラメータ変化部18は学習パラメータε
の値を２倍にして誤差の値を求めるという動作を誤差の
値が増加に転ずるまで繰り返す。第４図では、E0＞E3＜
E4となるので、E4まで求める。放物面近似部19は誤差最
小点の近傍を放物面で近似する。第４図では、重み空間
内で重みの値が学習パラメータの値0,ε３，ε４で等間
隔に変化しているので、これらの点における誤差から誤
差曲面を放物面近似して、その頂点における誤差を
（９）式で求める。ただし、 である。重み変更部20は、以上のようにして求まった誤
差E3，E4，Evのうちで最も小さい誤差Evに対する学習パ
ラメータεｖを２回目の探索の学習パラメータの最適値
とし、それを用いて各可変重み乗算器の重みを変更す
る。以下、誤差量小化回路21は、教師信号発生部14と誤
差算出部15と探索方向決定部16と学習パラメータ初期化
部17と学習パラメータ変化部18と放物面近似部19と重み
変更部20とを繰り返し用いて誤差を小さくする。この繰
り返しを誤差が十分小さくなるまで行い、学習を終了す
る。
以上のように本実施例によれば、学習パラメータ初期化
部17、学習パラメータ変化部18及び放物面近似部19を設
けることによって、誤差の最小点探索方向における学習
パラメータの最適値を常に効率良く求めながら可変重み
乗算器の重みを変更していくので、誤差の最小化を効率
良く行うことができ、学習時間を短縮できる。
部17、学習パラメータ変化部18及び放物面近似部19を設
けることによって、誤差の最小点探索方向における学習
パラメータの最適値を常に効率良く求めながら可変重み
乗算器の重みを変更していくので、誤差の最小化を効率
良く行うことができ、学習時間を短縮できる。
なお、本実施例において、探索方向決定部16は誤差の最
小点探索の方向を最急降下方向に決定したが、最小点探
索の方向を共役勾配方向にしてもよい。共役勾配方向
は、 ＝＋β＊′ ……（12） で与えられる。ただし、は最急降下方向であり であり、′は前回の最小点探索における共役勾配方
向、′は前回の最小点探索における最急降下方向であ
る。この場合も初回の最小点探索方向は、最急降下方向
に決定する。以上のように第１の実施例では、探索方向
決定部16が誤差の最小点探索の方向を、最急降下の方向
としても、共役勾配の方向としても同様の効果が得られ
る。
小点探索の方向を最急降下方向に決定したが、最小点探
索の方向を共役勾配方向にしてもよい。共役勾配方向
は、 ＝＋β＊′ ……（12） で与えられる。ただし、は最急降下方向であり であり、′は前回の最小点探索における共役勾配方
向、′は前回の最小点探索における最急降下方向であ
る。この場合も初回の最小点探索方向は、最急降下方向
に決定する。以上のように第１の実施例では、探索方向
決定部16が誤差の最小点探索の方向を、最急降下の方向
としても、共役勾配の方向としても同様の効果が得られ
る。
第５図は、本発明の第２の実施例の構成図である。第５
図において、22は最急降下方向決定部、23は学習パラメ
ータ最大値制限部、24は誤差最小化回路である。本実施
例においては、最急降下方向決定部22は誤差の最小点探
索方向を（４）式で表される最急降下方向に決定する。
学習のパラメータ初期化部17は、第１の実施例と同様に
して、学習パラメータの初期値を、初回の最小点探索で
はε０とし、２回目以後の最小点探索では前回の最小点
探索における学習パラメータの最適値もしくはε０のう
ち大きい方の値に決定し、前記学習パラメータの初期値
に対する誤差を求める。学習パラメータ変化部18では、
学習パラメータの初期値に対する誤差が誤差の最初の値
よりも小さいときには、学習パラメータεの値を２倍に
して誤差の値を求めるという動作を誤差の値が増加に転
ずるまで繰り返すか、または学習パラメータの初期値に
対する誤差が誤差の最初の値よりも増加したときには、
学習パラメータεの値を1/2倍にして誤差の値を求める
という動作を誤差の値が誤差の最初の値より小さくなる
まで繰り返す。ただし、本実施例では、学習パラメータ
εの値が適当な正の定数εmaxを越えても誤差が増加に
転じないときには、その時点の学習パラメータの値で各
可変重み乗算器の重みを変更する。学習パラメータεの
値がεmaxを越えない範囲で誤差が増加に転じた場合に
は、放物面近似部19及び重み変更部20の動作は第１の実
施例と同様である。本実施例では、誤差の最小点探索に
おいて、探索方向を最急降下方向に決め、学習パラメー
タεの値が正の定数εmaxを越えない範囲で学習パラメ
ータを変化させる点で第１の実施例と異なっている。第
６図は本発明の第２の実施例の効果の説明図である。第
１の実施例によると、第６図において、初回の最小点探
索において、出発点の最急降下方向をもとにその探索方
向における誤差最小の点を求めていたので、初回の最小
点探索がP1′で終了し、２回目の最小点探索がP2′で終
了し、結局局所的最小点に陥ってしまう。本実施例によ
れば、学習パラメータεの値が正の定数εmaxを越えな
い範囲で学習パラメータを変化させるので、初回の最小
点探索は学習パラメータの最大値εmaxに対応する点P1
で終了し、２回目の最小点探索ではP1における最急降下
方向をもとに最小点探索方向を決定し、２回目の最小点
探索は学習パラメータの最大値εmaxに対応する点P2で
終了する。同様に３回目の最小点探索はP3で終了し、４
回目の最小点探索はP4で終了し、結局大局的最小点にた
どり着くことができる。以上のように、本実施例では、
学習パラメータの最大値を制限することによって、局所
的最小点に陥ることを防ぐことができる。
図において、22は最急降下方向決定部、23は学習パラメ
ータ最大値制限部、24は誤差最小化回路である。本実施
例においては、最急降下方向決定部22は誤差の最小点探
索方向を（４）式で表される最急降下方向に決定する。
学習のパラメータ初期化部17は、第１の実施例と同様に
して、学習パラメータの初期値を、初回の最小点探索で
はε０とし、２回目以後の最小点探索では前回の最小点
探索における学習パラメータの最適値もしくはε０のう
ち大きい方の値に決定し、前記学習パラメータの初期値
に対する誤差を求める。学習パラメータ変化部18では、
学習パラメータの初期値に対する誤差が誤差の最初の値
よりも小さいときには、学習パラメータεの値を２倍に
して誤差の値を求めるという動作を誤差の値が増加に転
ずるまで繰り返すか、または学習パラメータの初期値に
対する誤差が誤差の最初の値よりも増加したときには、
学習パラメータεの値を1/2倍にして誤差の値を求める
という動作を誤差の値が誤差の最初の値より小さくなる
まで繰り返す。ただし、本実施例では、学習パラメータ
εの値が適当な正の定数εmaxを越えても誤差が増加に
転じないときには、その時点の学習パラメータの値で各
可変重み乗算器の重みを変更する。学習パラメータεの
値がεmaxを越えない範囲で誤差が増加に転じた場合に
は、放物面近似部19及び重み変更部20の動作は第１の実
施例と同様である。本実施例では、誤差の最小点探索に
おいて、探索方向を最急降下方向に決め、学習パラメー
タεの値が正の定数εmaxを越えない範囲で学習パラメ
ータを変化させる点で第１の実施例と異なっている。第
６図は本発明の第２の実施例の効果の説明図である。第
１の実施例によると、第６図において、初回の最小点探
索において、出発点の最急降下方向をもとにその探索方
向における誤差最小の点を求めていたので、初回の最小
点探索がP1′で終了し、２回目の最小点探索がP2′で終
了し、結局局所的最小点に陥ってしまう。本実施例によ
れば、学習パラメータεの値が正の定数εmaxを越えな
い範囲で学習パラメータを変化させるので、初回の最小
点探索は学習パラメータの最大値εmaxに対応する点P1
で終了し、２回目の最小点探索ではP1における最急降下
方向をもとに最小点探索方向を決定し、２回目の最小点
探索は学習パラメータの最大値εmaxに対応する点P2で
終了する。同様に３回目の最小点探索はP3で終了し、４
回目の最小点探索はP4で終了し、結局大局的最小点にた
どり着くことができる。以上のように、本実施例では、
学習パラメータの最大値を制限することによって、局所
的最小点に陥ることを防ぐことができる。
第７図は本発明の第３の実施例の構成図である。第７図
において、25は探索方向決定部、26は最急降下方向決定
部、27は誤差最小化回路である。本実施例においては、
探索方向決定部25は誤差の最小点探索方向を初回の探索
では（４）式で表される最急降下方向に決定し、２回目
以後の探索では（12）式で表される共役勾配方向に決定
する。学習のパラメータ初期化部17は、第１及び第２の
実施例と同様にして、学習パラメータの初期値を、初回
の最小点探索ではε０とし、２回目以降の最小点探索で
は前回の最小点探索における学習パラメータの最適値も
しくはε０のうち大きい方の値に決定し、前記学習パラ
メータの初期値に対する誤差を求める。学習パラメータ
変化部18では、学習パラメータの初期値に対する誤差が
誤差の最初の値よりも小さいときには、学習パラメータ
εの値を２倍にして誤差の値を求めるという動作を誤差
の値が増加に転ずるまで繰り返すか、または学習パラメ
ータの初期値に対する誤差が誤差の最初の値よりも増加
したときには、学習パラメータεの値を1/2倍にして誤
差の値を求めるという動作を誤差の値が誤差の最初の値
より小さくなるまで繰り返す。ただし、本実施例では、
学習パラメータεの値を、適当な正の定数εminより小
さくしても誤差の値が誤差の最初の値よりも小さくなら
ないときには、最小点探索方向を共役勾配方向から最急
降下方向に切り替える。放物面近似部19及び重み変更部
20の動作は第１の実施例と同様である。本実施例では、
２回目以後の誤差の最小点探索において、探索方向を共
役勾配方向に決め、学習パラメータεの値が正の定数ε
minより小さくならない範囲で学習パラメータを変化さ
せる点で第１の実施例と異なっている。第８図は本発明
の第３の実施例の効果の説明図である。第１の実施例に
よると、第８図において、初回の最小点探索において、
出発点の最急降下方向をもとにその探索方向における誤
差最小の点を求めて、初回の最小点探索がP1で終了し、
２回目の最小点探索はP1における共役勾配方向を探索方
向としてその方向で誤差が最小となる点を求めていたの
で、２回目の探索はP2′で終了していた。本実施例によ
れば、学習パラメータεの値が正の定数εminより小さ
くならない範囲で学習パラメータを変化させるので、２
回目の最小点探索において学習パラメータεの値をε
minより小さくしても誤差が誤差の最初の値より小さく
ならない場合には、共役勾配方向の探索を打ち切り、探
索方向を最急降下方向に切り替え、２回目の最小点探索
はP2で終了する。以上のように、本実施例では、共役勾
配方向に対する学習パラメータの値の最小値を制限し、
それより小さくなるときには探索方向を最急降下方向に
切り替えることにより、大局的最小点に効率良くたどり
着くことができる。
において、25は探索方向決定部、26は最急降下方向決定
部、27は誤差最小化回路である。本実施例においては、
探索方向決定部25は誤差の最小点探索方向を初回の探索
では（４）式で表される最急降下方向に決定し、２回目
以後の探索では（12）式で表される共役勾配方向に決定
する。学習のパラメータ初期化部17は、第１及び第２の
実施例と同様にして、学習パラメータの初期値を、初回
の最小点探索ではε０とし、２回目以降の最小点探索で
は前回の最小点探索における学習パラメータの最適値も
しくはε０のうち大きい方の値に決定し、前記学習パラ
メータの初期値に対する誤差を求める。学習パラメータ
変化部18では、学習パラメータの初期値に対する誤差が
誤差の最初の値よりも小さいときには、学習パラメータ
εの値を２倍にして誤差の値を求めるという動作を誤差
の値が増加に転ずるまで繰り返すか、または学習パラメ
ータの初期値に対する誤差が誤差の最初の値よりも増加
したときには、学習パラメータεの値を1/2倍にして誤
差の値を求めるという動作を誤差の値が誤差の最初の値
より小さくなるまで繰り返す。ただし、本実施例では、
学習パラメータεの値を、適当な正の定数εminより小
さくしても誤差の値が誤差の最初の値よりも小さくなら
ないときには、最小点探索方向を共役勾配方向から最急
降下方向に切り替える。放物面近似部19及び重み変更部
20の動作は第１の実施例と同様である。本実施例では、
２回目以後の誤差の最小点探索において、探索方向を共
役勾配方向に決め、学習パラメータεの値が正の定数ε
minより小さくならない範囲で学習パラメータを変化さ
せる点で第１の実施例と異なっている。第８図は本発明
の第３の実施例の効果の説明図である。第１の実施例に
よると、第８図において、初回の最小点探索において、
出発点の最急降下方向をもとにその探索方向における誤
差最小の点を求めて、初回の最小点探索がP1で終了し、
２回目の最小点探索はP1における共役勾配方向を探索方
向としてその方向で誤差が最小となる点を求めていたの
で、２回目の探索はP2′で終了していた。本実施例によ
れば、学習パラメータεの値が正の定数εminより小さ
くならない範囲で学習パラメータを変化させるので、２
回目の最小点探索において学習パラメータεの値をε
minより小さくしても誤差が誤差の最初の値より小さく
ならない場合には、共役勾配方向の探索を打ち切り、探
索方向を最急降下方向に切り替え、２回目の最小点探索
はP2で終了する。以上のように、本実施例では、共役勾
配方向に対する学習パラメータの値の最小値を制限し、
それより小さくなるときには探索方向を最急降下方向に
切り替えることにより、大局的最小点に効率良くたどり
着くことができる。
発明の効果 以上説明したように、本発明によれば、誤差の最小点探
索方向における学習パラメータの最適値を常に効率良く
求めながら可変重み乗算器の重みを変更していくので、
誤差の最小化を効率良く行うことができ、学習機械の学
習に要する時間を短縮でき、その実用的効果は大きい。
索方向における学習パラメータの最適値を常に効率良く
求めながら可変重み乗算器の重みを変更していくので、
誤差の最小化を効率良く行うことができ、学習機械の学
習に要する時間を短縮でき、その実用的効果は大きい。
第１図は本発明における第１の実施例の学習機械のブロ
ック図、第２図は重み空間における誤差曲面の等高線
図、第３図は同実施例の初回の最小点探索における誤差
最小化回路の動作説明図、第４図は同実施例の初回の最
小点探索における誤差最小化回路の動作説明図、第５図
は本発明の第２の実施例の学習機械のブロック図、第６
図は同実施例の効果の説明図、第７図は本発明の第３の
実施例の学習機械のブロック図、第８図は同実施例の効
果の説明図、第９図は従来の学習機械のブロック図、第
10図は加算器の入出力特性図である。 ３、４、５、６、７、８……可変重み乗算器、９、10、
11……加算器、14……教師信号発生部、15……誤差算出
部、16、25……探索方向決定部、17……学習パラメータ
初期化部、18……学習パラメータ変化部、19……放物面
近似部、20……重み変更部、22、26……最急降下方向決
定部、23……学習パラメータ最大値制限部。
ック図、第２図は重み空間における誤差曲面の等高線
図、第３図は同実施例の初回の最小点探索における誤差
最小化回路の動作説明図、第４図は同実施例の初回の最
小点探索における誤差最小化回路の動作説明図、第５図
は本発明の第２の実施例の学習機械のブロック図、第６
図は同実施例の効果の説明図、第７図は本発明の第３の
実施例の学習機械のブロック図、第８図は同実施例の効
果の説明図、第９図は従来の学習機械のブロック図、第
10図は加算器の入出力特性図である。 ３、４、５、６、７、８……可変重み乗算器、９、10、
11……加算器、14……教師信号発生部、15……誤差算出
部、16、25……探索方向決定部、17……学習パラメータ
初期化部、18……学習パラメータ変化部、19……放物面
近似部、20……重み変更部、22、26……最急降下方向決
定部、23……学習パラメータ最大値制限部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 高木 英行 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 戸川 隼人 東京都文京区向丘１丁目12番２号 (56)参考文献 １．電子情報通信学会技術研究報告 ｖ ｏｌ．88 Ｎｏ．325 ＰＲＵ88−93「誤 差および出力変動を最小化するバックプロ パゲーション」木村義政 ２．岩波講座 情報科学−19「最適化」 西川、三宮、茨木
Claims (3)
- 【請求項１】飽和入出力特性を持つ多入力一出力の加算
器を各層の前記加算器が次段の層の前記加算器と可変重
み乗算器を介して階層状に接続した出力信号算出回路
と、入力信号が入るたびに出力層の前記加算器の出力信
号の望ましい値として教師信号を与える教師信号発生部
と、出力信号と前記教師信号との誤差を求める誤差算出
部と、前記可変重み乗算器で乗算するそれぞれの重み
（w1，w2，…）を座標軸とし、重みをベクトル（＝
w1，w2，…））で表現する仮想的な重み空間において、
最急降下法などに基づいて前記誤差の最小点探索方向
（＝g1，g2，…））を決定する探索方向決定部と、前
記誤差の最小点探索方向において学習パラメータ（ε）
の値をε０に設定したときの重み（′＝＋ε０）
に対する誤差が、重みに対する誤差よりも減少すれば
学習パラメータを増加させ、重みに対する誤差よりも
増加すれば学習パラメータを減少させて前記誤差が最小
となる近傍の学習パラメータおよび誤差を求める学習パ
ラメータ変化部と、前記誤差の最小点の近傍において、
重みの変化に対する誤差の変化を表す誤差曲面を放物面
で近似してその頂点における誤差を求める放物面近似部
と、それら誤差が最小となる点における学習パラメータ
を学習パラメータの最適値として各可変重み乗算器の重
みを変更する重み変更部と、前回の前記誤差の最小点探
索における学習パラメータの最適値を今回の前記誤差の
最小点探索における学習パラメータの初期値に反映させ
る学習パラメータ初期化部と、前記教師信号発生部と前
記誤差算出部と前記探索方向決定部と前記学習パラメー
タ初期化部と前記学習パラメータ変化部と前記放物面近
似部と前記重み変更部とを繰り返し用いて前記誤差を十
分に小さくする誤差最小化回路とを備えたことを特徴と
する学習機械。 - 【請求項２】可変重み乗算器の重みをベクトルで表現す
る重み空間における前記誤差の最小点探索方向を最急降
下方向に決定する最急降下方向決定部と、学習パラメー
タの最大値を制限する学習パラメータ最大値制限部とを
備えたことを特徴とする請求項１記載の学習機械。 - 【請求項３】可変重み乗算器の重みをベクトルで表現す
る重み空間における前記誤差の最小点探索方向を共役勾
配方向に決定する共役勾配方向決定部と、学習パラメー
タをある値より小さくしても誤差が減少しないときには
最急降下方向を前記誤差の最小点探索の方向とする探索
方向変更部とを備えたことを特徴とする請求項１記載の
学習機械。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1043730A JPH0736184B2 (ja) | 1989-02-23 | 1989-02-23 | 学習機械 |
| EP93202797A EP0579341A2 (en) | 1989-02-23 | 1990-02-20 | Learning machine with multi-input single output circuits connected in hierarchical structure |
| US07/481,330 US5168550A (en) | 1989-02-23 | 1990-02-20 | Neutral network with plural weight calculation methods and variation of plural learning parameters |
| DE69027874T DE69027874T2 (de) | 1989-02-23 | 1990-02-20 | Lernmaschine mit Mehreingangs- Einausgangsschaltungen, die in einer hierarchischen Struktur verbunden sind |
| EP90301825A EP0385637B1 (en) | 1989-02-23 | 1990-02-20 | Learning machine with multi-input single output circuits connected in hierarchical structure |
| KR1019900002309A KR920006792B1 (ko) | 1989-02-23 | 1990-02-23 | 다입력-출력회로를 계층형상으로 접속한 학습기계 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1043730A JPH0736184B2 (ja) | 1989-02-23 | 1989-02-23 | 学習機械 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02222061A JPH02222061A (ja) | 1990-09-04 |
| JPH0736184B2 true JPH0736184B2 (ja) | 1995-04-19 |
Family
ID=12671900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1043730A Expired - Fee Related JPH0736184B2 (ja) | 1989-02-23 | 1989-02-23 | 学習機械 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0736184B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3323894B2 (ja) * | 1991-06-27 | 2002-09-09 | 株式会社日立製作所 | ニューラルネットワーク学習方法及び装置 |
-
1989
- 1989-02-23 JP JP1043730A patent/JPH0736184B2/ja not_active Expired - Fee Related
Non-Patent Citations (3)
| Title |
|---|
| １．電子情報通信学会技術研究報告ｖｏｌ．８８Ｎｏ．３２５ＰＲＵ８８−９３「誤差および出力変動を最小化するバックプロパゲーション」木村義政 |
| ２．岩波講座情報科学−１９「最適化」西川、三宮、茨木 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02222061A (ja) | 1990-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR930002792B1 (ko) | 뉴우런 아키텍쳐(neuron architecture) | |
| CN111985495A (zh) | 模型部署方法、装置、系统及存储介质 | |
| JP3323894B2 (ja) | ニューラルネットワーク学習方法及び装置 | |
| KR920006793B1 (ko) | 학습기계 | |
| Yoshizawa et al. | Fair triangle mesh generation with discrete elastica | |
| KR920006792B1 (ko) | 다입력-출력회로를 계층형상으로 접속한 학습기계 | |
| EP0474222B1 (en) | Learning machine with a hierarchical structure without mutual connections within levels thereof | |
| CN114298291A (zh) | 一种模型量化处理系统及一种模型量化处理方法 | |
| JP2019133626A (ja) | 情報処理方法及び情報処理システム | |
| JPH0736184B2 (ja) | 学習機械 | |
| US5473633A (en) | Process and a system for digital modulation | |
| JP3597341B2 (ja) | 神経回路網モデルの大域的加速化学習法およびその装置 | |
| US7716047B2 (en) | System and method for an automatic set-up of speech recognition engines | |
| US5701395A (en) | Method of programming a polynomial processor | |
| JPH11284423A (ja) | アダプティブアンテナ装置及びアンテナ励振方法 | |
| EP0422809B1 (en) | Adaptive apparatus | |
| CN117967507A (zh) | 风力发电机组的转速功率控制系统及其方法 | |
| JPH10134018A (ja) | 法則発見方法と装置及び法則発見プログラムを格納した記憶媒体、及びニューラルネット学習方法と装置及びニューラルネット学習プログラムを格納した記憶媒体 | |
| JP3452160B2 (ja) | 認識辞書学習システム | |
| Molz et al. | Codesign of fully parallel neural network for a classification problem | |
| JP3052520B2 (ja) | パターン分類装置 | |
| JP2659230B2 (ja) | 神経回路網の学習装置 | |
| Reznik et al. | Choice of the radial basis function approximation in neural networks used for fuzzy system implementation | |
| Sokół et al. | Some experiences in the equilibrium path determination | |
| JPH0421155A (ja) | 学習機械 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |