JPH04270445A - 逆伝搬学習機能付しきい値論理回路 - Google Patents
逆伝搬学習機能付しきい値論理回路Info
- Publication number
- JPH04270445A JPH04270445A JP3031075A JP3107591A JPH04270445A JP H04270445 A JPH04270445 A JP H04270445A JP 3031075 A JP3031075 A JP 3031075A JP 3107591 A JP3107591 A JP 3107591A JP H04270445 A JPH04270445 A JP H04270445A
- Authority
- JP
- Japan
- Prior art keywords
- threshold
- value
- function
- differential
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Logic Circuits (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【発明の利用分野】本発明は学習機能付しきい値論理回
路、特にバックプロパゲーション法により学習を行なう
学習機能付しきい値論理回路網に係わる。
路、特にバックプロパゲーション法により学習を行なう
学習機能付しきい値論理回路網に係わる。
【０００２】
【発明の背景】従来の計算機はＡＮＤまたはＯＲ回路を
組み合わせた論理回路システムで構築されている。これ
らの計算機は極めて高速に動作し、人間の計算能力を遙
かに上回る性能を発揮し、社会に貢献していることは周
知の事実である。しかし、従来の計算機は、人間が日常
行なっている認識動作、判断動作には不適当であること
も次第に明らかになってきた。このため、認識、判断に
好適な計算機を構築する目的で、人間の脳細胞（ニュー
ロン）を手本にしたしきい値論理回路に学習機能を持た
せたニューロン回路と、それを使った計算機システム技
術が例えば、甘利俊一「神経回路網の数理」産業図書、
昭和５３年、Ｌ．Ｄ．Ｊａｃｋｌｅｌ， Ｒ．Ｅ．Ｈｏ
ｗａｒｄ， Ｈ．Ｐ．Ｇｒａｆ， Ｂ．Ｓｔｒａｕｇｈ
ｎ， ａｎｄ Ｊ．Ｄ．Ｄｅｎｋｅｒ， ”Ａｒｔｉｆ
ｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｌｓ ｆｏｒ
ｃｏｍｐｕｔｉｎｇ”， Ｊｏｕｒｎａｌ ｏｆ Ｖ
ａｃｕｕｍ Ｓｏｃｉｅｔｙ Ｔｅｃｈｎｏｌｏｇｙ
Ｂ４（１）， Ｊａｎ／Ｆｅｂ． １９８６， ｐｐ．
６１−６３に開示されている。
組み合わせた論理回路システムで構築されている。これ
らの計算機は極めて高速に動作し、人間の計算能力を遙
かに上回る性能を発揮し、社会に貢献していることは周
知の事実である。しかし、従来の計算機は、人間が日常
行なっている認識動作、判断動作には不適当であること
も次第に明らかになってきた。このため、認識、判断に
好適な計算機を構築する目的で、人間の脳細胞（ニュー
ロン）を手本にしたしきい値論理回路に学習機能を持た
せたニューロン回路と、それを使った計算機システム技
術が例えば、甘利俊一「神経回路網の数理」産業図書、
昭和５３年、Ｌ．Ｄ．Ｊａｃｋｌｅｌ， Ｒ．Ｅ．Ｈｏ
ｗａｒｄ， Ｈ．Ｐ．Ｇｒａｆ， Ｂ．Ｓｔｒａｕｇｈ
ｎ， ａｎｄ Ｊ．Ｄ．Ｄｅｎｋｅｒ， ”Ａｒｔｉｆ
ｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｌｓ ｆｏｒ
ｃｏｍｐｕｔｉｎｇ”， Ｊｏｕｒｎａｌ ｏｆ Ｖ
ａｃｕｕｍ Ｓｏｃｉｅｔｙ Ｔｅｃｈｎｏｌｏｇｙ
Ｂ４（１）， Ｊａｎ／Ｆｅｂ． １９８６， ｐｐ．
６１−６３に開示されている。
【０００３】以下に、しきい値論理回路の動作説明を行
い、本発明の位置付けを明らかにする。図２はしきい値
論理回路の動作を示す図である。しきい値論理回路はし
きい部１０、重み部２０、複数個の入力端子１０１、入
力線１０２と少なくとも１個の出力線１０３を持つ回路
である。しきい値論理回路では、複数の入力端子に信号
Ｘｉが印加され、その信号Ｘｉの重み加算和ΣＷｉＸｉ
がしきい値θを超えれば出力は“１”に、それ以外は“
０”になる論理動作を行なう。ここで、Ｗｉは重みを表
わす。しきい値論理回路の特徴は学習機能にある。即ち
、学習により、重みＷｉを変化させ、最終的に目的に適
応した回路システムを構築する。従って、しきい値論理
回路を構成するには、入力信号の重み加算を行ない素子
をスイッチさせる機能だけでなく、重みＷｉ、しきい値
θを変化させる学習機能を持たなければならない。通常
、この重みを制御端子１０４から入力する重み制御信号
で制御する。
い、本発明の位置付けを明らかにする。図２はしきい値
論理回路の動作を示す図である。しきい値論理回路はし
きい部１０、重み部２０、複数個の入力端子１０１、入
力線１０２と少なくとも１個の出力線１０３を持つ回路
である。しきい値論理回路では、複数の入力端子に信号
Ｘｉが印加され、その信号Ｘｉの重み加算和ΣＷｉＸｉ
がしきい値θを超えれば出力は“１”に、それ以外は“
０”になる論理動作を行なう。ここで、Ｗｉは重みを表
わす。しきい値論理回路の特徴は学習機能にある。即ち
、学習により、重みＷｉを変化させ、最終的に目的に適
応した回路システムを構築する。従って、しきい値論理
回路を構成するには、入力信号の重み加算を行ない素子
をスイッチさせる機能だけでなく、重みＷｉ、しきい値
θを変化させる学習機能を持たなければならない。通常
、この重みを制御端子１０４から入力する重み制御信号
で制御する。
【０００４】通常、複雑な論理関数を実現するには図２
に示すしきい値論理回路を多段に複雑に組み合わせる。 該重みを更新する学習は、論理関数の出力信号とその時
に期待される出力信号（教師信号）を比較して、その誤
差を基に重みを変える学習方法が用いられる。図３は図
２のしきい値論理回路を接続した論理関数の構造例を示
しており、３個のしきい部１０と２個の重み部２０から
構成されている。ここで、ｊ番目のしきい部の入力重み
加算和ΣＷｉｊｙｉ としきい値θｊ の差をＵｊ と
し、しきい関数をｆ（Ｕｊ ） 、出力信号ｙｊ とす
る。本特許での着目点は重みを変更する学習法にある。 いくつかある学習方法の内でバックプロパゲーション法
は最も有効な手段として認められている。このバックプ
ロパゲーション法は例えば、中野 馨「ニューロコン
ピュータの基礎」コロナ社（１９９０年４月）他に詳し
く記載されている。バックプロパゲーション法では、（
１）式（以下の全ての式が発明の詳細な説明の欄の最終
部にまとめて表示されている）に示される、各種入力パ
ターンにおける論理関数の出力信号と教師信号の誤差の
２乗和（誤差関数）Ｅを最小にするように重みを変える
。
に示すしきい値論理回路を多段に複雑に組み合わせる。 該重みを更新する学習は、論理関数の出力信号とその時
に期待される出力信号（教師信号）を比較して、その誤
差を基に重みを変える学習方法が用いられる。図３は図
２のしきい値論理回路を接続した論理関数の構造例を示
しており、３個のしきい部１０と２個の重み部２０から
構成されている。ここで、ｊ番目のしきい部の入力重み
加算和ΣＷｉｊｙｉ としきい値θｊ の差をＵｊ と
し、しきい関数をｆ（Ｕｊ ） 、出力信号ｙｊ とす
る。本特許での着目点は重みを変更する学習法にある。 いくつかある学習方法の内でバックプロパゲーション法
は最も有効な手段として認められている。このバックプ
ロパゲーション法は例えば、中野 馨「ニューロコン
ピュータの基礎」コロナ社（１９９０年４月）他に詳し
く記載されている。バックプロパゲーション法では、（
１）式（以下の全ての式が発明の詳細な説明の欄の最終
部にまとめて表示されている）に示される、各種入力パ
ターンにおける論理関数の出力信号と教師信号の誤差の
２乗和（誤差関数）Ｅを最小にするように重みを変える
。
【０００５】ここで、ｙｚ は論理関数の出力信号であ
り、ψｚ はその時の教師信号である。従来のバックプ
ロパゲーション法では、重みやしきい値の変更は最急降
下法により（２）式で表わされる様に変化させる。ここ
でεは収束の度合を決めるパラメータである。従来の方
法で、複雑に接続されている回路網に関し（２）式の∂
Ｅ／∂Ｗｊｉ、∂Ｅ／∂θｊ は、例えば（３）（４）
（５）式に示す方法で求めることができる。
り、ψｚ はその時の教師信号である。従来のバックプ
ロパゲーション法では、重みやしきい値の変更は最急降
下法により（２）式で表わされる様に変化させる。ここ
でεは収束の度合を決めるパラメータである。従来の方
法で、複雑に接続されている回路網に関し（２）式の∂
Ｅ／∂Ｗｊｉ、∂Ｅ／∂θｊ は、例えば（３）（４）
（５）式に示す方法で求めることができる。
【０００６】特に（５）式から分かるように∂Ｅ／∂Ｕ
ｊ はニューロン回路システムの出力側から入力側に逆
方向に計算出来ることを示している。このため、（３）
式から（５）式に示される方法で学習する方法をバック
プロパゲーション（逆伝搬法）と呼ぶ。この従来方法に
よる、（２）式による学習方法では最急降下法による収
束を行なうため学習効率が悪く、特に目的とする収束点
に近づくに連れて収束速度が遅くなる欠点があった。ま
た、収束の度合を決めるパラメータεは理論的、解析的
に決められる値でないため、その値を決めるのは極めて
曖昧である。しかもεの値によって収束の度合が決まり
、最悪の場合収束せず発散することも起こりうることか
ら、従来の方法は多くの欠点を持っていた。
ｊ はニューロン回路システムの出力側から入力側に逆
方向に計算出来ることを示している。このため、（３）
式から（５）式に示される方法で学習する方法をバック
プロパゲーション（逆伝搬法）と呼ぶ。この従来方法に
よる、（２）式による学習方法では最急降下法による収
束を行なうため学習効率が悪く、特に目的とする収束点
に近づくに連れて収束速度が遅くなる欠点があった。ま
た、収束の度合を決めるパラメータεは理論的、解析的
に決められる値でないため、その値を決めるのは極めて
曖昧である。しかもεの値によって収束の度合が決まり
、最悪の場合収束せず発散することも起こりうることか
ら、従来の方法は多くの欠点を持っていた。
【０００７】
【発明の目的】本発明の目的は、バックプロパゲーショ
ン法による重みの更新方法で、学習の収束性を良くし、
パラメータの曖昧さを無くし、学習効率の高い方法を提
供し、高速に重みを変えられるしきい値論理回路の学習
方法を提供することにより、しきい値論理回路を使った
高速かつ多機能の学習を行なう認識、判断機能に優れた
計算機を実現することにある。
ン法による重みの更新方法で、学習の収束性を良くし、
パラメータの曖昧さを無くし、学習効率の高い方法を提
供し、高速に重みを変えられるしきい値論理回路の学習
方法を提供することにより、しきい値論理回路を使った
高速かつ多機能の学習を行なう認識、判断機能に優れた
計算機を実現することにある。
【０００８】
【発明の概要】この目的の為に、本発明ではバックプロ
パゲーション法による学習機能を有するしきい値論理回
路網で、学習方法に過去の学習結果を参照しながら現在
の学習を実行する方法を新しく導入する。本発明で取り
扱う学習方法は第（１）式に示される誤差関数を最小に
する最適化問題に帰着する。従って従来から使われてい
る最適化手法は基本的にここに上げた問題に適用できる
。本発明では誤差関数の微分値に着目し、該値が高速で
零になるような、具体的にはニュートン・ラプソン法に
よる方程式の解法に類似した方法を学習方法として採用
する。
パゲーション法による学習機能を有するしきい値論理回
路網で、学習方法に過去の学習結果を参照しながら現在
の学習を実行する方法を新しく導入する。本発明で取り
扱う学習方法は第（１）式に示される誤差関数を最小に
する最適化問題に帰着する。従って従来から使われてい
る最適化手法は基本的にここに上げた問題に適用できる
。本発明では誤差関数の微分値に着目し、該値が高速で
零になるような、具体的にはニュートン・ラプソン法に
よる方程式の解法に類似した方法を学習方法として採用
する。
【０００９】
【発明の実施例】以下に実施例を用いて本発明を説明す
る。まず本発明による重みやしきい値の変更方法を以下
に説明する。誤差関数の微分∂Ｅ／∂Ｗｊｉ、∂Ｅ／∂
θｊ を入力信号の重み加算和Ｕｊ に着目して展開し
、（３）式、（４）式、で表わす。従って、誤差関数の
微分∂Ｅ／∂Ｗｊｉ、∂Ｅ／∂θｊ は（５）式に従っ
てバックプロパゲーション法によって誤差が計算される
。一方、重み及びしきい値はイテレーションによって何
回も更新される。ここで、本発明では、各イテレーショ
ンの過程で、前回の計算結果を使って次の回の値を更新
する方法を提案する。学習は∂Ｅ／∂Ｗｉｊ、∂Ｅ／∂
θｊ 、を零にするようにＷｉｊ、θｊ を更新するこ
とに帰着する。これは方程式の根を求める方法に一致す
る。方程式の根を求める方法には各種方法があるが、例
えばニュートン・ラプソン法が収束度が速く優れた方法
として知られている。この方法は関数ｆ（ｘ）＝０の解
を求めるのにｘの値を（６）式に従って更新する方法で
ある。ここでｆ’ （ｘ）は導関数である。
る。まず本発明による重みやしきい値の変更方法を以下
に説明する。誤差関数の微分∂Ｅ／∂Ｗｊｉ、∂Ｅ／∂
θｊ を入力信号の重み加算和Ｕｊ に着目して展開し
、（３）式、（４）式、で表わす。従って、誤差関数の
微分∂Ｅ／∂Ｗｊｉ、∂Ｅ／∂θｊ は（５）式に従っ
てバックプロパゲーション法によって誤差が計算される
。一方、重み及びしきい値はイテレーションによって何
回も更新される。ここで、本発明では、各イテレーショ
ンの過程で、前回の計算結果を使って次の回の値を更新
する方法を提案する。学習は∂Ｅ／∂Ｗｉｊ、∂Ｅ／∂
θｊ 、を零にするようにＷｉｊ、θｊ を更新するこ
とに帰着する。これは方程式の根を求める方法に一致す
る。方程式の根を求める方法には各種方法があるが、例
えばニュートン・ラプソン法が収束度が速く優れた方法
として知られている。この方法は関数ｆ（ｘ）＝０の解
を求めるのにｘの値を（６）式に従って更新する方法で
ある。ここでｆ’ （ｘ）は導関数である。
【００１０】本発明の係わっている学習方法では、一般
に誤差関数の関数形が明らかにされないため（６）式の
分母にある微分関数を決める事ができない。このため、
本発明では該微分関数を近似関数で代用する。近似関数
として１次関数を採用した場合の重みの更新方法は（７
）式、（８）式で表わされる。ここで、∂Ｅ− ／∂Ｗ
ｉｊ、ΔＷｉｊ− 、∂Ｅ− ／∂θｊ 、Δθｊ −
は前回の計算結果を表わす。これらの値は前回のイテ
レーションの際に記憶素子に蓄積される。（７）式、（
８）式は∂Ｅ／∂Ｗｉｊ、∂Ｅ／∂θｊ 、を零にする
ようにＷｉｊ、θｊ を更新する式であり、各式の分母
は∂Ｅ／∂Ｗｉｊ、、∂Ｅ／∂θｊ 、の微係数の１次
近似式となっている。図１は（７）式、（８）式で示さ
れる学習法を実行するニューロン回路のセル構成図を示
している。図１は２個のニューロンセルｊ、ｋをつなげ
た構成である。図１の実施例では、各ニューロン回路は
重み部２０ｊｉ、しきい値部２５ｊ、しきい部１０ｊと
誤差関数の重み加算和による微分値∂Ｅ／∂Ｕｊ の保
持部３０ｊ、しきい値微係数部４０ｊ、乗算器５０ｊｉ
、乗算器６０ｋｊ、重み更新部７０ｊｉ、しきい値更新
部８０ｊから構成される。微分値∂Ｅ／∂Ｕｊ の計算
は、乗算器５０ｋｊと乗算器６０ｋｊが逆伝搬される誤
差関数の重み加算和による微分値∂Ｅ／∂Ｕｋ 、重み
Ｗｋｊ、しきい値微係数ｆ’（Ｕｊ ） の積を計算し
、その値を微分値∂Ｅ／∂Ｕｊ の保持部３０ｊが累積
加算することにより実行される。重みＷｊｉの更新は重
み更新部７０ｊｉにおいて行なわれる。重み更新部７０
ｊｉは、微分値保持部７１ｊｉ、変化量保持部７２ｊｉ
、乗算器７３ｊｉ、減算器７４ｊｉ、割り算器７５ｊｉ
、割り算器７６ｊｉから構成される。該微分値保持部７
１ｊｉ、変化量保持部７２ｊｉは前回のイテレーション
で計算した微分値∂Ｅ／∂Ｗｊｉおよび重み変化量ΔＷ
ｉｊを記憶する記憶素子である。この重み更新部７０ｊ
ｉでは、（３）式に従って乗算器７３ｊｉで計算された
微分値∂Ｅ／∂Ｗｊｉと更新値保持部７２ｊｉに記憶さ
れていた前回の微分値∂Ｅ／∂Ｗｊｉ− の差を減算器
７４ｊｉで計算し、その差を変化量保持部７２ｊｉの値
で割り算を行なう。この値で該微分値∂Ｅ／∂Ｗｊｉを
割れば（７）式に従った重み変化量ΔＷｊｉは割り算器
７６ｊｉで計算される。この重み変化量ΔＷｉｊを使っ
て重みＷｉｊを更新する。微分値∂Ｅ／∂Ｗｊｉと重み
変化量ΔＷｉｊは計算終了時に該微分値保持部７１ｊｉ
、変化量保持部７１ｊｉに記憶される。しきい値更新部
８０ｊも重み更新部７０ｊｉと同様な構成であり、微分
値保持部８１ｊ、変化量保持部８２ｊ、減算器８４ｊ、
割り算器８５ｊ、割り算器８６ｊから構成される。しき
い値更新部８２ｊでは、（４）式に従って計算された微
分値∂Ｅ／∂θｊ と更新値保持部８２ｊに記憶されて
いた前回の微分値∂Ｅ／∂θｊ − の差を減算器８４
ｊで計算し、その差を変化量保持部８２ｊの値で割り算
を行なう。この値で該微分値∂Ｅ／∂θｊ を割れば（
８）式に従ったしきい値変化量Δθｊ は割り算器８６
ｊで計算される。
に誤差関数の関数形が明らかにされないため（６）式の
分母にある微分関数を決める事ができない。このため、
本発明では該微分関数を近似関数で代用する。近似関数
として１次関数を採用した場合の重みの更新方法は（７
）式、（８）式で表わされる。ここで、∂Ｅ− ／∂Ｗ
ｉｊ、ΔＷｉｊ− 、∂Ｅ− ／∂θｊ 、Δθｊ −
は前回の計算結果を表わす。これらの値は前回のイテ
レーションの際に記憶素子に蓄積される。（７）式、（
８）式は∂Ｅ／∂Ｗｉｊ、∂Ｅ／∂θｊ 、を零にする
ようにＷｉｊ、θｊ を更新する式であり、各式の分母
は∂Ｅ／∂Ｗｉｊ、、∂Ｅ／∂θｊ 、の微係数の１次
近似式となっている。図１は（７）式、（８）式で示さ
れる学習法を実行するニューロン回路のセル構成図を示
している。図１は２個のニューロンセルｊ、ｋをつなげ
た構成である。図１の実施例では、各ニューロン回路は
重み部２０ｊｉ、しきい値部２５ｊ、しきい部１０ｊと
誤差関数の重み加算和による微分値∂Ｅ／∂Ｕｊ の保
持部３０ｊ、しきい値微係数部４０ｊ、乗算器５０ｊｉ
、乗算器６０ｋｊ、重み更新部７０ｊｉ、しきい値更新
部８０ｊから構成される。微分値∂Ｅ／∂Ｕｊ の計算
は、乗算器５０ｋｊと乗算器６０ｋｊが逆伝搬される誤
差関数の重み加算和による微分値∂Ｅ／∂Ｕｋ 、重み
Ｗｋｊ、しきい値微係数ｆ’（Ｕｊ ） の積を計算し
、その値を微分値∂Ｅ／∂Ｕｊ の保持部３０ｊが累積
加算することにより実行される。重みＷｊｉの更新は重
み更新部７０ｊｉにおいて行なわれる。重み更新部７０
ｊｉは、微分値保持部７１ｊｉ、変化量保持部７２ｊｉ
、乗算器７３ｊｉ、減算器７４ｊｉ、割り算器７５ｊｉ
、割り算器７６ｊｉから構成される。該微分値保持部７
１ｊｉ、変化量保持部７２ｊｉは前回のイテレーション
で計算した微分値∂Ｅ／∂Ｗｊｉおよび重み変化量ΔＷ
ｉｊを記憶する記憶素子である。この重み更新部７０ｊ
ｉでは、（３）式に従って乗算器７３ｊｉで計算された
微分値∂Ｅ／∂Ｗｊｉと更新値保持部７２ｊｉに記憶さ
れていた前回の微分値∂Ｅ／∂Ｗｊｉ− の差を減算器
７４ｊｉで計算し、その差を変化量保持部７２ｊｉの値
で割り算を行なう。この値で該微分値∂Ｅ／∂Ｗｊｉを
割れば（７）式に従った重み変化量ΔＷｊｉは割り算器
７６ｊｉで計算される。この重み変化量ΔＷｉｊを使っ
て重みＷｉｊを更新する。微分値∂Ｅ／∂Ｗｊｉと重み
変化量ΔＷｉｊは計算終了時に該微分値保持部７１ｊｉ
、変化量保持部７１ｊｉに記憶される。しきい値更新部
８０ｊも重み更新部７０ｊｉと同様な構成であり、微分
値保持部８１ｊ、変化量保持部８２ｊ、減算器８４ｊ、
割り算器８５ｊ、割り算器８６ｊから構成される。しき
い値更新部８２ｊでは、（４）式に従って計算された微
分値∂Ｅ／∂θｊ と更新値保持部８２ｊに記憶されて
いた前回の微分値∂Ｅ／∂θｊ − の差を減算器８４
ｊで計算し、その差を変化量保持部８２ｊの値で割り算
を行なう。この値で該微分値∂Ｅ／∂θｊ を割れば（
８）式に従ったしきい値変化量Δθｊ は割り算器８６
ｊで計算される。
【００１１】（７）式、（８）式は近似関数として１次
関数を採用したが、他に高次の多項式関数を利用するこ
とも可能である。この場合、多項式を得るのにラグラン
ジェ補間を利用する事が出来る。例えば、一連のイテレ
ーションで、前回、前々回の微分値を∂Ｅ− ／∂Ｗｊ
ｉ、∂Ｅ−−／∂Ｗｊｉとし、その時のＷｊｉの値をＷ
ｊｉ−、Ｗｊｉ−−とすれば∂Ｅ／∂Ｗｊｉの関数式と
して（９）式で近似できる。
関数を採用したが、他に高次の多項式関数を利用するこ
とも可能である。この場合、多項式を得るのにラグラン
ジェ補間を利用する事が出来る。例えば、一連のイテレ
ーションで、前回、前々回の微分値を∂Ｅ− ／∂Ｗｊ
ｉ、∂Ｅ−−／∂Ｗｊｉとし、その時のＷｊｉの値をＷ
ｊｉ−、Ｗｊｉ−−とすれば∂Ｅ／∂Ｗｊｉの関数式と
して（９）式で近似できる。
【００１２】従って、∂Ｅ／∂Ｗｊｉの微分係数は（１
０）式で近似される。（１０）式を（６）式の分母に採
用する事によって２次の多項式で近似できる。以上説明
したごとく、学習機能を有するしきい値論理回路を１個
の単位として規定する事ができ、該しきい値論理回路を
多数個直列並列に並べて実現した論理関数の高速な学習
法を実現できる。本発明では学習機能を有するしきい値
論理回路をハードウエア実現でき、高速かつ効率の良い
学習が実現できる。
０）式で近似される。（１０）式を（６）式の分母に採
用する事によって２次の多項式で近似できる。以上説明
したごとく、学習機能を有するしきい値論理回路を１個
の単位として規定する事ができ、該しきい値論理回路を
多数個直列並列に並べて実現した論理関数の高速な学習
法を実現できる。本発明では学習機能を有するしきい値
論理回路をハードウエア実現でき、高速かつ効率の良い
学習が実現できる。
【００１３】以上の説明では、ハードウエアによるしき
い値論理回路とその学習方法を説明したが、ソフトウエ
アで本方法を実行できることは明らか。
い値論理回路とその学習方法を説明したが、ソフトウエ
アで本方法を実行できることは明らか。
【００１４】
【本発明の効果】以上説明したごとく、本発明を用いれ
ば、高速の学習機能を有する、しきい値論理回路を構成
できる。従って、本発明により、しきい値論理回路を使
った、認識判断を実行するのに好適な高速計算機を実現
できる。故に、本発明はこの高度の認識判断を行なう高
速計算機の実現に必要不可欠である。
ば、高速の学習機能を有する、しきい値論理回路を構成
できる。従って、本発明により、しきい値論理回路を使
った、認識判断を実行するのに好適な高速計算機を実現
できる。故に、本発明はこの高度の認識判断を行なう高
速計算機の実現に必要不可欠である。
【００１５】
【数１】
【００１６】
【数２】
【００１７】
【数３】
【００１８】
【数４】
【００１９】
【数５】
【００２０】
【数６】
【００２１】
【数７】
【００２２】
【数８】
【００２３】
【数９】
【００２４】
【数１０】
【図１】本発明による学習機能付しきい値論理回路の実
施例。
施例。
【図２】しきい値論理回路の動作説明図。
【図３】しきい値論理回路の接続例を示す図。
１０ しきい部
２０ 重み部
２５ しきい値部
３０ 誤差関数の微分値保持部
４０ しきい値関数微係数部
５０ 乗算器
６０ 乗算器
７０ 重み更新部
７１ 微分値保持部
７２ 変化量保持部
７３ 乗算器
７４ 減算器
７５，７６ 割り算器
８０ しきい値更新部
８１ 微分値保持部
８２ 変化量保持部
８４ 減算器
８５，８６ 割り算器
１０１ 入力端子
１０２ 入力線
１０３ 出力線
１０４ 制御端子
Claims (7)
- 【請求項１】 入力信号の重み加算和と該重み加算和
をしきい値と比較して予め定められたしきい値関数に従
って出力信号を出力するしきい値論理回路であって、該
重み値と該しきい値を更新する手段を有し、該手段が過
去の更新結果を使って最新の更新内容を作製する機能を
有するしきい値論理回路を複数個接続したことを特徴と
する逆伝搬学習機能付しきい値論理回路網。 - 【請求項２】 特許請求の範囲第１項の逆伝搬学習機
能付しきい値論理回路網であって、該しきい値論理回路
網は誤差信号の該重み加算和による微分値を保持する機
能と該しきい値関数の微分値を出力する機能を有し、後
段の誤差信号の重み加算和による微分値と重み値と自己
の該しきい値関数の微分値の積を自己の該誤差信号の重
み加算和による微分値に累積加算する機能を有するしき
い値論理回路を複数個接続したことを特徴とする逆伝搬
学習機能付しきい値論理回路網。 - 【請求項３】 特許請求の範囲２項の逆伝搬学習機能
付しきい値論理回路網であって、該しきい値論理回路網
は誤差関数の該重み値に関する微分値と誤差関数のしき
い値に関する微分値の過去の計算結果、さらにその時の
重み値、しきい値を記録する機能を有し、該過去の計算
結果を使って該重み値、しきい値の更新値を作製するこ
とを特徴とする逆伝搬学習機能付しきい値論理回路網。 - 【請求項４】 特許請求の範囲第３項の逆伝搬学習機
能付しきい値論理回路網であって、該重み値、しきい値
の更新方法が誤差関数の該重み値に関する微分値および
誤差関数のしきい値に関する微分値を零にすることを特
徴とする逆伝搬学習機能付しきい値論理回路網。 - 【請求項５】 特許請求の範囲第４項の逆伝搬学習機
能付しきい値論理回路網であって、該重み値、しきい値
の更新に、誤差関数の該重み値に関する微分値および誤
差関数のしきい値に関する微分値の微分値を過去の誤差
関数の該重み値に関する微分値および誤差関数のしきい
値に関する微分値を使って近似計算し、該誤差関数の該
重み値に関する微分値および誤差関数のしきい値と該近
似値の商に比例した値で更新することを特徴とする逆伝
搬学習機能付しきい値論理回路網。 - 【請求項６】 特許請求の範囲第５項の逆伝搬学習機
能付しきい値論理回路網であって、該近似計算値に、着
目時と前回の該誤差関数の該重み値に関する微分値およ
び誤差関数のしきい値に関する微分値の差とその時の重
み値、しきい値の差の商を使うことを特徴とする逆伝搬
学習機能付しきい値論理回路網。 - 【請求項７】 特許請求の範囲５項の逆伝搬学習機能
付しきい値論理回路網であって、近似計算に、過去の複
数の計算結果を多項式で近似することを特徴とする逆伝
搬学習機能付しきい値論理回路網。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3031075A JPH04270445A (ja) | 1991-02-26 | 1991-02-26 | 逆伝搬学習機能付しきい値論理回路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3031075A JPH04270445A (ja) | 1991-02-26 | 1991-02-26 | 逆伝搬学習機能付しきい値論理回路 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04270445A true JPH04270445A (ja) | 1992-09-25 |
Family
ID=12321321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3031075A Pending JPH04270445A (ja) | 1991-02-26 | 1991-02-26 | 逆伝搬学習機能付しきい値論理回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04270445A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06246520A (ja) * | 1993-02-26 | 1994-09-06 | Japan Steel Works Ltd:The | カメラ式基準穴明機の較正方法 |
-
1991
- 1991-02-26 JP JP3031075A patent/JPH04270445A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06246520A (ja) * | 1993-02-26 | 1994-09-06 | Japan Steel Works Ltd:The | カメラ式基準穴明機の較正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sakar et al. | Growing and pruning neural tree networks | |
| Zgurovsky et al. | The fundamentals of computational intelligence: System approach | |
| Karayiannis | Reformulated radial basis neural networks trained by gradient descent | |
| US5630023A (en) | Signal processor | |
| Ishibuchi et al. | Numerical analysis of the learning of fuzzified neural networks from fuzzy if–then rules | |
| Song et al. | Robust backpropagation training algorithm for multilayered neural tracking controller | |
| WO1989009449A1 (en) | Functional link neural net | |
| JP2747104B2 (ja) | ニューラルネットワーク | |
| Wilamowski | Neural network architectures and learning | |
| Li et al. | An algorithm for extracting fuzzy rules based on RBF neural network | |
| Wang et al. | A boosting-based deep neural networks algorithm for reinforcement learning | |
| Tang et al. | A columnar competitive model for solving combinatorial optimization problems | |
| Boers et al. | Evolving neural networks using the “Baldwin effect” | |
| Michel et al. | Qualitative limitations incurred in implementations of recurrent neural networks | |
| Wang | On the dynamics of discrete-time, continuous-state Hopfield neural networks | |
| JPH04270445A (ja) | 逆伝搬学習機能付しきい値論理回路 | |
| Subavathi et al. | Adaptive modified backpropagation algorithm based on differential errors | |
| Yen et al. | Hierarchical rank density genetic algorithm for radial-basis function neural network design | |
| Bangyal et al. | Forward only counter propagation network for balance scale weight & distance classification task | |
| JP3310009B2 (ja) | ニューラルネットワークシステム | |
| Ghorrati | A New Adaptive Learning algorithm to train Feed-Forward Multi-layer Neural Networks, Applied on Function Approximation Problem | |
| JP3276367B2 (ja) | 神経細胞回路網 | |
| Otadi | Simulation and evaluation of second-order fuzzy boundary value problems: M. Otadi | |
| De Jesus | Training general dynamic neural networks | |
| JPH05307624A (ja) | 信号処理装置 |