JPH09259100A - ニューラルネットワーク装置 - Google Patents
ニューラルネットワーク装置Info
- Publication number
- JPH09259100A JPH09259100A JP8062228A JP6222896A JPH09259100A JP H09259100 A JPH09259100 A JP H09259100A JP 8062228 A JP8062228 A JP 8062228A JP 6222896 A JP6222896 A JP 6222896A JP H09259100 A JPH09259100 A JP H09259100A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- neuron
- network device
- output
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 従来は、十分な学習収束性能を備えた大規模
なニューラルネットワーク装置を実現することが困難で
あった。 【解決手段】複数のニューロンブロック１からなる信号
処理層を複数段具備するニューラルネットワーク装置に
おいて、前記ニューロンブロックは順方向の入力信号を
加算する手段６と、この加算値を所定の関数値に変換す
る手段７と、この関数値を累積して保持する手段１０
と、逆方向の入力信号を加算する手段６と、前記所定の
関数の微係数を求める手段８と、前記加算された逆方向
の入力信号と前記微係数を乗算する手段９と、この乗算
出力を累積して保持する手段１１とを備えたことを特徴
とするニューラルネットワーク装置。
なニューラルネットワーク装置を実現することが困難で
あった。 【解決手段】複数のニューロンブロック１からなる信号
処理層を複数段具備するニューラルネットワーク装置に
おいて、前記ニューロンブロックは順方向の入力信号を
加算する手段６と、この加算値を所定の関数値に変換す
る手段７と、この関数値を累積して保持する手段１０
と、逆方向の入力信号を加算する手段６と、前記所定の
関数の微係数を求める手段８と、前記加算された逆方向
の入力信号と前記微係数を乗算する手段９と、この乗算
出力を累積して保持する手段１１とを備えたことを特徴
とするニューラルネットワーク装置。
Description
【０００１】
【発明の属する技術分野】本発明は大規模なネットワー
クをＬＳＩ上に実現するのに適するニューラルネットワ
ーク装置に関する。
クをＬＳＩ上に実現するのに適するニューラルネットワ
ーク装置に関する。
【０００２】
【従来の技術】ニューラルネットワーク装置は、個々に
は単純な処理をしているユニットを多数集めることによ
り全体として高度な処理を期待したものであり、従来困
難であったパターン認識や適応制御などの分野への応用
を目的として研究が進められている。
は単純な処理をしているユニットを多数集めることによ
り全体として高度な処理を期待したものであり、従来困
難であったパターン認識や適応制御などの分野への応用
を目的として研究が進められている。
【０００３】ニューラルネットワーク装置には学習とい
う重要な働きが不可欠である。その学習には多くの演算
を行い、逐次内部状態を更新することを必要とするため
に、学習を実用的な時間内に行わせるためには、そのニ
ューラルネットワークを実現するＬＳＩ上に学習機能を
備えていることが望ましい。
う重要な働きが不可欠である。その学習には多くの演算
を行い、逐次内部状態を更新することを必要とするため
に、学習を実用的な時間内に行わせるためには、そのニ
ューラルネットワークを実現するＬＳＩ上に学習機能を
備えていることが望ましい。
【０００４】ここで、いわゆる多層構造型ニューラルネ
ットワークの学習にはバックプロパゲーション法（以下
ＢＰ法とする）、あるいはその改良されたものが多く用
いられている。
ットワークの学習にはバックプロパゲーション法（以下
ＢＰ法とする）、あるいはその改良されたものが多く用
いられている。
【０００５】
【数１】
【０００６】従って、学習機能を備えたニューラルネッ
トワークＬＳＩでは、各シナプスに学習の履歴を保持す
る機能を持たせなければならない。ところがニューラル
ネットワークでは、シナプスはニューロン数のおよそ２
のべき乗倍の数が必要となる。よって、十分な学習性能
を持たせたまま大規模なネットワークを作ることとは非
常に困難であった。
トワークＬＳＩでは、各シナプスに学習の履歴を保持す
る機能を持たせなければならない。ところがニューラル
ネットワークでは、シナプスはニューロン数のおよそ２
のべき乗倍の数が必要となる。よって、十分な学習性能
を持たせたまま大規模なネットワークを作ることとは非
常に困難であった。
【０００７】
【発明が解決しようとする課題】このように従来のニュ
ーラルネットワーク装置では、学習機能をシナプスに持
たせていたために、シナプスの回路構成が複雑になり、
限られたチップ面積上に大規模なネットワークを構築す
るのが困難であった。
ーラルネットワーク装置では、学習機能をシナプスに持
たせていたために、シナプスの回路構成が複雑になり、
限られたチップ面積上に大規模なネットワークを構築す
るのが困難であった。
【０００８】そこで本発明の目的は、上記従来のニュー
ラルネットワーク装置の問題点を解決し、十分な学習性
能を備えた大規模なネットワークの実現を可能とするニ
ューラルネットワーク装置を提供することにある。
ラルネットワーク装置の問題点を解決し、十分な学習性
能を備えた大規模なネットワークの実現を可能とするニ
ューラルネットワーク装置を提供することにある。
【０００９】
【課題を解決するための手段】上記目的を達成するため
に、本発明においては、複数のニューロンブロックから
なる信号処理層を複数段具備するニューラルネットワー
ク装置において、前記ニューロンブロックは順方向の入
力信号を加算する手段と、この加算値を所定の関数値に
変換する手段と、この関数値を累積して保持する手段
と、逆方向の入力信号を加算する手段と、前記所定の関
数の微係数を求める手段と、前記加算された逆方向の入
力信号と前記微係数を乗算する手段と、この乗算出力を
累積して保持する手段とを備えたことを特徴とする。
に、本発明においては、複数のニューロンブロックから
なる信号処理層を複数段具備するニューラルネットワー
ク装置において、前記ニューロンブロックは順方向の入
力信号を加算する手段と、この加算値を所定の関数値に
変換する手段と、この関数値を累積して保持する手段
と、逆方向の入力信号を加算する手段と、前記所定の関
数の微係数を求める手段と、前記加算された逆方向の入
力信号と前記微係数を乗算する手段と、この乗算出力を
累積して保持する手段とを備えたことを特徴とする。
【００１０】また本発明によるニューラルネットワーク
装置は、複数のパターンを学習するために必要な学習の
履歴を蓄積する機能をニューロンに備えていることを特
徴とする。
装置は、複数のパターンを学習するために必要な学習の
履歴を蓄積する機能をニューロンに備えていることを特
徴とする。
【００１１】本発明のニューラルネットワーク装置によ
れば、学習の履歴をニューロンに持たせることにより、
各シナプスでの処理機能を少なくしてシナプスの回路構
成を簡単にすることができる。これによりニューラルネ
ットワーク装置全体としては大幅なハードウェア量の削
減となり、限られた面積を持つＬＳＩ上に十分な学習性
能を維持しつつ大規模なネットワークを構築することが
できる。
れば、学習の履歴をニューロンに持たせることにより、
各シナプスでの処理機能を少なくしてシナプスの回路構
成を簡単にすることができる。これによりニューラルネ
ットワーク装置全体としては大幅なハードウェア量の削
減となり、限られた面積を持つＬＳＩ上に十分な学習性
能を維持しつつ大規模なネットワークを構築することが
できる。
【００１２】
【発明の実施の形態】以下、本発明の実施例を図面を参
照しつつ説明する。
照しつつ説明する。
【００１３】
【数２】 であらわされるエネルギー曲面をその勾配方向に向かっ
て極小または最小値まで進めようとする値である。
て極小または最小値まで進めようとする値である。
【００１４】図１に２入力- 中間層２ニューロン- １出
力のネットワークに問題を学習させたときの慣性係数α
と収束率の関係を示す。縦軸は1000個の異なる初期値に
ついて1000回の学習繰り返しの後学習に成功した数を示
す。図から慣性係数αの値が０．５程度までであれば収
束率は良く、大き過ぎると学習収束性が悪くなっている
ことがわかる。
力のネットワークに問題を学習させたときの慣性係数α
と収束率の関係を示す。縦軸は1000個の異なる初期値に
ついて1000回の学習繰り返しの後学習に成功した数を示
す。図から慣性係数αの値が０．５程度までであれば収
束率は良く、大き過ぎると学習収束性が悪くなっている
ことがわかる。
【００１５】したがって式（２）のように慣性係数を含
む項を持たせることにより複数のパターンを学習させる
ときの学習収束性を高めることが可能となるが、この時
の慣性係数はあまり大きな値に設定しない方がよい。次
に式（２）を書き直すと次式のようになる。
む項を持たせることにより複数のパターンを学習させる
ときの学習収束性を高めることが可能となるが、この時
の慣性係数はあまり大きな値に設定しない方がよい。次
に式（２）を書き直すと次式のようになる。
【００１６】
【数３】
【００１７】慣性係数αは過去の学習の履歴の減衰の度
合を表しており、この値がある程度以上に大きくなる
と、その繰り返しの重みの更新量がその時点での勾配方
向から離れて学習収束性を悪くしていることがわかる。
合を表しており、この値がある程度以上に大きくなる
と、その繰り返しの重みの更新量がその時点での勾配方
向から離れて学習収束性を悪くしていることがわかる。
【００１８】このことは見方を変えると次のようにも考
えられる。複数のパターンを繰り返し提示して学習をお
こなうとき、式（６）の右辺第１項は現在の重みの値で
決まる点における、その提示パターンに対するエネルギ
ー曲面の勾配情報を持っている。ところが右辺第２項に
含まれている情報は、以前の重みの値の点における別の
提示パターンに対するエネルギー曲面の勾配情報であ
り、現時点での重みの更新には関係の薄い情報である。
えられる。複数のパターンを繰り返し提示して学習をお
こなうとき、式（６）の右辺第１項は現在の重みの値で
決まる点における、その提示パターンに対するエネルギ
ー曲面の勾配情報を持っている。ところが右辺第２項に
含まれている情報は、以前の重みの値の点における別の
提示パターンに対するエネルギー曲面の勾配情報であ
り、現時点での重みの更新には関係の薄い情報である。
【００１９】またＢＰ法で、主に学習がローカルミニマ
ムに落ち込むことを避ける目的で重みの更新量にランダ
ムノイズを乗せる手法が知られている。このとき重みの
更新の式（２）は、
ムに落ち込むことを避ける目的で重みの更新量にランダ
ムノイズを乗せる手法が知られている。このとき重みの
更新の式（２）は、
【００２０】
【数４】 という形になる。この場合ランダムノイズの大きさが学
習収束性と関係しており、ランダムノイズが小さいとき
には効果があるが、ランダムノイズがある程度大きくな
ると学習収束性を悪くする。図２にランダムノイズの大
きさと学習収束性の関係のグラフを示す。
習収束性と関係しており、ランダムノイズが小さいとき
には効果があるが、ランダムノイズがある程度大きくな
ると学習収束性を悪くする。図２にランダムノイズの大
きさと学習収束性の関係のグラフを示す。
【００２１】次に図３に示すように各ニューロンにその
前向き出力及び逆伝搬出力を慣性係数αを持たせて累積
をとる機能を持たせた場合のニューロンの構成例を示
す。前向き信号入力端子２より入力された順方向信号は
入力総和部６により加算された後、非線形関数生成部７
で所定の関数値に変換され前向き信号出力端子３から出
力される。一方逆向き信号入力端子４から入力された逆
方向信号は入力総和部６により加算された後、非線形関
数微係数生成部８により求められた微係数と乗算部９で
乗算され、逆向き信号出力端子５から出力される。
前向き出力及び逆伝搬出力を慣性係数αを持たせて累積
をとる機能を持たせた場合のニューロンの構成例を示
す。前向き信号入力端子２より入力された順方向信号は
入力総和部６により加算された後、非線形関数生成部７
で所定の関数値に変換され前向き信号出力端子３から出
力される。一方逆向き信号入力端子４から入力された逆
方向信号は入力総和部６により加算された後、非線形関
数微係数生成部８により求められた微係数と乗算部９で
乗算され、逆向き信号出力端子５から出力される。
【００２２】ここで順方向信号の出力の累積値を記憶す
る前向き信号累積記憶部１０を前向き信号出力端子の前
段に設けると共に、逆方向信号の出力の累積値を記憶す
る逆向き信号累積記憶部１２を逆向き信号出力端子５の
前段に設けることにより、ニューロンの数に比例した数
の記憶部を具備するだけで出力の履歴を保持することが
可能となり、ハードウェアの増大を抑制しつつ十分な学
習機能を備えたニューラルネットワーク装置を構成する
ことが可能となる。この時重みの更新量は次式のよう
に、前段のニューロン出力の累積値と後段のニューロン
の逆伝搬出力の累積値の積に比例係数ηを掛けたものと
する。
る前向き信号累積記憶部１０を前向き信号出力端子の前
段に設けると共に、逆方向信号の出力の累積値を記憶す
る逆向き信号累積記憶部１２を逆向き信号出力端子５の
前段に設けることにより、ニューロンの数に比例した数
の記憶部を具備するだけで出力の履歴を保持することが
可能となり、ハードウェアの増大を抑制しつつ十分な学
習機能を備えたニューラルネットワーク装置を構成する
ことが可能となる。この時重みの更新量は次式のよう
に、前段のニューロン出力の累積値と後段のニューロン
の逆伝搬出力の累積値の積に比例係数ηを掛けたものと
する。
【００２３】
【数５】
【００２４】ここで慣性係数αが小さいとき（８）式の
右辺第３項および第４項はノイズとして扱うことができ
る、αが大きくなるとこの項の影響が無視できなくなり
学習収束性は悪くなる。
右辺第３項および第４項はノイズとして扱うことができ
る、αが大きくなるとこの項の影響が無視できなくなり
学習収束性は悪くなる。
【００２５】図４に本発明による学習収束性を示すグラ
フを示す。図１同様に2-2-1 ネットワークにEXOR問題を
学習させたときの収束率を示している。図よりＢＰ法同
様慣性係数αが小さいところで良好な学習収束性を持
ち、その度合はＢＰ法と同等であることがわかる。さら
に図５に示す学習の繰り返しと誤差の関係のグラフから
も、本発明による学習法がＢＰ法同様に誤差が変化して
いる様子がわかる。
フを示す。図１同様に2-2-1 ネットワークにEXOR問題を
学習させたときの収束率を示している。図よりＢＰ法同
様慣性係数αが小さいところで良好な学習収束性を持
ち、その度合はＢＰ法と同等であることがわかる。さら
に図５に示す学習の繰り返しと誤差の関係のグラフから
も、本発明による学習法がＢＰ法同様に誤差が変化して
いる様子がわかる。
【００２６】従って、従来各シナプスに持たせていた学
習の履歴を各ニューロンに持たせてもＢＰ法と同等の学
習性能が得られることがわかる。さらに、ノイズとして
扱った（８）式の右辺第３項および第４項は逆伝搬信号
δを含んでいるために、学習がすすむにつれてこの項は
小さくなりノイズの大きさも小さくなる。
習の履歴を各ニューロンに持たせてもＢＰ法と同等の学
習性能が得られることがわかる。さらに、ノイズとして
扱った（８）式の右辺第３項および第４項は逆伝搬信号
δを含んでいるために、学習がすすむにつれてこの項は
小さくなりノイズの大きさも小さくなる。
【００２７】以上説明したようにニューロン部にその出
力を累積する機能ブロックを組み込むと、個々のニュー
ロン部という視点からはハードウェア量の増加になる
が、システム全体の視点からはハードウェア量の減少に
つながる。例えば１層あたり１００ニューロンの３層構
造ネットワーク規模で考えると、従来のように各シナプ
スに重みの更新の履歴を累積する機能を持たせると２０
０００個のメモリブロックが必要となるのに対して、各
ニューロンに持たせると４００個のメモリブロックで足
りることになる。一般にニューラルネットワークではニ
ューロン規模（ニューロン数）をＮとしたときシナプス
の数はＮの累乗に近い値となる。従って大規模なネット
ワークほど本発明の優位性が顕著になる。
力を累積する機能ブロックを組み込むと、個々のニュー
ロン部という視点からはハードウェア量の増加になる
が、システム全体の視点からはハードウェア量の減少に
つながる。例えば１層あたり１００ニューロンの３層構
造ネットワーク規模で考えると、従来のように各シナプ
スに重みの更新の履歴を累積する機能を持たせると２０
０００個のメモリブロックが必要となるのに対して、各
ニューロンに持たせると４００個のメモリブロックで足
りることになる。一般にニューラルネットワークではニ
ューロン規模（ニューロン数）をＮとしたときシナプス
の数はＮの累乗に近い値となる。従って大規模なネット
ワークほど本発明の優位性が顕著になる。
【００２８】
【発明の効果】以上説明したように本発明によれば、各
ニューロンにその出力の履歴を累積する機能を持たせて
いるために、システム全体としてはニューロン数に比例
した数の記憶部を必要とする。ところがこれは従来のよ
うに各シナプスに学習の履歴を持たせた場合のニューロ
ン数の２乗に比例した数の要求よりも少ない。従って大
規模なネットワークをハードウェア化することに非常に
有効である。
ニューロンにその出力の履歴を累積する機能を持たせて
いるために、システム全体としてはニューロン数に比例
した数の記憶部を必要とする。ところがこれは従来のよ
うに各シナプスに学習の履歴を持たせた場合のニューロ
ン数の２乗に比例した数の要求よりも少ない。従って大
規模なネットワークをハードウェア化することに非常に
有効である。
【図１】 ＢＰ法での慣性係数αと学習収束性の関係を
表した図。
表した図。
【図２】 ＢＰ法にノイズを乗せたときのノイズの大き
さと学習収束性の関係を表した図。
さと学習収束性の関係を表した図。
【図３】 本発明のニューロン構成を表した図。
【図４】 本発明による学習法での慣性係数αと学習収
束性の関係を表した図。
束性の関係を表した図。
【図５】 ＢＰ法と本発明による学習法での学習の繰り
返しと誤差の関係の関係を表した図。
返しと誤差の関係の関係を表した図。
１…ニューロン，２…前向き信号入力，３…前向き信号
出力，４…逆向き信号入力，５…逆向き信号出力，６…
入力総和部，７…非線形関数生成部，８…非線形関数微
係数生成部，９…乗算部，１０…前向き信号出力累積記
憶部，１１…逆向き信号累積記憶部
出力，４…逆向き信号入力，５…逆向き信号出力，６…
入力総和部，７…非線形関数生成部，８…非線形関数微
係数生成部，９…乗算部，１０…前向き信号出力累積記
憶部，１１…逆向き信号累積記憶部
Claims (8)
- 【請求項１】複数のニューロンブロックからなる信号処
理層を複数段具備するニューラルネットワーク装置にお
いて、前記ニューロンブロックは順方向の入力信号を加
算する手段と、この加算値を所定の関数値に変換する手
段と、この関数値を累積して保持する手段と、逆方向の
入力信号を加算する手段と、前記所定の関数の微係数を
求める手段と、前記加算された逆方向の入力信号と前記
微係数を乗算する手段と、この乗算出力を累積して保持
する手段とを備えたことを特徴とするニューラルネット
ワーク装置。 - 【請求項２】多層構造型ニューラルネットワークを構成
する個々のニューロンブロックに当該ニューロンの出力
を累積する機能を持ったことを特徴とするニューラルネ
ットワーク装置。 - 【請求項３】前記ニューロンの出力は入力層側から出力
層側へ向かう前向き信号と出力層側から入力層側へ向か
う逆伝搬信号とした請求項２記載のニューラルネットワ
ーク装置。 - 【請求項４】前記ニューロンの出力を累積する機能部で
は過去の値に慣性係数αを掛けることを特徴とする請求
項３記載のニューラルネットワーク装置。 - 【請求項５】前記慣性係数αの値を１以下と限定するこ
とを特徴とする請求項４記載のニューラルネットワーク
装置。 - 【請求項６】シナプスの重みの更新は前記ニューロン出
力の累積値をもとになされることを特徴とする請求項２
記載のニューラルネットワーク装置。 - 【請求項７】前記ニューロン出力の累積値をゼロクリア
する機能を持ったことを特徴とする請求項２記載のニュ
ーラルネットワーク装置。 - 【請求項８】請求項６記載のニューラルネットワーク装
置において、ゼロクリア操作を一連のパターン提示のサ
イクルが始まるときに行うことを特徴とするニューラル
ネットワーク装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8062228A JPH09259100A (ja) | 1996-03-19 | 1996-03-19 | ニューラルネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8062228A JPH09259100A (ja) | 1996-03-19 | 1996-03-19 | ニューラルネットワーク装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09259100A true JPH09259100A (ja) | 1997-10-03 |
Family
ID=13194101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8062228A Pending JPH09259100A (ja) | 1996-03-19 | 1996-03-19 | ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09259100A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019095861A (ja) * | 2017-11-17 | 2019-06-20 | 株式会社東芝 | ニューラルネットワーク装置 |
-
1996
- 1996-03-19 JP JP8062228A patent/JPH09259100A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019095861A (ja) * | 2017-11-17 | 2019-06-20 | 株式会社東芝 | ニューラルネットワーク装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Doon et al. | Cifar-10 classification using deep convolutional neural network | |
| Wan | Time series prediction by using a connectionist network with internal delay lines | |
| Yu et al. | Dynamic learning rate optimization of the backpropagation algorithm | |
| DE69032680T2 (de) | Neuronaler Rechner | |
| JPH02193251A (ja) | エラー後方伝ぱん法と神経網システム | |
| Wan | Finite impulse response neural networks for autoregressive time series prediction | |
| Wilamowski et al. | Neural network trainer with second order learning algorithms | |
| JPH06266868A (ja) | ニューロン素子 | |
| JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
| JPH09259100A (ja) | ニューラルネットワーク装置 | |
| Salomon | Improved convergence rate of back-propagation with dynamic adaption of the learning rate | |
| Campolucci et al. | On-line learning algorithms for neural networks with IIR synapses | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP3508783B2 (ja) | パルス密度型信号処理回路網における結合係数更新方法並びに結合係数更新装置 | |
| Hattori et al. | Episodic associative memories | |
| KR950002423B1 (ko) | 신경회로망장치 | |
| JPH09185596A (ja) | パルス密度型信号処理回路網における結合係数更新方法 | |
| Magoulas et al. | A training method for discrete multilayer neural networks | |
| Jankowski et al. | Statistical control of growing and pruning in RBF-like neural networks | |
| JP2679731B2 (ja) | パイプライン処理を用いたニューラルアーキテクチュア | |
| Zhu et al. | Nonlinear system identification using genetic algorithm based recurrent neural networks | |
| JPH0394364A (ja) | ニューラルネットワーク | |
| JPH04199259A (ja) | ニューラルネットワーク、ニューラルネットワークの想起方法および学習方法または装置 | |
| ZHU et al. | A training algorithm for multilayer neural networks of hard-limiting units with random bias | |
| JPH07230437A (ja) | フィードフォワード型ニューラルネットワークの構築方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040702 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041119 |