JPH06131482A - アナログニューラルネットワーク回路 - Google Patents
アナログニューラルネットワーク回路Info
- Publication number
- JPH06131482A JPH06131482A JP4276307A JP27630792A JPH06131482A JP H06131482 A JPH06131482 A JP H06131482A JP 4276307 A JP4276307 A JP 4276307A JP 27630792 A JP27630792 A JP 27630792A JP H06131482 A JPH06131482 A JP H06131482A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- circuit
- pattern vector
- coupling strength
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Discrimination (AREA)
Abstract
(57)【要約】
【目的】 本発明の目的は、学習機能組込み型のニュー
ラルネットワーク回路において、回路のオフセット誤差
による不完全な学習を回避するためのニューラルネット
ワーク回路を提供することを目的とする。 【構成】 本発明は、学習パターンベクトルを学習ため
の学習過程が教師パターンベクトルを誤差信号として所
定の学習則を実行し、第１の結合強度変更量を計算する
過程と、ネットワーク出力パターンベクトルを誤差信号
として学習則を実行し、第２の結合強度変更量を計算す
る過程と、第１及び第２の結合強度変更量の差に比例し
た量で結合強度を更新する過程とを有し、これらの過程
を複数の学習パターンについて繰り返すことにより学習
を行う回路を含む。
ラルネットワーク回路において、回路のオフセット誤差
による不完全な学習を回避するためのニューラルネット
ワーク回路を提供することを目的とする。 【構成】 本発明は、学習パターンベクトルを学習ため
の学習過程が教師パターンベクトルを誤差信号として所
定の学習則を実行し、第１の結合強度変更量を計算する
過程と、ネットワーク出力パターンベクトルを誤差信号
として学習則を実行し、第２の結合強度変更量を計算す
る過程と、第１及び第２の結合強度変更量の差に比例し
た量で結合強度を更新する過程とを有し、これらの過程
を複数の学習パターンについて繰り返すことにより学習
を行う回路を含む。
Description
【０００１】
【産業上の利用分野】本発明はアナログニューラルネッ
トワーク回路に係り、特に、実際の出力と望ましい出力
の差を小さくするように学習を行う、いわゆる誤り訂正
型学習機能を内蔵したアナログニューラルネットワーク
回路に関する。
トワーク回路に係り、特に、実際の出力と望ましい出力
の差を小さくするように学習を行う、いわゆる誤り訂正
型学習機能を内蔵したアナログニューラルネットワーク
回路に関する。
【０００２】
【従来の技術】ニューラルネットワーク回路とは、生物
の神経回路網をモデル化した回路であり、近年、従来の
ノイマン型計算機では難しかった文字認識や音声認識等
のパターン認識処理、最適化問題の近似求解、ロボット
制御などに有効であると期待されている。
の神経回路網をモデル化した回路であり、近年、従来の
ノイマン型計算機では難しかった文字認識や音声認識等
のパターン認識処理、最適化問題の近似求解、ロボット
制御などに有効であると期待されている。
【０００３】ニューラルネットワークの重要な機能のひ
とつは、学習によって、与えられたデータ間の関係を自
動的に確立することである。このため、予めアルゴリズ
ムのわかっていない処理に対しても適応能力がある。
とつは、学習によって、与えられたデータ間の関係を自
動的に確立することである。このため、予めアルゴリズ
ムのわかっていない処理に対しても適応能力がある。
【０００４】学習方法にはいろいろな種類があるが、誤
り訂正学習法は広く検討されているもののひとつであ
る。これはニューラルネットワークの出力と正しい答え
である教師信号とが食い違っていた時にそれを正すよう
に結合強度を変更していく学習法である。なかでも、
「誤差逆伝搬学習法」（バックプロパゲーション法とも
いう、以下、ＢＰ法と略記）は能力が高く、様々な応用
が検討されている。これを以下に簡単に説明する。
り訂正学習法は広く検討されているもののひとつであ
る。これはニューラルネットワークの出力と正しい答え
である教師信号とが食い違っていた時にそれを正すよう
に結合強度を変更していく学習法である。なかでも、
「誤差逆伝搬学習法」（バックプロパゲーション法とも
いう、以下、ＢＰ法と略記）は能力が高く、様々な応用
が検討されている。これを以下に簡単に説明する。
【０００５】ネットワークの構成は層状ネットワークで
層内のニューロン間には結合がなく、層間のニューロン
間は相互に結合し、信号は入力層から中間層を経て出力
層に一方通行で伝わるものである。
層内のニューロン間には結合がなく、層間のニューロン
間は相互に結合し、信号は入力層から中間層を経て出力
層に一方通行で伝わるものである。
【０００６】図４は３層ネットワーク構造の概念図を示
す。ＢＰ法については文献：“PARALLEL DISTRIBUTED P
ROCESSING ”（パラレル・ディストリビューティッド・
プロセシング）D.E.Rumelhart, J.L.McClelland, and t
he PDP Research Group (D.E. ラメルハート、J.L.マッ
カランドとPDP 研究グループ) 、MIT Press,1986年第１
巻第８章（３１８ページ〜）などに詳しく述べられてい
るが、ここでは結果だけを簡単に説明する。
す。ＢＰ法については文献：“PARALLEL DISTRIBUTED P
ROCESSING ”（パラレル・ディストリビューティッド・
プロセシング）D.E.Rumelhart, J.L.McClelland, and t
he PDP Research Group (D.E. ラメルハート、J.L.マッ
カランドとPDP 研究グループ) 、MIT Press,1986年第１
巻第８章（３１８ページ〜）などに詳しく述べられてい
るが、ここでは結果だけを簡単に説明する。
【０００７】出力層に近い方を上層、入力層に近い方を
下方と定義すると、ある上層ニューロンｉと、すぐ下の
下層ニューロンｊについては以下の入出力関係が成り立
つ。
下方と定義すると、ある上層ニューロンｉと、すぐ下の
下層ニューロンｊについては以下の入出力関係が成り立
つ。
【数１】 ここで、ｕi 及びｏi はそれぞれニューロンｉの内部状
態及び出力値であり、ｗ ijはシナプス結合強度である。
伝達関数ｆは出力値が有限の単調増加なＳ字型の関数
で、よく用いられる関数としてはロジスティック関数；
態及び出力値であり、ｗ ijはシナプス結合強度である。
伝達関数ｆは出力値が有限の単調増加なＳ字型の関数
で、よく用いられる関数としてはロジスティック関数；
【数２】 がある。ここで、λはニューロンのゲインを表す係数で
ある。
ある。
【０００８】次に、学習アルゴリズムは以下のようにな
る。学習の進み具合を評価する評価関数Ｅは出力信号と
教師信号との差（誤差）で表され、通常出力層ニューロ
ンの出力をｏi 、教師信号をｔi として
る。学習の進み具合を評価する評価関数Ｅは出力信号と
教師信号との差（誤差）で表され、通常出力層ニューロ
ンの出力をｏi 、教師信号をｔi として
【数３】 とする。学習はこの評価関数が小さくなるように結合強
度ｗijを変化させていく過程である。通常のＢＰ学習で
は最急降下法と呼ばれる方法が採用され、結合強度の変
化量は、
度ｗijを変化させていく過程である。通常のＢＰ学習で
は最急降下法と呼ばれる方法が採用され、結合強度の変
化量は、
【数４】 で表される。ここでεは修正量を決める学習パラメータ
である。これを微分のチェーンルールで書き換えていく
と、
である。これを微分のチェーンルールで書き換えていく
と、
【数５】 となる。
【０００９】出力層ニューロンｉにおいて（６）式は ζi ＝ｔi −ｏi （１０） となるので、中間層ニューロンｊとの間のシナプス結合
強度の修正量Δｗijは、（９）式で与えられる。
強度の修正量Δｗijは、（９）式で与えられる。
【００１０】以下再び、（８）、（７）及び（９）式を
順に用いて、下層に向かってシナプス強度修正量を計算
していく。このように学習用の信号は本来処理すべき信
号とは逆の方向に伝搬していく。よって、以後ζを逆伝
搬信号と呼ぶ。
順に用いて、下層に向かってシナプス強度修正量を計算
していく。このように学習用の信号は本来処理すべき信
号とは逆の方向に伝搬していく。よって、以後ζを逆伝
搬信号と呼ぶ。
【００１１】以上の計算を入力データと教師データの各
組について何度も繰り返し行っていくと、（４）式で示
される出力誤差が小さくなるように学習が進んでいく。
組について何度も繰り返し行っていくと、（４）式で示
される出力誤差が小さくなるように学習が進んでいく。
【００１２】ＢＰ学習をアナログＬＳＩで実行するひと
つの方法は、文献：「T. Morie, O.Fujita, and Y. Ame
miya,“Analog VLSI Implementation of Adaptive Algo
rithms by an Extended Hebbian Synapse Circuit, ”I
EICE Trans. Electron., vol. E75-C, pp. 303-311, 19
92 」または、特願平２−４０２９２８に述べられてい
る。
つの方法は、文献：「T. Morie, O.Fujita, and Y. Ame
miya,“Analog VLSI Implementation of Adaptive Algo
rithms by an Extended Hebbian Synapse Circuit, ”I
EICE Trans. Electron., vol. E75-C, pp. 303-311, 19
92 」または、特願平２−４０２９２８に述べられてい
る。
【００１３】ここで、図５に従来のＢＰ学習内蔵型アナ
ログニューラルネットワーク回路構成を示す。同図
（Ａ）は同図（Ｂ）の構成のＢＰニューロン・ブロック
Ｎi と同図（Ｃ）の構成のシナプスブロックＳijにより
構成された２−２−２ＢＰネットを示す。同図（Ｂ）の
ＢＰニューロン・ブロックＮi は、乗算器Ｍ１〜Ｍ６
と、差動アンプＡ１、導関数生成回路３０より構成され
る。式（１）で求められる量が乗算器Ｍ２，Ｍ３に入力
される。乗算器Ｍ３に入力された信号は、ｏj ＝ｆ（ｕ
i ）と変換され、出力される。一方、乗算器Ｍ２に入力
された信号は、導関数発生回路３０を経て、誤差信号δ
i を出力する。
ログニューラルネットワーク回路構成を示す。同図
（Ａ）は同図（Ｂ）の構成のＢＰニューロン・ブロック
Ｎi と同図（Ｃ）の構成のシナプスブロックＳijにより
構成された２−２−２ＢＰネットを示す。同図（Ｂ）の
ＢＰニューロン・ブロックＮi は、乗算器Ｍ１〜Ｍ６
と、差動アンプＡ１、導関数生成回路３０より構成され
る。式（１）で求められる量が乗算器Ｍ２，Ｍ３に入力
される。乗算器Ｍ３に入力された信号は、ｏj ＝ｆ（ｕ
i ）と変換され、出力される。一方、乗算器Ｍ２に入力
された信号は、導関数発生回路３０を経て、誤差信号δ
i を出力する。
【００１４】また、同図（Ｃ）のシナプス・ブロックＳ
ijは、乗算器Ｍ４〜Ｍ６と、結合強度制御回路（以下Ｗ
ＰＵと略記）３１から構成される。シナプス・ブロック
では下層ニューロン回路ｊからの出力値であるｏj とＷ
ＰＵ３１からの出力値ｗijが乗算器Ｍ６に入力され、そ
の乗算結果であるｗijｏj が上層ニューロンブロックに
出力される。また、乗算器Ｍ５には入力信号として下層
ニューロンｊからの出力値であるｏj と上層ニューロン
ｉからの誤差信号δi が入力され、この２つの値が乗算
される。その結果ΔｗijはＷＰＵ３１の入力となる。Ｗ
ＰＵ３１はシナプス結合強度を記憶すると共に入力され
た結合強度修正信号に基づいて結合強度の修正を行い、
その値を乗算器Ｍ４及びＭ６に出力する。乗算器Ｍ４は
誤差信号δi とΔｗijを乗算してｗijδi を出力する。
ijは、乗算器Ｍ４〜Ｍ６と、結合強度制御回路（以下Ｗ
ＰＵと略記）３１から構成される。シナプス・ブロック
では下層ニューロン回路ｊからの出力値であるｏj とＷ
ＰＵ３１からの出力値ｗijが乗算器Ｍ６に入力され、そ
の乗算結果であるｗijｏj が上層ニューロンブロックに
出力される。また、乗算器Ｍ５には入力信号として下層
ニューロンｊからの出力値であるｏj と上層ニューロン
ｉからの誤差信号δi が入力され、この２つの値が乗算
される。その結果ΔｗijはＷＰＵ３１の入力となる。Ｗ
ＰＵ３１はシナプス結合強度を記憶すると共に入力され
た結合強度修正信号に基づいて結合強度の修正を行い、
その値を乗算器Ｍ４及びＭ６に出力する。乗算器Ｍ４は
誤差信号δi とΔｗijを乗算してｗijδi を出力する。
【００１５】図６は、図５（Ｃ）の結合強度制御回路
（ＷＰＵ）の構成を示す。また、図７は図５（Ｂ），
（Ｃ）に用いられている差動アンプＡ１、乗算器Ｍ１〜
Ｍ６の構成を示す。図７（Ａ）の差動アンプはノイズや
基準レベルの変動に強い差動型のアンプであり、適切な
アナログ動作を行うためのバイアス電圧が印加される。
図７（Ｂ）の乗算器は、同様に適切なバイアス電圧が印
加された電圧入力・電流出力の差動型四象限乗算器であ
る。
（ＷＰＵ）の構成を示す。また、図７は図５（Ｂ），
（Ｃ）に用いられている差動アンプＡ１、乗算器Ｍ１〜
Ｍ６の構成を示す。図７（Ａ）の差動アンプはノイズや
基準レベルの変動に強い差動型のアンプであり、適切な
アナログ動作を行うためのバイアス電圧が印加される。
図７（Ｂ）の乗算器は、同様に適切なバイアス電圧が印
加された電圧入力・電流出力の差動型四象限乗算器であ
る。
【００１６】図８は図５（Ｂ）に示す導関数生成回路３
０の回路図である。導関数生成回路３０は、式（７）で
用いられる伝達関数ｆの導関数ｆ’を求める。これは、
式（３）より
０の回路図である。導関数生成回路３０は、式（７）で
用いられる伝達関数ｆの導関数ｆ’を求める。これは、
式（３）より
【数６】 が成り立つので、乗算器を利用した自乗演算回路を少し
改変したもので計算できるのである。
改変したもので計算できるのである。
【００１７】ここで、図５（Ｃ）に用いられている結合
強度制御回路ＷＰＵ（以下ＷＰＵ回路）の動作原理を図
６により説明する。
強度制御回路ＷＰＵ（以下ＷＰＵ回路）の動作原理を図
６により説明する。
【００１８】ＷＰＵ回路の電圧−パルス変換回路１０で
は、入力端子１３、１４から入力されたアナログ信号で
ある結合強度修正信号Δｗijを三角波形を有する比較電
圧端子１５から入力された比較信号と比較することによ
って、入力信号電圧に比例したパルス幅を有する複数の
パルス信号に変換し、これをもとに記憶素子であるフロ
ーティングゲート素子またはキャパシタなどの電荷蓄積
素子に対して電荷の注入・引抜きを行う。記憶回路１１
では記憶素子の書込み特性の非線形性（ヒステリシス）
を緩和するため、フィードバック回路を付加して、記憶
素子に常に一定の書込みバイアスが印加されるようにし
てある。結合強度ｗijはこの電荷量に比例した電圧とし
て読み出され、出力される。パルス信号で書込みを行う
理由はアナログ電圧で行う場合に比べて書込み精度（線
形性）が向上するからである。また、結合強度の初期化
については、ＷＰＵ回路の入力と出力を反転して結合す
ることにより結合強度をほぼ０にすることができる。
は、入力端子１３、１４から入力されたアナログ信号で
ある結合強度修正信号Δｗijを三角波形を有する比較電
圧端子１５から入力された比較信号と比較することによ
って、入力信号電圧に比例したパルス幅を有する複数の
パルス信号に変換し、これをもとに記憶素子であるフロ
ーティングゲート素子またはキャパシタなどの電荷蓄積
素子に対して電荷の注入・引抜きを行う。記憶回路１１
では記憶素子の書込み特性の非線形性（ヒステリシス）
を緩和するため、フィードバック回路を付加して、記憶
素子に常に一定の書込みバイアスが印加されるようにし
てある。結合強度ｗijはこの電荷量に比例した電圧とし
て読み出され、出力される。パルス信号で書込みを行う
理由はアナログ電圧で行う場合に比べて書込み精度（線
形性）が向上するからである。また、結合強度の初期化
については、ＷＰＵ回路の入力と出力を反転して結合す
ることにより結合強度をほぼ０にすることができる。
【００１９】
【発明が解決しようとする課題】一般にアナログ回路で
ＢＰ学習を行う場合、計算精度が十分得られにくいとい
う問題がある。ディジタル回路の場合は計算が回路で決
定されるビット精度の固定小数点演算となるので、学習
能力に及ぼす影響をシミュレーションしやすいが、アナ
ログ回路の場合はいろいろな要因を考慮しなければなら
ないので、あまり検討されていない。われわれが検討し
た結果は上記の文献に述べられているが、ＢＰ学習に及
ぼす影響が極端に大きいのは、学習過程で加わる時間的
に一定なオフセット誤差である。これは、式（８）及び
（９）を以下のようにおくことにより、
ＢＰ学習を行う場合、計算精度が十分得られにくいとい
う問題がある。ディジタル回路の場合は計算が回路で決
定されるビット精度の固定小数点演算となるので、学習
能力に及ぼす影響をシミュレーションしやすいが、アナ
ログ回路の場合はいろいろな要因を考慮しなければなら
ないので、あまり検討されていない。われわれが検討し
た結果は上記の文献に述べられているが、ＢＰ学習に及
ぼす影響が極端に大きいのは、学習過程で加わる時間的
に一定なオフセット誤差である。これは、式（８）及び
（９）を以下のようにおくことにより、
【数７】
【００２０】図５の例において、乗算器Ｍ４，Ｍ５に生
じるオフセットに相当する。両者は同程度に学習に影響
するが、乗算器Ｍ５の学習に成功する割合のシミュレー
ション結果を示す。
じるオフセットに相当する。両者は同程度に学習に影響
するが、乗算器Ｍ５の学習に成功する割合のシミュレー
ション結果を示す。
【００２１】図９は従来のＢＰ学習回路において乗算器
Ｍ５でのオフセット誤差が学習成功率に及ぼす影響を示
すシミュレーション結果である。同図は、従来のＢＰ学
習回路において、乗算器Ｍ５に最大オフセット量で上限
を規定された任意の量のオフセットがランダムに組み込
まれた場合の学習成功率を示す。結合強度は［−１，
１］に限定してあるので、オフセット量はこの意味で規
格化されている。このシミュレーション結果は、２−２
−１の三層ネットークで排他論理和の関係を学習させた
結果であり、その場合の学習パラメータは、ε＝０．０
１である。
Ｍ５でのオフセット誤差が学習成功率に及ぼす影響を示
すシミュレーション結果である。同図は、従来のＢＰ学
習回路において、乗算器Ｍ５に最大オフセット量で上限
を規定された任意の量のオフセットがランダムに組み込
まれた場合の学習成功率を示す。結合強度は［−１，
１］に限定してあるので、オフセット量はこの意味で規
格化されている。このシミュレーション結果は、２−２
−１の三層ネットークで排他論理和の関係を学習させた
結果であり、その場合の学習パラメータは、ε＝０．０
１である。
【００２２】同図により、ニューロンの状態または、結
合強度の飽和値に比べて、０．５％程度以上のオフセッ
トがあると学習の成功率がかなり低下することがわか
る。オフセット誤差により学習能力が劣化する理由は、
学習則に従った結合強度変更量に加えて、オフセット誤
差による常に一定の変更が加わるために、学習が間違っ
た方向に進むこと、及び教師信号とネットワーク出力の
誤差がなくなってもオフセットによる変更が進むので、
正しい収束点に達しないということである。
合強度の飽和値に比べて、０．５％程度以上のオフセッ
トがあると学習の成功率がかなり低下することがわか
る。オフセット誤差により学習能力が劣化する理由は、
学習則に従った結合強度変更量に加えて、オフセット誤
差による常に一定の変更が加わるために、学習が間違っ
た方向に進むこと、及び教師信号とネットワーク出力の
誤差がなくなってもオフセットによる変更が進むので、
正しい収束点に達しないということである。
【００２３】以上、ＢＰ学習に関してオフセットの影響
を説明したが、これは、教師信号とネットワーク出力の
差を最小にする誤り訂正学習法では一般的に生じる問題
である。このようなオフセットはＬＳＩ製造プロセスで
のパラメータばらつきなどで生じ、精度良く作られた差
動回路を用いたとしても１０ｍＶ程度のオフセットがあ
り、完全に除去することはできない。
を説明したが、これは、教師信号とネットワーク出力の
差を最小にする誤り訂正学習法では一般的に生じる問題
である。このようなオフセットはＬＳＩ製造プロセスで
のパラメータばらつきなどで生じ、精度良く作られた差
動回路を用いたとしても１０ｍＶ程度のオフセットがあ
り、完全に除去することはできない。
【００２４】さらに、ニューラルネットワークＬＳＩで
は高集積化が必要なために、素子数の多い高精度の回路
を採用することが難しく、簡略化した回路を用いること
が多いが、その場合は、さらにオフセット量が増加す
る。従って、アナログ回路でＢＰ学習を行うと効率がか
なり落ちることになる。また、図７（Ａ）のような差動
アンプを採用すると、素子数が２倍近くになるので、回
路面積や配線量、必要なパッケージのピン数が増加する
だけでなく、定電流源を用いているために消費電力が増
加するので高集積化が難しくなるという問題がある。
は高集積化が必要なために、素子数の多い高精度の回路
を採用することが難しく、簡略化した回路を用いること
が多いが、その場合は、さらにオフセット量が増加す
る。従って、アナログ回路でＢＰ学習を行うと効率がか
なり落ちることになる。また、図７（Ａ）のような差動
アンプを採用すると、素子数が２倍近くになるので、回
路面積や配線量、必要なパッケージのピン数が増加する
だけでなく、定電流源を用いているために消費電力が増
加するので高集積化が難しくなるという問題がある。
【００２５】本発明は上記の点に鑑みなされたもので、
上記問題点を解決し、ニューラル回路の学習法におい
て、回路のオフセット誤差による不完全な学習を回避す
るためのアナログニューラルネットワーク回路を提供す
ることを目的とする。
上記問題点を解決し、ニューラル回路の学習法におい
て、回路のオフセット誤差による不完全な学習を回避す
るためのアナログニューラルネットワーク回路を提供す
ることを目的とする。
【００２６】
【課題を解決するための手段】本発明のアナログニュー
ラルネットワーク回路は、所定の入力パターンベクトル
とそれに対応する教師パターンベクトルからなる学習パ
ターンベクトルを複数個学習するために、教師パターン
ベクトルと、入力パターンベクトルに対応するネットワ
ーク出力パターンベクトルとの差で定義される誤差信号
を最小にする方向に結合強度を更新する所定の学習則を
実行する回路を組み込んだアナログニューラルネットワ
ーク回路において、学習パターンベクトルを学習するた
めの学習過程が教師パターンベクトルを誤差信号として
所定の学習則を実行し、第１の結合強度変更量を計算す
る過程と、ネットワーク出力パターンベクトルを誤差信
号として学習則を実行し、第２の結合強度変更量を計算
する過程と、第１及び第２の結合強度変更量の差に比例
した量で結合強度を更新する過程とを有し、これら一連
の学習過程を複数の学習パターンについて繰り返すこと
により学習を行う回路を含む。
ラルネットワーク回路は、所定の入力パターンベクトル
とそれに対応する教師パターンベクトルからなる学習パ
ターンベクトルを複数個学習するために、教師パターン
ベクトルと、入力パターンベクトルに対応するネットワ
ーク出力パターンベクトルとの差で定義される誤差信号
を最小にする方向に結合強度を更新する所定の学習則を
実行する回路を組み込んだアナログニューラルネットワ
ーク回路において、学習パターンベクトルを学習するた
めの学習過程が教師パターンベクトルを誤差信号として
所定の学習則を実行し、第１の結合強度変更量を計算す
る過程と、ネットワーク出力パターンベクトルを誤差信
号として学習則を実行し、第２の結合強度変更量を計算
する過程と、第１及び第２の結合強度変更量の差に比例
した量で結合強度を更新する過程とを有し、これら一連
の学習過程を複数の学習パターンについて繰り返すこと
により学習を行う回路を含む。
【００２７】また、本発明のアナログニューラルネット
ワーク回路は、学習が教師パターンベクトルを誤差信号
として所定の学習則を実行し、第１の結合強度変更量を
計算し、第１の結合強度変更量に比例した量で結合強度
を更新する過程と、ネットワーク出力パターンベクトル
を誤差信号として学習則を実行し、第２の結合強度変更
量を計算し、第２の結合強度変更量の符号を変えた量に
比例した量で結合強度を更新する過程を実行する回路を
含む。
ワーク回路は、学習が教師パターンベクトルを誤差信号
として所定の学習則を実行し、第１の結合強度変更量を
計算し、第１の結合強度変更量に比例した量で結合強度
を更新する過程と、ネットワーク出力パターンベクトル
を誤差信号として学習則を実行し、第２の結合強度変更
量を計算し、第２の結合強度変更量の符号を変えた量に
比例した量で結合強度を更新する過程を実行する回路を
含む。
【００２８】
【作用】本発明のアナログニューラルネットワーク回路
では、１回の学習は２つの相（フェーズ）に分けられ、
それぞれにおいて、学習信号（逆伝搬信号）として、教
師信号とネットワークの出力信号が与えられる。結合強
度は２つのフェーズでの変更量の差に比例して変更され
る。この方法では、各フェーズで一定にかかるオフセッ
ト誤差は差をとった段階で打ち消されてしまい、オフセ
ット誤差による学習への影響は全くなくなる。さらに、
学習パラメータを十分小さくしておけば、各フェーズの
差に従って結合強度を変更するのではなく、各フェーズ
毎に結合強度を変更していっても正しく学習が行われ
る。この場合、各フェーズでの結合強度変更量を記憶し
ておく必要がないので、ハードウェア化においても有利
である。以上の学習法は「学習」と「反学習」を繰り返
すボルツマンマシンの学習を誤り訂正学習に応用したも
のと考えるこことができる。
では、１回の学習は２つの相（フェーズ）に分けられ、
それぞれにおいて、学習信号（逆伝搬信号）として、教
師信号とネットワークの出力信号が与えられる。結合強
度は２つのフェーズでの変更量の差に比例して変更され
る。この方法では、各フェーズで一定にかかるオフセッ
ト誤差は差をとった段階で打ち消されてしまい、オフセ
ット誤差による学習への影響は全くなくなる。さらに、
学習パラメータを十分小さくしておけば、各フェーズの
差に従って結合強度を変更するのではなく、各フェーズ
毎に結合強度を変更していっても正しく学習が行われ
る。この場合、各フェーズでの結合強度変更量を記憶し
ておく必要がないので、ハードウェア化においても有利
である。以上の学習法は「学習」と「反学習」を繰り返
すボルツマンマシンの学習を誤り訂正学習に応用したも
のと考えるこことができる。
【００２９】本発明が提示する学習シーケンスは、教師
信号が与えられるユニットでの学習信号が教師信号とネ
ットワーク出力の線形結合で与えられ、且つ各結合強度
に対する変更量が学習信号に対して線形結合で与えられ
るような学習則に対して一般的に適用できる。
信号が与えられるユニットでの学習信号が教師信号とネ
ットワーク出力の線形結合で与えられ、且つ各結合強度
に対する変更量が学習信号に対して線形結合で与えられ
るような学習則に対して一般的に適用できる。
【００３０】本発明は、誤り学習を教師信号とネットワ
ーク出力信号のそれぞれで独立に学習させ、それらの差
によって学習を進めるのでアナログ回路に不可避的に組
み込まれ、著しい学習能力劣化要因となるオフセット誤
差の影響を完全に打ち消すことができる。従って、演算
精度の低いアナログＬＳＩでもＢＰ学習など、高い精度
の要求される学習法を正しく実行することができる。
ーク出力信号のそれぞれで独立に学習させ、それらの差
によって学習を進めるのでアナログ回路に不可避的に組
み込まれ、著しい学習能力劣化要因となるオフセット誤
差の影響を完全に打ち消すことができる。従って、演算
精度の低いアナログＬＳＩでもＢＰ学習など、高い精度
の要求される学習法を正しく実行することができる。
【００３１】
【実施例】以下、本発明の実施例を従来技術の項で説明
したＢＰ学習で説明する。本発明による学習法では、
（１０）式として、 ζLi＝ｔi （１３） として学習を行うフェーズ（ボルツマンマシンの学習に
ならって、学習期とよんで、Ｌの添字を付ける）と、 ζUi＝ｏi （１４） として学習を行うフェーズ（反学習期と呼んで、Ｕの添
字を付ける。このときは結合強度変更量は符号を反転さ
せたものとなる）の一組で１回の学習過程とし、これを
繰り返すことで、学習を進める。これが本来のＢＰ学習
と一致するのは（７）式から（９）式までが逆伝搬信号
ζに関して線形であるからである。各フェーズで（９）
式に相当する結合強度の変化量ΔｗLij 及びΔｗUij を
それぞれ計算し、 Δｗij＝ε（ΔｗLij −ΔｗUij ） （１５） に従って結合強度を変更する。
したＢＰ学習で説明する。本発明による学習法では、
（１０）式として、 ζLi＝ｔi （１３） として学習を行うフェーズ（ボルツマンマシンの学習に
ならって、学習期とよんで、Ｌの添字を付ける）と、 ζUi＝ｏi （１４） として学習を行うフェーズ（反学習期と呼んで、Ｕの添
字を付ける。このときは結合強度変更量は符号を反転さ
せたものとなる）の一組で１回の学習過程とし、これを
繰り返すことで、学習を進める。これが本来のＢＰ学習
と一致するのは（７）式から（９）式までが逆伝搬信号
ζに関して線形であるからである。各フェーズで（９）
式に相当する結合強度の変化量ΔｗLij 及びΔｗUij を
それぞれ計算し、 Δｗij＝ε（ΔｗLij −ΔｗUij ） （１５） に従って結合強度を変更する。
【００３２】厳密には、上式のように各フェーズでの結
合強度変更量を計算してから、両者の差に比例した量で
実際の結合強度を変更しなければならないが、修正量を
決める学習パラメータεが十分小さければ、それぞれの
フェーズで結合強度を変更していっても（即ち学習期に
はεΔｗLij だけ結合強度を変更し、反学習期には−ε
ΔｗUij だけ結合強度を変更する）、学習は正しく行わ
れる。この方法のように、結合強度変更量を逐次計算し
ては、すぐに結合強度を変更していく方法を「オンライ
ン学習」と呼び、変更量を記憶しておく余分のメモリを
必要としないので、ハードウェア化には有利である。
合強度変更量を計算してから、両者の差に比例した量で
実際の結合強度を変更しなければならないが、修正量を
決める学習パラメータεが十分小さければ、それぞれの
フェーズで結合強度を変更していっても（即ち学習期に
はεΔｗLij だけ結合強度を変更し、反学習期には−ε
ΔｗUij だけ結合強度を変更する）、学習は正しく行わ
れる。この方法のように、結合強度変更量を逐次計算し
ては、すぐに結合強度を変更していく方法を「オンライ
ン学習」と呼び、変更量を記憶しておく余分のメモリを
必要としないので、ハードウェア化には有利である。
【００３３】以上の学習法によれば、（１１）乃至（１
２）式で示されたオフセット誤差による影響はすべて打
ち消されて学習結果には反映されてこないことが分か
る。
２）式で示されたオフセット誤差による影響はすべて打
ち消されて学習結果には反映されてこないことが分か
る。
【００３４】次に本発明の学習方法を実行するアナログ
回路の回路構成の概要及び学習シーケンスについて説明
する。
回路の回路構成の概要及び学習シーケンスについて説明
する。
【００３５】図１は本発明の一実施例のＢＰ学習内蔵型
アナログニューラルネットワーク回路構成図を示し、図
２は図１における学習シーケンスを説明するタイミング
チャートを示す。本実施例では図５で示した従来例と殆
ど同じ回路ブロック及び回路アーキテクチャを使ってい
る。図２（Ａ）はニューロンブロックＮ1 に入力される
入力信号であり、同図（Ｂ）は教師信号入力端子１０３
に入力される教師信号、同図（Ｃ）は逆伝搬信号切り替
えのクロック信号を示し、同図（Ｄ）はＷＰＵの極性反
転端子１０１に印加される極性反転クロックφ２を示
す。
アナログニューラルネットワーク回路構成図を示し、図
２は図１における学習シーケンスを説明するタイミング
チャートを示す。本実施例では図５で示した従来例と殆
ど同じ回路ブロック及び回路アーキテクチャを使ってい
る。図２（Ａ）はニューロンブロックＮ1 に入力される
入力信号であり、同図（Ｂ）は教師信号入力端子１０３
に入力される教師信号、同図（Ｃ）は逆伝搬信号切り替
えのクロック信号を示し、同図（Ｄ）はＷＰＵの極性反
転端子１０１に印加される極性反転クロックφ２を示
す。
【００３６】図１のニューラルネットワーク回路が図５
の回路と異なる点は、各学習パターンについて結合強度
変更回路における極性反転と逆伝搬信号入力部とを同期
的にスイッチングして上記の学習法を実行している点で
ある。
の回路と異なる点は、各学習パターンについて結合強度
変更回路における極性反転と逆伝搬信号入力部とを同期
的にスイッチングして上記の学習法を実行している点で
ある。
【００３７】即ち、図５の従来では教師信号と出力ニュ
ーロンの出力との差が差動アンプによって計算され、逆
伝搬信号としてネットワークに送り返されていたが、図
１の実施例では教師信号と出力ニューロンの出力とを逆
誤差伝搬信号切り換え端子１００によって切り換えなが
ら、各信号をネットワークに送り返す。そのタイミング
は図２において逆伝搬信号切り換えのクロック信号φ１
として示しているが、学習パタン１個を提示している間
に、同じ時間だけ教師信号とネットワーク出力がそれぞ
れ逆伝搬するように切り替える。このとき同時に、結合
強度修正の符号が反転するように、極性反転クロックφ
２をＷＰＵの極性反転端子１０１（図６）に印加する。
ーロンの出力との差が差動アンプによって計算され、逆
伝搬信号としてネットワークに送り返されていたが、図
１の実施例では教師信号と出力ニューロンの出力とを逆
誤差伝搬信号切り換え端子１００によって切り換えなが
ら、各信号をネットワークに送り返す。そのタイミング
は図２において逆伝搬信号切り換えのクロック信号φ１
として示しているが、学習パタン１個を提示している間
に、同じ時間だけ教師信号とネットワーク出力がそれぞ
れ逆伝搬するように切り替える。このとき同時に、結合
強度修正の符号が反転するように、極性反転クロックφ
２をＷＰＵの極性反転端子１０１（図６）に印加する。
【００３８】結合強度制御回路（ＷＰＵ）では、従来の
技術の項で説明したように、アナログ信号で入力された
結合強度修正信号Δｗijをパルス信号に変換している
が、ここに、排他論理和回路を挿入して結合強度修正信
号を反転することが可能になっている。すなわち、図６
で示した極性反転端子１０１は、回路図から明らかなよ
うに、その端子にHighかLow を入力するに従って、それ
ぞれ、シナプスブロックのＷＰＵ回路に入力された結合
強度修正信号Δｗijのままか、符号を反転した量に比例
して、結合強度を変更させる。従来のＢＰ学習では、修
正信号の反転は必要なかったので、極性反転端子１０１
は常にHighに固定されていた。
技術の項で説明したように、アナログ信号で入力された
結合強度修正信号Δｗijをパルス信号に変換している
が、ここに、排他論理和回路を挿入して結合強度修正信
号を反転することが可能になっている。すなわち、図６
で示した極性反転端子１０１は、回路図から明らかなよ
うに、その端子にHighかLow を入力するに従って、それ
ぞれ、シナプスブロックのＷＰＵ回路に入力された結合
強度修正信号Δｗijのままか、符号を反転した量に比例
して、結合強度を変更させる。従来のＢＰ学習では、修
正信号の反転は必要なかったので、極性反転端子１０１
は常にHighに固定されていた。
【００３９】図３は本発明の学習法を用いた場合の乗算
器Ｍ５でのオフセット誤差が学習成功率に及ぼす影響を
示すシミュレーション結果を示す。同図に示すシミュレ
ーションの条件は従来の技術の項で述べた（図９）の乗
算器Ｍ５と同様である。同図から明らかなようにオフセ
ット誤差の影響を打ち消しているのが分かる。
器Ｍ５でのオフセット誤差が学習成功率に及ぼす影響を
示すシミュレーション結果を示す。同図に示すシミュレ
ーションの条件は従来の技術の項で述べた（図９）の乗
算器Ｍ５と同様である。同図から明らかなようにオフセ
ット誤差の影響を打ち消しているのが分かる。
【００４０】
【発明の効果】上述のように、従来技術で説明したＢＰ
学習機能内蔵型のアナログニューラルネットワーク回路
において、本発明を適用する場合、回路構成上の変更点
は極めて僅かであり、学習動作シーケンスにクロック動
作が付加させるだけであるが、アナログ回路に不可避的
に組み込まれ、著しい学習能力劣化要因となるオフセッ
ト誤差の影響を完全に消去することができる効果は極め
て大きい。
学習機能内蔵型のアナログニューラルネットワーク回路
において、本発明を適用する場合、回路構成上の変更点
は極めて僅かであり、学習動作シーケンスにクロック動
作が付加させるだけであるが、アナログ回路に不可避的
に組み込まれ、著しい学習能力劣化要因となるオフセッ
ト誤差の影響を完全に消去することができる効果は極め
て大きい。
【００４１】オフセットの問題を考慮する必要がなくな
ったために、差動回路を動作ばらつきの大きいサブスレ
ショルド領域で動作させることが可能になり、低消費電
力の高集積なアナログＬＳＩを作ることが可能になる。
ったために、差動回路を動作ばらつきの大きいサブスレ
ショルド領域で動作させることが可能になり、低消費電
力の高集積なアナログＬＳＩを作ることが可能になる。
【００４２】さらに、素子数が多くなる差動回路を採用
することさえ必ずしも必要でなくなり、より高集積なア
ナログニューラルネットワークＬＳＩを作ることができ
る。また、この回路構成は差動回路などの構成が取りに
くい光回路でも有効に採用することができ、学習機能を
内蔵した高機能高集積光ニューラルネットワークの開発
が可能となる。
することさえ必ずしも必要でなくなり、より高集積なア
ナログニューラルネットワークＬＳＩを作ることができ
る。また、この回路構成は差動回路などの構成が取りに
くい光回路でも有効に採用することができ、学習機能を
内蔵した高機能高集積光ニューラルネットワークの開発
が可能となる。
【図１】本発明の一実施例のＢＰ学習内蔵型アナログニ
ューラルネットワーク回路構成図である。
ューラルネットワーク回路構成図である。
【図２】図１における学習シーケンスを示すタイミング
チャートである。
チャートである。
【図３】本発明の学習法を用いた場合の乗算器Ｍ５（図
５（Ｃ））でのオフセット誤差が学習成功率に及ぼす影
響を示すシミュレーション結果を示す図である。
５（Ｃ））でのオフセット誤差が学習成功率に及ぼす影
響を示すシミュレーション結果を示す図である。
【図４】ニューラルネットワークの概念を表した図（３
層ネットワーク構造）である。
層ネットワーク構造）である。
【図５】従来のＢＰ学習内蔵型アナログニューラルネッ
トワークの構成を示す図である。
トワークの構成を示す図である。
【図６】図５（Ｃ）の結合強度回路（ＷＰＵ）の構成図
である。
である。
【図７】図５（Ｂ）（Ｃ）に用いられている差動アンプ
と乗算器の回路構成図である。
と乗算器の回路構成図である。
【図８】図５（Ｂ）導関数生成回路の回路図である。
【図９】従来のＢＰ学習回路において乗算器Ｍ５でのオ
フセット誤差が学習成功率に及ぼす影響を示すシミュレ
ーション結果を示す図である。
フセット誤差が学習成功率に及ぼす影響を示すシミュレ
ーション結果を示す図である。
Ａ１ 差動アンプ Ｍ１〜Ｍ６ 乗算器 １０ 電圧パルス変換回路 １１ 記憶回路 １２ 差動アンプ １３，１４ 入力端子 ３０ 導関数生成回路 ３１ 結合強度制御回路（ＷＰＵ） １００ 逆伝搬信号切り替え端子 １０１ 極性反転端子 １０３ 教師信号入力端子 ｕi ニューロンｉの内部状態 ｏi ニューロンｉの出力値 ｗij シナプス結合強度 ｆ 伝達関数 λ ニューロンのゲインを表す係数 ｔi 教師信号 ε 修正量を決める学習パラメータ Δｗij 結合強度の変化量 ζ 逆伝搬信号
Claims (2)
- 【請求項１】 所定の入力パターンベクトルと該ベクト
ルに対応する教師パターンベクトルからなる学習パター
ンベクトルを複数個学習するために、該教師パターンベ
クトルと、該入力パターンベクトルに対応するネットワ
ーク出力パターンベクトルとの差で定義される誤差信号
を最小にする方向に結合強度を更新する所定の学習則を
実行する回路を組み込んだアナログニューラルネットワ
ーク回路において、 該学習パターンベクトルを学習するための学習過程が該
教師パターンベクトルを誤差信号として該所定の学習則
を実行し、第１の結合強度変更量を計算する過程と、 該ネットワーク出力パターンベクトルを誤差信号として
該学習則を実行し、第２の結合強度変更量を計算する過
程と、 第１及び第２の結合強度変更量の差に比例した量で結合
強度を更新する過程とを有し、該過程を複数の学習パタ
ーンについて繰り返すことにより学習を行う回路を含む
ことを特徴とするアナログニューラルネットワーク回
路。 - 【請求項２】 前記学習が前記教師パターンベクトルを
誤差信号として前記所定の学習則を実行し、第１の結合
強度変更量を計算し、該第１の結合強度変更量に比例し
た量で結合強度を更新する過程と、前記ネットワーク出
力パターンベクトルを誤差信号として前記学習則を実行
し、第２の結合強度変更量を計算し、該第２の結合強度
変更量の符号を変えた量に比例した量で結合強度を更新
する過程から成ることを特徴とする請求項１記載のアナ
ログニューラルネットワーク回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4276307A JPH06131482A (ja) | 1992-10-14 | 1992-10-14 | アナログニューラルネットワーク回路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4276307A JPH06131482A (ja) | 1992-10-14 | 1992-10-14 | アナログニューラルネットワーク回路 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06131482A true JPH06131482A (ja) | 1994-05-13 |
Family
ID=17567635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4276307A Pending JPH06131482A (ja) | 1992-10-14 | 1992-10-14 | アナログニューラルネットワーク回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06131482A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007212700A (ja) * | 2006-02-09 | 2007-08-23 | Nagoya Institute Of Technology | アクティブノイズキャンセリングシステム用アナログ電子回路 |
| WO2022029532A1 (ja) * | 2020-08-03 | 2022-02-10 | 株式会社半導体エネルギー研究所 | 半導体装置、及び電子機器 |
-
1992
- 1992-10-14 JP JP4276307A patent/JPH06131482A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007212700A (ja) * | 2006-02-09 | 2007-08-23 | Nagoya Institute Of Technology | アクティブノイズキャンセリングシステム用アナログ電子回路 |
| WO2022029532A1 (ja) * | 2020-08-03 | 2022-02-10 | 株式会社半導体エネルギー研究所 | 半導体装置、及び電子機器 |
| JPWO2022029532A1 (ja) * | 2020-08-03 | 2022-02-10 | ||
| US12149237B2 (en) | 2020-08-03 | 2024-11-19 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dundar et al. | The effects of quantization on multilayer neural networks | |
| KR930002792B1 (ko) | 뉴우런 아키텍쳐(neuron architecture) | |
| Lee et al. | Hardware annealing in analog VLSI neurocomputing | |
| JP4620943B2 (ja) | 積和演算回路及びその方法 | |
| CN1846218B (zh) | 形成人工神经网络的方法 | |
| US5630023A (en) | Signal processor | |
| US20190304539A1 (en) | In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture | |
| Patra et al. | Nonlinear dynamic system identification using Legendre neural network | |
| JPH02193251A (ja) | エラー後方伝ぱん法と神経網システム | |
| CN111340203B (zh) | 使用误差反向传播执行监督学习的神经形态系统 | |
| US5630020A (en) | Learning method and neural network structure | |
| US5689621A (en) | Modular feedforward neural network architecture with learning | |
| EP0661645A2 (en) | Neural network | |
| EP0469885B1 (en) | System for performing weighted summations | |
| US5485548A (en) | Signal processing apparatus using a hierarchical neural network | |
| JPH05128284A (ja) | ニユーロプロセツサ | |
| JPH09185596A (ja) | パルス密度型信号処理回路網における結合係数更新方法 | |
| JP3095798B2 (ja) | アナログ逆伝搬学習回路とその駆動方法 | |
| Gencer et al. | Design of an analog circuit-based artificial neural network | |
| JPH04112355A (ja) | 自己学習型アナログ方式ニューロン回路 | |
| JPH03144785A (ja) | ニューロ素子 | |
| JPH02309447A (ja) | 相互結合型ニューラルネットワークの学習方法 | |
| JP3338713B2 (ja) | 信号処理装置 | |
| Micheli-Tzanakou | 12 Multilayer Perceptrons | |
| Zahner et al. | 12 Multilayer Perceptrons |