JPH03273444A - ニューラルネットワークの学習方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明１表　神経系と類似な入出力動作　例えばパター
ン認胤　連想記憶　並列演算処理などを行うニューラル
ネットワークの学習方法に関するものであ４ 従来の技術 一般的に階層構造のニューラルネットワークに対する学
習方法として、通家　誤差逆伝播学習法（パックプロパ
ゲーション法とも呼ばれも　以下、ＢＰ法と略記する　
）が最もよく用いられていも発明が解決しようとする課
題 ＢＰ法は階層構造のニューラルネットワークに対し　非
常に強力な学習アルゴリズムであるパ学習の収束に非常
に時間がかかること、およ医場合によっては学習収束点
ではない局在極小点（ローカル・ミニマムともいう）で
トラップされてしま八　学習が収束しないというなどの
問題がありへ 本発明ＧＬ　　階層構造のニューラルネットワークにお
いて、学習がすばやく、効率よく収束する学習方法を提
供するものであム 課題を解決するための手段 入力層と出力層と少なくとも１つ以上の中間層からなる
階層構造をもつ二二〜ラルネットワークの学習法におい
て、ニューロン間の結合強度の修正量に学習係数を乗算
し　学習しようとするすべての入力に対する学習が１回
終了する度＆ミ　前記学習しようとする入力に対して認
識率を調べ　次の学習で使用する前記学習係数を前記認
識率を用いて定めも また　少なくとも入力層と出力層からなる階層構造のニ
ューラルネットワークの学習方法において、学習しよう
とするすべての入力に対する学習が１回終了する度へ　
前記学習しようとする人力に対して認識率を調べ　次の
学習で使用するニューロンの入出力関数の閾値付近の傾
きを前記認識率を用いて定めも 作用 階層型ニューラルネットワークにおける学習法＆上　基
本的には教師信号と出力との２乗誤差を最も少なくなる
よう番ミ　　ニューロン間の結合強度（結合の重みとも
呼ばれる）を書き換えていくものであム 例えばＭ層からなる階層構造のニューラルネットワーク
を考えも　つまり、第１層が入力態　第Ｍ層が出力層で
あり、残りの層が中間層（陽れ層とも呼ばれる）であム
　第に層のニューロンの数をｎｎｍ１Ｌ　　この層の第
１番目のニューロンをｕ　ｋ　＋とすム　これらのニュ
ーロンは多大カー出力の素子であり、その入出力関数ｆ
は一般に単調増加飽和型の非線形関数で表されも　第に
層のニューロンｕ　ｋ　＋の入力の総和をｔｋＩ、出力
をＯ”＋とすると、ニューロンｕ　ｋ　＋の入出力関係
（友　次式のように表されも ｏ”＋＝ｆ　　（ｔ”＋）　　　　　　　　　　　　　
（１）を−◆’Ｊ　：　、Ｅ　Ｗ”ｌ”’Ｊ　Ｏ”ｌ−
θ”’Ｊ　　　　（２）（但し　第１層のニューロンだ
けは入力をそのまま出力する） 入出力関数ｆはニューロン毎または層毎に異なっていて
も構わない力（以下では簡単のためにすべてのニューロ
ンが同じ入出力開数ｆを持っているものとすａ　式（２
）のＷ’ｌ”’Ｊは第に層の第ｉニューロンから次のに
＋１層の第ｊニューロンへの結合の重みを表す実数であ
ａ　パラメータθに＋ｌ、は通常しきい値と呼ばれるカ
ミ　以下で沫　各層に１つ常に−１を取る特殊なニュー
ロンｕ”＊をおき、各ニューロンのしきい値θ３゛１Ｊ
をそのニューロンからの結合の重みＷｋＩｋ″１Ｊに帰
着させて考えもＢＰ法は　学習すべき入カバターンＸと
望ましい出カバターンｙ（教師信号ともいう）の組がい
くつか与えられたとき！ζ　それぞれの組に対して以下
の修正式に従って各結合の重みを修正する学習方法であ
ム Ｗｋ−Ｉｌ”Ｊ＝Ｗ”ｌ”Ｊ＋　７７δｋｊｏ　ｋ−１
、（３）δ’」＝　（ｙＪ−ｏ″Ｊ）　　ｆ’（ｉ’＋
）　　　　　（４）δ”−’＋＝　ｆ　’（ｉ　’−’
＋）　ｐ　ｗ’す＋　ｋ　ｈδに」（ｋ＝Ｍ、・・・、
３）　　　　　　　　　　（５）ここて　望ましい出カ
バターンｙの第ｊ成分をｙＪ、ηは学習の効率を表す係
数で、学習係数と呼ばれも 式（３）が修正式であり、式（４）は式（３）の中の一
般化された誤差δ′Ｊをに＝Ｍから３まで逆方向に順に
計算するための式であａ　この方法は基本的にζよ　出
力層における二乗誤差で表される評価関数に関する最急
降下法であａ 学習係数ηを十分小さな正の数とすれば学習を確実に収
束させることができも　しかし　ηが小さいと収束する
までの学習回数が増えてしまｌ、に効率的でなくなム　
そこで、学習の最初はηを大きくして大ざっばに収束を
行１　学習の収束が進行して終了間近になってきたらη
を小さくして収束の精度を上げると、非常に効率よく、
しかも高い精度で学習を行なうことができも　学習によ
るネットワークの収束状態戟　まだ初期なの力χ　ある
いは終了間近なのかを知るパラメータとして、学習回数
を用いることが容易に考えられも　しかし　収束に要す
る学習回数は　ニューラルネットワークの構ミ　学習す
る入カバターンの敗　およびパターン間の類似度に依存
し　状況によっては学習回数だけで学習の収束状態を把
握するのは非常に困難になる場合があａ　これに対し　
学習する入カバターンに対する認識率を学習の収束状況
を把握するパラメータとすると、ｇ！識率が小さい状態
では学習の初肌認識率が１００％に近くなってくると学
習が収束間近にあること力（ネットワークの構造および
入カバターン数に関係なく、的確に把握できる（但し　
ここで言う認識率とは学習している入カバターンのうち
いくつのパターン力（正しい出力を出したかを入カバタ
ーン総数に対する割合を表したものであり、正答率と表
現してもよ（〜　）従って、認識率の小さい場合ｃ友学
習係数ηを大きくして修正量を大きくすることにより、
学習を大ざっばに行なって収束を重数認識率が大きくな
ってくるとηを小さくして修正量を減らして学習の発散
および振動を防止ａ　的確に効率よく学習を収束できも また　学習回数の増加に対してηを減少せる方法だと、
ローカル・ミニマムに陥ってしまった場合　回数がすす
むにつれてηが減少してしまうので修正量が小さくなり
、ローカル・ミニマムから抜は出すことができなくなっ
てしまう力丈　認識率を用いた場合でＵ　　ローカル・
ミニマムに陥ってしまってもηは減少せず、すなわち修
正量は大きいままであるので、ローカル・ミニマムから
抜ケ出すことができも また　ニューロンの入出力関数ｆ　（ｘ）は通常次式で
表されるような　出力がＯから１の範囲内で単調非減少
のシグモイド関数が用いられていもｆ（ｘ）＝１／（１
＋ｅｘｐ（−ｘ／Ｔ））　　　（６）ここで、Ｔは温度
と呼ばれるパラメータで、　Ｘ＝０における関数の傾き
は１／Ｔに比例する　式の形かられかるよう！、：、Ｔ
が大きい場合は横に広がった　傾きの小さい形になる力
（Ｔ２Ｏになると傾きが大きくなり、ステップ関数に近
づく。つまり、　ｘ＝０から離れたｆ（ｘ）の値４１　
　Ｔが小さくなるにつれて曲線の傾きは小さくなり、入
力の僅かな変化に対して鈍感になム　従って、学習の初
期には温度Ｔが高い状態で大まかに収束点を探し認識率
が高くなるにつれてＴを小さくしてきめ細やかに収束す
ると、ローカル・ミニマムに捕られれることなく、効率
よく学習を収束できム実流側 本発明の実施例について、図面を参照しながら説明する 第１図く　本発明で使用したニューラルネットワークモ
デルの一例を示す。丸がニューロンを表しており、これ
らを結ぶ直線がシナプス結合を表していも　ネットワー
クモデル沫　入力ｍ１ｏｉ、　　中間層１０２および出
力層１０３からなる階層構造で、中間層１０２の数は第
１の発明では少なくとも１つ以上あるものであり、第２
の発明で４！　　必ずしも必要なものではな（ｔ　ニュ
ーロン数ＣＬ　　本発明の学習方法力（ニューロン数の
比較的多いネットワークで、通常の学習方法では非常に
回数の要するような場合に有効であること、およびニュ
ーラルネットワークのもつ機能として実用的なものを実
現できなければならないことなどを考慮すると、大刀層
１０１．中間層１０２および出力層１０３のうち少なく
とも１つは１００個以上であることが勝率ましＬ〜各層
におけるニューロンの入出カ関ｔｆ（ｚ）線　たとえば
　第２図（ａ）、　（ｂ）、　（ｃ）、　（ｄ）に示す
ような単調増加の非線形関数であり、各層間または各ニ
ューロン間でｆ　　（ｘ）が異なっていてよいし全く同
じであってもよＩ、％　　また　シナプス荷重を変更す
るた数　すなわち学習を行なう時には　シグモイド関数
と呼ばれる第２図（ｄ）に示すようなｆ（Ｘ）を用いる
のが好ましｔ〜　学習を行わずくネットワークに演算あ
るいは処理をさせる場合に（よ　出力の形態によって用
いるｆ　　（ｘ）が選択されも　出力が０，１のパター
ンあるいはベクトルのときζ訟　第２図（Ｃ）に示すよ
うなステップ関数最大値検出による１つのニューロンに
１つの情報を割り当てる場合には　第２図（ａ）および
（ｄ）が通常よく用いられていも 本発明が適用される学習方法は　一般に教師有りの学習
と呼ばれる誤り訂正型の学習法で、次式（上述の（３）
式）のような学習方程式で書き表されるものであａ Ｗ”１ｋｌ＝Ｗ”Ｉ”Ｊ＋ηδに、　０ｋ−１゜あも　
δｋｊの決め方によって様々な学習方法が考えられるが
（ＢＰ法の場合は（４）、（５）式）、具体的に（よ　
ＢＰｍ　　直交学習法　相関学習法　バーセブトロン学
習法などであム 第１の発明の学習方法の手順を以下に説明する例えば　
−例として第３図に示すような１０ｘｌＯのマトリック
スで表される５個の英大文字Ａ−Ｅを第１図に示すネッ
トワークに学習させる場合を想定すム　また　これらの
文字１つずつに出力層１０３のニューロンを１つずつ割
当てて、ある文字の入力に対して、割り当てられたニュ
ーロン間　あるしきい値以上で出力層１０３のニューロ
ンの中で最大値の出力を行った場合に正しく認識できた
ものとすム ま云　このネットワークにＡ−Ｅの文字を順に入力して
それぞれの出力結果を調べも　このときの認識率に対し
てηの値を定めも　続いてＡ−Ｅの文字に対して、それ
ぞれ１回ずつこのηの値を用いて学習を行う。この微　
再びネットワークにＡ−Ｅの文字を入カレ　認識率を調
べて新たにηの値を定めも　この新たに設定されたηの
値を用いて再嵐　Ａ−Ｅに対して１回ずつ学習を行う。

以上　認識率を調べてηの設定　１回ずつの学習を交互
に繰り返Ｌ−認識率が１００％になった時点で終了すム
　このとき、ηの設定の仕方としてＵ　　原則的には認
識率の増加に対して減少させるものとし　例えば　次式
に示すように認識率の小η＝η・（１−ｐ／１０．０）
　”　　　　　　（７）（但し　η−は定ＩＬｐは認識
率（％）、、１≦ｎ）さい学習の初期において（よ　認
識率の増加に対するηの減少量を大きくし　認識率の高
い学習の終了間際でζ友　認識率の増加に対するηの減
少量を小さくすると、非常に効率よく学習を進めること
ができも マタローカル・ミニマムに陥ったときの脱出手段として
、次のようなことを行ってもよ（ｌ　ローカル・ミニマ
ムに陥ってしまうと学習を重ねても認識率は増加しなく
なってしまう。ある所定の回数の学習を行っても認識率
が上がらないとき４＆ηの値を増ＪＯＬ　　シナプスの
結合荷重の修正量を大キ＜シてやればよ（〜　これによ
り、−時的に認識率は減少するかもしれない力（ローカ
ル・ミニマムを脱出できも　ローカル・ミニマムを脱出
り真の収束点に向かって再び、認識率が増加し始めたら
ηを減少すればよ（ｌ 第２の発明の学習方法の手順を以下に説明する例え（Ｌ
　上述の第１の発明と同様！、：、Ａ−Ｈの５つの英大
文字に対して学習するものとすム　ここで、学習時にＧ
Ｌ　　出力層１０３（中間層１０２がある場合は中間層
１０２も）のニューロンの入出力関数ｆ（ｘ）ｉ！　　
（６）式で表されるシグモイド関数を用いた場合を考え
も ｆ（ｘ）＝１／（１＋ｅｘｐ（−ｘ／Ｔ））　　　（６
）また　想起時に４１　　出力層１０３のニューロン１
つずつにこれらの文字を割当て、ある文字の入力に対し
て割り当てられたニューロン間（あるしきい値以上で出
力層１０３のニューロンの中で最大値の出力を行った場
合に正しく認識できたものと囮　想起時の入出力関数ｆ
（ｘ）は不変であるものとすａ但り、、ｆ（ｘ）の種類
（よ　学習時と想起時と同じでも違っていてもよｔ℃ まず、このネットワークにＡ−Ｅの文字を順に入力して
それぞれの出力結果を調べも　このときの［ｉ率に対し
て、学習時に使用するｆ（ｘ）の温度パラメータＴを定
めも　続いてＡ−Ｈの文字に対して、それぞれ１回ずつ
このＴの値を用いて学習を行う。この跣　再びネットワ
ークにＡ−Ｅの文字を入力し　認識率を調べて新たにＴ
の値を定めも　この新たに設定されたＴの値を用いて再
ヱＡ−Ｅに対して１回ずつ学習を行う。以下、認識率を
調べてＴの設定および１回ずつの学習を交互に繰り返し
　認識率が１００％になった時点で終了すａ　このと＆
Ｔの設定の仕方として＆よ　原則的には認識率の増加に
対して減少させるものとし　例えは　次式に示すように
認識率の小Ｔ＝Ｔｓ　ｅｘｐ（ｎ＜　１−　ｐ／１００
　））　　　　（８）（但ＬＴ−は定数　ｐは認識率（
％）、ｎ≧１）さい学習の初期において（戴　認識率の
増加に対するＴの減少量を大きくし　認識率の高い学習
の終了間際では　認識率の増加に対するＴの減少量を小
さくすると、非常に効率よく学習を進めることができも また　ローカル・ミニマムに陥ったときの脱出手段とし
て、次のようなことを行ってもよ（〜　ローカル・ミニ
マムに陥ってしまうと学習を重ねても認識率は増加しな
くなってしまう。ある所定の回数の学習を行っても認識
率が上がらないときばＴの値を増加し　シナプスの結合
荷重の修正量を大きくしてやればよＬ％　　これにより
、−時的に認識率は減少するかもしれない力丈　ローカ
ル・ミニマムを脱出できも　ローカル・ミニマムを脱出
し真の収束点に向かって再び、認識率が増加し始めたら
Ｔを減少すればより〜 シグモイド関数の代わり圏　次式に示すような非線形関
数を用いた場合においては（第２図（ｂ）に相当する）
、 ｆ（ｘ）＝０　　　　　　　　　（ｘ≦−ｈ）＝ｘ／２
ｈ＋１．／２　　（−ｈ≦Ｘ≦ｈ）＝１　　　　　　　
　（ｈ≦ｘ）　　　　　（９）但ｌ−ｈは正数であム 上記のＴの代わりζミ　認識率が増加するに連れてｈの
値を小さくすればよ（ｌ　また　ローカルミニマムに捉
えられたときにｃ戴りの値を大きくすればより℃ また　第２の発明において、ニューロンの入出力関数の
傾きを変化させるのは　全ての層のニューロンに対して
行ってもよく、あるいは一部の層に対して行ってもよ（
℃ 次に　具体的な実施例について以下に示す。

実施例１ 第１図において中間層１０２の数を１つとして、入力層
１０１および出力層１０２を併せて３層のニューラルネ
ットワークに対ｔ、、Ａ−Ｚ英大文字２６文字の学習を
計算機シミュレーションで行った　但し入力層１０１．
中間層１０２および出力層１０３のニューロン数は　そ
れぞれ６４〜５７６．２０〜８００゜２６とし　学習法
にはＢＰ法を用い九　中間層１０２および出力層１０３
のニューロンの入出力関数はシグモイド関数とした 学習時にｇ！Ａ−Ｚ−通り１度ずつの学習が終了する毎
く　認識率ｐを調べ　次式にしたがって次の学習で使用
する学習係数ηを定めたη＝ηｍ　　（１−ｐ　／　１
　０　０　）　　’但し　η・は０．１〜２の範囲内の
定１１ｎは１〜５範囲内の定数としｔラ　　ま？＝　　
比較のためにη＝０゜２〜０．６の範囲内の定数として
、学習を行ったその結果　η一定とした場合に比べて、
ηを認識率に対して変化させた方法？１　　収束に必要
な学習回数は大幅に減少するのを確認し一 実施例２ 実施例１と同一の条件下で、但り、Ａ−Ｚ−通り１度ず
つの学習が終了する毎く　認識率ｐを調べ　次式にした
がって、次の学習で使用する出力層１０３のシグモイド
関数の温度Ｔを定め九　このとき、学習係数ηは一定と
じ九 Ｔ＝Ｔ＠ｅｘｐ（ｎ（１ｆ）／１００））但り、、Ｔ・
は０．５〜１の範囲内の定ａｐは認識率（％）、ｎは１
〜５範囲内の定数であａ　比較のためにＴを一定とした
場合についても調べてみたその結Ｊ１．Ｔ一定の場合に
比べて、認識率に対してＴを変化させた場合は学習の収
束速度番上１゜５倍以上速いことが確認できｔ４ 実施例３ 本発明の一実施例として使用した光連想メモリのシステ
ム構成図を示す。この光連想メモリ（よ第１図のネット
ワークモデルにおいて、中間層１０２の無（Ｘ、入力層
１０１と出力層１０３からなるモデルを基に構成し九　
基本的に重ね合わさった２つのＴＰＴ−ＬＣＤ３０１．
３０２とこれを駆動する駆動回路３０３．３０４と面光
源３０５．およびＣＣＤカメラ３０６と計算機３０７か
らなム　ＴＦＴ−ＬＣＤ３０１に１瓜　入カバターンを
表示しＴＰＴ−ＬＣＤ３０２にはシナプス結合荷重パタ
ーンを表示し九　出力層１０３に対応する閾値処理？ｉ
　　ＣＣＤカメラ３０６を使ってＴＰＴ−ＬＣＤ３０１
および３０２の透過像を撮像Ｌ　その信号をＡ−Ｄ変換
した後計算機３０７を使って行っ九　閾値処理後の出力
結果は計算機３０７のＣＲＴ上に表示した　閾値処理に
は学習時には上記の（９）式を用（＼　想起時にはステ
ップ関数を使用し九 この光連想メモリｌＱ　　マトリックスサイズ１６ｘ１
６の１０個の漢字パターンを直交学習法を用いて学習さ
せ九　この啄　各層におけるニューロン数は２５６個で
あム　学習ｊｉｌＯ個の漢字パターンに対する学習が−
通り終わる毎に　想起を行って認識率を調べ　（９）式
におけるｈの値を認識率が増加するにしたがって減少さ
せ九　但Ｌｈの初期値（ｈｓ）は閾値θとＬ−認識率が
１００％に収束したときのｈはＯではな八　一定値（ｈ
＋）に収束させ九その結果　学習の収束回数はｈをｈ−
に固定にした場合より、ｋ　約ｉ／３に減少することを
確認できた　また　学習に使用したパターンに対しハミ
ング距離３のパターンを入力Ｌ　その想起結果を調べた
とこａｈを変化させた場合は全て正しく認識できたＭｈ
＝ｂ＋一定で学習した場合は入カバターン数の６０Ｘ程
度しか正しく認識できなかっ九発明の効果 本発明によれば　神経ネットワーク回路の学習を効率よ
く収束させる学習方法を提供できム

【図面の簡単な説明】

第１図は　本発明の一実施例で使用した神経ネットワー
ク回路モデルの一例を示す概略上　第２図（ａ）〜（ｄ
）４；Ｌ　　本発明の一実施例で使用した二ニーロンの
入出力関数の一例を示すグラフ、第３図は　本発明の一
実施例で使用した光連想メモリシステムの構成図であム

Claims (5)

【特許請求の範囲】
1. （１）入力層と出力層と少なくとも１つ以上の中間層か
   らなる階層構造をもつニューラルネットワークの学習方
   法において、ニューロン間の結合強度の修正量に学習係
   数を乗算し、学習しようとするすべての入力に対する学
   習が１回終了する度に、前記学習しようとする入力に対
   して認識率を調べ、次の学習で使用する前記学習係数を
   前記認識率を用いて定めることを特徴とするニューラル
   ネットワークの学習方法。
2. （２）学習しようとする入力に対する認識率（以下、ｐ
   と略記する。但し、単位は％。）と学習係数（以下、η
   と略記する）との関係が、 η＝η・（１−ｐ／１００）＾ｎ （但し、η・は定数、１≦ｎ） で表されることを特徴とする請求項１に記載のニューラ
   ルネットワークの学習方法。
3. （３）入力層のニューロン数が１００個以上であること
   を特徴とする請求項１に記載のニューラルネットワーク
   の学習方法。
4. （４）少なくとも入力層と出力層からなる階層構造のニ
   ューラルネットワークの学習方法において、学習しよう
   とするすべての入力に対する学習が１回終了する度に、
   前記学習しようとする入力に対して認識率を調べ、次の
   学習で使用するニューロンの入出力関数の閾値付近の傾
   きを前記認識率を用いて定めることを特徴とするニュー
   ラルネットワークの学習方法。
5. （５）少なくとも１つ以上の中間層を含み、前記中間層
   および出力層のニューロンの学習時の入出力関数がシグ
   モイド関数である階層構造であることを特徴とするニュ
   ーラルネットワークの学習方法。