JPH05143757A - ニユーラルネツトワークの学習方法及び学習装置 - Google Patents

Abstract

(57)【要約】 【目的】 高速でしかも精度よく最適解を獲得すること
のできるニューラルネットワークの学習方法及びその装
置を提供すること。 【構成】 与えられた入力データに基づき出力データを
計算するＮＮ想起装置１１と、パラメータの初期状態を
設定する状態設定装置１２と、ＮＮ学習用データベース
１３内に格納されている入力データを入力設定する入力
設定装置１４と、ＮＮ想起装置から出力される出力デー
タと教師データとからニューラルネットワーク（ＮＮ）
の重みの評価値を算出し、ＮＮの学習状況を判断する評
価値演算装置１５とを有する。そして上記評価値に基づ
いてＮＮの重みに対する学習を行うための学習装置とし
て、ＧＡ等の最適解を確実に探索できる初期学習装置１
６と、ＢＰ等の上記初期学習装置１６よりも高速に学習
することのできる詳細学習装置１７とを備えており、両
学習装置の切り替えを、上記評価値演算装置で行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クの学習方法及び学習装置に関するものである。

【０００２】

【従来の技術】生物の神経回路網をモデルにした情報処
理装置であるニューラルネットワークは、多数のニュー
ロンと、それら各ニューロン間を連結するシナプスにて
構成されており、各シナプスには所定の結合係数（以
下、単に「重み」と称する）が付与されている。そし
て、その重みを適正な値に設定するため、ニューラルネ
ットワーク自身で自己学習が行われる。

【０００３】この自己学習の一例としては、バックプロ
パゲーション（以下、「ＢＰ」と称す）と称されるもの
がある。この方法は、最初に各シナプスに付与される重
みを乱数にて初期設定し、その状態で入力層にある入力
データを入力し、その入力データに基づいて入力層から
出力層まで順次計算し、出力データを得る。そして、そ
の出力データを、上記入力データにより得られるべき期
待出力データ（教師データ）とを比較し、両者の差を求
め、その誤差信号の二乗を減らす方向に各重みを変化さ
せるようになっている。

【０００４】また、他の学習方法としては、遺伝的アル
ゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ 以
下、「ＧＡ」と称す）と称されるものがある。この方法
は、各重みを乱数で設定し、与えられた典型的な入力デ
ータに基づき出力データを算出しその出力結果に基づい
てある評価関数の評価値を求め、次いで、ランダム的に
各重みを変動させるとともに上記同様に評価値を求め
る。この操作を所定回繰り返し行い、評価値が最小にな
った時の重みを最適解として決定するものである。

【０００５】

【発明が解決しようとする課題】しかしながら、前者の
ＢＰでは、図８に示すように、階層型ニューラルネット
では、学習により得られた入出力関係が局所解となって
しまい、最適解を得ることができないおそれがある。す
なわち、学習途中で局所解に至ると、その時の重みをど
ちら側にふったとしても得られる出力データと教師デー
タとの差は、局所解のものより大きくなってしまう。そ
のため、かかる局所解に学習が収束してしまうからであ
る。

【０００６】一方、ＧＡの場合には、ランダム的に重み
が変更されるため、最適解を求めることができる。しか
し、重みを変更した都度評価関数を計算して評価値を求
めなければならないとともに、多数回にわたって重みを
変更しなければならない等の理由から処理時間が長くな
る。さらに、このＧＡは、重みを大きく変動させて最適
解近傍という比較的ラフな学習結果を得るのは得意であ
るが、その最適解近傍の細かい区間で精度良く重みを変
化させつつ最適解を探索するのは得意でない。すなわ
ち、最適解を求めるために評価関数の精度を上げると、
学習時間が非常に長くなってしまうのである。このよう
に、従来各種の学習方法は、いずれも一長一短を有し、
満足するものがなかった。

【０００７】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、高速でしかも精度よ
く最適解を獲得することのできるニューラルネットワー
クの学習方法及びその装置を提供することにある。

【０００８】

【課題を解決するための手段】上記した目的を達成する
ために、本発明に係るニューラルネットワークの学習方
法では、最適解近傍を確実に探索できる学習方法を用い
てニューラルネットワークの初期学習を行い、その学習
状況を評価し、前記最適解の近くに至っていると判断さ
れたら、前記初期学習を終了するとともに、前記初期学
習よりも高速に学習することのできる学習方法にて前記
ニューラルネットワークに対し詳細学習を行うようにし
た。

【０００９】また、上記方法を達成するための学習装置
としては、最適解近傍を確実に探索できる初期学習装置
と、その初期学習装置よりも高速に学習することのでき
る詳細学習装置と、前記初期学習装置によるニューラル
ネットワークの初期学習の学習状況を評価し、その学習
の収束状況を判断し、所定のタイミングでニューラルネ
ットワークに行う学習作業を前記初期学習装置による前
記初期学習から前記詳細学習装置による詳細学習に切り
替えを行う制御手段とを備えた。

【００１０】

【作用】まず、ＮＮに対し初期学習を行い、その学習し
た結果に対し評価値を求め、その評価値が所定の値以下
になるまで、初期学習を続行する。そして、学習を続け
ることにより、局所解に陥ること無く、確実に最適解の
近くを探索される。そして、上記評価値が所定の値以下
になったら初期学習を終了する。

【００１１】ついで、上記初期学習により最適解に近付
いたなら、係る初期学習結果を重みの初期値として詳細
学習を行う。すると、最適解に向けて高速に収束する。
しかももこの詳細学習は、上述したごとく初期学習によ
って得られた最適解の付近から開始するため、局所解に
陥るおそれもなく、確実に最適解に収束する。

【００１２】

【実施例】以下、本発明に係るニューラルネットワーク
の学習方法及び学習装置の好適な実施例を添付図面を参
照にして詳述する。図１は本発明に係る学習装置の好適
な一実施例のブロック構成図を示している。同図に示す
ように、本学習装置１０は、与えられた入力データに基
づき出力データを計算するＮＮ想起装置１１と、そのＮ
Ｎ想起装置１１にニューラルネットワークの構成並びに
重み等のパラメータの初期状態を設定する状態設定装置
１２と、ＮＮ想起装置１１内のニューラルネットワーク
にＮＮ学習用データベース１３内に格納されている入力
データを入力設定する入力設定装置１４と、ＮＮ想起装
置１１から出力される出力データと上記ＮＮ学習用デー
タベース１４内に格納されている教師データとからＮＮ
想起装置１１内に形成されているニューラルネットワー
クの重みの評価値を算出するとともに、その評価値に基
づきそのニューラルネットワークの学習状況を判断する
評価値演算装置１５とを備えている。

【００１３】そして、上記ＮＮ想起装置１１内で想起さ
れているニューラルネットワーク構造が例えば図２
（Ａ）に示すように２入力１出力（中間層のニューロン
数２）のニューラルネットワーク構造であるとすると、
そのＮＮ想起装置１１内で行われる入力データから出力
データを算出する計算手順の一例は同図（Ｂ）に示すよ
うになっている。また、上記状態設定装置１２から出力
される入力データは図３に示すようになっている。すな
わち、入力層，中間層並びに出力層（各層のニューロン
数はそれぞｐｅ１，ｐｅ２，ｐｅ３）の３層からなる階
層型ニューラルネットワークの構造並びに各層間の重み
が出力される。さらに、上記ＮＮ学習用データベース１
５のデータ構造は、図４に示すようになっている。

【００１４】ここで本発明では、ＮＮ想起装置１１内の
ニューラルネットワークの重みに対する学習を行うため
の学習装置として、ＧＡ等の最適解を確実に探索できる
最適化手法を実行する初期学習装置１６と、ＢＰ等の上
記初期学習装置１６よりも高速かつ詳細に学習すること
のできる詳細学習装置１７の性質の異なる２つの学習装
置を備え、しかもそれら２つの学習装置１６，１７の切
り替えを、上記評価値演算装置１４で行うようになって
いる。

【００１５】次ぎに、上記した装置を用いて本発明に係
る学習方法の好適な実施例について説明する。まず本例
の概略について説明すると、状態設定装置１２並びに入
力設定装置１４から得られたデータに基づいてＮＮ想起
装置１１内で所定の重みが付されたニューラルネットワ
ークが構成されるとともに、そのニューラルネットワー
クにて逐次入力データに基づき出力データを計算する。
そして、得られた出力データと教師データとに基づいて
評価値を求め、その評価値が所定の値以下になるまで、
初期学習装置１６を用いて初期学習を行う、このとき、
初期学習装置１６は、ＧＡを用いているので、重みがラ
ンダム的に変更され、局所解に陥ること無く、確実に最
適解近傍を探索することができる。なお、評価値が所定
の値以下になったか否かの判断は、評価値演算装置１５
にて行われる。

【００１６】ついで、上記ＧＡによる学習により最適解
に近付いたなら、係るＧＡによる学習を終了するととも
に、詳細学習装置１７にて詳細学習を続行する。すなわ
ち、この詳細学習装置１７では、最急降下法の一種であ
るＢＰを用いているため、上記ＧＡに比し最適解に向け
て高速に収束する。しかも、前工程の詳細学習装置１７
における学習により、各重みは最適解の付近に至ってい
るため、ＢＰの有する問題であった局所解に陥るおそれ
もなく、確実に最適解に収束することになる。

【００１７】しかも、ＧＡからＢＰへの切り替えを行う
ＧＡでの学習終了の判断基準（評価値の値）としては、
ＧＡのみで学習を行う場合に比し緩くしている。このよ
うにすることによりＧＡでの学習に要する時間を飛躍的
に短くすることができる。しかも、このように緩くした
としても、次工程で行うＢＰより高速かつ確実に最適解
を得ることができるため、学習の効果としては、ＧＡ単
独と変わらず、或いはより良好なものが短時間で得られ
ることになる。以下、具体的な手順について図５〜図７
を参照しながら説明する。

【００１８】まず、状態設定装置１２により、ニューラ
ルネットワーク構造や重みなどのニューラルネットワー
クの初期パラメータＰNNI を、ＮＮ想起装置１１に設定
する。ここで、設定する初期パラメータＰNNI は、図３
に示すように、各層のニューロンの数，入力層のニュー
ロンから中間層のニューロンへの重み並びに中間層のニ
ューロンから出力層のニューロンへの重みである（Ｓ１
０１）。ついで、ＮＮ想起装置１１に設定された初期パ
ラメータＰNNI をニューラルネットワークの学習中のパ
ラメータＰNNL としてＮＮ想起装置１１より各学習装置
１６，１７に設定する（Ｓ１０２）。

【００１９】ついで、各種フラグをリセットする。すな
わち、まず学習の動作モードを表すｆｌａｇを０にし、
学習回数Ｎを０にセットし、その学習回数Ｎをインクリ
メントし、入出力データの順番ｉを０にセットし、その
入出力データの順番ｉをインクリメントする（Ｓ１０３
〜１０７）。なお、上記ｆｌａｇは、「０」が「初期学
習の処理を実行する」，「１」が「詳細学習の処理を実
行する」，「２」が詳細学習の評価を行う」をそれぞれ
意味している。

【００２０】次に、入力設定装置１４よりＮＮ学習用デ
ータベース１３から現在の入出力データの順番ｉの入力
データ列Ｘｉを読み込み、ＮＮ想起装置１１に設定する
（Ｓ１０８，１０９）。そして、その入力されたデータ
に基づいてＮＮ想起装置１１にてＮＮ算出手順にしたが
って出力データＹｉを算出し、その算出された出力デー
タＹｉを評価値演算装置１５に設定する（Ｓ１１０，１
１１）。

【００２１】ついで、ＮＮ学習用データベース１３から
現在の入出力データの順番ｉの教師データ列Ｄｉを評価
値演算装置１５に読み込む（Ｓ１１２）。そして、初期
学習中か否か、すなわちｆｌａｇが０か否かを判断し
（Ｓ１１３）、「０」（初期学習中）ならば現在の入出
力データ列の順番ｉが最後の入出力データ列の順番ｎで
あるか否を判断し（Ｓ１１４）、最後のデータに至って
いなければ上記ステップ１０７に戻り、ｉをインクリメ
ントし次の順番の入出力データに基づいて上記処理を行
う。一方、上記ステップ１１４の判断で最後の入出力デ
ータ列と判断されたなら、評価値演算装置１５にて、上
記処理で得られたすべての出力データＹ１，Ｙ２，…，
Ｙｎと、その出力データ列に対応する教師データ列Ｄ
１，Ｄ２，…，Ｄｎから、次式に基づいて評価値Ｅを算
出する（Ｓ１１５）。

【００２２】 そして、算出された評価値Ｅを初期学習装置１６に設定
するとともに（Ｓ１１６）、その評価値Ｅを予め設定し
ておいた初期学習の終了時の評価値ＥGAと比較する（Ｓ
１１７）。そして、算出された評価値Ｅの方が大きい場
合には学習が十分でないため、初期学習装置１６を作動
させてＧＡによる学習を行い現在のニューラルネットワ
ークのパラメータＰNNL を修正し（Ｓ１１８）、その修
正したラメータＰNNL をＮＮ想起装置１１に設定し（Ｓ
１１９）、ステップ１０５に戻る。一方、ステップ１１
７の判断で評価値ＥがＥGAより小さい場合には、ＧＡに
よる学習が終了したと判断できるため、ｆｌａｇを１に
設定し（Ｓ１２０）、ステップ１０４に戻る。すなわ
ち、詳細学習装置１７によるＢＰの学習を行うべく、学
習回数Ｎ並びに入出力データの順番ｉを０にリセットす
ると共にそれぞれをインクリメントし、上記と同様にＮ
Ｎ想起装置１１に入力データを逐次入力すると共にそこ
において出力データを算出する（Ｓ１０５〜１１２）。
そして、ステップ１１３に至ると、ｆｌａｇが１になっ
ているため、ステップ１２１に飛び、そこにおいてｆｌ
ａｇが１か否かが判断される。すなわち、ｆｌａｇ＝１
のＢＰの学習中か、ｆｌａｇ＝２のＢＰの評価中かが判
断される。

【００２３】そして、学習中（ｆｌａｇ＝１）ならば、
評価値演算装置１５により現在の出力データ列Ｙｉと、
その出力データ列に対応する教師データ列Ｄｉから、現
在の入出力データ列に対する評価値Ｅｉを算出する（Ｅ
１２０）。なお、この評価値Ｅｉは、次式で求められ
る。 Ｅｉ＝ｄir−ｙir そして、このようにして求められた現在の入出力データ
列に対する評価値Ｅｉを詳細学習装置１７に設定し、そ
の詳細学習装置１７では、ＢＰによる学習を行い係る評
価値Ｅｉから、現在のニューラルネットワークのＮＮパ
ラメータＰNNLを修正し、その修正されたＮＮパラメー
タＰNNL をＮＮ想起装置１１に設定する（Ｓ１２３〜１
２５）。そして、現在の入出力データ列がＮＮ学習用デ
ータベース１３内に格納されたデータ列の最後であるか
否か（ｉ＜ｎ？）を判断し（Ｓ１２６）、最後まで達し
ていなかったならステップ１０７に戻りｉをインクリメ
ントとした後、上記操作を繰り返し行う。

【００２４】一方、ステップ１２６の判断で、現在の入
出力データ列が、ＮＮ学習用データベース１３に格納さ
れている最後のデータ列であると判断されたなら、ｆｌ
ａｇに２を設定し（Ｓ１２７）、ステップ１０６に戻
り、入出力データの順番ｉを０にリセットして最初の入
出力データから上記操作を繰り返して行う。そして、ス
テップ１１９に至ると、ｆｌａｇが２になっているた
め、ステップ１２８にて現在の入出力データ列がＮＮ学
習用データベース１３内に格納されたデータ列の最後で
あるか否か（ｉ＜ｎ？）が判断され、最後まで達してい
なかったならステップ１０７に戻りｉをインクリメント
とした後、上記操作を繰り返し行う。

【００２５】一方、ステップ１２８の判断で、現在の入
出力データ列が、ＮＮ学習用データベース１３に格納さ
れている最後のデータ列であると判断されたなら評価値
演算装置１５により、すべての出力データ列Ｙ１，Ｙ
２，…，Ｙｎと、その出力データ列に対応する教師デー
タ列Ｄ１，Ｄ２，…，Ｄｎから、次式に基づいて評価値
Ｅを算出する（Ｓ１２９）。

【００２６】 そして、算出された評価値Ｅを詳細学習装置１７に設定
する（Ｓ１３０）とともに、その評価値Ｅが予め設定し
ておいた詳細学習の終了時の評価値ＥNN以下になってい
るか否かを判断する（Ｓ１３１）。そして、大きい場合
には学習が十分でないため、ｆｌａｇを１に再設定し
（Ｓ１３２）、ステップ５に戻り学習回数Ｎをインクリ
メントするとともに上記操作を繰り返し、ＢＰによる学
習を続行する。一方、上記ステップ１３１の判断で評価
値ＥがＥNNより小さい場合には、ＢＰによる学習の結
果、各重みが最適解に収束したと判断できるため、本学
習処理を終了する。なお、ステップ１３１のＢＰでの学
習を終了させるための判断基準となった評価値ＥNNの値
は、上記ステップ１１９のＧＡでの学習を終了させＢＰ
へ移行させるための判断基準である評価値ＥGAより小さ
な値に設定している。これにより確実に最適解により近
付いたことを確認することができるとともに、比較的狭
い範囲での高速処理が得意なＢＰを用いることにより、
たとえ評価値ＥNNを非常に小さな値としても、比較的短
時間で学習作業を終了することができる。

【００２７】なお、上記した実施例では、２つ学習の終
了を判断するための評価方法として、ともに最小二乗法
を用い、その評価値として誤差の二乗の値（具体的な値
は変えたが）を用いたが、本発明はこれに限ることな
く、例えば詳細学習を終了させる時の判断として、評価
値の変化率（量）を用い、その変化率（量）が所定の値
以下になった時に学習を終了するようにしてもよいなど
種々変更実施が可能である。そして、上記のように変化
率を用いた場合には、設定の困難な評価値のしきい値を
予め設定する必要がなくなるという利点を生じる。

【００２８】また、各学習で使用するものとして、上記
実施例では初期学習としてＧＡを、詳細学習としてＢＰ
を用いた例について説明したが、本発明はこれにかぎる
ことなく、例えば初期学習としてはメトロポリス法を応
用し、状態遷移（重みの変更）に確率的要素を取り入れ
るとともに「温度」というパラメータを適切に制御する
ことによ局所解にとらわれることなく最適解を探索する
ことのできるシミュレーテッドアニーリング法（Ｓｉｍ
ｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇ）を用いたり、ま
た、詳細学習としては、最近傍参照ベクトルの選択とい
う非線形性とその最近傍ベクトルのみを変更するという
ネットワークの局所的変更を行うＬＶＱ（Ｌｅａｒｎｉ
ｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）等を
用いても良いとともに、それらを適宜組み合わせて使用
したり、さらには他の学習方法を組み合わせるようにし
ても良い。

【００２９】

【発明の効果】以上のように、本発明に係るニューラル
ネットワークの学習方法及び学習装置では、最適解近傍
を確実に探索できる学習方法を用いてニューラルネット
ワークに対して初期学習を行うことにより最適解の付近
まで探索し、次いで、最適階に向けて高速に収束するこ
とのできる学習方法を用いて、前記ニューラルネットワ
ークに対して詳細学習を行うようにしたため、局所解に
陥ることなく、しかも、高速に最適解に収束することが
できる。

【００３０】また、初期学習の終了を判断する評価基準
より、詳細学習の終了を判断する評価基準の方をきびし
くした場合には、詳細学習を行ったことによって最適解
により近付いたことが確認できる。さらに、詳細学習の
終了の判断を評価値の変化を参照して行うようにした場
合には、設定の困難な評価値のしきい値を予め設定する
必要がなくなり、より簡便なシステムとなる。

【図面の簡単な説明】

【図１】本発明に係るニューラルネットワークの学習装
置の好適な実施例を示すブロック構成図である。

【図２】ＮＮ想起装置内で構成されるニューラルネット
ワークの構成の一例並びに係る装置内で行われる計算手
順の一例を示す図である。

【図３】ＮＮパラメータのデータ構造を示す図である。

【図４】ＮＮ学習用データベースに格納されている各デ
ータのデータ構造を示す図である。

【図５】本発明に係るニューラルネットワークの学習方
法の好適な実施例を示すフローチャートの一部を示す図
である。

【図６】本発明に係るニューラルネットワークの学習方
法の好適な実施例を示すフローチャートの一部を示す図
である。

【図７】本発明に係るニューラルネットワークの学習方
法の好適な実施例を示すフローチャートの一部を示す図
である。

【図８】局所解と最適解の関係を示すグラフである。

【符号の説明】

１０ 学習装置 １１ ＮＮ想起装置 １２ 状態設定装置 １３ ＮＮ学習用データベース １４ 入力設定装置 １５ 評価値演算装置 １６ 初期学習装置 １７ 詳細学習装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 最適解近傍を確実に探索できる学習方法
   を用いてニューラルネットワークの初期学習を行い、そ
   の学習状況を評価し、前記最適解の近くに至っていると
   判断されたら、前記初期学習を終了するとともに、前記
   初期学習よりも高速に学習することのできる学習方法に
   て前記ニューラルネットワークに対し詳細学習を行うこ
   とを特徴とするニューラルネットワークの学習方法。
2. 【請求項２】 前記詳細学習による前記ニューラルネッ
   トワークの学習状況を評価し、その詳細学習を終了時期
   を判断する評価基準を前記初期学習を終了する際に用い
   る評価基準よりきびしくすることを特徴とする請求項１
   に記載のニューラルネットワークの学習方法。
3. 【請求項３】 請求項１に記載した詳細学習による前記
   ニューラルネットワークの学習状況を評価し、その評価
   値の変化を参照し、その変化が少なくなったときに前記
   詳細学習を終了するようにしたことを特徴とする請求項
   １に記載のニューラルネットワークの学習方法。
4. 【請求項４】 最適解近傍を確実に探索できる初期学習
   装置と、その初期学習装置よりも高速に学習することの
   できる詳細学習装置と、前記初期学習装置によるニュー
   ラルネットワークの初期学習の学習状況を評価し、その
   学習の収束状況を判断し、所定のタイミングでニューラ
   ルネットワークに行う学習作業を前記初期学習装置によ
   る前記初期学習から前記詳細学習装置による詳細学習に
   切り替えを行う制御手段とを備えたニューラルネットワ
   ークの学習装置。