JPH04262453A - ニュ−ロ学習制御方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多層型ニューラルネッ
トワークを用いてパターン認識やデータ圧縮などを行な
う処理分野において、教師信号を用いてネットワークの
重みの学習を行なうニューロ学習制御方法及び装置に関
する。

【０００２】

【従来の技術】ニューラルネットワークとは、人間の脳
における神経回路網を簡略化しモデル化したものであり
、それは神経細胞ニューロンが、一方向にのみ信号が通
過するシナプスを介して結合されているネットワークで
ある。ニューロン間の信号の伝達は、このシナプスを通
して行なわれ、シナプスの抵抗、すなわち重みを適当に
調整することにより、様々な情報処理が可能となる。 各ニューロンでは、他のニューロンからの出力をシナプ
スの重み付けをして入力し、それらの総和を非線形応答
関数の変形を加えて出力する。ニューラルネットワーク
の構造には、大きく分けて相互結合型と多層型の二種類
があり、前者は最適化問題に、後者はパターン認識など
の認識問題に適している。本発明は、多層型ニューラル
ネットワークに関する。

【０００３】パターン認識やデータ圧縮に、多層型ニュ
ーラルネットワークを用いる場合、ネットワークが正し
い出力を出すように、入力パターンと出力パターンが対
になった教師信号を用意し、それらを用いてネットワー
クの重みを予め学習しておく必要がある。それには通常
、バックプロパゲーションと呼ばれる最適化手法を用い
て行なわれる。この手法に関しては、例えばＰＤＰモデ
ル、産業図書（１９８９年）第３２５頁から第３３１頁
において論じられている。この手法の特徴は、ニューロ
ンの非線形応答関数にシグモイド関数のような非減少で
連続関数を使うことと、〔図２１〕（１）式〈「図面」
を参照のこと。以下、数式は同様である。〉で示すよう
に重みを更新することによって、ネットワークの出力誤
差を小さくすることである。

【０００４】第６図を用いて具体的にその手法の処理手
順を示す。まず、第６図のデータ１０について説明する
。教師信号データ１０は教師入力信号と教師出力信号か
らなり、それぞれ（入力層ニューロン数×教師パターン
数）、（出力層ニューロン数×教師パターン数）だけの
データ数を持つ。入力信号パターンと出力信号パターン
は対応しており、例えば入力信号パターン１を入力層に
入力して、出力層からでる出力と出力信号パターン１と
の誤差を計算し、それを学習に使用する。ステップ３７
では、教師信号データ１０の入力信号パターンを入力層
ニューロンに入力する。ステップ３８では、〔図２１〕
（２）式及び（３）式に従い、入力信号を出力層側のニ
ューロンに次々と伝搬させ、最終的に出力層ニューロン
の出力を求める。これらの式から分かる様に、ニューロ
ンの総入力を求める時、重みと出力の内積を取る。そこ
で、以下では１つのニューロンに対する重み全てを重み
ベクトル、及び、重みベクトルの大きさをノルムと呼ぶ
ことにする。ステップ３９では、教師信号データ１０の
出力信号とステップ３８で計算した出力層ニューロンの
出力により、〔図２２〕（４）式を用いて出力誤差を計
算する。ステップ４０では、まず、〔図２２〕（５）式
及び（６）式に従い、各ニューロンの重みに対し、誤差
の勾配を求める。その後、〔図２２〕（７）式で、誤差
の勾配と前回の修正量より今回の修正量を求め、対応す
る各重みに加える。但し、〔図２２〕（７）式の右辺第
２項は、モーメント項と呼ばれ、学習を加速するために
経験的に加える項である。ステップ４１では、教師パタ
ーンを更新して次の学習の準備を行なう。ステップ４２
では、教師データ１０の全教師パターンを提示したかど
うか判断し、全て提示していればステップ４３へ進み、
さもなくばステップ３７へ戻って重みの学習を繰り返す
。ステップ４３では、１を加えて学習回数を更新する。 以上のステップを、出力誤差が学習終了の基準となる一
定の誤差の上限以内に収まるまで、繰り返す。以上が、
従来のバックプロパゲーションによる学習の原理である
。

【０００５】一方、この学習の進行上の問題点として、
次のことが挙げられる。 （イ）重みが過剰に増大することによる学習の停滞（ロ
）ローカルミニマム

【０００６】まず、（イ）について説明する。ステップ
４０で重みに対する誤差勾配を求める時に、シグモイド
関数の微分を掛けているが、ニューロンの総入力が大き
くなり過ぎると、この微分が平坦な領域に入ってしまい
非常に小さくなる。その結果、誤差勾配が小さくなり、
学習がほとんど進まなくなってしまう。この学習の停滞
の原因となる総入力の増大は、学習過程において各ニュ
ーロンの重みベクトルのノルムが、大きくなり過ぎるこ
とで起こっている。

【０００７】このことを第１４図、第１５図を用いて説
明する。第１４図はシグモイド関数のパラメータｗの依
存性を表している。〔図２３〕（８）式及び（９）式か
ら、ｗが大きいほど、すなわち重みベクトルのノルムが
大きいほど、Ｏ＝０近辺の関数の値の立ち上がりが急に
なる。一方、重みの学習で使うｄｆ／ｄｎｅｔは第１５
図で示すように、ｎｅｔが大きくなると急速に小さくな
る。ｎｅｔはｗに比例しているので、ｗが大きくなれば
ｄｆ／ｄｎｅｔは小さくなってしまう。第１６図、第１
７図を用いて、この原理をさらに詳しく説明する。これ
は、２次元の入力を持つニューロンに、信号ａとｂの線
形分離を行なう学習をさせる場合で、第１７図はその学
習完了状態を示したものである。つまり、信号ａが入力
された時にニューロンは０．９を出力し、信号ｂが入力
された時に０．１を出力するように学習させる。〔図２
３〕（１０）式及び（１１）式は、ニューロンの出力Ｏ
３の計算を示す。第１６図は、学習をはじめる前の状態
である。ここで、Ｕはｎｅｔ＝０を表す直線であり、以
下、これを分離平面と呼ぶ。この状態では信号ａに対し
て０．６を出力し、信号ｂに対して０．４を出力してい
る。学習によって第１６図の状態にするためには、直線
Ｕを回転させてａ、ｂからＵをできるだけ離すと同時に
、重みのノルムを大きくしてシグモイド関数を立てる必
要がある。しかし、そのためにＵを十分に回転させる前
にノルムが大きくなってしまうと、上述したように誤差
勾配に掛け算で入るｄｆ／ｄｎｅｔが小さくなるので、
学習がほとんど停滞してしまう訳である。

【０００８】次に（ロ）ローカルミニマムについて説明
する。バックプロパゲーション法は勾配を用いた最適化
手法であり、これは別名『山登り法』とも呼ばれる。そ
れ故、誤差とその勾配を頼りに探索していくと、局所（
ローカル）的（ミニマム）点に入ってしまい、学習が完
了しないことがある。

【０００９】

【発明が解決しようとする課題】以上のような原理的問
題点を内在している従来のバックプロパゲーションを用
いた学習システムでは、次に述べる理由により、全体と
しての学習時間が長くなりがちであった。■学習停滞を
判断するに際し、その時点の学習回数や誤差を用いてお
り、バックプロパゲーションによる誤差の減少率は、一
様でなく大きく変化する。従って学習停滞の的確な判定
が難しく、余計な学習時間を費やした上に学習結果が悪
い場合があった。■学習停滞を回復しようとした時、既
知の回復方法がいくつかあっても、方法を選択するため
の判断材料が揃っていないために、適当な方法が選択で
きない場合が多かった。そのため、回復がうまくいかな
かったり、或いは回復が遅れたりした。本発明の目的は
、この様な学習時間が全体として長くなってしまう、と
いう欠点を解消するためのニューロ学習制御方法及び装
置を提供することにある。

【００１０】

【課題を解決するための手段】■で述べた課題に対して
は、学習停滞を判断するための豊富な学習評価データを
表示し、学習の過程で、学習停滞の可能性を示すメッセ
ージを表示することによって、達成される。学習評価デ
ータは、（１）ニューラルネットワークの出力誤差、（
２）出力誤差の各重みに対する勾配の絶対値平均、（３
）各ニューロンの重みベクトルのノルム平均、（４）シ
グモイド関数微分値の（教師信号パターン数×ニューロ
ン数）平均、からなり、学習停滞の可能性を示すメッセ
ージは、（１）出力誤差が対応する基準値より大きい、
（２）誤差勾配の絶対値平均が対応する基準値より小さ
い、（３）重みベクトルのノルムが対応する基準値より
大きい、（４）シグモイド関数の微分係数が対応する基
準値より小さい、という判定条件からなる。■で述べた
課題に対しては、学習停滞の回復方法、及び、過去に採
用した回復方法と、その時の問題データ群、学習開始後
から停滞までの学習評価データ群を表示し、さらに選択
後、その回復処理方法と問題データ群、学習開始後から
停滞までの学習評価データ群を１つの回復事例として記
憶し、必要に応じて表示して、ユーザーの判断材料とす
ることによって、達成される。

【００１１】

【作用】学習停滞は、学習の過程で重みのノルムが過度
に大きくなった結果、ニューロンの総入力が増加してシ
グモイド関数の平坦な領域に入るので、その微分値が小
さくなってしまい、重みを修正するときに使う誤差勾配
も小さくなることで生じる。そこで、学習評価データを
表示することで、学習停滞に関わるデータの振る舞いを
見ることかでき、さらに判定条件を満たした時、ユーザ
ーに対し学習停滞の可能性が高いことを示すメッセージ
を表示するので、学習が停滞していることを速く知るこ
とが可能となり、不必要な学習に時間を費やすことが無
くなる。また、回復方法を選択するために、学習停滞の
回復方法、及び、過去に採用した回復方法と、その時の
問題データ群、学習開始後から停滞までの学習評価デー
タ群を表示するので、ユーザーは、これらを参考データ
として、的確な判断が可能になる。このようにして、早
期に学習停滞が判定でき、また、適切な回復処理を行う
ことができる。この結果、無駄な学習を防ぐことができ
るので、回復も含めた学習の始めから終わりまでの全体
を考えたとき、学習の高速化が可能になる。

【００１２】

【実施例】以下、本発明の実施例を、第１図〜第１３図
及び１８図を用いて説明する。第１図は、ニューラルネ
ットの学習を含めて、実施例の処理全体の流れを示すも
のである。第２図は、これを実現するための構成全体図
を示すものであり、キーボード１６、ディスプレイ１８
、ＣＰＵ１７とそのメモリ１９からなる。メモリ１９は
、ニューロンの重み学習システム２０と、学習補助シス
テム２２からなる。９は、学習起動前にユーザーに問い
合わせる、学習させる問題の名称、教師信号データの種
類・性質、ニューラルネットワークの構造、及び、学習
の初期設定データなどの学習問題データ群、１０は、そ
の学習を行なうために使用する教師信号データ、２１は
、与えられた教師信号によって学習を行なうための、バ
ックプロパゲーション学習プログラム、１は、学習補助
を行なうプログラム、１１は、学習評価データを記憶す
る学習評価データ群記憶テーブル、１２は、学習停滞可
能性を判定する学習停滞可能性判定の基準値、１３は、
学習停滞を回復するための回復方法リスト、１４は、回
復方法リスト１３に対応するプログラム群、１５は、過
去に学習停滞を回復した時に採用した回復方法、及び、
その時の学習評価データ群、問題データ群を含む過去の
回復事例データ群である。

【００１３】本実施例の操作を説明する前に、まず、各
種データ群とプログラム群を説明する。第７図は、学習
を起動する前に、学習補助システムがユーザーに対して
問い合わせる問題データ群９の詳細を示した図である。 項目は、大きく分けて学習させる問題の名称４４、教師
信号データの種類・性質４５、ニューラルネットワーク
構造４６、学習の初期設定４７からなる。第８図は、重
み学習を行なうための教師信号データ１０の詳細を示す
図である。４８は、入力層ニューロンに入力する入力教
師信号データであり、（入力層ニューロン数×教師信号
パターン数）のデータ数がある。５１は、出力層ニュー
ロンの出力と比較して誤差を求めるための出力教師信号
であり、（出力層ニューロン数×教師信号パターン数）
のデータ数がある。教師入力信号４８と教師出力信号５
１は対になっており、例えば、４９の入力信号パターン
１には５２の出力信号パターン１が対応している。第９
図は、学習状態を示す学習評価データ群記憶テーブル１
１の詳細を示す図であり、これは５３〜５６の４つのデ
ータを学習回数の系列として記憶するためのテーブルで
ある。これはユーザーに対して学習状況を示すためのデ
ータとなるだけでなく、学習が停滞している可能性が高
いかどうかを判断する時にも使用される。又、回復処理
を行なったときには、過去の回復事例のデータの一部と
して、過去の回復事例データ群１５に記憶される。第１
０図は、学習が停滞している可能性が高いと判定するた
めの基準値１２の詳細を示す図である。６１の出力誤差
５３、６２の誤差勾配の絶対値５４、６３の重みベクト
ルのノルム平均５５、６４のシグモイド関数の微分係数
平均５６に対する基準値からなる。第１１図は、ユーザ
ーが学習停滞回復を決定した時、学習補助システムが表
示する回復方法リスト１３の詳細を示す図である。７０
は、最初からもう一度学習をやり直す処理であり、７１
は、学習の停滞が重みのノルムの過増大によって起こる
ので、これを縮小する処理であり、７３は、学習の停滞
にかかわっているニューロンの重みのみを縮小する処理
である。７２、７４は、それぞれ７１、７３に小さなノ
イズを加えたものである。７５は、パラメータの設定が
適当でない時に起こる停滞を回復するための処理である
。第１２図は、ユーザーが回復処理方法リスト１３の何
れかを選択した後、実行するためのプログラム群１４を
示す図である。第１３図は、過去の回復事例データ群１
５の詳細を示す図であり、学習停滞回復処理方法、回復
処理を行なった時の問題データ群９、及びその時の学習
評価データ群１１が事例ごとに並んでいる。このデータ
群は、ユーザーが回復処理を行なうと決定した時、採用
した回復方法、問題データ群９、学習評価データ群記憶
テーブル１１を、１つの回復事例（７７、７８）として
記憶されるデータ群である。本実施例では、重みを学習
している時に学習の進行がほとんど停止してしまった場
合、いくつかの既知の回復方法を表示することに加え、
過去の学習問題のデータ群と、その時に採用した回復方
法を表示し、ユーザーがそれらを参考に回復方法を選択
し、回復処理を行なうことを特徴とする。

【００１４】次に第１図、第３図〜第６図を用いて本実
施例の動作を説明する。第１図は本実施例の全体の動作
を表す図で、ステップ２、ステップ６、ステップ７、ス
テップ８が本発明の特徴となっている。

【００１５】〈ステップ２〉では、学習を起動する前に
学習補助システムが、ネットワークを構成する時、及び
、学習停滞が生じた時に必要な第７図の問題データ群９
について、ユーザーに問い合わせ、その返答を問題デー
タ群９に記憶する。

【００１６】〈ステップ３〉では、その返答に応じ、ネ
ットワークの構造作成、及び、初期重みの生成などの初
期設定を行なう。本処理ステップの詳細を第５図を用い
て説明する。ステップ３３では、問題データ群９の４６
のデータを用いて、ネットワーク作成と学習に必要なメ
モリ領域、すなわち、ニューロンの重み、重みに対する
誤差勾配、そして、モーメント項のデータを格納するメ
モリ領域を確保する。ステップ３４では、学習を行なう
ために必要なパラメータである、問題データ群９の学習
係数とモーメント係数を学習プログラムにセットする。 ステップ３５では、問題データ群９の初期重み設定パラ
メータに、（＋１〜−１）の乱数を掛けて初期重みを生
成する。以上のステップ３の処理の結果、学習を開始す
る準備ができる。

【００１７】〈ステップ４〉では、バックプロパゲーシ
ョン法によって、重みの学習を行なう。第６図にステッ
プ４の詳細処理を示す。ステップ３７では、教師信号デ
ータ１０にある１パターンの教師入力信号データを取り
出し、入力層ニューロンに入力する。ステップ３８では
、〔図２１〕（２）式、（３）式に従い、入力信号をニ
ューロンによって変換しながら出力側の層に伝搬させ、
出力層の出力を計算する。ステップ３９では、ステップ
３８で計算した出力層ニューロンのそれぞれの出力と、
教師信号データ１０の教師出力信号データの差をとり、
〔図２２〕（４）式に従い誤差を計算する。次に、学習
評価データ群記憶テーブル１１の５３の該当する学習回
数のところに誤差を加算する。ステップ４０では、〔図
２２〕（５）式に従い、各々の重みに対する誤差の微分
係数すなわち誤差勾配を求めた後、〔図２２〕（７）式
によって重み修正量を計算し、それをそれぞれの重みに
加えることにより、重みを更新する。その後、各重みに
対する誤差勾配の絶対値平均とシグモイド関数微分値の
ニューロン数平均値を計算して、学習評価データ群記憶
テーブル１１の５４の該当する学習回数のところに、そ
れを加算する。ステップ４１では、教師信号パターンを
更新して次の学習の準備をする。ステップ４２では、教
師信号データ１０にある全ての教師信号パターンを一通
り提示したかどうかを判断し、もし一通り提示していな
ければステップ３７へ戻り、上で述べた学習を繰り返し
、もし全ての提示が終わっていれば、ステップ４３へ進
む。ステップ４３では、学習評価データ群記憶テーブル
１１の誤差勾配の絶対値５４、シグモイド関数微分値の
平均５６の該当する学習回数のデータを、教師信号パタ
ーン数で割ってその平均値を計算し、もとのデータ領域
に記憶する。また、重みベクトルのノルムの平均を計算
し、学習評価データ群記憶テーブル１１の重みベクトル
のノルム平均５５の該当する学習回数のデータ領域に記
憶する。その後１を加えて学習回数を更新する。以上の
ステップ４の結果、教師信号データ１０による全パター
ンの教師信号に対する学習が行なわれる。また、全教師
パターンについて加算した出力誤差、誤差勾配の絶対値
の教師パターン平均、シグモイド関数微分値の教師パタ
ーン平均値が計算される。

【００１８】〈ステップ５〉では、〔図２２〕（４）式
の誤差が学習終了基準となるその誤差の上限よりも小さ
いかどうかを判断し、もし小さければ学習を終了し、さ
もなくば、次のステップに進む。

【００１９】〈ステップ６〉では、学習評価データ記憶
テーブル１１から、学習評価データ５３〜５６を呼び出
し、それを学習回数の関数として、例えば第１８図のよ
うにグラフ表示する。これらの表示により、ユーザーは
学習状態をモニターすることができる。

【００２０】〈ステップ７〉では、学習評価データ記憶
テーブル１１に記憶されているデータを用いて学習停滞
が起こっている可能性が大きいかを判定する。本処理ス
テップの詳細を第３図を用いて説明する。ステップ５７
では、テーブル１１の出力誤差５３が学習停滞可能性判
定の基準値１２の出力誤差の基準値６１より大きくなけ
ればステップ４へ戻って学習を継続し、さもなくばステ
ップ５８に進む。ステップ５８、５９、６０では、それ
ぞれ誤差勾配の絶対値５４、重みベクトルノルム平均値
５５、シグモイド関数微分値５６について同様のことを
行なう。最終的にステップ５７〜６０の条件を全て満た
せば、学習停滞の可能性が高いと判定し、さもなくば、
低いと判定して学習を継続する。

【００２１】〈ステップ８〉では、ユーザーに学習を停
止するか問い合わせ、もし停止するのであれば、その後
の回復方法を選択するために、回復処理方法リストの表
示だけでなく、過去に採用した回復処理方法と、その時
の学習の問題データ群、学習評価データ群を表示する。 第４図を用いてステップ８の処理をさらに詳しく説明す
る。ステップ２５では、ユーザーに対し学習が停滞して
いる可能性が高いことを示すメッセージを表示する。ス
テップ２６では、ユーザーに学習を継続するか停止する
かを問い合わせ、もし停止するのであればステップ２７
に進み、さもなくば学習を継続する。ステップ２７では
、回復処理方法リスト１３の回復処理法７０〜７５を表
示する。ステップ２８では、過去の回復事例データ群１
５の中で現在の学習に関連するデータ、すなわち、同種
の問題について過去に学習停滞時に採用した回復方法、
その時の学習の問題データ群９、学習評価データ群１１
を表示する。このステップの処理の結果、ステップ２７
で表示した回復処理方法の選択のための参考データをユ
ーザーに表示するので、選択の補助ができる。ステップ
２９では、ステップ２８で表示したデータを参考に、ユ
ーザーが回復処理方法群リスト１３の中から回復処理方
法を選択する。ステップ３０では、ステップ２９で選択
した回復方法と、現在行なっている学習に対する問題デ
ータ群９と、学習評価データ群記憶デーブル１１のデー
タを関係付けて、過去の回復事例データ群１５の中に記
憶する。このステップの処理の結果、過去の回復事例デ
ータを増加させることができる。ステップ３１では、ス
テップ２９で選択した回復処理方法を実行するために、
回復処理プログラム群１４から該当するプログラムを呼
び出し、実行する。

【００２２】以上のステップ８の結果、ユーザーは過去
のデータを参照して、学習停滞の回復方法を選択し実行
できると同時に、採用した回復方法、問題データ群、学
習評価データ群を関係付けて、過去の回復事例データ群
１５に記憶して、１５のデータを増加させ構築すること
ができ、次回の回復処理ではより適当な選択ができるよ
うになる。このように、過去に行なったことを参考に回
復方法を選択するので、回復の指針が立てやすく、また
、回復処理の成功率も高い。本発明によれば、早期に学
習の停滞を知ることができ、また、適切な回復処理を行
うことができるので、無駄な学習を省くことが可能にな
る。その結果、回復も含めた学習の始めから終了までの
全体の学習時間を考えたとき、学習を高速化することが
可能になる。。なお、学習停滞判定は実施例のものに限
るものではなく、また、回復方法も実施例のものに限る
ものではない。

【００２３】次に、バックプロパゲーション学習アルゴ
リズムを用いた装置の実施例を第１９図及び第２０図を
用いて説明する。第１９図は、本実施例の装置の構成全
体の詳細を示す図であり、第２０図は、第１９図の装置
の動作を説明するための処理フローである。第１９図、
第２０図においてｂのついた参照番号は、それぞれ第２
図、第１図のｂのつかない同じ参照番号と同等のもので
ある。但し、第１９図における４８ｂ、５１ｂは第８図
の４８、５１と同等のものである。

【００２４】第１９図の装置の動作の詳細を第２０図を
用いて説明する。 〈ステップ２ｂ〉では、学習を起動する前に学習制御部
１ｂが問題データ記憶部９ｂのないように対してユーザ
に問い合わせ、その返答を問題データ群記憶部９ｂに記
憶する。 〈ステップ３ｂ〉ては、学習を行うために第１の実施例
で説明したことと同様な初期設定を行なう。まず、初期
設定部１０２が問題データ群記憶部９ｂから学習の初期
設定に関するデータを読み出す。そのデータに基づき初
期設定部１０２は、それぞれニューラルネットワーク１
０１にはネットワーク作成に必要なメモリ領域の確保と
初期重みの設定、学習終了判定部１０４には学習終了条
件の設定、重み更新部１０５には学習に必要なメモリの
確保と学習に関わるパラメータの設定を行なう。以上の
ステップ３ｂの処理の結果、学習を開始する準備ができ
る。 〈ステップ４ｂ〉では、ニューラルネットワーク１０１
、教師データ記憶部１０ｂ、誤差計算部１０３、重み更
新部１０５を用いて第１の実施例で示したように重みの
学習を行なう。加えて学習評価データ群計算部１０６で
、第８図で示される学習評価データ群５３〜５６を計算
し、それらを学習停滞可能性判定部１０７に送ると同時
に学習評価データ群記憶部１１ｂに記憶する。 〈ステップ５ｂ〉では、学習終了判定部１０４により誤
差が学習終了基準を満たすか判定し、満たした場合は学
習を終了する。 〈ステップ６ｂ〉では、学習制御部１ｂが学習評価デー
タ群記憶部１１ｂから学習評価データ群を読み出し、表
示部１８ｂにグラフ表示する。これによりユーザは学習
状態をモニターすることができる。 〈ステップ７ｂ〉では、学習停滞可能性判定部１０７が
学習停滞可能性判定基準データ記憶部１２ｂから判定基
準データを読み出し、それとステップ４ｂで送られた学
習評価データと比較して、学習停滞の可能性が大きいか
判定する。もし停滞の可能性が大きいと判定されれば、
学習制御部１ｂにそれを示す信号を送り、さもなくば学
習を継続する。 〈ステップ８ｂ〉では、学習制御部１ｂがユーザに学習
を停止するか問い合わせ、もし停止するのであれば、そ
の後の回復方法を選択するために、回復処理方法リスト
の表示だけでなく、過去に採用した回復処理方法と、そ
の時の学習の問題データ群、学習評価データ群を表示す
る。

【００２５】第４図を用いてステップ８ｂの処理をさら
に詳しく説明する。ステップ２５では、ユーザーに対し
学習が停滞している可能性が高いことを示すメッセージ
を表示する。ステップ２６では、ユーザーに学習を継続
するか停止するかを問い合わせ、もし停止するのであれ
ばステップ２７に進み、さもなくば学習を継続する。ス
テップ２７では、回復処理方法リスト１３ｂの回復処理
法７０〜７５を表示する。ステップ２８では、過去の回
復事例データ群１５ｂの中で現在の学習に関連するデー
タ、すなわち、同種の問題について過去に学習停滞時に
採用した回復方法、その時の学習の問題データ群９ｂ、
学習評価データ群１１ｂを表示する。このステップの処
理の結果、ステップ２７で表示した回復処理方法の選択
のための参考データをユーザーに表示するので、選択の
補助ができる。ステップ２９では、ステップ２８で表示
したデータを参考に、ユーザーが回復処理方法群リスト
記憶部１３ｂから読み出したリストの中から回復処理方
法を選択する。ステップ３０では、ステップ２９で選択
した回復方法と、問題データ群記憶部９ｂのデータと、
学習評価データ群記憶部１１ｂのデータを関係付けて、
過去の回復事例データ群記憶部１５ｂの中に記憶する。 このステップの処理の結果、過去の回復事例データを増
加させることができる。ステップ３１では、ステップ２
９で選択した回復処理方法を実行するために、回復処理
実行部１４ｂに信号を送り、該当する回復処理をニュー
ラルネットワーク１０１に対して実行する。

【００２６】以上のステップ８ｂの結果、ユーザーは過
去のデータを参照して、学習停滞の回復方法を選択し実
行できると同時に、採用した回復方法、問題データ群記
憶部のデータ、学習評価データ群記憶部のデータを関係
付けて、過去の回復事例データ群記憶部１５ｂに記憶し
て、１５ｂのデータを増加させ構築することができ、次
回の回復処理では、より適当な選択ができるようになる
。

【００２７】次に、本発明の実施例を文字認識に適用し
た例について述べる。ニューラルネットワークは、入力
層ニューロン数が２２５個、中間層が１２８個、出力層
が１１個である。教師入力信号パターンは、０〜１まで
の連続階調を持つ０〜９の手書き文字を１００パターン
ずつ、合計１０００パターン用いた。教師出力信号パタ
ーンは対応する数字を表すニューロンが１を出力し、そ
の他のニューロンは０を出力するパターンを用いた。ニ
ューロンの重みは−０．１〜０．１の乱数を用いて初期
化し、学習係数は０．０１、モーメント係数は０．９と
した。

【００２８】ワークステーション（１．５ＭＦＬＯＰＳ
）を使用して学習を試みたとき、学習を３９時間行なっ
ても収束することができなかった。しかし、本発明第１
の実施例の判定方法を用いて学習停滞の判定を行ない、
回復処理方法として重みの再初期化を行なったところ（
第１１図７０の処理）、回復後の学習も含めて２１時間
と全体の学習時間を１／２に短縮することができた。一
方その他の回復処理方法（第１１図７１〜７５の処理）
を試みた場合は、全体の学習時間が２８時間〜４７時間
と、重みを再初期化したときほどの学習時間の短縮には
ならなかった。これによって、学習させる問題に対して
、的確な回復処理手段の選択を行なえば、学習を高速化
することが可能であることが明らかになった。

【００２９】

【発明の効果】本発明によれば、学習評価データ群を表
示し、学習停滞可能性判定条件に基づきシステムが学習
停滞の可能性を示すメッセージをユーザーに表示するの
で、学習停滞の判定が行ない易いという効果がある。ま
た、本発明によれば、ユーザーが学習停滞を回復すると
決定した時、回復方法群の表示だけでなく、過去に採用
した回復方法と、その時の問題データ群、学習評価デー
タ群を表示することにより、ユーザーがそれらのデータ
を参考に回復方法を選択し実行できるので、より的確な
回復処理が可能になる、という効果がある。さらに、本
発明によれば、これらの処理の結果、無駄な学習を省く
ことができるので、学習の高速化を達成することが可能
になる、という効果がある。

【図面の簡単な説明】

【図１】本発明による学習と学習補助方法の実施例の処
理全体を示す図

【図２】実施例の全体の構成を示す図

【図３】ステップ７の詳細を示す図

【図４】図１のステップ８の詳細を示す図

【図５】図１
のステップ３の詳細を示す図

【図６】図１のステップ４
の詳細を示す図

【図７】図１のステップ２、３、５、８
に用いる問題データ群を示す図

【図８】図６の学習で用いる教師信号データを示す図

【
図９】図１のステップ４で計算されステップ６、８で用
いられる学習評価データ群記憶テーブルの詳細を示す図

【図１０】図１のステップ７で用いられる学習停滞可能
性判定のための基準値を示す図

【図１１】図１のステップ８で用いられる回復処理方法
リストを示す図

【図１２】図１のステップ８で用いられる回復処理プロ
グラム群を示す図

【図１３】図１のステップ８で用いられる過去の回復事
例データ群を示す図

【図１４】シグモイド関数のｗ依存性を示す図

【図１５
】シグモイド関数の微分値を示す図

【図１６】ニューロ
ンが信号ａ、ｂ分離の学習をはじめる前の状態を示す図

【図１７】同じく学習後の状態を示す図

【図１８】学習
評価デ−タ群をグラフ表示した例を示す図

【図１９】装置に対する実施例の機能構成全体を示す図

【図２０】図１９の装置の実施例の処理フロ−を示す図

【図２１】数式（１）〜（３）を示す

【図２２】数式（４）〜（７）を示す

【図２３】数式（８）〜（１１）を示す

【符号の説明】

１６　　キーボード １７　　ｃｐｕ １８　　ディスプレイ １９　　メモリ ２０　　重みの学習システム ２１　　バックプロパゲーション学習プログラム２２　
　学習補助システム １　　　　学習補助システムプログラム９　　　　問題
データ群 １０　　教師信号データ １１　　学習評価データ群記憶テーブル１２　　学習停
滞可能性判定の基準値 １３　　回復処理方法リスト １４　　回復処理プログラム群 １５　　過去の回復事例データ群

Claims (8)

【特許請求の範囲】
1. 【請求項１】　　多層型ニューラルネットワークの重み
   の学習方法において、学習起動前に、問題データ群をユ
   ーザに問い合わせ、その返答を記憶する第１のステップ
   と、現問題の学習開始後、一定のタイミングで、学習状
   態を示す学習評価データ群を記憶し、表示する第２のス
   テップと、学習の過程で、学習停滞の可能性がある場合
   に、学習停滞の可能性が高いことを示すメッセージを表
   示し、ユーザーに学習の継続か停止を選択させる第３の
   ステップと、停止の場合、学習開始からその時点までの
   学習評価データ群を問題データ群に対として記憶し、学
   習停滞の回復方法、及び、過去に採用した回復方法と、
   その時の問題データ群、学習評価データ群とを表示した
   後、現問題の回復方法をユーザーに選択させ、それを問
   題データ群に対として記憶し、その回復方法を実行する
   第４のステップと、を有することを特徴とするニューロ
   学習制御方法。
2. 【請求項２】　　多層型ニューラルネットワークのバッ
   クプローパゲーション学習方法において、学習起動前に
   、教師信号の種類または性質、使用するニューラルネッ
   トワークの構造及び学習の初期設定のデータからなる問
   題データ群をユーザーに問い合わせ、それぞれの返答を
   記憶する第１のステップと、現問題の学習開始後、教師
   信号とニューラルネットワークより計算可能である学習
   状態を表す学習評価データ群を、一定のタイミングで記
   憶し表示する第２のステップと、各々の学習評価データ
   に対して基準値を設け、それを用いた判定条件を学習評
   価データに課し、もしそれら判定条件を同時に満足した
   場合に、学習の停滞の可能性を示すメッセージを表示し
   、ユーザーに学習の継続か停止を選択させる第３のステ
   ップと、停止の場合、学習開始からその時点までの学習
   評価データ群を問題データ群に対として記憶し、学習の
   停滞を回復して学習能力を向上させるための複数の回復
   方法群、及び、過去に採用した回復方法と、その時の学
   習問題の問題データ群と学習評価データ群を表示した後
   、現問題の回復方法をユーザーに選択させ、それを問題
   データ群と学習データ群に対として記憶し、その回復方
   法を実行する第４のステップと、を有することを特徴と
   するニューロ学習制御方法。
3. 【請求項３】　　学習評価データ群は、（１）ニューラ
   ルネットワークの出力誤差、（２）出力誤差の各重みに
   対する勾配の絶対値平均、（３）各ニューロンの重みベ
   クトルのノルム平均、（４）シグモイド関数微分値の（
   教師信号パターン数×ニューロン数）平均、のデータを
   有することを特徴とする請求項１または請求項２記載の
   ニューロ学習制御方法。
4. 【請求項４】　　請求項２の判定条件とは、（１）出力
   誤差が対応する基準値より大きい、（２）誤差の勾配が
   対応する基準値より小さい、（３）重みベクトルが対応
   する基準値より大きい、（４）シグモイド関数の微分係
   数が対応する基準値より小さい、ことを表すことを特徴
   とする請求項２記載のニューロ学習制御方法。
5. 【請求項５】　　請求項２の教師信号の種類または性質
   を表すデータは、 （１）入出力教師信号のそれぞれの次元数（２）教師信
   号のパターン数 （３）１個の教師出力信号に対応する教師入力信号パタ
   ーンの個数 （４）入出力教師信号の各次元要素の平均値（５）入出
   力教師信号の各次元要素の標準偏差（６）教師信号が２
   値（０，１）と連続値（０〜１）のどちらであるか （７）教師信号がノイズを含むかを有し、同じく使用す
   るニューラルネットワークの構造を表すデータは、（１
   ）中間層の層数 （２）各中間層のニューロン数 （３）各ニューロンのシナプス結合数 （４）各ニューロンと結合する入力側の層のニューロン
   の番号を有し、同じく学習の初期設定を表すデータは、
   （１）初期重み設定パラメータ （２）学習係数 （３）モーメント係数 （４）学習終了条件 を有することを特徴とする請求項２記載のニューロ学習
   制御方法。
6. 【請求項６】　　請求項２の学習の停滞を回復して学習
   能力を向上させるための複数の回復方法群は、（１）重
   みを初期化して学習をやり直す、（２）全ての重みベク
   トルのノルムを縮小する、（３）全ての重みベクトルの
   ノルムを縮小して、重みに対する微小ノイズを追加する
   、（４）一部の重みベクトルのノルムを縮小する、（５
   ）一部の重みベクトルのノルムを縮小して、重みに対す
   る微小ノイズを追加する、（６）全ての重みベクトルの
   ノルムを、各層ごとにそれぞれ一つの値に固定して、一
   定回数の学習を繰り返す、（７）中間層ニューロンの個
   数を増やす、又は学習係数、モーメント係数を変える、
   ことを有することを特徴とする請求項２記載のニューロ
   学習制御方法。
7. 【請求項７】　　多層型ニューラルネットワークの重み
   の学習において、学習起動前に、問題データ群をユーザ
   ーに問い合わせ、その返答を記憶する第１の手段と、現
   問題の学習開始後、一定のタイミングで、学習状態を示
   す学習評価データ群を記憶し、表示する第２の手段と、
   学習の過程で、学習停滞の可能性がある場合に、学習停
   滞の可能性が高いことを示すメッセージを表示し、ユー
   ザーに学習の継続か停止を選択させる第３の手段と、停
   止の場合、学習開始からその時点までの学習評価データ
   群を問題データ群に対として記憶し、学習停滞の回復処
   理、及び、過去に採用した回復処理と、その時の問題デ
   ータ群、学習評価データ群とを表示した後、現問題の回
   復処理をユーザーに選択させ、それを問題データ群に対
   として記憶し、その回復処理を実行する第４の手段と、
   を有することを特徴とするニューロ学習制御装置。
8. 【請求項８】　　多層型ニューラルネットワークのバッ
   クプローパゲーション学習において、学習起動前に、教
   師信号の種類または性質、使用するニューラルネットワ
   ークの構造及び学習の初期設定のデータからなる問題デ
   ータ群をユーザーに問い合わせ、それぞれの返答を記憶
   する第１の手段と、現問題の学習開始後、教師信号とニ
   ューラルネットワークより計算可能である学習状態を表
   す学習評価データ群を、一定のタイミングで記憶し表示
   する第２の手段と、各々の学習評価データに対して基準
   値を設け、それを用いた判定条件を学習評価データに課
   し、もしそれら判定条件を同時に満足した場合に、学習
   の停滞の可能性を示すメッセージを表示し、ユーザーに
   学習の継続か停止を選択させる第３の手段と、停止の場
   合、学習開始からその時点までの学習評価データ群を問
   題データ群に対として記憶し、学習の停滞を回復して学
   習能力を向上させるための複数の回復処理群、及び、過
   去に採用した回復処理と、その時の学習問題の問題デー
   タ群と学習データ群を表示した後、現問題の回復処理を
   ユーザーに選択させ、それを問題データ群と学習データ
   群に対として記憶し、その回復処理を実行する第４の手
   段と、を有することを特徴とするニューロ学習制御装置
   。