JPH07168799A

JPH07168799A - ニューラルネットワークの学習装置

Info

Publication number: JPH07168799A
Application number: JP6224386A
Authority: JP
Inventors: Masanori Yamamoto; 正典山本; Haruyuki Matsumoto; 晴幸松本; Kazumi Yoshida; 和美吉田
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 1993-09-22
Filing date: 1994-09-20
Publication date: 1995-07-04

Abstract

(57)【要約】【目的】教師データを正しく認識できるようにニュー
ラルネットワーク内部の重みを更新させるニューラルネ
ットワークの学習装置に関し、学習中に教師データとし
て不適当なものを除外し、学習の効率化を図ることを目
的とする。【構成】各教師データについて、その入力データを微
小変化させた時のネットワークの出力データの感度の代
表値を求める手段１と、ネットワークの認識結果の正答
度を計算する手段２と、手段１と手段２の出力に基づい
て、その教師データについて学習を継続すべきか否かを
判定する手段３とを備えるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばパターン認識、
文字認識、或いは予測等を行うニューラルネットワーク
に係り、更に詳しくはニューラルネットワークに教師デ
ータを与え、その教師データを正しく認識できるように
ニューラルネットワークの内部の重みを更新させるニュ
ーラルネットワークの学習装置に関する。

【０００２】

【従来の技術】ニューラルネットワークは一般に複数個
のニューロンによって構成される。このニューロンそれ
ぞれは、一般に他のニューロン、または外部からの入力
を重み付けした後にその総和をとり、その総和ｘの関数
として出力ｙを得るものである。この関数としては一般
に次式で与えられるシグモイド関数が用いられることが
多い。

【０００３】ｙ＝１／（１＋ｅｘｐ（−ｘ））図２６はこのシグモイド関数の形を示す。この関数は飽
和特性を持つ非線形関数であるために、入力変化に対す
る出力の変化、すなわち出力の入力に対する感度が小さ
いところでは出力の値は０か１に近いことになる。この
ような性質はシグモイド関数に限定されず、飽和特性を
持つ非線形関数であれば同様の性質がある。

【０００４】図２７は階層型ニューラルネットワークの
例を示す。同図においてネットワークは入力層、中間
層、および出力層によって構成され、一般に各層は複数
個のニューロンによって構成され、各層間でニューロン
は完全結合されている。一般に中間層は１層とは限ら
ず、複数層存在することもある。

【０００５】このようなニューラルネットワークにパタ
ーン認識を行わせる場合には、代表的パターンの特徴値
を複数個選んで入力層ニューロンへの入力データとし、
認識すべきパターンのそれぞれについて出力層ユニット
を当てはめ、正しいパターンについては対応する出力層
ニューロンの出力値が１、それ以外の出力層ニューロン
の出力値は０となるように教師データを与え、学習を行
わせる。

【０００６】教師データに対する学習が済めば、パター
ンが不明の入力データを入力層ニューロンに与え、出力
層ニューロンの出力値によって入力パターンの判定を行
うことができる。

【０００７】ニューラルネットワークは入出力関係が明
らかでなく、数式で表すことが困難な場合に適用するこ
とが多い。このようなニューラルネットワークの学習に
関連して、先に出願の特開平３-118658 号( 発明の名
称：学習装置の機能解析装置）において、学習によって
定められた結合の重みに対応するニューラルネットワー
クの入出力関係を推定することができる機能解析装置が
開示された。これは３層階層型ニューラルネットワーク
の場合、各ニューロンの重みの行列をＷ_n、シグモイド
関数の代表値を微分した値の行列をＳ_nとすると影響度
Ｏは、Ｏ＝Ｗ₀Ｓ₀Ｗ₁Ｓ₁ となり、この影響度の大きさにより入出力関係を推定す
るものである。

【０００８】また、特願平４-66200号（発明の名称：ニ
ューラルネットワークの学習方式）において、パターン
認識などのカテゴリ識別を行うニューラルネットワーク
において必ずしも全てのサンプルデータを学習させるこ
となく、代表データのみを学習させて学習を高速化させ
るニューラルネットワークの学習方式が開示されてい
る。

【０００９】更に、ニューラルネットワークの入力層に
入力される入力項目の内、不必要な入力項目の削除を行
う方法として以下の方法が用いられていた。ニューラル
ネットワークが入力層ニューロン数ｍ、中間層ニューロ
ン数ｌ、出力層ニューロン数ｎの３層階層型ニューラル
ネットワークの場合、入力層ｉ番目のニューロンから中
間層ｋ番目のニューロンへの重みをＷ₁(i,k)、中間層ｋ
番目のニューロンから出力層ｊ番目のニューロンへの重
みをＷ₂(k,j)とすると、入力ｉから出力ｊへの逆写像Ｒ
_ijは次式で求まる。

【００１０】

【数１】

【００１１】従来、この逆写像のような値を入出力関係
値とし、該入出力関係値の絶対値が小さい入力項目ｉを
不必要な入力項目と判断し、該入力項目を削除してい
た。

【００１２】

【発明が解決しようとする課題】従来、ニューラルネッ
トワークに学習を行わせる場合にどの時点で学習を打ち
切るべきかについては、例えば学習の回数がある設定値
を越えた場合、または認識誤差が一定値以下となった場
合、あるいはその両者の組合わせを用いて判断を行って
いた。

【００１３】また、一般に教師データは全て正しいもの
として学習を行わせるが、実際のデータは矛盾を含んで
いるものもあり、そのような場合には教師データを学習
するのに非常に時間がかかるという問題点があった。ま
た、教師データに対して正しい認識を示しても、教師デ
ータに微小な変化を与えた時には正しい認識が行えると
は限らないという問題点があった。

【００１４】また、ニューラルネットワークの入力項目
は、人間の経験や勘によって決定されているために、学
習に用いられる入力項目が全て出力値に大きな影響を及
ぼしているとは限らない。従って、必要最低限の入力項
目数で最小の誤差になるように学習するためには、不必
要な入力項目の判定を行い入力項目数を減らす必要があ
る。

【００１５】しかし、上記逆写像を用いて入力項目の削
除を行う場合、入出力関係値の絶対値が小さい入力項目
ｉを不必要な入力項目と判断し、該入力項目ｉを削除し
ていた。そのために、入出力関係値は小さいにも係わら
ず入力値が大きいために、出力への影響が大きい入力項
目に対しても削除が行われるという問題点があった。ま
た、逆に入出力関係値は大きいにも係わらず入力値が小
さいために、出力への影響が小さい入力項目が削除され
ずに残るという問題点があった。

【００１６】更には、ニューラルネットワークの入出力
の関係を数式で表すことが困難な場合には、ユーザは入
出力の関係を理解することができなかった。本発明は、
学習中に教師データとして不適当なものを除外し、学習
の効率化を図ることと、入力に加えられた雑音に強いニ
ューラルネットワークを構築するためのニューラルネッ
トワークの学習装置を提供することである。

【００１７】また、本発明は不必要な入力項目を削除す
るためのニューラルネットワークの学習装置を提供する
と共に、ユーザに対して入出力関係を分かり易く表示し
て入力項目の削除の判断材料を提供し、更には学習状況
の判定を支援するための材料を提供することである。

【００１８】

【課題を解決するための手段】図１は本発明の第１の原
理構成ブロック図である。同図はニューラルネットワー
クに教師データを与え、その教師データを正しく認識で
きるようにニューラルネットワークの内部の重みを更新
させるニューラルネットワークの学習装置の原理構成ブ
ロック図である。

【００１９】図１において感度代表値計算手段１は、そ
れぞれの教師データに対する感度、すなわち教師データ
の入力データを微小変化させた時のニューラルネットワ
ークの出力データの感度の代表値を求めるものである。
１つの教師データに対する感度の代表値は、例えば入力
層ニューロンへのそれぞれの入力データを微小変化させ
た場合の出力層ニューロンの出力の感度のうち、最大の
ものが用いられる。

【００２０】認識結果正答度計算手段２は、それぞれの
教師データについて認識結果の正答度を計算する。この
正答度は、例えば出力層ニューロンの実際の出力値と教
師データの出力データとを比較することによって算出さ
れる。

【００２１】更に学習状況判定手段３は、感度代表値計
算手段１の出力と認識結果正答度計算手段２の出力とに
基づいて、各教師データについて学習を継続すべきか否
かを判定する。その判定においては、例えば感度の代表
値と正答度との値を０から１の範囲に正規化した場合、
0.5をそれぞれの境界値として判定が行われる。例えば
正答度が 0.5以上で感度の代表値が 0.5以下になった時
に、その教師データに対する学習は十分行われたものと
して、その教師データについての学習は終了させられ
る。

【００２２】図２は本発明の第２の原理構成ブロック図
である。同図はニューラルネットワークに教師データを
与え、その教師データを正しく認識できるようにニュー
ラルネットワークの内部の重みを更新させるニューラル
ネットワークの学習装置の原理構成ブロック図である。

【００２３】図２において基準入力値認識手段４は、基
準となる入力データが入力され、該入力データに対する
認識結果を出力するものである。基準入力値認識手段４
は、前記ニューラルネットワークと同じ層構成を有する
ニューラルネットワークから成り、前記重みと同じ重み
が各ニューロン間に与えられて認識を行う。

【００２４】入出力関係計算手段５は、基準となる入力
データ、教師データ、前記ニューラルネットワークに入
力された教師データの認識結果、基準入力値認識手段４
から出力された基準となるデータに対する認識結果、及
びニューラルネットワークの重みから、教師データの基
準となる入力値からの変化量に対する出力値の変化量を
計算する。

【００２５】入力項目判定手段６は、入出力関係計算手
段５で計算された出力の変化量に基づいて、入力項目を
削除するか否かを判定する。入力項目削除手段７は、入
力項目判定手段６の判定結果、即ち、入力項目の削除が
可能であると判定されたならば、教師データの該入力項
目に該当するデータの削除を行う。

【００２６】入出力関係表示手段８は、入出力関係計算
手段５に入出力される情報、即ち、基準となる入力デー
タ、教師データ、前記ニューラルネットワークに入力さ
れた教師データの認識結果、基準入力値認識手段４から
出力された基準となるデータに対する認識結果、ニュー
ラルネットワークの重み、或いは教師データの基準とな
る入力値からの変化量に対する出力値の変化量を表示し
て、ユーザに入力項目の削除の判定を促す。

【００２７】削除項目入力手段９は、削除する入力項目
を入力するものであり、ユーザが入出力関係表示手段８
の表示内容を参照して入力する。入力項目削除手段７
は、更に、削除項目入力手段９によって入力された削除
すべき入力項目に該当するデータを教師データから削除
することも行う。

【００２８】また、請求項１０において、有効範囲計算
手段は、各教師データを参照して入力項目毎の有効範囲
を求めて出力する。データ変更手段は、教師データの入
力項目のうち少なくとも１つを有効範囲内のデータに変
更する。データ変更手段は、有効範囲の上限値、或いは
下限値にデータを変更するのが一般的であるが、有効範
囲の任意の値に変更することも可能である。

【００２９】出力関係表示手段は、変更されたデータを
ニューラルネットワークに入力して得られた認識結果を
表示する。更には、請求項１２において、入出力符号関
係計算手段は、教師データ、ニューラルネットワークの
重みから入力と出力の間の符号関係を計算して出力す
る。

【００３０】定性的関係入力手段は、ニューラルネット
ワークに特有の入力と出力との関係である定性的関係を
入力するものであり、ユーザが該ニューラルネットワー
クに特有の値を入力する。

【００３１】学習状況判定手段は、入出力符号関係計算
手段で計算された符号関係と定性的関係入力手段によっ
て入力された定性的関係を比較して学習状況の判定を行
う。学習状況表示手段は、学習状況判定手段からの判定
結果を表示する。

【００３２】

【作用】本発明においては、ニューラルネットワークの
学習中に各教師データに対する学習継続必要性の有無が
判定される。図１４で説明したように、出力層ニューロ
ンの出力が０か１に近い場合、すなわち感度が小さい場
合には入力を変化させても出力があまり変化しない、す
なわちそれ以上学習が進展しないことになり、この時認
識がほぼ正しく行われていればその教師データに対する
学習は終了してもよいことになる。

【００３３】すなわち、教師データの感度と認識結果の
正答度とを用いて、学習中の教師データを４つに分類す
ることができる。第１の場合は感度が小さく、かつ正答
度が大きい場合である。このような教師データはそれ以
上学習の余地がなく、完全に学習済みであると判定でき
る。

【００３４】第２の場合は感度が大きく、かつ正答度が
大きい場合である。このような場合には入力データの変
化によって出力値が大きく異なることになるために、更
に学習を継続すべきものと判定される。

【００３５】第３の場合は感度が小さく、かつ正答度が
小さい場合である。このようなデータに対してはそれ以
上学習が進展しないにもかかわらず、正しい結果が得ら
れない、すなわちすでに学習済みのデータと矛盾がある
ことを示しており、このようなデータをそれ以上学習す
べきでなく、矛盾があるかないかのチェックを行う必要
がある。

【００３６】第４の場合は感度が大きく、かつ正答度が
小さい場合である。このような場合には学習が不十分な
ことを示しており、今後の学習によって感度が小さくな
り、かつ正答度が向上する可能性がある。

【００３７】以上のように本発明によれば、教師データ
の感度および認識結果の正答度を利用することによっ
て、教師データに対して学習を継続すべきか否か、すな
わちニューラルネットワークの学習状況を判定できるこ
とになる。

【００３８】また、本発明においては、ニューラルネッ
トワークに入力される教師データの入力項目の必要性が
判定される。基準となる入力データ、基準となる入力デ
ータに対する認識結果である出力データ、教師データ、
ニューラルネットワークに入力された教師データの認識
結果、及びニューラルネットワークの重みから計算され
た入力項目毎の各教師データの基準となる入力値からの
変化量に対する出力値の変化量の絶対値は、値が大きけ
れば出力に与える影響は大きいので、必要な入力項目と
見なされる。逆に出力値の変化量の絶対値が小さけれ
ば、出力に与える影響は小さいので、入力項目は不必要
であると見なされて教師データの該入力項目に該当する
データが削除される。

【００３９】削除の判定方法としては、出力値の変化量
の絶対値の最大値と出力の実際の誤差の最大値とを加算
した値が、予め定められた許容誤差の範囲内であれば入
力項目は削除可能であると判定されて、教師データの該
入力項目に該当するデータが自動的に削除されて、教師
データの再編成が行われる。また、出力値の変化量の絶
対値の最大値と出力の実際の誤差の最大値とを加算した
値が、予め定められた許容誤差よりも大きければ入力項
目は削除不可能であると判定される。

【００４０】また、別の削除の判定方法として、出力値
の変化量をユーザに対して表示して、ユーザが入力項目
を削除するか否かの判定を行う。ユーザが該入力項目を
削除すると判定した場合には、該入力項目の削除の指示
を出し、教師データの該入力項目に該当するデータが削
除されて、教師データの再編成が行われる。

【００４１】また、本発明においては、ニューラルネッ
トワークの学習に用いられる教師データから各入力項目
毎に有効範囲を求めて、教師データの１つの入力項目に
該当するデータを有効範囲の例えば上限値、下限値に置
き換えてニューラルネットワークに入力して認識を行
う。各教師データに対してデータを置き換えた後に認識
を行い、上限値、或いは下限値毎の認識結果のグラフを
作成して表示することによって、ユーザは各入力項目が
出力に与える影響を容易に把握することができるように
なる。

【００４２】更には、本発明においては、ニューラルネ
ットワークの感度、結合の重みから求められる逆写像等
の定性的関係を計算し、ユーザが入力した定性的関係と
比較することによって、学習に矛盾があるか否かを判定
している。

【００４３】

【実施例】図３は本発明のニューラルネットワークの学
習装置の第１の実施例の構成ブロック図である。同図に
おいて学習装置は教師データを記憶する教師データ記憶
部１１、教師データを用いてニューラルネットワークの
学習を制御する学習制御部１２、ニューラルネットワー
クの層構成、ニューロン間の結合の重みなどを記憶する
ニューラルネットワーク記憶部１３、教師データ記憶部
１１に記憶されている教師データとその教師データに対
してニューラルネットワーク記憶部１３から出力される
認識結果を用いて認識結果の正答度を計算する正答度計
算部１４、教師データの入力データに微小変化を与え、
それに対応するニューラルネットワークの出力を用いて
教師データに対する感度を計算する感度計算部１５、正
答度計算部１４、及び感度計算部１５の出力を用いて教
師データの学習を継続すべきか否かを判定する学習状況
判定部１６、および学習状況判定部１６の判定結果に基
づいて学習データを変更し、その結果を教師データ記憶
部１１、および学習制御部１２に通知する学習データ変
更部１７から構成されている。

【００４４】学習状況判定部１６は感度が小さく、かつ
認識結果の正答度が大きい場合には、その教師データに
対する学習を終了させると判定し、また感度が小さく、
認識結果の正答度も低いデータは矛盾があるものとみな
し、学習の対象から省くように学習データ変更部１７に
伝達する。その他の場合には更に学習を継続するものと
判定し、学習データ変更部１７を介して学習制御部１２
にその教師データの学習を継続させる。

【００４５】図４はニューラルネットワークの学習装置
の第２の実施例の構成ブロック図である。同図を第１の
実施例を示す図３と比較すると、学習状況判定部１６の
代わりに学習状況表示部１８が用いられている点のみが
異なっている。この学習状況表示部は、学習状況判定部
に代わって、教師データの感度とその教師データに対す
る認識結果の正答度との関係を、例えばグラフを用いて
表示し、その教師データに対して学習を継続すべきか否
かのユーザの判定を支援するものである。ユーザは学習
状況表示部の表示に対応して学習状況を判定し、学習デ
ータ変更部１７を介して学習データの変更、またはその
教師データの学習継続を制御させる。

【００４６】図５はニューラルネットワークの学習装置
の第３の実施例の構成ブロック図である。同図を第１の
実施例と比較すると、学習データ変更部１７に代わって
未学習データ変更部２０が設けられ、また新たに未学習
のデータ、すなわち教師データ記憶部１１に記憶されて
いるデータと異なる未学習のデータを記憶する未学習デ
ータ記憶部１９が設けられ、更に正答度計算部１４が教
師データでなく、未学習データに対するニューラルネッ
トワークの認識結果の正答度を計算し、また感度計算部
１５が同様に未学習データに対する感度を計算し、学習
状況判定部が未学習データの妥当性の判定を行う点が異
なっている。なお、図４の第２の実施例と同様に、学習
状況判定部１６の代わりに学習状況表示部を設け、ユー
ザによる学習状況の判定を支援することも可能である。

【００４７】次に本発明における学習状況の判定、すな
わちある教師データに対する学習継続必要性の判定のた
めの感度計算の方法について一般的に説明する。一回ま
たは複数回の学習を行ったあと、学習させた各教師デー
タに対して、出力値と感度を求める。ここで、ｘ１，・
・・，ｘｍは入力層ニューロンへの入力値、ｙ１，・・
・，ｙｎは出力層ニューロンからの出力値、ｆ１，・・
・，ｆｎは入出力関係の関数、ｓ１１，・・・，ｓｎｍ
は感度を、εは感度を求めるために、入力に加える摂動
を表す。

【００４８】 y1＝f1(x1, ・・・・・・, xm) ： yn＝fn(x1, ・・・・・・, xm) s11 ＝(f1(x1＋ε，・・・・・・, xm)-f1(x1, ・・・・・・, xm))/ε ： s1m ＝(f1(x1，・・・・・・, xm ＋ε)-f1(x1, ・・・・・・, xm))/ ε s21 ＝(f2(x1＋ε，・・・・・・, xm)-f2(x1, ・・・・・・, xm))/ε ： s2m ＝(f2(x1, ・・・・・・, xm ＋ε)-f2(x1,・・・・・・, xm))/ε ：： sn1 ＝(fn(x1＋ε，・・・・・・, xm)-fn(x1, ・・・・・・, xm))/ε ： snm ＝(fn(x1, ・・・・・・, xm ＋ε)-fn(x1,・・・・・・, xm))/ε 本実施例ではこれらの感度ｓ₁₁，ｓ₁₂，・・・ｓ_nmのう
ち絶対値が最大のものを感度の代表値として求める。た
だし、代表値として平均値や中央値を用いることも可能
である。なお、これらの感度を求めるための入出力関係
の関数ｆ₁，ｆ ₂，・・・ｆ_nは、必ずしもその式が明
らかとは限らないが、入力の値によって出力層ニューロ
ンの出力値が決定されることを表している。

【００４９】図６は教師データに対する感度計算処理の
フローチャートである。同図において処理が開始される
と、まずステップＳ２１でその教師データに対するネッ
トワーク固有の感度の絶対値の最大値が求められる。こ
の最大値はネットワークによって定まる値であり、入力
データには依存しないものである。この最大値の求め方
については後述する。

【００５０】続いてＳ２２で入力データの中のそれぞれ
の入力変数に対して加える微小変化、すなわち摂動の大
きさが決定され、Ｓ２３で１つの教師データが選択さ
れ、Ｓ２４で選択されたデータに対するネットワークの
出力が求められる。

【００５１】次にＳ２５で複数の入力変数のうち１つの
入力変数が選択され、Ｓ２６で選択された入力変数の値
に摂動を加え、その結果の入力データに対するネットワ
ークの出力が求められ、Ｓ２７で求められた出力値から
前述のＳ２４で求められた出力値が差し引かれ、その差
が摂動の大きさで割られて、選択された入力に対する個
々の出力の感度が求められる。Ｓ２５からＳ２７までの
処理が複数の入力変数の全てについて繰り返され、全て
の入力変数に対する感度が求められた時点で、Ｓ２８で
感度の代表値が求められる。ここでは絶対値が最大のも
のが選択されるものとする。最後にＳ２９で全ての入力
変数に対して求められた感度の代表値が、Ｓ２１で求め
られたネットワーク固有の感度の絶対値の最大値で割ら
れ、０から１の範囲に正規化され、その後Ｓ２３からＳ
２９までの処理が教師データの全てについて繰り返され
る。

【００５２】続いてネットワーク固有の感度の絶対値の
最大値について説明する。ここで固有の感度の絶対値の
最大値を求めるのは、前述の正規化においてこの最大値
を利用するためである。感度の最大値はニューラルネッ
トワークの構成によって異なる。図７に示す２層ネット
ワークについてまず説明する。

【００５３】感度とは、入力ｘ，出力ｙに対して、

【００５４】

【数２】

【００５５】を差分近似した、（ y（x0＋ε）−y (x
0)）／εである。２層構造の場合、シグモイド関数を伝
達関数とすると、

【００５６】

【数３】

【００５７】したがって、感度の絶対値の最大値は(1/
4) ・max ｜W1(i, j)｜である。次に図７に示す３層ネ
ットワークについては次のようにして感度が求まる。

【００５８】

【数４】

【００５９】（右辺の第１項は正の項のみの和、第２項
は負の項のみの和を表す。）０＜ｆ′(uj)≦1/4 より、

【００６０】

【数５】

【００６１】同様に、

【００６２】

【数６】

【００６３】である。したがって、感度の絶対値の最大
値は、

【００６４】

【数７】

【００６５】をすべてのｉ，ｊについての最大を求めれ
ばよい。この値はネットワークによって定まる値で入力
には依存しない。教師データの感度の計算について具体
例を用いてより詳しく説明する。図９は教師データの具
体例である。同図において教師データのパターンとして
はＡ〜Ｄの４種類があり、入力はｘ₁〜ｘ₃の３個、出
力はｚ₁およびｚ₂の２個であるとする。入力変数に加
えられる摂動の値としては教師データ全体に対してあま
り影響を与えない程度の小さい値を選ぶ必要があり、こ
こでは0.01とする前述のように教師データの全ての入力
について摂動を与えて感度を求め、その中で絶対値が最
大の感度の値をその教師データに対する感度の代表値と
して求め、ネットワーク固有の最大値によって割ること
により０〜１の範囲の代表値が求められる。

【００６６】図９の教師データに対する感度計算は次の
手順１）〜５）によって行われる。１）ネットワーク固有の感度の絶対値の最大値を求め
る。この計算方法は図７、８で説明した通りである。２）対象となる４パターンの内、まずパターンＡに注
目して、ネットワークの出力ｆ１（ｘ１，ｘ２，ｘ
３），ｆ２（ｘ１，ｘ２，ｘ３）を求める。３）ｘ１にεを加えて出力ｆ１（ｘ１＋ε，ｘ２，ｘ
３），ｆ２（ｘ１＋ε，ｘ２，ｘ３）を求める。同様に
ｘ２，ｘ３についても、ｆ１（ｘ１，ｘ２＋ε，ｘ
３），ｆ２（ｘ１，ｘ２＋ε，ｘ３），ｆ１（ｘ１，ｘ
２，ｘ３＋ε），ｆ２（ｘ１，ｘ２，ｘ３＋ε）を求め
る。このとき、入力ｊから出力ｉへの感度ｓ（Ａ，ｉ，
ｊ）は次のように定まる。ｓ（Ａ，１，１）＝（ｆ１（ｘ１＋ε，ｘ２，ｘ３）−
ｆ１（ｘ１，ｘ２，ｘ３））／ε ｓ（Ａ，１，２）＝（ｆ１（ｘ１，ｘ２＋ε，ｘ３）−
ｆ１（ｘ１，ｘ２，ｘ３））／ε ｓ（Ａ，１，３）＝（ｆ１（ｘ１，ｘ２，ｘ３＋ε）−
ｆ１（ｘ１，ｘ２，ｘ３））／ε ｓ（Ａ，２，１）＝（ｆ２（ｘ１＋ε，ｘ２，ｘ３）−
ｆ２（ｘ１，ｘ２，ｘ３））／ε ｓ（Ａ，２，２）＝（ｆ２（ｘ１，ｘ２＋ε，ｘ３）−
ｆ２（ｘ１，ｘ２，ｘ３））／ε ｓ（Ａ，２，３）＝（ｆ２（ｘ１，ｘ２，ｘ３＋ε）−
ｆ２（ｘ１，ｘ２，ｘ３））／ε ４）６個の値から、パターンの感度の代表値を求める
ために、絶対値が最大値のものを取り出す。この絶対値
がパターンＡのこのネットワークでの感度の代表値であ
る。言い換えると、パターンＡの入力の微小変動が出力
に及ぼす影響の中で最大の値を求めていることに相当す
る。５）残りのパターンについても同様に感度の代表値を
求め、ネットワーク固有の感度の絶対値で割り、正規化
する。

【００６７】図１０は、図９のＡ〜Ｄの４種類のパター
ンに対する正規化前の感度の代表値と正規化後の代表値
を示す。ここでネットワーク固有の感度の絶対値の最大
値は1.34659 である。

【００６８】次に教師データの認識結果に対する正答度
の求め方について説明する。出力層ニューロンの数をｎ
個とし、教師データに対する実際の出力値をｙ₁〜
ｙ_n、教師データの出力値をｚ₁〜ｚ_nとすると、その
教師データに対する認識結果の正答度は次式で与えられ
る。

【００６９】

【数８】

【００７０】この正答度の値は実際のニューロンの出力
値ｙ_iと教師データの出力値ｚ_i（ｉ＝１，２，・・
・，ｎ）が完全に一致した場合のみ１となり、実際の出
力値と教師データの出力値がずれるに従って０に近づ
く。正答度の求め方は次式の計算によってもよい。

【００７１】

【数９】

【００７２】これらの式の値も０から１の間の範囲にな
り、認識結果がよい程１に近い値となる。必ずしも０か
ら１の範囲でなくとも、認識結果の良、不良と大小関係
を持つ他の計算式を用いることも可能である。

【００７３】図１１は教師データの感度と認識結果の正
答度の関係による教師データの学習必要性の判定法の説
明図である。前述のように感度、正答度共に０から１の
範囲に正規化されており、一般的にそれぞれ 0.5を判定
の基準の境界値と考えることができる。正答度について
はニューラルネットワークによる認識対象がパターン認
識であり、各出力について最大 0.5の誤差が許されるも
のと考える。従って正答度の判定基準としては 0.5を用
いることにする。

【００７４】前述のように感度が小さく、正答度が大き
い教師データ、すなわちのデータは学習済みと判定さ
れ、逆に感度が大きく、正答度が小さい教師データは未
学習、すなわち学習を継続すべきデータと判定される。
これに対して感度も正答度も小さいのデータは他の教
師データと矛盾があるものと判定され、また感度も正答
度も大きいデータは更に学習が必要なものと判定され
る。

【００７５】図１２は具体的な教師データに対する感度
と正答度を示す図である。同図において教師データとし
てパターンＥ〜Ｈの４種類が示され、それぞれ正規化後
の感度と、認識結果の正答度が示されている。前述のよ
うに判定の境界値が共に 0.5であるため、パターンＥは
図１０の、すなわち矛盾ありのデータに分類され、パ
ターンＦはの未学習のデータ、パターンＧはの学習
必要データ、パターンＨはの学習済データに分類され
る。

【００７６】図１３は図４の第２の実施例における学習
状況表示部１８の表示結果の例である。同図において教
師データ１と教師データ２に対する学習中の感度と正答
度との関係の軌跡が与えられている。教師データ１に対
しては学習の進行に従って感度は小さくなり、正答度は
大きくなるために適切に学習が行われているものと判定
される。これに対して教師データ２に対しては学習の進
行につれて感度が低くなるが、認識結果の正答度も小さ
くなり、他の教師データに対して矛盾を持っているもの
と判定され、学習を継続させるのは不適当と判断され
る。このような学習状況が表示されることによりユーザ
の判定を支援することができる。

【００７７】学習状況判定の基準としては感度、正答度
共に 0.5を用いるものとして説明したが、必要に応じて
この判定の基準を変更することも可能である。例えば出
力に高い精度が要求される場合には正答度の判定基準を
0.5より大きくし、また入力に大きな誤差が生じやすい
場合には感度の判定基準を 0.5より大きくすることが適
当である。

【００７８】入力層のニューロンの個数が多い、すなわ
ち入力変数の数が多い時には感度の判定基準を 0.5より
小さくすることが適当である。その理由は、前述のネッ
トワーク固有の感度の最大値は全ての入力がある値にな
ることを条件として求められているために、一般に入力
の個数が増えればそれだけその最大値に近い値が実現さ
れにくくなるためである。

【００７９】次に、図５の第３の実施例における未学習
データと教師データとの整合性の判定法について説明す
る。未学習データに対しても、図１１で説明したように
感度が小さく、また正答度も低いものは教師データ記憶
部１１に記憶されている教師データと矛盾しているもの
と判定される。ここでは図１４に示す具体例を用いて教
師データとの整合性の判定を説明する。

【００８０】図１４において上昇１，２、下降１，２の
４つのパターンは教師データ記憶部１１に記憶されてい
るもので、すでに学習が行われているものとする。Ａ〜
Ｄの４つのパターンは未学習データ記憶部１９に記憶さ
れている未学習データであるものとし、これらの４つの
パターンについて正規化後の感度と正答度が図１４に示
すように計算されたものとする。

【００８１】図１４においてパターンＡは図１１の矛盾
あり、すなわちのデータに分類される。すなわちこの
パターンは入力データとして見る時は上昇１のパターン
に非常に近いにもかかわらず、出力データは下降１、ま
たは２と同じとなっており、これは教師データと矛盾し
ている。パターンＢとＣはの未学習に分類され、学習
させる教師データとして追加すべきものであると判定さ
れる。パターンＤは学習済みのデータに分類され、こ
のパターンを教師データとして追加する必要はないもの
と判定される。図１５は本発明のニューラルネットワー
クの学習装置の第４の実施例の構成ブロック図である。
同図において学習装置は教師データを記憶する教師デー
タ記憶部３１、教師データを用いてニューラルネットワ
ークの学習を制御する教師データ学習部３２、ニューラ
ルネットワークの層構成、ニューロン間の結合の重みな
どを記憶するニューラルネットワーク記憶部３３、教師
データ記憶部３１に記憶されている教師データをニュー
ラルネットワーク記憶部３３の層構成、結合の重みによ
り認識を行う教師入力値認識部３４、教師入力値認識部
３４における認識結果を記憶する認識結果記憶部３５、
基準となる入力値を記憶する基準入力値記憶部３６、基
準入力値記憶部３６に記憶されている基準入力値データ
をニューラルネットワーク記憶部３３の層構成、結合の
重みにより認識を行う基準入力値認識部３７、基準入力
値認識部３７における認識結果を記憶する基準出力値記
憶部３８、教師データ記憶部３１に記憶された教師デー
タ、基準入力値記憶部３６に記憶された基準入力値デー
タ、認識結果記憶部３５に記憶された認識結果、基準出
力値記憶部３８に記憶された認識結果、ニューラルネッ
トワーク記憶部３３の層構成、結合の重みにより入力値
の変化量に対する出力値の変化量の関係を計算する入出
力関係計算部３９、入出力関係計算部３９の計算結果か
ら入力項目が削除すべき項目か否かを判定する入力項目
削除判定部４０、入力項目削除判定部４０の判定結果を
基に入力項目の削除を行う入力項目削除部４１、入力項
目削除部４１において削除された教師データの再編成を
行う教師データ再編成部４２から構成されている。

【００８２】基準入力値記憶部３６に記憶されている基
準入力値データは、教師データ記憶部３１に入力される
各教師データに対して基準となるデータであり、各教師
データの平均値、或いは前回の学習において使用された
教師データ等である。

【００８３】基準入力値認識部３７は、教師データ学習
部３２と同様のニューラルネットワークの層構成を有
し、教師データ学習部３２における学習の結果得られた
結合の重みが、そのまま入力層ニューロン〜中間層ニュ
ーロン間、中間層〜中間層間、或いは中間層〜出力層間
の重みとして与えられる。基準入力値認識部３７は、基
準入力値データと教師データ学習部３２における学習の
結果得られた結合の重みを用いて基準出力値を求めて出
力する。

【００８４】次に、入出力関係計算部３９における出力
値の変化量の計算方法、及び入力項目削除判定部４０に
おける入力項目の削除判定方法を図２０のフローチャー
トを用いて、以下に説明する。但し、教師入力値認識部
３４及び基準入力値認識部３７内のニューラルネットワ
ークは、入力層ニューロン数ｍ、中間層ニューロン数
ｌ、出力層ニューロン数ｎの３階層で構成されているも
のとする。

【００８５】先ず、ステップＳ６１でニューラルネット
ワークの入力層ニューロンｉと出力層ニューロンｊの逆
写像を求める。全ての入力項目に対する出力の逆写像を
求めるのであれば、逆写像Ｒ_ijの計算を（ｍ×ｎ）回繰
り返すことになる。また、特定の入力項目に対する逆写
像を求めるのであれば、１つの入力項目に対してｎ個の
逆写像を求めれば良い。また、逆写像式を使用せずに、
前述した入力項目毎の感度の絶対値の最大値を用いても
良い。即ち、各教師データ毎に入力層ニューロンに対す
る出力層ニューロンの感度を求め、求められた感度の絶
対値の最大値を該入力層ニューロンに対する出力層ニュ
ーロンの感度の絶対値の最大値とする。入力層ニューロ
ンから出力層ニューロンへの全ての組み合わせ（ｍ×
ｎ）について感度の絶対値の最大値を求め、前述した逆
写像の代わりに用いるものである。

【００８６】次に、ステップＳ６２において、基準入力
値記憶部３６に記憶された基準入力値データＩ₀₁〜Ｉ_0m
を基準入力値認識部３７に与え、基準となる出力データ
Ｏ₀₁〜Ｏ_0nを求めて基準出力値記憶部３８に格納する。
基準入力値認識部３７は、教師入力値認識部３４のニュ
ーラルネットワークと同じ層構成を有し、教師入力値認
識部３４において学習した現時点での重み（ニューラル
ネットワーク記憶部３３に格納されている情報）を用い
て計算を行う。但し、基準入力値認識部３７は学習を行
わずに、基準入力値データと、ニューラルネットワーク
記憶部３３に格納されている重みデータとから出力デー
タを計算して出力するものである。

【００８７】続いて、ステップＳ６３において、最初の
教師データである入力値Ｉ₁₁〜Ｉ_1mから出力値Ｏ₁₁〜Ｏ
_1nを求める。該入力値は教師入力値認識部３４に入力さ
れて、該出力データが適正値になるように教師入力値認
識部３４で学習を行う。従って、前ステップＳ６２にお
いて基準入力値認識部３７が使用する重みは、教師入力
値認識部３４の学習の度に更新されることになる。該入
力値の学習が終了すれば、該出力値を認識結果記憶部３
５に格納する。

【００８８】次に、ステップＳ６４において、入力デー
タＩ_1iと、該入力データＩ_1iに対応する出力データＯ_1j
とから変化量Ｖ_ijを次式を用いて求める。

【００８９】

【数１０】

【００９０】入出力関係計算部３９は、１つの教師デー
タに対して変化量Ｖ_ijの計算を（ｍ×ｎ）回繰り返すこ
とになる。変化量Ｖ_ijを求める式において、分母は基準
入力値データと教師データの入力データとの差に逆写像
を乗算したもの、即ち、入力の変化量に対する出力の変
化量の総和を出力層ニューロンｊについて求めている。
分子は基準入力値データと教師データの入力データとの
差に逆写像を乗算したもの、即ち、入力層ニューロンｉ
の入力の変化量に対する出力層ニューロンｊの出力の変
化量を求めている。従って、変化量Ｖ_ijは入力項目ｉの
入力データの変化量が出力層ニューロンｊの出力の変化
にどれだけ影響を与えているかを表していると言える。

【００９１】以上のステップＳ６２〜Ｓ６４の処理を、
教師データの数だけ繰り返す。次に、入出力関係計算部
３９は、ステップＳ６２〜Ｓ６４で求められた各教師デ
ータの変化量Ｖ_ijの中から、それぞれの最大値ｍａｘ
（Ｖ_ij）を求める（ステップＳ６５）。

【００９２】次に、入出力関係計算部３９は、学習にお
ける出力ｊの誤差Ｅ_j（教師データの出力値と学習後の
出力値との差）を各教師データについて求め、誤差Ｅ_j
の最大値をｍａｘ（Ｅ_j）する（ステップＳ６６）。

【００９３】最後に、ステップＳ６７において、入力項
目ｉを削除するか否かの判定が行われる。出力ｊの許容
誤差をＬ_jとすると、入力項目削除判定部４０は、入力
項目ｉに対する全ての出力ｊ（１≦ｊ≦ｎ）が、次式の
入出力関係を満せば入力項目ｉを削除と判定し、１つで
も満たさなければ入力項目ｉは削除しないと判定する。

【００９４】

【数１１】

【００９５】入力項目削除判定部４０において、入力項
目ｉを削除と判定すれば、入力項目削除部４１は入力項
目ｉを削除し、教師データ再編成部４２は教師データの
入力項目ｉ以外の教師データを再編成して新たな教師デ
ータを生成する。再編成された教師データは、教師デー
タ記憶部３１に記憶され、教師入力値認識部３４は再編
成された教師データに基づいて再学習を行う。

【００９６】図２１は、教師データの一例を示す図であ
る。教師データの入力データとして、一定時間おきに温
度を３回測定して温度１、温度２、温度３とする。但
し、測定した温度は、例えば、最高温度を“１”、最低
温度を“０”として規格化した値を用いる。また、教師
データの出力データとして、測定した上記温度１、温度
２、温度３の温度変化が上昇傾向にあるか、下降傾向に
あるか、或いは変化なしであるかを、それぞれ“１．
０”、“０．０”、“０．５”とし教師データに付加す
る。教師データとして、データ１〜データ１１の１１種
類のデータが図２１に示されており、温度１、温度２、
温度３、及び教師データの出力データのそれぞれの平均
値が最後に示されている。

【００９７】図２１の教師データを用いて認識を行った
認識結果の出力、誤差、及び変化量を求めて作成した表
を図２２に示す。本実施例では、入力項目１から出力へ
の変化量の最大値ｍａｘ（Ｖ₁₁）が“ 3.547842 ”、入
力項目２から出力への変化量の最大値ｍａｘ（Ｖ₂₁）が
“ 0.035236 ”、入力項目３から出力への変化量の最大
値ｍａｘ（Ｖ₃₁）が“ 3.51256 "となっており、入力項
目２の変化量が最小となっている。従って、入力項目２
が削除の判定対象として選ばれる。また、誤差の最大値
ｍａｘ（Ｅ₁）が“ 0.022505 ”である。教師データの
出力データは、“１．０”、“０．０”、“０．５”の
３種であるので、それぞれの値の最小の間隔の１／２を
許容誤差Ｌ₁とすると、Ｌ₁＝０．２５と設定できる。
従って、入出力関係値は、ｍａｘ（Ｖ₂₁）＋ｍａｘ（Ｅ₁）＝ 0.057741 となり、許容誤差Ｌ₁より小さいので入力項目２（温度
２）は削除できる。

【００９８】図１６はニューラルネットワークの学習装
置の第５の実施例の構成ブロック図である。同図を第４
の実施例を示す図１５と比較すると、入力項目削除判定
部４０の代わりに入出力関係表示部４３が用いられてお
り、更に削除項目入力部４４が追加されている点が異な
っている。この入出力関係表示部４３は、入力項目削除
判定部４０に代わって、入出力関係計算部３９の入出力
データを、例えば、図２３に示すようにグラフを用いて
表示し、入力項目を削除すべきか否かのユーザの判定を
支援するものである。ユーザは入出力関係表示部４３の
表示に対応して入力項目の削除を判定し、削除項目入力
部４４を介して削除すべき入力項目の入力を行う。以降
の処理は、図１５に示す第４の実施例と同様である。

【００９９】図２３は、入出力関係表示部４３の表示例
を示しており、図２３（ａ）はデータ１１の認識結果を
傾向（出力）として、基準出力値を傾向（標準出力）と
してそれぞれ帯グラフで表示している。また、図２３
（ｂ）はデータ１１の教師データの入力値、変化量を表
示し、温度１、温度２、温度３の変化量をそれぞれ帯グ
ラフにして表示している。従って、ユーザは変化量を参
照することによって、各入力項目の入力データの変化量
（基準入力と入力値との差）が出力の変化にどれだけ影
響を与えているかを把握できる。更には、各教師データ
の変化量を参照することによって、出力値の変化量が小
さい入力項目を見つけて、該入力項目の削除の判定を容
易に行うことが可能になる。

【０１００】図１７はニューラルネットワークの学習装
置の第６の実施例の構成ブロック図である。同図を第５
の実施例と比較すると、教師データ記憶部３１、教師入
力値認識部３４の代わりに、認識時の入力データを記憶
する入力データ記憶部４５、入力データ記憶部４５に記
憶されている入力データをニューラルネットワーク記憶
部３３の層構成、結合の重みにより認識を行う入力デー
タ認識部４６が用いられ、基準入力値記憶部３６、基準
入力値認識部３７、基準出力値記憶部３８の代わりに、
基準入出力値記憶部４７が用いられ、教師データ学習部
３２、入力項目削除部４１、教師データ再編成部４２、
削除項目入力部４４が削除されている点が異なってい
る。

【０１０１】基準入出力値記憶部４７には、基準入力値
と基準出力値とが格納されている。基準入力値は入力デ
ータ記憶部４５に格納されている入力データの平均値、
特徴のある代表値、或いは前回の出力値の変化量の計算
に用いた入力データ等が用いられる。また、基準出力値
はニューラルネットワーク記憶部３３に記憶されている
層構成、結合の重みにより認識を行った時の出力値が予
め計算されて基準入出力値記憶部４７に格納されてい
る。

【０１０２】入力データ認識部４６は、入力データ記憶
部４５に記憶されている入力データをニューラルネット
ワーク記憶部３３の層構成、結合の重みにより認識を行
うが、学習は行わないので重みの更新は行わない。

【０１０３】入出力関係計算部３９は、入力データ記憶
部４５に記憶された入力データ、基準入力値、及び基準
出力値に基づいて出力値の変化量の計算を行う。出力値
の変化量の計算方法は、第４実施例で説明した方法と同
じ方法によって求める。計算された出力値の変化量値
は、入出力関係表示部４３によってユーザが理解できる
形式、例えば、図２３に示すようにグラフを用いて表示
される。また、入力データ記憶部４５に格納された入力
データを更新し、入力データ認識部４６に入力すること
によって、新たな出力値の変化量値が計算されグラフに
表示されるので、ユーザは表示されたグラフからニュー
ラルネットワークの出力値の変化がどの入力値の変化に
よるものかを知ることができ、入出力の対応関係を理解
することができる。

【０１０４】第５実施例では教師データを入力する度に
学習が行われ、各ニューロン間の重みが変更されたが、
第６実施例では学習が既に終了したニューラルネットワ
ークに対して入力データを与え、出力値の変化量を求め
るものである。従って、既に学習が終了したニューラル
ネットワークに対する入出力の対応関係を、ユーザの経
験、知識と比較することによって入出力の関係が正しい
か否か、即ち、ニューラルネットワークが有効であるか
否かの判断が行われる。

【０１０５】図１８はニューラルネットワークの学習装
置の第７の実施例の構成ブロック図である。同図におい
て学習装置は教師データを記憶する教師データ記憶部３
１、教師データを用いてニューラルネットワークの学習
を制御する教師データ学習部３２、ニューラルネットワ
ークの層構成、ニューロン間の結合の重みなどを記憶す
るニューラルネットワーク記憶部３３、教師データの各
入力項目について有効範囲を求める有効範囲計算部４
８、教師データ記憶部３１からの教師データの入力項目
の１つを、有効範囲計算部４８から出力される有効範囲
の上限値、下限値に置き換えて、教師データをニューラ
ルネットワーク記憶部３３の層構成、結合の重みにより
認識を行う認識部４９、認識部４９からの出力を、例え
ば、図２４に示すようにグラフを用いて表示する出力関
係表示部５０から構成されている。

【０１０６】有効範囲計算部４８は、有効範囲として、
例えば、各入力項目毎の最大値、最小値を教師データか
ら求めて出力する。認識部４９は、教師データ記憶部３
１からの教師データの入力項目ｉのデータを、有効範囲
計算部４８で求めた入力項目ｉの最大値、或いは最小値
に置き換えて認識を行い、最大値を用いた出力値と最小
値を用いた出力値を出力する。また、認識部４９は、入
力項目ｉの置き換えを行わずに認識を行い、認識結果を
実際値として出力する。同様に、各教師データについて
入力項目ｉのデータを置き換を行うか、或いは置き換え
を行わずに認識を行えば、それぞれの教師データについ
て最大値を用いた出力値、最小値を用いた出力値、実際
値の３種類の出力値を得ることができる。仮に、ニュー
ラルネットワークの出力が、入力値の増加に伴って出力
値が増加する単調増加、或いは入力値の減少に伴って出
力値が減少する単調減少であれば、出力関係表示部５０
は各教師データに対する３種類の出力値を順に並べて表
示すると、図２４に示すようにそれぞれの出力値がある
程度幅を持って表示される。ユーザは、出力されたグラ
フを参照することによって、入力項目ｉの出力に与える
影響を知ることができる。即ち、グラフの幅が大きけれ
ば入力項目ｉが出力に与える影響は大きいと判断し、逆
にグラフの幅が小さければ入力項目ｉが出力に与える影
響は小さいと判断することができる。

【０１０７】図１９はニューラルネットワークの学習装
置の第８の実施例の構成ブロック図である。同図におい
て学習装置は教師データを記憶する教師データ記憶部３
１、教師データを用いてニューラルネットワークの学習
を制御する教師データ学習部３２、ニューラルネットワ
ークの層構成、ニューロン間の結合の重みなどを記憶す
るニューラルネットワーク記憶部３３、入出力の符号関
係を求める入出力符号関係計算部５１、入出力の定性的
関係を入力する定性的関係入力部５２、入出力符号関係
計算部５１からの出力と定性的関係入力部５２からの出
力の比較を行い学習状況の判定を行う学習状況判定部５
３、学習状況判定部５３からの出力を表示する学習状況
表示部５４から構成されている。

【０１０８】入出力符号関係計算部５１は、入力項目ｉ
と出力ｊとの関係が符号で表せる符号関係、例えば、前
述した逆写像や第４実施例で説明した感度の最大値を計
算する。入力項目ｉと出力ｊとの相関が正の相関、或い
は負の相関のどちらか一方になることが明らかな場合、
ユーザはその相関関係の符号を定性的関係入力部５２か
ら入力する。

【０１０９】学習状況判定部５３は、入出力符号関係計
算部５１で計算された符号関係と、定性的関係入力部５
２から入力された符号とを比較し、符号が同じであれば
学習に矛盾がなく、符号が反対であれば学習に矛盾があ
ると判定する。或いは、符号が同じであってもその絶対
値が小さければ、学習に矛盾があると判定することも可
能である。学習状況表示部５４は、例えば、入出力符号
関係計算部５１で計算された符号関係、定性的関係入力
部５２から入力された符号、及び判定結果を表示する。

【０１１０】図２５は、学習状況表示部５４の表示例を
示しており、トンネルの汚染度の予測に関するものであ
る。トンネルの換気量と自動車の通行量から、トンネル
内の空気の汚染度を予測するニューラルネットワークを
構成する。トンネルの換気量が大きければ汚染度は小さ
くなり、自動車の通行量が多ければ汚染度が大きくなる
のはユーザの経験から明らかである。

【０１１１】そこで、トンネルの換気量と汚染度の関係
は負の相関関係、自動車の通行量と汚染度の関係は正の
相関関係があると定性的関係を設定する。そして、入出
力関係値、例えば、逆写像の値を求める。換気量の定性
的関係は“−”であるので、逆写像の値が正の数であれ
ば学習は正しく行われていないと判定され、逆写像の値
が負の数であれば学習は正しく行われていると判定され
る。

【０１１２】また、交通量の定性的関係は“＋”である
ので、逆写像の値が正の数であれば学習は正しく行われ
ていると判定され、逆写像の値が負の数であれば学習は
正しく行われていないと判定される。学習が正しく行わ
れていないと判定された場合、学習回数が足りない、教
師データに誤りがある等が考えられる。

【０１１３】

【発明の効果】以上詳細に説明したように、本発明によ
ればニューラルネットワークの学習中にある教師データ
の学習を継続すべきか否かの判定を行うことができ、学
習に必要な時間を短縮させることができる。また入力の
微小変化に強いニューラルネットワークを構築すること
ができ、例えばニューラルネットワークによるパターン
認識などの応用分野において実用性の向上に寄与すると
ころが大きい。

【０１１４】また、本発明によれば入力の変化に対する
出力の変化に基づいて変化量を求め、変化量から計算さ
れた入出力関係値に基づいて不必要な入力を削除するこ
とにより、ニューラルネットワークを単純化することが
可能になる。そのため、運用時の計算量及び記憶量が削
減され、ハードウェアのコストの削減、計算時間の短縮
が可能になる。

【０１１５】更には、変化量の値を表示することによ
り、ユーザはニューラルネットワークの構造を理解する
ことが可能になり、保守性に優れたシステムの構築が行
え、ニューラルネットワークの精度向上が可能になる。

【図面の簡単な説明】

【図１】本発明の原理構成ブロック図（その１）であ
る。

【図２】本発明の原理構成ブロック図（その２）であ
る。

【図３】ニューラルネットワークの学習装置の第１の実
施例の構成ブロック図である。

【図４】ニューラルネットワークの学習装置の第２の実
施例の構成ブロック図である。

【図５】ニューラルネットワークの学習装置の第３の実
施例の構成ブロック図である。

【図６】教師データの感度の代表値計算処理のフローチ
ャートである。

【図７】２層ニューラルネットワークの構造を示す図で
ある。

【図８】３層ニューラルネットワークの構造を示す図で
ある。

【図９】教師データの具体例を示す図である。

【図１０】図８の教師データに対する感度の代表値を示
す図である。

【図１１】教師データに対する感度と正答度の関係によ
る学習継続必要性の判定法を説明する図である。

【図１２】教師データに対する感度の代表値と認識結果
の正答度の例を示す図である。

【図１３】学習状況表示部の表示例を示す図である。

【図１４】学習済みの教師データと未学習データの整合
性の判定を説明する図である。

【図１５】ニューラルネットワークの学習装置の第４の
実施例の構成ブロック図である。

【図１６】ニューラルネットワークの学習装置の第５の
実施例の構成ブロック図である。

【図１７】ニューラルネットワークの学習装置の第６の
実施例の構成ブロック図である。

【図１８】ニューラルネットワークの学習装置の第７の
実施例の構成ブロック図である。

【図１９】ニューラルネットワークの学習装置の第８の
実施例の構成ブロック図である。

【図２０】入力項目の削除判定方法のフローチャートで
ある。

【図２１】教師データの一例を示す図である。

【図２２】各教師データに対する出力、誤差、及び変化
量を示す図である。

【図２３】入出力関係表示部の表示例を示す図である。

【図２４】第７の実施例の有効範囲を示す図である。

【図２５】トンネルの汚染度の予測を示す図である。

【図２６】ニューロンの入出力関係を示す図である。

【図２７】階層型ニューラルネットワークの例を示す図
である。

【符号の説明】

１感度代表値計算手段２認識結果正答度計算手段３学習状況判定手段４標準入力値認識手段５入出力関係計算手段６入力項目判定手段７入力項目削除手段８入出力関係表示手段９削除項目入力手段１１教師データ記憶部１２学習制御部１３ニューラルネットワーク記憶部１４正答度計算部１５感度計算部１６学習状況判定部１７学習データ変更部１８学習状況表示部１９未学習データ記憶部２０未学習データ変更部３１教師データ記憶部３２教師データ学習部３３ニューラルネットワーク記憶部３４教師入力値認識部３４３５認識結果記憶部３６基準入力値記憶部３７基準入力値認識部３８基準出力値記憶部３９入出力関係計算部４０入力項目削除判定部４１入力項目削除部４２教師データ再編成部４３入出力関係表示部４４削除項目入力部４５入力データ記憶部４６入力データ認識部４７基準入出力値記憶部４８有効範囲計算部４９認識部５０出力関係表示部

Claims

【特許請求の範囲】

【請求項１】ニューラルネットワークに教師データを
与え、該教師データを正しく認識できるように該ニュー
ラルネットワークの内部の重みを更新させるニューラル
ネットワークの学習装置において、それぞれの教師データについて、該教師データの入力デ
ータを微小変化させた時の該ニューラルネットワークの
出力データの感度の代表値を求める感度代表値計算手段
と、該各教師データについて、ニューラルネットワークの認
識結果の正答度を計算する認識結果正答度計算手段と、該感度代表値計算手段の出力と認識結果正答度計算手段
の出力とに基づいて、該各教師データについて学習を継
続すべきか否かを判定する学習状況判定手段と、を有することを特徴とするニューラルネットワークの学
習装置。
【請求項２】前記教師データと異なる未学習のデータ
を記憶する未学習データ記憶手段を更に有し、該未学習データに対する前記感度代表値計算手段の出力
と前記認識結果正答度計算手段の出力とに基づいて、前
記学習状況判定手段が該未学習データと前記教師データ
との整合性を判定すること、を特徴とする請求項１に記載のニューラルネットワーク
の学習装置。
【請求項３】ニューラルネットワークに教師データを
与え、該教師データを正しく認識できるように該ニュー
ラルネットワークの内部の重みを更新させるニューラル
ネットワークの学習装置において、それぞれの教師データについて、該教師データの入力デ
ータを微小変化させた時の該ニューラルネットワークの
出力データの感度の代表値を求める感度代表値計算手段
と、該各教師データについて、ニューラルネットワークの認
識結果の正答度を計算する認識結果正答度計算手段と、該感度代表値計算手段が出力する感度代表値と該認識結
果正答度計算手段が出力する正答度との関係を表示する
学習状況表示手段と、を有することを特徴とするニューラルネットワークの学
習装置。
【請求項４】前記教師データと異なる未学習のデータ
を記憶する未学習データ記憶手段を更に有し、前記学習状況表示手段が該未学習データに対して前記感
度代表値計算手段が出力する感度代表値と前記認識結果
正答度計算手段が出力する正答度との関係を表示するこ
と、を特徴とする請求項３に記載のニューラルネットワーク
の学習装置。
【請求項５】ニューラルネットワークに教師データを
与え、該教師データを正しく認識できるように該ニュー
ラルネットワークの内部の重みを更新させるニューラル
ネットワークの学習装置において、基準となる入力データの認識を行い結果を出力する基準
入力値認識手段と、該基準となる入力データ、前記教師データ、前記ニュー
ラルネットワークに入力された該教師データの認識結
果、該基準入力値認識手段から出力された認識結果、及
び該ニューラルネットワークの重みから、教師データの
基準となる入力データからの変化量に対する出力値の変
化量を計算する入出力関係計算手段と、該入出力関係計算手段で計算された出力値の変化量に基
づいて、入力項目を削除するか否かを判定する入力項目
判定手段と、該入力項目判定手段の判定結果に基づいて前記教師デー
タの該入力項目に該当するデータを削除する入力項目削
除手段と、を有することを特徴とするニューラルネットワークの学
習装置。
【請求項６】前記基準入力値認識手段は、前記ニュー
ラルネットワークと同じ層構成、重みを有するニューラ
ルネットワークから成ること、を特徴とする請求項５に記載のニューラルネットワーク
の学習装置。
【請求項７】ニューラルネットワークに教師データを
与え、該教師データを正しく認識できるように該ニュー
ラルネットワークの内部の重みを更新させるニューラル
ネットワークの学習装置において、基準となる入力データの認識を行い結果を出力する基準
入力値認識手段と、該基準となる入力データ、前記教師データ、前記ニュー
ラルネットワークに入力された該教師データの認識結
果、該基準入力値認識手段から出力された認識結果、及
び該ニューラルネットワークの重みから、教師データの
基準となる入力データからの変化量に対する出力値の変
化量を計算する入出力関係計算手段と、該入出力関係計算手段に入出力される情報を表示する入
出力関係表示手段と、削除する入力項目を入力する削除項目入力手段と、該削除項目入力手段の入力に基づいて前記教師データの
該入力項目に該当するデータを削除する入力項目削除手
段と、を有することを特徴とするニューラルネットワークの学
習装置。
【請求項８】ニューラルネットワークに教師データを
与え、該教師データを正しく認識できるように該ニュー
ラルネットワークの内部の重みを更新させるニューラル
ネットワークの学習装置において、入力データ、該ニューラルネットワークに入力された該
入力データの認識結果、基準となる入出力データ、及び
該ニューラルネットワークの重みから、教師データの基
準となる入力データからの変化量に対する出力値の変化
量を計算する入出力関係計算手段と、該入出力関係計算手段に入出力される情報を表示する入
出力関係表示手段と、を有することを特徴とするニューラルネットワークの学
習装置。
【請求項９】前記ニューラルネットワークに前記入力
データを入力して認識を行う際、前記重みを更新せずに
認識を行うこと、を特徴とする請求項８に記載のニューラルネットワーク
の学習装置。
【請求項１０】ニューラルネットワークに教師データ
を与え、該教師データを正しく認識できるように該ニュ
ーラルネットワークの内部の重みを更新させるニューラ
ルネットワークの学習装置において、該教師データに基づいて入力項目に対するデータの有効
範囲を求める有効範囲計算手段と、該教師データの入力項目のデータのうち少なくとも１つ
を前記有効範囲内のデータに変更するデータ変更手段
と、該変更されたデータを前記ニューラルネットワークに入
力して得られた認識結果を表示する出力関係表示手段
と、を有することを特徴とするニューラルネットワークの学
習装置。
【請求項１１】前記データ変更手段は、有効範囲の上
限値、下限値に変更すること、を特徴とする請求項１０に記載のニューラルネットワー
クの学習装置。
【請求項１２】ニューラルネットワークに教師データ
を与え、該教師データを正しく認識できるように該ニュ
ーラルネットワークの内部の重みを更新させるニューラ
ルネットワークの学習装置において、該教師データ、該ニューラルネットワークの重みから入
力と出力との間の符号関係を計算する入出力符号関係計
算手段と、該ニューラルネットワークに特有の入力と出力との関係
である定性的関係を入力する定性的関係入力手段と、該入出力符号関係計算手段で計算された符号関係と該定
性的関係を比較して学習状況を判定する学習状況判定手
段と、該学習状況の判定結果を表示する学習状況表示手段と、を有することを特徴とするニューラルネットワークの学
習装置。