JPH05101209A - 階層型ニユーラルネツトワークの学習方法 - Google Patents
階層型ニユーラルネツトワークの学習方法Info
- Publication number
- JPH05101209A JPH05101209A JP3257511A JP25751191A JPH05101209A JP H05101209 A JPH05101209 A JP H05101209A JP 3257511 A JP3257511 A JP 3257511A JP 25751191 A JP25751191 A JP 25751191A JP H05101209 A JPH05101209 A JP H05101209A
- Authority
- JP
- Japan
- Prior art keywords
- output
- learning
- intermediate layer
- error
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 17
- 230000008878 coupling Effects 0.000 claims description 21
- 238000010168 coupling process Methods 0.000 claims description 21
- 238000005859 coupling reaction Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 4
- 239000010410 layer Substances 0.000 claims 7
- 239000011229 interlayer Substances 0.000 claims 1
- 238000012937 correction Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 102100025511 Anti-Muellerian hormone type-2 receptor Human genes 0.000 description 4
- 101710089052 Anti-Muellerian hormone type-2 receptor Proteins 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 学習時間、演算量を少なくし、かつ中間層ユ
ニットの数を適切なものとしてニューラルネットワーク
としての汎化能力を向上させる。 【構成】 出力関数としてシグナム関数を用いるユニッ
トにより構成された階層型ニューラルネットワークの学
習方法としてＭＡＤＡＬＩＮＥ Ｒｕｌｅ II を用い、
入力信号と教師信号のセットを入力し、その時の出力信
号と教師信号との誤差Ｅを求め、中間層ユニットの内部
状態がゼロに近い中間層ユニットから順に、その出力の
符号を反転した試行パターンを生成し、その試行パター
ンを出力層に与えた時の出力信号と教師信号との誤差
Ｅ′を求め、ＥとＥ′とが異なる中間層ユニットに対し
て中間層ユニットテーブルにフラグを立て（Ｓ23、
Ｓ24）、すべての学習セットについて１回の学習を終了
するごとに、中間層ユニットテーブルを参照してフラグ
の合っていない中間層ユニットを非貢献ユニットとして
削除する（Ｓ26）。
ニットの数を適切なものとしてニューラルネットワーク
としての汎化能力を向上させる。 【構成】 出力関数としてシグナム関数を用いるユニッ
トにより構成された階層型ニューラルネットワークの学
習方法としてＭＡＤＡＬＩＮＥ Ｒｕｌｅ II を用い、
入力信号と教師信号のセットを入力し、その時の出力信
号と教師信号との誤差Ｅを求め、中間層ユニットの内部
状態がゼロに近い中間層ユニットから順に、その出力の
符号を反転した試行パターンを生成し、その試行パター
ンを出力層に与えた時の出力信号と教師信号との誤差
Ｅ′を求め、ＥとＥ′とが異なる中間層ユニットに対し
て中間層ユニットテーブルにフラグを立て（Ｓ23、
Ｓ24）、すべての学習セットについて１回の学習を終了
するごとに、中間層ユニットテーブルを参照してフラグ
の合っていない中間層ユニットを非貢献ユニットとして
削除する（Ｓ26）。
Description
【０００１】
【産業上の利用分野】この発明は出力関数としてシグナ
ム関数（符号関数）を用いるユニットにより構成された
階層型ニューラルネットワークに対するＭＲII（ＭＡＤ
ＡＬＩＮＥＲｕｌｅ II ）という学習方法の改良に関す
るものである。
ム関数（符号関数）を用いるユニットにより構成された
階層型ニューラルネットワークに対するＭＲII（ＭＡＤ
ＡＬＩＮＥＲｕｌｅ II ）という学習方法の改良に関す
るものである。
【０００２】
【従来の技術】ニューラルネットワークは例えば入力信
号の分類（認識）などに利用される。例えば図３に示す
ように入力層１１、中間層１２、出力層１３よりなる階
層型ニューラルネットワークを用いて入力画像中のパタ
ーンを分類する場合、入力層１１のユニット１４の数は
階層型ニューラルネットワークに入力する画像１５の画
素数によって決定する。同様に、出力層１３のユニット
１６の数は出力画像の画素数、分類のカテゴリ数等によ
って決定する。中間層１２のユニット１７の数は認識し
たいパターンの個数や複雑さによって適切に選択する必
要があるが、適切なユニット数の決定法は確立していな
い。
号の分類（認識）などに利用される。例えば図３に示す
ように入力層１１、中間層１２、出力層１３よりなる階
層型ニューラルネットワークを用いて入力画像中のパタ
ーンを分類する場合、入力層１１のユニット１４の数は
階層型ニューラルネットワークに入力する画像１５の画
素数によって決定する。同様に、出力層１３のユニット
１６の数は出力画像の画素数、分類のカテゴリ数等によ
って決定する。中間層１２のユニット１７の数は認識し
たいパターンの個数や複雑さによって適切に選択する必
要があるが、適切なユニット数の決定法は確立していな
い。
【０００３】図４にこの階層型ニューラルネットワーク
の中間層１２と出力層１３のユニット１７，１６に用い
たニューロンモデルを示す。このニューロンモデルは、
±１の二値信号Ｘ（ｘ1 ，ｘ2 ・・・，ｘn ）が入力さ
れると、入力信号に結合荷重を乗じて総和ｙを求め、二
値信号ｑ＝ＳＧＮ（ｙ）を出力する。出力関数に用いた
シグナム関数ＳＧＮ（ｙ）は、実数値を持つｙの符号を
見て＋１または−１を出力する関数である。ｘ0 ＝１は
しきい値の入力である。
の中間層１２と出力層１３のユニット１７，１６に用い
たニューロンモデルを示す。このニューロンモデルは、
±１の二値信号Ｘ（ｘ1 ，ｘ2 ・・・，ｘn ）が入力さ
れると、入力信号に結合荷重を乗じて総和ｙを求め、二
値信号ｑ＝ＳＧＮ（ｙ）を出力する。出力関数に用いた
シグナム関数ＳＧＮ（ｙ）は、実数値を持つｙの符号を
見て＋１または−１を出力する関数である。ｘ0 ＝１は
しきい値の入力である。
【０００４】図３の各ユニットの出力関数としてシグナ
ム関数を用いる階層型ニューラルネットワークの学習法
として、つまり、例えば入力画像を入力すると、そのパ
ターンに応じた出力端子に出力が得られ、画像の分類を
可能とするための各結合荷重の決定を行う方法として、
ＭＲII法を図５を参照して説明する。中間層１２のユニ
ット１７として適当な数、例えば学習のために用意した
信号の個数だけ用意しておき、全ユニット１７，１６の
結合荷重に小数をランダムに与えて初期化する
（Ｓ1 ）。次にトータルエラーをゼロ、学習セット提示
回数を０に初期化し（Ｓ2 ）、用意した学習セット（学
習に用いる入力信号Ｘと教師信号Ｄとの組）のうちの１
組をニューラルネットワークに提示し、つまり入力信号
Ｘをニューラルネットワークに入力する（Ｓ3 ）。その
入力信号に対し中間層１２の出力を計算し、更に出力層
１３の出力計算して出力信号Ｑを得る（Ｓ4 ）。
ム関数を用いる階層型ニューラルネットワークの学習法
として、つまり、例えば入力画像を入力すると、そのパ
ターンに応じた出力端子に出力が得られ、画像の分類を
可能とするための各結合荷重の決定を行う方法として、
ＭＲII法を図５を参照して説明する。中間層１２のユニ
ット１７として適当な数、例えば学習のために用意した
信号の個数だけ用意しておき、全ユニット１７，１６の
結合荷重に小数をランダムに与えて初期化する
（Ｓ1 ）。次にトータルエラーをゼロ、学習セット提示
回数を０に初期化し（Ｓ2 ）、用意した学習セット（学
習に用いる入力信号Ｘと教師信号Ｄとの組）のうちの１
組をニューラルネットワークに提示し、つまり入力信号
Ｘをニューラルネットワークに入力する（Ｓ3 ）。その
入力信号に対し中間層１２の出力を計算し、更に出力層
１３の出力計算して出力信号Ｑを得る（Ｓ4 ）。
【０００５】その出力信号Ｑと教師信号Ｄとの誤差Ｅを
求め（Ｓ5 ）、その誤差Ｅをトータルエラーに加算して
それを新たなトータルエラーとする（Ｓ6 ）。次に試行
回数を０に初期化し（Ｓ7 ）、中間層ユニット１７の内
部状態値ｙが試行回数番目にゼロに近い中間層ユニット
を選択し、つまり内部状態値ｙの絶対値が試行回数＋１
番目に小さい中間層ユニットを選択する（Ｓ8 ）。
求め（Ｓ5 ）、その誤差Ｅをトータルエラーに加算して
それを新たなトータルエラーとする（Ｓ6 ）。次に試行
回数を０に初期化し（Ｓ7 ）、中間層ユニット１７の内
部状態値ｙが試行回数番目にゼロに近い中間層ユニット
を選択し、つまり内部状態値ｙの絶対値が試行回数＋１
番目に小さい中間層ユニットを選択する（Ｓ8 ）。
【０００６】その選択した中間層ユニットの二値出力ｑ
の符号を反転し、新しく中間層の出力信号を作る（以下
これを試行パターンと記す）（Ｓ9 ）。その試行パター
ンを出力層１３に入力し、演算して出力信号Ｑ′を求め
（Ｓ10）、その出力信号Ｑ′と教師信号Ｄとの誤差Ｅ′
を求める（Ｓ11）。この誤差信号Ｅ′とステップＳ5 で
得た誤差信号Ｅとを比較し（Ｓ12）、Ｅ＞Ｅ′の場合は
選択した中間層ユニットの結合荷重を、実際にそのユニ
ットの出力の符号が反転するようにＬＭＳアルゴリズム
によって更新する（Ｓ13）。つまり現在の結合荷重をＷ
ｋ，更新後のそれをＷk+1 、学習係数をα、教師信号を
ｄ（符号反転後の二値出力）とするとＷ k+1 ＝Ｗk ＋α
ε×／１×１2 ，ε＝ｄ−ＸT Ｗk を演算する。Ｅ≦
Ｅ′の場合は試行パターン中の反転した符号を元に戻
し、結合荷重の更新は行わない（Ｓ14）。
の符号を反転し、新しく中間層の出力信号を作る（以下
これを試行パターンと記す）（Ｓ9 ）。その試行パター
ンを出力層１３に入力し、演算して出力信号Ｑ′を求め
（Ｓ10）、その出力信号Ｑ′と教師信号Ｄとの誤差Ｅ′
を求める（Ｓ11）。この誤差信号Ｅ′とステップＳ5 で
得た誤差信号Ｅとを比較し（Ｓ12）、Ｅ＞Ｅ′の場合は
選択した中間層ユニットの結合荷重を、実際にそのユニ
ットの出力の符号が反転するようにＬＭＳアルゴリズム
によって更新する（Ｓ13）。つまり現在の結合荷重をＷ
ｋ，更新後のそれをＷk+1 、学習係数をα、教師信号を
ｄ（符号反転後の二値出力）とするとＷ k+1 ＝Ｗk ＋α
ε×／１×１2 ，ε＝ｄ−ＸT Ｗk を演算する。Ｅ≦
Ｅ′の場合は試行パターン中の反転した符号を元に戻
し、結合荷重の更新は行わない（Ｓ14）。
【０００７】次に試行回数を＋１して新たな試行回数と
し（Ｓ15）、その試行回数が中間層１２のユニット数と
一致したかを調べ（Ｓ16）、一致していなければステッ
プＳ 8 に戻る。このようにして中間層ユニットのすべて
についてその内部状態値ｙがゼロに近いものの順に、結
合荷重を更新するかしないままとされる。その後その入
力信号Ｘを再び入力して出力信号Ｑを再度求め
（Ｓ17）、その出力信号Ｑと教師信号Ｄとを比較し（Ｓ
18）、不一致の場合は出力層１３のユニット１６の結合
荷重をＬＭＳアルゴリズムで更新し（Ｓ19）、一致して
いる場合は出力層ユニットの結合荷重をそのままとす
る。
し（Ｓ15）、その試行回数が中間層１２のユニット数と
一致したかを調べ（Ｓ16）、一致していなければステッ
プＳ 8 に戻る。このようにして中間層ユニットのすべて
についてその内部状態値ｙがゼロに近いものの順に、結
合荷重を更新するかしないままとされる。その後その入
力信号Ｘを再び入力して出力信号Ｑを再度求め
（Ｓ17）、その出力信号Ｑと教師信号Ｄとを比較し（Ｓ
18）、不一致の場合は出力層１３のユニット１６の結合
荷重をＬＭＳアルゴリズムで更新し（Ｓ19）、一致して
いる場合は出力層ユニットの結合荷重をそのままとす
る。
【０００８】次に学習セット提示回数を＋１してこれを
新たに学習セット提示回数とし（Ｓ 20）、その学習セッ
ト提示回数が予め与えられた学習セットの数と一致した
かをチェックし（Ｓ21）、不一致の場合はステップＳ3
に戻り、新たに他の学習セットについて同様のことを行
い、以下同様にして、すべての学習セットについてステ
ップＳ3 〜Ｓ21を実行（学習）し終ると（１サイクルの
学習を終了すると）トータルエラーがゼロか否かをチェ
ックし（Ｓ22）、ゼロでなければステップＳ2 に戻り、
再びすべての学習セットについてトータルエラーがゼロ
になるまでステップＳ2 〜Ｓ22を繰返し実行（学習）す
る。トータルエラーがゼロになったら学習を終了する。
新たに学習セット提示回数とし（Ｓ 20）、その学習セッ
ト提示回数が予め与えられた学習セットの数と一致した
かをチェックし（Ｓ21）、不一致の場合はステップＳ3
に戻り、新たに他の学習セットについて同様のことを行
い、以下同様にして、すべての学習セットについてステ
ップＳ3 〜Ｓ21を実行（学習）し終ると（１サイクルの
学習を終了すると）トータルエラーがゼロか否かをチェ
ックし（Ｓ22）、ゼロでなければステップＳ2 に戻り、
再びすべての学習セットについてトータルエラーがゼロ
になるまでステップＳ2 〜Ｓ22を繰返し実行（学習）す
る。トータルエラーがゼロになったら学習を終了する。
【０００９】図５の学習において、中間層１２の出力信
号の計算は図６に示すように、各入力信号（画素信号）
と各１つの中間層ユニットについてその結合荷重とを掛
算したものの総和を求めてその内部状態値を得、その内
部状態値をシグナム関数に代入して二値化した中間層出
力を得る。出力層１３の出力信号の計算は図７に示すよ
うに、各中間層出力と各１つの出力層ユニットについて
その結合荷重とを掛算したものの総和を求めてその内部
状態値を得、その内部状態値をシグナム関数に代入して
二値化した出力層の出力信号を得る。出力層の出力信号
Ｑと教師信号Ｄとの誤差は図８に示すように計算する。
号の計算は図６に示すように、各入力信号（画素信号）
と各１つの中間層ユニットについてその結合荷重とを掛
算したものの総和を求めてその内部状態値を得、その内
部状態値をシグナム関数に代入して二値化した中間層出
力を得る。出力層１３の出力信号の計算は図７に示すよ
うに、各中間層出力と各１つの出力層ユニットについて
その結合荷重とを掛算したものの総和を求めてその内部
状態値を得、その内部状態値をシグナム関数に代入して
二値化した出力層の出力信号を得る。出力層の出力信号
Ｑと教師信号Ｄとの誤差は図８に示すように計算する。
【００１０】ステップＳ8 ，Ｓ9 の試行パターンの生成
は図９に示すようにして行う。中間層の各ユニットの内
部状態値の絶対値の小さい順に並べ、（試行回数＋１）
番目に小さい内部状態値をもつ中間層ユニットを求め、
そのユニットの出力符号を反転し、これとその他の中間
層ユニットの出力とを試行パターンとする。ステップＳ
13における中間層ユニットの結合荷重の更新は図１０に
示すように行われる。つまり、選択した中間層ユニット
の出力と、そのユニットの内部状態値との差を求め、そ
の差εと学習係数αと各入力画素信号との積を入力画素
数を割った値をその画素信号に対する現結合荷重に加算
して更新した結合荷重とする。ステップＳ19における出
力層ユニットの結合荷重の更新は図１１に示すように行
う。まず中間層出力を計算し、次に各出力層ユニットの
出力Ｑ（ｎ）を計算し、これと対応する教師信号Ｄ
（ｎ）とを比較し、不一致の時は、各出力層ユニットｎ
についてその内部状態値と教師信号Ｄ（ｎ）との差εを
計算し、そのεとαと、各中間層ユニットの内部状態値
との積を中間層ユニットの数Ｍで割算した値を、その中
間層ユニットとの結合荷重と加算して、その中間層ユニ
ットとの新たな結合荷重とする。このことを各出力層ユ
ニットについて行う。
は図９に示すようにして行う。中間層の各ユニットの内
部状態値の絶対値の小さい順に並べ、（試行回数＋１）
番目に小さい内部状態値をもつ中間層ユニットを求め、
そのユニットの出力符号を反転し、これとその他の中間
層ユニットの出力とを試行パターンとする。ステップＳ
13における中間層ユニットの結合荷重の更新は図１０に
示すように行われる。つまり、選択した中間層ユニット
の出力と、そのユニットの内部状態値との差を求め、そ
の差εと学習係数αと各入力画素信号との積を入力画素
数を割った値をその画素信号に対する現結合荷重に加算
して更新した結合荷重とする。ステップＳ19における出
力層ユニットの結合荷重の更新は図１１に示すように行
う。まず中間層出力を計算し、次に各出力層ユニットの
出力Ｑ（ｎ）を計算し、これと対応する教師信号Ｄ
（ｎ）とを比較し、不一致の時は、各出力層ユニットｎ
についてその内部状態値と教師信号Ｄ（ｎ）との差εを
計算し、そのεとαと、各中間層ユニットの内部状態値
との積を中間層ユニットの数Ｍで割算した値を、その中
間層ユニットとの結合荷重と加算して、その中間層ユニ
ットとの新たな結合荷重とする。このことを各出力層ユ
ニットについて行う。
【００１１】
【発明が解決しようとする課題】階層型ニューラルネッ
トワークの性能は、中間層の層数、ユニット数などのネ
ットワークの構造に強く依存している。例えば中間層の
ユニット数が多過ぎる場合は、入力信号のベクトル空間
を必要以上に分割するため、階層型ニューラルネットワ
ークの汎化能力が低下する。しかし、中間層ユニットの
適切な個数を求める方法が確立していないため、試行錯
誤によって階層型ニューラルネットワークの構造を決定
するしかなかった。
トワークの性能は、中間層の層数、ユニット数などのネ
ットワークの構造に強く依存している。例えば中間層の
ユニット数が多過ぎる場合は、入力信号のベクトル空間
を必要以上に分割するため、階層型ニューラルネットワ
ークの汎化能力が低下する。しかし、中間層ユニットの
適切な個数を求める方法が確立していないため、試行錯
誤によって階層型ニューラルネットワークの構造を決定
するしかなかった。
【００１２】試行錯誤によって中間層のユニット数を決
定する場合に、冗長な個数の中間層ユニットを用いるの
が一般的である。このため階層型ニューラルネットワー
クの構造が大きくなり、学習時間や計算量が増大すると
いう問題があった。
定する場合に、冗長な個数の中間層ユニットを用いるの
が一般的である。このため階層型ニューラルネットワー
クの構造が大きくなり、学習時間や計算量が増大すると
いう問題があった。
【００１３】
【課題を解決するための手段】この発明によれば階層型
ニューラルネットワークに対するＭＲII学習方法におい
て、すべての学習セットについての実行（学習）を１回
終了する（１サイクルの終了）ごとに、その学習におい
て常にＥ＝Ｅ′であった中間層ユニットを、そのネット
ワークの動作に貢献しない非貢献中間層ユニットとして
削除する。
ニューラルネットワークに対するＭＲII学習方法におい
て、すべての学習セットについての実行（学習）を１回
終了する（１サイクルの終了）ごとに、その学習におい
て常にＥ＝Ｅ′であった中間層ユニットを、そのネット
ワークの動作に貢献しない非貢献中間層ユニットとして
削除する。
【００１４】
【作用】この発明方法で用いたニューロンモデルからな
る階層型ニューラルネットワークをパターン認識に用い
る場合、中間層ユニットは入力パターンの作る多次元ベ
クトル空間を分割する働きを担う。一つの中間層ユニッ
トは多次元ベクトル空間を二つに分割するので、複数個
の中間層ユニットがある場合は多次元ベクトル空間を細
かく分割することになる。出力層ユニットは入力パター
ンが分割された多次元ベクトル空間のどこに存在するか
を見て認識結果を出力する。このとき、多次元ベクトル
空間が適切に分割されていると階層型ニューラルネット
ワークの汎化能力は高くなり、優れた認識能力を持つこ
とができる。反対に、必要以上に多くの中間層ユニット
があり、そのために細かく多次元ベクトル空間が分割さ
れている場合、ユニット数は適切であるが分割が適切で
ない場合は汎化能力は低くなる。上記学習手順では、中
間層ユニットの出力信号の符号を反転したとき、その影
響が出力層出力の誤差に現われるか否かによって、中間
層ユニットの貢献の程度を決めている。誤差が減少する
場合、選択した中間層ユニットの符号が反転するように
結合荷重を更新することは、多次元ベクトル空間の分割
が適切になるように修正することであり、結合荷重更新
後の中間層ユニットはネットワークの行うパターン認識
に貢献すると考えることができる。誤差が増加する場
合、選択した中間層ユニットは現状の方がネットワーク
の行うパターン認識に貢献している可能性があると考え
ることができる。これらに反して、１サイクルの学習で
１度も誤差の増減の無い中間層ユニットは、ネットワー
クの行うパターン認識に貢献していないか貢献の程度が
非常に低いと考えることができる。この発明の学習で
は、誤差が減少しない場合は結合荷重の更新を行わない
方針であるから、このように誤差の増減しない中間層ユ
ニットは多次元ベクトル空間の分割の最適化を受けるこ
ともないので、貢献していないと見なし削除することが
妥当である。
る階層型ニューラルネットワークをパターン認識に用い
る場合、中間層ユニットは入力パターンの作る多次元ベ
クトル空間を分割する働きを担う。一つの中間層ユニッ
トは多次元ベクトル空間を二つに分割するので、複数個
の中間層ユニットがある場合は多次元ベクトル空間を細
かく分割することになる。出力層ユニットは入力パター
ンが分割された多次元ベクトル空間のどこに存在するか
を見て認識結果を出力する。このとき、多次元ベクトル
空間が適切に分割されていると階層型ニューラルネット
ワークの汎化能力は高くなり、優れた認識能力を持つこ
とができる。反対に、必要以上に多くの中間層ユニット
があり、そのために細かく多次元ベクトル空間が分割さ
れている場合、ユニット数は適切であるが分割が適切で
ない場合は汎化能力は低くなる。上記学習手順では、中
間層ユニットの出力信号の符号を反転したとき、その影
響が出力層出力の誤差に現われるか否かによって、中間
層ユニットの貢献の程度を決めている。誤差が減少する
場合、選択した中間層ユニットの符号が反転するように
結合荷重を更新することは、多次元ベクトル空間の分割
が適切になるように修正することであり、結合荷重更新
後の中間層ユニットはネットワークの行うパターン認識
に貢献すると考えることができる。誤差が増加する場
合、選択した中間層ユニットは現状の方がネットワーク
の行うパターン認識に貢献している可能性があると考え
ることができる。これらに反して、１サイクルの学習で
１度も誤差の増減の無い中間層ユニットは、ネットワー
クの行うパターン認識に貢献していないか貢献の程度が
非常に低いと考えることができる。この発明の学習で
は、誤差が減少しない場合は結合荷重の更新を行わない
方針であるから、このように誤差の増減しない中間層ユ
ニットは多次元ベクトル空間の分割の最適化を受けるこ
ともないので、貢献していないと見なし削除することが
妥当である。
【００１５】
【実施例】図１にこの発明の実施例を示し、図５と対応
するステップには同一記号を付けてある。この発明では
中間層ユニットテーブルを用意し、その各ユニットに対
し、１ビットを割り当て、これを“１”にしてフラグを
立てることができるようにされる。図５と異なる部分に
ついてのみ説明する。ステップＳ2 では中間層ユニット
テーブルの各ビットをゼロとしてフラグを消して初期化
する。ステップＳ12でＥ＞Ｅ′と判定されると、選択し
た中間層ソニットについて中間層ユニットテーブルにフ
ラグを立て（Ｓ23）、ステップＳ13に移り、Ｅ＜Ｅ′の
場合も同様に選択した中間層ユニットについて中間層ユ
ニットテーブルにフラグを立て（Ｓ24）、ステップＳ14
に移る。Ｅ＝Ｅ′の場合はフラグを立てない。
するステップには同一記号を付けてある。この発明では
中間層ユニットテーブルを用意し、その各ユニットに対
し、１ビットを割り当て、これを“１”にしてフラグを
立てることができるようにされる。図５と異なる部分に
ついてのみ説明する。ステップＳ2 では中間層ユニット
テーブルの各ビットをゼロとしてフラグを消して初期化
する。ステップＳ12でＥ＞Ｅ′と判定されると、選択し
た中間層ソニットについて中間層ユニットテーブルにフ
ラグを立て（Ｓ23）、ステップＳ13に移り、Ｅ＜Ｅ′の
場合も同様に選択した中間層ユニットについて中間層ユ
ニットテーブルにフラグを立て（Ｓ24）、ステップＳ14
に移る。Ｅ＝Ｅ′の場合はフラグを立てない。
【００１６】ステップＳ21において学習セット提示回数
が学習セット数と一致し、すべての学習セットについて
学習を終了すると、つまり１サイクルの学習が終了する
と、中間層ユニットテーブルの各ビットがすべて１かを
チェックし（Ｓ25）、すべて１でない場合は０ビット、
つまりフラグが立っていない中間層ユニットを中間層ユ
ニットテーブルから探し、その中間層ユニットを非貢献
中間層ユニットとして削除して（Ｓ20）、ステップＳ22
に移り、中間層ユニットテーブルの各ビットがすべて１
の場合は直ちにステップＳ22に移る。
が学習セット数と一致し、すべての学習セットについて
学習を終了すると、つまり１サイクルの学習が終了する
と、中間層ユニットテーブルの各ビットがすべて１かを
チェックし（Ｓ25）、すべて１でない場合は０ビット、
つまりフラグが立っていない中間層ユニットを中間層ユ
ニットテーブルから探し、その中間層ユニットを非貢献
中間層ユニットとして削除して（Ｓ20）、ステップＳ22
に移り、中間層ユニットテーブルの各ビットがすべて１
の場合は直ちにステップＳ22に移る。
【００１７】非貢献中間層ユニットの削除は例えば図２
に示すようにして行う。中間層ユニットテーブルからそ
の１つの中間層ユニットｍを読み出し、これが１か否か
をチェックし（Ｓ31）、これが１でなければ、つまりフ
ラグが立っていなければ、その中間層ユニットｍと各入
力信号との各中間層ユニットの結合荷重Ｗｍ（ｉ．ｊ）
（Ｗについての上添字ｍｉｄは省略した）をゼロとする
（Ｓ32）、次にこの中間層ユニットｍと各出力層ユニッ
トとの各結合荷重Ｗn （ｍ）（Ｗについての上添字ｏｕ
ｔは省略した）をゼロとする（Ｓ33）。このように１で
ない、つまりフラグが立っていない各中間層ユニットに
ついての上記ステップＳ31〜Ｓ33を実行して非貢献中間
層ユニットを削除する。
に示すようにして行う。中間層ユニットテーブルからそ
の１つの中間層ユニットｍを読み出し、これが１か否か
をチェックし（Ｓ31）、これが１でなければ、つまりフ
ラグが立っていなければ、その中間層ユニットｍと各入
力信号との各中間層ユニットの結合荷重Ｗｍ（ｉ．ｊ）
（Ｗについての上添字ｍｉｄは省略した）をゼロとする
（Ｓ32）、次にこの中間層ユニットｍと各出力層ユニッ
トとの各結合荷重Ｗn （ｍ）（Ｗについての上添字ｏｕ
ｔは省略した）をゼロとする（Ｓ33）。このように１で
ない、つまりフラグが立っていない各中間層ユニットに
ついての上記ステップＳ31〜Ｓ33を実行して非貢献中間
層ユニットを削除する。
【００１８】上述では非貢献中間層ユニットを削除する
ために、対応する結合荷重をゼロとしたが、結合荷重メ
モリ中の結合荷重をゼロとする部分を詰めて除去しても
よい。この場合は学習の途中でその詰め処理を１サイク
ルの学習ごとに行うと中間層と出力層との関係が異って
くるから、この関係を学習アルゴリズムで補正する必要
がある。しかし前述のように結合荷重をゼロとして削除
する場合は学習アルゴリズムを途中で修正する必要がな
い点で処理が簡単となる。
ために、対応する結合荷重をゼロとしたが、結合荷重メ
モリ中の結合荷重をゼロとする部分を詰めて除去しても
よい。この場合は学習の途中でその詰め処理を１サイク
ルの学習ごとに行うと中間層と出力層との関係が異って
くるから、この関係を学習アルゴリズムで補正する必要
がある。しかし前述のように結合荷重をゼロとして削除
する場合は学習アルゴリズムを途中で修正する必要がな
い点で処理が簡単となる。
【００１９】階層型ニューラルネットワークはパターン
認識装置に適用する場合に限らず、電子計算機上で学習
を行い、学習後の結合荷重をＲＯＭにコピーして、その
ＲＯＭを他の装置に利用することもできる。
認識装置に適用する場合に限らず、電子計算機上で学習
を行い、学習後の結合荷重をＲＯＭにコピーして、その
ＲＯＭを他の装置に利用することもできる。
【００２０】
【発明の効果】以上述べたようにこの発明によれば学習
途中で非貢献中間ユニットを削除するため、その学習に
おいても計算量が少なくなり、学習時間が短縮される。
また適切な個数の中間層ユニットをもつ階層型ニューラ
ルネットワークが構成され、汎化能力の高い階層型ニュ
ーラルネットワークを得ることができる。
途中で非貢献中間ユニットを削除するため、その学習に
おいても計算量が少なくなり、学習時間が短縮される。
また適切な個数の中間層ユニットをもつ階層型ニューラ
ルネットワークが構成され、汎化能力の高い階層型ニュ
ーラルネットワークを得ることができる。
【図１】この発明の実施例を示す流れ図。
【図２】図１中の非貢献中間層ユニットの削除ステップ
Ｓ26の具体例を示す流れ図。
Ｓ26の具体例を示す流れ図。
【図３】階層型ニューラルネットワークを示すブロック
図。
図。
【図４】ニューロンモデル（ユニット）の例を示すブロ
ック図。
ック図。
【図５】将来の学習方法を示す流れ図。
【図６】中間層出力の計算を示す流れ図。
【図７】出力層出力の計算を示す流れ図。
【図８】誤差の計算を示す流れ図。
【図９】試行パターンの生成を示す流れ図。
【図１０】中間層ユニットの結合荷重の更新処理を示す
流れ図。
流れ図。
【図１１】出力層ユニットの結合荷重の更新処理を示す
流れ図。
流れ図。
【手続補正書】
【提出日】平成４年８月２８日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正内容】
【０００４】図３の各ユニットの出力関数としてシグナ
ム関数を用いる階層型ニューラルネットワークの学習法
として、つまり、例えば入力画像を入力すると、そのパ
ターンに応じた出力端子に出力が得られ、画像の分類を
可能とするための各結合荷重の決定を行う方法として、
ＭＲII法を図５を参照して説明する。中間層１２のユニ
ット１７として適当な数、例えば学習のために用意した
信号の個数だけ用意しておき、全ユニット１７，１６の
結合荷重に小数をランダムに与えて初期化する
（Ｓ1 ）。次にトータルエラーをゼロ、学習セット提示
回数を０に初期化し（Ｓ2 ）、用意した学習セット（学
習に用いる入力信号Ｘと教師信号Ｄとの組）のうちの１
組をニューラルネットワークに提示し、つまり入力信号
Ｘをニューラルネットワークに入力する（Ｓ3 ）。その
入力信号に対し中間層１２の出力を計算し、更に出力層
１３の出力を計算して出力信号Ｑを得る（Ｓ4 ）。
ム関数を用いる階層型ニューラルネットワークの学習法
として、つまり、例えば入力画像を入力すると、そのパ
ターンに応じた出力端子に出力が得られ、画像の分類を
可能とするための各結合荷重の決定を行う方法として、
ＭＲII法を図５を参照して説明する。中間層１２のユニ
ット１７として適当な数、例えば学習のために用意した
信号の個数だけ用意しておき、全ユニット１７，１６の
結合荷重に小数をランダムに与えて初期化する
（Ｓ1 ）。次にトータルエラーをゼロ、学習セット提示
回数を０に初期化し（Ｓ2 ）、用意した学習セット（学
習に用いる入力信号Ｘと教師信号Ｄとの組）のうちの１
組をニューラルネットワークに提示し、つまり入力信号
Ｘをニューラルネットワークに入力する（Ｓ3 ）。その
入力信号に対し中間層１２の出力を計算し、更に出力層
１３の出力を計算して出力信号Ｑを得る（Ｓ4 ）。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正内容】
【０００５】その出力信号Ｑと教師信号Ｄとの誤差Ｅを
求め（Ｓ5 ）、その誤差Ｅをトータルエラーに加算して
それを新たなトータルエラーとする（Ｓ6 ）。次に試行
回数を０に初期化し（Ｓ7 ）、中間層ユニット１７の内
部状態値ｙが試行回数＋１番目にゼロに近い中間層ユニ
ットを選択し、つまり内部状態値ｙの絶対値が試行回数
＋１番目に小さい中間層ユニットを選択する（Ｓ8 ）。
求め（Ｓ5 ）、その誤差Ｅをトータルエラーに加算して
それを新たなトータルエラーとする（Ｓ6 ）。次に試行
回数を０に初期化し（Ｓ7 ）、中間層ユニット１７の内
部状態値ｙが試行回数＋１番目にゼロに近い中間層ユニ
ットを選択し、つまり内部状態値ｙの絶対値が試行回数
＋１番目に小さい中間層ユニットを選択する（Ｓ8 ）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正内容】
【０００６】その選択した中間層ユニットの二値出力ｑ
の符号を反転し、新しく中間層の出力信号を作る（以下
これを試行パターンと記す）（Ｓ9 ）。その試行パター
ンを出力層１３に入力し、演算して出力信号Ｑ′を求め
（Ｓ10）、その出力信号Ｑ′と教師信号Ｄとの誤差Ｅ′
を求める（Ｓ11）。この誤差信号Ｅ′とステップＳ5 で
得た誤差信号Ｅとを比較し（Ｓ12）、Ｅ＞Ｅ′の場合は
選択した中間層ユニットの結合荷重を、実際にそのユニ
ットの出力の符号が反転するようにＬＭＳアルゴリズム
によって更新する（Ｓ13）。つまり現在の結合荷重をＷ
ｋ，更新後のそれをＷk+1 、学習係数をα、教師信号を
ｄ（符号反転後の二値出力）とするとＷ k+1 ＝Ｗk ＋α
εＸ／｜Ｘ｜2 ，ε＝ｄ−ＸT Ｗk を演算する。Ｅ≦
Ｅ′の場合は試行パターン中の反転した符号を元に戻
し、結合荷重の更新は行わない（Ｓ14）。
の符号を反転し、新しく中間層の出力信号を作る（以下
これを試行パターンと記す）（Ｓ9 ）。その試行パター
ンを出力層１３に入力し、演算して出力信号Ｑ′を求め
（Ｓ10）、その出力信号Ｑ′と教師信号Ｄとの誤差Ｅ′
を求める（Ｓ11）。この誤差信号Ｅ′とステップＳ5 で
得た誤差信号Ｅとを比較し（Ｓ12）、Ｅ＞Ｅ′の場合は
選択した中間層ユニットの結合荷重を、実際にそのユニ
ットの出力の符号が反転するようにＬＭＳアルゴリズム
によって更新する（Ｓ13）。つまり現在の結合荷重をＷ
ｋ，更新後のそれをＷk+1 、学習係数をα、教師信号を
ｄ（符号反転後の二値出力）とするとＷ k+1 ＝Ｗk ＋α
εＸ／｜Ｘ｜2 ，ε＝ｄ−ＸT Ｗk を演算する。Ｅ≦
Ｅ′の場合は試行パターン中の反転した符号を元に戻
し、結合荷重の更新は行わない（Ｓ14）。
Claims (1)
- 【請求項１】 出力関数としてシグナム関数を用いるユ
ニットによって構成された階層型ニューラルネットワー
クの学習方法であって、 ａ．その中間層及び出力層の全ユニットの結合荷重に適
当な小数を与え、 ｂ．用意した学習セット（入力信号と教師信号との組）
の入力信号を上記ニューラルネットワークに入力し、 ｃ．その時の出力信号と上記教師信号との誤差Ｅを求
め、 ｄ．中間層ユニットの中からその内部状態値がゼロに近
い順に選択してその選択したユニットの二値出力の符号
を反転して新しく中間層の出力信号（試行パターンと記
す）を作り、 ｅ．その試行パターンを出力層に入力して出力信号を求
め、この出力信号と教師信号との誤差Ｅ′を求め、 ｆ．その誤差Ｅ′と上記誤差Ｅとを比較し、Ｅ＞Ｅ′の
時は選択した中間層ユニットの結合荷重を実際にその二
値出力の符号が反転するように更新し、 ｇ．Ｅ≦Ｅ′の時は上記試行パターンの反転した符号を
元に戻し、 ｈ．すべての中間層ユニットについて上記ｄ〜ｇを繰返
し、 ｉ．その後、上記入力信号を再び入力して出力信号を求
め、その出力信号と上記教師との誤差を求め、 ｊ．その誤差がゼロでない時は、出力層ユニットの結合
荷重を更新し、 ｋ．他の各学習セットについて上記ｂ〜ｊを実行し、 ｌ．その後、各学習セットごとに得られた上記ｉの誤差
合計（トータルエラー）がゼロか否かを判断し、 ｍ．ゼロでない場合は上記ｂ〜ｌを繰返し、ゼロの場合
で終了する。 階層型ニューラルネットワークの学習方法において、 上記ｋにおいてすべての学習セットについての実行を終
了した時に、その実行において、常にＥ＝Ｅ′であった
中間層ユニットを削除することを特徴とする階層型ニュ
ーラルネットワークの学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03257511A JP3114276B2 (ja) | 1991-10-04 | 1991-10-04 | 階層型ニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03257511A JP3114276B2 (ja) | 1991-10-04 | 1991-10-04 | 階層型ニューラルネットワークの学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05101209A true JPH05101209A (ja) | 1993-04-23 |
| JP3114276B2 JP3114276B2 (ja) | 2000-12-04 |
Family
ID=17307319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03257511A Expired - Fee Related JP3114276B2 (ja) | 1991-10-04 | 1991-10-04 | 階層型ニューラルネットワークの学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3114276B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018109947A (ja) * | 2016-12-30 | 2018-07-12 | 富士通株式会社 | ニューラルネットワークの処理速度を向上させるための装置及び方法、並びにその応用 |
| CN110059799A (zh) * | 2018-01-19 | 2019-07-26 | 国际商业机器公司 | 包含中间层背景的神经网络的生成 |
| JP2020107144A (ja) * | 2018-12-27 | 2020-07-09 | ブラザー工業株式会社 | サーバ装置、システム、および、学習済モデル |
| WO2021130997A1 (ja) * | 2019-12-26 | 2021-07-01 | 日本電気株式会社 | モデル圧縮装置、学習システム、モデル圧縮方法、プログラム記録媒体 |
| JP2022036604A (ja) * | 2020-08-24 | 2022-03-08 | アシオット株式会社 | 情報処理装置、及びプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6287888B1 (en) | 1997-12-26 | 2001-09-11 | Semiconductor Energy Laboratory Co., Ltd. | Photoelectric conversion device and process for producing photoelectric conversion device |
-
1991
- 1991-10-04 JP JP03257511A patent/JP3114276B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018109947A (ja) * | 2016-12-30 | 2018-07-12 | 富士通株式会社 | ニューラルネットワークの処理速度を向上させるための装置及び方法、並びにその応用 |
| CN110059799A (zh) * | 2018-01-19 | 2019-07-26 | 国际商业机器公司 | 包含中间层背景的神经网络的生成 |
| US12020160B2 (en) | 2018-01-19 | 2024-06-25 | International Business Machines Corporation | Generation of neural network containing middle layer background |
| US12182711B2 (en) | 2018-01-19 | 2024-12-31 | International Business Machines Corporation | Generation of neural network containing middle layer background |
| JP2020107144A (ja) * | 2018-12-27 | 2020-07-09 | ブラザー工業株式会社 | サーバ装置、システム、および、学習済モデル |
| WO2021130997A1 (ja) * | 2019-12-26 | 2021-07-01 | 日本電気株式会社 | モデル圧縮装置、学習システム、モデル圧縮方法、プログラム記録媒体 |
| JPWO2021130997A1 (ja) * | 2019-12-26 | 2021-07-01 | ||
| JP2022036604A (ja) * | 2020-08-24 | 2022-03-08 | アシオット株式会社 | 情報処理装置、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3114276B2 (ja) | 2000-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Function approximation using fuzzy neural networks with robust learning algorithm | |
| JP3328935B2 (ja) | 並列多値ニューラルネットワーク | |
| CN116186390A (zh) | 一种融合超图的对比学习会话推荐方法 | |
| Gardner et al. | Training with noise and the storage of correlated patterns in a neural network model | |
| JPH05101209A (ja) | 階層型ニユーラルネツトワークの学習方法 | |
| JP3229624B2 (ja) | 多層神経回路網及びその回路設計方法 | |
| JP3247803B2 (ja) | ファジィ・ニューラルネットワーク・システム | |
| JP2825939B2 (ja) | ニューラルネットワーク学習装置 | |
| Buchholz et al. | Clifford algebra multilayer perceptrons | |
| JPH06111038A (ja) | ニューラル・ネットワーク及びその操作方法 | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| JPH10320369A (ja) | 二値システムの学習方法 | |
| JP6926045B2 (ja) | ニューラルネットワーク、学習装置、学習方法、およびプログラム | |
| CN118886498A (zh) | 一种市场失信信息知识图谱归纳推理嵌入方法 | |
| JPH04255994A (ja) | 多層神経回路網及びその回路設計方法 | |
| JPH11120158A (ja) | 階層型ニューラルネットワークの学習方法 | |
| Bastian et al. | A simplified natural gradient learning algorithm | |
| JP2877413B2 (ja) | 余剰ニューロン決定処理方式 | |
| JP3412700B2 (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| Setiono et al. | Some n-bit parity problems are solvable by feedforward networks with less than n hidden units | |
| Rios et al. | Image compression with a dynamic autoassociative neural network | |
| JPH0635889A (ja) | ニューラルネットワーク装置及びその学習方法 | |
| Krishnapuram et al. | Determination of the structure of uncertainty management networks | |
| JP3180334B2 (ja) | 情報処理装置 | |
| JPH0421060A (ja) | ニューラルネットワークにおける結合のグループ単位逐次学習方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000822 |
|
| LAPS | Cancellation because of no payment of annual fees |