JPH0981535A - ニューラルネットワークの学習方法 - Google Patents
ニューラルネットワークの学習方法Info
- Publication number
- JPH0981535A JPH0981535A JP7231877A JP23187795A JPH0981535A JP H0981535 A JPH0981535 A JP H0981535A JP 7231877 A JP7231877 A JP 7231877A JP 23187795 A JP23187795 A JP 23187795A JP H0981535 A JPH0981535 A JP H0981535A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- learning
- coupling coefficient
- differential value
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 従来のニューラルネットワーク（以後Ｎ．
Ｎ）の学習方法では、教師信号とＮ．Ｎ出力の２乗誤差
が最小となるように結合係数を学習させるだけであっ
て、Ｎ．Ｎ出力の微分値の精度に対してはなんら保証し
ていないため、Ｎ．Ｎ出力が教師信号に対して振動的に
なるという問題点を有していた。 【解決手段】 Ｎ．Ｎを入力パラメータで全微分して得
られる線形近似式に入力データの差分値を入力してＮ．
Ｎ出力の微分値を求める微分値算出手段２と、Ｎ．Ｎの
出力と教師信号との２乗誤差と微分値算出手段２から得
られる微分値と教師信号の差分値の２乗誤差の和からバ
ックプロパゲーション法によりＮ．Ｎの結合係数を求め
る結合係数更新手段３を有し、Ｎ．Ｎの演算、前記微分
値の演算、前記２乗誤差和の演算およびＮ．Ｎの結合係
数の演算を順に繰り返し、前記２乗誤差和が学習終了誤
差以下となるＮ．Ｎの結合係数を求める。
Ｎ）の学習方法では、教師信号とＮ．Ｎ出力の２乗誤差
が最小となるように結合係数を学習させるだけであっ
て、Ｎ．Ｎ出力の微分値の精度に対してはなんら保証し
ていないため、Ｎ．Ｎ出力が教師信号に対して振動的に
なるという問題点を有していた。 【解決手段】 Ｎ．Ｎを入力パラメータで全微分して得
られる線形近似式に入力データの差分値を入力してＮ．
Ｎ出力の微分値を求める微分値算出手段２と、Ｎ．Ｎの
出力と教師信号との２乗誤差と微分値算出手段２から得
られる微分値と教師信号の差分値の２乗誤差の和からバ
ックプロパゲーション法によりＮ．Ｎの結合係数を求め
る結合係数更新手段３を有し、Ｎ．Ｎの演算、前記微分
値の演算、前記２乗誤差和の演算およびＮ．Ｎの結合係
数の演算を順に繰り返し、前記２乗誤差和が学習終了誤
差以下となるＮ．Ｎの結合係数を求める。
Description
【０００１】
【発明の属する技術分野】本発明は、ニューラルネット
ワーク（以下、Ｎ．Ｎと略す）の学習方法に関するもの
で、特に非線形でパラメータが未知な対象の特性をその
対象の入出力データから学習するために使用されるもの
である。
ワーク（以下、Ｎ．Ｎと略す）の学習方法に関するもの
で、特に非線形でパラメータが未知な対象の特性をその
対象の入出力データから学習するために使用されるもの
である。
【０００２】
【従来の技術】以下、図面を参照しながら、従来のＮ．
Ｎの学習方法について説明する。図９はＮ．Ｎの学習の
基本構成図である。図９において、91は正規化された学
習データが入力され、Ｎ．Ｎの演算を行い、Ｎ．Ｎ出力
を算出するＮ．Ｎ演算手段であり、結合係数更新手段92
によりその結合係数が更新される。
Ｎの学習方法について説明する。図９はＮ．Ｎの学習の
基本構成図である。図９において、91は正規化された学
習データが入力され、Ｎ．Ｎの演算を行い、Ｎ．Ｎ出力
を算出するＮ．Ｎ演算手段であり、結合係数更新手段92
によりその結合係数が更新される。
【０００３】図10はＮ．Ｎ演算手段91により演算される
Ｎ．Ｎの説明図である。Ｎ．Ｎは図10に示すように、ｍ
入力ｐ出力の３層ニューラルネットワークであり、中間
層素子数ｎで、中間層の出力関数はシグモイド型関数、
入出力層の出力関数は線形関数である。
Ｎ．Ｎの説明図である。Ｎ．Ｎは図10に示すように、ｍ
入力ｐ出力の３層ニューラルネットワークであり、中間
層素子数ｎで、中間層の出力関数はシグモイド型関数、
入出力層の出力関数は線形関数である。
【０００４】Ｎ．Ｎが図10に示す３層ニューラルネット
ワークであるとしてＮ．Ｎ演算手段91によるＮ．Ｎの演
算を説明する。Ｎ．Ｎ演算手段91への入力をＸ１、Ｘ
２、Ｘ３、・・・、Ｘｍとしている。
ワークであるとしてＮ．Ｎ演算手段91によるＮ．Ｎの演
算を説明する。Ｎ．Ｎ演算手段91への入力をＸ１、Ｘ
２、Ｘ３、・・・、Ｘｍとしている。
【０００５】まず、中間層のｊ番目の素子への入力Ｕｊ
を、閾値をθｗｊ、ｉ番目の入力層素子からｊ番目の中
間層素子への結合係数Ｗｉｊとして、式（１）により算
出する。
を、閾値をθｗｊ、ｉ番目の入力層素子からｊ番目の中
間層素子への結合係数Ｗｉｊとして、式（１）により算
出する。
【０００６】
【数１】
【０００７】ここで、Ｗ０ｊ＝θｗｊ、Ｘ０＝１として
いる。次に中間層のｊ番目の素子の出力Ｈｊを、式
（２）により算出する。
いる。次に中間層のｊ番目の素子の出力Ｈｊを、式
（２）により算出する。
【０００８】
【数２】
【０００９】式（２）におけるｆ（Ｕｊ）は、式（３）
に示すシグモイド型関数である。
に示すシグモイド型関数である。
【００１０】
【数３】
【００１１】次に出力層のｋ番目の素子への入力Ｏｋ
を、閾値をθｖｋ、ｊ番目の中間層素子からｋ番目の出
力層素子への結合係数Ｖｊｋとして、式（４）により算
出する。
を、閾値をθｖｋ、ｊ番目の中間層素子からｋ番目の出
力層素子への結合係数Ｖｊｋとして、式（４）により算
出する。
【００１２】
【数４】
【００１３】ここで、Ｖ０ｋ＝θｖｋ、Ｈ０＝１として
いる。次に出力層のｋ番目の素子の出力Ｙｋを、式
（５）により算出し、Ｎ．Ｎ出力が求められる。
いる。次に出力層のｋ番目の素子の出力Ｙｋを、式
（５）により算出し、Ｎ．Ｎ出力が求められる。
【００１４】
【数５】
【００１５】次に前記結合係数更新手段92による結合係
数更新の演算を説明する。まず、Ｎ．Ｎ演算手段91の出
力Ｙと教師信号ｄとの２乗誤差Ｅを式（６）により算出
する。
数更新の演算を説明する。まず、Ｎ．Ｎ演算手段91の出
力Ｙと教師信号ｄとの２乗誤差Ｅを式（６）により算出
する。
【００１６】
【数６】
【００１７】次に算出した２乗誤差Ｅを誤差関数とし
て、バックプロパゲーション法によりＮ．Ｎ演算手段91
の結合係数Ｗｉｊ，Ｖｊｋを算出する。すなわち、ｉ番
目に入力層素子からｊ番目の中間層素子への結合係数Ｗ
ｉｊは、式（７）式（８）により算出されて更新され
る。
て、バックプロパゲーション法によりＮ．Ｎ演算手段91
の結合係数Ｗｉｊ，Ｖｊｋを算出する。すなわち、ｉ番
目に入力層素子からｊ番目の中間層素子への結合係数Ｗ
ｉｊは、式（７）式（８）により算出されて更新され
る。
【００１８】
【数７】
【００１９】
【数８】
【００２０】またｊ番目の中間層素子から、ｋ番目の出
力層素子への結合係数Ｖｊｋは、式（９）式（１０）に
より算出されて更新される。
力層素子への結合係数Ｖｊｋは、式（９）式（１０）に
より算出されて更新される。
【００２１】
【数９】
【００２２】
【数１０】
【００２３】上記式（７）、式（９）のμは学習係数で
あり、通常、学習開始時に設定しておく。そして、前記
Ｎ．Ｎ演算手段91によるＮ．Ｎの演算、前記結合係数更
新手段92による前記２乗誤差Ｅの演算およびＮ．Ｎ演算
手段91の結合係数Ｗｉｊ，Ｖｊｋの更新を順に繰り返
し、２乗誤差Ｅが最少となるように結合係数Ｗｉｊ，Ｖ
ｊｋを学習させている。
あり、通常、学習開始時に設定しておく。そして、前記
Ｎ．Ｎ演算手段91によるＮ．Ｎの演算、前記結合係数更
新手段92による前記２乗誤差Ｅの演算およびＮ．Ｎ演算
手段91の結合係数Ｗｉｊ，Ｖｊｋの更新を順に繰り返
し、２乗誤差Ｅが最少となるように結合係数Ｗｉｊ，Ｖ
ｊｋを学習させている。
【００２４】以上のようなバックプロパゲーション法に
よる学習方法は、たとえば、特開平２−２０１６０７号
公報などに記載されている。
よる学習方法は、たとえば、特開平２−２０１６０７号
公報などに記載されている。
【００２５】
【発明が解決しようとする課題】しかしながら上記に示
すような従来の方法では、教師信号ｄとＮ．Ｎ出力Ｙの
２乗誤差Ｅが最小となるようにＮ．Ｎ演算手段91の結合
係数Ｗｉｊ，Ｖｊｋを学習させるだけであって、Ｎ．Ｎ
出力Ｙの微分値の精度に対してはなんら保証していない
ため、Ｎ．Ｎ出力Ｙが教師信号ｄに対して振動的になる
という問題点を有していた。
すような従来の方法では、教師信号ｄとＮ．Ｎ出力Ｙの
２乗誤差Ｅが最小となるようにＮ．Ｎ演算手段91の結合
係数Ｗｉｊ，Ｖｊｋを学習させるだけであって、Ｎ．Ｎ
出力Ｙの微分値の精度に対してはなんら保証していない
ため、Ｎ．Ｎ出力Ｙが教師信号ｄに対して振動的になる
という問題点を有していた。
【００２６】また、バックプロパゲーション法で算出さ
れる結合係数の更新量は、入力の大きさに依存するた
め、入力が小さいと学習誤差が大きくても結合係数の更
新量は、小さくなってしまうという問題点を有してい
た。
れる結合係数の更新量は、入力の大きさに依存するた
め、入力が小さいと学習誤差が大きくても結合係数の更
新量は、小さくなってしまうという問題点を有してい
た。
【００２７】そこで本発明は、微分値を精度よく用いて
振動を防ぎ、従来より高速で精度の良いニューラルネッ
トワークの学習方法を提供することを目的とするもので
ある。
振動を防ぎ、従来より高速で精度の良いニューラルネッ
トワークの学習方法を提供することを目的とするもので
ある。
【００２８】
【課題を解決するための手段】前述した目的を達成する
ために、本発明のうち請求項１記載の発明のニューラル
ネットワークの学習方法は、学習対象の入力を学習デー
タとして前記ニューラルネットワークの演算を行うニュ
ーラルネットワーク演算手段と、前記ニューラルネット
ワーク演算手段のニューラルネットワークを、前記学習
データを入力パラメータとする非線形関数で表し、非線
形関数を入力パラメータで全微分して得られる線形近似
式に、学習データの差分値を入力して微分値を求める微
分値算出手段と、前記ニューラルネットワーク演算手段
の出力と教師信号との２乗誤差と前記微分値算出手段か
ら得られる微分値と教師信号の差分値の２乗誤差の和か
らバックプロパゲーション法によりニューラルネットワ
ークの結合係数を求める結合係数更新手段とを有し、前
記ニューラルネットワーク演算手段によるニューラルネ
ットワークの演算、前記微分値算出手段による前記微分
値の演算、前記結合係数更新手段による前記２乗誤差和
の演算およびニューラルネットワークの結合係数の演算
を順に繰り返し、前記２乗誤差和が学習終了誤差以下と
なるニューラルネットワークの結合係数を求めることを
特徴とするものである。
ために、本発明のうち請求項１記載の発明のニューラル
ネットワークの学習方法は、学習対象の入力を学習デー
タとして前記ニューラルネットワークの演算を行うニュ
ーラルネットワーク演算手段と、前記ニューラルネット
ワーク演算手段のニューラルネットワークを、前記学習
データを入力パラメータとする非線形関数で表し、非線
形関数を入力パラメータで全微分して得られる線形近似
式に、学習データの差分値を入力して微分値を求める微
分値算出手段と、前記ニューラルネットワーク演算手段
の出力と教師信号との２乗誤差と前記微分値算出手段か
ら得られる微分値と教師信号の差分値の２乗誤差の和か
らバックプロパゲーション法によりニューラルネットワ
ークの結合係数を求める結合係数更新手段とを有し、前
記ニューラルネットワーク演算手段によるニューラルネ
ットワークの演算、前記微分値算出手段による前記微分
値の演算、前記結合係数更新手段による前記２乗誤差和
の演算およびニューラルネットワークの結合係数の演算
を順に繰り返し、前記２乗誤差和が学習終了誤差以下と
なるニューラルネットワークの結合係数を求めることを
特徴とするものである。
【００２９】上記方法によって、ニューラルネットワー
クの演算出力だけではなく、その微分値の挙動も考慮し
たニューラルネットの学習をすることができるため、従
来より高精度なニューラルネットワークの学習を行うこ
とができ、ニューラルネットワークの出力のみならず、
その微分値も精度良く用いることができる。
クの演算出力だけではなく、その微分値の挙動も考慮し
たニューラルネットの学習をすることができるため、従
来より高精度なニューラルネットワークの学習を行うこ
とができ、ニューラルネットワークの出力のみならず、
その微分値も精度良く用いることができる。
【００３０】また請求項２記載の発明のニューラルネッ
トワークの学習方法は、学習対象の入力を学習データと
してニューラルネットワークの演算を行うニューラルネ
ットワーク演算手段と、前記ニューラルネットワーク演
算手段のニューラルネットワークを、前記学習データを
入力パラメータとする非線形関数で表し、非線形関数を
入力パラメータで全微分して得られる線形近似式に、学
習データの差分値を入力して微分値を求める微分値算出
手段と、前記ニューラルネットワーク演算手段の出力と
教師信号との２乗誤差と前記微分値算出手段から得られ
る微分値と教師信号の差分値の２乗誤差の大きさに応じ
て２乗誤差和の重み係数を求める重みづけ係数変更手段
と、前記ニューラルネットワーク演算手段の出力と教師
信号との２乗誤差と前記微分値算出手段から得られる微
分値と教師信号の差分値の２乗誤差を前記重みづけ係数
変更手段から得られる重み係数により重みづけを行って
その和を求め、この２乗誤差和からバックプロパゲーシ
ョン法によりニューラルネットワークの結合係数を求め
る結合係数更新手段とを有し、前記ニューラルネットワ
ーク演算手段によるニューラルネットワークの演算、前
記微分値算出手段による前記微分値の演算、前記重みづ
け係数変更手段による前記重み係数の演算、前記結合係
数更新手段による前記２乗誤差和の演算およびニューラ
ルネットワークの結合係数の演算を順に繰り返し、前記
２乗誤差和が学習終了誤差以下となるニューラルネット
ワークの結合係数を求めることを特徴とするものであ
る。
トワークの学習方法は、学習対象の入力を学習データと
してニューラルネットワークの演算を行うニューラルネ
ットワーク演算手段と、前記ニューラルネットワーク演
算手段のニューラルネットワークを、前記学習データを
入力パラメータとする非線形関数で表し、非線形関数を
入力パラメータで全微分して得られる線形近似式に、学
習データの差分値を入力して微分値を求める微分値算出
手段と、前記ニューラルネットワーク演算手段の出力と
教師信号との２乗誤差と前記微分値算出手段から得られ
る微分値と教師信号の差分値の２乗誤差の大きさに応じ
て２乗誤差和の重み係数を求める重みづけ係数変更手段
と、前記ニューラルネットワーク演算手段の出力と教師
信号との２乗誤差と前記微分値算出手段から得られる微
分値と教師信号の差分値の２乗誤差を前記重みづけ係数
変更手段から得られる重み係数により重みづけを行って
その和を求め、この２乗誤差和からバックプロパゲーシ
ョン法によりニューラルネットワークの結合係数を求め
る結合係数更新手段とを有し、前記ニューラルネットワ
ーク演算手段によるニューラルネットワークの演算、前
記微分値算出手段による前記微分値の演算、前記重みづ
け係数変更手段による前記重み係数の演算、前記結合係
数更新手段による前記２乗誤差和の演算およびニューラ
ルネットワークの結合係数の演算を順に繰り返し、前記
２乗誤差和が学習終了誤差以下となるニューラルネット
ワークの結合係数を求めることを特徴とするものであ
る。
【００３１】上記方法によって、ニューラルネットワー
クの演算出力だけではなく、その微分値の挙動も考慮し
たニューラルネットの学習をすることができるため、さ
らにニューラルネットワーク出力の２乗誤差とニューラ
ルネットワーク出力の微分値の２乗誤差の和の重みづけ
を学習状態によって変更することにより、従来より高速
に、なおかつ高精度なニューラルネットワークの学習を
行うことができる。
クの演算出力だけではなく、その微分値の挙動も考慮し
たニューラルネットの学習をすることができるため、さ
らにニューラルネットワーク出力の２乗誤差とニューラ
ルネットワーク出力の微分値の２乗誤差の和の重みづけ
を学習状態によって変更することにより、従来より高速
に、なおかつ高精度なニューラルネットワークの学習を
行うことができる。
【００３２】また請求項３記載の発明のニューラルネッ
トワークの学習方法は、学習対象の入力を学習データと
してニューラルネットワークの演算を行うニューラルネ
ットワーク演算手段と、前記ニューラルネットワーク演
算手段の出力と教師信号との２乗誤差からバックプロパ
ゲーション法によりニューラルネットワークの結合係数
を求める結合係数更新手段と、前記ニューラルネットワ
ーク演算手段の入力の２乗和の大きさに応じて、前記結
合係数更新手段で結合係数更新量を算出するときに用い
る学習係数を変更する第１学習係数変更手段とを有し、
前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記結合係数更新手段による前記
２乗誤差の演算、前記第１学習係数変更手段による前記
学習係数の演算、前記結合係数更新手段によるニューラ
ルネットワークの結合係数の演算の演算を順に繰り返
し、前記２乗誤差が学習終了誤差以下となるニューラル
ネットワークの結合係数を求めることを特徴とするもの
である。
トワークの学習方法は、学習対象の入力を学習データと
してニューラルネットワークの演算を行うニューラルネ
ットワーク演算手段と、前記ニューラルネットワーク演
算手段の出力と教師信号との２乗誤差からバックプロパ
ゲーション法によりニューラルネットワークの結合係数
を求める結合係数更新手段と、前記ニューラルネットワ
ーク演算手段の入力の２乗和の大きさに応じて、前記結
合係数更新手段で結合係数更新量を算出するときに用い
る学習係数を変更する第１学習係数変更手段とを有し、
前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記結合係数更新手段による前記
２乗誤差の演算、前記第１学習係数変更手段による前記
学習係数の演算、前記結合係数更新手段によるニューラ
ルネットワークの結合係数の演算の演算を順に繰り返
し、前記２乗誤差が学習終了誤差以下となるニューラル
ネットワークの結合係数を求めることを特徴とするもの
である。
【００３３】上記方法により、入力の大きさに影響され
ずに結合係数の更新量を算出することができ、学習速度
が速く、精度良く学習することができる。さらに請求項
４記載の発明のニューラルネットワークの学習方法は、
学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、
前記ニューラルネットワーク演算手段の出力と教師信号
との２乗誤差からバックプロパゲーション法によりニュ
ーラルネットワークの結合係数を求める結合係数更新手
段と、前記ニューラルネットワーク演算手段のニューラ
ルネットワークの各層間の結合係数への入力の２乗和の
大きさに応じて、前記結合係数更新手段で結合係数更新
量を算出するときに用いる前記各層の学習係数を変更す
る第２学習係数変更手段とを有し、前記ニューラルネッ
トワーク演算手段によるニューラルネットワークの演
算、前記結合係数更新手段による前記２乗誤差の演算、
前記第２学習係数変更手段によるニューラルネットワー
クの各層の学習係数の演算、前記結合係数更新手段によ
るニューラルネットワークの結合係数の演算を順に繰り
返し、前記２乗誤差が学習終了誤差以下となるニューラ
ルネットワークの結合係数を求めることを特徴とするも
のである。
ずに結合係数の更新量を算出することができ、学習速度
が速く、精度良く学習することができる。さらに請求項
４記載の発明のニューラルネットワークの学習方法は、
学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、
前記ニューラルネットワーク演算手段の出力と教師信号
との２乗誤差からバックプロパゲーション法によりニュ
ーラルネットワークの結合係数を求める結合係数更新手
段と、前記ニューラルネットワーク演算手段のニューラ
ルネットワークの各層間の結合係数への入力の２乗和の
大きさに応じて、前記結合係数更新手段で結合係数更新
量を算出するときに用いる前記各層の学習係数を変更す
る第２学習係数変更手段とを有し、前記ニューラルネッ
トワーク演算手段によるニューラルネットワークの演
算、前記結合係数更新手段による前記２乗誤差の演算、
前記第２学習係数変更手段によるニューラルネットワー
クの各層の学習係数の演算、前記結合係数更新手段によ
るニューラルネットワークの結合係数の演算を順に繰り
返し、前記２乗誤差が学習終了誤差以下となるニューラ
ルネットワークの結合係数を求めることを特徴とするも
のである。
【００３４】上記方法により、各層間の結合係数への入
力の２乗和の大きさに応じて、学習係数を変更すること
により、入力の大きさに影響されずに結合係数の更新量
を算出することができ、高速に、なおかつ精度良く学習
することができる。
力の２乗和の大きさに応じて、学習係数を変更すること
により、入力の大きさに影響されずに結合係数の更新量
を算出することができ、高速に、なおかつ精度良く学習
することができる。
【００３５】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。なお、従来例と同様に図10に示す
ｍ入力ｐ出力の３層ニューラルネットワークを用いて説
明する。
に基づいて説明する。なお、従来例と同様に図10に示す
ｍ入力ｐ出力の３層ニューラルネットワークを用いて説
明する。
【００３６】図１は本発明の請求項１の実施の形態を示
すニューラルネットワークの学習の基本構成図である。
図１において、１はＮ．Ｎ演算手段、２は微分値算出手
段、３は結合係数変更手段である。
すニューラルネットワークの学習の基本構成図である。
図１において、１はＮ．Ｎ演算手段、２は微分値算出手
段、３は結合係数変更手段である。
【００３７】Ｎ．Ｎ演算手段１は、従来例と同様に図10
に示すｍ入力ｐ出力の３層ニューラルネットワークの演
算を行う演算手段であり、Ｎ．Ｎ演算手段１には正規化
された学習データが入力され、Ｎ．Ｎ出力が算出され
る。
に示すｍ入力ｐ出力の３層ニューラルネットワークの演
算を行う演算手段であり、Ｎ．Ｎ演算手段１には正規化
された学習データが入力され、Ｎ．Ｎ出力が算出され
る。
【００３８】ここで、Ｎ．Ｎ演算手段１の入力パラメー
タをＸ１、Ｘ２、Ｘ３、・・・、Ｘｍと表し、Ｎ．Ｎ演
算手段１を、出力層のｋ番目の素子の出力Ｙｋを出力す
る非線形関数ｆｎｎ，ｋとして式（１１）のように表
す。
タをＸ１、Ｘ２、Ｘ３、・・・、Ｘｍと表し、Ｎ．Ｎ演
算手段１を、出力層のｋ番目の素子の出力Ｙｋを出力す
る非線形関数ｆｎｎ，ｋとして式（１１）のように表
す。
【００３９】
【数１１】
【００４０】前記微分値算出手段２は、まず前記非線形
関数ｆｎｎ，ｋを入力パラメータで全微分して得られる
線形近似式を式（１２）により求める。
関数ｆｎｎ，ｋを入力パラメータで全微分して得られる
線形近似式を式（１２）により求める。
【００４１】
【数１２】
【００４２】次に式（１２）の線形近似式に学習データ
の差分値ΔＸを入力することにより、Ｎ．Ｎ出力の微分
値ΔＹｋを求める。ここで、前記式（１２）のΔＹｋは
Ｎ．Ｎ出力の微分値、ΔＸ１、ΔＸ２、・・・、ΔＸｍ
はＮ．Ｎ入力の差分値であり、差分値の求め方は、通
常、前向き差分を用いるが、後ろ向き差分でも良い。ま
た、前記Ｎ．Ｎ演算手段１への入力パラメータのうち、
教師信号と特に相関性の高い入力パラメータ群のみで、
前記非線形関数ｆｎｎを偏微分することにより線形近似
式を求めても良い。
の差分値ΔＸを入力することにより、Ｎ．Ｎ出力の微分
値ΔＹｋを求める。ここで、前記式（１２）のΔＹｋは
Ｎ．Ｎ出力の微分値、ΔＸ１、ΔＸ２、・・・、ΔＸｍ
はＮ．Ｎ入力の差分値であり、差分値の求め方は、通
常、前向き差分を用いるが、後ろ向き差分でも良い。ま
た、前記Ｎ．Ｎ演算手段１への入力パラメータのうち、
教師信号と特に相関性の高い入力パラメータ群のみで、
前記非線形関数ｆｎｎを偏微分することにより線形近似
式を求めても良い。
【００４３】前記結合係数変更手段３は、まず前記Ｎ．
Ｎ演算手段１の出力Ｙｋと教師信号ｄｋとの誤差ｅｋ、
および前記微分値算出手段２から得られる微分値ΔＹｋ
と教師信号の差分値Δｄｋの誤差Δｅｋの２乗誤差和Ｅ
を、式（１３）により求める。
Ｎ演算手段１の出力Ｙｋと教師信号ｄｋとの誤差ｅｋ、
および前記微分値算出手段２から得られる微分値ΔＹｋ
と教師信号の差分値Δｄｋの誤差Δｅｋの２乗誤差和Ｅ
を、式（１３）により求める。
【００４４】
【数１３】
【００４５】ここで、αは重みづけ定数であり、学習開
始時に設定する。次に、２乗誤差和Ｅを誤差関数とし
て、バックプロパゲーション法によりＮ．Ｎ演算手段１
の結合係数を更新する。すなわち、ｉ番目の入力層素子
からｊ番目の中間層素子への結合係数Ｗｉｊを、前記式
（７）から求めて更新し、またｊ番目の中間層素子か
ら、ｋ番目の出力層素子への結合係数Ｖｊｋを、前記式
（９）から求めて更新する。
始時に設定する。次に、２乗誤差和Ｅを誤差関数とし
て、バックプロパゲーション法によりＮ．Ｎ演算手段１
の結合係数を更新する。すなわち、ｉ番目の入力層素子
からｊ番目の中間層素子への結合係数Ｗｉｊを、前記式
（７）から求めて更新し、またｊ番目の中間層素子か
ら、ｋ番目の出力層素子への結合係数Ｖｊｋを、前記式
（９）から求めて更新する。
【００４６】学習処理の手順を図２のフローチャートに
したがって説明する。この処理は、誤差Ｅがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔ＳＴＥＰ２１〕Ｎ．Ｎ演算手段１において従来例で示
したＮ．Ｎの演算を行う。
したがって説明する。この処理は、誤差Ｅがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔ＳＴＥＰ２１〕Ｎ．Ｎ演算手段１において従来例で示
したＮ．Ｎの演算を行う。
【００４７】まず、中間層のｊ番目の素子への入力Ｕｊ
を、閾値をθｗｊ、ｉ番目の入力層素子からｊ番目の中
間層素子への結合係数Ｗｉｊとして、前記式（１）によ
り求め、中間層のｊ番目の素子の出力Ｈｊを、前記式
（２）により求める。次に出力層のｋ番目の素子への入
力Ｏｋを、閾値をθｖｋ、ｊ番目の中間層素子からｋ番
目の出力層素子への係合係数をＶｊｋとして、前記式
（４）により求める。そして、出力層のｐ番目の素子の
出力Ｙｋを、前記式（５）により求める。 〔ＳＴＥＰ２２〕次に、Ｎ．Ｎを各入力で偏微分した係
数を式（１４）により求める。
を、閾値をθｗｊ、ｉ番目の入力層素子からｊ番目の中
間層素子への結合係数Ｗｉｊとして、前記式（１）によ
り求め、中間層のｊ番目の素子の出力Ｈｊを、前記式
（２）により求める。次に出力層のｋ番目の素子への入
力Ｏｋを、閾値をθｖｋ、ｊ番目の中間層素子からｋ番
目の出力層素子への係合係数をＶｊｋとして、前記式
（４）により求める。そして、出力層のｐ番目の素子の
出力Ｙｋを、前記式（５）により求める。 〔ＳＴＥＰ２２〕次に、Ｎ．Ｎを各入力で偏微分した係
数を式（１４）により求める。
【００４８】
【数１４】
【００４９】〔ＳＴＥＰ２３〕前記式（１２）の線形近
似式により、ニューラルネット出力の微分値ΔＹｋを求
める。 〔ＳＴＥＰ２４〕次にニューラルネット出力Ｙｋと教師
信号ｄｋとの誤差ｅｋ、およびＳＴＥＰ２３で求めた
Ｎ．Ｎ出力の微分値ΔＹｋと教師信号の差分値Δｄｋの
誤差Δｅｋの２乗誤差和Ｅを、前記式（１３）により求
める。 〔ＳＴＥＰ２５〕２乗誤差和Ｅと学習開始時に設定した
学習終了誤差εを比較して、２乗誤差和Ｅが学習終了誤
差ε以下であれば、学習を終了する。 〔ＳＴＥＰ２６〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
似式により、ニューラルネット出力の微分値ΔＹｋを求
める。 〔ＳＴＥＰ２４〕次にニューラルネット出力Ｙｋと教師
信号ｄｋとの誤差ｅｋ、およびＳＴＥＰ２３で求めた
Ｎ．Ｎ出力の微分値ΔＹｋと教師信号の差分値Δｄｋの
誤差Δｅｋの２乗誤差和Ｅを、前記式（１３）により求
める。 〔ＳＴＥＰ２５〕２乗誤差和Ｅと学習開始時に設定した
学習終了誤差εを比較して、２乗誤差和Ｅが学習終了誤
差ε以下であれば、学習を終了する。 〔ＳＴＥＰ２６〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
【００５０】ＳＴＥＰ２５、ＳＴＥＰ２６で学習終了条
件に達していなければ、ＳＴＥＰ２７に進む。 〔ＳＴＥＰ２７〕バックプロパゲーション法によりｉ番
目の入力層素子からｊ番目の中間層素子への結合係数Ｗ
ｉｊを、前記式（７）で求めて更新し、またｊ番目の中
間層素子から、ｋ番目の出力層素子への結合係数Ｖｊｋ
を、前記式（９）で求めて更新する。
件に達していなければ、ＳＴＥＰ２７に進む。 〔ＳＴＥＰ２７〕バックプロパゲーション法によりｉ番
目の入力層素子からｊ番目の中間層素子への結合係数Ｗ
ｉｊを、前記式（７）で求めて更新し、またｊ番目の中
間層素子から、ｋ番目の出力層素子への結合係数Ｖｊｋ
を、前記式（９）で求めて更新する。
【００５１】ここで、式（７）の∂Ｅ／∂Ｗｉｊは式
（１５）により求められ、式（９）の∂Ｅ／∂Ｖｊｋは
式（１６）により求められる。
（１５）により求められ、式（９）の∂Ｅ／∂Ｖｊｋは
式（１６）により求められる。
【００５２】
【数１５】
【００５３】
【数１６】
【００５４】ＳＴＥＰ２７を終了後、ＳＴＥＰ２１に戻
る。以上のように、Ｎ．Ｎ出力誤差ｅｋとＮ．Ｎ出力の
微分値の誤差Δｅｋの２乗誤差和Ｅを誤差関数として、
バックプロパゲーション法により結合係数を更新させる
ことにより、従来よりも高精度なＮ．Ｎの学習を行うこ
とができ、Ｎ．Ｎの出力のみならず、その微分値も精度
良く用いることができ振動を防止できる。
る。以上のように、Ｎ．Ｎ出力誤差ｅｋとＮ．Ｎ出力の
微分値の誤差Δｅｋの２乗誤差和Ｅを誤差関数として、
バックプロパゲーション法により結合係数を更新させる
ことにより、従来よりも高精度なＮ．Ｎの学習を行うこ
とができ、Ｎ．Ｎの出力のみならず、その微分値も精度
良く用いることができ振動を防止できる。
【００５５】図３は本発明の請求項２の実施の形態を示
すニューラルネットワークの学習の基本構成図である。
図３において、31はＮ．Ｎ演算手段、32は微分値算出手
段、33は結合係数変更手段、34は重みづけ係数変更手段
である。
すニューラルネットワークの学習の基本構成図である。
図３において、31はＮ．Ｎ演算手段、32は微分値算出手
段、33は結合係数変更手段、34は重みづけ係数変更手段
である。
【００５６】Ｎ．Ｎ演算手段31は、上記Ｎ．Ｎ演算手段
１と同じＮ．Ｎ演算手段であり、正規化された学習デー
タが入力され、Ｎ．Ｎ出力が算出される。前記微分値算
出手段32は、上記微分値算出手段２と同様に、Ｎ．Ｎを
入力パラメータで全微分して得られる線形近似式に学習
データの差分値ΔＸを入力することにより、出力層のｋ
番目の素子の出力の微分値ΔＹｋを前記式（１２）より
求める。
１と同じＮ．Ｎ演算手段であり、正規化された学習デー
タが入力され、Ｎ．Ｎ出力が算出される。前記微分値算
出手段32は、上記微分値算出手段２と同様に、Ｎ．Ｎを
入力パラメータで全微分して得られる線形近似式に学習
データの差分値ΔＸを入力することにより、出力層のｋ
番目の素子の出力の微分値ΔＹｋを前記式（１２）より
求める。
【００５７】また重みづけ係数変更手段34は、Ｎ．Ｎ演
算手段31の出力Ｙｋと教師信号ｄｋとの誤差ｅｋ、およ
び微分値算出手段32から得られる微分値ΔＹｋと教師信
号の差分値Δｄの誤差Δｅｋの２乗誤差和Ｅ２を式（１
７）により求める。
算手段31の出力Ｙｋと教師信号ｄｋとの誤差ｅｋ、およ
び微分値算出手段32から得られる微分値ΔＹｋと教師信
号の差分値Δｄの誤差Δｅｋの２乗誤差和Ｅ２を式（１
７）により求める。
【００５８】
【数１７】
【００５９】次にこの２乗誤差和Ｅ２が、前回の結合係
数更新時に求めた２乗誤差和Ｅ２ｏｌｄより小さけれ
ば、重み係数αに定数ｂ１（ｂ１＞１）を乗じ、大きけ
れば定数ｂ２（ｂ２＜１）を乗じる。ここで、重み係数
αの初期値はα＜１とし、また、定数ｂ１、およびｂ２
は学習開始時に設定しておく。
数更新時に求めた２乗誤差和Ｅ２ｏｌｄより小さけれ
ば、重み係数αに定数ｂ１（ｂ１＞１）を乗じ、大きけ
れば定数ｂ２（ｂ２＜１）を乗じる。ここで、重み係数
αの初期値はα＜１とし、また、定数ｂ１、およびｂ２
は学習開始時に設定しておく。
【００６０】また結合係数更新手段33は、重み係数αで
重みづけされた２乗誤差和Ｅの前記式（１３）から、上
記結合係数更新手段３と同様にバックプロパゲーション
法によりＮ．Ｎの結合係数を算出する。
重みづけされた２乗誤差和Ｅの前記式（１３）から、上
記結合係数更新手段３と同様にバックプロパゲーション
法によりＮ．Ｎの結合係数を算出する。
【００６１】学習処理の手順を図４のフローチャートに
したがって説明する。この処理は、誤差Ｅがあらかじめ
定めた規定値より小さくなるまで繰り返される。ＳＴＥ
Ｐ４１からＳＴＥＰ４３までは、図２の学習処理フロー
チャートのＳＴＥＰ２１からＳＴＥＰ２３と同様である
ので、説明を省略する。 〔ＳＴＥＰ４４〕前記式（１７）により２乗誤差和Ｅ２
を求める。 〔ＳＴＥＰ４５〕２乗誤差和Ｅ２と学習開始時に設定し
た学習終了誤差εを比較して、２乗誤差和Ｅ２が学習終
了誤差ε以下であれば、学習を終了する。 〔ＳＴＥＰ４６〕次に、学習開始時に設定した学習回数
に達した場合にも学習を終了する。
したがって説明する。この処理は、誤差Ｅがあらかじめ
定めた規定値より小さくなるまで繰り返される。ＳＴＥ
Ｐ４１からＳＴＥＰ４３までは、図２の学習処理フロー
チャートのＳＴＥＰ２１からＳＴＥＰ２３と同様である
ので、説明を省略する。 〔ＳＴＥＰ４４〕前記式（１７）により２乗誤差和Ｅ２
を求める。 〔ＳＴＥＰ４５〕２乗誤差和Ｅ２と学習開始時に設定し
た学習終了誤差εを比較して、２乗誤差和Ｅ２が学習終
了誤差ε以下であれば、学習を終了する。 〔ＳＴＥＰ４６〕次に、学習開始時に設定した学習回数
に達した場合にも学習を終了する。
【００６２】ＳＴＥＰ４５、ＳＴＥＰ４６で学習終了条
件に達していなければ、ＳＴＥＰ４７に進む。 〔ＳＴＥＰ４７〕２乗誤差和Ｅ２と前回の結合係数更新
時に求めた２乗誤差和Ｅ２ｏｌｄを比較する。 〔ＳＴＥＰ４８〕ＳＴＥＰ４７において、２乗誤差和Ｅ
２が前回の結合係数更新時に求めた２乗誤差和Ｅ２ｏｌ
ｄより小さければ、重み係数αに定数ｂ１（ｂ１＞１）
を乗じる。 〔ＳＴＥＰ４９〕ＳＴＥＰ４８により求めた重み係数α
と最大重み定数αｍａｘを比較する。重み係数αが最大
重み定数αｍａｘより小さければ、ＳＴＥＰ４１２に進
む。 〔ＳＴＥＰ４１０〕ＳＴＥＰ４９において、重み係数α
が最大重み定数αｍａｘより大きければ、αにαｍａｘ
を代入し、ＳＴＥＰ４１２に進む。 〔ＳＴＥＰ４１１〕ＳＴＥＰ４７において、２乗誤差和
Ｅ２が前回の結合係数更新時に求めた２乗誤差和Ｅ２ｏ
ｌｄ以上であれば、重み係数αに定数ｂ２（ｂ２＜１）
をαに乗じて、ＳＴＥＰ４１２に進む。 〔ＳＴＥＰ４１２〕前記式（１３）から、重みづけされ
た２乗誤差和Ｅを算出する。 〔ＳＴＥＰ４１３〕２乗誤差和Ｅより図２のＳＴＥＰ２
７と同様に、バックプロパゲーション法によって、結合
係数を更新する。
件に達していなければ、ＳＴＥＰ４７に進む。 〔ＳＴＥＰ４７〕２乗誤差和Ｅ２と前回の結合係数更新
時に求めた２乗誤差和Ｅ２ｏｌｄを比較する。 〔ＳＴＥＰ４８〕ＳＴＥＰ４７において、２乗誤差和Ｅ
２が前回の結合係数更新時に求めた２乗誤差和Ｅ２ｏｌ
ｄより小さければ、重み係数αに定数ｂ１（ｂ１＞１）
を乗じる。 〔ＳＴＥＰ４９〕ＳＴＥＰ４８により求めた重み係数α
と最大重み定数αｍａｘを比較する。重み係数αが最大
重み定数αｍａｘより小さければ、ＳＴＥＰ４１２に進
む。 〔ＳＴＥＰ４１０〕ＳＴＥＰ４９において、重み係数α
が最大重み定数αｍａｘより大きければ、αにαｍａｘ
を代入し、ＳＴＥＰ４１２に進む。 〔ＳＴＥＰ４１１〕ＳＴＥＰ４７において、２乗誤差和
Ｅ２が前回の結合係数更新時に求めた２乗誤差和Ｅ２ｏ
ｌｄ以上であれば、重み係数αに定数ｂ２（ｂ２＜１）
をαに乗じて、ＳＴＥＰ４１２に進む。 〔ＳＴＥＰ４１２〕前記式（１３）から、重みづけされ
た２乗誤差和Ｅを算出する。 〔ＳＴＥＰ４１３〕２乗誤差和Ｅより図２のＳＴＥＰ２
７と同様に、バックプロパゲーション法によって、結合
係数を更新する。
【００６３】ＳＴＥＰ４１３終了後、ＳＴＥＰ４１に戻
る。このように、学習誤差が大きいときには、結合係数
の更新にＮ．Ｎ出力と教師信号との誤差の影響を大きく
反映させ、学習誤差が小さくなるにつれて、Ｎ．Ｎ出力
の微分値の誤差の影響を大きく反映させることで、従来
よりも高精度なＮ．Ｎの学習を行うことができ、なおか
つ高速に学習することができる。
る。このように、学習誤差が大きいときには、結合係数
の更新にＮ．Ｎ出力と教師信号との誤差の影響を大きく
反映させ、学習誤差が小さくなるにつれて、Ｎ．Ｎ出力
の微分値の誤差の影響を大きく反映させることで、従来
よりも高精度なＮ．Ｎの学習を行うことができ、なおか
つ高速に学習することができる。
【００６４】図５は本発明の請求項３の実施の形態を示
すニューラルネットワークの学習の基本構成図である。
図５において、51はＮ．Ｎ演算手段、52は微分値算出手
段、53は第１学習係数変更手段である。
すニューラルネットワークの学習の基本構成図である。
図５において、51はＮ．Ｎ演算手段、52は微分値算出手
段、53は第１学習係数変更手段である。
【００６５】Ｎ．Ｎ演算手段51は、上記Ｎ．Ｎ演算手段
１と同じＮ．Ｎ演算手段であり、正規化された学習デー
タが入力され、Ｎ．Ｎ出力が算出される。第１学習係数
変更手段53は、Ｎ．Ｎ演算手段51の入力の２乗和の大き
さに応じて、式（１８）により式（７）式（９）の学習
係数μを変更する。
１と同じＮ．Ｎ演算手段であり、正規化された学習デー
タが入力され、Ｎ．Ｎ出力が算出される。第１学習係数
変更手段53は、Ｎ．Ｎ演算手段51の入力の２乗和の大き
さに応じて、式（１８）により式（７）式（９）の学習
係数μを変更する。
【００６６】
【数１８】
【００６７】ここで、ｃは学習開始時に設定する定数で
ある。結合係数更新手段52は、第１学習係数変更手段53
で求めた学習係数μを用いて、Ｎ．Ｎ演算手段51の出力
と教師信号との２乗誤差より、バックプロパゲーション
法によりＮ．Ｎの結合係数を算出する。
ある。結合係数更新手段52は、第１学習係数変更手段53
で求めた学習係数μを用いて、Ｎ．Ｎ演算手段51の出力
と教師信号との２乗誤差より、バックプロパゲーション
法によりＮ．Ｎの結合係数を算出する。
【００６８】学習処理の手順を図６のフローチャートに
したがって説明する。この処理は、誤差Ｅがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔ＳＴＥＰ６１〕上記ＳＴＥＰ２１と同様に、Ｎ．Ｎの
演算を行う。 〔ＳＴＥＰ６２〕次に、式（６）によりＮ．Ｎ出力と教
師信号との２乗誤差Ｅを算出する。 〔ＳＴＥＰ６３〕２乗誤差Ｅと学習開始時に設定した学
習終了誤差εを比較して、２乗誤差Ｅが学習終了誤差ε
以下であれば、学習を終了する。 〔ＳＴＥＰ６４〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
したがって説明する。この処理は、誤差Ｅがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔ＳＴＥＰ６１〕上記ＳＴＥＰ２１と同様に、Ｎ．Ｎの
演算を行う。 〔ＳＴＥＰ６２〕次に、式（６）によりＮ．Ｎ出力と教
師信号との２乗誤差Ｅを算出する。 〔ＳＴＥＰ６３〕２乗誤差Ｅと学習開始時に設定した学
習終了誤差εを比較して、２乗誤差Ｅが学習終了誤差ε
以下であれば、学習を終了する。 〔ＳＴＥＰ６４〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
【００６９】ＳＴＥＰ６３、ＳＴＥＰ６４で学習終了条
件に達していなければ、ＳＴＥＰ６５に進む。 〔ＳＴＥＰ６５〕学習係数μをＮ．Ｎ入力の大きさに応
じて、前記式（１８）により求める。 〔ＳＴＥＰ６６〕バックプロパゲーション法を用いて、
結合係数を更新する。
件に達していなければ、ＳＴＥＰ６５に進む。 〔ＳＴＥＰ６５〕学習係数μをＮ．Ｎ入力の大きさに応
じて、前記式（１８）により求める。 〔ＳＴＥＰ６６〕バックプロパゲーション法を用いて、
結合係数を更新する。
【００７０】ＳＴＥＰ６６終了後、ＳＴＥＰ６１に戻
る。このように、Ｎ．Ｎ入力の大きさに応じて学習係数
μを変更させることにより、入力の大きさに影響されず
に結合係数の更新量を算出することができ、学習速度が
速く、なおかつ精度良く学習することができる。
る。このように、Ｎ．Ｎ入力の大きさに応じて学習係数
μを変更させることにより、入力の大きさに影響されず
に結合係数の更新量を算出することができ、学習速度が
速く、なおかつ精度良く学習することができる。
【００７１】図７は本発明の請求項４の実施の形態を示
すニューラルネットワークの学習の基本構成図である。
図７において、71はＮ．Ｎ演算手段、72は微分値算出手
段、73は第２学習係数変更手段である。
すニューラルネットワークの学習の基本構成図である。
図７において、71はＮ．Ｎ演算手段、72は微分値算出手
段、73は第２学習係数変更手段である。
【００７２】Ｎ．Ｎ演算手段71は、上記Ｎ．Ｎ演算手段
１と同じＮ．Ｎ演算手段であり、正規化された学習デー
タが入力され、Ｎ．Ｎ出力が算出される。第２学習係数
変更手段73は、各層間の結合係数への入力の２乗和の大
きさに応じて、学習係数μを変更する。すなわち、入力
層から中間層への結合係数の更新に用いる式（７）の学
習係数μは、前記式（１８）により変更し、中間層から
出力層への結合係数の更新に用いる式（９）の学習係数
μ２は、式（１９）により変更する。
１と同じＮ．Ｎ演算手段であり、正規化された学習デー
タが入力され、Ｎ．Ｎ出力が算出される。第２学習係数
変更手段73は、各層間の結合係数への入力の２乗和の大
きさに応じて、学習係数μを変更する。すなわち、入力
層から中間層への結合係数の更新に用いる式（７）の学
習係数μは、前記式（１８）により変更し、中間層から
出力層への結合係数の更新に用いる式（９）の学習係数
μ２は、式（１９）により変更する。
【００７３】
【数１９】
【００７４】ここで、ｃ２は学習開始時に設定する定数
である。結合係数更新手段72は、第２学習係数変更手段
73で求めた学習係数μ、μ２を用いて、前記Ｎ．Ｎ演算
手段７１の出力と教師信号との２乗誤差より、バックプ
ロパゲーション法によりＮ．Ｎの結合係数を算出する。
である。結合係数更新手段72は、第２学習係数変更手段
73で求めた学習係数μ、μ２を用いて、前記Ｎ．Ｎ演算
手段７１の出力と教師信号との２乗誤差より、バックプ
ロパゲーション法によりＮ．Ｎの結合係数を算出する。
【００７５】学習処理の手順を図８のフローチャートに
したがって説明する。この処理は、誤差Ｅがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔ＳＴＥＰ８１〕上記ＳＴＥＰ２１と同様に、Ｎ．Ｎの
演算を行う。 〔ＳＴＥＰ８２〕次に、式（６）によりＮ．Ｎ出力と教
師信号との２乗誤差Ｅを算出する。 〔ＳＴＥＰ８３〕２乗誤差Ｅと学習開始時に設定した学
習終了誤差εを比較して、２乗誤差Ｅが学習終了誤差ε
以下であれば、学習を終了する。 〔ＳＴＥＰ８４〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
したがって説明する。この処理は、誤差Ｅがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔ＳＴＥＰ８１〕上記ＳＴＥＰ２１と同様に、Ｎ．Ｎの
演算を行う。 〔ＳＴＥＰ８２〕次に、式（６）によりＮ．Ｎ出力と教
師信号との２乗誤差Ｅを算出する。 〔ＳＴＥＰ８３〕２乗誤差Ｅと学習開始時に設定した学
習終了誤差εを比較して、２乗誤差Ｅが学習終了誤差ε
以下であれば、学習を終了する。 〔ＳＴＥＰ８４〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
【００７６】ＳＴＥＰ８３、ＳＴＥＰ８４で学習終了条
件に達していなければ、ＳＴＥＰ８５に進む。 〔ＳＴＥＰ８５〕学習係数μ、μ２を各層間の結合係数
への入力の２乗和の大きさに応じて、前記式（１８）、
式（１９）から求める。 〔ＳＴＥＰ８６〕次に、バックプロパゲーション法によ
りＮ．Ｎの結合係数を算出する。
件に達していなければ、ＳＴＥＰ８５に進む。 〔ＳＴＥＰ８５〕学習係数μ、μ２を各層間の結合係数
への入力の２乗和の大きさに応じて、前記式（１８）、
式（１９）から求める。 〔ＳＴＥＰ８６〕次に、バックプロパゲーション法によ
りＮ．Ｎの結合係数を算出する。
【００７７】ＳＴＥＰ８６終了後、ＳＴＥＰ８１に戻
る。このように、各層間の結合係数への入力の大きさに
応じて学習係数μ、μ２を変更させることにより、入力
の大きさに影響されずに結合係数の更新量を算出するこ
とができ、精度良く、なおかつ高速に学習することがで
きる。
る。このように、各層間の結合係数への入力の大きさに
応じて学習係数μ、μ２を変更させることにより、入力
の大きさに影響されずに結合係数の更新量を算出するこ
とができ、精度良く、なおかつ高速に学習することがで
きる。
【００７８】なお、上記４つの実施の形態の本発明は、
３層以上の階層型ニューラルネットワークの学習にも同
様に用いることが可能であり、また、中間層出力関数が
シグモイド型以外の非線形連続関数の場合にも、出力層
の出力関数が非線形連続関数の場合にも用いることが可
能である。
３層以上の階層型ニューラルネットワークの学習にも同
様に用いることが可能であり、また、中間層出力関数が
シグモイド型以外の非線形連続関数の場合にも、出力層
の出力関数が非線形連続関数の場合にも用いることが可
能である。
【００７９】
【発明の効果】以上述べたように請求項１記載の発明に
よれば、ニューラルネットワーク出力誤差とニューラル
ネットワーク出力の微分値の誤差の２乗和からバックプ
ロパゲーション法により結合係数を求めることによっ
て、従来よりも高精度なニューラルネットワークの学習
を行うことができ、ニューラルネットワークの出力のみ
ならず、その微分値も精度良く用いることができ振動を
防止できる。
よれば、ニューラルネットワーク出力誤差とニューラル
ネットワーク出力の微分値の誤差の２乗和からバックプ
ロパゲーション法により結合係数を求めることによっ
て、従来よりも高精度なニューラルネットワークの学習
を行うことができ、ニューラルネットワークの出力のみ
ならず、その微分値も精度良く用いることができ振動を
防止できる。
【００８０】また請求項２記載の発明によれば、学習状
態によって重み係数を求め、ニューラルネットワーク出
力の２乗誤差とニューラルネットワーク出力の微分値の
２乗誤差を重み係数により重みづけを行ってその和を求
めることにより、高速に、なおかつ精度良く学習するこ
とができる。
態によって重み係数を求め、ニューラルネットワーク出
力の２乗誤差とニューラルネットワーク出力の微分値の
２乗誤差を重み係数により重みづけを行ってその和を求
めることにより、高速に、なおかつ精度良く学習するこ
とができる。
【００８１】さらに請求項３記載の発明によれば、学習
係数をニューラルネットワーク入力に応じて変更するこ
とにより、入力の大きさに影響されずに結合係数の更新
量を算出することができ、高速で、精度の良い学習をす
ることができる。
係数をニューラルネットワーク入力に応じて変更するこ
とにより、入力の大きさに影響されずに結合係数の更新
量を算出することができ、高速で、精度の良い学習をす
ることができる。
【００８２】また請求項４記載の発明によれば、各層間
の結合係数への入力の２乗和の大きさに応じて、学習係
数を変更することにより、入力の大きさに影響されずに
結合係数の更新量を算出することができ、高速に、なお
かつ精度良く学習することができる。
の結合係数への入力の２乗和の大きさに応じて、学習係
数を変更することにより、入力の大きさに影響されずに
結合係数の更新量を算出することができ、高速に、なお
かつ精度良く学習することができる。
【図１】本発明の請求項１の実施の形態を示すニューラ
ルネットワークの学習の基本構成図である。
ルネットワークの学習の基本構成図である。
【図２】同ニューラルネットワークの学習方法を示すフ
ローチャートである。
ローチャートである。
【図３】本発明の請求項２の実施の形態を示すニューラ
ルネットワークの学習の基本構成図である。
ルネットワークの学習の基本構成図である。
【図４】同ニューラルネットワークの学習方法を示すフ
ローチャートである。
ローチャートである。
【図５】本発明の請求項３の実施の形態を示すニューラ
ルネットワークの学習の基本構成図である。
ルネットワークの学習の基本構成図である。
【図６】同ニューラルネットワークの学習方法を示すフ
ローチャートである。
ローチャートである。
【図７】本発明の請求項４の実施の形態を示すニューラ
ルネットワークの学習の基本構成図である。
ルネットワークの学習の基本構成図である。
【図８】同ニューラルネットワークの学習方法を示すフ
ローチャートである。
ローチャートである。
【図９】従来のニューラルネットワークの学習の基本構
成図である。
成図である。
【図１０】ニューラルネットワークの説明図である。
１ Ｎ．Ｎ演算手段 ２ 微分値算出手段 ３ 結合係数更新手段 31 Ｎ．Ｎ演算手段 32 微分値算出手段 33 結合係数更新手段 34 重みづけ係数変更手段 51 Ｎ．Ｎ演算手段 52 結合係数更新手段 53 第１学習係数変更手段 71 Ｎ．Ｎ演算手段 72 結合係数更新手段 73 第２学習係数変更手段
Claims (4)
- 【請求項１】 学習対象の特性をニューラルネットワー
クに学習させる学習方法であって、 前記学習対象の入力を学習データとして前記ニューラル
ネットワークの演算を行うニューラルネットワーク演算
手段と、 前記ニューラルネットワーク演算手段のニューラルネッ
トワークを、前記学習データを入力パラメータとする非
線形関数で表し、非線形関数を入力パラメータで全微分
して得られる線形近似式に、学習データの差分値を入力
して微分値を求める微分値算出手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との２乗誤差と前記微分値算出手段から得られる微分値
と教師信号の差分値の２乗誤差の和からバックプロパゲ
ーション法によりニューラルネットワークの結合係数を
求める結合係数更新手段とを有し、 前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記微分値算出手段による前記微
分値の演算、前記結合係数更新手段による前記２乗誤差
和の演算およびニューラルネットワークの結合係数の演
算を順に繰り返し、前記２乗誤差和が学習終了誤差以下
となるニューラルネットワークの結合係数を求めること
を特徴とするニューラルネットワークの学習方法。 - 【請求項２】 学習対象の特性をニューラルネットワー
クに学習させる学習方法であって、 学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、 前記ニューラルネットワーク演算手段のニューラルネッ
トワークを、前記学習データを入力パラメータとする非
線形関数で表し、非線形関数を入力パラメータで全微分
して得られる線形近似式に、学習データの差分値を入力
して微分値を求める微分値算出手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との２乗誤差と前記微分値算出手段から得られる微分値
と教師信号の差分値の２乗誤差の大きさに応じて２乗誤
差和の重み係数を求める重みづけ係数変更手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との２乗誤差と前記微分値算出手段から得られる微分値
と教師信号の差分値の２乗誤差を前記重みづけ係数変更
手段から得られる重み係数により重みづけを行ってその
和を求め、この２乗誤差和からバックプロパゲーション
法によりニューラルネットワークの結合係数を求める結
合係数更新手段とを有し、 前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記微分値算出手段による前記微
分値の演算、前記重みづけ係数変更手段による前記重み
係数の演算、前記結合係数更新手段による前記２乗誤差
和の演算およびニューラルネットワークの結合係数の演
算を順に繰り返し、前記２乗誤差和が学習終了誤差以下
となるニューラルネットワークの結合係数を求めること
を特徴とするニューラルネットワークの学習方法。 - 【請求項３】 学習対象の特性をニューラルネットワー
クに学習させる学習方法であって、 学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との２乗誤差からバックプロパゲーション法によりニュ
ーラルネットワークの結合係数を求める結合係数更新手
段と、 前記ニューラルネットワーク演算手段の入力の２乗和の
大きさに応じて、前記結合係数更新手段で結合係数更新
量を算出するときに用いる学習係数を変更する第１学習
係数変更手段とを有し、 前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記結合係数更新手段による前記
２乗誤差の演算、前記第１学習係数変更手段による前記
学習係数の演算、前記結合係数更新手段によるニューラ
ルネットワークの結合係数の演算の演算を順に繰り返
し、前記２乗誤差が学習終了誤差以下となるニューラル
ネットワークの結合係数を求めることを特徴とするニュ
ーラルネットワークの学習方法。 - 【請求項４】 学習対象の特性をニューラルネットワー
クに学習させる学習方法であって、 学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との２乗誤差からバックプロパゲーション法によりニュ
ーラルネットワークの結合係数を求める結合係数更新手
段と、 前記ニューラルネットワーク演算手段のニューラルネッ
トワークの各層間の結合係数への入力の２乗和の大きさ
に応じて、前記結合係数更新手段で結合係数更新量を算
出するときに用いる前記各層の学習係数を変更する第２
学習係数変更手段とを有し、 前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記結合係数更新手段による前記
２乗誤差の演算、前記第２学習係数変更手段によるニュ
ーラルネットワークの各層の学習係数の演算、前記結合
係数更新手段によるニューラルネットワークの結合係数
の演算を順に繰り返し、前記２乗誤差が学習終了誤差以
下となるニューラルネットワークの結合係数を求めるこ
とを特徴とするニューラルネットワークの学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7231877A JPH0981535A (ja) | 1995-09-11 | 1995-09-11 | ニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7231877A JPH0981535A (ja) | 1995-09-11 | 1995-09-11 | ニューラルネットワークの学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0981535A true JPH0981535A (ja) | 1997-03-28 |
Family
ID=16930430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7231877A Pending JPH0981535A (ja) | 1995-09-11 | 1995-09-11 | ニューラルネットワークの学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0981535A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6172117B1 (en) | 1998-02-27 | 2001-01-09 | Akzo Nobel N.V. | Biocidal preservatives |
| CN104238367A (zh) * | 2014-10-11 | 2014-12-24 | 西安交通大学 | 一种基于神经网络的壳体结构表面振动一致性控制方法 |
| US10867244B2 (en) | 2016-09-30 | 2020-12-15 | Fujitsu Limited | Method and apparatus for machine learning |
| US11514308B2 (en) | 2017-09-08 | 2022-11-29 | Fujitsu Limited | Method and apparatus for machine learning |
-
1995
- 1995-09-11 JP JP7231877A patent/JPH0981535A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6172117B1 (en) | 1998-02-27 | 2001-01-09 | Akzo Nobel N.V. | Biocidal preservatives |
| CN104238367A (zh) * | 2014-10-11 | 2014-12-24 | 西安交通大学 | 一种基于神经网络的壳体结构表面振动一致性控制方法 |
| CN104238367B (zh) * | 2014-10-11 | 2017-04-19 | 西安交通大学 | 一种基于神经网络的壳体结构表面振动一致性控制方法 |
| US10867244B2 (en) | 2016-09-30 | 2020-12-15 | Fujitsu Limited | Method and apparatus for machine learning |
| US11514308B2 (en) | 2017-09-08 | 2022-11-29 | Fujitsu Limited | Method and apparatus for machine learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Srinivasan et al. | Back propagation through adjoints for the identification of nonlinear dynamic systems using recurrent neural models | |
| CN108764475A (zh) | 遗传小波神经网络的陀螺随机误差补偿方法及系统 | |
| US5845051A (en) | Learning method for multilayer perceptron neural network with N-bit data representation | |
| Hines | A logarithmic neural network architecture for unbounded non-linear function approximation | |
| CN117763974A (zh) | 一种基于事件触发机制的模型训练与策略优化方法及系统 | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
| JPH0451384A (ja) | ニューラルネットワークの構築方法 | |
| JPH05128284A (ja) | ニユーロプロセツサ | |
| JP2897220B2 (ja) | 信号処理装置 | |
| Abid et al. | Evaluation of the feedforward neural network covariance matrix error | |
| JP2002042107A (ja) | ニューラルネットワークの学習方法 | |
| JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JP2674167B2 (ja) | 神経回路網モデルを用いたプロセス制御方法 | |
| JP3412700B2 (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| JP7792178B1 (ja) | スパイキングニューラルネットワーク装置 | |
| Liang et al. | Harnessing machine learning for identifying parameters in fractional chaotic systems | |
| JPH01241667A (ja) | 学習機構を有するダイナミック・ニユーラル・ネットワーク | |
| Goryn et al. | Conjugate gradient learning algorithms for multilayer perceptrons | |
| CN121502258A (zh) | 一种多尺度近端线性网络与不确定性量化的电力系统状态估计方法 | |
| JPH0744512A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| CN120952094A (zh) | 一种基于经验分位排序的离线强化学习策略优化方法及系统 | |
| JPH05274456A (ja) | 時系列パターンの学習方式 | |
| CN113538518A (zh) | 一种基于记忆增强的目标跟踪方法及系统 | |
| JPH0744195A (ja) | 音声認識用リカレントニューラルネットワーク |