JPH0696046A - ニューラルネットワークの学習処理装置 - Google Patents
ニューラルネットワークの学習処理装置Info
- Publication number
- JPH0696046A JPH0696046A JP4244467A JP24446792A JPH0696046A JP H0696046 A JPH0696046 A JP H0696046A JP 4244467 A JP4244467 A JP 4244467A JP 24446792 A JP24446792 A JP 24446792A JP H0696046 A JPH0696046 A JP H0696046A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- equation
- layer
- neural network
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】全体の学習の効率を高め、学習の高速高精度化
を達成するニューラルネットワークの学習処理装置を提
供することにある。 【構成】パターン変換時と学習時とでニューラルネット
ワークの構造を変化させる。パターン変換時は従来と同
様に出力層のユニットにシグモイド関数を施す。一方、
学習時は出力層６のユニットに非線形変換を施さず、教
師信号９に逆シグモイド関数８を施し、その差を誤差信
号１１とする。荷重計算回路１３は、最小二乗アルゴリ
ズムでシナプス荷重５の学習を行い、荷重計算回路１４
は、誤差逆伝播法でシナプス荷重３の学習を行う。
を達成するニューラルネットワークの学習処理装置を提
供することにある。 【構成】パターン変換時と学習時とでニューラルネット
ワークの構造を変化させる。パターン変換時は従来と同
様に出力層のユニットにシグモイド関数を施す。一方、
学習時は出力層６のユニットに非線形変換を施さず、教
師信号９に逆シグモイド関数８を施し、その差を誤差信
号１１とする。荷重計算回路１３は、最小二乗アルゴリ
ズムでシナプス荷重５の学習を行い、荷重計算回路１４
は、誤差逆伝播法でシナプス荷重３の学習を行う。
Description
【０００１】
【産業上の利用分野】本発明は、記憶，推論，判断，予
測，パターン認識，制御，最適化などに用いられる階層
型ニューラルネットワークの高速な学習処理装置に関す
る。
測，パターン認識，制御，最適化などに用いられる階層
型ニューラルネットワークの高速な学習処理装置に関す
る。
【０００２】
【従来の技術】ニューラルネットワークは、生物の神経
素子の働きを模した多入力一出力の人工的神経素子（ユ
ニット）を多数層状に結合することにより、信号処理，
情報処理を実現するネットワークの総称である。
素子の働きを模した多入力一出力の人工的神経素子（ユ
ニット）を多数層状に結合することにより、信号処理，
情報処理を実現するネットワークの総称である。
【０００３】図２は、３層の階層型ニューラルネットワ
ークの構成例で、ｉ個のユニットを持つ入力層２、ｊ個
のユニットを持つ中間層４、ｋ個のユニットを持つ出力
層７からなる。ここでは、中間層４を一層としているが
複数層あってもよい。図２において、信号の伝達は以下
に示す通りである。
ークの構成例で、ｉ個のユニットを持つ入力層２、ｊ個
のユニットを持つ中間層４、ｋ個のユニットを持つ出力
層７からなる。ここでは、中間層４を一層としているが
複数層あってもよい。図２において、信号の伝達は以下
に示す通りである。
【０００４】ｘi をネットワークの入力信号１，ｗjiを
入力層と中間層間のシナプス荷重３，θj をオフセット
量とすると、中間層４の各ユニットの内部状態信号ｕj
は次式で表される。
入力層と中間層間のシナプス荷重３，θj をオフセット
量とすると、中間層４の各ユニットの内部状態信号ｕj
は次式で表される。
【０００５】
【数１】
【０００６】記述を簡単化するために上式を新たに次式
に置き改める。
に置き改める。
【０００７】
【数２】
【０００８】これより、中間層４のｊユニットの出力ｈ
jは次式で表される。
jは次式で表される。
【０００９】
【数３】 ｈj＝ｆ(ｕj) …（数３） ここで、ｆ(・)は、例えば、次式のシグモイド関数が一
般に用いられている。
般に用いられている。
【００１０】
【数４】
【００１１】同様に、ｖkjを中間層と出力層間のシナプ
ス荷重５、φk をオフセット量とすると、出力層７の各
ユニットの内部状態信号ｓk は次式で表される。
ス荷重５、φk をオフセット量とすると、出力層７の各
ユニットの内部状態信号ｓk は次式で表される。
【００１２】
【数５】
【００１３】記述を簡単化するために上式を新たに次式
に置き改める。
に置き改める。
【００１４】
【数６】
【００１５】これより、出力層７のｋユニットの出力ｙ
k は次式で表される。
k は次式で表される。
【００１６】
【数７】 ｙk＝ｆ(ｓk) …（数７） 以上、階層型ニューラルネットワークは、入力層２に与
えられた入力データ１を、各ユニットが処理して、次の
層へ伝達し、出力層７から入力データに応じた出力デー
タ１０が得られるようになっている。
えられた入力データ１を、各ユニットが処理して、次の
層へ伝達し、出力層７から入力データに応じた出力デー
タ１０が得られるようになっている。
【００１７】従来から、階層型ニューラルネットワーク
のシナプス荷重の学習方法として誤差逆伝播法が広く用
いられてきたラメルハルト，ヒルトン アンド ウィリ
アムス；“ラーニング インターナル レプレゼンテー
ション バイ エラー バッシ プロパゲーション”(R
umelhart,Hinton,and Williams:“Learning InternalRe
presenations by Error Back Propagation”, In Paral
lel DistributedProcessing,Vol.１，pp３１８−３６
２，ＭＩＴ Press(１９８６））。
のシナプス荷重の学習方法として誤差逆伝播法が広く用
いられてきたラメルハルト，ヒルトン アンド ウィリ
アムス；“ラーニング インターナル レプレゼンテー
ション バイ エラー バッシ プロパゲーション”(R
umelhart,Hinton,and Williams:“Learning InternalRe
presenations by Error Back Propagation”, In Paral
lel DistributedProcessing,Vol.１，pp３１８−３６
２，ＭＩＴ Press(１９８６））。
【００１８】図３は、図２の階層型ニューラルネットワ
ークに誤差逆伝播法を適用した構成例である。以下、図
３を用いて誤差逆伝播法を説明する。
ークに誤差逆伝播法を適用した構成例である。以下、図
３を用いて誤差逆伝播法を説明する。
【００１９】入力層２にパターンＰの入力データ１が入
力された時、出力層７のユニットｋに出てきてもらいた
い出力データを教師信号ｙmk９とする。この時、教師信
号９と実際の出力データ１０の誤差１２を
力された時、出力層７のユニットｋに出てきてもらいた
い出力データを教師信号ｙmk９とする。この時、教師信
号９と実際の出力データ１０の誤差１２を
【００２０】
【数８】 ｅk＝ｙmk−ｙk …（数８） と定義すると、ある一つのパターンＰに対する二乗誤差
の評価関数ＥP は次式で表される。
の評価関数ＥP は次式で表される。
【００２１】
【数９】
【００２２】まず、荷重計算回路１５の設計を行う。こ
れは、シナプス荷重ｖkjの変化量を最急降下法より以下
のようになる。
れは、シナプス荷重ｖkjの変化量を最急降下法より以下
のようになる。
【００２３】
【数１０】
【００２４】次に、荷重計算回路１６の設計を行う。こ
れは、シナプス荷重ｗkjの変化量を最急降下法より以下
のようになる。
れは、シナプス荷重ｗkjの変化量を最急降下法より以下
のようになる。
【００２５】
【数１１】
【００２６】層の数が４層以上の場合も同様にして、逐
次、誤差を前段階の層における誤差に換算することを繰
り返すことにより、全ての層間のシナプス荷重を決定す
ることができる。
次、誤差を前段階の層における誤差に換算することを繰
り返すことにより、全ての層間のシナプス荷重を決定す
ることができる。
【００２７】また、数９と数１０の誤差逆伝播法の高速
化を達成するために、前回の修正量を考慮する学習法が
知られている。前回（ｎ−１）ステップの修正量をΔｖ
（ｎ−１），Δｗ（ｎ−１），今回（ｎ）ステップの修
正量をΔｖ（ｎ），Δｗ（ｎ）とすると次式となる。
化を達成するために、前回の修正量を考慮する学習法が
知られている。前回（ｎ−１）ステップの修正量をΔｖ
（ｎ−１），Δｗ（ｎ−１），今回（ｎ）ステップの修
正量をΔｖ（ｎ），Δｗ（ｎ）とすると次式となる。
【００２８】
【数１２】
【００２９】
【数１３】
【００３０】これは、前回の修正量を加えることによっ
て、シナプス荷重の変化に一種の慣性を生じさせ、誤差
曲面の細かい凹凸を無視する効果が得られる。
て、シナプス荷重の変化に一種の慣性を生じさせ、誤差
曲面の細かい凹凸を無視する効果が得られる。
【００３１】ところで、上記の学習はあるパターンＰの
入出力の組に対する誤差ＥP を最小化するもので、逐
次、修正学習と呼ばれている。一方、全パターンの入出
力の組に対する以下の誤差量ＥT を最小化するには、逐
次、修正学習で求めたシナプス荷重を加算し、全パター
ンについて加算されたシナプス荷重で修正を行う必要が
ある。これは一括修正学習と呼ばれている。
入出力の組に対する誤差ＥP を最小化するもので、逐
次、修正学習と呼ばれている。一方、全パターンの入出
力の組に対する以下の誤差量ＥT を最小化するには、逐
次、修正学習で求めたシナプス荷重を加算し、全パター
ンについて加算されたシナプス荷重で修正を行う必要が
ある。これは一括修正学習と呼ばれている。
【００３２】
【数１４】
【００３３】また、従来、上記誤差逆伝播法の学習速度
の高速化を図る手法が、特開平3−252887号公報に記載
されている。そこでは、出力の内部信号（ｓk：数６）
と教師信号（ｙmk）を逆シグモイド変換を施した教師内
部信号との差を用いて上記誤差伝播法で学習を行う手法
が記載されている。
の高速化を図る手法が、特開平3−252887号公報に記載
されている。そこでは、出力の内部信号（ｓk：数６）
と教師信号（ｙmk）を逆シグモイド変換を施した教師内
部信号との差を用いて上記誤差伝播法で学習を行う手法
が記載されている。
【００３４】
【発明が解決しようとする課題】しかしながら、上記従
来技術の誤差逆伝播法および特開平3-252887号公報に記
載のものは、入力層と中間層間のシナプス荷重ｗjiと、
中間層と出力層間のシナプス荷重ｖkjの両方の荷重を最
急降下法に基づいて決定しているため、上述の二乗誤差
の総和ＥP を十分に小さくして学習を終了するまでに要
する学習の繰り返し回数が膨大な値になってしまい、効
率の良い学習処理を行うことができないという問題があ
った。
来技術の誤差逆伝播法および特開平3-252887号公報に記
載のものは、入力層と中間層間のシナプス荷重ｗjiと、
中間層と出力層間のシナプス荷重ｖkjの両方の荷重を最
急降下法に基づいて決定しているため、上述の二乗誤差
の総和ＥP を十分に小さくして学習を終了するまでに要
する学習の繰り返し回数が膨大な値になってしまい、効
率の良い学習処理を行うことができないという問題があ
った。
【００３５】さらに詳細に述べるならば、従来の誤差逆
伝播法の学習手順は、入力層と中間層間のシナプス荷重
ｗjiを更新する際、数１１で示されているように中間層
と出力層間のシナプス荷重ｖkjが正しい値を示している
ものとして学習を行い、同様に、シナプス荷重ｖkjを更
新する際、数１０で示されているように中間層の出力ｈ
j の情報が必要となりシナプス荷重ｗjiが正しい値であ
るものとして学習を行っている。すなわち、従来の誤差
逆伝播法は、シナプス荷重ｗji，ｖkjの更新を互いに独
立に学習しているにもかかわらず、その両方のシナプス
荷重を、一般に収束が遅いと言われている誤差曲面の勾
配に基づいて決定する最急降下法で学習する構成となっ
ているため、学習時間が膨大な値になってしまうという
問題があった。
伝播法の学習手順は、入力層と中間層間のシナプス荷重
ｗjiを更新する際、数１１で示されているように中間層
と出力層間のシナプス荷重ｖkjが正しい値を示している
ものとして学習を行い、同様に、シナプス荷重ｖkjを更
新する際、数１０で示されているように中間層の出力ｈ
j の情報が必要となりシナプス荷重ｗjiが正しい値であ
るものとして学習を行っている。すなわち、従来の誤差
逆伝播法は、シナプス荷重ｗji，ｖkjの更新を互いに独
立に学習しているにもかかわらず、その両方のシナプス
荷重を、一般に収束が遅いと言われている誤差曲面の勾
配に基づいて決定する最急降下法で学習する構成となっ
ているため、学習時間が膨大な値になってしまうという
問題があった。
【００３６】本発明の目的は、従来の問題点に鑑み、階
層型ニューラルネットワークの中間層と出力層間のシナ
プス荷重の学習を高速高精度化することで、全体の学習
の効率を高め、学習の高速高精度化を達成するニューラ
ルネットワークの学習処理装置を提供することにある。
層型ニューラルネットワークの中間層と出力層間のシナ
プス荷重の学習を高速高精度化することで、全体の学習
の効率を高め、学習の高速高精度化を達成するニューラ
ルネットワークの学習処理装置を提供することにある。
【００３７】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、シグモイド状の非線形関数を内部にも
ち、人工的神経素子に対応する信号処理を行う複数のユ
ニットにより構成された、入力層，中間層、および出力
層を備える信号処理部と、前記入力層に入力される入力
信号パターンに対する該出力層の出力値と教師信号との
誤差信号に基づいて前記各ユニット間の結合の強さの係
数を前記出力層側から前記入力層側に向かって順次に繰
り返し計算する学習処理部とを備えたニューラルネット
ワークの学習処理装置において、前記中間層と前記出力
層間の前記結合の強さの係数を学習する第一の学習処理
部と、それ以外の前記結合の強さの係数を学習する前記
第一の学習処理部とは異なる第二の学習処理部を設けた
ものである。
に、本発明は、シグモイド状の非線形関数を内部にも
ち、人工的神経素子に対応する信号処理を行う複数のユ
ニットにより構成された、入力層，中間層、および出力
層を備える信号処理部と、前記入力層に入力される入力
信号パターンに対する該出力層の出力値と教師信号との
誤差信号に基づいて前記各ユニット間の結合の強さの係
数を前記出力層側から前記入力層側に向かって順次に繰
り返し計算する学習処理部とを備えたニューラルネット
ワークの学習処理装置において、前記中間層と前記出力
層間の前記結合の強さの係数を学習する第一の学習処理
部と、それ以外の前記結合の強さの係数を学習する前記
第一の学習処理部とは異なる第二の学習処理部を設けた
ものである。
【００３８】また、本発明は、前記第一の学習処理部と
前記第二の学習処理部は、前記教師信号を前記シグモイ
ド状の非線形関数の逆関数に通した値を用いて前記誤差
信号を決定し、前記結合の強さの係数を計算する学習処
理部を設けたものである。
前記第二の学習処理部は、前記教師信号を前記シグモイ
ド状の非線形関数の逆関数に通した値を用いて前記誤差
信号を決定し、前記結合の強さの係数を計算する学習処
理部を設けたものである。
【００３９】さらに、本発明は、前記第一の学習処理部
は、前記誤差信号より得られる誤差曲面の最小値に向か
って前記結合の強さの係数を計算する最小二乗法を用
い、前記第二の学習処理部は、該誤差曲面の最急降下方
向に向かって前記結合の強さの係数を計算する学習処理
部を設けたものである。
は、前記誤差信号より得られる誤差曲面の最小値に向か
って前記結合の強さの係数を計算する最小二乗法を用
い、前記第二の学習処理部は、該誤差曲面の最急降下方
向に向かって前記結合の強さの係数を計算する学習処理
部を設けたものである。
【００４０】
【作用】本発明の学習方法は、中間層と出力層間のシナ
プス荷重の学習を高速高精度化することで階層型ニュー
ラルネットワークの学習の高速高精度化を図るものであ
る。すなわち、シナプス荷重ｖkjを最小二乗法アルゴリ
ズムに基づき高速高精度学習させ、その他のシナプス荷
重は従来の誤差逆伝播法で学習させることにより、中間
層と出力層間のシナプス荷重の学習が極小値に陥ること
なく、最小値に収束させることができる。
プス荷重の学習を高速高精度化することで階層型ニュー
ラルネットワークの学習の高速高精度化を図るものであ
る。すなわち、シナプス荷重ｖkjを最小二乗法アルゴリ
ズムに基づき高速高精度学習させ、その他のシナプス荷
重は従来の誤差逆伝播法で学習させることにより、中間
層と出力層間のシナプス荷重の学習が極小値に陥ること
なく、最小値に収束させることができる。
【００４１】
【実施例】以下、本発明の一実施例を図面により詳細に
説明する。
説明する。
【００４２】図１は、本発明の学習法で学習を行う時の
３層のニューラルネットワーク構造である。従来の誤差
逆伝播法は、パターン変換時（図２）と学習時（図３）
とでニューラルネットワークの構造に変化はない。ここ
で、パターン変換時とは学習が終了しシナプス荷重を固
定して入力層に入るパターンを変換し、出力層からニュ
ーラルネットワークの解を出力している間を示す。学習
時とは、ある評価関数に従ってシナプス荷重を学習して
いる間を示す。
３層のニューラルネットワーク構造である。従来の誤差
逆伝播法は、パターン変換時（図２）と学習時（図３）
とでニューラルネットワークの構造に変化はない。ここ
で、パターン変換時とは学習が終了しシナプス荷重を固
定して入力層に入るパターンを変換し、出力層からニュ
ーラルネットワークの解を出力している間を示す。学習
時とは、ある評価関数に従ってシナプス荷重を学習して
いる間を示す。
【００４３】一方、本発明の学習法は、パターン変換時
（図２）と学習時（図１）とでニューラルネットワーク
の構造を変化させる。パターン変換時は誤差逆伝播法と
同様に出力層７のユニットに数４のシグモイド関数を施
すが、学習時は出力層６のユニットに非線形変換を施さ
ずに教師信号９を次式の逆シグモイド関数８を施して変
換させる。
（図２）と学習時（図１）とでニューラルネットワーク
の構造を変化させる。パターン変換時は誤差逆伝播法と
同様に出力層７のユニットに数４のシグモイド関数を施
すが、学習時は出力層６のユニットに非線形変換を施さ
ずに教師信号９を次式の逆シグモイド関数８を施して変
換させる。
【００４４】
【数１５】
【００４５】これより、学習時の出力層６のｋユニット
の出力ｓkPは次式となる。
の出力ｓkPは次式となる。
【００４６】
【数１６】
【００４７】ただし、
【００４８】
【数１７】
【００４９】
【数１８】
【００５０】である。ここで、下付きのＰはパターンＰ
に対する信号である。また、パターンＰに対する教師信
号ｙmkP９の逆シグモイド変換をｆ~1(ｙmkP)８とする。
に対する信号である。また、パターンＰに対する教師信
号ｙmkP９の逆シグモイド変換をｆ~1(ｙmkP)８とする。
【００５１】ここで、パターンＰに対する誤差信号ｅkP
１１を
１１を
【００５２】
【数１９】 ｅkP＝ｆ~1(ｙmkP)−ｓkP …（数１９） とし、全パターンに対する各出力層毎の二乗誤差の評価
関数を次式と定義する。
関数を次式と定義する。
【００５３】
【数２０】
【００５４】まず、荷重計算回路１３の設計を行う。
今、誤差ＥkAをシナプス荷重Ｖk(式１７）に関して最小
化することを考える。すると、シナプス荷重Ｖk の微小
変化に対する誤差ＥkAへの影響は以下のように分解で
き、最小点が存在することから下式を零と置く。
今、誤差ＥkAをシナプス荷重Ｖk(式１７）に関して最小
化することを考える。すると、シナプス荷重Ｖk の微小
変化に対する誤差ＥkAへの影響は以下のように分解で
き、最小点が存在することから下式を零と置く。
【００５５】
【数２１】
【００５６】これより、上式の右辺第１項が正則なら
ば、ＶkをＶkPと置き
ば、ＶkをＶkPと置き
【００５７】
【数２２】
【００５８】としてＶkPを定めればよい。これを逐次式
に書き改めると次式となる。
に書き改めると次式となる。
【００５９】
【数２３】
【００６０】
【数２４】
【００６１】ただし、
【００６２】
【数２５】
【００６３】
【数２６】
【００６４】例えば、λ1P＝１，λ2P＝１とすると上式
は逐次型最小二乗法アルゴリズムとなる。
は逐次型最小二乗法アルゴリズムとなる。
【００６５】また、
【００６６】
【数２７】
【００６７】
【数２８】
【００６８】と設定すると、ГPのトレースを一定とす
ることもできる。
ることもできる。
【００６９】次に、荷重計算回路１４の設計を行う。入
力層２と中間層４間のシナプス荷重ｗji３の学習方法
は、誤差信号１１（数１９）に対し、従来の誤差逆伝播
法で学習を行う。まず、パターンＰに対する二乗誤差を
定義する。
力層２と中間層４間のシナプス荷重ｗji３の学習方法
は、誤差信号１１（数１９）に対し、従来の誤差逆伝播
法で学習を行う。まず、パターンＰに対する二乗誤差を
定義する。
【００７０】
【数２９】
【００７１】シナプス荷重ｗkjの変化量を最急降下法よ
り以下のように定める。
り以下のように定める。
【００７２】
【数３０】
【００７３】上式に数１３のように前回の修正量を考慮
し高速化することもできる。
し高速化することもできる。
【００７４】図４は、本発明の一実施例の実行手順を示
す図である。まず、図１の構成でシナプス荷重の学習
（ステップ４０１）を、次式の絶対値誤差がある設定値
ＥR 以下になるまで繰り返す（ステップ４０２）。
す図である。まず、図１の構成でシナプス荷重の学習
（ステップ４０１）を、次式の絶対値誤差がある設定値
ＥR 以下になるまで繰り返す（ステップ４０２）。
【００７５】
【数３１】
【００７６】次に、シナプス荷重を固定して、図２の構
成でパターン変換を実施する（ステップ４０３）。この
場合、図１の学習は、読み込み専用メモリ（ＲＯＭ）と
ランダムアクセスメモリ（ＲＡＭ）で実施し、図２のパ
ターン変換は、ＲＯＭで実施することが可能となる。
成でパターン変換を実施する（ステップ４０３）。この
場合、図１の学習は、読み込み専用メモリ（ＲＯＭ）と
ランダムアクセスメモリ（ＲＡＭ）で実施し、図２のパ
ターン変換は、ＲＯＭで実施することが可能となる。
【００７７】図５は、本発明の一実施例の実行手順を示
す図である。まず、図５で説明したのと同様に、図１の
構成でシナプス荷重の学習（ステップ５０１）を、(数
３１)の絶対値誤差がある設定値ＥR 以下になるまで繰
り返す（ステップ５０２）。
す図である。まず、図５で説明したのと同様に、図１の
構成でシナプス荷重の学習（ステップ５０１）を、(数
３１)の絶対値誤差がある設定値ＥR 以下になるまで繰
り返す（ステップ５０２）。
【００７８】次に、図２の構成でパターン変換を実施す
る（ステップ５０３）。この時、式（数３１）の絶対値
をパターン変換毎に監視し（ステップ５０４）、もし、
その値がある設定値ＥS 以下ならばシナプス荷重をその
まま固定させてパターン変換を繰り返し（ステップ５０
６）、その値がある設定値以上ならば図１の構成にネッ
トワークの構造を変化させて、シナプス荷重を学習する
(ステップ５０５０)。この場合、読み込み専用メモリ
（ＲＯＭ）とランダムアクセスメモリ（ＲＡＭ）でネッ
トワークを実施する。
る（ステップ５０３）。この時、式（数３１）の絶対値
をパターン変換毎に監視し（ステップ５０４）、もし、
その値がある設定値ＥS 以下ならばシナプス荷重をその
まま固定させてパターン変換を繰り返し（ステップ５０
６）、その値がある設定値以上ならば図１の構成にネッ
トワークの構造を変化させて、シナプス荷重を学習する
(ステップ５０５０)。この場合、読み込み専用メモリ
（ＲＯＭ）とランダムアクセスメモリ（ＲＡＭ）でネッ
トワークを実施する。
【００７９】本発明の学習処理装置の有効性を確認する
ために以下で排他的論理和(ＸＯＲ)の学習結果を示す。
この問題の応用として、種々のパターン認識が考えられ
る。
ために以下で排他的論理和(ＸＯＲ)の学習結果を示す。
この問題の応用として、種々のパターン認識が考えられ
る。
【００８０】以下の表１に排他的論理和（ＸＯＲ）の入
出力関係を示す。
出力関係を示す。
【００８１】
【表１】
【００８２】この関係をニューラルネットワークが獲得
するためには、中間層の学習が必要となる。３層ニュー
ラルネットワークの構成で学習を行った。入力層ユニッ
ト数２，中間層ユニット数２，出力層ユニット数１であ
る。全てのシナプス荷重は±１の範囲の乱数で初期化
し、全てのオフセット量は０，＋１の範囲の乱数で初期
化した。
するためには、中間層の学習が必要となる。３層ニュー
ラルネットワークの構成で学習を行った。入力層ユニッ
ト数２，中間層ユニット数２，出力層ユニット数１であ
る。全てのシナプス荷重は±１の範囲の乱数で初期化
し、全てのオフセット量は０，＋１の範囲の乱数で初期
化した。
【００８３】図６に本発明による学習パラメータγ0 と
ηに関する学習結果を、図７に従来の誤差逆伝播法によ
る学習パラメータηとαに関する学習結果を示す。縦軸
は、（数３１）で定義される絶対値誤差が０.１ 以下に
なるのに要した学習のステップ数である。
ηに関する学習結果を、図７に従来の誤差逆伝播法によ
る学習パラメータηとαに関する学習結果を示す。縦軸
は、（数３１）で定義される絶対値誤差が０.１ 以下に
なるのに要した学習のステップ数である。
【００８４】本発明の学習方法では、数２７のσを１と
し、また、ｗjiの学習を（数３０）で学習を行ってい
る。
し、また、ｗjiの学習を（数３０）で学習を行ってい
る。
【００８５】一方、従来の誤差逆伝播法では、数１２，
数１３を用い学習を行っている。
数１３を用い学習を行っている。
【００８６】本発明の学習方法では、最短で２７ステッ
プ(γ0＝１０.０，η＝０.０１の場合）で学習を終了し
ているのに対し、誤差逆伝播法では最短で１５３ステッ
プ（η＝１.０，α＝０.９の場合）で学習を終了してい
る。また、図より誤差逆伝播法はαに対し線形に学習ス
テップ数が減少するのに対し、本発明の学習方法ではγ
0 に対し指数関数的に学習ステップ数が減少するのが分
かる。本発明の学習法は誤差逆伝播法に比べ全体的にみ
て５倍から１０倍の高速性が実現できる。
プ(γ0＝１０.０，η＝０.０１の場合）で学習を終了し
ているのに対し、誤差逆伝播法では最短で１５３ステッ
プ（η＝１.０，α＝０.９の場合）で学習を終了してい
る。また、図より誤差逆伝播法はαに対し線形に学習ス
テップ数が減少するのに対し、本発明の学習方法ではγ
0 に対し指数関数的に学習ステップ数が減少するのが分
かる。本発明の学習法は誤差逆伝播法に比べ全体的にみ
て５倍から１０倍の高速性が実現できる。
【００８７】なお、上述した実施例では、中間層と出力
層間のシナプス荷重の学習を最小二乗法アルゴリズムを
用いて実施する方法を示したが、本発明は、最小二乗法
アルゴリズムに限定するものではなく、例えば、高速学
習が可能な共役勾配法や、種々の最適化アルゴリズムを
用いても良い。
層間のシナプス荷重の学習を最小二乗法アルゴリズムを
用いて実施する方法を示したが、本発明は、最小二乗法
アルゴリズムに限定するものではなく、例えば、高速学
習が可能な共役勾配法や、種々の最適化アルゴリズムを
用いても良い。
【００８８】また、上述した実施例では、３層のニュー
ラルネットワークに対し説明したが、本発明は層数を限
定するものではない。
ラルネットワークに対し説明したが、本発明は層数を限
定するものではない。
【００８９】
【発明の効果】本発明の学習処理装置および学習方法で
は、中間層と出力層間のシナプス荷重を高速高精度に学
習することが可能であるため、全体としての学習速度と
学習精度を向上させることができる。
は、中間層と出力層間のシナプス荷重を高速高精度に学
習することが可能であるため、全体としての学習速度と
学習精度を向上させることができる。
【図１】本発明の一実施例を示す学習時におけるニュー
ラルネットワーク構造の説明図。
ラルネットワーク構造の説明図。
【図２】パターン変換時におけるニューラルネットワー
ク構造の説明図。
ク構造の説明図。
【図３】従来の誤差逆伝播法による学習時のニューラル
ネットワーク構造の説明図。
ネットワーク構造の説明図。
【図４】本発明の一実施例を示す実行手順のフローチャ
ート。
ート。
【図５】本発明の一実施例を示す実行手順のフローチャ
ート。
ート。
【図６】本発明の一実施例による実行結果の説明図。
【図７】従来の誤差逆伝播法による学習結果の説明図。
１…入力データ、２…入力層、３…シナプス荷重、４…
中間層、５…シナプス荷重、６…出力層、８…逆シグモ
イド関数、９…教師信号、１１…誤差信号、１３…荷重
計算回路、１４…荷重計算回路。
中間層、５…シナプス荷重、６…出力層、８…逆シグモ
イド関数、９…教師信号、１１…誤差信号、１３…荷重
計算回路、１４…荷重計算回路。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成５年３月２２日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図１】本発明の一実施例を示す学習時におけるニュ−
ラルネットワ−ク構造の説明図。
ラルネットワ−ク構造の説明図。
【図２】パタ−ン変換時におけるニュ−ラルネットワ−
ク構造の説明図。
ク構造の説明図。
【図３】従来の誤差逆伝播法による学習時のニュ−ラル
ネットワ−ク構造の説明図。
ネットワ−ク構造の説明図。
【図４】本発明の一実施例を示す実行手順のフロ−チャ
−ト。
−ト。
【図５】本発明の一実施例を示す実行手順のフロ−チャ
−ト。
−ト。
【図６】本発明の一実施例による実行結果の説明図。
【図７】従来の誤差逆伝播法による学習結果の説明図。
【符号の説明】 １…入力デ−タ、２…入力層、３…シナプス荷重、４…
中間層、５…シナプス荷重、６…出力層、８…逆シグモ
イド関数、９…教師信号、１１…誤差信号、１３…荷重
計算回路、１４…荷重計算回路。
中間層、５…シナプス荷重、６…出力層、８…逆シグモ
イド関数、９…教師信号、１１…誤差信号、１３…荷重
計算回路、１４…荷重計算回路。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正内容】
【図１】
【図２】
【図４】
【図３】
【図５】
【図６】
【図７】
Claims (1)
- 【請求項１】シグモイド状の非線形関数を内部にもち、
人工的神経素子に対応する信号処理を行う複数のユニッ
トにより構成された入力層，中間層、および出力層を備
える信号処理部と、前記入力層に入力される入力信号パ
ターンに対する前記出力層の出力値と教師信号との誤差
信号に基づいて前記各ユニット間の結合の強さの係数を
前記出力層側から前記入力層側に向かって、順次、繰り
返し計算する学習処理部とを備えたニューラルネットワ
ークの学習処理装置において、 前記中間層と前記出力層間の前記結合の強さの係数を学
習する第一の学習処理部と、 それ以外の前記結合の強さの係数を学習する第二の学習
処理部を設けたことを特徴とするニューラルネットワー
クの学習処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4244467A JPH0696046A (ja) | 1992-09-14 | 1992-09-14 | ニューラルネットワークの学習処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4244467A JPH0696046A (ja) | 1992-09-14 | 1992-09-14 | ニューラルネットワークの学習処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0696046A true JPH0696046A (ja) | 1994-04-08 |
Family
ID=17119087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4244467A Pending JPH0696046A (ja) | 1992-09-14 | 1992-09-14 | ニューラルネットワークの学習処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0696046A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01113077A (ja) * | 1987-10-26 | 1989-05-01 | Hea Dr Kk | 頭髪育毛装置 |
| WO2025197105A1 (ja) * | 2024-03-22 | 2025-09-25 | 三菱電機株式会社 | 推定装置及び推定方法 |
-
1992
- 1992-09-14 JP JP4244467A patent/JPH0696046A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01113077A (ja) * | 1987-10-26 | 1989-05-01 | Hea Dr Kk | 頭髪育毛装置 |
| WO2025197105A1 (ja) * | 2024-03-22 | 2025-09-25 | 三菱電機株式会社 | 推定装置及び推定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5592589A (en) | Tree-like perceptron and a method for parallel distributed training of such perceptrons | |
| Li | Neural network models for intelligent support of mark‐up estimation | |
| Li | A sigma-pi-sigma neural network (SPSNN) | |
| JPH07114524A (ja) | 信号処理装置 | |
| JPH0696046A (ja) | ニューラルネットワークの学習処理装置 | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JPH05197705A (ja) | ニューラルネットワークの学習システム | |
| JP2606317B2 (ja) | 学習処理装置 | |
| JP2979562B2 (ja) | 学習処理装置 | |
| Nikravesh et al. | Process control of nonlinear time variant processes via artificial neural network | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| JP2654686B2 (ja) | ニューラルネットワーク | |
| JP3393511B2 (ja) | 文字認識装置及び方法 | |
| JP7792178B1 (ja) | スパイキングニューラルネットワーク装置 | |
| JPH02309447A (ja) | 相互結合型ニューラルネットワークの学習方法 | |
| Cios et al. | Neural networks in detection of coronary artery disease | |
| JPH0281161A (ja) | 信号処理装置 | |
| JPH05128086A (ja) | ネツトワーク型情報処理システム | |
| JPH1091608A (ja) | データ処理装置 | |
| JPH03210686A (ja) | 神経回路網装置 | |
| JPH05159088A (ja) | 神経回路網装置及びその学習方法 | |
| JPH03273444A (ja) | ニューラルネットワークの学習方法 | |
| JPH05159086A (ja) | ニューラルネットワークの学習方式 | |
| JPH04323763A (ja) | ニューラルネットワーク学習方法 | |
| JPH0736183B2 (ja) | ネットワーク構成データ処理装置 |