JP3368774B2

JP3368774B2 - ニューラルネットワーク

Info

Publication number: JP3368774B2
Application number: JP31126496A
Authority: JP
Inventors: 陽太郎八塚; 大榎本
Original assignee: ケイディーディーアイ株式会社
Priority date: 1996-11-08
Filing date: 1996-11-08
Publication date: 2003-01-20
Anticipated expiration: 2016-11-08
Also published as: JPH10143487A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、大規模論理回路、
パターン認識、連想メモリ、データ変換及び画像処理な
どの分野に適用可能なニューラルネットワークにおい
て、不正解出力の出力誤差の状況をみて学習に関連した
パラメータを調整することにより高速かつ安定に所望の
出力信号を得ることができる多値ニューラルネットワー
クに関するものである。

【０００２】

【従来の技術】ニューラルネットワークの従来技術の１
つとして、多層（階層）ニューラルネットワークがある
が、このニューラルネットワークの教師信号を用いた学
習方法として、バック・プロパゲーション・アルゴリズ
ムが幅広く使用されている。本アルゴリズムを用いた学
習過程では、重み係数を初期設定した後、予め用意され
た教師信号Ｔ（教師信号エレメント、Ｔ_１、
Ｔ_２、...、Ｔ_Ｍ）から、入力層に入力された学習用入
力信号に対する出力層からの出力ユニット信号を減算器
を介して差し引き誤差信号を求め、各層の出力ユニット
信号と誤差信号とを基に誤差信号の電力を最小にするよ
うに各層間の重み係数の更新を行い学習を行うものであ
る。この重み係数適応制御からなる学習をすべての学習
用入力信号に対して実行し、要求された精度の下で正し
い出力が得られる収束状態になるまで繰り返す。

【０００３】この学習過程に於て誤差電力が最小となる
と、学習用入力信号に対する多値出力ユニット信号が多
値教師信号と一致し、収束した状態になる。しかしなが
ら、誤差電力が局部極小（ローカルミニマム）となる所
に一旦落ち込むと、それが非常に安定な場合はそれ以降
は学習させても誤差電力が最小とならないこと、また、
最小の状態になるためには学習回数が著しく増加するこ
とや、収束特性に重み係数の初期値依存性があるなどの
問題がある。

【０００４】第２の従来技術として、例えば、０および
１の２値教師信号Ｔに対して２値ニューラルネットワー
クの学習速度を改善するために"Parallel Distributed
Processing" D.E. Rumelhart, MIT Press.に述べられて
いる方式がある。ここでは、図１に示す従来方式の学習
を用いた多層ニューラルネットワークにおいて、それぞ
れのエレメントに対して０．１及び０.９の新たな教師
信号Ｔ’を設定し、動作モード制御器９からの制御信号
により夫々初期設定を行った後、学習を開始する。端子
３からの教師信号Ｔ’から、端子２からの学習用入力信
号に対する多層ニューラルネットワーク１の出力ユニッ
ト信号を減算器４を介して差し引き誤差信号を求め、こ
れを重み係数制御器５に入力し、学習係数と慣性係数か
らなる学習パラメータを用いたバックプロパゲーション
アルゴリズムにより重み係数更新を行い、多層ニューラ
ルネットワーク１に再度設定する処理を繰り返し学習す
る。２値識別スレショルドを用いて２値化する２値スレ
ショルド回路６を介して出力ユニット信号から２値出力
ユニット信号を得、また、２値識別スレショルドを用い
て２値化する２値スレショルド回路７を介して教師信号
Ｔ’から２値教師信号Ｔを得、一致検出器８にてこれら
が完全に一致する状態を検出することにより、多層ニュ
ーラルネットワーク１が２値空間で収束したとして動作
モード制御器９を介して学習が終了する。

【０００５】このように教師信号Ｔ’を０．１及び０.
９に設定することにより、０及び１の２値教師信号の場
合に比較して収束するための学習回数が削減されること
が述べられている。これは、シグモイド関数において、
入力が０あるいは１に近づくと、勾配が非常に小さくな
ることにより、重み係数の更新速度が小さくなることの
理由による。このため、教師信号を０．１及び０.９に
設定し、勾配を大きくすることにより、収束の為の学習
速度を改善している。しかしながら、同様に安定したロ
ーカルミニマムに落ち込む場合があり、一旦落ち込むと
学習が進展しない欠点や、収束するものの、教師信号が
０．１、０．９であり、出力ユニット信号がこれらの値
に最終的に近づき正解を出力する余裕が小さくなること
から汎化能力が劣化する欠点を有している。

【０００６】第３の従来技術として、誤差摂動型学習方
式（特願平７−７７１６８、名称；ニューラルネットワ
ーク学習方式）を例にとり、学習過程における問題点を
明らかにする。誤差摂動型学習方式の１構成例を図３に
示す。多層ニューラルネットワーク１は端子２からの学
習用入力信号と端子３からの２値教師信号Ｔとを用いて
学習を行う。重み係数更新誤差信号生成器１０におい
て、学習状態判定器１１からの出力ユニットの正誤判定
信号により正解の２値出力ユニット信号が検出された出
力ユニットに対しては、２値教師信号からその出力ユニ
ット信号を差し引いて得られた誤差信号を、例えば、式
（１）のごとく、その誤差信号の絶対値が予め与えられ
た第１のスレショルドＤ１より小さい場合には、誤差信
号に対して逆極性で教師信号Ｔから離れるに従い振幅が
小さくなるＤ１（但し≧０）以下の振幅を持つ重み係数
更新誤差信号を生成し出力させ、誤差信号の絶対値が前
記スレショルド以上である場合には、同一極性でＤ１程
小さい振幅を持った重み係数更新誤差信号を生成し出力
させる。

【０００７】一方、不正解の出力ユニット信号を与えて
いる出力ユニットにおいては、例えば、式（２）のごと
く振幅を予め与えられた第１の定数Ｄ２程小さくして重
み係数更新誤差信号として出力させる。重み係数制御器
５では、この重み係数更新誤差信号を用いてバックプロ
パゲーションアルゴリズムにより重み係数修正を行い、
誤差信号の電力が最小となるよう学習を繰り返す。学習
状態判定器１１において、全ての学習用入力信号に対す
る２値出力ユニット信号が２値教師信号と一致し正しく
なると収束したと見做して、動作モード制御器１２を介
して学習終了信号を送出し、多層ニューラルネットワー
ク１の学習を終了させる。また、場合によっては、更
に、正しい２値出力ユニット信号を送出している出力ユ
ニットに関して、出力ユニット信号と教師信号とから計
算し求められた正しい出力を得ている余裕の内で、全学
習用入力信号に対して最小の余裕即ち最小余裕が、予め
与えられた第４のスレショルドを越えた時点で、収束し
たと見做して学習を終了させることもある。動作モード
制御器１２では、多層ニューラルネットワーク１と重み
係数制御器５と学習状態判定器１１の各初期設定、更に
学習の開始及び終了を制御する。

【０００８】ここで、２値教師信号を用いた場合の重み
係数更新誤差信号生成器１０に於ける重み係数更新誤差
信号の１生成方法を示す式を以下に示す。

【０００９】出力ユニットの２値出力ユニット信号が正
解の場合、Ｅｍ＝Ｔｍ−Ｙｍ−Ｄ１・ｓｇｎ（Ｔｍ−Ｙｍ）（１）

【００１０】出力ユニットの２値出力ユニット信号が不
正解の場合、Ｅｍ＝Ｔｍ−Ｙｍ−Ｄ２・ｓｇｎ（Ｔｍ−Ｙｍ）（２）

【００１１】ここで、ｓｇｎ（ｘ）＝１：ｘ≧０、＝−１：ｘ＜０、（３）

【００１２】ｍは出力ユニット番号（１≦ｍ≦Ｍ）、Ｅ
ｍは出力ユニットｍの重み係数更新誤差信号、Ｔｍは出
力ユニットｍの多値教師信号（２値の場合、０または
１）、Ｙｍは出力ユニットｍの出力ユニット信号、Ｄ１
は第１のスレショルドで０.５以下の０または正の定
数、Ｄ２は第１の定数で０.５以下の０または正の定数
とする。

【００１３】重み係数更新誤差信号生成器１０内の第１
のスレショルドＤ１及び第１の定数Ｄ２を適度に大きく
すれば、学習過程において非常に安定したローカルミニ
マムに落ち込むことは殆どなく、また、仮に落ち込んだ
としても容易にこの状態から逃れられ、全て正しい２値
出力ユニット信号を送出する収束状態になり、学習が速
い。しかしながら、特に、学習用入力信号数が非常に多
く、数千以上になると２値教師信号に従って学習用入力
信号を正しく区分けする為の境界領域面が非常に複雑に
なる場合は、学習係数や慣性係数の学習パラメータの設
定によっては、学習が進み不正解２値出力ユニット信号
の数がかなり少なくなった状況の後に、次第に不正解２
値出力ユニット信号数の減少速度が遅くなり、収束状態
に達する為の学習回数が増加する欠点がある。これは、
正解を与える為の余裕がＤ１程狭くなっていることの理
由によるものと考えられる。

【００１４】上記の説明のごとく、従来の学習方式で
は、上記の説明のごとくローカルミニマムの状態に落ち
込みやすく、また、なかなか抜け出せないことから、少
ない学習回数では完全な収束状態を簡単には到達できな
いなどの欠点がある。また、従来の誤差摂動型学習方式
では、それ以前の従来方式よりは著しく収束特性は改善
されるが、しかしながら、学習用入力信号が非常に多い
大規模なニューラルネットワークの学習の際に、学習用
入力信号を正しく区分けする為の境界領域面が非常に複
雑になり、ローカルミニマムの状態に落ち込むことは無
いが、正解を出力する余裕がＤ１ほど狭まり、全て正し
い２値出力ユニット信号を送出する完全な収束状態に到
達するに必要な学習回数が増える欠点がある。ここで
は、２値ニューラルネットワークを例にあげ説明した
が、これらは多値教師信号を用いた場合にも同様の欠点
を有している。

【００１５】

【発明が解決しようとする課題】上記の説明のごとく、
多値教師信号を用いたニューラルネットワークの従来の
学習処理において、ニューラルネットワークが学習用入
力信号に対応した所望の多値出力ユニット信号を送出す
るよう重み係数を更新する際に、学習用入力信号によっ
ては所望の多値出力ユニット信号を送出する収束した状
態に到達するまでの学習回数即ち学習繰り返し回数が非
常に多くなるなどの欠点を有している。

【００１６】本発明の目的は、上記の問題を解決し、従
来の学習方式などに比べて、非常に少ない学習回数で収
束し、高速度で安定に学習を完了させることが出来、学
習用入力信号に対して所望の多値出力ユニット信号を容
易に得ることができると共に、高い汎化能力を有した多
値ニューラルネットワークの新たな学習方式を提供する
ことにある。

【００１７】

【課題を解決するための手段】上記の問題点を解決する
ために、教師信号を用いて学習させるニューラルネット
ワークにおいて、該教師信号から正解の出力ユニットの
出力ユニット信号を差し引いて得た誤差信号の絶対値が
第１のスレショルドＤ１以下の場合、該誤差信号と逆極
性を持ち該教師信号から離れるに従い振幅が小さくなる
重み係数更新誤差信号を、該誤差信号の絶対値が該第１
のスレショルドＤ１より大きい場合、該誤差信号より小
さい振幅を持った同極性の重み係数更新誤差信号を少な
くとも生成し、該重み係数更新誤差信号を用いて重み係
数を更新し学習を行い、不正解の出力ユニットにおける
該誤差信号の絶対値の全学習用入力信号に対する最大値
が第２のスレショルドより小さいと、該第１のスレショ
ルドＤ１を減少させて学習させることを特徴としたニュ
ーラルネットワークを構成する。

【００１８】また、上記の特徴を持った該ニューラルネ
ットワークの学習方式において、該第１のスレショルド
Ｄ１を零に設定して、学習を開始させ、予め規定された
学習回数の時点で該最大値が第３のスレショルド以上の
場合には、該第１のスレショルドを零でない値に設定し
て学習させることを特徴としたニューラルネットワーク
を構成する。

【００１９】本発明のニューラルネットワークにおい
て、多値を適用した多値ニューラルネットワークを例に
その作用を明らかにする。多値ニューラルネットワーク
の学習方式においては、多値教師信号から差し引いて得
られる誤差信号が第１のスレショルドＤ１以下で多値教
師信号に非常に近く正解の多値出力ユニット信号を与え
ている出力ユニットにおいて、誤差信号とは逆極性を持
った該教師信号から離れるに従い振幅が小さくなる重み
係数更新誤差信号と、更に誤差信号が第１のスレショル
ドより大きく多値教師信号から比較的近い正解の多値出
力ユニット信号を与えている出力ユニットにおいて、誤
差信号と同一極性のＤ１程小さい振幅を持った重み係数
更新誤差信号とを少なくとも用いて、それぞれの重み係
数を更新し学習する。学習過程で、全学習用入力信号に
対して不正解の出力ユニットの誤差信号の絶対値が最大
である出力ユニット最大誤差を検出し、これが与えられ
た第２のスレショルド以下である場合には、安定したロ
ーカルミニマム捕獲状態に落ち込むことは殆どないこと
から、その後は誤差摂動パラメータ、即ち第１のスレシ
ョルドＤ１及び第１の定数Ｄ２をより小さく或いは零と
して学習させている。これにより、正しい多値出力ユニ
ット信号を送出している余裕度が改善され、学習速度が
速まり最終的に少ない学習回数で収束し、而も高い汎化
特性を実現できる。

【００２０】上記説明のごとく本発明のニューラルネッ
トワークの学習方式は、大量の学習用入力信号の学習の
際にも、非常に安定したローカルミニマム捕獲状態に捕
われることなく、従来方式に比べて非常に高速に且つ確
実に収束させ、所望の多値出力ユニット信号を容易に得
ることができることから、大規模な多値ニューラルネッ
トワークを自由に設計できる。また、実時間で学習をや
り直す必要のある学習機能を持った論理システムや、非
常に多くの入力信号エレメント数を持った入力信号やユ
ニット数の多い多層ニューラルネットワークを用いた多
値論理システムを実現できる。更に、従来方式では安定
で高速且つ確実に収束させることができず所望の出力信
号を得ることが困難であったパターン認識や画像処理な
ど、更には、データ変換、エキスパートシステムなども
容易に設計し実現することが可能となる。

【００２１】

【発明の実施の形態】以下に本発明のニューラルネット
ワークの学習方式を用いた２値ニューラルネットワーク
の実施例をあげ、その構成及びその動作について、２値
教師信号を用いた場合について詳細に説明する。

【００２２】本発明のニューラルネットワークの学習方
式を用いた２値ニューラルネットワークの学習過程の１
実施例を図１に示す。端子２から入力信号が入力層の入
力ユニットに入力され、出力層の出力ユニットから出力
ユニット信号を送出する多層ニューラルネットワーク
１、２値教師信号と出力ユニット信号と出力正誤判定器
１３からの正誤判定信号とを入力とし、重み係数更新誤
差信号を出力する重み係数更新誤差信号生成器１０、出
力ユニット信号を２値化し２値出力ユニット信号を得る
２値スレショルド回路６、入力された重み係数更新誤差
信号及び設定されている学習パラメータを用いて多層ニ
ューラルネットワーク１の重み係数を更新し設定する重
み係数制御器１４、２値教師信号と２値出力ユニット信
号とを入力とし、２値教師信号と２値出力ユニット信号
とを比較し出力ユニット内の正解、不正解を検出し正誤
判定信号と、２値教師信号と２値出力ユニット信号との
一致を示す出力一致信号を送出する出力正誤判定器１
３、出力正誤判定器１３からの正誤判定信号と２値教師
信号と出力ユニット信号とを入力し、不正解の出力ユニ
ットにおいて出力ユニット信号と２値教師信号との差の
絶対値の全学習用入力信号に対する最大値、即ち不正解
出力ユニット最大誤差を検出する不正解出力ユニット最
大誤差検出器１６と、正解の出力ユニットにおいて出力
ユニット信号と２値スレショルド回路６の閾値との差の
絶対値として与えられる余裕の全学習用入力信号に対す
る最小値、即ち正解出力ユニット最小余裕を検出する正
解出力ユニット最小余裕検出器１７と、出力正誤判定器
１３からの出力一致信号と不正解出力ユニット最大誤差
及び正解出力ユニット最小余裕とが入力される学習状態
判定器１８、多層ニューラルネットワーク１と重み係数
制御器５と出力正誤判定器１３、不正解出力ユニット最
大誤差検出器１６、正解出力ユニット最小余裕検出器１
７及び学習状態判定器１８の各初期設定、更に学習の開
始制御を行うと共に学習状態判定器１８からの学習終了
信号を元に各部の終了制御をする動作モード制御器１５
とから構成される。

【００２３】次に学習過程における動作を説明する。多
層ニューラルネットワーク１は端子２からの学習用入力
信号と端子３からの２値教師信号とを用いて学習を行
う。重み係数更新誤差信号生成器１０において、出力正
誤判定器１３からの正誤判定信号により不正解の２値出
力ユニット信号が検出された出力ユニットに対しては、
２値教師信号からその出力ユニット信号を差し引いて得
られた誤差信号を式（２）のごとく振幅を第１の定数Ｄ
２程小さくして重み係数更新誤差信号として出力させ、
一方、正解の出力ユニット信号を与えている出力ユニッ
トにおいては、その誤差信号の絶対値が与えられた第１
のスレショルドＤ１以下であると、逆極性で該教師信号
から離れるに従い小さくなる重み係数更新誤差信号を生
成し出力させ、誤差信号の絶対値が第１のスレショルド
Ｄ１より大きいと、同一極性でＤ１程小さい振幅を持っ
た重み係数更新誤差信号を生成し出力させる。

【００２４】ここで、Ｄ１を収束領域と定めれば、連続
量の教師信号を扱うニューラルネットワークにも同様に
適用出来る。重み係数制御器５では、この重み係数更新
誤差信号を用いてバックプロパゲーションアルゴリズム
により重み係数修正を行い、誤差信号の電力が最小とな
るよう学習を繰り返す。また、第１の定数Ｄ２は、Ｄ１
≠０の下で非常に稀にローカルミニマムに捕獲された
時、素早く逃れる働きをするが、殆ど発生しないこと、
Ｄ１も逃れる働きをすることからＤ２＝０としてもよ
い。

【００２５】学習状態判定器１８に於て、不正解出力ユ
ニット最大誤差検出器１６からの不正解出力ユニット最
大誤差が第２のスレショルド以下となると、学習が進み
安定したローカルミニマムに捕獲されにくい状態である
ことを意味していることから、重み係数更新誤差信号生
成器１０に誤差摂動パラメータの変更要求出力を送出
し、重み係数更新誤差信号生成器１０での誤差摂動パラ
メータを零（Ｄ１＝０、Ｄ２＝０）とし、誤差摂動を止
めた状態で学習を継続させる。その後、安定したローカ
ルミニマムに捕獲されることは通常ない。但し、大きい
Ｄ１が設定されている場合には、これを急に零とする
と、重み係数の状態が完全に初期化される場合があるこ
とから、その後ローカルミニマムに捕獲される可能性が
生じる。従って、この場合には、小さな値のＤ１を一旦
設定して学習させ、再び不正解出力ユニット最大誤差が
第２のスレショルド以下となった時点でＤ１＝０に設定
し学習させることにより、ローカルミニマムに捕獲され
ることはなく収束させることができる。

【００２６】いずれの場合も、最終的に誤差摂動パラメ
ータＤ１、Ｄ２を零として学習させた後、出力正誤判定
器１３に於て、誤りがなくなり２値教師信号と２値出力
ユニット信号とが一致した収束状態を検出すると一致信
号を学習状態判定器１８へ送出する。学習状態判定器１
８においては、前記の一致した収束状態で且つ正解出力
ユニット最小余裕検出器１７の出力信号である正解出力
ユニット最小余裕が予め与えられた第４のスレショルド
を越えるまで、重み係数制御器５にて重み係数の更新を
継続させ、一旦スレショルドを越えると、学習状態判定
器１８から動作モード制御器１５を介して学習終了信号
を送出し、多層ニューラルネットワーク１の学習を終了
させる。これにより、不必要な学習を避けるとともに、
Ｄ１＝０であることから正しい２値出力ユニット信号を
送出する余裕度の劣化も無く非常に高い汎化能力を得る
ことができる。

【００２７】上記の学習方式は、従来方式より明らかに
安定且つ確実に高速収束させることができる。しかしな
がら、重み係数の初期値によっては、誤差摂動を導入し
なくとも安定したローカルミニマムに捕獲されることな
く非常に少ない学習回数で高速収束する場合がある。従
って、上記のニューラルネットワーク学習方式におい
て、誤差摂動パラメータを零、即ち第１のスレショルド
Ｄ１及び第１の定数Ｄ２を零に設定して、学習を開始さ
せ、予め規定された学習回数の時点で不正解出力ユニッ
ト最大誤差が第３のスレショルド以上の場合には、ロー
カルミニマムに捕獲される可能性が非常に高いことか
ら、少なくとも第１のスレショルドＤ１を零でない値に
設定して、上記の如く誤差摂動を導入し学習を継続さ
せ、誤差摂動パラメータを調整し収束させる。一方、第
３のスレショルドより小さい場合には、ローカルミニマ
ムに捕獲されることは殆どないことから、誤差摂動を導
入しないで、Ｄ１及びＤ２を零としたまま学習を継続さ
せ、高速収束させてもよい。

【００２８】学習状態判定器１８において、このように
重み係数の初期値のローカルミニマム捕獲への影響を不
正解出力ユニット最大誤差を用いて検出し判断すること
により、よりいっそう高速に収束状態に到達させること
が出来る。これまでのシミュレーションによれば、第１
のスレショルドＤ１及び第１の定数Ｄ２を零に設定して
学習を開始させた後、重み係数の初期値の影響で、例え
ば、学習回数が５回の時点で不正解出力ユニット最大誤
差が１に非常に近い値を持ち、第３のスレショルド、例
えば０. ９８を越えている場合には、そのまま学習を継
続しても、不正解出力ユニット最大誤差が１に非常に近
い値を保持した状態が継続し、不正解の出力数が少なく
なった時点で、急に安定したローカルミニマムに捕獲さ
れる可能性が非常に高いことがシミュレーションにより
確認されている。また、１から離れた値を持つ場合に
は、その後の学習が進むにつれて２値出力ユニット信号
は順調に素早く全て正解となり高速収束する。したがっ
て、学習状態判定器１８において、学習を開始した後、
予め規定された学習回数の時点で不正解出力ユニット最
大誤差検出器１６からの不正解出力ユニット最大誤差と
第３のスレショルドとを比較し、それ以降の学習に誤差
摂動を導入するかどうか、即ち、少なくともＤ１≠０と
するかどうかを判断させてその後の学習を行わせること
により、よりいっそう高速に収束状態に到達させること
が出来る。

【００２９】上記では、学習用入力信号に対する一連の
学習方式について述べたが、この外に学習用入力信号追
加型反復学習方式と呼ばれる反復学習方式がある。即
ち、与えられた学習用入力信号に対して、一旦、学習用
入力信号に対して全て正しい出力が得られる収束状態に
なり、第４のスレショルドを越え学習を終了した時点
で、汎化能力の評価の為にテスト用入力信号を入力し、
これに対する２値出力ユニット信号の正解・不正解を判
断して、誤りがある場合には、誤りを発生しているテス
ト用入力信号だけを学習用入力信号として移し、それま
での学習用入力信号に追加して、その新たな学習用入力
信号に対して再度学習する反復学習を行い、テスト用入
力信号に対して誤りが無ければ反復学習を終了する。こ
の反復学習方式に於て、反復学習を行う毎に重み係数の
初期値設定が行われるが、上記の重み係数の初期値のロ
ーカルミニマム捕獲への影響を不正解出力ユニット最大
誤差を用いて検出し判断することによって、誤差摂動パ
ラメータを制御することは、反復学習の高速化に非常に
効果が大きい。

【００３０】また、本実施例では詳細を省略するが、不
正解出力ユニット最大誤差の他に不正解出力ユニット最
小誤差を求め、学習状態判定器１８において、不正解出
力ユニット最小誤差あるいは収束してない状態での正解
出力ユニット最小余裕が、新たにそれぞれ準備されたス
レショルドいずれかを越えた状態になった場合には、安
定なローカルミニマム捕獲状態に捕われたと見做し、第
１のスレショルドＤ１及び第１の定数Ｄ２を一旦大きく
し、即ち誤差摂動パラメータＤ１、Ｄ２を増加させ、ロ
ーカルミニマム捕獲状態から逃れた後に、再び、Ｄ１及
びＤ２を小さくし誤差摂動パラメータを減少させて、収
束させてもよい。また、誤差摂動パラメータＤ１、Ｄ２
を変更させると共に、学習係数や慣性係数などの学習パ
ラメータを変更してもよい。

【００３１】尚、本発明の学習方式は、多値ニューラル
ネットワークとして、２値の例をあげ説明したが、この
他に連続量の教師信号を扱うニューラルネットワークに
おいても、教師信号に収束し正解とみなす為の予め与え
られた領域を設け、出力ユニット信号がその領域内にあ
れば正解、なければ不正解、また、全て正解で教師信号
と一致したとみなすことにより、上記と同様な方式を適
用できるなど一般の教師信号を用いたニューラルネット
ワークの学習に対しても幅広く適用できる。

【００３２】以上の実施例において、多層ニューラルネ
ットワークを前提に説明したが、教師信号を利用して学
習させるニューラルネットワークであれば、上記以外の
ニューラルネットワークを用いても良い。

【００３３】

【発明の効果】以上述べたように、本発明のニューラル
ネットワークの学習方式において、誤差摂動パラメータ
を適時調整することにより、学習過程において多値教師
信号と多値出力ユニット信号との間の誤りが変化しない
非常に安定したローカルミニマムやローカルミニマムで
はないが変化が緩やかな状態に陥いることなく、また、
誤差摂動に伴う正解出力を得る為の余裕を低減させるこ
となく、素早く確実に収束させることができ、非常に高
い汎化能力を実現できる。従って、従来の誤差摂動方式
より学習回数を１０倍程度短縮できる。また、ローカル
ミニマムに落ち込むことがないことから、必要最小限の
中間ユニット数あるいは中間層数を用いて安定に最適状
態に収束させることができ、ハードウェア規模や演算量
を少なくできる。

【００３４】本発明の学習方式を用いた多値ニューラル
ネットワークは、従来方式に比べて少ない中間層ユニッ
ト数あるいは中間層を用い、初期依存性もなく且つ低い
演算精度を持った重み係数で重み係数が高速かつ安定に
収束し、所望の多値出力信号を送出することができる。
このことから、従来技術では実現が困難な大規模な多値
論理回路などを本発明を用いた多値ニューラルネットワ
ークにより短時間で自由に設計し実現することや、これ
まで迅速な学習が必要で、且つ完全な収束が要求される
人工知能システムや検索システム、パターン認識、デー
タ変換、データ圧縮、多値画像処理さらには通信システ
ムなどへの幅広い応用ができるなどの非常に幅広い効果
を有している。

【図面の簡単な説明】

【図１】実施例における本発明のニューラルネットワー
クの学習方式を用いた多層ニューラルネットワークの学
習処理の１構成例である。

【図２】従来の学習方式による多層ニューラルネットワ
ークにおける学習処理の１構成例である。

【図３】従来の誤差摂動型学習方式による多層ニューラ
ルネットワークにおける学習処理の１構成例である。

【符号の説明】

１多層ニューラルネットワーク２入力信号入力端子２_１入力信号ユニット入力端子２_２入力信号ユニット入力端子２_Ｎ入力信号ユニット入力端子３教師信号入力端子３_１教師信号ユニット入力端子３_２教師信号ユニット入力端子３_Ｍ教師信号ユニット入力端子４減算器４_１減算器４_２減算器４_Ｍ減算器５重み係数制御器６２値スレショルド回路６_１２値スレショルド回路６_２２値スレショルド回路６_Ｍ２値スレショルド回路７２値スレショルド回路７_１２値スレショルド回路７_２２値スレショルド回路７_Ｍ２値スレショルド回路８一致検出器９動作モード制御器１０重み係数更新誤差信号生成器１０_１重み係数更新誤差信号生成器１０_２重み係数更新誤差信号生成器１０_Ｍ重み係数更新誤差信号生成器１１学習状態判定器１２動作モード制御器１３出力正誤判定器１４重み係数制御器１５動作モード制御器１６不正解出力ユニット最大誤差検出器１７正解出力ユニット最小余裕検出器１８学習状態判定器

フロントページの続き (56)参考文献特開平４−15860（ＪＰ，Ａ) 特開平４−251392（ＪＰ，Ａ) 特開平３−218559（ＪＰ，Ａ) 特開平８−249304（ＪＰ，Ａ) 特開平２−277180（ＪＰ，Ａ) 特開平４−30280（ＪＰ，Ａ) 八塚陽太郎，「誤差摂動による２値３層ニューラルネットワークの高速収束化」，電子情報通信学会1995年総合大会講演論文集，日本，社団法人電子情報通信学会，1995年３月10日，第１分冊，ｐｐ．24 八塚陽太郎，「誤差摂動型２値３層ニューラルネットワークに於けるローカルミニマムの検出と汎化特性」，電子情報通信学会1995年情報・システムソサエティ大会講演論文集，日本，社団法人電子情報通信学会，1995年８月15日，ｐｐ. 14 榎本大、八塚陽太郎，「２値３層誤差摂動切替型ニューラルネットワークの汎化能力を用いた学習データ追加型逐次学習の提案」，電子情報通信学会1996年情報・システムソサエティ大会講演論文集，日本，社団法人電子情報通信学会, 1996年８月30日，ｐｐ．30 榎本大、八塚陽太郎，「誤差摂動切替方式による２値３層ニューラルネットワークの汎化特性の改善」，電子情報通信学会1996年総合大会講演論文集，日本, 社団法人電子情報通信学会，1996年３月 11日，第１分冊，ｐｐ．21 Ｙａｔｓｕｚｕｋａ，Ｙ．，ＡｎＥｒｒｏｒＰｅｒｔｕｂａｔｉｏｎｆｏｒＬｅａｒｎｉｎｇａｎｄＤｅｔｅｃｔｉｏｎｏｆＬｏｃａｌＭｉｎｉｍａｉｎＢｉｎａｒｙ３− ＬａｙｅｒｅｄＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｐｒｏｃ．ｏｒ 1995 ＩＥＥＥＩｎｔ．Ｃｏｎｆ．ｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，1995年12 月，Ｖｏｌ．１，ｐｐ．63−68，（ＩＳＢＮ：０−7803−2768−３) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims

(57)【特許請求の範囲】

【請求項１】教師信号を用いて学習させるニューラル
ネットワークの学習において、該教師信号から正解の出
力ユニットの出力ユニット信号を差し引いて得た誤差信
号の絶対値が第１のスレショルド以下の場合、該誤差信
号と逆極性を持ち該教師信号から離れるに従い振幅が小
さくなる重み係数更新誤差信号を、該誤差信号の絶対値
が該第１のスレショルドより大きい場合、該誤差信号よ
り小さい振幅を持った同極性の重み係数更新誤差信号を
少なくとも生成し、該重み係数更新誤差信号を用いて重
み係数を更新し学習を行い、不正解の出力ユニットにお
ける該誤差信号の絶対値の全学習用入力信号に対する最
大値が第２のスレショルドより小さいと、該第１のスレ
ショルドを減少させて学習させることを特徴としたニュ
ーラルネットワーク。
【請求項２】請求項１記載のニューラルネットワーク
において、不正解の出力ユニットに対して該誤差信号よ
り第１の定数程小さい振幅を持った重み係数更新誤差信
号を生成し、該重み係数更新誤差信号を用いて重み係数
を更新し学習を行い、前記最大値が前記第２のスレショ
ルドより小さいと、該第１の定数を減少させて引き続き
学習させることを特徴としたニューラルネットワーク。
【請求項３】請求項１記載のニューラルネットワーク
において、前記第１のスレショルドを零に設定して、学
習を開始させ、予め規定された学習回数の時点で前記最
大値が第３のスレショルド以上の場合には、少なくとも
前記第１のスレショルドを零でない値に設定して学習さ
せることを特徴としたニューラルネットワーク。
【請求項４】請求項２記載のニューラルネットワーク
において、前記第１のスレショルド及び第１の定数をそ
れぞれ零に設定して、学習を開始させ、予め規定された
学習回数の時点で前記最大値が第３のスレショルド以上
の場合には、少なくとも前記第１のスレショルドを零で
ない値に設定して学習させることを特徴としたニューラ
ルネットワーク。
【請求項５】請求項１、２、３及び４記載のニューラ
ルネットワークにおいて、全学習用入力信号に対する出
力ユニット信号が前記教師信号と全て与えられた範囲内
で一致した後、該出力ユニット信号と該教師信号とから
正しい出力ユニット信号を得る余裕を求め、全学習用入
力信号に対する最小余裕が予め用意された第４のスレシ
ョルドより大きいと、学習を終了させることを特徴とし
たニューラルネットワーク。