JPH03257658A - ニューラルネットワークの動的システムモデル化方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （ａ）産業上の利用分野 この発明は中間層にフィードバックシナプス結合が含ま
れるニューラルネットワークの動的システムモ°デル化
方法に関する。

い）従来の技術 一般のニューラルネットワークは、第４図（Ａ）に示す
ように入力層Ｓと中間層Ａと出力層Ｒとで構成され、ニ
ューロンユニット素子およびシナプスの構造は同図（Ｂ
）に示すようになっているｕ’ｉは第ｍＮｉ番目のユニ
ット素子であることを表し、Ｗ”　ｂｉは第（ｍ−１）
層り番目から第ｍＮｉ番目へのシナプスの結合度を表し
ている。

θ角、は、第ｍＮｉ番目のしきい値を表す。また０・、
は、第ｍＮｉ番目のユニット素子の出力を表す。なお、
同図（Ａ）はバーセプトロン型（階層型）のニューラル
ネックワークを示している。このような従来のニューラ
ルネックワークは、３層に入力された信号をＡＮを経て
最絆のＲ層に伝達し、Ｒ層から結果を得る。また、上記
の構成では第４図（Ｂ）に示すようにシナプスの結合は
下位（入力側）から上位（出力）だけであるが、上位か
ら下位へのシナプス結合のあるネックワーク構造も提案
されている。このようなフィードバック結合のあるニュ
ーラルネックワーク構造ではネットワーク内の演算プロ
セスに時間要素が入るために単なるパターン認識以上の
処理が可能になってくる。

（Ｃ）発明が解決しようとする課題 しかし、従来のフィードバック結合のニューラルネック
ワークでは、あるモデル化を行うための学習を例えば第
５図に示すように行っていた。すなわち、入力層Ｓに対
して時間１＝０で所定のパターンの入力を与え、出力層
Ｒに対して出力教師信号Ｓ１を与えたのち、ｔ＝１で出
力教師信号Ｓ２を与え、さらにｔ＝２で出力教師信号Ｓ
３を与える。この間入力層Ｓには同じ入カバターンが入
力されたままになっている。同図では、出力層Ｒから中
間ＮＡの入力側に結合するシナプスｓｎを有しているた
めに、学習過程においては、ｔ＝１において１＝０の出
力０ＵＴ（ｔ＝ｏ）がフィードバック量として人カバタ
ーンと共に中間層Ａに対して与えられる。同様に、ｔ＝
２の時間においては中間層Ａの入力側に入カバターンと
ともに０ＵＴ（ｔ＝１）の出力がフィードバック量とし
て入力される。このような学゛習方法では、ニューラル
ネックワークは、１つの入カバターンに対して時系列に
出力が変化するモデルを構成することができる。例えぽ
ある人カバターンで３文字の単語が次々とタイプされる
ような制御部や“Ｃ”のコードパターンを入力したとき
に“ド゛“ミ°゛“ソ”の分散和音を弾く制御部を構成
することが可能になってくる。

しかしながら、第４図（Ａ）に示す構造のネックワーク
は勿論、第５図に示すようなフィードバンク結合を有す
るネックワークにおいても、人力に対して出力が非線形
に変化するネックワーク構造を得ることができない問題
がある。なぜなら、第４図（Ａ）に示す構造のニューラ
ルネックワークではフィードバックのシナプス結合がな
く、また第５図に示すものでも、学習方法は１つの入カ
バターンに対して複数の出カバターンを学習させる方法
であるために、ある入カバターンがあったときに必ず複
数の出カバターンが連続的に出力するようにできても、
１＝０の人カバターンに対する出カバターンとｔ＝１の
人カバターンに対する出カバターンとには因果関係が全
くないからである。

すなわち、従来のニューラルネックワークでは、入力の
変化に対して出力が非線形に変化する動的システムのモ
デルとしての機能を持たすことができなかった。

この発明の目的は、フィードバックシナプス結合のある
ニューラルネックワークにおいて、学習方法を工夫する
ことにより動的システムのモデルとしての機能を持たす
ことができるようにすることを目的とする。

（ｄ）課題を解決するための手段 この発明は、ニューロンユニット間のシナプス結合に情
報から下位に情報伝達するフィードバックシナプス結合
が含まれる中間層が存在するニューラルネットワークに
おいて、１＝０から連続的に人力情報を与えていくとと
もに、各時間において出力教師信号を与えていくことを
特徴とする。

（ｅ）作用 この発明のモデル化方法では、１＝０から連続的に入力
情報を与えていき、１＝０から連続的に各時間毎に出力
教師信号を与えていく。この場合、ｔ−１での教師信号
はｔ＝Ｑからｔ＝１までの時間をもパラメータとして決
定される信号である。学習の方法は公知のエラーハック
プロパゲーション法が使用される。従って学習方法その
ものは従来と同様であるが、教師信号が時間的変化にも
基づいているものである点が従来の学習方法と異なって
いる。

（ｆ）実施例 第１図はこの発明に係るモデル化方法を説明するための
図である。ニューラルネックワークには、ニューロンユ
ニット間のシナプス結合に上位から下位に情報伝達する
フィードバックシナプス結合が含まれている構造のもの
が使用される。第２図はこのフィードバックシナプス結
合のある中間ＮＡの一部の詳細図を示している。図にお
いて、ｓｎｌ〜ｓｎ３がフィードバックシナプス結合を
表し、ｘｎ□はフィードバックの量を示している。また
ｋは時間である。例えば、シナプスｓｎｌは、時間にの
フィードバック量ｘ″、（ｋ）を次の時間に＋１の時に
同しユニット素子の入力側に戻す。また、シナプスｓｎ
２は、時間にのフィードバック量Ｘ′″、を次の時間に
＋１の時に第ｎ層ｉ番目のユニットの入力側に返す。実
際には、このようなフィードバックシナプス結合のある
中間層を第４図（Ａ）に示すような従来の中間層とは別
に設け、その特別に設けた中間層を通常の中間層の前段
または後段に接続することができる。また第１図におい
ては、フィードバックシナプス結合を出力層Ｒから中間
層Ａの入力端に設定しているが、実際には上記に述べた
ように中間層Ａにも多数設定される。学習の方法は、先
ず１＝００ときの入力信号に対して教師信号Ｓ１を出力
ＪｉＲに与える。続いてｔ＝１の人力信号に対して教師
信号Ｓ２を出力層Ｒに対して与える。さらにｔ＝２のと
きの入力信号に対して教師信号Ｓ３を出力層Ｒに対して
与える。この動作を連続して行うことによって学習が行
われる。そして、同図に示すようにｔ＝１においては中
間層Ａに対して１＝０のときの出力ＯＵＴがフィードバ
ックされる。またｔ＝２においては中間層Ａに対してｔ
＝１の出力ＯＵＴがフィードバンクされる。従って、こ
の動作を繰り返しているときに各フィードバックシナプ
ス結合の結合度が挙動しニューラルネックワーク全体と
して動的な非線形モデルを構成できるようになる。　以
上の構成からなるニューラルネックワークに上記の学習
方法を行ったところ、学習データとネックワークの演算
結果（出力データ）との平均二乗誤差が１％以下までに
することができた。さらに、別の入力データを学習済の
ネックワークに入れたところ、真値とネックワークの出
力との平均二乗誤差が１％程度となるネックワーク構築
に底切した。なお、この実験では、ニューラルネックワ
ークを第３図のように構成している。図においてＸはシ
ナプスがフィードバンクシナプスである中間層（状態層
）である。また、上記の実験では５００個の入出力デー
タを繰り返し学習させ、 各ニューロの入出力方程式が となる学習を行わせた。

（濁発明の効果 この発明によれば、モデル方程式を全く知らなくても出
力データさえあれば誰にでも簡単にシステムのモデリン
グが出来る。また、フィードバックシナプス結合のある
中間層を増やすことで一般的にはより精度の高いものを
構成することが可能である。

グを説明する図である。

Claims (1)

【特許請求の範囲】
1. （１）ニューロンユニット間のシナプス結合に上位から
   下位に情報伝達するフィードバックシナプス結合が含ま
   れる中間層が存在するニューラルネットワークにおいて
   、ｔ＝０から連続的に入力情報を与えていくとともに、
   各時間において出力教師信号を与えていくことを特徴と
   する、ニューラルネットワークの動的システムモデル化
   方法。