JPH07282168A - カオスリカレント神経回路網とその学習方法 - Google Patents
カオスリカレント神経回路網とその学習方法Info
- Publication number
- JPH07282168A JPH07282168A JP7024298A JP2429895A JPH07282168A JP H07282168 A JPH07282168 A JP H07282168A JP 7024298 A JP7024298 A JP 7024298A JP 2429895 A JP2429895 A JP 2429895A JP H07282168 A JPH07282168 A JP H07282168A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- chaotic
- time
- equation
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】 （修正有）
【目的】カオスリカレント神経回路網及びその学習方法
の提供する。 【構成】カオスリカレント神経回路網は動的方程式 （ここで、Ｗijはｊ番目ニュ−ロンからｉ番目ニュ−ロ
ンへの帰還入力のシナプス結合係数、Ｘi (t) は時刻ｔ
において、ｉ番目ニュ−ロンの出力、γi は時間遅延定
数、αは非負パラメ−タ、ｋは不応性の時間的減衰定数
をそれぞれ示す。Ｚi (t) は添字ｉがニュ−ロンの集合
Ｉに属する場合はＸi (t) であり、添字ｉが外部入力の
集合Ｅに属する場合はａi (t) を示す。）を満足するＮ
個のカオス神経回路網を具備してＮ個のカオス神経回路
網のそれぞれは外部入力と前記Ｎ個のカオス神経回路網
のＮ−１個のカオス神経回路網の出力信号を入力して前
記動的方程式による動作を遂行する。
の提供する。 【構成】カオスリカレント神経回路網は動的方程式 （ここで、Ｗijはｊ番目ニュ−ロンからｉ番目ニュ−ロ
ンへの帰還入力のシナプス結合係数、Ｘi (t) は時刻ｔ
において、ｉ番目ニュ−ロンの出力、γi は時間遅延定
数、αは非負パラメ−タ、ｋは不応性の時間的減衰定数
をそれぞれ示す。Ｚi (t) は添字ｉがニュ−ロンの集合
Ｉに属する場合はＸi (t) であり、添字ｉが外部入力の
集合Ｅに属する場合はａi (t) を示す。）を満足するＮ
個のカオス神経回路網を具備してＮ個のカオス神経回路
網のそれぞれは外部入力と前記Ｎ個のカオス神経回路網
のＮ−１個のカオス神経回路網の出力信号を入力して前
記動的方程式による動作を遂行する。
Description
【０００１】
【産業上の利用分野】本発明はカオスリカレント神経回
路網とその学習方法に関する。
路網とその学習方法に関する。
【０００２】
【従来の技術】現在神経回路網に関する多様な研究が進
行されており、特に最近には時変入力（time varying)
と出力信号を取り扱えるリカレント結合（recurrent co
nnection) を有する神経回路網モデルに関する研究が活
発に進行されている。このうち、リカレント神経回路網
を多層順方向回路網（multilayer feedforward networ
k) に変換して学習する逆伝播時間(backpropagation th
rough time)方法が広く使われている。これは逆伝播学
習を遂行することと同様なので逆伝播時間方法と呼ばれ
るが、この際、カオス神経回路網の離散時間モデルが空
間的に展開されて多層順方向回路網が形成される。
行されており、特に最近には時変入力（time varying)
と出力信号を取り扱えるリカレント結合（recurrent co
nnection) を有する神経回路網モデルに関する研究が活
発に進行されている。このうち、リカレント神経回路網
を多層順方向回路網（multilayer feedforward networ
k) に変換して学習する逆伝播時間(backpropagation th
rough time)方法が広く使われている。これは逆伝播学
習を遂行することと同様なので逆伝播時間方法と呼ばれ
るが、この際、カオス神経回路網の離散時間モデルが空
間的に展開されて多層順方向回路網が形成される。
【０００３】この逆伝播時間方法は、細胞数の２乗の計
算量しか必要としないが、まずネットワ−クのダイナミ
ックスを時間０からＴまで計算しながら、その経過をど
こかに保存して置き、その後逆にＴから０に向けて誤差
を計算しなければならない。このような短所を改善した
リカレント神経回路網の学習方法としては限定時間学習
方法がある。この方法は、結合加重値を固定させた後、
与えられた時間周期の間神経回路網を動作させてその時
間周期でのシステム誤差が最も小さくなるように学習す
る。リカレント神経網を学習する方法は結合加重値を時
間に従って変わる時間関数と見做すか、回路網が動作す
る与えられた時間周期の間、時不変な値と見做すかに従
って二つに分けられるが、限定時間学習方法は後者の方
法で時間周期が終わった後、誤差を最小化する方法で学
習する方法である。
算量しか必要としないが、まずネットワ−クのダイナミ
ックスを時間０からＴまで計算しながら、その経過をど
こかに保存して置き、その後逆にＴから０に向けて誤差
を計算しなければならない。このような短所を改善した
リカレント神経回路網の学習方法としては限定時間学習
方法がある。この方法は、結合加重値を固定させた後、
与えられた時間周期の間神経回路網を動作させてその時
間周期でのシステム誤差が最も小さくなるように学習す
る。リカレント神経網を学習する方法は結合加重値を時
間に従って変わる時間関数と見做すか、回路網が動作す
る与えられた時間周期の間、時不変な値と見做すかに従
って二つに分けられるが、限定時間学習方法は後者の方
法で時間周期が終わった後、誤差を最小化する方法で学
習する方法である。
【０００４】神経回路網は下の動的方程式を満足するＮ
個のニュ−ロンよりなっている。
個のニュ−ロンよりなっている。
【０００５】
【数５】
【０００６】前記式でｉは０からＮまでの整数、Ｙ
i (t) はｉ番目ニュ−ロンの出力、ｆiはニュ−ロンの
出力関数であり、γi は時間遅延定数である。Ｗijはｊ
番目ニュ−ロンへの結合加重値として時不変値である。
また、この回路網は時間ｔで外部から入力されるバイア
ス信号ａ（t)を有しているが、この入力は時変関数であ
る。
i (t) はｉ番目ニュ−ロンの出力、ｆiはニュ−ロンの
出力関数であり、γi は時間遅延定数である。Ｗijはｊ
番目ニュ−ロンへの結合加重値として時不変値である。
また、この回路網は時間ｔで外部から入力されるバイア
ス信号ａ（t)を有しているが、この入力は時変関数であ
る。
【０００７】図１は従来のリカレント神経回路網のモデ
ルを示すものである。この方法で、回路網は与えられた
初期条件と外部入力に従って与えられた時間周期の間、
動作するようになる。回路網が動作される時間の間、ニ
ュ−ロン間の結合加重値は固定され、各時刻での誤差が
蓄積される。回路網の学習関数はこの時間周期の間、計
算された回路網の総誤差として次のように定義される。
ルを示すものである。この方法で、回路網は与えられた
初期条件と外部入力に従って与えられた時間周期の間、
動作するようになる。回路網が動作される時間の間、ニ
ュ−ロン間の結合加重値は固定され、各時刻での誤差が
蓄積される。回路網の学習関数はこの時間周期の間、計
算された回路網の総誤差として次のように定義される。
【０００８】
【数６】
【０００９】前記式でＸi (t｜Ｗ）は式（１）と式
（２）により計算された固定された結合加重値の行列Ｗ
の場合において時刻ｔにおける回路網のｉ番目ニュ−ロ
ンの出力を示し、Ｑi (t) は与えられた時変教師信号で
ある。この際、加重値修正規則は最急降下法を使用し、
ラグランジュ乗数Ｌi (t) を導入して計算した結果、結
合加重値の修正量は次の式で示される。
（２）により計算された固定された結合加重値の行列Ｗ
の場合において時刻ｔにおける回路網のｉ番目ニュ−ロ
ンの出力を示し、Ｑi (t) は与えられた時変教師信号で
ある。この際、加重値修正規則は最急降下法を使用し、
ラグランジュ乗数Ｌi (t) を導入して計算した結果、結
合加重値の修正量は次の式で示される。
【００１０】
【数７】
【００１１】ここで、ηは正の定数である。この方法は
筆記体数字の認識のような時系列デ−タの予測、認識に
適用し得ることが分かっている。脳の神経回路網の構造
とその情報処理メカニズムを模倣した神経コンピュ−タ
−の研究は歴史的に活動電位パルスのディジタル的性質
に注目した数学的ニュ−ロンモデルから始まったが、最
近にはニュ−ロンのアナログ性に関心が徐々に増加して
いる。実際の脳神経系の挙動は極めて動的なのでカオス
などの応答特性を示すが、既存のニュ−ロンモデルでは
脳のカオス応答特性を記述することができなかった。最
近、提案されたカオスニュ−ロンモデルでは、このよう
な脳の非線形アナログ的な側面が強調されている。この
モデルは応答特性をアナログ的に修正したものであっ
て、カオス応答特性の定性的な記述が可能である。
筆記体数字の認識のような時系列デ−タの予測、認識に
適用し得ることが分かっている。脳の神経回路網の構造
とその情報処理メカニズムを模倣した神経コンピュ−タ
−の研究は歴史的に活動電位パルスのディジタル的性質
に注目した数学的ニュ−ロンモデルから始まったが、最
近にはニュ−ロンのアナログ性に関心が徐々に増加して
いる。実際の脳神経系の挙動は極めて動的なのでカオス
などの応答特性を示すが、既存のニュ−ロンモデルでは
脳のカオス応答特性を記述することができなかった。最
近、提案されたカオスニュ−ロンモデルでは、このよう
な脳の非線形アナログ的な側面が強調されている。この
モデルは応答特性をアナログ的に修正したものであっ
て、カオス応答特性の定性的な記述が可能である。
【００１２】一つの入力に対するカオスニュ−ロンモデ
ルは次の式で記述される。
ルは次の式で記述される。
【００１３】
【数８】
【００１４】ここで、 Ｘ（ｔ）；時刻ｔにおけるニュ−ロンの出力（神経パル
スのピ−ク値に対応） （０≦ｘ（ｔ）≦１） ｆ；ニュ−ロンの出力関数 Ａ（ｔ）；時刻ｔにおいて入力刺激の大きさ α；非負（non-negative) パラメ−タ（α≧０） ｋ；不応性の時間的減衰定数（０≦ｋ≦１） ｇ；ニュ−ロンの出力と次の刺激に対応する不応性との
関係を与える関数（以後、簡単化するために恒等関数ｇ
（ｘ）＝ｘと仮定する。） θ；閾値 不応性と同様に、各入力の過去の値が時間的に減衰（減
衰定数をｋとする）しながら加算される時空間的加算を
仮定すれば、ニュ−ロンの入出力特性は、式（６）のよ
うになる。
スのピ−ク値に対応） （０≦ｘ（ｔ）≦１） ｆ；ニュ−ロンの出力関数 Ａ（ｔ）；時刻ｔにおいて入力刺激の大きさ α；非負（non-negative) パラメ−タ（α≧０） ｋ；不応性の時間的減衰定数（０≦ｋ≦１） ｇ；ニュ−ロンの出力と次の刺激に対応する不応性との
関係を与える関数（以後、簡単化するために恒等関数ｇ
（ｘ）＝ｘと仮定する。） θ；閾値 不応性と同様に、各入力の過去の値が時間的に減衰（減
衰定数をｋとする）しながら加算される時空間的加算を
仮定すれば、ニュ−ロンの入出力特性は、式（６）のよ
うになる。
【００１５】
【数９】
【００１６】ここで、 Ｘi (t+1) ; 時刻 t+1において、ｉ番目ニュ−ロンの出
力 Ｖij ; j番目の外部入力からｉ番目ニュ−ロンへのシナ
プス結合係数 Ａj (t) ; 時刻 tにおいてｊ番目外部入力の値 Ｗij ; j 番目ニュ−ロンからｉ番目ニュ−ロンへの帰
還入力のシナプス結合係数 θi ; i 番目のニュ−ロの閾値 ここで、カオスニュ−ロンの離散時間ダイナミックスは
下の式のように単純な微分方程式で示される。
力 Ｖij ; j番目の外部入力からｉ番目ニュ−ロンへのシナ
プス結合係数 Ａj (t) ; 時刻 tにおいてｊ番目外部入力の値 Ｗij ; j 番目ニュ−ロンからｉ番目ニュ−ロンへの帰
還入力のシナプス結合係数 θi ; i 番目のニュ−ロの閾値 ここで、カオスニュ−ロンの離散時間ダイナミックスは
下の式のように単純な微分方程式で示される。
【００１７】
【数１０】
【００１８】前記式（７）〜（９）に記述される神経回
路網をカオス神経回路網と呼ぶ。このカオス神経回路網
を連想記憶モデルに適用する場合、現在の入力に最も近
い一つの記憶パタ−ンに安定に収束するのではなく、パ
ラメ−タの値に従ってダイナミックに様々な記憶パタ−
ンを経ながら振動するということが報告されている。カ
オス神経網モデルが提案された以後、入力が時間に係わ
らず一定した場合に対し、このモデルを演算記憶素子に
応用して分析する研究が活発に進行されて来たが、時間
に従って変わる時変的な入力と出力を取り扱うカオスリ
カレント神経回路網に関する研究は現在まで報告されな
かった。本発明ではこのような時変入出力でのカオス神
経網の学習可能性とその応用性を調べるために、カオス
ニュ−ロンを利用してカオスリカレント神経網を構成
し、一般のリカレント回路網に対する限定時間学習方法
に基づいてこのカオスリカレント神経回路網に対し適切
に修正改善された限定時間学習方法を提案し、この方法
によるカオスリカレント神経回路網の学習においてカオ
ス神経網の不応性パラメ−タが及ぼす影響などを分析す
る。
路網をカオス神経回路網と呼ぶ。このカオス神経回路網
を連想記憶モデルに適用する場合、現在の入力に最も近
い一つの記憶パタ−ンに安定に収束するのではなく、パ
ラメ−タの値に従ってダイナミックに様々な記憶パタ−
ンを経ながら振動するということが報告されている。カ
オス神経網モデルが提案された以後、入力が時間に係わ
らず一定した場合に対し、このモデルを演算記憶素子に
応用して分析する研究が活発に進行されて来たが、時間
に従って変わる時変的な入力と出力を取り扱うカオスリ
カレント神経回路網に関する研究は現在まで報告されな
かった。本発明ではこのような時変入出力でのカオス神
経網の学習可能性とその応用性を調べるために、カオス
ニュ−ロンを利用してカオスリカレント神経網を構成
し、一般のリカレント回路網に対する限定時間学習方法
に基づいてこのカオスリカレント神経回路網に対し適切
に修正改善された限定時間学習方法を提案し、この方法
によるカオスリカレント神経回路網の学習においてカオ
ス神経網の不応性パラメ−タが及ぼす影響などを分析す
る。
【００１９】しかしながら、提案された限定時間学習方
法はリカレント神経回路網の逆伝播と言えるので、この
方法を応用する場合、逆伝播方法を利用した多層神経回
路網におけるのと同様な問題点にさらに深刻に直面する
ようになる。この問題点は局部的な最小化（local mini
ma) と学習時間が多くかかる点などである。図２は図１
に示したリカレント神経回路網の学習反復の回数に対す
る累積エラ−を示すグラフである。図２から、反復の回
数を増加するにつれ、エラ−率が下がるが、教師信号に
接近するにつれてその下がり方が急激ではなかったこと
が分かる。
法はリカレント神経回路網の逆伝播と言えるので、この
方法を応用する場合、逆伝播方法を利用した多層神経回
路網におけるのと同様な問題点にさらに深刻に直面する
ようになる。この問題点は局部的な最小化（local mini
ma) と学習時間が多くかかる点などである。図２は図１
に示したリカレント神経回路網の学習反復の回数に対す
る累積エラ−を示すグラフである。図２から、反復の回
数を増加するにつれ、エラ−率が下がるが、教師信号に
接近するにつれてその下がり方が急激ではなかったこと
が分かる。
【００２０】このような問題点を克服するため、本発明
ではカオス神経回路網を利用した。このカオス神経回路
網は離散時間ニュ−ロンモデルから誘導された。このカ
オス神経回路網は既存のニュ−ロンモデルとしては具現
できない周期的な応答とカオス応答を全部有している。
ではカオス神経回路網を利用した。このカオス神経回路
網は離散時間ニュ−ロンモデルから誘導された。このカ
オス神経回路網は既存のニュ−ロンモデルとしては具現
できない周期的な応答とカオス応答を全部有している。
【００２１】
【発明が解決しようとする課題】本発明の目的は従来の
リカレント回路網のニュ−ロンにカオスニュ−ロンを適
用したカオスリカレント神経回路網を提供することであ
る。本発明の他の目的は学習時間を減らし学習能力を向
上させうるカオスリカレント神経回路網の学習方法を提
供することである。
リカレント回路網のニュ−ロンにカオスニュ−ロンを適
用したカオスリカレント神経回路網を提供することであ
る。本発明の他の目的は学習時間を減らし学習能力を向
上させうるカオスリカレント神経回路網の学習方法を提
供することである。
【００２２】
【課題を解決するための手段】本発明の目的を達成する
ためのカオスリカレント神経回路網は動的方程式
ためのカオスリカレント神経回路網は動的方程式
【００２３】
【数１１】
【００２４】（ここで、Ｗijはｊ番目ニュ−ロンからｉ
番目ニュ−ロンへの帰還入力のシナプス結合係数、Ｘi
(t) は時刻ｔにおいて、ｉ番目ニュ−ロンの出力、γi
は時間遅延定数、αは非負パラメ−タ、ｋは不応性の時
間的減衰定数をそれぞれ示す。Ｚi (t) は添字ｉがニュ
−ロンの集合Ｉに属する場合はＸi (t) であり、添字ｉ
が外部入力の集合Ｅに属する場合はａi (t) を示す。）
を満足するＮ個のカオス神経回路網を具備してＮ個のカ
オス神経回路網のそれぞれは前記外部入力と前記Ｎ個の
カオス神経回路網のＮ−１個のカオス神経回路網の出力
信号を入力して前記動的方程式による動作を遂行するこ
とを特徴とする。
番目ニュ−ロンへの帰還入力のシナプス結合係数、Ｘi
(t) は時刻ｔにおいて、ｉ番目ニュ−ロンの出力、γi
は時間遅延定数、αは非負パラメ−タ、ｋは不応性の時
間的減衰定数をそれぞれ示す。Ｚi (t) は添字ｉがニュ
−ロンの集合Ｉに属する場合はＸi (t) であり、添字ｉ
が外部入力の集合Ｅに属する場合はａi (t) を示す。）
を満足するＮ個のカオス神経回路網を具備してＮ個のカ
オス神経回路網のそれぞれは前記外部入力と前記Ｎ個の
カオス神経回路網のＮ−１個のカオス神経回路網の出力
信号を入力して前記動的方程式による動作を遂行するこ
とを特徴とする。
【００２５】前記他の目的を達成するための本発明のカ
オスリカレント神経回路網の学習方法は（ａ）初期条件
Ｘi (0) と結合加重値をランダムした値で初期化させる
初期化段階と、（ｂ）前記与えられた初期条件Ｘi (0)
と外部入力ａi (t) により時間周期Ｔの間、回路網を前
記動的方程式に従って動作させる動作段階と、（ｃ）境
界条件Ｌi ( Ｔ｜Ｗ）= ０と与えられた教師信号Ｑ
i (t) によりラグランジュ乗数を式
オスリカレント神経回路網の学習方法は（ａ）初期条件
Ｘi (0) と結合加重値をランダムした値で初期化させる
初期化段階と、（ｂ）前記与えられた初期条件Ｘi (0)
と外部入力ａi (t) により時間周期Ｔの間、回路網を前
記動的方程式に従って動作させる動作段階と、（ｃ）境
界条件Ｌi ( Ｔ｜Ｗ）= ０と与えられた教師信号Ｑ
i (t) によりラグランジュ乗数を式
【００２６】
【数１２】
【００２７】に従って時刻ｔから逆に計算する段階（こ
の際、Ｘi (t) は前記の動作段階（ｂ）で計算した値を
利用する。）、（ｄ）前記動作段階（ｂ）から計算段階
（ｃ）までの過程を全ての入力に対して遂行し、総エラ
−の和を計算する段階（この際、エラ−が一定した限界
エラ−以下ならば学習を終了し、そうでない場合には加
重値修正方程式である式
の際、Ｘi (t) は前記の動作段階（ｂ）で計算した値を
利用する。）、（ｄ）前記動作段階（ｂ）から計算段階
（ｃ）までの過程を全ての入力に対して遂行し、総エラ
−の和を計算する段階（この際、エラ−が一定した限界
エラ−以下ならば学習を終了し、そうでない場合には加
重値修正方程式である式
【００２８】
【数１３】
【００２９】により加重値を修正した後、前記動作段階
（ｂ）から繰り返す。）よりなっている。
（ｂ）から繰り返す。）よりなっている。
【００３０】
【作用】カオスリカレント神経回路網は動的方程式
【００３１】
【数１４】
【００３２】（ここで、Ｗijはｊ番目ニュ−ロンからｉ
番目ニュ−ロンへの帰還入力のシナプス結合係数、Ｘi
(t) は時刻ｔにおいて、ｉ番目ニュ−ロンの出力、γi
は時間遅延定数、αは非負パラメ−タ、ｋは不応性の時
間的減衰定数をそれぞれ示す。Ｚi (t) は添字ｉがニュ
−ロンの集合Ｉに属する場合はＸi (t) であり、添字ｉ
が外部入力の集合Ｅに属する場合はａi (t) を示す。）
を満足するＮ個のカオス神経回路網を具備してＮ個のカ
オス神経回路網のそれぞれは前記外部入力と前記Ｎ個の
カオス神経回路網のＮ−１個のカオス神経回路網の出力
信号を入力して前記動的方程式により動作を遂行させ
る。
番目ニュ−ロンへの帰還入力のシナプス結合係数、Ｘi
(t) は時刻ｔにおいて、ｉ番目ニュ−ロンの出力、γi
は時間遅延定数、αは非負パラメ−タ、ｋは不応性の時
間的減衰定数をそれぞれ示す。Ｚi (t) は添字ｉがニュ
−ロンの集合Ｉに属する場合はＸi (t) であり、添字ｉ
が外部入力の集合Ｅに属する場合はａi (t) を示す。）
を満足するＮ個のカオス神経回路網を具備してＮ個のカ
オス神経回路網のそれぞれは前記外部入力と前記Ｎ個の
カオス神経回路網のＮ−１個のカオス神経回路網の出力
信号を入力して前記動的方程式により動作を遂行させ
る。
【００３３】
【実施例】本発明で使用した図３のカオス神経回路網は
次の動的方程式を満足するＮ個の神経回路網よりなる。
次の動的方程式を満足するＮ個の神経回路網よりなる。
【００３４】
【数１５】
【００３５】この回路網はＹ(t) と示されたｎ個の出力
と時刻ｔで回路網として入力されるｍ個の外部入力信号
ａ(t) よりなっている。本発明ではこの二つの信号を合
わせてＺ(t) という記号で示したが、添字ｉが回路網を
構成するニュ−ロンの集合Ｉに属する場合、Ｚi は回路
網の出力を示し、添字ｉが回路網に入力される外部入力
の集合Ｅに属する場合はＺi は回路網の外部入力を示
す。
と時刻ｔで回路網として入力されるｍ個の外部入力信号
ａ(t) よりなっている。本発明ではこの二つの信号を合
わせてＺ(t) という記号で示したが、添字ｉが回路網を
構成するニュ−ロンの集合Ｉに属する場合、Ｚi は回路
網の出力を示し、添字ｉが回路網に入力される外部入力
の集合Ｅに属する場合はＺi は回路網の外部入力を示
す。
【００３６】即ち、
【００３７】
【数１６】
【００３８】である。本実施例において、回路網は与え
られた初期条件と外部入力に従って与えられた時間周期
の間、動作するようになる。図１に示す従来のリカレン
ト神経回路網モデルで見たように、回路網が動作される
時間の間、ニュ−ロン間の結合加重値は固定され、各時
刻での誤差が蓄積される。回路網の学習関数はこの時間
周期の間、計算された回路網の総誤差であって、次のよ
うに定義される。
られた初期条件と外部入力に従って与えられた時間周期
の間、動作するようになる。図１に示す従来のリカレン
ト神経回路網モデルで見たように、回路網が動作される
時間の間、ニュ−ロン間の結合加重値は固定され、各時
刻での誤差が蓄積される。回路網の学習関数はこの時間
周期の間、計算された回路網の総誤差であって、次のよ
うに定義される。
【００３９】
【数１７】
【００４０】前記の式において、Ｘi (t｜Ｗ）は時刻ｔ
における回路網のｉ番目ニュ−ロンの出力を示し、Ｑi
(t) は与えられた時変教師信号を示す。加重値修正規則
は最急降下法を使用し、次の式により計算される。
における回路網のｉ番目ニュ−ロンの出力を示し、Ｑi
(t) は与えられた時変教師信号を示す。加重値修正規則
は最急降下法を使用し、次の式により計算される。
【００４１】
【数１８】
【００４２】ここで、ηは正の定数である。式（１４）
を計算するために加重値の変化による学習誤差の変化を
次の式（１５）とすれば、 δＥ（Ｗ）＝Ｅ（Ｗ＋δＷ）−Ｅ（Ｗ） …（１５） Ｘi (t) とＹi (t) は式（１０）と式（１１）の動的方
程式を満足するので学習誤差Ｅ（Ｗ）は次の式のように
書き直すことができる。
を計算するために加重値の変化による学習誤差の変化を
次の式（１５）とすれば、 δＥ（Ｗ）＝Ｅ（Ｗ＋δＷ）−Ｅ（Ｗ） …（１５） Ｘi (t) とＹi (t) は式（１０）と式（１１）の動的方
程式を満足するので学習誤差Ｅ（Ｗ）は次の式のように
書き直すことができる。
【００４３】
【数１９】
【００４４】下の方程式（１７）を満足するラグランジ
ュ乗数Ｌi (t) を導入すれば、
ュ乗数Ｌi (t) を導入すれば、
【００４５】
【数２０】
【００４６】学習誤差の変化量は次の式（１８）で示さ
れる。
れる。
【００４７】
【数２１】
【００４８】上の式（１８）で固定された初期条件によ
り成立する次の式（１９）により一番目の項は消去さ
れ、二番目の項もまたラグランジュ乗数Ｌi (t) が式
（２０）の境界条件を満足する場合消去される。即ち、 δＹi （T1｜Ｗ）＝０ …（１９） Ｌi (T2 ｜Ｗ）＝０ …（２０） である。
り成立する次の式（１９）により一番目の項は消去さ
れ、二番目の項もまたラグランジュ乗数Ｌi (t) が式
（２０）の境界条件を満足する場合消去される。即ち、 δＹi （T1｜Ｗ）＝０ …（１９） Ｌi (T2 ｜Ｗ）＝０ …（２０） である。
【００４９】結局、結合加重値の修正方法は次の式（２
１）で示される。
１）で示される。
【００５０】
【数２２】
【００５１】全体の学習方法は次の通りである。第１段
階は初期条件Ｘi (0) と結合加重値をランダムな値とし
て初期化させる。第２段階は与えられた初期条件Ｘ
i (0) と外部入力ａi (t) により時間周期 Tの間、回路
網を次の動的方程式に従って動作させる。
階は初期条件Ｘi (0) と結合加重値をランダムな値とし
て初期化させる。第２段階は与えられた初期条件Ｘ
i (0) と外部入力ａi (t) により時間周期 Tの間、回路
網を次の動的方程式に従って動作させる。
【００５２】
【数２３】
【００５３】第３段階は境界条件式（２０）と与えられ
た教師信号Ｑi (t) によりラグランジュ乗数Ｌi を式
（１８）により時刻ｔから逆に求める。この際、Ｘ
i (t) は第２段階で計算した値を利用する。
た教師信号Ｑi (t) によりラグランジュ乗数Ｌi を式
（１８）により時刻ｔから逆に求める。この際、Ｘ
i (t) は第２段階で計算した値を利用する。
【００５４】
【数２４】
【００５５】第４段階は第２段階から第４段階までの過
程を全ての入力に対して遂行し、総エラ−の和を計算す
る。この際、エラ−が一定した限界エラ−以下ならば学
習を終了し、そうでない場合は加重値修正方程式である
次の式により加重値を修正した後、第２段階から繰り返
す。
程を全ての入力に対して遂行し、総エラ−の和を計算す
る。この際、エラ−が一定した限界エラ−以下ならば学
習を終了し、そうでない場合は加重値修正方程式である
次の式により加重値を修正した後、第２段階から繰り返
す。
【００５６】
【数２５】
【００５７】図４は図３に示した回路網に本発明の方法
を適用した場合の学習反復回数に対する累積エラ−を示
すグラフである。学習反復回数をあまり増加しなくても
最終エラ−値が図２の値より大きく減少されたことが分
る。このグラフはｋが0.9 、αが 0.4である場合のグラ
フである。
を適用した場合の学習反復回数に対する累積エラ−を示
すグラフである。学習反復回数をあまり増加しなくても
最終エラ−値が図２の値より大きく減少されたことが分
る。このグラフはｋが0.9 、αが 0.4である場合のグラ
フである。
【００５８】
【発明の効果】従って、本発明のカオスリカレント神経
回路網の学習方法はリカレント神経回路網の学習方法よ
り短い学習時間で良い結果を得ることができる。
回路網の学習方法はリカレント神経回路網の学習方法よ
り短い学習時間で良い結果を得ることができる。
【図１】従来のリカレント神経回路網のモデルを示す図
である。
である。
【図２】図１に示したリカレント神経回路網の学習反復
回数による累積エラ−を示すグラフである。
回数による累積エラ−を示すグラフである。
【図３】本発明のカオスリカレント神経回路網のモデル
を示す図である。
を示す図である。
【図４】本発明の学習方法を図３のモデルに適用した場
合に学習反復回数による累積エラ−を示すグラフであ
る。
合に学習反復回数による累積エラ−を示すグラフであ
る。
なし
Claims (2)
- 【請求項１】 動的方程式 【数１】 （ここで、Ｗijはｊ番目ニュ−ロンからｉ番目ニュ−ロ
ンへの帰還入力のシナプス結合係数、Ｘi (t) は時刻ｔ
において、ｉ番目ニュ−ロンの出力、γi は時間遅延定
数、αは非負パラメ−タ、ｋは不応性の時間的減衰定数
をそれぞれ示す。Ｚi (t) は添字ｉがニュ−ロンの集合
Ｉに属する場合はＸi (t) であり、添字ｉが外部入力の
集合Ｅに属する場合はａi (t) を示す。）を満足するＮ
個のカオス神経回路網を具備してＮ個のカオス神経回路
網のそれぞれは前記外部入力と前記Ｎ個のカオス神経回
路網のＮ−１個のカオス神経回路網の出力信号を入力し
て前記動的方程式による動作を遂行することを特徴とす
るカオスリカレント神経回路網。 - 【請求項２】 動的方程式 【数２】 （ここで、Ｗijはｊ番目ニュ−ロンからｉ番目ニュ−ロ
ンへの帰還入力のシナプス結合係数、Ｘi (t) は時刻ｔ
において、ｉ番目ニュ−ロンの出力、γi は時間遅延定
数、αは非負パラメ−タ、ｋは不応性の時間的減衰定数
をそれぞれ示す。Ｚi (t) は添字ｉがニュ−ロンの集合
Ｉに属する場合はＸi (t) であり、添字ｉが外部入力の
集合Ｅに属する場合はａi (t) を示す。）を満足するＮ
個のカオス神経回路網を具備してＮ個のカオス神経回路
網のそれぞれは前記外部入力と前記Ｎ個のカオス神経回
路網のＮ−１個のカオス神経回路網の出力信号を入力し
て前記動的方程式による動作を遂行するカオスリカレン
ト神経回路網の学習方法において、 （ａ）初期条件Ｘi (0) と結合加重値をランダムな値で
初期化させる初期化段階と、 （ｂ）前記与えられた初期条件Ｘi (0) と外部入力ａi
(t) により時間周期Ｔの間、回路網を前記動的方程式に
従って動作させる動作段階と、 （ｃ）境界条件Ｌi ( Ｔ｜Ｗ）= ０と与えられた教師信
号Ｑi (t) によりラグランジュ乗数を式 【数３】 により時刻ｔから逆に計算する段階（この際、Ｘi (t)
は前記の動作段階（ｂ）で計算した値を利用する。）
と、 （ｄ）前記動作段階（ｂ）から計算段階（ｃ）までの過
程を全ての入力に対して遂行し、総エラ−の和を計算す
る段階（この際、エラ−が一定した限界エラ−以下なら
ば学習を終了し、そうでない場合には加重値の修正方程
式である式 【数４】 により加重値を修正した後、前記動作段階（ｂ）から繰
り返す。）を具備したことを特徴とするカオスリカレン
ト神経回路網の学習方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019940002540A KR0185757B1 (ko) | 1994-02-14 | 1994-02-14 | 혼돈 순환 신경회로망의 학습방법 |
| KR2540/1994 | 1994-02-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07282168A true JPH07282168A (ja) | 1995-10-27 |
Family
ID=19377120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7024298A Pending JPH07282168A (ja) | 1994-02-14 | 1995-02-13 | カオスリカレント神経回路網とその学習方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5613042A (ja) |
| JP (1) | JPH07282168A (ja) |
| KR (1) | KR0185757B1 (ja) |
| DE (1) | DE19504664C2 (ja) |
| FR (1) | FR2716279B1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017527000A (ja) * | 2014-06-19 | 2017-09-14 | ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド | メムリスティブナノファイバーニューラルネットワーク |
| US10198691B2 (en) | 2014-06-19 | 2019-02-05 | University Of Florida Research Foundation, Inc. | Memristive nanofiber neural networks |
| US12387104B2 (en) | 2017-05-22 | 2025-08-12 | University Of Florida Research Foundation, Inc. | Deep learning in bipartite memristive networks |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997030400A1 (en) * | 1996-02-02 | 1997-08-21 | Rodney Michael John Cotterill | A method of processing data flows in a neural network, and a neural network |
| US6708160B1 (en) * | 1999-04-06 | 2004-03-16 | Paul J. Werbos | Object nets |
| JP4093858B2 (ja) * | 2000-10-13 | 2008-06-04 | フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ | リカレントニューラルネットワーク |
| KR100577422B1 (ko) * | 2003-12-11 | 2006-05-08 | 삼성전자주식회사 | 저장고 |
| JP2007265345A (ja) * | 2006-03-30 | 2007-10-11 | Sony Corp | 情報処理装置および方法、学習装置および方法、並びにプログラム |
| US7814038B1 (en) | 2007-12-06 | 2010-10-12 | Dominic John Repici | Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| WO2019195660A1 (en) | 2018-04-05 | 2019-10-10 | Rain Neuromorphics Inc. | Systems and methods for efficient matrix multiplication |
| US11450712B2 (en) | 2020-02-18 | 2022-09-20 | Rain Neuromorphics Inc. | Memristive device |
| CN113099520B (zh) * | 2021-03-19 | 2022-10-11 | 杭州电子科技大学 | 一种基于迟滞噪声混沌神经网络的基站休眠方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5182794A (en) * | 1990-07-12 | 1993-01-26 | Allen-Bradley Company, Inc. | Recurrent neural networks teaching system |
| US5204872A (en) * | 1991-04-15 | 1993-04-20 | Milltech-Hoh, Inc. | Control system for electric arc furnace |
| JPH07117950B2 (ja) * | 1991-09-12 | 1995-12-18 | 株式会社エイ・ティ・アール視聴覚機構研究所 | パターン認識装置およびパターン学習装置 |
| US5253329A (en) * | 1991-12-26 | 1993-10-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Neural network for processing both spatial and temporal data with time based back-propagation |
| US5408424A (en) * | 1993-05-28 | 1995-04-18 | Lo; James T. | Optimal filtering by recurrent neural networks |
-
1994
- 1994-02-14 KR KR1019940002540A patent/KR0185757B1/ko not_active Expired - Fee Related
-
1995
- 1995-01-27 US US08/379,211 patent/US5613042A/en not_active Expired - Lifetime
- 1995-02-10 FR FR9501575A patent/FR2716279B1/fr not_active Expired - Fee Related
- 1995-02-13 JP JP7024298A patent/JPH07282168A/ja active Pending
- 1995-02-13 DE DE19504664A patent/DE19504664C2/de not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017527000A (ja) * | 2014-06-19 | 2017-09-14 | ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド | メムリスティブナノファイバーニューラルネットワーク |
| US10198691B2 (en) | 2014-06-19 | 2019-02-05 | University Of Florida Research Foundation, Inc. | Memristive nanofiber neural networks |
| US10614358B2 (en) | 2014-06-19 | 2020-04-07 | University Of Florida Research Foundation, Inc. | Memristive nanofiber neural networks |
| US11055614B2 (en) | 2014-06-19 | 2021-07-06 | University Of Florida Research Foundation, Inc. | Memristive nanofiber neural networks |
| US11941515B2 (en) | 2014-06-19 | 2024-03-26 | University Of Florida Research Foundation, Inc. | Memristive nanofiber neural networks |
| US12387104B2 (en) | 2017-05-22 | 2025-08-12 | University Of Florida Research Foundation, Inc. | Deep learning in bipartite memristive networks |
Also Published As
| Publication number | Publication date |
|---|---|
| DE19504664A1 (de) | 1995-08-17 |
| KR950025561A (ko) | 1995-09-18 |
| KR0185757B1 (ko) | 1999-05-15 |
| DE19504664C2 (de) | 1997-08-14 |
| FR2716279A1 (fr) | 1995-08-18 |
| FR2716279B1 (fr) | 1996-05-31 |
| US5613042A (en) | 1997-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102622418B (zh) | 一种基于bp神经网络的预测装置及设备 | |
| JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
| US5630023A (en) | Signal processor | |
| CN102622515A (zh) | 一种天气预测方法 | |
| JP7553893B2 (ja) | ニューラルネットワーク装置、処理方法およびプログラム | |
| JP3515267B2 (ja) | 多層神経回路網学習装置 | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| Rao et al. | A hybrid technique to enhance the performance of recurrent neural networks for time series prediction | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| JPH07141313A (ja) | 神経回路素子 | |
| Kaynak | Sliding mode algorithm for online learning in analog multilayer feedforward neural networks | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP2021189532A (ja) | パターン認識装置、学習方法及び学習プログラム | |
| US6625588B1 (en) | Associative neuron in an artificial neural network | |
| JP2803283B2 (ja) | 予測型心電図波形認識装置 | |
| JPH11338844A (ja) | 発火数制御型神経回路装置 | |
| Dadios et al. | Application of neural networks to the flexible pole-cart balancing problem | |
| Lara | Artificial neural networks: An introduction | |
| JP3262340B2 (ja) | 情報処理装置 | |
| Choi et al. | STAR-SNN: A Spatio-Temporal Adaptive Recurrent Spiking Neural Network with Separated Propagation Surrogate Gradient for Hardware Efficient Real-Time Learning | |
| Venayagamoorthy | Teaching neural networks concepts and their learning techniques | |
| CN121486268B (zh) | 基于多维度指标耦合与大模型决策的外呼路由方法及系统 | |
| JP7491622B1 (ja) | パターン認識装置、学習方法、及びプログラム | |
| Asirvadam et al. | Separable recursive training algorithms for feedforward neural networks | |
| Zhang et al. | A Bionic Spiking Recurrent Neural Network with Sparse Connections and Dale's Principle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050607 |