JPH05274456A - 時系列パターンの学習方式 - Google Patents
時系列パターンの学習方式Info
- Publication number
- JPH05274456A JPH05274456A JP4071628A JP7162892A JPH05274456A JP H05274456 A JPH05274456 A JP H05274456A JP 4071628 A JP4071628 A JP 4071628A JP 7162892 A JP7162892 A JP 7162892A JP H05274456 A JPH05274456 A JP H05274456A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- time
- layer
- input
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 文脈層への入力パターンから過去の入力履歴
が損失されていく度合を少なくすることにより長期の時
間的隔たりを有する時系列予測処理を学習し得るニュー
ラルネットワークによる時系列パターンの学習方式を提
供する。 【構成】 現時刻ｔに比べて、過去の入力履歴に関する
情報の損失の度合の少ないｎ時刻前の中間層の出力パタ
ーンＨ（ｔ−ｎ）を保存しておき、このパターンＨ（ｔ
−ｎ）と時刻（ｔ−１）のパターンＨ（ｔ−１）を合成
したパターンを現時刻ｔの文脈層への出力パターンＣ
（ｔ）とする。
が損失されていく度合を少なくすることにより長期の時
間的隔たりを有する時系列予測処理を学習し得るニュー
ラルネットワークによる時系列パターンの学習方式を提
供する。 【構成】 現時刻ｔに比べて、過去の入力履歴に関する
情報の損失の度合の少ないｎ時刻前の中間層の出力パタ
ーンＨ（ｔ−ｎ）を保存しておき、このパターンＨ（ｔ
−ｎ）と時刻（ｔ−１）のパターンＨ（ｔ−１）を合成
したパターンを現時刻ｔの文脈層への出力パターンＣ
（ｔ）とする。
Description
【０００１】
【産業上の利用分野】本発明は、学習能力を有するニュ
ーラルネットワークに時系列パターンを入力し、時系列
予測処理を学習させるための、時系列パターンの学習方
式に関する。
ーラルネットワークに時系列パターンを入力し、時系列
予測処理を学習させるための、時系列パターンの学習方
式に関する。
【０００２】
【従来の技術】多層構造型ニューラルネットワークに時
系列パターンを入力して、時系列予測処理を学習させる
時系列パターンの学習方式に関する従来技術を説明す
る。
系列パターンを入力して、時系列予測処理を学習させる
時系列パターンの学習方式に関する従来技術を説明す
る。
【０００３】図６は、従来技術で採用しているニューラ
ルネットワークの構成例を示す図である。
ルネットワークの構成例を示す図である。
【０００４】図６において、１は入力層、２は文脈層、
３は中間層、４は出力層である。５，６，７は、それぞ
れ入力層１から中間層３へ、文脈層２から中間層３へ、
中間層３から出力層４へ信号を入力するための重み付き
接続線（完全結合）である。接続線５，６，７の重みを
学習によって変動させることによって、学習課題にふさ
わしい重みに決定する。学習アルゴリズムとしては、バ
ックプロパゲーション法［参考文献 Rumelhart,D.E.et
al.:Parallel Distributed Processing,Vol.1,MIT Pre
ss（1986）］を用いる。
３は中間層、４は出力層である。５，６，７は、それぞ
れ入力層１から中間層３へ、文脈層２から中間層３へ、
中間層３から出力層４へ信号を入力するための重み付き
接続線（完全結合）である。接続線５，６，７の重みを
学習によって変動させることによって、学習課題にふさ
わしい重みに決定する。学習アルゴリズムとしては、バ
ックプロパゲーション法［参考文献 Rumelhart,D.E.et
al.:Parallel Distributed Processing,Vol.1,MIT Pre
ss（1986）］を用いる。
【０００５】また、図６において、８は中間層３から文
脈層２に信号を入力するための接続線であり、重み固定
の１対１結合である。
脈層２に信号を入力するための接続線であり、重み固定
の１対１結合である。
【０００６】図４に時系列予測処理の例を示す。
【０００７】図４に示す時系列は、開始部（パターンＰ
0 ）、分岐部（ａ，ｂ，ｃ，ｄのいずれか）、中間部
（パターンＰ1 …Ｐn-1 ）、回想部（ａ，ｂ，ｃ，ｄの
いずれか）、中継部（パターンＰn ）の５つの部分から
なり、この５つの部分が周期（ｎ＋３）で無限に繰り返
される。各周期内では、開始部のパターンのあと、分岐
部においてａ，ｂ，ｃ，ｄのいずれかのパターンが等確
率で選ばれる。そのあと、中間部を経て、回想部におい
て分岐部で生じたものと同じパターンが続き、中継部を
経て次の周期の開始部に続く。
0 ）、分岐部（ａ，ｂ，ｃ，ｄのいずれか）、中間部
（パターンＰ1 …Ｐn-1 ）、回想部（ａ，ｂ，ｃ，ｄの
いずれか）、中継部（パターンＰn ）の５つの部分から
なり、この５つの部分が周期（ｎ＋３）で無限に繰り返
される。各周期内では、開始部のパターンのあと、分岐
部においてａ，ｂ，ｃ，ｄのいずれかのパターンが等確
率で選ばれる。そのあと、中間部を経て、回想部におい
て分岐部で生じたものと同じパターンが続き、中継部を
経て次の周期の開始部に続く。
【０００８】時系列の時刻ｔのパターンをニューラルネ
ットワークへの入力とし、時系列の時刻（ｔ＋１）のパ
ターンを教師信号として与えることにより重みの学習を
行わせる。
ットワークへの入力とし、時系列の時刻（ｔ＋１）のパ
ターンを教師信号として与えることにより重みの学習を
行わせる。
【０００９】この予測処理で重要なのは、回想部でのパ
ターンを予測する部分である。つまり、この部分の予測
はｎ時刻前の分岐部での入力パターンのみに依存してい
るので、ｎ時刻前の入力履歴がネットワーク内に保存さ
れていなければ正しい予測はできない。
ターンを予測する部分である。つまり、この部分の予測
はｎ時刻前の分岐部での入力パターンのみに依存してい
るので、ｎ時刻前の入力履歴がネットワーク内に保存さ
れていなければ正しい予測はできない。
【００１０】図４に示した時系列予測処理を学習させる
場合、従来技術では次のように学習させていた。
場合、従来技術では次のように学習させていた。
【００１１】つまり、図６に示すニューラルネットワー
クにおいて、入力層１には時系列の時刻ｔのパターンで
あるＰ（ｔ）を、文脈層２には時刻（ｔ−１）の中間層
の出力パターンであるＨ（ｔ−１）を入力する。出力層
４には時系列の時刻（ｔ＋１）のパターンであるＰ（ｔ
＋１）を教師信号として与える。そして、バックプロパ
ゲーション法で学習させる。
クにおいて、入力層１には時系列の時刻ｔのパターンで
あるＰ（ｔ）を、文脈層２には時刻（ｔ−１）の中間層
の出力パターンであるＨ（ｔ−１）を入力する。出力層
４には時系列の時刻（ｔ＋１）のパターンであるＰ（ｔ
＋１）を教師信号として与える。そして、バックプロパ
ゲーション法で学習させる。
【００１２】
【発明が解決しようとする課題】従来技術における時系
列パターンの学習方式では、１時刻前の中間層の出力パ
ターンを文脈層への入力とするので、文脈層から中間層
への入力パターンが過去の入力履歴（文脈）に依存する
ことになり、ある程度の長さの文脈を保持させることが
可能である。しかし、時間的隔たりが大きくなると、過
去の入力履歴に関する情報（文脈層から中間層への入力
パターンの違いとなって表れる）が失われていくので、
文脈に応じた時系列予測処理を正しく学習できなくなる
という問題が生じる。
列パターンの学習方式では、１時刻前の中間層の出力パ
ターンを文脈層への入力とするので、文脈層から中間層
への入力パターンが過去の入力履歴（文脈）に依存する
ことになり、ある程度の長さの文脈を保持させることが
可能である。しかし、時間的隔たりが大きくなると、過
去の入力履歴に関する情報（文脈層から中間層への入力
パターンの違いとなって表れる）が失われていくので、
文脈に応じた時系列予測処理を正しく学習できなくなる
という問題が生じる。
【００１３】この問題を図４に示した時系列予測処理を
例として具体的に説明する。
例として具体的に説明する。
【００１４】図５は、時刻ｔ1 〜ｔn の間の入力層への
入力パターン、文脈層への入力パターン、出力層への教
師パターンの対応関係を示す。図５では、時刻ｔ1 に分
岐部があり、ａに分岐する場合（ケースＡ）と、ｂに分
岐する場合（ケースＢ）を示した。
入力パターン、文脈層への入力パターン、出力層への教
師パターンの対応関係を示す。図５では、時刻ｔ1 に分
岐部があり、ａに分岐する場合（ケースＡ）と、ｂに分
岐する場合（ケースＢ）を示した。
【００１５】ケースＡの、時刻ｔ2 における文脈層への
入力パターンＣA （ｔ2 ）は、時刻ｔ1 の入力パターン
であるａとＣA （ｔ1 ）により式（１）のように決定さ
れる。
入力パターンＣA （ｔ2 ）は、時刻ｔ1 の入力パターン
であるａとＣA （ｔ1 ）により式（１）のように決定さ
れる。
【００１６】
【数１】 式（１）で、ＣAk（ｔ2 ）は時刻ｔ2 における文脈層へ
の入力パターンのｋ番目の要素、ＣAj（ｔ1 ）は時刻ｔ
1 における文脈層への入力パターンのｊ番目の要素、Ｈ
Ak（ｔ1 ）は時刻ｔ1 の中間層からの出力パターンのｋ
番目の要素、ａi は入力パターンａのｉ番目の要素、ｆ
（ｘ）はシグモイド関数、ＷIHik（ｔ1）は時刻ｔ1 に
おける入力層のｉ番目のニューロンと、中間層のｋ番目
のニューロンを結ぶ接続線の重み、ＷCHjk（ｔ1 ）は時
刻ｔ1 における文脈層のｊ番目のニューロンと、中間層
のｋ番目のニューロンを結ぶ接続線の重みである（以下
同様）。
の入力パターンのｋ番目の要素、ＣAj（ｔ1 ）は時刻ｔ
1 における文脈層への入力パターンのｊ番目の要素、Ｈ
Ak（ｔ1 ）は時刻ｔ1 の中間層からの出力パターンのｋ
番目の要素、ａi は入力パターンａのｉ番目の要素、ｆ
（ｘ）はシグモイド関数、ＷIHik（ｔ1）は時刻ｔ1 に
おける入力層のｉ番目のニューロンと、中間層のｋ番目
のニューロンを結ぶ接続線の重み、ＷCHjk（ｔ1 ）は時
刻ｔ1 における文脈層のｊ番目のニューロンと、中間層
のｋ番目のニューロンを結ぶ接続線の重みである（以下
同様）。
【００１７】式（１）に示すように、入力パターンａ
は、シグモイド関数に基づく１回のパターン変換操作に
より、文脈層への入力パターンＣA （ｔ2 ）に変換され
る。つまり、ＣA （ｔ2 ）には、ａの入力履歴が式
（１）に示す関係で直接保存される。
は、シグモイド関数に基づく１回のパターン変換操作に
より、文脈層への入力パターンＣA （ｔ2 ）に変換され
る。つまり、ＣA （ｔ2 ）には、ａの入力履歴が式
（１）に示す関係で直接保存される。
【００１８】同様に、ケースＡの時刻ｔ3 における文脈
層への入力パターンＣA （ｔ3 ）は、時刻ｔ2 の入力パ
ターンであるＰ1 とＣA （ｔ2 ）により式（２）のよう
に決定される。
層への入力パターンＣA （ｔ3 ）は、時刻ｔ2 の入力パ
ターンであるＰ1 とＣA （ｔ2 ）により式（２）のよう
に決定される。
【００１９】
【数２】 式（１）と式（２）を見ればわかるように、時刻ｔ3 で
は、入力パターンａは、シグモイド関数に基づく２回の
パターン変換操作により、文脈層への入力パターンＣA
（ｔ3 ）に変換される。言いかえれば、ＣA （ｔ2 ）に
はａの入力履歴がＣA （ｔ2 ）を介して間接的に保存さ
れる。
は、入力パターンａは、シグモイド関数に基づく２回の
パターン変換操作により、文脈層への入力パターンＣA
（ｔ3 ）に変換される。言いかえれば、ＣA （ｔ2 ）に
はａの入力履歴がＣA （ｔ2 ）を介して間接的に保存さ
れる。
【００２０】式（１）、式（２）におけるシグモイド関
数への入力第１項と入力第２項のパターンＣA に及ぼす
効果が同程度である場合には、１回のパターン変換操作
により、ａの入力履歴に関する情報は半分程度に減少す
る。
数への入力第１項と入力第２項のパターンＣA に及ぼす
効果が同程度である場合には、１回のパターン変換操作
により、ａの入力履歴に関する情報は半分程度に減少す
る。
【００２１】つまり、ＣA （ｔ3 ）ではａの入力履歴に
関する情報がＣA （ｔ2 ）に比べて失われることにな
る。
関する情報がＣA （ｔ2 ）に比べて失われることにな
る。
【００２２】同じようにして考えていけばわかるよう
に、分岐部からの時間的隔たりが十分大きくなったとき
の（ｎが十分大きくなったときの）文脈層への入力パタ
ーンＣA （ｔn ）では、ａの入力履歴に関する情報は全
く失われてしまう。
に、分岐部からの時間的隔たりが十分大きくなったとき
の（ｎが十分大きくなったときの）文脈層への入力パタ
ーンＣA （ｔn ）では、ａの入力履歴に関する情報は全
く失われてしまう。
【００２３】ケースＡとケースＢを比較して言えば、分
岐部の直後のＣA （ｔ2 ）とＣB （ｔ2 ）とでは、両パ
ターン間に明確な違いが存在するが、十分、時間が経過
したときのＣA （ｔn ）とＣB （ｔn ）とでは差が全く
なくなり、両者は同じパターンになってしまうことを意
味する。
岐部の直後のＣA （ｔ2 ）とＣB （ｔ2 ）とでは、両パ
ターン間に明確な違いが存在するが、十分、時間が経過
したときのＣA （ｔn ）とＣB （ｔn ）とでは差が全く
なくなり、両者は同じパターンになってしまうことを意
味する。
【００２４】従って、時刻ｔn において、入力層にパタ
ーンＰn-1 を入力し、文脈層にＣA（ｔn ）あるいはＣ
B （ｔn ）を入力して、ケースＡではパターンａを、ケ
ースＢではパターンｂを出力するように学習させようと
しても、両ケースにおけるニューラルネットワークへの
入力（入力層および文脈層への入力）に差がない以上、
正しく学習できないことは明らかである。
ーンＰn-1 を入力し、文脈層にＣA（ｔn ）あるいはＣ
B （ｔn ）を入力して、ケースＡではパターンａを、ケ
ースＢではパターンｂを出力するように学習させようと
しても、両ケースにおけるニューラルネットワークへの
入力（入力層および文脈層への入力）に差がない以上、
正しく学習できないことは明らかである。
【００２５】以上説明したように、従来技術の学習方式
では、時間的隔たりが十分大きくなると、文脈層への入
力パターンが過去の入力履歴によらず、同じパターンに
なってしまうので、時系列予測課題を正しく学習できな
いという問題が生じる。
では、時間的隔たりが十分大きくなると、文脈層への入
力パターンが過去の入力履歴によらず、同じパターンに
なってしまうので、時系列予測課題を正しく学習できな
いという問題が生じる。
【００２６】本発明は、上記に鑑みてなされたもので、
その目的とするところは、文脈層への入力パターンから
過去の入力履歴が損失されていく度合を少なくすること
により長期の時間的隔たりを有する時系列予測処理を学
習し得るニューラルネットワークによる時系列パターン
の学習方式を提供することにある。
その目的とするところは、文脈層への入力パターンから
過去の入力履歴が損失されていく度合を少なくすること
により長期の時間的隔たりを有する時系列予測処理を学
習し得るニューラルネットワークによる時系列パターン
の学習方式を提供することにある。
【００２７】
【課題を解決するための手段】上記目的を達成するた
め、本発明の時系列パターンの学習方式は、入力層、中
間層、出力層および文脈層を有し、入力層と中間層、文
脈層と中間層、中間層と出力層の各層間を学習で重みの
変動する重み付き接続線で接続したニューラルネットワ
ークを用いて時刻ｔの学習パターンＰ（ｔ）を入力層へ
の入力としたとき、時刻（ｔ＋１）の学習パターンＰ
（ｔ＋１）を出力層の出力する時系列予測処理を学習さ
せる時系列パターンの学習方式であって、ｎを１より大
きい整数としたとき、時刻（ｔ−ｎ）の中間層の出力パ
ターンＨ（ｔ−ｎ）と時刻（ｔ−１）の中間層の出力パ
ターンＨ（ｔ−１）を合成したパターンを時刻ｔの文脈
層への入力パターンＣ（ｔ）とすることを要旨とする。
め、本発明の時系列パターンの学習方式は、入力層、中
間層、出力層および文脈層を有し、入力層と中間層、文
脈層と中間層、中間層と出力層の各層間を学習で重みの
変動する重み付き接続線で接続したニューラルネットワ
ークを用いて時刻ｔの学習パターンＰ（ｔ）を入力層へ
の入力としたとき、時刻（ｔ＋１）の学習パターンＰ
（ｔ＋１）を出力層の出力する時系列予測処理を学習さ
せる時系列パターンの学習方式であって、ｎを１より大
きい整数としたとき、時刻（ｔ−ｎ）の中間層の出力パ
ターンＨ（ｔ−ｎ）と時刻（ｔ−１）の中間層の出力パ
ターンＨ（ｔ−１）を合成したパターンを時刻ｔの文脈
層への入力パターンＣ（ｔ）とすることを要旨とする。
【００２８】
【作用】本発明の時系列パターンの学習方式では、現時
刻ｔに比べて、過去の入力履歴に関する情報の損失の度
合の少ないｎ時刻前の中間層の出力パターンＨ（ｔ−
ｎ）を保存しておき、このパターンＨ（ｔ−ｎ）と時刻
（ｔ−１）のパターンＨ（ｔ−１）を合成したパターン
を現時刻ｔの文脈層への出力パターンＣ（ｔ）とし、こ
れにより文脈層の入力パターンから過去の入力履歴が損
失されていく度合を少なくし、従来より長期の時間的隔
たりを有することができる。
刻ｔに比べて、過去の入力履歴に関する情報の損失の度
合の少ないｎ時刻前の中間層の出力パターンＨ（ｔ−
ｎ）を保存しておき、このパターンＨ（ｔ−ｎ）と時刻
（ｔ−１）のパターンＨ（ｔ−１）を合成したパターン
を現時刻ｔの文脈層への出力パターンＣ（ｔ）とし、こ
れにより文脈層の入力パターンから過去の入力履歴が損
失されていく度合を少なくし、従来より長期の時間的隔
たりを有することができる。
【００２９】
【実施例】以下、図面を用いて本発明の実施例を説明す
る。
る。
【００３０】図１は、本発明の一実施例に係わる時系列
パターンの学習方式を実施するニューラルネットワーク
の構成を示す図である。同図に示すニューラルネットワ
ークによる時系列パターンの学習方式では、図４に示し
た時系列予測処理を例題にとりあげて、ｎ＝２とし、時
刻（ｔ−２）の中間層の出力パターンＨ（ｔ−２）と時
刻（ｔ−１）の中間層の出力パターンＨ（ｔ−１）を合
成する場合について説明する。また、両パターンを合成
する方法として、α×Ｈ（ｔ−ｎ）＋β×Ｈ（ｔ−１）
においてα＝１，β＝１とした場合、すなわち加算する
場合を例に説明する。
パターンの学習方式を実施するニューラルネットワーク
の構成を示す図である。同図に示すニューラルネットワ
ークによる時系列パターンの学習方式では、図４に示し
た時系列予測処理を例題にとりあげて、ｎ＝２とし、時
刻（ｔ−２）の中間層の出力パターンＨ（ｔ−２）と時
刻（ｔ−１）の中間層の出力パターンＨ（ｔ−１）を合
成する場合について説明する。また、両パターンを合成
する方法として、α×Ｈ（ｔ−ｎ）＋β×Ｈ（ｔ−１）
においてα＝１，β＝１とした場合、すなわち加算する
場合を例に説明する。
【００３１】図１において、１は入力層、２は文脈層、
３は中間層、４は出力層、９は時刻（ｔ−２）の中間層
の出力パターンであるＨ（ｔ−２）を保持しておく記憶
部、１０は時刻（ｔ−１）の中間層の出力パターンであ
るＨ（ｔ−１）とＨ（ｔ−２）を加算する加算部であ
る。記憶部９と加算部１０が本発明特有の機能部であ
る。１１は中間層の出力パターンを記憶部９と加算部１
０に入力するための接続線であり、重み固定の１対１結
合である。１２は記憶部９から加算部１０に信号を入力
するための接続線であり、重み固定の１対１結合であ
る。１３は加算部１０から文脈層２に信号を入力するた
めの接続線であり、重み固定の１対１結合である。５，
６，７は従来技術と同じ意味をもつ接続線である。
３は中間層、４は出力層、９は時刻（ｔ−２）の中間層
の出力パターンであるＨ（ｔ−２）を保持しておく記憶
部、１０は時刻（ｔ−１）の中間層の出力パターンであ
るＨ（ｔ−１）とＨ（ｔ−２）を加算する加算部であ
る。記憶部９と加算部１０が本発明特有の機能部であ
る。１１は中間層の出力パターンを記憶部９と加算部１
０に入力するための接続線であり、重み固定の１対１結
合である。１２は記憶部９から加算部１０に信号を入力
するための接続線であり、重み固定の１対１結合であ
る。１３は加算部１０から文脈層２に信号を入力するた
めの接続線であり、重み固定の１対１結合である。５，
６，７は従来技術と同じ意味をもつ接続線である。
【００３２】図２は、本発明の学習方式の実施例を示し
たフローチャートである。本発明での時系列パターンの
学習は次のように進められる。
たフローチャートである。本発明での時系列パターンの
学習は次のように進められる。
【００３３】まず、時系列の時刻ｔの学習パターンであ
るＰ（ｔ）を入力層１に入力する（ステップ１１０）。
次に、時刻（ｔ−１）の中間層３の出力パターンである
Ｈ（ｔ−１）を接続線１１を用いて、記憶部９と加算部
１０へ入力する（ステップ１２０）。
るＰ（ｔ）を入力層１に入力する（ステップ１１０）。
次に、時刻（ｔ−１）の中間層３の出力パターンである
Ｈ（ｔ−１）を接続線１１を用いて、記憶部９と加算部
１０へ入力する（ステップ１２０）。
【００３４】それから、記憶部９に保持されている時刻
（ｔ−２）の中間層３の出力パターンＨ（ｔ−２）を、
接続線１２を用いて加算部１０へ入力する（ステップ１
３０）。記憶部９をシフトレジスタ等で構成することに
より、このような動作を実現する。
（ｔ−２）の中間層３の出力パターンＨ（ｔ−２）を、
接続線１２を用いて加算部１０へ入力する（ステップ１
３０）。記憶部９をシフトレジスタ等で構成することに
より、このような動作を実現する。
【００３５】次に、加算部１０において、Ｈ（ｔ−２）
とＨ（ｔ−１）を算術加算する（ステップ１４０）。算
術加算したパターンを接続線１３を用いて文脈層２に入
力する（ステップ１５０）。時系列の時刻（ｔ＋１）の
学習パターンであるＰ（ｔ＋１）を、出力層４への教師
パターンとする（ステップ１６０）。
とＨ（ｔ−１）を算術加算する（ステップ１４０）。算
術加算したパターンを接続線１３を用いて文脈層２に入
力する（ステップ１５０）。時系列の時刻（ｔ＋１）の
学習パターンであるＰ（ｔ＋１）を、出力層４への教師
パターンとする（ステップ１６０）。
【００３６】そして、ステップ１１０〜ステップ１６０
で設定した入力パターンと教師パターンを用いて、バッ
クプロパゲーション法で学習させる（ステップ１７
０）。それから、時刻を１つ進ませて、次の周期に移る
（ステップ１８０）。
で設定した入力パターンと教師パターンを用いて、バッ
クプロパゲーション法で学習させる（ステップ１７
０）。それから、時刻を１つ進ませて、次の周期に移る
（ステップ１８０）。
【００３７】図４に示した時系列予測処理で、ｎ＝３
（中間部の長さが２）の場合を例にとって、実際に評価
実験を行なった。分岐パターンの数は４個（ａ，ｂ，
ｃ，ｄ）とした。
（中間部の長さが２）の場合を例にとって、実際に評価
実験を行なった。分岐パターンの数は４個（ａ，ｂ，
ｃ，ｄ）とした。
【００３８】実験に用いたニューラルネットワークの規
模は、入力層のニューロン数４、中間層のニューロン数
１５、出力層のニューロン数４、文脈層のニューロン数
１５である。
模は、入力層のニューロン数４、中間層のニューロン数
１５、出力層のニューロン数４、文脈層のニューロン数
１５である。
【００３９】２００００サイクル学習させた後で、分岐
パターン毎に、回想部でのニューラルネットワークの出
力値を調べた。その結果を図３に示す。
パターン毎に、回想部でのニューラルネットワークの出
力値を調べた。その結果を図３に示す。
【００４０】図３を見ればわかるように、従来技術では
パターンＣに分岐する場合を除いて、出力値と正解値は
余りよく一致していない（平均２乗誤差＝０．２１
１）。
パターンＣに分岐する場合を除いて、出力値と正解値は
余りよく一致していない（平均２乗誤差＝０．２１
１）。
【００４１】これに対し、本発明による学習をさせた場
合には、すべての分岐パターンにおいて、出力値と正解
値はよく一致している（平均２乗誤差＝０．００１）。
合には、すべての分岐パターンにおいて、出力値と正解
値はよく一致している（平均２乗誤差＝０．００１）。
【００４２】従って、本発明の学習方式では、従来技術
に比べて、より長期の時間的隔たりをもつ時系列予測処
理を学習できることが実験により確認された。
に比べて、より長期の時間的隔たりをもつ時系列予測処
理を学習できることが実験により確認された。
【００４３】以上の説明では、Ｈ（ｔ−ｎ）とＨ（ｔ−
１）を合成する方法として単純な算術加算を用いる場合
を例にとって説明したが、本発明は、他の合成方法を採
用する場合にも適用できることは明らかである。
１）を合成する方法として単純な算術加算を用いる場合
を例にとって説明したが、本発明は、他の合成方法を採
用する場合にも適用できることは明らかである。
【００４４】
【発明の効果】以上説明したように、本発明によれば、
現時刻ｔに比べて、過去の入力履歴に関する情報の損失
の度合の少ないｎ時刻前の中間層の出力パターンＨ（ｔ
−ｎ）を保存しておき、このパターンＨ（ｔ−ｎ）と時
刻（ｔ−１）のパターンＨ（ｔ−１）を合成したパター
ンを現時刻ｔの文脈層への出力パターンＣ（ｔ）として
いるので、従来に比較して、より長期の時間的隔たりを
有する時系列予測処理を学習できる。
現時刻ｔに比べて、過去の入力履歴に関する情報の損失
の度合の少ないｎ時刻前の中間層の出力パターンＨ（ｔ
−ｎ）を保存しておき、このパターンＨ（ｔ−ｎ）と時
刻（ｔ−１）のパターンＨ（ｔ−１）を合成したパター
ンを現時刻ｔの文脈層への出力パターンＣ（ｔ）として
いるので、従来に比較して、より長期の時間的隔たりを
有する時系列予測処理を学習できる。
【図１】本発明の一実施例に係わる時系列パターンの学
習方式を実施するニューラルネットワークの構成を示す
図である。
習方式を実施するニューラルネットワークの構成を示す
図である。
【図２】図１に示す時系列パターンの学習方式の作用を
示すフローチャートである。
示すフローチャートである。
【図３】本発明の効果を従来技術と比較して示す図であ
り、数値は回想部でのニューラルネットワークの出力
値、また括弧内の数値は正解値である。
り、数値は回想部でのニューラルネットワークの出力
値、また括弧内の数値は正解値である。
【図４】時系列予測処理の例を示す図である。
【図５】ニューラルネットワークへの入力パターンと教
師パターンの対応関係を時刻毎に示す図である。
師パターンの対応関係を時刻毎に示す図である。
【図６】従来のニューラルネットワークの構成を示す図
である。
である。
１ 入力層 ２ 文脈層 ３ 中間層 ４ 出力層 ９ 記憶部 １０ 加算部
Claims (2)
- 【請求項１】 入力層、中間層、出力層および文脈層を
有し、入力層と中間層、文脈層と中間層、中間層と出力
層の各層間を学習で重みの変動する重み付き接続線で接
続したニューラルネットワークを用いて時刻ｔの学習パ
ターンＰ（ｔ）を入力層への入力としたとき、時刻（ｔ
＋１）の学習パターンＰ（ｔ＋１）を出力層の出力する
時系列予測処理を学習させる時系列パターンの学習方式
であって、ｎを１より大きい整数としたとき、時刻（ｔ
−ｎ）の中間層の出力パターンＨ（ｔ−ｎ）と時刻（ｔ
−１）の中間層の出力パターンＨ（ｔ−１）を合成した
パターンを時刻ｔの文脈層への入力パターンＣ（ｔ）と
することを特徴とする時系列パターンの学習方式。 - 【請求項２】 前記文脈層への入力パターンＣ（ｔ）
は、αおよびβをパラメータとしたとき、α×Ｈ（ｔ−
ｎ）とβ×Ｈ（ｔ−１）を算術加算したパターンである
ことを特徴とする請求項１記載の時系列パターンの学習
方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4071628A JPH05274456A (ja) | 1992-03-27 | 1992-03-27 | 時系列パターンの学習方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4071628A JPH05274456A (ja) | 1992-03-27 | 1992-03-27 | 時系列パターンの学習方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05274456A true JPH05274456A (ja) | 1993-10-22 |
Family
ID=13466114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4071628A Pending JPH05274456A (ja) | 1992-03-27 | 1992-03-27 | 時系列パターンの学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05274456A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006318319A (ja) * | 2005-05-13 | 2006-11-24 | Sony Corp | 学習装置及び学習方法、並びにコンピュータ・プログラム |
-
1992
- 1992-03-27 JP JP4071628A patent/JPH05274456A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006318319A (ja) * | 2005-05-13 | 2006-11-24 | Sony Corp | 学習装置及び学習方法、並びにコンピュータ・プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Identification and control of dynamic systems using recurrent fuzzy neural networks | |
| US5606646A (en) | Recurrent neural network-based fuzzy logic system | |
| US5630023A (en) | Signal processor | |
| Leung et al. | Rational function neural network | |
| Nauck | Beyond neuro-fuzzy: perspectives and directions | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
| JPH05274456A (ja) | 時系列パターンの学習方式 | |
| JP3922407B2 (ja) | データ処理装置および方法 | |
| JPH05233860A (ja) | 時系列パターンの学習方式 | |
| JPH0520293A (ja) | 時系列パターンの学習方式 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JPH06175998A (ja) | 時系列予測方法 | |
| Goryn et al. | Conjugate gradient learning algorithms for multilayer perceptrons | |
| Tang et al. | A model of neurons with unidirectional linear response | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
| JP3328953B2 (ja) | 非線形シナプスニューロン、そのデバイス及びそれを用いた予測方法 | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク | |
| JP3314239B2 (ja) | Ｐｉｄパラメータ・オートチューニング方法 | |
| JPH02309447A (ja) | 相互結合型ニューラルネットワークの学習方法 | |
| JP3393511B2 (ja) | 文字認識装置及び方法 | |
| JPH0744195A (ja) | 音声認識用リカレントニューラルネットワーク | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| Wan et al. | Network reciprocity: A simple approach to derive gradient algorithms for arbitrary neural network structures | |
| JPH0744512A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 |