JPH04149661A - リカレントニューラルネットワークのリセット方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［ｅ　要］ 時系列データのパターン認識を行なうりカレントニュー
ラル７ノトワークのりセント方法に関し、従来、リカレ
ントニューラルネットワークでの学習は時系列データ中
の有限区間についてのみ行なわれるが、実際のデータは
長時間の時系列データであり、内部のコンテクスト層の
影響により、学習時と実際の認識時の出力結果が異なり
、リカレントニューラルネソトワークの実用化が困難で
あった問題の解決を目的とし、 時系列データを入力とし、該時系列データのパターン認
識を行なうリカレントニューラル７ノトワークにおいて
、時系列データの変化を監視し、該変化が予め選定した
パターンに一致する場合に、リカレントニューラルネン
トワーク内のコンテクスト層に対してリセット信号を発
生するリセット制御手段を設けて構成する。

Ｅ産業上の利用分野〕 本発明は、時系列データのパターン認識を行なうリカレ
ントニューラルネットワークのりセント方法に関し、特
に、該リカレントニューラルネットワーク内のコンテク
スト層に対するリセット信号を適切なタイミングで発生
させることにより、学習時と実際の認識時の出力結果を
一致させ得るすカレントニューラルネットワークのリセ
ット方法に関する。

［従来の技術］ ニューラルネットワークは、最近特に注目を集めている
技術であり、機械制御、知識処理、信号処理等の幅広い
分野で研究が行なわれており、すでに金融等の一部の分
野では実用化が始まっている。

そして、特に、このニューラルネットワークの一つであ
るリカレントニューラルネソトワークについては時系列
データや、複数のデータの相関関係の認識に優れている
と言われている。

例えば、工場設備に取り付けられた各種センサからの時
系列信号から設備の異常検出を行なう場合に、このリカ
レントニューラルネソトワークが適用できる。

すなわち、設備の異常時に、センサ信号に微妙な変化、
あるいは特異な特徴がある場合には該リカレントニュー
ラルネットワークにより異常の検出を行なうことができ
る。

リカレントニューラルネノトワーク自身は周知事項では
あるが、本発明の説明の便宜上一応その概要の説明をし
ておく。

すなわち、リカレントニューラルネソトワークは、第５
図に示されるように、基本的な構造は階層型ニューラル
ネットワークであるが、ネットワークの中にコンテクス
ト層（Ｃ０ＮＴＥＸＴ　ＬＡＹＥＲ）と呼ばれる、前パ
ターンの中間層出力値を記憶しておく機構を持つのが特
徴である。

また、第６図はリカレントニューラルネソトワークの動
作を説明するための図である。第６図（ａ）はリカレン
トニューラルネットワークの初期状態を示しており、時
刻１０におけるパターン（Ｉ　ｔｏ）入力時のコンテク
スト層の出力（Ｃ１ｔ０、Ｃ２ｔ。）、中間層の出力（
Ｈｌ、。、Ｈ２ｔＪおよび出力層の出力（Ｏ２゜）の関
係を示しており、初期状態でのコンテクスト層の出力は
ゼロ（ＣＩ、。

−〇、Ｃ２，。＝０）である。

また、第６図（ｂ）は次の時刻（ｔｌ）におけるネット
ワークの状態を示しており、時ＲｔＯにおける隠れ層（
中間層）のユニットの出力値（Ｈｌ、。、Ｈ２ｔｏ）が
コンテクスト層の出力値となる。すなわち、Ｃ１ｔ＋＝
Ｈ１ｔｏ、Ｃ２ｔｌ＝　Ｈ２ｔ。であり、隠れ層の出力
値がコンテクスト層にコピーされることになる。

同様に第６図（ｃ）は時刻（ｔ２）におけるネットワー
クの状態を示しており、時刻ｔ１における隠れ層のユニ
７トの出力値（Ｈｌｏ、Ｈ２□）がフンチクスト層の出
力値となる。すなわち、Ｃ１ｔｚ＝Ｈ１ｔ＋、Ｃ２゜＝
Ｈ２ｔ、である。

このように、コンテクスト層の働きにより、リカレント
ニューラルネットワークの出力は過去に入力されたデー
タ（パターン）に依存することになる。従って２．該リ
カレントニューラルネットワークは時間的に相関のある
データ（時系列データ）に対して有効に働くと考えられ
ている。

なお、このリカレントニューラルネットワークの学習に
は、通常の階層型ニューラルネットワークと同様に、ハ
ックプロパゲーション法が用いられる。

〔発明が解決しようとする課題〕

以上説明したように、リカレントニューラルネソトワー
クは、コンテクスト層の出力に、過去に入力されたデー
タの情報が蓄積されるが、初期状Ｂ（従来例の項の第６
図（ａ）で示す状態）ではコンテクスト層の出力はゼロ
である。

もし、コンテクスト層の初期値がゼロでない場合には、
第６図（ｂＨｃ）に示す時刻む１、およびｔ２でのニュ
ーラルネットワークの出力値（ＯＬｌ、０，２）は異な
ってくる。

−船釣に、センサ信号等は、長時間の時系列デ−夕であ
る。しかし、リカレントニューラル７ントワークで、学
習する場合には、長時間データの学習は行なわず、特徴
ある信号部分をサンプリングして、その部分を学習デー
タとして用いる。何故ならば、実用的なニューラルネ・
ノドワークを作り出すためには、ハックプロパゲーショ
ン法を用いた学習を、多くの特徴のあるデータに対して
行なう必要があり、学習が終了するまでには長時間を要
する。従って、実世界での時間全てに対するセンサデー
タを学習することは不可能である。

従って、例えば第７回の学習データ例に示されるごとく
、センサからの時系列データから、時刻１０〜ｔｎまで
のデータを学習データとしてサンプリングして用いるこ
とになる。

このような場合に問題になるのは、リカレントニューラ
ルネットワークの学習時には時刻ｔＯ〜ｔｎの有限な区
間のデータについて学習するのであるが、学習終了後に
、時刻“°０°°からのデータを該リカレントニューラ
ルネントワークに入力した場合に、時刻１０の時点での
コンテクスト層の出力はゼロではなくなる。

従って、第８図（ａ）に示す、学習時の出力０、と第８
図（ｂ）に示す認識時の出力Ｏｒとは一致しなくなる（
０．≠Ｏ，）。

この原因は、前述の如くコンテクスト層初期値が学習時
と認識（評価）時で異なってしまうためである。

このように、従来のリカレントニューラルネットワーク
では、時系列データのパターン認識を行なう場合に、学
習時と実際のパターン認識時の出力結果が異なってしま
うことになり、その実用化が大きく阻害されていた。

本発明は上記問題点に鑑みなされたものであり、効果的
な方法により、学習時と実際のパターン認識時の出力結
果を一致させ得るリカレントニエーラルネットワークの
リセット方法を提供することを目的とする。

〔課題を解決するための手段］ 本発明によれば、上述の目的は前記特許請求の範囲に記
載した手段により構成される。

すなわち、本発明は請求項１記載の発明については、時
系列データを入力とし、該時系列データのパターン認識
を行なうリカレントニューラルネットワークにおいて、 時系列データの変化を監視し、該変化が予め選定したパ
ターンに一致する場合に、リカレントニューラルネット
ワーク内のコンテクスト層に対してリセット信号を発生
するりセント制御手段を設けたリカレントニューラルネ
ソトワークのりセント方法である。

また、請求項２記載の発明においては、請求項１記載の
発明において、リセット制御手段を階層型ニューラルネ
ットワークを用いて構成したリカレントニューラルネッ
トワークのリセット方法である。

（作　用〕 本発明の基本的な考えは、「リカレントニューラルネン
トワークのコンテクスト層のリセット制御」を行なうこ
とであり、該コンテクスト層の出力を必要なタイミング
でリセットするものである。

第１図は本発明の動作原理を説明するための図であり、
１はリカレントニューラルネットワーク、１ａはすカレ
ントニューラルネットワーク内のコンテクスト層、２は
リセット制御部、３はパターン認識対象となる時系列デ
ータ、ｔｏ−ｔ−３は時系列データのサンプリング時刻
を表わし、また図中の’ＯＪ印はニューロンとして周知
の構成のものである。

本動作列では、リセット制御部２を階層型ニューラルネ
ットワークで構成した例であり、該リセット制御部２の
階層型ニューラルネットワークは、リカレントニューラ
ルネットワーク１の学習時の初期状態（第６図（ａ）の
時刻ｔｏの状態）でコンテクスト層１ａをリセットする
ように学習されている。すなわち、リセット制御部２に
はリカレントニューラルネットワーク１の学習データよ
り以前のデータを学習させる。

リセット制御部２のニューラルネットワークは階層型ニ
ューラルネットワークであるので、リセットニューラル
ネットワーク１のように、現時点でネットワークに入力
されていない時間的に過去のデータの影響は受けない。

従って、学習で使用したデータが入力されれば必ずコン
テクスト層１ａに対してリセット信号を発生し得るもの
である。

このように、本発明では、リセット制御部２内のニュー
ラルネットワーク乙こよって、コンテクスト層１ａのリ
セ２・ト制御を適切なタイミングで行な・うことが可能
となり、リカレントニューラル不、・トワークの学習時
と、実際の認識時でその出力結果が異なると言う問題が
解決される。

［実施例］ 第２図は本発明の一実施例を示す図であり５，４は工場
設備、４ａは温度センサ、５はＡ　、／　Ｄコンハ’　
−夕、６　ハパーソナルコンピュータ（パソコン）を表
わしている。

工場設備４には、温文セニ、す（熱電対）４ａが取り付
けられており、工場設６１４の温度情報がセンサ４ａで
検出され（通常アナログデータ）、Ａ／Ｄコンバータ５
によりデジタル信号に変換されてパソコン６に入力され
る。

パソコン６内では、温度変化を常時監視しており、異常
発生時乙こは警報を出すと同時に、工場設備４を緊急停
止させる。

この例では、本発明はパソコン６内でソフトウェア的手
段で実現されており、パソコン６に入力される時系列の
センサ信号をリカレントニューラル名ソトワークで監視
している。

また、第３図は本発明の実施例での処理過程を説明する
図であり、第２図中のパソコン内でソフトウェア的手段
により実現されているものである。

第３図において、１０は前処理部、１１はリカしントニ
ューラル茅ノドワーク、ｌｌａはコンチフス）層（Ｃ０
ＮＴＥＸＴ　Ｉ、ＡＹＥＲ）、１２はリセットニューラ
ルネットワーク、１２ａはバッファーを表わしている。

本図は、パソコンに入力された信号をリカレントへニュ
ーラルネットワークで処理する過程を示したものであり
、 （１）まず、センサ信号なる元データを前処理部１０？
こおいて微分処理をｊテない、ニューラルネットワーク
が処理し易いようにデータを加工する。

（２）次に、時間変化するデータは、リカレントニュー
ラルネノトワーク１１に入力されると同時に、リセット
ニューラルネットワーク１２にも入力される。ただし、
該リセットニューラルネットワーク１２には、ｔｏ−１
−４までの５サンプリング時刻のデータが入力される。

このリセットニューラルネットワーク１２は、リカレン
トニューラルネノトワーク１１内のコンテクスト層１２
のリセット刷面を行なう。

上記リカレントニューラルネノトワーク１１は、予めデ
ータヘースに収集しである過去の温度センサのデータの
特徴部分（異常が発生した場合のデータ波形、異常発生
時の波形に類似のデータ等）を学習している。

そしてまた、リセットニューラルネットワーク１２はす
力レントニューラルネントワーク１１が学習した全ての
異常データのデータ入力開始部分でリセット信号を出力
するように学習を行なっている。

従って、リセットニューラルネットワーク１１では実際
の異常データのパターン認識開始時にはコンテクスト層
１１ａがリセツトされ、学習時と同様な出力結果が得ら
れることになる。

以下、より具体的な例を用いて説明する。

すなわち、第４図は本発明の実施例の具体的な動作を説
明する図であり、第４図（ａ）はセンサからの信号なる
元データ、第４図（ｂ）は前処理部１０で加工されたデ
ータ波形であり、本例では前処理には温度データの一次
微分を行なっている。

図に示されるごとく、リカレントニューラルネノトワー
ク１１はサンプリング時刻Ｓ７〜ｓ１４の区間でパター
ン認識を行ない時刻ｓ１３の時に警報を出すように学習
を行なう。また、リセットニューラルネットワーク１２
はリカレントニューラルネノトワーク１１が学習を開始
した時刻Ｓ７の時に、コンテクスト層１１ａへのリセッ
ト信号を出力するよう学習を行なう。すなわち、リカレ
ントニューラルネットワーク１１の学習と同時に、リセ
ットニューラルネットワーク１２もリセットタイミング
の学習を行なう。

〔発明の効果〕 以上説明したごとく、本発明のリカレントニューラルネ
ットワークのりセント方法によれば、コンテクスト層に
対して適切なタイミングでリセット制御を行なうことが
可能となり、リカレントニューラルネットワークの学習
時と、実際のパターン認識時とでニューラルネットワー
クの出力結果が異なると言う従来の問題が解決され、リ
セットニューラルネットワークの実用化が促進される。

【図面の簡単な説明】

第１図は本発明の動作原理を説明するための図、第２図
は本発明の一実施例を示す図、第３図は本発明の実施例
での処理過程を説明する図、第４図は本発明の実施例の
具体的動作を説明する図、第５図はリカレントニューラ
ルネットワークについて説明する図、第６図はりカレン
トニニーラルネソトワークの動作説明図、第７図はリカ
レントニューラルネットワークの学習データの例を示す
図、第８図はリカレントニューラルネットワークの学習
時および認識時の出力について説明する図である。

Claims (2)

【特許請求の範囲】
1. （１）時系列データを入力とし、該時系列データのパタ
   ーン認識を行なうリカレントニューラルネットワークに
   おいて、 時系列データの変化を監視し、該変化が予め選定したパ
   ターンに一致する場合に、リカレントニューラルネット
   ワーク内のコンテクスト層に対してリセット信号を発生
   するリセット制御手段を、 設けたことを特徴とするリカレントニューラルネットワ
   ークのリセット方法。
2. （２）請求項１記載の発明において、リセット制御手段
   を階層型ニューラルネットワークを用いて構成したこと
   を特徴とするリカレントニューラルネットワークのリセ
   ット方法。