JP3214876B2 - Neural network configuration method and neural network construction support system - Google Patents
Neural network configuration method and neural network construction support systemInfo
- Publication number
- JP3214876B2 JP3214876B2 JP23997891A JP23997891A JP3214876B2 JP 3214876 B2 JP3214876 B2 JP 3214876B2 JP 23997891 A JP23997891 A JP 23997891A JP 23997891 A JP23997891 A JP 23997891A JP 3214876 B2 JP3214876 B2 JP 3214876B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- value
- learning
- time
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Feedback Control In General (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、ニューラルネットワー
クシステムに係り、特に、時系列情報の実時間処理、す
なわち過去のデータの推移により将来の値を予測する処
理に好適な、高速学習/想起を行なうニューラルネット
ワークの構造決定方法と、時系列情報生成手段を具備し
た推論方法と装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network system, and more particularly to a high-speed learning / recall suitable for real-time processing of time-series information, that is, processing for predicting a future value based on a transition of past data. The present invention relates to a method of determining a structure of a neural network to be performed, and an inference method and apparatus including a time-series information generating unit.
【0002】[0002]
【従来の技術】ニューラルネットワークは、入力層、中
間層および出力層の多層構造を有し、入力層に入力され
る信号に対して、各層を構成する各ニューロンの層間の
結合度に応じて、固有の出力信号を出力層より出力す
る。このニューロンの結合度は、学習によって適宜決定
することができる。このため、ニューラルネットワーク
を使用するには、予め一定の入力信号にたいして目的の
出力信号が得られるように、各ニューロンの他層の各ニ
ューロンとの結合度を決定させる学習を行うことが必要
となる。従来、ニューラルネットワークの学習方法とし
て、最も代表的な学習アルゴリズムは、誤差逆伝搬学習
方法を使用した方法である。これは、ニューラルネット
ワークに入力(学習パターン)を与え、そのときの出力
が理想の値(教師パターン)からのずれが最小になるよ
うに結合度を調整する方法である。2. Description of the Related Art A neural network has a multilayer structure including an input layer, an intermediate layer, and an output layer. Signals input to the input layer are determined by the degree of coupling between the layers of neurons constituting each layer. A unique output signal is output from the output layer. The degree of connection of the neurons can be appropriately determined by learning. Therefore, in order to use a neural network, it is necessary to perform learning for determining the degree of connection between each neuron and each neuron in another layer so that a desired output signal can be obtained for a certain input signal. . Conventionally, the most typical learning algorithm as a learning method for a neural network is a method using an error back propagation learning method. This is a method in which an input (learning pattern) is given to a neural network, and the degree of coupling is adjusted so that the output at that time from an ideal value (teacher pattern) is minimized.
【0003】ところで、ニューラルネットワークを制御
等の場において実際に利用するためには、他の機能素子
と同様に、高速に処理できること、すなわち、処理性が
高いこと、および、出力の精度がよいことが要求され
る。ニューラルネットワークは、その構成の態様、学習
のさせ方等により、その性能が変化する。従って、どの
ようにすれば、処理性の向上と高精度化の向上とが図れ
るかが、ニューラルネットワークの実用上の最大の課題
である。Incidentally, in order to actually use a neural network in control or the like, it is necessary to be able to perform processing at a high speed similarly to other functional elements, that is, to have high processing performance and high output accuracy. Is required. The performance of the neural network changes depending on the configuration mode, learning method, and the like. Therefore, how to improve the processability and the accuracy is the greatest practical problem of the neural network.
【0004】処理性、すなわち処理速度を向上させるに
は、(1)素子の高速度化等による演算速度そのものを
向上させること、(2)論理的に時間を要する積、加算
等の回数を低減すること、(3)ネットワークの構成を
できるだけ小さくすること、つまり、ニューラルネット
ワークの構成の最適化を図ること、が考えられる。この
うち(1)、(2)は、従来より行なわれている情報処
理における課題と同一であるが、(3)はニューラルネ
ットワーク特有の課題である。In order to improve the processing performance, that is, the processing speed, (1) improving the operation speed itself by increasing the speed of the elements, and (2) reducing the number of logically time-consuming products and additions. And (3) minimizing the configuration of the network, that is, optimizing the configuration of the neural network. Among them, (1) and (2) are the same as the problems in the conventional information processing, but (3) is a problem unique to the neural network.
【0005】ニューラルネットワークの一つの応用とし
て、過去の時系列より将来の値を予測するシステムが考
えられる。このようなシステムでは、ニューラルネット
ワークの入力ニューロンに現在の値から一定時間過去に
遡った時系列データを与え、出力ニューロン値を予測値
とする。このため、高速で、高精度の結果を得られるこ
とが要求され、ネットワークの最適な構成が求められ
る。As one application of the neural network, a system for predicting a future value from a past time series is considered. In such a system, the input neurons of the neural network are given time-series data that is retroactive for a certain period of time from the current value, and the output neuron value is used as the predicted value. For this reason, it is required to obtain high-speed and high-precision results, and an optimal network configuration is required.
【0006】しかし、従来、ニューラルネットワークの
入力層は、測定器やサンプル間隔やサンプル期間などの
制約条件により、つまり入力変数に対応して、ニューロ
ン数が決定され、また、出力層は、予測する出力変数に
対応してニューロン数が決定され、さらに、隠れ層(中
間層)は、入力層と出力層のニューロン数により、経験
的に定められている。すなわち、プロセス制御装置に適
用可能な推論装置として実用可能なニューラルネットワ
ークの構成方法についての効果的な研究は、行なわれて
いない。特に、時系列データを用いてリアルタイムで予
測を行う分野に関しては、ニューラルネットワークをプ
ロセス制御装置に適用可能とするための、高速化、高精
度化について、効果的な方法が提案されていないのが現
状である。However, conventionally, the input layer of the neural network determines the number of neurons according to constraints such as a measuring instrument, a sample interval and a sample period, that is, corresponding to an input variable, and the output layer predicts. The number of neurons is determined according to the output variable, and the hidden layer (intermediate layer) is empirically determined by the number of neurons in the input layer and the output layer. That is, no effective research has been conducted on a method of configuring a neural network that can be used as an inference device applicable to a process control device. Particularly in the field of real-time prediction using time-series data, no effective method has been proposed for speeding up and increasing accuracy so that neural networks can be applied to process control devices. It is the current situation.
【0007】なお、ニューラルネットワークについて
は、例えば、「パターン認識と学習のアルゴリズム」
(文−総合出版発行)、特開平1−201764号公報
等に記載されている。[0007] For the neural network, for example, "Pattern recognition and learning algorithm"
(Sentence-Published by Sogo Publishing), JP-A-1-201764, and the like.
【0008】[0008]
【発明が解決しようとする課題】上記ニューラルネット
ワークを実用に供する場合、特に、時系列データに基づ
いて予測を行う場合における課題について、さらに説明
する。Problems to be solved when the above-described neural network is put to practical use, particularly when prediction is performed based on time-series data, will be further described.
【0009】図3は、時系列データから予測値を出力す
るニューラルネットワークを表わしている。入力ニュー
ロンには、連続データからサンプリング期間Tの範囲で
サンプリング間隔dにより等間隔にn個サンプリングさ
れた過去の値(時系列データ)を入力させる。これは、
下記の式で表わされる。FIG. 3 shows a neural network for outputting a predicted value from time series data. The input neuron is input with past values (time-series data) sampled n times at equal intervals at a sampling interval d within a sampling period T from continuous data. this is,
It is represented by the following equation.
【0010】x(t),x(t−d),x(t−2d),……
…,x(t−nd) 但し T=(n*d) また、予測値は、x(t+P)で表わされる。X (t), x (t−d), x (t−2d),...
.., X (t−nd) where T = (n * d) Further, the predicted value is represented by x (t + P).
【0011】但し P;現在からの一定時間 図3において、横軸tは、時刻を表わし、縦軸xは、そ
の時刻での実測値である。サンプリング期間Tとは、想
起結果(予測値)に影響を及ぼす過去の時間を表わす。In FIG. 3, the horizontal axis t represents time, and the vertical axis x is an actual measurement value at that time. The sampling period T represents a past time that affects the recall result (predicted value).
【0012】ここで、一定間隔に測定された一定サンプ
リング期間の時系列データの組P1、P2、……、P
mと、各々の組に対するt(現在時刻)よりP(一定時
間)後の時刻における測定値とを、学習パターン/教師
パターンとして学習することにより、予測値を出力する
様なニューラルネットワークのニューロンの結合の重み
を決定する。Here, a set of time series data P 1 , P 2 ,..., P for a certain sampling period measured at certain intervals.
By learning m and a measurement value at a time P (a fixed time) after t (current time) for each pair as a learning pattern / teacher pattern, a neural network neuron that outputs a predicted value is learned. Determine the weight of the connection.
【0013】サンプリング期間Tを一定として、サンプ
リング間隔dを大きくすると、入力ニューロン数は減少
する。その結果、ニューラルネットワークの構造は小さ
くなり、学習/想起処理の処理性は向上する。一方、想
起結果は、サンプリング間隔の大きい測定点を忠実に表
わすようになるため、実際の測定値の波形と異なったも
のとなり、予測精度が劣化する。また、サンプリング期
間Tを一定として、サンプリング間隔dを小さくすると
入力ニューロン数は増大する。その結果、ニューラルネ
ットワークの構造は大きくなり、学習/想起処理の処理
性は低下する。一方、想起結果は、サンプリング間隔の
小さい測定点を忠実に表わすようになるため、実際の測
定値の波形により近いものとなり、予測精度が向上す
る。When the sampling interval T is increased while the sampling period T is kept constant, the number of input neurons decreases. As a result, the structure of the neural network is reduced, and the processability of the learning / recall processing is improved. On the other hand, the recall result faithfully represents a measurement point with a large sampling interval, and therefore differs from the waveform of the actual measurement value, and the prediction accuracy is deteriorated. When the sampling interval T is reduced while the sampling period T is fixed, the number of input neurons increases. As a result, the structure of the neural network becomes large, and the processability of the learning / recall processing decreases. On the other hand, the recall result faithfully represents a measurement point with a small sampling interval, so that it is closer to the waveform of the actual measurement value, and the prediction accuracy is improved.
【0014】このように、時系列データの予測における
サンプリング間隔dの決定は、処理性と精度とに直接影
響する。As described above, the determination of the sampling interval d in the prediction of time-series data has a direct effect on processability and accuracy.
【0015】一方、サンプリング間隔dを一定として、
サンプリング期間Tを小さくすると入力ニューロン数は
減少する。その結果、ニューラルネットワークの構造は
小さくなり、学習/想起の処理性は向上する。On the other hand, when the sampling interval d is constant,
When the sampling period T is reduced, the number of input neurons decreases. As a result, the structure of the neural network becomes smaller, and the processing of learning / recalling is improved.
【0016】しかし、どの程度まで小さくした場合に、
精度の劣化に影響を与えるかの問題については、効果的
な解決方法が、提案されていないのが現状である。しか
し、現実の問題解決への応用は困難であり、また、一般
的課題に対する効果的な決定方法は、提案されていな
い。However, to what extent the size is reduced,
At present, no effective solution has been proposed for the problem of affecting accuracy degradation. However, application to actual problem solving is difficult, and no effective decision method for general tasks has been proposed.
【0017】本発明の第1の目的は、上記のような時系
列データの予測において、サンプリング間隔とサンプリ
ング期間の最適なニューラルネットワークの構成方法を
提供することにある。A first object of the present invention is to provide a method of constructing a neural network having an optimum sampling interval and sampling period in predicting time-series data as described above.
【0018】また、本発明の第2の目的は、時系列デー
タの予測において、サンプリング間隔とサンプリング期
間の最適なニューラルネットワークの構成するためのニ
ューラルネットワーク構築支援システムを提供すること
にある。A second object of the present invention is to provide a neural network construction support system for configuring a neural network having an optimal sampling interval and sampling period in predicting time-series data.
【0019】さらに、本発明の第3の目的は、学習にお
いては早期に収束し、想起においては高速にかつ高精度
な動作を行なって、時系列データについての予測をリア
ルタイムで処理できるニューラルネットワークシステム
を提供することにある。Further, a third object of the present invention is to provide a neural network system which can converge early in learning, perform high-speed and high-precision operation in recall, and can process prediction of time-series data in real time. Is to provide.
【0020】[0020]
【課題を解決するための手段】本発明の第1の目的を達
成するため、本発明の第1の態様によれば、複数の入力
ニューロンと少なくとも1の出力ニューロンとを有し、
入力ニューロンに過去の時系列データをサンプリングし
て入力し、時系列データの将来値を予測する予測値を出
力ニューロンから得るニューラルネットワークの構築に
際し、予め定めた入力ニューロン数に対応するサンプリ
ング間隔およびサンプリング期間の教師パターンを生成
し、生成された教師パターンについて、ニューラルネッ
トワークの学習を行ない、該ニューラルネットワークに
より得られる予測値について、予測精度の評価を行っ
て、予め設定した精度が得られるまで、上記サンプリン
グ間隔およびサンプリング期間のうち少なくとも一方に
ついて逐次変更した教師パターンの生成と、その学習お
よび予測精度の評価とを繰り返し、予め設定した予測精
度が得られたとき、そのときの教師パターンのサンプリ
ング間隔およびサンプリング期間から、ニューラルネッ
トワークの入力ニューロン数を決定して、ニューラルネ
ットワークの構成を定義することを特徴とするニューラ
ルネットワークの構成方法が提供される。According to a first aspect of the present invention, there is provided a computer system having a plurality of input neurons and at least one output neuron,
When constructing a neural network in which past time-series data is sampled and input to an input neuron and a predicted value for predicting a future value of the time-series data is obtained from an output neuron, a sampling interval and sampling corresponding to a predetermined number of input neurons are used. A teacher pattern for a period is generated, a learning of the neural network is performed on the generated teacher pattern, and a prediction accuracy is evaluated for a prediction value obtained by the neural network. The generation of the teacher pattern sequentially changed for at least one of the sampling interval and the sampling period and the learning and the evaluation of the prediction accuracy are repeated, and when the prediction accuracy set in advance is obtained, the sampling interval of the teacher pattern at that time and Sun From the ring period, to determine the number of input neurons of the neural network, configuring the neural network, characterized in that to define the configuration of the neural network is provided.
【0021】また、本発明の第2の目的を達成するた
め、本発明の第2の態様によれば、ニューラルネットワ
ークの構成を定義する手段と、定義された複数の入力ニ
ューロンおよび少なくとも1の出力ニューロンを含んで
構成されるニューラルネットワークを記憶するニューラ
ルネットワーク保持手段と、該記憶されるニューラルネ
ットワークについて、教師パターンを用いて学習させる
学習手段と、上記教師パターンを生成する教師パターン
生成手段と、学習させたニューラルネットワークにより
得られる予測値について、予測精度の評価を行なう予測
精度評価手段と、これらの制御を行う制御手段とを備
え、制御手段は、得られる予測値が予め設定された精度
に達しないとき、上記教師パターン生成手段に、上記サ
ンプリング間隔およびサンプリング期間のうち少なくと
も一方について、変更した教師パターン生成させ、上記
学習手段に、上記変更された教師パターンを用いて学習
を行わせ、上記予測精度評価手段に、その精度を評価さ
せることを、予測値が予め設定した精度に達するまで繰
り返すように制御する機能を有し、上記ニューラルネッ
トワークの構成を定義する手段は、予測値が予め設定し
た精度に達したとき、その時のサンプリング間隔および
サンプリング期間に対応する入力ニューロン数を当該ニ
ューラルネットワークの入力ニューロン数に決定する機
能を有することを特徴とするニューラルネットワーク構
築支援システムが提供される。According to a second aspect of the present invention, there is provided a neural network comprising: means for defining a configuration of a neural network; a plurality of defined input neurons and at least one output; Neural network holding means for storing a neural network including neurons; learning means for learning the stored neural network using a teacher pattern; teacher pattern generating means for generating the teacher pattern; Prediction accuracy evaluation means for evaluating the prediction accuracy of the prediction value obtained by the neural network, and control means for controlling the prediction accuracy. The control means obtains a prediction value that reaches a preset accuracy. When not, the above sampling interval and For at least one of the sampling periods, a changed teacher pattern is generated, the learning means is made to perform learning using the changed teacher pattern, and the prediction accuracy evaluation means is evaluated for accuracy. Means for controlling until the value reaches a preset accuracy, means for defining the configuration of the neural network, when the predicted value reaches the preset accuracy, the sampling interval and sampling period at that time A neural network construction support system having a function of determining a corresponding number of input neurons as the number of input neurons of the neural network is provided.
【0022】[0022]
【0023】予測精度の評価は、例えば、予測値と実測
値との相関係数を求め、この相関係数を予め設定した満
足値と比較することにより行うことができる。ここで、
実測値としては、例えば、教師パターンの入力したデー
タの次の時刻のデータを用いればよい。The evaluation of the prediction accuracy can be performed, for example, by obtaining a correlation coefficient between the predicted value and the actually measured value, and comparing the correlation coefficient with a predetermined satisfaction value. here,
As the actually measured value, for example, data at the next time after the data input by the teacher pattern may be used.
【0024】また、サンプリング間隔およびサンプリン
グ期間のうち少なくとも一方についての変更は、ニュー
ラルネットワークの入力ニューロン数が少ないほうから
多くなる方向に逐次変化させることが好ましい。これ
は、入力ニューロン数が少ないほうが、計算量が少ない
ため、学習が高速に行なえるからである。It is preferable that the change of at least one of the sampling interval and the sampling period be sequentially changed in a direction in which the number of input neurons of the neural network is small to large. This is because the smaller the number of input neurons, the smaller the amount of calculation, and the faster the learning.
【0025】[0025]
【0026】[0026]
【作用】サンプリング間隔dとサンプリング期間Tの値
の決定ロジックにおいて所望の予測精度を最短時間で得
るのに必要なサンプリング間隔と、サンプリング期間
(時間)を最適に定めることができる。その結果によ
り、ニューラルネットワークの構造を定義し、また時系
列データを生成するようにしているので、学習において
は冗長な動作が減少し、その結果、短時間で学習が完了
する。また、想起においても高い処理性が得られるよう
になる。In the logic for determining the values of the sampling interval d and the sampling period T, the sampling interval and the sampling period (time) necessary for obtaining the desired prediction accuracy in the shortest time can be optimally determined. As a result, the structure of the neural network is defined and time-series data is generated. Therefore, redundant operations in learning are reduced, and as a result, learning is completed in a short time. Also, high processing performance can be obtained in recall.
【0027】さらに、サンプリング間隔dとサンプリン
グ期間Tの値の決定ロジックにおいて最終的な予測値と
測定値との相関係数を用いて予測評価を行なっているた
め、所望の予測精度が保障されることになる。従って、
時系列データの予測値を高精度でかつ高速に定めること
ができるようになる。Furthermore, since the prediction evaluation is performed using the correlation coefficient between the final predicted value and the measured value in the logic for determining the values of the sampling interval d and the sampling period T, a desired prediction accuracy is guaranteed. Will be. Therefore,
The prediction value of the time-series data can be determined with high accuracy and at high speed.
【0028】[0028]
【実施例】以下、本発明の一実施例について、図面を参
照して説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below with reference to the drawings.
【0029】本発明の一実施例である時系列ニューラル
ネットワークの構成方法を実現するための機能図を図1
に示す。図1を参照して、本実施例のニューラルネット
ワーク構成方法の概要について説明する。FIG. 1 is a functional diagram for realizing a time series neural network configuration method according to an embodiment of the present invention.
Shown in With reference to FIG. 1, an outline of the neural network configuration method of the present embodiment will be described.
【0030】本実施例は、過去の時系列データから将来
の値を予測するニューラルネットワークにおいて、複数
の入力ニューロン1に対応して、時系列データから等間
隔にサンプリングされた値x(t)、x(t−d)、x
(t−2d)、…、x(t−nd)を入力する場合にお
いて、そのサンプリング間隔dと、現在から過去の期
間、つまりサンプリング期間(T=n*d)が最適な、
つまり所望の予測精度が得られる範囲内で最少な入力ニ
ューロンを有するニューラルネットワークの構成を決定
するものである。In this embodiment, in a neural network for predicting a future value from past time series data, values x (t) sampled at regular intervals from time series data corresponding to a plurality of input neurons 1; x (t−d), x
When inputting (t−2d),..., X (t−nd), the sampling interval d and the period from the present to the past, that is, the sampling period (T = n * d) are optimal.
That is, the configuration of the neural network having the minimum number of input neurons within the range in which the desired prediction accuracy can be obtained is determined.
【0031】先ず、予め、サンプリング間隔dとサンプ
リング期間Tに対応する入力ニューロン数を仮に決定し
て、ニューラルネットワークの構成を定義しておく。そ
して、教師パターン生成手段1により生成された時系列
データを、教師パターン(入力)メモリ6、教師パター
ン(出力)メモリ7に格納して、それに基づいて学習手
段4で学習を実行する。学習が収束した後、予測精度評
価手段3により、当該ニューラルネットワークによる予
測値と教師パターンの対応する値(実測値に相当する
値)との相関係数の算出を行う。相関係数が所望の予測
精度を満足すれば、その時のサンプリング間隔dとサン
プリング期間Tに対応する入力ニューロンを有する時系
列ニューラルネットワーク5を、時系列ニューラルネッ
トワーク定義手段2により定める。また、所望の予測精
度を満足しない場合は、教師パターン生成手段1により
満足するまで、サンプリング間隔dとサンプリング期間
Tのうち少なくとも一方について逐次変更した教師パタ
ーン(入出力)を生成して、学習と、予測精度の評価を
繰り返す。なお、学習パターンとして教師パターンを用
いている理由については後述する。First, the number of input neurons corresponding to the sampling interval d and the sampling period T is temporarily determined, and the configuration of the neural network is defined. Then, the time series data generated by the teacher pattern generating means 1 is stored in the teacher pattern (input) memory 6 and the teacher pattern (output) memory 7, and learning is performed by the learning means 4 based thereon. After the learning has converged, the prediction accuracy evaluation means 3 calculates a correlation coefficient between the predicted value by the neural network and a corresponding value of the teacher pattern (a value corresponding to an actually measured value). If the correlation coefficient satisfies the desired prediction accuracy, the time-series neural network defining means 2 determines a time-series neural network 5 having input neurons corresponding to the sampling interval d and the sampling period T at that time. When the desired prediction accuracy is not satisfied, a teacher pattern (input / output) is generated by sequentially changing at least one of the sampling interval d and the sampling period T until the desired prediction accuracy is satisfied. , And repeat the evaluation of the prediction accuracy. The reason why the teacher pattern is used as the learning pattern will be described later.
【0032】ニューラルネットワークの入力ニューロン
数の変更は、入力ニューロン数が少ないほうから多くな
る方向に逐次変化させるように行う。従って、ニューラ
ルネットワークの初期設定時には、これを考慮して、入
力ニューロン数を設定する。The number of input neurons of the neural network is changed so that the number of input neurons is sequentially changed from a smaller number to a larger number. Therefore, when initializing the neural network, the number of input neurons is set in consideration of this.
【0033】次に、本発明の一実施例である学習/想起
システムの構成図を図2に示す。Next, FIG. 2 shows a configuration diagram of a learning / recall system according to an embodiment of the present invention.
【0034】この学習/想起システムは、計算機システ
ム10と、所望の予測精度の入力や、定義状態を表示す
る入出力装置11と、データ、プログラム等を入力する
ための入力装置12と、ニューラルネットワークの構成
データ、想起結果等を出力する出力装置13とを備え
る。計算機システム10は、例えば、図示していない中
央処理装置およびその動作プログラムやデータを記憶す
る主記憶を有する演算処理部10aと、インターフェイ
ス9とを備える。この計算機システム10は、プログラ
ムを実行することにより、最適なサンプリング間隔とサ
ンプリング期間に対応したニューラルネットワーク5を
定義する時系列ニューラルネットワーク定義手段2と、
現在のサンプリング間隔とサンプリング期間に対応した
教師パターンを生成する教師パターン生成手段1と、そ
れら教師パターンにより学習を実行する学習手段4と、
学習結果の予測精度評価を行なう予測精度評価手段3
と、上記各手段の実行を制御する制御手段20とを備え
る。上記各手段は、インターフェイス9を介して、入出
力装置11、入力装置12および出力装置13との情報
の授受を行なう。This learning / recall system comprises a computer system 10, an input / output device 11 for inputting desired prediction accuracy and displaying a definition state, an input device 12 for inputting data, programs, etc., and a neural network. And an output device 13 for outputting the configuration data, the recall result, and the like. The computer system 10 includes, for example, a central processing unit (not shown), an arithmetic processing unit 10 a having a main memory for storing operation programs and data, and an interface 9. The computer system 10 executes a program to define a neural network 5 corresponding to an optimal sampling interval and a sampling period.
A teacher pattern generating means 1 for generating a teacher pattern corresponding to the current sampling interval and sampling period, a learning means 4 for executing learning based on the teacher patterns,
Prediction accuracy evaluation means 3 for evaluating the prediction accuracy of the learning result
And control means 20 for controlling the execution of each of the above means. Each of the above units exchanges information with the input / output device 11, the input device 12, and the output device 13 via the interface 9.
【0035】本実施例で用いられるニューラルネットワ
ークは、出力ニューロン数が1であり、入力ニューロン
数が(n+1)個となるように構築される。入力ニュー
ロン数は、図3に示すように、サンプリング期間をTと
して、サンプリング間隔をdすると、T=ndの関係か
ら、(n+1)個に決められる。中間層は、入力ニュー
ロン数に合わせて適宜設定される。例えば、入力ニュー
ロン数と同数であったり、それより少ない数であったり
することができる。また、中間層のニューロン数は、入
力ニューロン数に併せて増減させるか、入力ニューロン
数の増減にかかわらず、固定としてもよい。The neural network used in this embodiment is constructed such that the number of output neurons is 1 and the number of input neurons is (n + 1). As shown in FIG. 3, when the sampling period is T and the sampling interval is d, the number of input neurons is determined to be (n + 1) from the relationship of T = nd. The intermediate layer is appropriately set according to the number of input neurons. For example, the number may be equal to or less than the number of input neurons. The number of neurons in the intermediate layer may be increased or decreased in accordance with the number of input neurons, or may be fixed regardless of the number of input neurons.
【0036】学習手段4は、例えば、図10に示すよう
に、学習演算手段41と、重み演算修正手段42とを備
える。学習演算手段41には、学習パターンが入力され
る。これを受けて、学習演算手段41は、ニューラルネ
ットワーク保持手段5に記憶されているニューラルネッ
トワークについて、ニューロン出力値とシナップス重み
の積和知の非線形関数演算を各層について順次行い、出
力値h(x)を出力する。重み演算修正手段42には、
教師パターンd(x)と上記出力値h(x)との誤差を
求め、これを最小とするように、バックプロパゲーショ
ン法を用いて、重み係数を修正する。The learning means 4 comprises, for example, a learning calculation means 41 and a weight calculation correction means 42 as shown in FIG. A learning pattern is input to the learning operation unit 41. In response to this, the learning operation unit 41 sequentially performs a non-linear function operation of sum of products of the neuron output value and the synapse weight for the neural network stored in the neural network holding unit 5 for each layer, and outputs the output value h (x ) Is output. The weight calculation correcting means 42 includes
An error between the teacher pattern d (x) and the output value h (x) is obtained, and the weight coefficient is corrected using the back propagation method so as to minimize the error.
【0037】ここで、学習パターンと教師用パターンと
は、本実施例の場合、時系列データを扱うので、同一の
データを用いることができる。すなわち、学習は、学習
パターンとして、教師パターンの特定の時点より1サン
プリング間隔分前までのデータを用い、その予測値が当
該特定の時点の教師パターンデータに近づくように、学
習させればよいからである。Here, in the case of the present embodiment, the same data can be used for the learning pattern and the teacher's pattern because they are time-series data. That is, the learning is performed by using data from the specific point in time of the teacher pattern up to one sampling interval before as the learning pattern, and learning so that the predicted value approaches the teacher pattern data at the specific point in time. It is.
【0038】次に、本発明を、トンネル換気プロセスに
おけるVI(透過率)値の予測をニューラルネットワー
クにより行うプロセスに応用した例について説明する。
ここでは、予測値の予測精度を、測定値との相関関係を
求めることにより評価する。Next, an example in which the present invention is applied to a process of predicting a VI (transmittance) value in a tunnel ventilation process by a neural network will be described.
Here, the prediction accuracy of the predicted value is evaluated by obtaining a correlation with the measured value.
【0039】本発明は、図4に示すような、VI実測値
(%)とVI予測値(%)との相関グラフと相関係数に
より、時系列ニューラルネットワークの予測精度の評価
比較を行ない、最適なサンプリング間隔とサンプリング
期間Tを求め、それらに基づき時系列ニューラルネット
ワークの構成を定める様にしたものである。The present invention evaluates and compares the prediction accuracy of a time-series neural network using a correlation graph and a correlation coefficient between a VI actual measurement value (%) and a VI prediction value (%) as shown in FIG. The optimum sampling interval and sampling period T are obtained, and the configuration of the time-series neural network is determined based on them.
【0040】本例での相関関数は、下記の式で表わされ
るものを採用している。The correlation function used in this embodiment is represented by the following equation.
【0041】[0041]
【数1】 (Equation 1)
【0042】図4は、縦軸をVI予測値(%)、横軸を
VI実測値(%)として採用データ数(279データ)
だけプロットしたものであり、このグラフを相関図とい
う。FIG. 4 shows the number of employed data (279 data) with the vertical axis representing the VI predicted value (%) and the horizontal axis representing the VI actual measured value (%).
, And this graph is called a correlation diagram.
【0043】相関図において、VI実測値(%)が増加
するときVI予測値(%)も増加する傾向(正の相関)
があり、実測値と予測値が、直線上に並び一致するとき
が最も強い相関を示し、r=1となる。In the correlation diagram, when the measured VI value (%) increases, the predicted VI value (%) also tends to increase (positive correlation).
When the measured value and the predicted value are aligned on a straight line and coincide with each other, the strongest correlation is shown, and r = 1.
【0044】従って、図4の(a)と(b)とに示され
る、相関係数=0.34614と0.67299とでは、
0.67299の方が強い相関であり、予測精度が高い
と評価できる。Accordingly, when the correlation coefficients = 0.34614 and 0.667299 shown in FIGS. 4A and 4B,
0.667299 is a stronger correlation, and can be evaluated as having higher prediction accuracy.
【0045】図5は、相関係数の満足値(rSとする)
により、ニューラルネットワークのサンプリング間隔d
とサンプリング期間Tとの決定ロジックのフローチャー
トを示す。FIG. 5 shows a satisfactory value of the correlation coefficient (r S ).
, The sampling interval d of the neural network
4 shows a flowchart of a logic for determining a sampling period T and a sampling period T.
【0046】サンプリング間隔dとサンプリング期間T
の決定は、フローチャートに従い、計算機システム10
によって以下の順に処理される。Sampling interval d and sampling period T
Is determined according to the flowchart in the computer system 10.
Is processed in the following order.
【0047】S101;下記の初期値をセットする。S101: The following initial values are set.
【0048】(1)サンプリング期間の初期値をセット
する。(1) Set the initial value of the sampling period.
【0049】(現在より一定時間後の予測に対して影響
が想定される十分大きな期間) (2)時系列データのサンプリング間隔の初期値をセッ
トする。(Sufficiently large period in which the effect is expected on the prediction after a certain time from the present time) (2) Set the initial value of the sampling interval of the time series data.
【0050】(測定可能なサンプリング間隔に対して十
分大きな間隔) S102;以下のS103〜S107について、S10
5でサンプリング間隔dの補正に対する相関係数が所望
の相関係数を満足するまで、くり返す。(Sufficiently large interval for measurable sampling interval) S102: For the following S103 to S107, S10
At 5, the process is repeated until the correlation coefficient for the correction of the sampling interval d satisfies the desired correlation coefficient.
【0051】S103;前記サンプリング期間Tとサン
プリング間隔dに基づいて、時系列データをサンプリン
グし、それを入力として、学習することによりニューラ
ルネットの重み係数を求める。S103: Time-series data is sampled based on the sampling period T and the sampling interval d, and the time-series data is input and learned to obtain a weight coefficient of the neural network.
【0052】S104;S103でサンプリングした測
定値と前記ステップで決定された予測値により相関係数
rを算出する。S104: A correlation coefficient r is calculated from the measured value sampled in S103 and the predicted value determined in the above step.
【0053】S105;前記ステップで算出した相関係
数と、予め与えられた所望の相関度rSとを比較する。S105: The correlation coefficient calculated in the above step is compared with a predetermined degree of correlation r S given in advance.
【0054】r≧rSのとき条件成立(満足) S106;S105で条件成立(満足)のとき、サンプ
リング間隔dの補正を終了する。When r ≧ r S, the condition is satisfied (satisfied) S106; When the condition is satisfied (satisfied) in S105, the correction of the sampling interval d ends.
【0055】S107;S105で条件不成立(以外)
のとき、サンプリング間隔dをΔdだけ狭くして、S1
03に戻る。S107: Condition not satisfied at S105 (other than)
, The sampling interval d is narrowed by Δd, and S1
Return to 03.
【0056】S108;以下のS109〜S114につ
いて、S111でサンプリング期間Tの補正に対する相
関係数が所望の相関係数を満足する限界値(不満足の1
回前)まで、くり返す。S108: Regarding the following S109 to S114, in S111, the limit value at which the correlation coefficient for the correction of the sampling period T satisfies the desired correlation coefficient (unsatisfactory 1)
Repeat).
【0057】S109;前記S103と同じ。S109: Same as S103.
【0058】S110;前記S104と同じ。S110: Same as S104.
【0059】S111;前記S105と同じ。S111: Same as S105.
【0060】S112;S111で条件成立(満足)の
とき、サンプリング期間TをΔTだけ狭くして、S10
9に戻る。S112: If the condition is satisfied (satisfied) in S111, the sampling period T is narrowed by ΔT, and S10
Return to 9.
【0061】S113〜S114;S111で条件不成
立(以外)のとき、サンプリング期間TをΔTだけ広く
して、サンプリング期間Tの補正を終了する。S113 to S114: When the condition is not satisfied (other than S111) in S111, the sampling period T is widened by ΔT, and the correction of the sampling period T ends.
【0062】上記処理を要約すると、S101からS1
07までの処理では、所望の予測精度、すなわち、実測
値と予測値との相関度を得るために必要なサンプリング
間隔を定めており、S108からS114までの処理
は、上記精度を得るのに必要な現在から過去への期間、
つまり将来値予測に影響のある最短のサンプリング期間
を決定するロジックである。To summarize the above processing, S101 to S1
In the processing up to 07, the desired prediction accuracy, that is, the sampling interval required to obtain the degree of correlation between the actually measured value and the predicted value is determined, and the processing in S108 to S114 is required to obtain the above-mentioned accuracy. From the present to the past,
That is, it is the logic for determining the shortest sampling period that affects the future value prediction.
【0063】図6〜図8により、サンプリング間隔と相
関係数との関係を説明する。The relationship between the sampling interval and the correlation coefficient will be described with reference to FIGS.
【0064】先ず、現在点より予測点までの一定時間P
について、説明する。First, a fixed time P from the current point to the prediction point
Will be described.
【0065】現在点より一定時間P後に対する予測値x
(t+P)の並び(○印)は、ニューラルネットワーク
の学習により、測定値であるx(t)、x(t−d)、
……、x(t−nd)の等間隔の点(●印)を結んだグ
ラフを、出来るだけ忠実に表わすようになる。従って、
例えばP=d/2したとき、全ての該当の予測値と予測
値に対応する測定値との相関係数を求めることにより、
予測値を結んだグラフ(点線)と、予測値に対応する測
定値のグラフ(実線)との相関の程度が判定できる。A predicted value x for a certain time P after the current point
The sequence of (t + P) (marked with ○) is the measured values x (t), x (t−d),
.., And a graph connecting points at equal intervals of x (t-nd) (marked by ●) is represented as faithfully as possible. Therefore,
For example, when P = d / 2, by calculating the correlation coefficient between all the corresponding predicted values and the measured values corresponding to the predicted values,
The degree of correlation between the graph (dotted line) connecting the predicted values and the measured value graph (solid line) corresponding to the predicted value can be determined.
【0066】ここで、相関係数の満足値(rS)は、適
用分野、予測対象量により、予め設定される定数であ
る。例えば、VI予測においては、0.9以上であれば
十分といえる。Here, the satisfaction value (r S ) of the correlation coefficient is a constant set in advance depending on the application field and the amount to be predicted. For example, in VI prediction, 0.9 or more is sufficient.
【0067】サンプリング間隔による相関係数の違いを
図7および図8に示す。なお、ここでは、サンプリング
期間は固定である。FIGS. 7 and 8 show the difference in the correlation coefficient depending on the sampling interval. Here, the sampling period is fixed.
【0068】図7は、実施例において、サンプリング間
隔dが大きい場合は、相関係数が小さい値であることを
示している。一方、図8は、サンプリング間隔を図7の
場合より半分にしたことによって相関係数が向上し、予
測グラフも測定グラフに相似してきたことを示してい
る。FIG. 7 shows that in the embodiment, when the sampling interval d is large, the correlation coefficient is a small value. On the other hand, FIG. 8 shows that the correlation coefficient was improved by reducing the sampling interval to half that of FIG. 7, and the prediction graph became similar to the measurement graph.
【0069】図7と図8とを比較すると、入力ニューロ
ン数については、図7に示す例より図8に示す例の法
が、ニューロン数が多くなっている。また、図7に示す
サンプリング間隔による相関係数は、図4(a)のよう
になり、図8に示すサンプリング間隔による相関係数
は、図4(b)のようになる。7 and 8, the number of input neurons is larger in the method of the example shown in FIG. 8 than in the example shown in FIG. The correlation coefficient at the sampling interval shown in FIG. 7 is as shown in FIG. 4A, and the correlation coefficient at the sampling interval shown in FIG. 8 is as shown in FIG.
【0070】このことから、サンプリング間隔をより小
さくして、サンプリングデータを多くすることにより、
予測精度がより向上することがわかる。サンプリング間
隔を増加させると、それに対応して入力ニューロン数が
増えるので、それだけ想起に必要な計算量が増加して、
処理時間がかかるという問題がある。しかし、本発明の
場合、予め予測値の精度を評価することにより、必要な
精度に達したところで、入力ニューロン数を決定するこ
とができる。このため、本発明では、ニューラルネット
ワークの構成を、必要な精度を確保して、最小限の規模
に設定することができる。From this, by making the sampling interval smaller and increasing the sampling data,
It can be seen that the prediction accuracy is further improved. When the sampling interval is increased, the number of input neurons is correspondingly increased.
There is a problem that processing time is required. However, in the case of the present invention, the number of input neurons can be determined when the required accuracy is reached by evaluating the accuracy of the predicted value in advance. For this reason, in the present invention, the configuration of the neural network can be set to the minimum scale while ensuring necessary accuracy.
【0071】本発明は、計測値の時系列データについて
予測値を求めて、プロセスの制御を行うプロセス制御シ
ステムに適用することができる。これにより、例えば、
予め定義された数の入力ニューロンおよび出力ニューロ
ンとを含み、計測値の時系列データについて予測値を出
力するニューラルネットワークと、計測値について、上
記定義された入力ニューロン数に対応して、サンプリン
グ期間およびサンプリング間隔で計測値をサンプリング
して時系列データを生成し、これを入力ニューロンに供
給する時系列データ生成手段とを備えるプロセス制御シ
ステムが実現できる。The present invention can be applied to a process control system for controlling a process by obtaining a predicted value for time series data of a measured value. This allows, for example,
A neural network that includes a predefined number of input neurons and output neurons, and outputs a predicted value for the time series data of the measured value; and, for the measured value, a sampling period and It is possible to realize a process control system including a time-series data generating unit that generates time-series data by sampling measurement values at sampling intervals and supplies the time-series data to input neurons.
【0072】図9は、このプロセス制御システムの一例
であって、図1のニューラルネットワークを設けたトン
ネル換気プロセスにおけるプロセス制御装置の一実施例
を示す。FIG. 9 shows an example of this process control system, showing an embodiment of a process control device in a tunnel ventilation process provided with the neural network of FIG.
【0073】図9においては、プロセス側に、集塵機等
の制御機器16が設けられ、また、プロセスの各部の状
態を測定する測定器15を備えている。In FIG. 9, a control device 16 such as a dust collector is provided on the process side, and a measuring device 15 for measuring the state of each part of the process is provided.
【0074】また、プロセス制御装置17は、測定器1
5からの測定値を取り込んでディタルデータ変換する入
力装置12と、入力されたデータをサンプリングして時
系列データを生成する時系列データ生成部8と、計算機
システム10と、計算機システム10から出力される信
号に基づいて操作量を求める操作量演算部14と、求め
られた操作量演算手段と、演算された操作量を出力する
出力装置13とを備える。Further, the process control device 17 includes the measuring device 1
5, an input device 12 which takes in the measured values from 5 and converts it into digital data, a time-series data generator 8 which samples input data to generate time-series data, a computer system 10, and outputs from the computer system 10. An operation amount calculating unit 14 for obtaining an operation amount based on a signal to be operated, an obtained operation amount calculating unit, and an output device 13 for outputting the calculated operation amount.
【0075】測定器15で入力した時系列プロセス量を
入力装置12で入力し、該当の時系列プロセス量を予め
決定された最適なサンプリング間隔とサンプリング期間
に対応した時系列データを生成する時系列データ生成部
8を通じて、インターフェイスにより計算機システム1
0に入力することによって、計算機システムに内蔵され
た、高速推論装置である時系列ニューラルネットワーク
により、予測量を的確に定め、予測量に対する所定の操
作量を操作演算部14により演算し、プロセス出力装置
13により、制御機器16の出力を行なうものである。The time-series process amount input by the measuring device 15 is input by the input device 12, and the corresponding time-series process amount is converted into a time-series data for generating time-series data corresponding to a predetermined optimum sampling interval and sampling period. The computer system 1 is interfaced with the interface through the data generator 8.
By inputting 0, the prediction amount is accurately determined by the time-series neural network, which is a high-speed inference device built in the computer system, a predetermined operation amount for the prediction amount is calculated by the operation calculation unit 14, and the process output is output. The output of the control device 16 is performed by the device 13.
【0076】図7、図8に示すように、サンプリング間
隔を逐次小さくし、次にサンプリング間隔を小さくする
ことにより、トンネル換気プロセスでは、所望の相関係
数0.9以上に対してサンプリング間隔5分間、サンプリ
ング期間30分間で満足したため、該当時系列サンプリン
グ条件により、7ヶの入力ニューロンに対応する時系列
データ生成部を設けたものである。As shown in FIGS. 7 and 8, by gradually reducing the sampling interval and then decreasing the sampling interval, in the tunnel ventilation process, for a desired correlation coefficient of 0.9 or more, the sampling interval is 5 minutes. Since a sampling period of 30 minutes is satisfied, a time-series data generator corresponding to seven input neurons is provided according to the corresponding time-series sampling condition.
【0077】すなわち、VI値(t)、VI値(t−
5)、VI値(t−10)、VI値(t−15)、VI値
(t−20)、VI値(t−25)、VI値(t−30)が、
入力値として、入力ニューロンに入力され、学習後の該
当のニューラルネットワークの出力ニューロン値とし
て、VI値(t+5)を定め、その値により、所定の操
作量を制御機器に出力し、運転指示を行なうようにした
ものである。That is, the VI value (t) and the VI value (t−
5) The VI value (t-10), the VI value (t-15), the VI value (t-20), the VI value (t-25), and the VI value (t-30)
A VI value (t + 5) is input as an input value to an input neuron, and a VI value (t + 5) is determined as an output neuron value of the corresponding neural network after learning, and a predetermined operation amount is output to a control device according to the value to give a driving instruction. It is like that.
【0078】このように、本発明によれば、過去の時系
列データから将来の値を予測するニューラルネットワー
クにおいて、複数の入力ニューロンに対応して、時系列
データから等間隔にサンプリングされた値を入力する場
合において、そのサンプリング間隔とサンプリング期間
が最適な、つまり、所望の予測精度を得られる範囲内で
最小な複数の入力ニューロンに対応する時系列データが
自動生成できるので、このニューラルネットワークを内
蔵する推論装置を用いれば、短時間で的確な学習ができ
る様になり、かつ高速の予測が可能となる効果がある。As described above, according to the present invention, in a neural network for predicting a future value from past time series data, values sampled at regular intervals from time series data corresponding to a plurality of input neurons. When inputting, the neural network is built in because the sampling interval and sampling period are optimal, that is, time series data corresponding to a plurality of input neurons that are minimum within a range that can obtain the desired prediction accuracy can be automatically generated. With such an inference apparatus, there is an effect that accurate learning can be performed in a short time and high-speed prediction can be performed.
【0079】[0079]
【発明の効果】本発明によれば、実測パターンと予測パ
ターンの相関係数により予測評価を行ない、その結果に
基づき、ニューラルネットワークの構造を定義している
ため、高速で的確な学習/想起が可能となるという効果
がある。According to the present invention, prediction and evaluation are performed based on the correlation coefficient between the actually measured pattern and the predicted pattern, and the structure of the neural network is defined based on the result. There is an effect that it becomes possible.
【図1】 時系列ニューラルネットワーク構成装置の機
能図。FIG. 1 is a functional diagram of a time-series neural network configuration device.
【図2】 時系列ニューラルネットワークのハードウェ
ア構成を示すブロック図。FIG. 2 is a block diagram showing a hardware configuration of a time-series neural network.
【図3】 時系列データの予測におけるニューラルネッ
トワークの説明図。FIG. 3 is an explanatory diagram of a neural network in predicting time-series data.
【図4】 VI実測値・予測値相関グラフと相関係数を
示すグラフ。FIG. 4 is a graph showing a VI actual measured value / predicted value correlation graph and a correlation coefficient.
【図5】 サンプリング間隔dとサンプリング期間Tの
決定ロジックを示すフローチャート。FIG. 5 is a flowchart showing a logic for determining a sampling interval d and a sampling period T;
【図6】 サンプリング間隔dと現在点から予測点まで
の一定時間Pとの関係を示す説明図。FIG. 6 is an explanatory diagram showing a relationship between a sampling interval d and a fixed time P from a current point to a predicted point.
【図7】 サンプリング間隔dが大の場合のニューラル
ネットワークの時系列予測を示す説明図。FIG. 7 is an explanatory diagram showing time-series prediction of the neural network when the sampling interval d is large.
【図8】 サンプリング間隔dが小の場合(補正をした
場合)のニューラルネットワークワークの時系列予測を
示す説明図。FIG. 8 is an explanatory diagram showing time-series prediction of a neural network when the sampling interval d is small (when correction is performed).
【図9】 プロセス制御装置の一例の構成を示すブロッ
ク図。FIG. 9 is a block diagram illustrating a configuration of an example of a process control device.
【図10】 学習手段の一例の構成を示すブロック図。FIG. 10 is a block diagram showing a configuration of an example of a learning unit.
1…教師パターン生成手段、2…時系列ニューラルネッ
トワーク定義手段、3…予測精度評価手段、4…学習手
段、5…ニューラルネットワーク、6…教師パターン
(入力)メモリ、7…教師パターン(出力)メモリ、8
…時系列データ生成部、9…インターフェイス、10…
計算機システム、10a…演算処理部、11…入出力装
置、12…入力装置、13…出力装置、14…操作量演
算部、15…測定器、16…制御機器、17…プロセス
制御装置。DESCRIPTION OF SYMBOLS 1 ... Teacher pattern generation means, 2 ... Time series neural network definition means, 3 ... Prediction accuracy evaluation means, 4 ... Learning means, 5 ... Neural network, 6 ... Teacher pattern (input) memory, 7 ... Teacher pattern (output) memory , 8
... time-series data generator, 9 ... interface, 10 ...
Computer system, 10a arithmetic processing unit, 11 input / output device, 12 input device, 13 output device, 14 operation amount arithmetic unit, 15 measuring instrument, 16 control device, 17 process control device.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 八尋 正和 茨城県日立市大みか町五丁目2番1号 株式会社 日立製作所 大みか工場内 (72)発明者 阿部 登 茨城県日立市大みか町五丁目2番1号 株式会社 日立製作所 大みか工場内 (56)参考文献 特開 平4−318656(JP,A) 特開 平2−28701(JP,A) 坪香、高田、脇田、「時系列処理機能 をもつ階層型ニューラルネットワーク」 電子情報通信学会技術研究報告、Vo l.91、No.95(SP91−6〜17)、 pp.63〜70(特許庁CSDB文献番 号:CSNT199900735006) (58)調査した分野(Int.Cl.7,DB名) G06N 1/00 - 7/00 G05B 13/00 - 13/04 G06G 7/60 JICSTファイル(JOIS) CSDB(日本国特許庁)──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Masakazu Yahiro 5-2-1 Omikacho, Hitachi City, Ibaraki Prefecture Inside the Hitachi, Ltd. Omika Plant (72) Inventor Noboru Abe 5-2-2 Omikamachi, Hitachi City, Ibaraki Prefecture No. 1 Hitachi, Ltd. Omika Plant (56) References JP-A-4-318656 (JP, A) JP-A-2-28701 (JP, A) Tsuboka, Takada, Wakita, "has a time-series processing function Hierarchical Neural Network "IEICE Technical Report, Vol. 91, No. 95 (SP91-6-17), pp. 63-70 (Patent Office CSDB literature number: CCNT199900735006) (58) Fields investigated (Int. Cl. 7 , DB name) G06N 1/00-7/00 G05B 13/00-13/04 G06G 7/60 JICST File (JOIS) CSDB (Japan Patent Office)
Claims (5)
力ニューロンとを有し、入力ニューロンに過去の時系列
データをサンプリングして入力し、時系列データの将来
値を予測する予測値を出力ニューロンから得るニューラ
ルネットワークの構築に際し、 予め定めた入力ニューロン数に対応するサンプリング間
隔およびサンプリング期間の教師パターンを生成し、生
成された教師パターンについて、ニューラルネットワー
クの学習を行ない、該ニューラルネットワークにより得
られる予測値について、予測精度の評価を行って、予め
設定した精度が得られるまで、上記サンプリング間隔お
よびサンプリング期間のうち少なくとも一方について逐
次変更した教師パターンの生成と、その学習および予測
精度の評価とを繰り返し、予め設定した予測精度が得ら
れたとき、そのときの教師パターンのサンプリング間隔
およびサンプリング期間から、ニューラルネットワーク
の入力ニューロン数を決定して、ニューラルネットワー
クの構成を定義することを特徴とするニューラルネット
ワークの構成方法。An input neuron includes at least one output neuron, samples past time-series data and inputs the input neuron, and predicts a future value of the time-series data from the output neuron. When constructing a neural network to obtain, a training pattern of a sampling interval and a sampling period corresponding to a predetermined number of input neurons is generated, learning of the neural network is performed on the generated training pattern, and a prediction value obtained by the neural network is obtained. For the evaluation of the prediction accuracy, until a predetermined accuracy is obtained, repeatedly generating teacher patterns sequentially changed for at least one of the sampling interval and the sampling period, and repeatedly learning and evaluation of the prediction accuracy, Pre-set schedule A method for constructing a neural network, comprising determining the number of input neurons of a neural network from a sampling interval and a sampling period of a teacher pattern at the time when measurement accuracy is obtained, and defining a configuration of the neural network.
手段と、定義された複数の入力ニューロンおよび少なく
とも1の出力ニューロンを含んで構成されるニューラル
ネットワークを記憶するニューラルネットワーク保持手
段と、該記憶されるニューラルネットワークについて、
教師パターンを用いて学習させる学習手段と、上記教師
パターンを生成する教師パターン生成手段と、学習させ
たニューラルネットワークにより得られる予測値につい
て、予測精度の評価を行なう予測精度評価手段と、これ
らの制御を行う制御手段とを備え、 制御手段は、得られる予測値が予め設定された精度に達
しないとき、上記教師パターン生成手段に、上記サンプ
リング間隔およびサンプリング期間のうち少なくとも一
方について、変更した教師パターン生成させ、上記学習
手段に、上記変更された教師パターンを用いて学習を行
わせ、上記予測精度評価手段に、その精度を評価させる
ことを、予測値が予め設定した精度に達するまで繰り返
すように制御する機能を有し、 上記ニューラルネットワークの構成を定義する手段は、
予測値が予め設定した精度に達したとき、その時のサン
プリング間隔およびサンプリング期間に対応する入力ニ
ューロン数を当該ニューラルネットワークの入力ニュー
ロン数に決定する機能を有することを特徴とするニュー
ラルネットワーク構築支援システム。2. A means for defining a configuration of a neural network, a neural network holding means for storing a neural network including a plurality of defined input neurons and at least one output neuron, and the stored neural network. About the network
Learning means for learning using a teacher pattern; teacher pattern generation means for generating the teacher pattern; prediction accuracy evaluation means for evaluating the prediction accuracy of a predicted value obtained by the learned neural network; Control means for performing, when the obtained predicted value does not reach a preset accuracy, the teacher pattern generation means, at least one of the sampling interval and the sampling period, the changed teacher pattern Generating, causing the learning means to perform learning using the changed teacher pattern, and causing the prediction accuracy evaluation means to evaluate the accuracy until the predicted value reaches a preset accuracy. Means for controlling, and means for defining the configuration of the neural network,
A neural network construction support system having a function of determining the number of input neurons corresponding to a sampling interval and a sampling period at the time when a predicted value reaches a preset accuracy as the number of input neurons of the neural network.
測値と実測値との相関係数を求め、この相関係数を予め
設定した満足値と比較することにより行われる、ニュー
ラルネットワークの構成方法。 3. The method according to claim 1, wherein the evaluation of the prediction accuracy is performed in advance.
Find the correlation coefficient between the measured value and the actual measured value, and
This is done by comparing with the set satisfaction value.
How to configure a neural network.
予測精度の評価は、予測値と実測値との相関係数を求
め、この相関係数を予め設定した満足値と比較すること
により行うものである、ニューラルネットワーク構築支
援システム。 4. The method according to claim 2, wherein the prediction accuracy evaluation means comprises:
The evaluation of prediction accuracy involves calculating the correlation coefficient between the predicted value and the measured value.
To compare this correlation coefficient with a preset satisfaction value.
Neural network construction support
Support system.
びサンプリング期間のうち少なくとも一方についての変
更は、ニューラルネットワークの入力ニューロン数が少
ないほうから多くなる方向に逐次変化させる、ニューラ
ルネットワークの構成方法。 5. The method according to claim 1, wherein the sampling interval and
Change for at least one of
Furthermore, the number of input neurons in the neural network is small.
A neural that changes sequentially from the direction that does not have more
How to configure a network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23997891A JP3214876B2 (en) | 1991-09-19 | 1991-09-19 | Neural network configuration method and neural network construction support system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23997891A JP3214876B2 (en) | 1991-09-19 | 1991-09-19 | Neural network configuration method and neural network construction support system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0581228A JPH0581228A (en) | 1993-04-02 |
| JP3214876B2 true JP3214876B2 (en) | 2001-10-02 |
Family
ID=17052660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23997891A Expired - Fee Related JP3214876B2 (en) | 1991-09-19 | 1991-09-19 | Neural network configuration method and neural network construction support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3214876B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3892258B2 (en) * | 2001-08-31 | 2007-03-14 | 独立行政法人科学技術振興機構 | Automatic inspection device and automatic inspection method |
| JP5108563B2 (en) * | 2008-03-03 | 2012-12-26 | 日本放送協会 | Neural network device, robot camera control device using the same, and neural network program |
| JP4840494B2 (en) * | 2009-09-16 | 2011-12-21 | 沖電気工業株式会社 | Time series data prediction neural network device |
| US10366346B2 (en) | 2014-05-23 | 2019-07-30 | DataRobot, Inc. | Systems and techniques for determining the predictive value of a feature |
| US10558924B2 (en) | 2014-05-23 | 2020-02-11 | DataRobot, Inc. | Systems for second-order predictive data analytics, and related methods and apparatus |
| US10496927B2 (en) | 2014-05-23 | 2019-12-03 | DataRobot, Inc. | Systems for time-series predictive data analytics, and related methods and apparatus |
| WO2017195257A1 (en) * | 2016-05-09 | 2017-11-16 | 株式会社日立製作所 | Electronic control device and method for building numerical model |
| US11120353B2 (en) * | 2016-08-16 | 2021-09-14 | Toyota Jidosha Kabushiki Kaisha | Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network |
| SG10202104185UA (en) * | 2016-10-21 | 2021-06-29 | Datarobot Inc | Systems for predictive data analytics, and related methods and apparatus |
| JP6798905B2 (en) * | 2017-02-28 | 2020-12-09 | 株式会社Lsiメディエンス | Abnormal index calculation device, abnormal index calculation method and abnormal index calculation program |
| US20200034665A1 (en) * | 2018-07-30 | 2020-01-30 | DataRobot, Inc. | Determining validity of machine learning algorithms for datasets |
| JP7135697B2 (en) * | 2018-10-11 | 2022-09-13 | 株式会社島津製作所 | Analysis device, analysis system and analysis method |
-
1991
- 1991-09-19 JP JP23997891A patent/JP3214876B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 坪香、高田、脇田、「時系列処理機能をもつ階層型ニューラルネットワーク」電子情報通信学会技術研究報告、Vol.91、No.95(SP91−6〜17)、pp.63〜70(特許庁CSDB文献番号:CSNT199900735006) |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0581228A (en) | 1993-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Boussabaine | The use of artificial neural networks in construction management: a review | |
| JP3214876B2 (en) | Neural network configuration method and neural network construction support system | |
| JP2001236337A (en) | Prediction device by neural network | |
| JP2001325582A (en) | Time series data learning and prediction device | |
| EP0384709B1 (en) | Learning Machine | |
| WO2024016556A1 (en) | Model autonomous learning method suitable for predictive control in process industry | |
| CN112685900B (en) | An electric load simulation method to characterize the power characteristics of impact loads | |
| JPH05282269A (en) | Learning / remembering method and device | |
| JP3077883B2 (en) | Demand forecasting device | |
| Alrubaie | Cascade-Forward neural network for volterra integral equation solution | |
| US6662169B2 (en) | Controlling the self learning behavior of an autonomous agent | |
| JPH0588900A (en) | Learning type fuzzy controller and control method | |
| JP2540654B2 (en) | Learning device for neural network | |
| JP3181018B2 (en) | Weather forecasting device | |
| JP3751982B2 (en) | Learning method of neural network | |
| JPH0554014A (en) | Learning device for neural network | |
| JPH05128082A (en) | Hierarchical network configuration data processing apparatus and learning processing method thereof | |
| JP4155508B2 (en) | Control parameter adjustment method for control device | |
| JP4267726B2 (en) | Device for determining relationship between operation signal and operation amount in control device, control device, data generation device, input / output characteristic determination device, and correlation evaluation device | |
| Schoofs et al. | Global and mid-range function approximation for engineering optimization | |
| JPH10283334A (en) | Input layer optimization method for neural networks | |
| US6963862B1 (en) | Method and system for training a recurrent network | |
| JP3232597B2 (en) | Neural network learning device | |
| JP3328953B2 (en) | Nonlinear synaptic neuron, device thereof and prediction method using the same | |
| JP3097212B2 (en) | Fuzzy inference state output method and fuzzy inference system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |