WO2020194591A1 - 外れ値検出装置、外れ値検出方法及び外れ値検出プログラム - Google Patents
外れ値検出装置、外れ値検出方法及び外れ値検出プログラム Download PDFInfo
- Publication number
- WO2020194591A1 WO2020194591A1 PCT/JP2019/013320 JP2019013320W WO2020194591A1 WO 2020194591 A1 WO2020194591 A1 WO 2020194591A1 JP 2019013320 W JP2019013320 W JP 2019013320W WO 2020194591 A1 WO2020194591 A1 WO 2020194591A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- norm
- weight vector
- observation signal
- error
- outlier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
Definitions
- the present invention relates to an outlier detection device, an outlier detection method, and an outlier detection program.
- Patent Document 1 discloses an abnormality detection model construction device including a data acquisition unit, a characteristic determination unit, a data identification reception unit, and a simulation execution unit, an abnormality detection model construction method, and a program.
- the data acquisition unit accepts time-series sampling data as a data set.
- the characteristic determination unit determines whether or not the data set acquired by the data acquisition unit has one or more characteristics selected by the user among a plurality of predetermined characteristics.
- the data identification receiving unit accepts the identification of normal data or abnormal data by the user in the data set.
- the simulation execution unit detects anomalies in the data set based on the algorithm associated with any one or more of the characteristics determined by the characteristic determination unit to have the characteristics. A simulation is executed, and the algorithm is evaluated when the normal data or abnormal data for which the data identification reception unit has received the identification is the correct answer.
- the above-mentioned abnormality detection model construction device, abnormality detection model construction method and program are outliers included in the observation signal by executing pattern matching between the observation signal and the time series signal which is the teacher data in the time domain or the frequency domain. It is a technology to detect a value. Therefore, the above-mentioned abnormality detection model construction device, abnormality detection model construction method, and program have complicated algorithms, which makes the hardware configuration for realizing the algorithms complicated, and it is difficult to realize them as hardware. May become.
- an object of the present invention is to provide an outlier detection device, an outlier detection method, and an outlier detection program that can be easily realized as hardware.
- One aspect of the present invention includes an input layer, a reservoir body including a plurality of neurons connected to each other by synapses, a weight vector, and an activity value output by each of the plurality of the neurons based on the input to the input layer.
- a reservoir computer having a readout that calculates and outputs the inner product with the activity value vector to be used, and an observation signal are acquired, the error between the inner product and the observation signal is calculated, and an adaptive filter is applied to the error.
- It is an deviation value detection device including a determination unit for determining whether or not an deviation value is included in the observation signal based on the above.
- the determination unit further determines whether or not the norm sequentially calculated by the norm calculation unit exceeds a predetermined threshold value, and the norm calculation unit is the norm calculation unit. When it is determined that the norm calculated sequentially by the above means exceeds a predetermined threshold value, a predetermined value is subtracted from the norm calculated sequentially.
- the learning unit uses a systolic array when applying the adaptive filter based on the error to calculate an updated value.
- one aspect of the present invention is a reservoir that outputs an inner product of a weight vector and an activity value vector whose element is an activity value output by each of a plurality of neurons connected to each other by a synapse based on the input to the input layer.
- a computing process a learning process of acquiring an observation signal, calculating an error between the inner product and the observation signal, and updating the weight vector using a value obtained by applying an adaptive filter to the error, and the learning process. It is determined whether or not the observation signal contains an deviation value based on at least one of the norms calculated in the norm calculation step and the norm calculation step of sequentially calculating the norm of the weight vector updated in. It is an outlier detection method including a determination step to be performed.
- one aspect of the present invention is to output to a computer based on an input layer, a reservoir body including a plurality of neurons connected to each other by synapses, a weight vector, and each of the plurality of the neurons based on the input to the input layer.
- a reservoir computing function having a readout that outputs an inner product with an activity value vector having the activated activity value as an element, an observation signal is acquired, an error between the inner product and the observation signal is calculated, and an adaptive filter is applied to the error.
- a learning function that updates the weight vector using the value to which the above is applied, a norm calculation function that sequentially calculates the norm of the weight vector updated by the learning function, and a norm calculated by the norm calculation function.
- It is an deviation value detection program for executing a determination function for determining whether or not an deviation value is included in the observation signal based on at least one.
- outlier detection device outlier detection method and outlier detection program
- an outlier detection device an outlier detection method and an outlier detection program that can be easily realized as hardware. ..
- FIG. 1 is a diagram showing an example of a partial configuration of an outlier detection device according to an embodiment.
- the outlier detection device 1 includes a reservoir computer 10, a feedback unit 20, a learning unit 30, a norm calculation unit 40, and a determination unit 50.
- the reservoir computer 10 is a recurrent neural network (RNN: Recurrent Neural Network) that executes FORCE (First Order Reduced and Controlled Error) learning, and is an input layer 11, a reservoir (Reservoir) main body 12, and a readout. 13 and.
- RNN Recurrent Neural Network
- FORCE First Order Reduced and Controlled Error
- the input layer 11 outputs the inner product z (t ⁇ t) of the weight vector represented by the following equation (1) and the activity value vector represented by the following equation (2) to the reservoir body 12.
- the inner product z (t ⁇ t) is represented by the following equation (3).
- the time ⁇ t is the time required to update the weight vector of each of the arrows connecting the reservoir body 12 and the lead-out 13 once.
- the reservoir body 12 contains a plurality of neurons connected to each other by synapses. Neurons are indicated by white circles in FIG. Synapses are indicated by arrows connecting these white circles and are weighted. Also, the neurons to which synapses are connected do not change even if the weight vector is updated. Furthermore, the weights set at the synapse do not change even if the weight vector is updated.
- the reservoir body 12 also includes an arrow connecting at least one neuron to the readout 13.
- the arrows are indicated by arrows connecting the neuron and the readout 13 in FIG. 1, and the weights w 1 (t), weight w 2 (t), ..., Weight w n (t) shown in FIG. 1 are shown. It is set. These weights are updated by the learning unit 30 every time ⁇ t.
- the neurons connected to the readout 13 by the arrows have, for example, the activity value r 1 (t) and the activity value r shown in FIG. 1 based on the inner product z (t ⁇ t) input by the input layer 11. 2 (t), ..., and outputs the activation value r n (t).
- the lead-out 13 calculates the inner product z (t) of the weight vector represented by the following equation (4) and the activity value vector represented by the following equation (5), and informs the feedback unit 20 and the learning unit 30. Output.
- Each element of the activity value vector represented by the equation (5) has an activity value r 1 (t), an activity value r 2 (t), ..., Activity output by a neuron connected to the readout 13 by an arrow.
- the value is r n (t).
- the inner product z (t) is represented by the following equation (6).
- the feedback unit 20 feeds back the inner product z (t) acquired from the readout 13 to the reservoir body 12.
- the learning unit 30 acquires the observation signal f (t) from the observation signal receiving unit 100, and calculates an error between the inner product z (t) represented by the above equation (6) and the observation signal f (t). This error is expressed by the following equation (7).
- the observation signal f (t) referred to here is an example of a time-series signal, for example, a signal for driving a motor for operating a robot arm, or an electrocardiographic waveform of a human heart.
- the learning unit 30 uses the updated value calculated by the adaptive filter based on the error represented by the above equation (7) to convert the weight vector represented by the above equation (4) into the following equation (8). ) Is updated to the weight vector. Further, the learning unit 30 applies an adaptive filter to the error by using, for example, a systolic array.
- the norm calculation unit 40 sequentially calculates the norm of the weight vector updated by the learning unit 30.
- the norm calculation unit 40 calculates the norm of the weight vector updated by the learning unit 30, that is, the norm of the weight vector represented by the above equation (8).
- This norm is expressed by the following equation (9).
- the outlier detection device 1 updates the weight vector having the weight set in the arrow connecting the neuron included in the reservoir body 12 and the readout 13 as an element by repeatedly executing the above-mentioned process every time ⁇ t. Then, the norm of the updated weight vector is calculated, and the time series data of the norm is generated.
- FIG. 2 is a diagram showing an example of the norms of the output, the observation signal, and the weight vector of the reservoir computer according to the embodiment.
- FIG. 2A shows the inner product z (t) output by the readout 13 as a solid line, and is a Fourier waveform which is an example of the observation signal f (t) acquired by the learning unit 30 from the observation signal receiving unit 1000. Is indicated by a broken line. This Fourier waveform is an example of a waveform that constantly changes periodically. Further, the observation signal receiving unit 1000 acquires the observation signal f (t) from, for example, a sensor installed outside the outlier detection device 1.
- FIG. 2B shows the norm of the weight vector calculated at each time.
- the norm of the weight vector increases as the outlier detection device 1 acquires the observation signal f (t) and continues to update the weight vector. That is, the norm of the weight vector increases as the learning of the reservoir computer 10 progresses.
- FIG. 3 is a diagram showing an example of the norms of the output, the observation signal, and the weight vector of the reservoir computer according to the embodiment.
- FIG. 3A shows the inner product z (t) output by the lead-out 13 as a solid line, and is an example of the observation signal f (t) acquired by the learning unit 30 from the observation signal receiving unit 1000.
- the electrocardiographic waveform is shown by a broken line. Although this electrocardiographic waveform changes periodically, it contains constant fluctuations, and an artifact is added to the fifth R wave among the R waves that have the maximum value in one cycle. It is a waveform.
- This artifact is an example of outliers and is a value determined independently of the electrocardiographic waveform. Further, the outliers referred to here include not only values that greatly deviate from the normal values of the observation signal f (t) but also abnormal values that occur due to measurement errors or the like.
- FIG. 3B shows the norm of the weight vector calculated at each time.
- the norm of the weight vector gradually increases during the period when the electrocardiographic waveform does not contain any artifacts.
- the norm of the weight vector increases sharply during the period when the electrocardiographic waveform contains outliers, for example, artifacts.
- the determination unit 50 determines whether or not an outlier is included in the observation signal f (t) based on at least one of the norms calculated by the norm calculation unit 40. For example, the determination unit 50 determines that the observation signal f (t) contains an outlier when the norm or the amount of change in the norm calculated by the norm calculation unit 40 exceeds a predetermined threshold value more than a predetermined number of times. To do. Alternatively, when the moving average of the norm shown in FIG. 2B exceeds a predetermined threshold value more than a predetermined number of times, the determination unit 50 determines that the observation signal f (t) contains an outlier.
- the outlier detection device 1 determines that the observation signal f (t) contains an outlier, an image, a moving image, or the like indicating that the observation signal f (t) contains the outlier. Audio or a combination thereof may be output.
- FIG. 4 is a diagram for explaining an example of processing executed by the outlier detection device according to the embodiment.
- step S10 the input layer 11 outputs an inner product, for example, the above-mentioned inner product z (t ⁇ t) to the reservoir body 12.
- step S20 the reservoir body 12 outputs an activity value, for example, an activity value r 1 (t), an activity value r 2 (t), ..., An activity value r n (t) shown in FIG. 1 to the lead-out 13. To do.
- an activity value for example, an activity value r 1 (t), an activity value r 2 (t), ..., An activity value r n (t) shown in FIG. 1 to the lead-out 13.
- step S30 the readout 13 calculates and outputs the inner product of the activity value vector having the activity value output in step S20 as an element and the weight vector.
- the readout 13 outputs an inner product z (t) of the activity value vector represented by the above-mentioned equation (5) and the weight vector represented by the above-mentioned equation (4).
- step S40 the feedback unit 20 feeds back the inner product calculated in step S30, for example, the inner product z (t) to the reservoir body 12.
- step S50 the learning unit 30 acquires the observation signal, for example, the observation signal f (t), and updates the weight vector based on the observation signal and the inner product calculated in step S30, for example, the inner product z (t). ..
- step S60 the norm calculation unit 40 calculates the norm of the weight vector updated in step S50.
- step S70 the determination unit 50 determines whether or not the observation signal f (t) acquired in step S50 includes an outlier based on at least one norm of the weight vector.
- step S80 the outlier detection device 1 determines whether or not an observation signal, for example, a signal instructing to end the determination of whether or not the observation signal f (t) contains an outlier is received. ..
- the process returns to step S10, and when it determines that the signal has not been received (step S80: NO), the process is performed. To finish.
- the outlier detection device 1 calculates and outputs the inner product of the activity value vector whose element is the activity value output by each of the plurality of neurons connected to each other by synapses, and the reservoir computer 10 and the inner product and the observation signal.
- the learning unit 30 that calculates the error and updates the weight vector using the value obtained by applying the adaptive filter to the error, the norm calculation unit 40 that sequentially calculates the norm of the updated weight vector, and the calculated norm.
- a determination unit 50 for determining whether or not an outlier is included in the observation signal based on at least one is provided.
- the outlier detection device 1 determines whether or not the outlier is included in the observed signal based on the norm of the weight vector, not the pattern matching of the observed signal in the time domain or the frequency domain. Further, the dimension of the weight vector described above is smaller than the dimension of the waveform vector used for pattern matching in the time domain or the frequency domain. Further, the FORCE learning executed by the reservoir computer 10 is a suitable learning method for implementation as digital hardware. Therefore, the outlier detection device 1 can be realized by hardware. For example, the outlier detection device 1 can be efficiently implemented as digital hardware using a DSP (Digital Signal Processor) and an FPGA (Field-Programmable Gate Array). Further, the outlier detection device 1 has an advantage that it is not necessary to input and learn the observation signal in advance because the weight vector is continuously updated while acquiring the observation signal one by one.
- DSP Digital Signal Processor
- FPGA Field-Programmable Gate Array
- the learning unit 30 applies an adaptive filter to the error between the inner product z (t) and the observation signal f (t) using the systolic array, the process of applying the adaptive filter to the error is efficiently performed. Can be executed.
- the determination unit 50 may further determine whether or not the norm sequentially calculated by the norm calculation unit 40 exceeds a predetermined threshold value.
- the norm calculation unit 40 may subtract a predetermined value from the norm to be sequentially calculated.
- the outlier detection device 1 can avoid a situation in which the norm calculated by the norm calculation unit 40 becomes too large and the accuracy of the determination by the determination unit 50 deteriorates.
- a program for realizing each component of the outlier detection device 1 or a part of these components according to the above-described embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium. May be executed by loading the computer system into the computer system.
- the computer system referred to here may include hardware such as an operating system (OS) and peripheral devices, for example.
- the computer-readable recording medium is, for example, a portable medium or a storage device.
- the portable medium is, for example, a floppy disk, a magneto-optical disk, a ROM (Read Only Memory), a writable non-volatile memory such as a flash memory, or a DVD (Digital Versatile Disc).
- the storage device is, for example, a hard disk built in a computer system.
- the computer-readable recording medium may be a volatile memory inside a computer system that becomes a server or a client when a program is transmitted via a network or a communication line.
- the above-mentioned program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
- the transmission medium for transmitting a program means a medium having a function of transmitting information, such as a network such as the Internet or a communication line such as a telephone line.
- the above-mentioned program may be for realizing a part of the above-mentioned functions, and is a program that can realize the above-mentioned functions in combination with a program already recorded in the computer system, a so-called difference program. There may be.
- the above-mentioned program is read and executed by a processor such as a CPU (Central Processing Unit) provided in the computer, for example.
- a processor such as a CPU (Central Processing Unit) provided in the computer, for example.
- CPU Central Processing Unit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Neurology (AREA)
- Automation & Control Theory (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
外れ値検出装置は、入力層と、互いにシナプスで接続された複数のニューロンを含むリザーバー本体と、重みベクトルと複数の前記ニューロン各々が前記入力層への入力に基づいて出力した活性値を要素とする活性値ベクトルとの内積を算出して出力するリードアウトとを有するリザーバーコンピュータと、観測信号を取得し、前記内積と前記観測信号との誤差を算出し、前記誤差に適応フィルタを適用した値を使用して前記重みベクトルを更新する学習部と、前記学習部により更新された前記重みベクトルのノルムを逐次算出するノルム算出部と、前記ノルム算出部により算出された前記ノルムの少なくとも一つに基づいて前記観測信号に外れ値が含まれているか否かを判定する判定部と、を備える。
Description
本発明は、外れ値検出装置、外れ値検出方法及び外れ値検出プログラムに関する。
現在、時系列信号の外れ値を検出する技術が様々な分野で重要性を増してきている。例えば、特許文献1には、データ取得部と、特性判別部と、データ特定受付部と、シミュレーション実行部とを備える異常検知モデル構築装置、異常検知モデル構築方法及びプログラムが開示されている。
データ取得部は、時系列のサンプリングデータをデータセットとして受け付ける。特性判別部は、データ取得部が取得したデータセットが、予め定められた複数の特性のうちユーザによって選択されたいずれか一つ以上の特性を有しているか否かを判別する。データ特定受付部は、データセットにおいて、ユーザによる正常データ又は異常データの特定を受け付ける。シミュレーション実行部は、いずれか一つ以上の特性のうち特性判別部により特性を有していると判別されたいずれか一つの特性に関連づけられたアルゴリズムに基づいて、データセットに対して異常検知のシミュレーションを実行し、データ特定受付部が特定を受け付けた正常データ又は異常データを正答とした場合の該アルゴリズムの評価を行う。
しかし、上述した異常検知モデル構築装置、異常検知モデル構築方法及びプログラムは、時間領域又は周波数領域で観測信号と教師データである時系列信号とのパターンマッチングを実行することにより観測信号に含まれる外れ値を検出する技術である。したがって、上述した異常検知モデル構築装置、異常検知モデル構築方法及びプログラムは、アルゴリズムが複雑になるため、当該アルゴリズムを実現するためのハードウェア構成が複雑になり、ハードウェアとして実現することが困難になることがある。
そこで、本発明は、ハードウェアとして容易に実現することができる外れ値検出装置、外れ値検出方法及び外れ値検出プログラムを提供することを目的とする。
本発明の一態様は、入力層と、互いにシナプスで接続された複数のニューロンを含むリザーバー本体と、重みベクトルと複数の前記ニューロン各々が前記入力層への入力に基づいて出力した活性値を要素とする活性値ベクトルとの内積を算出して出力するリードアウトとを有するリザーバーコンピュータと、観測信号を取得し、前記内積と前記観測信号との誤差を算出し、前記誤差に適応フィルタを適用した値を使用して前記重みベクトルを更新する学習部と、前記学習部により更新された前記重みベクトルのノルムを逐次算出するノルム算出部と、前記ノルム算出部により算出された前記ノルムの少なくとも一つに基づいて前記観測信号に外れ値が含まれているか否かを判定する判定部と、を備える外れ値検出装置である。
また、本発明の一態様において、前記判定部は、前記ノルム算出部により逐次算出された前記ノルムが所定の閾値を超えているか否かを更に判定し、前記ノルム算出部は、前記ノルム算出部により逐次算出された前記ノルムが所定の閾値を超えていると判定された場合、逐次算出する前記ノルムから所定の値を差し引く。
また、本発明の一態様において、前記学習部は、前記誤差に基づいて前記適応フィルタを適用して更新値を算出する際に、シストリックアレイを使用する。
また、本発明の一態様は、重みベクトルと、互いにシナプスで接続された複数のニューロン各々が入力層への入力に基づいて出力した活性値を要素とする活性値ベクトルとの内積を出力するリザーバーコンピューティング工程と、観測信号を取得し、前記内積と前記観測信号との誤差を算出し、前記誤差に適応フィルタを適用した値を使用して前記重みベクトルを更新する学習工程と、前記学習工程において更新された前記重みベクトルのノルムを逐次算出するノルム算出工程と、前記ノルム算出工程において算出された前記ノルムの少なくとも一つに基づいて前記観測信号に外れ値が含まれているか否かを判定する判定工程と、を含む外れ値検出方法である。
また、本発明の一態様は、コンピュータに、入力層と、互いにシナプスで接続された複数のニューロンを含むリザーバー本体と、重みベクトルと複数の前記ニューロン各々が前記入力層への入力に基づいて出力した活性値を要素とする活性値ベクトルとの内積を出力するリードアウトを有するリザーバーコンピューティング機能と、観測信号を取得し、前記内積と前記観測信号との誤差を算出し、前記誤差に適応フィルタを適用した値を使用して前記重みベクトルを更新する学習機能と、前記学習機能により更新された前記重みベクトルのノルムを逐次算出するノルム算出機能と、前記ノルム算出機能により算出された前記ノルムの少なくとも一つに基づいて前記観測信号に外れ値が含まれているか否かを判定する判定機能と、を実行させるための外れ値検出プログラムである。
上述した外れ値検出装置、外れ値検出方法及び外れ値検出プログラムによれば、ハードウェアとして容易に実現することができる外れ値検出装置、外れ値検出方法及び外れ値検出プログラムを提供することができる。
[実施形態]
図1から図3を参照しながら、実施形態に係る積和演算器の構成の一例について説明する。図1は、実施形態に係る外れ値検出装置の一部の構成の一例を示す図である。
図1から図3を参照しながら、実施形態に係る積和演算器の構成の一例について説明する。図1は、実施形態に係る外れ値検出装置の一部の構成の一例を示す図である。
図1に示すように、外れ値検出装置1は、リザーバーコンピュータ10と、フィードバック部20と、学習部30と、ノルム算出部40と、判定部50とを備える。
リザーバーコンピュータ10は、FORCE(First Order Reduced and Controlled Error)学習を実行するリカレントニューラルネットワーク(RNN:Recurrent Neural Network)であり、入力層11と、リザーバー(Reservoir」)本体12と、リードアウト(Readout)13とを備える。以下、時刻tにリザーバー本体12とリードアウト13とを接続している矢印各々の重みベクトルw(t-Δt)が重みベクトルw(t)に更新される場合を例に挙げて説明する。
入力層11は、次の式(1)で表される重みベクトルと次の式(2)で表される活性値ベクトルとの内積z(t-Δt)をリザーバー本体12に出力する。また、この内積z(t-Δt)は、次の式(3)で表される。ここで、時間Δtは、リザーバー本体12とリードアウト13とを接続している矢印各々の重みベクトルを一回更新するために必要な時間である。
リザーバー本体12は、互いにシナプスで接続された複数のニューロンを含む。ニューロンは、図1に白い丸で示されている。シナプスは、これらの白い丸を結ぶ矢印で示されており、重みが設定されている。また、シナプスが接続しているニューロンは、重みベクトルが更新されても変化しない。さらに、シナプスに設定されている重みは、重みベクトルが更新されても変化しない。
また、リザーバー本体12は、少なくとも一つのニューロンとリードアウト13とを接続する矢印を含む。矢印は、図1にニューロンとリードアウト13とを接続する矢印で示されており、図1に示した重みw1(t)、重みw2(t)、…、重みwn(t)が設定されている。これらの重みは、学習部30により時間Δtごとに更新される。また、矢印によりリードアウト13と接続されているニューロンは、例えば、入力層11により入力された内積z(t-Δt)に基づいて図1に示した活性値r1(t)、活性値r2(t)、…、活性値rn(t)を出力する。
リードアウト13は、次の式(4)で表される重みベクトルと次の式(5)で表される活性値ベクトルとの内積z(t)を算出し、フィードバック部20及び学習部30に出力する。式(5)で表される活性値ベクトルの要素各々は、矢印によりリードアウト13と接続されているニューロンにより出力された活性値r1(t)、活性値r2(t)、…、活性値rn(t)である。また、この内積z(t)は、次の式(6)で表される。
フィードバック部20は、リードアウト13から取得した内積z(t)をリザーバー本体12にフィードバックする。
学習部30は、観測信号受信部100から観測信号f(t)を取得し、上述した式(6)で表される内積z(t)と観測信号f(t)との誤差を算出する。この誤差は、次の式(7)で表される。また、ここで言う観測信号f(t)は、時系列信号の一例であり、例えば、ロボットアームを動作されるモータを駆動させる信号、ヒトの心臓の心電波形である。
そして、学習部30は、上述した式(7)で表される誤差に基づいて適応フィルタにより算出した更新値を使用して上述した式(4)で表される重みベクトルを次の式(8)で表される重みベクトルに更新する。また、学習部30は、例えば、シストリックアレイを使用して当該誤差に適応フィルタを適用する。
ノルム算出部40は、学習部30により更新された重みベクトルのノルムを逐次算出する。例えば、ノルム算出部40は、学習部30により更新された重みベクトル、すなわち上述した式(8)で表される重みベクトルのノルムを算出する。このノルムは、次の式(9)で表される。
外れ値検出装置1は、上述した処理を時間Δtごとに繰り返し実行することにより、リザーバー本体12に含まれるニューロンとリードアウト13との接続する矢印に設定された重みを要素とする重みベクトルを更新し、更新された重みベクトルのノルムを算出し、ノルムの時系列データを生成する。
図2は、実施形態に係るリザーバーコンピュータの出力、観測信号及び重みベクトルのノルムの一例を示す図である。図2(a)は、リードアウト13により出力された内積z(t)を実線で示しており、学習部30が観測信号受信部1000から取得した観測信号f(t)の一例であるフーリエ波形を破線で示している。このフーリエ波形は、常に周期的に変化する波形の一例である。また、観測信号受信部1000は、例えば、外れ値検出装置1の外部に設置されているセンサから観測信号f(t)を取得する。図2(b)は、各時刻において算出された重みベクトルのノルムを示している。
図2に示すように、重みベクトルのノルムは、外れ値検出装置1が観測信号f(t)を取得し、重みベクトルの更新を続けていくに従って増加する。すなわち、重みベクトルのノルムは、リザーバーコンピュータ10の学習が進むにつれて増加する。
図3は、実施形態に係るリザーバーコンピュータの出力、観測信号及び重みベクトルのノルムの一例を示す図である。図3(a)は、リードアウト13により出力された内積z(t)を実線で示しており、学習部30が観測信号受信部1000から取得した観測信号f(t)の一例であるヒトの心電波形を破線で示している。この心電波形は、周期的に変化しているものの、一定の揺らぎを含んでおり、一周期の中で最大の値となるR波のうち五つ目のR波にアーティファクトを加算している波形である。このアーティファクトは、外れ値の一例であり、当該心電波形とは無関係に決定された値である。また、ここで言う外れ値は、観測信号f(t)の通常時の値から大きく逸脱した値だけではなく、測定ミス等により発生する異常値を含んでいる。図3(b)は、各時刻において算出された重みベクトルのノルムを示している。
図3(b)に示すように、心電波形がアーティファクトを含んでいない期間においては、重みベクトルのノルムは、緩やかに増加している。一方、図3(b)に示すように、心電波形が外れ値、例えば、アーティファクトを含んでいる期間においては、重みベクトルのノルムは、急激に増加している。
判定部50は、ノルム算出部40により算出されたノルムの少なくとも一つに基づいて観測信号f(t)に外れ値が含まれているか否かを判定する。例えば、判定部50は、ノルム算出部40により算出されたノルム又はノルムの変化量が所定の閾値を所定の回数以上超えた場合、観測信号f(t)に外れ値が含まれていると判定する。或いは、判定部50は、図2(b)に示したノルムの移動平均が所定の閾値を所定の回数以上超えた場合、観測信号f(t)に外れ値が含まれていると判定する。
なお、外れ値検出装置1は、観測信号f(t)に外れ値が含まれていると判定された場合、観測信号f(t)に外れ値が含まれていることを示す画像、動画、音声又はこれらの組み合わせを出力してもよい。
次に、図4を参照しながら、実施形態に係る外れ値検出装置1が実行する処理を説明する。図4は、実施形態に係る外れ値検出装置が実行する処理の一例を説明するための図である。
ステップS10において、入力層11は、リザーバー本体12に内積、例えば、上述した内積z(t-Δt)を出力する。
ステップS20において、リザーバー本体12は、リードアウト13に活性値、例えば、図1に示した活性値r1(t)、活性値r2(t)、…、活性値rn(t)を出力する。
ステップS30において、リードアウト13は、ステップS20で出力された活性値を要素とする活性値ベクトルと重みベクトルとの内積を算して出力する。例えば、リードアウト13は、上述した式(5)で表される活性値ベクトルと上述した式(4)で表される重みベクトルとの内積z(t)を出力する。
ステップS40において、フィードバック部20は、ステップS30で算出された内積、例えば、内積z(t)をリザーバー本体12にフィードバックする。
ステップS50において、学習部30は、観測信号、例えば、観測信号f(t)を取得し、観測信号及びステップS30で算出された内積、例えば、内積z(t)に基づいて重みベクトルを更新する。
ステップS60において、ノルム算出部40は、ステップS50で更新された重みベクトルのノルムを算出する。
ステップS70において、判定部50は、重みベクトルのノルムの少なくとも一つに基づいて、ステップS50で取得された観測信号f(t)に外れ値が含まれているか否かを判定する。
ステップS80において、外れ値検出装置1は、観測信号、例えば、観測信号f(t)に外れ値が含まれているか否かの判定を終了するよう指示する信号を受信したか否かを判定する。外れ値検出装置1は、当該信号を受信したと判定した場合(ステップS80:YES)、処理をステップS10に戻し、当該信号を受信していないと判定した場合(ステップS80:NO)、処理を終了させる。
以上、実施形態に係る外れ値検出装置1について説明した。外れ値検出装置1は、互いにシナプスで接続された複数のニューロン各々が出力した活性値を要素とする活性値ベクトルとの内積を算出して出力するリザーバーコンピュータ10と、当該内積と観測信号との誤差を算出し、当該誤差に適応フィルタを適用した値を使用して重みベクトルを更新する学習部30と、更新された重みベクトルのノルムを逐次算出するノルム算出部40と、算出されたノルムの少なくとも一つに基づいて観測信号に外れ値が含まれているか否かを判定する判定部50とを備える。
つまり、外れ値検出装置1は、観測信号を時間領域又は周波数領域におけるパターンマッチングではなく、重みベクトルのノルムに基づいて観測信号に外れ値が含まれているか否かを判定する。また、上述した重みベクトルの次元は、時間領域又は周波数領域におけるパターンマッチングで使用される波形ベクトルの次元よりも小さい。また、リザーバーコンピュータ10が実行するFORCE学習は、デジタルハードウェアとして実装する上で好適な学習方法である。したがって、外れ値検出装置1は、ハードウェアで実現することができる。例えば、外れ値検出装置1は、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)を使用したデジタルハードウェアとして効率的に実装され得る。さらに、外れ値検出装置1は、逐一観測信号を取得しながら、重みベクトルを更新し続けるため、事前に観測信号を入力して学習しておく必要が無いという利点を有する。
また、学習部30は、シストリックアレイを使用して内積z(t)と観測信号f(t)との誤差に適応フィルタを適用するため、当該誤差に適応フィルタを適用する処理を効率的に実行することができる。
なお、判定部50は、ノルム算出部40により逐次算出されたノルムが所定の閾値を超えているか否かを更に判定してもよい。ノルム算出部40は、ノルム算出部40により逐次算出されたノルムが所定の閾値を超えていると判定された場合、逐次算出するノルムから所定の値を差し引いてもよい。これにより、外れ値検出装置1は、ノルム算出部40により算出されるノルムが大きくなり過ぎてしまい、判定部50による判定の精度が低下してしまう事態を回避することができる。
また、上述した実施形態に係る外れ値検出装置1の各構成要素又はこれらの構成要素の一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録させ、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、処理を実行してもよい。
ここで言うコンピュータシステムは、例えば、オペレーティング・システム(Operating System:OS)、周辺機器等のハードウェアを含んでいてもよい。また、コンピュータ読み取り可能な記録媒体は、例えば、可搬媒体、記憶装置である。可搬媒体は、例えば、フロッピーディスク、光磁気ディスク、ROM(Read Only Memory)、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)である。記憶装置は、例えば、コンピュータシステムに内蔵されるハードディスクである。さらに、コンピュータ読み取り可能な記録媒体は、ネットワーク又は通信回線を介してプログラムが送信される場合にサーバ又はクライアントとなるコンピュータシステム内部の揮発性メモリであってもよい。
また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、又は、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体とは、インターネット等のネットワーク又は電話回線等の通信回線のように情報を伝送する機能を有する媒体をいう。
また、上述したプログラムは、上述した機能の一部を実現するためのものであってもよく、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるプログラム、いわゆる差分プログラムであってもよい。上述したプログラムは、例えば、コンピュータが備えるCPU(Central Processing Unit)等のプロセッサにより読み出されて実行される。
以上、本発明の実施形態、第二実施形態及び第三実施形態について図面を参照して詳述したが、具体的な構成はこれら三つの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
1…外れ値検出装置、10…リザーバーコンピュータ、11…入力層、12…リザーバー本体、13…リードアウト、20…フィードバック部、30…学習部、40…ノルム算出部、50…判定部、1000…観測信号受信部
Claims (5)
- 入力層と、互いにシナプスで接続された複数のニューロンを含むリザーバー本体と、重みベクトルと複数の前記ニューロン各々が前記入力層への入力に基づいて出力した活性値を要素とする活性値ベクトルとの内積を算出して出力するリードアウトとを有するリザーバーコンピュータと、
観測信号を取得し、前記内積と前記観測信号との誤差を算出し、前記誤差に適応フィルタを適用した値を使用して前記重みベクトルを更新する学習部と、
前記学習部により更新された前記重みベクトルのノルムを逐次算出するノルム算出部と、
前記ノルム算出部により算出された前記ノルムの少なくとも一つに基づいて前記観測信号に外れ値が含まれているか否かを判定する判定部と、
を備える外れ値検出装置。 - 前記判定部は、前記ノルム算出部により逐次算出された前記ノルムが所定の閾値を超えているか否かを更に判定し、
前記ノルム算出部は、前記ノルム算出部により逐次算出された前記ノルムが所定の閾値を超えていると判定された場合、逐次算出する前記ノルムから所定の値を差し引く、
請求項1に記載の外れ値検出装置。 - 前記学習部は、前記誤差に基づいて前記適応フィルタを適用して更新値を算出する際に、シストリックアレイを使用する、
請求項1又は請求項2に記載の外れ値検出装置。 - 重みベクトルと、互いにシナプスで接続された複数のニューロン各々が入力層への入力に基づいて出力した活性値を要素とする活性値ベクトルとの内積を出力するリザーバーコンピューティング工程と、
観測信号を取得し、前記内積と前記観測信号との誤差を算出し、前記誤差に適応フィルタを適用した値を使用して前記重みベクトルを更新する学習工程と、
前記学習工程において更新された前記重みベクトルのノルムを逐次算出するノルム算出工程と、
前記ノルム算出工程において算出された前記ノルムの少なくとも一つに基づいて前記観測信号に外れ値が含まれているか否かを判定する判定工程と、
を含む外れ値検出方法。 - コンピュータに、
入力層と、互いにシナプスで接続された複数のニューロンを含むリザーバー本体と、重みベクトルと複数の前記ニューロン各々が前記入力層への入力に基づいて出力した活性値を要素とする活性値ベクトルとの内積を出力するリードアウトを有するリザーバーコンピューティング機能と、
観測信号を取得し、前記内積と前記観測信号との誤差を算出し、前記誤差に適応フィルタを適用した値を使用して前記重みベクトルを更新する学習機能と、
前記学習機能により更新された前記重みベクトルのノルムを逐次算出するノルム算出機能と、
前記ノルム算出機能により算出された前記ノルムの少なくとも一つに基づいて前記観測信号に外れ値が含まれているか否かを判定する判定機能と、
を実行させるための外れ値検出プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/013320 WO2020194591A1 (ja) | 2019-03-27 | 2019-03-27 | 外れ値検出装置、外れ値検出方法及び外れ値検出プログラム |
| US17/441,761 US20220180160A1 (en) | 2019-03-27 | 2019-03-27 | Outlier detection device, outlier detection method, and outlier detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/013320 WO2020194591A1 (ja) | 2019-03-27 | 2019-03-27 | 外れ値検出装置、外れ値検出方法及び外れ値検出プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020194591A1 true WO2020194591A1 (ja) | 2020-10-01 |
Family
ID=72609778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/013320 Ceased WO2020194591A1 (ja) | 2019-03-27 | 2019-03-27 | 外れ値検出装置、外れ値検出方法及び外れ値検出プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220180160A1 (ja) |
| WO (1) | WO2020194591A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022264573A1 (ja) * | 2021-06-17 | 2022-12-22 | 東京エレクトロン株式会社 | プロセス状態予測システム |
| WO2024018696A1 (ja) * | 2022-07-20 | 2024-01-25 | 東京エレクトロン株式会社 | リザーバ装置及びプロセス状態予測システム |
| JP2024530991A (ja) * | 2021-09-03 | 2024-08-27 | 日本電気株式会社 | 判定装置、判定方法およびプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117493220B (zh) * | 2024-01-03 | 2024-03-26 | 安徽思高智能科技有限公司 | 一种rpa流程操作异常检测方法、设备及存储设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140108094A1 (en) * | 2012-06-21 | 2014-04-17 | Data Ventures, Inc. | System, method, and computer program product for forecasting product sales |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9151777B2 (en) * | 2008-04-30 | 2015-10-06 | Movea | Device for detecting a percussion event, and associated mobile system |
| JP6109326B2 (ja) * | 2013-10-07 | 2017-04-05 | 株式会社日立製作所 | 電力系統状態推定装置およびその電力系統状態推定方法 |
| US10162378B1 (en) * | 2015-03-19 | 2018-12-25 | Hrl Laboratories, Llc | Neuromorphic processor for wideband signal analysis |
| US10481597B2 (en) * | 2015-12-08 | 2019-11-19 | Sight Machine, Inc. | System and method for monitoring manufacturing |
| US10838910B2 (en) * | 2017-04-27 | 2020-11-17 | Falcon Computing | Systems and methods for systolic array design from a high-level program |
-
2019
- 2019-03-27 WO PCT/JP2019/013320 patent/WO2020194591A1/ja not_active Ceased
- 2019-03-27 US US17/441,761 patent/US20220180160A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140108094A1 (en) * | 2012-06-21 | 2014-04-17 | Data Ventures, Inc. | System, method, and computer program product for forecasting product sales |
Non-Patent Citations (2)
| Title |
|---|
| RENATO DUARTE , PEGGY SERIES , ABIGAIL MORRISON: "Self-Organized Artificial Grammar Learning in Spiking Neural Networks", PROCEEDINGS OF THE ANNUAL MEETING OF THE COGNITIVE SCIENCE SOCIETY, vol. 36, 2014, pages 427 - 432, XP055743341, ISSN: 1069-7977 * |
| VICTORIA HODGE; JIM AUSTIN: "A survey of outlier detection methodologies", ARTIFICIAL INTELLIGENCE REVIEW, vol. 22, no. 2, 31 October 2004 (2004-10-31), pages 85 - 126, XP055176642, ISSN: 0269-2821, DOI: 10.1023/B:AIRE.0000045502.10941.a9 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022264573A1 (ja) * | 2021-06-17 | 2022-12-22 | 東京エレクトロン株式会社 | プロセス状態予測システム |
| JP2024530991A (ja) * | 2021-09-03 | 2024-08-27 | 日本電気株式会社 | 判定装置、判定方法およびプログラム |
| JP7663152B2 (ja) | 2021-09-03 | 2025-04-16 | 日本電気株式会社 | 判定装置、判定方法およびプログラム |
| WO2024018696A1 (ja) * | 2022-07-20 | 2024-01-25 | 東京エレクトロン株式会社 | リザーバ装置及びプロセス状態予測システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220180160A1 (en) | 2022-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020194591A1 (ja) | 外れ値検出装置、外れ値検出方法及び外れ値検出プログラム | |
| JP6783927B2 (ja) | 学習型信号分離方法、及び学習型信号分離装置 | |
| TWI687711B (zh) | 震央距離推定裝置、震央距離推定方法及電腦可讀取之記錄媒體 | |
| EP2977936A2 (en) | Neural network training method and apparatus, and data processing apparatus | |
| CN115579130B (zh) | 一种患者肢体功能的评估方法、装置、设备及介质 | |
| CN113647905A (zh) | 深度神经网络预测血压的训练方法、计算机装置和存储介质 | |
| CN111387936B (zh) | 一种睡眠阶段识别方法、装置及设备 | |
| JP2020203051A (ja) | コンピュータプログラム、情報処理装置、情報処理方法、学習済みモデルの生成方法及び学習済みモデル | |
| JP2020198081A (ja) | スパースセンサ測定値を用いる機器の予測保守システム | |
| JPWO2020066430A1 (ja) | てんかん発作予測装置、心電指標データの分析方法、発作予測コンピュータプログラム、モデル構築装置、モデル構築方法、モデル構築コンピュータプログラム | |
| KR20190080598A (ko) | 생체신호를 이용한 감성 검출 시스템 및 그 방법 | |
| US11308615B1 (en) | Systems and processes for improving medical diagnoses | |
| US20210165374A1 (en) | Inference apparatus, training apparatus, and inference method | |
| Patra et al. | ANN-based intelligent pressure sensor in noisy environment | |
| JPWO2020031380A1 (ja) | 画像処理方法および画像処理装置 | |
| JP7163873B2 (ja) | 状態推定装置、状態推定システム及び状態推定方法 | |
| JP7579632B2 (ja) | 推定装置、システム及び方法 | |
| KR102881160B1 (ko) | 심전도를 이용한 건강 상태의 예측 방법, 프로그램 및 장치 | |
| KR20240026107A (ko) | 생체신호 데이터의 증강 방법, 컴퓨터 프로그램 및 장치 | |
| TWI682770B (zh) | 診斷輔助方法 | |
| Blanks et al. | Bayesian optimization of sample entropy hyperparameters for short time series | |
| JP3012713B2 (ja) | 波形同定システム | |
| US20250025095A1 (en) | System and method of detecting and monitoring neurodegenerative and neurological disorders | |
| JP7055211B2 (ja) | データ処理システムおよびデータ処理方法 | |
| US20250045628A1 (en) | Systems and methods for improving reliability of machine learning models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19921566 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19921566 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |








