WO2017094267A1 - 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 - Google Patents

異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 Download PDF

Info

Publication number
WO2017094267A1
WO2017094267A1 PCT/JP2016/005043 JP2016005043W WO2017094267A1 WO 2017094267 A1 WO2017094267 A1 WO 2017094267A1 JP 2016005043 W JP2016005043 W JP 2016005043W WO 2017094267 A1 WO2017094267 A1 WO 2017094267A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
latent variable
abnormality detection
model
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/005043
Other languages
English (en)
French (fr)
Inventor
大輔 岡野原
健太 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Preferred Networks Inc
Original Assignee
Preferred Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Preferred Networks Inc filed Critical Preferred Networks Inc
Priority to US15/780,355 priority Critical patent/US10831577B2/en
Priority to EP16870208.2A priority patent/EP3385889A4/en
Priority to JP2017553636A priority patent/JP6740247B2/ja
Priority to CN201680070526.4A priority patent/CN108431834A/zh
Publication of WO2017094267A1 publication Critical patent/WO2017094267A1/ja
Anticipated expiration legal-status Critical
Priority to US17/038,250 priority patent/US11334407B2/en
Priority to US17/716,992 priority patent/US11921566B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/90—Identifying an image sensor based on its output data

Definitions

  • the present invention relates to an abnormality detection system, an abnormality detection method, an abnormality detection program, and a learned model generation method.
  • the failure determination of a machine and the identification of the cause of the failure have been performed by comparing the sensor data at the time of normal operation of the machine with the sensor data at the time of the past failure (for example, the failure of FIG. (Refer to the flowchart showing the determination processing routine).
  • the cause of failure in order to compare the sensor data accurately and efficiently, the cause of failure can be classified with high accuracy and efficiency by selecting the sensor that is the source of the sensor data accurately and efficiently. It can be carried out.
  • various sensor data and applications output from information systems that support social infrastructure such as power, water, gas, transportation, communication, medical care, finance, and services.
  • information systems that support social infrastructure
  • an anomaly detection system an anomaly detection method, an anomaly detection program, and a learned model generation method that learn data and determine (including prediction) normal and abnormal events that can occur.
  • the abnormality detection system includes a storage unit that stores a latent variable model and a joint probability model that have been learned in advance, an acquisition unit that acquires input data of an abnormality detection target, and a latency stored in the storage unit.
  • An encoder that infers a latent variable from the input data based on a variable model; a decoder that generates reconstructed data from the latent variable based on a joint probability model stored in the storage; and the input data and reconstructed data And determining means for determining whether the input data is normal or abnormal based on the deviation.
  • the determination unit determines a deviation amount between the input data and the restored data based on a likelihood calculated by a parameter obtained in a process in the encoder and decoder. It is characterized by that.
  • the determination means calculates and calculates a component shift for each dimension of the input data and the restored data, and determines that it is abnormal when there is a large difference in any dimension. It was made to do.
  • the abnormality detection system of the present invention is further characterized by further comprising learning means for learning a latent variable model and a joint probability model based on training data composed of normal data.
  • the abnormality detection system of the present invention is characterized in that the encoder and decoder are constructed by any one of VAE, AAE, LVAE, and ADGM as the measurement means.
  • the present invention can be described as an invention of an abnormality detection system as described above, and can also be described as an invention of an abnormality detection method and an abnormality detection program as follows. This is substantially the same invention only in different categories, and has the same operations and effects.
  • the present invention can also be described as an invention of a learned model generation method used in the above-described abnormality detection system, abnormality detection method, and abnormality detection program.
  • An anomaly detection method is an anomaly detection method executed by an anomaly detection system including a storage means for storing a latent variable model and a joint probability model that have been learned in advance, and includes input data of an anomaly detection target
  • An inferring step for inferring a latent variable from the input data based on a latent variable model stored in the storage means, and the latent potential based on a joint probability model stored in the storage means.
  • a generation step for generating restoration data from the variable; and a determination step for determining whether the input data is normal or abnormal based on a shift between the input data and the restoration data.
  • An abnormality detection program includes a storage unit that stores a latent variable model and a joint probability model that have been learned in advance, an acquisition unit that acquires input data of an abnormality detection target, and the storage unit.
  • An encoder that infers a latent variable from the input data based on a stored latent variable model; a decoder that generates reconstructed data from the latent variable based on a joint probability model stored in the storage means; and the input It is characterized by functioning as a determination means for determining whether the input data is normal or abnormal based on the difference between the data and the restored data.
  • a learned model generation method is a learned model generation method including a latent variable model and a joint probability model for detecting anomalies in input data, and includes at least one or more training data including normal data.
  • a deviation calculating step for calculating a deviation between the training data and the restored data
  • a parameter updating step for updating parameters of the latent variable model and the joint probability model based on the deviation.
  • the present invention it is possible to select a sensor that is considered effective for classifying the cause of failure more easily than in the past. For example, it is possible to select a sensor that is considered effective for classifying the cause of failure without requiring machine knowledge.
  • the present invention it is possible to appropriately reflect the state of the device to the abnormality determination, and to reduce the false alarm of the abnormality determination. Further, it is possible to determine an abnormality earlier than in the past in accordance with the fluctuation factors of the device operation data. Accordingly, it is possible to present an appropriate response action to maintenance personnel and operators.
  • the influence of outliers can be suppressed by updating learning data using sensor data diagnosed as normal. Moreover, it can follow aged deterioration.
  • FIG. (1) which shows the abnormality detection system which concerns on embodiment of this invention using VAE.
  • FIG. (The 2) which shows the abnormality detection system which concerns on embodiment of this invention using VAE.
  • FIG. 1 is a functional block diagram of an abnormality detection system 1 according to an embodiment of the present invention.
  • the abnormality detection system 1 includes a storage unit 10 (storage unit), an acquisition unit 11 (acquisition unit), a measurement unit 12 (measurement unit), a determination unit 13 (determination unit), and a learning unit 14 (learning unit). ).
  • the storage unit 10 stores a latent variable model and a joint probability model.
  • the storage unit 10 is a database, for example.
  • the acquisition unit 11 acquires sensor data output from the sensor.
  • the measurement unit 12 measures the likelihood of the sensor data acquired by the acquisition unit 11 based on the latent variable model and the joint probability model stored by the storage unit 10.
  • the determination unit 13 determines whether the sensor data is normal or abnormal based on the likelihood of the sensor data measured by the measurement unit 12.
  • the learning unit 14 learns a latent variable model and a joint probability model based on sensor data output from the sensor.
  • the measurement unit 12 converts the sensor data acquired by the acquisition unit 11 into a dimension lower than the dimension of the sensor data based on the latent variable model stored by the storage unit 10, and stores the simultaneous data stored by the storage unit 10.
  • the likelihood may be measured by converting to the original dimension based on the probability model. Further, the measurement unit 12 may measure the likelihood using a variational self-encoder.
  • the learning unit 14 may learn the latent variable model and the joint probability model based only on normal sensor data output by the sensor.
  • the anomaly detection system 1 is composed of hardware such as a CPU.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the abnormality detection system 1. As shown in FIG. 2, the abnormality detection system 1 shown in FIG. 1 physically includes a CPU 100, a RAM 101 and a ROM 102 as main storage devices, an input / output device 103 such as a display, a communication module 104, and an auxiliary storage device. 105 is configured as a computer system.
  • each functional block of the abnormality detection system 1 shown in FIG. 1 is the same as that of the input / output device 103 under the control of the CPU 100 by reading predetermined computer software on the hardware such as the CPU 100 and the RAM 101 shown in FIG. This is realized by operating the communication module 104 and the auxiliary storage device 105 and reading and writing data in the RAM 101.
  • the abnormality detection system 1 includes three steps (FIG. 3).
  • Step 1 Step of simultaneously learning a latent variable model and a joint probability model (implemented by the learning unit 14).
  • Step 2 Measuring the test data likelihood p (x) using the learned latent variable model and the joint probability model (implemented by the acquisition unit 11 and the measurement unit 12).
  • Step 3 a step of determining whether the information is normal or abnormal using information on the likelihood p (x) (implemented by the determination unit 13).
  • Step 1 is a step of simultaneously learning a latent variable model and a joint probability model.
  • step 1 the conditional probability p (z
  • a neural network When learning the conditional probability p (z
  • the latent variable model is obtained by modeling the conditional probability p (z
  • the latent variable model is stored by the storage unit 10.
  • the joint probability is represented by p (x, z) or p (z) ⁇ p (x
  • the joint probability model is obtained by modeling joint probability independently using, for example, a neural network.
  • the joint probability model is stored by the storage unit 10.
  • the structure of the neural network is not particularly limited. For example, a fully connected layer, a non-linear function (sigmoid, relu), a batch normalization layer, and a dropout layer may be included.
  • Input data (sensor data output by the sensor) is acquired from the sensor or the like by the acquisition unit 11.
  • Input data is not particularly limited.
  • the input data is, for example, a multidimensional array or a tensor.
  • the input data acquired by the acquisition unit is not limited to sensor data from the sensor, and can be various data as long as it is data that is a target of abnormality detection.
  • each value is, for example, a continuous value or a discrete value.
  • each value can be expanded to a multidimensional array or tensor.
  • sensors include a camera mounted on a robot, a three-dimensional acceleration sensor, an actuator, a temperature sensor, and a humidity sensor.
  • sensor data include image data from a camera, position / velocity / acceleration information from a three-dimensional acceleration sensor, current / voltage amount applied to an actuator, or those divided by an appropriate time window width, Or the thing which frequency-resolved each one is mentioned.
  • step 1 to step 3 it may be determined whether normal or abnormal using SVM or LOF, or normal or abnormal using a variational self-encoder (hereinafter referred to as VAE). It may be determined. In particular, it is more preferable to use VAE (FIGS. 5 to 7).
  • the learning device when the latent variable model, that is, the conditional probability p (z
  • the input of the encoder is sensor data, which is obtained by testing the device (sampling at an appropriate time interval is given for a certain period of time). The test is performed a plurality of times continuously or periodically.
  • the output of the decoder is represented by the degree of abnormality and likelihood of each dimension of the sensor data.
  • VAE can output a probability value more easily than SVM or LOF. Therefore, the abnormality detection system 1 makes it easier to compare the abnormality scores when using VAE, even when sensors having different physical quantities are used than when using SVM or LOF.
  • VAE can perform non-linear conversion of data representation more easily than SVM or LOF. Therefore, the abnormality detection system 1 can create a more complicated distribution of data representation when using VAE than when using SVM or LOF.
  • VAE can give an abnormal score for each dimension of input data, rather than SVM or LOF. Therefore, the abnormality detection system 1 can easily identify the input data source that causes the abnormal event when using the VAE than when using the SVM or the LOF.
  • VAE can learn the similarity faster than SVM or LOF. Therefore, the abnormality detection system 1 does not need to manually design the similarity between data when using VAE, compared with when using SVM or LOF.
  • p (z) to N (0, I) p (x
  • ⁇ (z) and ⁇ (z) are outputs from the neural network.
  • the loss function is minimized when learning the conditional probabilities p (z
  • the loss function for example, negative log likelihood-logp (x) can be used.
  • the variation lower limit is calculated by the following mathematical formula.
  • positive log likelihood logp (x) loglop (x_i) is evaluated from the lower limit value.
  • -Log ⁇ p (x_i) - ⁇ _ilog ⁇ p (x_i
  • z; ⁇ ) p (z) dz ⁇ - ⁇ _iq (z
  • x_i; ⁇ ) dz ⁇ _iE_ ⁇ q (z
  • x_i; ⁇ ) ⁇ [•] is an expected value for q (z
  • q) is a KL distance of the distributions p and q.
  • the learning speed can be increased by the inverse error propagation method.
  • Reparameterization Trick can be used.
  • Step 2 is a step of measuring the test data likelihood p (x) using the learned latent variable model and the joint probability model.
  • Step 3 is a step of determining whether the state is normal or abnormal by using information on the likelihood p (x).
  • step 3 whether or not the test data likelihood p (x) is smaller than a threshold value, whether or not the n-th derivative of the test data likelihood p (x) is smaller than the threshold value, or a combination thereof Whether the information is normal or abnormal is determined.
  • Sensor does not specifically limit its target and number.
  • the strength for each time and frequency may be used, and the sensor may be for a different device.
  • the anomaly detection system 1 learns the probability model P from the normal time data when the disturbance probability distribution changes between normal time and abnormal time in the repetitive operation, and the observation data x and likelihood p (x) by P Predict changes abnormally.
  • procedure 1 In procedure 1 (realized by the acquisition unit 11), preprocessing is performed on input data. For example, spectrum conversion may be performed.
  • procedure 2 In procedure 2 (realized by the learning unit 14), a data group in a normal state is input as training data, and the probability model P is learned so as to restore the input data. For example, a vector in which spectra are arranged can be used as the input x.
  • the abnormality detection system 1 uses deep learning for estimation of the probability model.
  • Z is generated from N (0, I), and then x is generated from N ( ⁇ (z; ⁇ ), ⁇ (z; ⁇ )).
  • a neural network characterized by ⁇ (z; ⁇ ), ⁇ (z; ⁇ ) parameter ⁇ is used. Then, ⁇ is optimized so as to maximize the log likelihood ⁇ logp (x; ⁇ ) of the training data X.
  • x; ⁇ ) dz > ⁇ q (z
  • x; ⁇ ) dz Eq (z
  • x; ⁇ )] L ( ⁇ , ⁇ )
  • ⁇ means a parameter characterizing the neural network that generates the joint probability model.
  • Q (z, x) means a probability distribution defined by the neural network.
  • x) means a conditional probability of x conditioned by z calculated by the probability distribution q (z, x).
  • L ( ⁇ , ⁇ ) Eq (z
  • the gradients dL / d ⁇ and dL / d ⁇ are obtained for the L ( ⁇ , ⁇ ) maximization parameters ⁇ and ⁇ , and ⁇ and ⁇ are simultaneously optimized.
  • the gradient dL / d ⁇ can be estimated more quickly by using a variable conversion trick (also referred to as reparameterization trick).
  • a neural network is used for learning q (z
  • procedure 4 In procedure 4 (implemented by the measurement unit 12 or the determination unit 13), the likelihood p (x) is converted into a score S (x) and smoothed.
  • the conversion process includes a logarithm.
  • the smoothed output may be output.
  • the smoothed output may be output.
  • Locally Weighed Scatterplot Smoothing can be used.
  • the abnormality detection system 1 simultaneously learns the latent variable model and the joint probability model. Therefore, the abnormality detection system 1 does not require feature design.
  • a neural network may be used for modeling the latent variable model and the joint probability model.
  • the anomaly detection system 1 is characterized in that input data in the process of simultaneously learning the latent variable model and the joint probability model is a multidimensional array or tensor. Therefore, the abnormality detection system 1 does not require prior knowledge of data and applications.
  • the anomaly detection system 1 is composed of n sensors and learns n simultaneous probability models. Therefore, according to the abnormality detection system 1, even when the number of sensors is increased, it can be dealt with by learning the joint probability model. Specifically, an abnormality can be detected in consideration of the correlation between n sensors.
  • the anomaly detection system 1 uses a neural network when learning the conditional probability p (z
  • abnormality detection system 1 for example, sensor data transmitted from a large number of sensors provided in a large number of machines, for example, high-dimensional sensor data including image data, or sensor data including a combination thereof is handled in an integrated manner. be able to. Therefore, an abnormality can be detected with higher efficiency and higher processing speed.
  • the anomaly detection system 1 uses SVM, LOF, or VAE when learning a latent variable model. Therefore, the abnormality detection system 1 can nonlinearly convert the input data expression. In particular, when VAE is used, non-linear conversion can be performed regardless of the number of parameters of input data.
  • the anomaly detection system 1 can learn the similarity from the sensor data when using the VAE. Therefore, the abnormality detection system 1 does not need to manually design the similarity between sensor data.
  • the abnormality detection system 1 uses the VAE, it can acquire the characteristics that are the basis of the sensor data by reducing the dimension of the sensor data. Therefore, the abnormality detection system 1 can convert a wider range of data representation.
  • the abnormality detection system 1 can convert the data expression in a linear calculation time, not limited to the number of data parameters. Therefore, the abnormality detection system 1 can perform data expression conversion with high efficiency.
  • devices in a plurality of different locations may be configured by communicating using communication means.
  • Sensor data can be sent to another arithmetic device by communication means, and learning and abnormality detection can be determined by the arithmetic device.
  • notification corresponding to an action determined by analyzing a determination result by the abnormality detection system 1 and output processing for performing predetermined control can be performed.
  • the abnormality detection system 1 does not limit the location of each process.
  • the sensor installation and the learning process can be performed at different locations.
  • the place of abnormality detection or abnormality determination is not limited. It can be done in the same or different places.
  • Example 2 The anomaly detection system 1 in the first embodiment has been mainly described in the case where VAE is used as a machine learning model. However, in this second embodiment, an AAE (Adversarial AutoEncoder: hostile self) is used as a machine learning model. A case of using an encoder will be described.
  • VAE Virtual Machine
  • AAE Advanced AutoEncoder: hostile self
  • FIG. 8 is a conceptual diagram showing an abnormality detection system according to the second embodiment of the present invention using AAE.
  • AAE is used for an abnormality detection system, as shown in FIG. 8, in addition to learning of an encoder and a decoder, learning of a discriminator is also performed.
  • AAE learning is performed in two stages: a reconstruction phase in which learning of an encoder (Encoder) and a decoder (Decoder) is performed, and a regularization phase (Regularization phase) in which learning of a discriminator (Discriminator) is performed.
  • the restoration stage learning first, training data x, which is normal data, is input to an encoder to infer a representation z (latent variable z) of input data, and the representation z of the input data is input to a decoder to restore data x to generate the ⁇ .
  • a potentially variable model to infer the representation z of the input data, to generate the recovered data x ⁇ from expression z is joint probability model.
  • a reconstruction error is calculated by comparing the training data x and the reconstruction data x 1 to x 6. Then, the encoder and decoder parameters are updated by, for example, the stochastic gradient descent method so as to reduce the reconstruction loss with reference to the reconstruction error.
  • the discriminator is learned.
  • the encoder that infers the expression z 0 of the input data input to the discriminator is also learned.
  • training data x which is normal data
  • an encoder to infer a representation z 0 of input data based on a latent variable model
  • a false representation z 1 is sampled from a sample generator (Sampler).
  • Sample generator Sampler
  • training data (z 0 , 0) and (z 1 , 1) to be input to the discriminator are created.
  • 0 or 1 is a correct answer label indicating whether the training data is an expression z 0 based on normal data or a false expression z 1 .
  • learning is performed using the training data (z 0 , 0) and (z 1 , 1) to discriminate the expression z 0 based on normal data and the fake expression z 1 .
  • the discriminator firstly distinguishes training data (z 0 , 0) based on normal data from fake training data (z 1 , 1) sampled from the sample generator (Sampler). Update the classifier parameters. The discriminator then updates the encoder parameters to disrupt the network for discrimination in the discriminator.
  • the learned classifier outputs the probability that the input is real data (the probability that the input is a sample of a prior distribution). In this way, a regularization error is obtained in the process of discriminating normal data and fake data in the discriminator, and not only the discriminator but also the encoder parameters are updated and learned using this regularization error. By doing so, the accuracy of inference in the encoder is increased and the identification accuracy of the classifier is increased.
  • the flow of the abnormality detection process using AAE will be described.
  • Prepare a fully-trained model The data of the abnormality detection target is input to the encoder of the learned model, the expression of the data of the abnormality detection target is inferred, and the restoration data is generated from the expression in the decoder.
  • the obtained restoration data is compared with the input data of the abnormality detection target, and an abnormality is detected from the difference between the two.
  • the latent variable model and the joint probability model are learned in advance based on normal data, and at the same time, the classifier is also trained and the output of the classifier is used. Since not only the discriminator but also the encoder and decoder are learned together, it is possible to detect anomalies with high accuracy.
  • AAE if distribution can be performed, a complicated distribution can be used. Therefore, it is expected that the expressive power of the decoder is increased and the generation accuracy is increased.
  • Example 3 In the third embodiment, a case will be described in which LVAE (Ladder Variational AutoEncoder) is used as a machine learning model.
  • LVAE Layer Variational AutoEncoder
  • FIG. 9 is a conceptual diagram showing an abnormality detection system according to Example 3 of the present invention using LVAE.
  • LVAE is used for an anomaly detection system, as shown in FIG. 9, learning of an encoder and a decoder is performed. In the process of generating restored data from the expression z, the encoder parameters are changed. It is characteristic to use.
  • LVAE learning training data x, which is normal data, is input to an encoder, an input data expression z (latent variable z) is inferred, and the input data expression z is input to a decoder to generate restored data x 1 to x 2.
  • This is the same as in the first and second embodiments. Specifically, as shown in FIG.
  • the latent variable model finally obtains the expression z 3 by obtaining the results for each hierarchy in the order of d 1 ⁇ d 2 ⁇ d 3 from the input data x through each hierarchy,
  • the result of each hierarchy is obtained in the order of z 3 ⁇ z 2 ⁇ z 1 from the expression z 3 through each hierarchy and finally the restored data x 1 is generated.
  • the number of hierarchies is an example, and the present invention is not limited to this.
  • the decoder process is performed using the parameters in the corresponding layer of the encoder.
  • the difference was calculated relative to the training data x recovered data x ⁇ generated in the decoder, to update the parameters of each layer of the encoder and decoder so that the difference is eliminated. Thereafter, the learning is repeated so that the training data x and the restored data x 1 match.
  • the flow of anomaly detection processing using LVAE will be described.
  • Prepare a fully-trained model The data of the abnormality detection target is input to the encoder of the learned model, the expression of the data of the abnormality detection target is inferred, and the restoration data is generated from the expression in the decoder.
  • the obtained restoration data is compared with the input data of the abnormality detection target, and an abnormality is detected from the difference between the two.
  • each decoder layer is configured to perform decoder processing using parameters in the corresponding layer of the encoder.
  • Example 4 In the fourth embodiment, a case where an ADGM (Auxiliary Deep Generative Model) is used as a machine learning model will be described.
  • ADGM Advanced Deep Generative Model
  • FIG. 10 is a conceptual diagram showing an abnormality detection system according to the fourth embodiment of the present invention using ADGM.
  • a solid line arrow represents sampling processing
  • a broken line arrow represents data copy
  • a one-dot chain line arrow represents calculation of loss L.
  • ADGM is used in the anomaly detection system, as shown in FIG. 10, learning of an encoder and a decoder is performed.
  • This ADGM adds an auxiliary variable a to the VAE concept of the first embodiment. And expanded.
  • ADGM when input data x, latent variable z, and auxiliary variable a are given, a probability distribution q (z
  • p (z) is a given probability distribution (for example, a standard normal distribution).
  • ADGM learning training data x, which is normal data, is input to an encoder, an input data expression z (latent variable z) is inferred, and the input data expression z is input to a decoder to generate restored data x 1 to x 2.
  • This is the same as in the first to third embodiments.
  • Example 4 further, to infer an auxiliary variable a by using training data x and expression z, performs processing to infer an auxiliary variable a from recovered data x ⁇ a representation z. And the value of loss (error function) L is calculated
  • the flow of abnormality detection processing using ADGM will be described.
  • Prepare a fully-trained model The data of the abnormality detection target is input to the encoder of the learned model, the expression of the data of the abnormality detection target is inferred, and the restoration data is generated from the expression in the decoder.
  • the obtained restoration data is compared with the input data of the abnormality detection target, and an abnormality is detected from the difference between the two.
  • the auxiliary variable a is introduced into the processes in the encoder and the decoder, and the process of inferring the auxiliary variable a is performed simultaneously. It is expected that the probability distribution can be modeled with high accuracy.
  • the abnormality detection method is described as determining whether the sensor data is normal or abnormal based on the likelihood, and this determination method is described in the second to second embodiments. 4 can also be adopted. Further, in any of Examples 1 to 4, without performing the calculation of the likelihood, to detect whether abnormal or normal depending calculates the deviation between the recovered data x ⁇ and the input data x to the amount of displacement It may be. Specifically, the displacement components for each dimension of the restored data x ⁇ and the input data x, for example obtained by performing an operation such as (x i -x i ⁇ ) 2 , there is a large discrepancy in any dimension In some cases, it may be determined that there is an abnormality.
  • inferences such as the latent variable z, the expression z, and the auxiliary variable a are obtained by sampling from a stochastic function, but the latent variable z is sampled only once.
  • the expression z, the auxiliary variable a, etc. are obtained and the loss L is calculated.
  • sampling may be performed a plurality of times, and the loss L may be calculated for each obtained value and averaged. In this way, by performing sampling a plurality of times, sampling deviations can be absorbed, so that learning efficiency and abnormality detection accuracy can be expected.
  • the input data x is input to the encoder to infer the input data expression z (latent variable z), and the input data expression z is determined. and input to the decoder to generate the recovered data x ⁇ , had to perform the abnormality detection by comparing the input data x restored data x ⁇ and.
  • the obtained restoration data x 1 may not be sufficiently close to the value of normal data. Therefore, it may be input to one inference, restoration data x ⁇ a further encoder obtained by the product of the process.
  • the restoration data x 0 to generate ⁇ restore data x 1 from, and so to generate the ⁇ restoration data x 2 From the restoration data x 1, obtained
  • the loss L may be calculated for each inference and generation process, and the sum of the losses L may be calculated, or the restored data finally obtained by repeating the processing a plurality of times (above In the example, the loss L may be calculated by comparing the restored data x 2 to ) with the input data x.
  • the abnormality detection system 1 can be used for a failure sign system of a machine or an electronic device.
  • the failure prediction system according to this embodiment not only predicts an event that can occur by sequentially processing data collected from various data sources, but also determines an appropriate action (action) for the grasped event (event). Occurrence) and notification corresponding to the action determined for the related system and output processing for performing predetermined control are realized in a series of flows.
  • the actual action result (including the case where the action itself is not performed) of the actually related system is accumulated as feedback information for the determined action (occurrence event), and the detection accuracy of the event is improved. To make it possible to provide highly useful additional information to a system linked with the monitoring control system.
  • it can be used for a failure prediction system for a plurality of industrial machines and robots in a factory, and can also be used for an abnormality prediction system for infrastructure equipment such as electric power. Further, it can be used in an abnormality prediction system for a plurality of parts such as aircraft and automobiles.
  • the anomaly detection system 1 can be used for a system for predicting the replacement time of consumables and parts.
  • the prediction system according to the present embodiment not only predicts events that may occur by sequentially processing data collected from various data sources, but also determines appropriate actions (actions) for the grasped events (events). Occurrence) and output processing for performing a predetermined control and a notification corresponding to the action determined for the related system is realized in a series of flows.
  • the actual action result (including the case where the action itself is not performed) of the actually related system is accumulated as feedback information for the determined action (occurrence event), and the detection accuracy of the event is improved. To make it possible to provide highly useful additional information to a system linked with the monitoring control system.
  • it can be used for prediction and notification of replacement timing of consumables such as engine oil for airplanes and automobiles. Further, it can be used for prediction and notification of replacement time of consumables such as drill teeth of machine tools.
  • the anomaly detection system 1 can be used for a general purpose monitoring control system.
  • the monitoring control system according to the present embodiment detects events that can occur by sequentially processing data collected from various data sources, and determines appropriate actions (actions) for the grasped events (occurrence of events).
  • actions actions for the grasped events (occurrence of events).
  • a notification corresponding to the action determined for the related system and an output process for performing predetermined control are controlled by a series of flows.
  • the actual action result (including the case where the action itself is not performed) of the actually related system is accumulated as feedback information for the determined action (occurrence event), and the detection accuracy of the event is improved. To make it possible to provide highly useful additional information to a system linked with the monitoring control system.
  • it can be used for a home security monitoring system.
  • it can be used for monitoring systems for buildings such as buildings, public facilities, and horticulture.
  • the anomaly detection system 1 can be used for a network security monitoring system.
  • the monitoring system according to the present embodiment detects events that may occur by sequentially processing data collected from various data sources, determines appropriate actions (actions) for the grasped events (occurrence of events), In addition, a notification corresponding to the action determined for the related system and an output process for performing a predetermined control are controlled by a series of flows.
  • the actual action result (including the case where the action itself is not performed) of the actually related system is accumulated as feedback information for the determined action (occurrence event), and the detection accuracy of the event is improved. To make it possible to provide highly useful additional information to a system linked with the monitoring control system.
  • the abnormality detection system 1 can be used for a medical image diagnosis system.
  • the diagnostic imaging system according to the present embodiment detects events that may occur by sequentially processing data collected from various data sources, and determines appropriate actions (actions) for the grasped events (occurrence of events).
  • actions actions for the grasped events (occurrence of events).
  • a notification corresponding to the action determined for the related system and an output process for performing predetermined control are controlled by a series of flows.
  • the actual action result (including the case where the action itself is not performed) of the actually related system is accumulated as feedback information for the determined action (occurrence event), and the detection accuracy of the event is improved. To make it possible to provide highly useful additional information to a system linked with the monitoring control system.
  • image recognition technology using CT or NMR is used for early detection and early treatment of cancer.
  • abnormalities and phenomena have been found in these images based on the judgment of doctors who have a high degree of expertise and abundant experience.
  • an abnormal phenomenon an abnormal tissue image different from a normal tissue image pattern
  • the abnormality detection system 1 can be used for quality control of cell preparations in regenerative medicine.
  • the diagnostic imaging system detects events that may occur by sequentially processing data collected from various data sources, and determines appropriate actions (actions) for the grasped events (occurrence of events).
  • actions actions for the grasped events (occurrence of events).
  • a notification corresponding to the action determined for the related system and an output process for performing predetermined control are controlled by a series of flows.
  • the actual action result (including the case where the action itself is not performed) of the actually related system is accumulated as feedback information for the determined action (occurrence event), and the detection accuracy of the event is improved. To make it possible to provide highly useful additional information to a system linked with the monitoring control system.
  • the abnormality detection system 1 an abnormal cell image different from the normal cell image pattern can be detected with higher accuracy and higher speed.
  • the abnormality detection system 1 can be realized by one or a plurality of computer devices, and each function can be configured as a program.
  • a program for each function of the monitoring control system stored in the auxiliary storage device 105 shown in FIG. 2 and stored in the auxiliary storage device 105 by the control unit such as the CPU 100 is read into the RAM 101, and the program read into the RAM 101 is read out. It is executed by the control unit, and each functional block of this embodiment can be operated by one or a plurality of computers. That is, one or a plurality of computers in which programs for each function of the monitoring control system of this embodiment are installed can operate as a computer device (system) that performs each function independently or in cooperation. is there.
  • the above-described program can be provided to a computer in a state where the program is recorded on a computer-readable recording medium.
  • the computer-readable recording medium include an optical disc such as a CD-ROM and a DVD-ROM. Changeable optical disk, magneto-optical disk such as MO (Magnet Optical) and MD (Mini Disk), magnetic disk such as floppy (registered trademark) disk and removable hard disk, compact flash (registered trademark), smart media, SD memory card, memory Memory cards such as sticks are listed.
  • a hardware device such as an integrated circuit (IC chip or the like) specially designed and configured for the purpose of the present invention is also included as a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】新しい機械や未知の故障の場合でも、高度な専門知識または豊富な経験を必要とせずに、効率的にセンサの選択を行う方法またはシステムが求められる。 【解決手段】異常検出システム１は、潜在変数モデルと同時確率モデルとを格納する格納部１０と、センサが出力するセンサデータを取得する取得部１１と、格納部１０によって格納された潜在変数モデルと同時確率モデルとに基づいて、取得部１１によって取得されたセンサデータの尤度を測定する測定部１２と、測定部１２によって測定されたセンサデータの尤度に基づいて、当該センサデータが正常であるか又は異常であるかを判定する判定部１３と、センサが出力するセンサデータに基づいて潜在変数モデルと同時確率モデルとを学習する学習部１４と、を備える。

Description

異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
　本発明は、異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法に関する。
　従来、機械の故障判定及び故障原因の特定は、機械の正常稼働時のセンサデータと過去の故障時のセンサデータを比較することによって行われていた（例えば、下記特許文献１の図１３の故障判定の処理ルーチンを示したフローチャートを参照）。この判定のとき、センサデータを正確且つ効率的に比較するためには、当該センサデータの発信源であるセンサを正確且つ効率的に選択することによって、高精度且つ効率的に故障原因の分類を行うことができる。
　しかし、選択するセンサの数が多い場合、適当なセンサを選択するために、膨大な工数が必要となる。また、適当なセンサを選択するためには、機械に取り付けられているセンサ１つ１つの知識や対象機械の機械的な特性に対する知識が必要であった。
特開２０１２－０９８９０１号公報
　今日の高度な制御を伴う機械などは、複数のセンサによって制御管理されている。例えば、自動車には、１台当たり１００種類以上のセンサが取り付けられている。また、新しい機械や未知の故障の場合、たとえ高度な専門知識と豊富な経験を有する特定の者であっても、対応することができなかった。そのため、高度な専門知識または豊富な経験を必要とせずに、効率的にセンサの選択を行う方法またはシステムが求められる。
　更に、効率的にセンサの選択を行えたとしても、対処が必要な事象におけるノイズ、エラー、故障を含め、センサのデータの定義は複雑である。その上、適用するアプリケーションによっても、対処が必要な事象の定義が異なるため、センサのデータを検出する汎用的な手段が求められる。
　また、センサデータを検出する手段は、センサデータやアプリケーション毎に異常値スコア関数の設計が必要である。したがって、センサデータやアプリケーションの数が増える度に異常値スコア関数を設計する必要があり、特徴設計中で異常検知に重要な情報を見逃す恐れもあった。
　また、データやアプリケーションセンサデータ周波数領域において、事象がそもそも稀な事象であり複合的な要因が重なる場合、モデル、ルール、又は、閾値設計が非常に困難であったので、より汎化性、適応性の高いシステムが求められる。
　本発明では、前述の従来技術における課題を解決するため、例えば、電力、水道、ガス、交通、通信、医療、金融、サービスなどの社会インフラを支える情報システムから出力される様々なセンサデータやアプリケーションデータを学習し、起こり得る事象の正常異常を判定（予測を含む）する異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法を提供する。
　本発明の異常検出システムは、予め学習の行われた潜在変数モデルと同時確率モデルとを格納する格納手段と、異常検出対象の入力データを取得する取得手段と、前記格納手段に格納された潜在変数モデルに基づいて、前記入力データから潜在変数を推論するエンコーダと、前記格納手段に格納された同時確率モデルに基づいて、前記潜在変数から復元データを生成するデコーダと、前記入力データと復元データのずれに基づいて、当該入力データが正常であるか又は異常であるかを判定する判定手段と、を備えることを特徴とする。
　また、本発明の異常検出システムは、前記判定手段は、前記エンコーダ及びデコーダでの処理過程で得られるパラメータによって演算した尤度に基づいて、入力データと復元データのずれ量を判定するようにしたことを特徴とする。
　また、本発明の異常検出システムは、前記判定手段は、入力データと復元データの各次元ごとの成分のずれを演算して求め、何れかの次元において大きな乖離がある場合に異常であると判定するようにしたことを特徴とする。
　また、本発明の異常検出システムは、正常データからなる訓練データに基づいて潜在変数モデルと同時確率モデルとを学習する学習手段をさらに備えることを特徴とする。
　また、本発明の異常検出システムは、前記測定手段は、ＶＡＥ、ＡＡＥ、ＬＶＡＥ、ＡＤＧＭの何れかによって前記エンコーダ及びデコーダを構築したことを特徴とする。
　ところで、本発明は、上記のように異常検出システムの発明として記述できる他に、以下のようにそれぞれ異常検出方法及び異常検出プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。また、本発明は、上記の異常検出システム、異常検出方法及び異常検出プログラムにおいて用いる学習済モデル生成方法の発明としても記述することができる。
　本発明に係る異常検出方法は、予め学習の行われた潜在変数モデルと同時確率モデルとを格納する格納手段を備える異常検出システムにより実行される異常検出方法であって、異常検出対象の入力データを取得する取得ステップと、前記格納手段に格納された潜在変数モデルに基づいて、前記入力データから潜在変数を推論する推論ステップと、前記格納手段に格納された同時確率モデルに基づいて、前記潜在変数から復元データを生成する生成ステップと、前記入力データと復元データのずれに基づいて、当該入力データが正常であるか又は異常であるかを判定する判定ステップと、を含むことを特徴とする。
　本発明に係る異常検出プログラムは、コンピュータを、予め学習の行われた潜在変数モデルと同時確率モデルとを格納する格納手段と、異常検出対象の入力データを取得する取得手段と、前記格納手段に格納された潜在変数モデルに基づいて、前記入力データから潜在変数を推論するエンコーダと、前記格納手段に格納された同時確率モデルに基づいて、前記潜在変数から復元データを生成するデコーダと、前記入力データと復元データのずれに基づいて、当該入力データが正常であるか又は異常であるかを判定する判定手段、として機能させることを特徴とする。
　本発明に係る学習済モデル生成方法は、入力データについて異常検出を行うための潜在変数モデルと同時確率モデルとからなる学習済モデル生成方法であって、正常なデータからなる少なくとも１以上の訓練データを取得する訓練データ取得ステップと、前記潜在変数モデルに基づいて、前記訓練データから潜在変数を推論する推論ステップと、前記同時確率モデルに基づいて、前記潜在変数から復元データを生成する生成ステップと、前記訓練データと復元データのずれを演算するずれ演算ステップと、前記ずれに基づいて前記潜在変数モデルと同時確率モデルのパラメータを更新するパラメータ更新ステップと、を含むことを特徴とする。
　本発明によれば、従来よりも簡単に故障原因を分類するために有効と考えられるセンサを選択することができる。例えば、機械知識を必要としなくとも故障原因を分類するために有効と考えられるセンサの選択が可能となる。
　本発明によれば、機器の状態を適切に異常判定へ反映させて、異常判定の誤報を減らすことができる。また、機器稼働データの変動要因に応じて従来よりも早期の異常判定が可能になる。それによって、保守員や運転員に対して適切な対応行動を提示することができる。
　本発明によれば、正常と診断されるセンサデータを用いて、学習データを更新することにより、外れ値の影響を抑制できる。また、経年劣化に追従することができる。
本発明の実施形態に係る異常検出システムの機能ブロック図である。 本発明の実施形態に係る異常検出システムのハードウェア構成を示す図である。 本発明の実施形態に係る異常検出システムで実行される処理（異常検出方法）を示すフローチャートである。 本発明の実施形態に係る異常検出システムの実施例で実行される処理（異常検出方法）を示すフローチャートである。 ＶＡＥを利用した本発明の実施形態に係る異常検出システムを示す図（その１）である。 ＶＡＥを利用した本発明の実施形態に係る異常検出システムを示す図（その２）である。 ＶＡＥを利用した本発明の実施形態に係る異常検出システムで実行される処理（異常検出方法）を示すフローチャートである。 ＡＡＥを利用した本発明の実施例２に係る異常検出システムを表した概念図である。 ＬＶＡＥを利用した本発明の実施例３に係る異常検出システムを表した概念図である。 ＡＤＧＭを利用した本発明の実施例４に係る異常検出システムを表した概念図である。
　以下、図面とともに異常検出システム、異常検出方法及び異常検出プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１は、本発明の実施形態に係る異常検出システム１の機能ブロック図である。図１に示す通り、異常検出システム１は、格納部１０（格納手段）、取得部１１（取得手段）、測定部１２（測定手段）、判定部１３（判定手段）及び学習部１４（学習手段）を含んで構成される。
　格納部１０は、潜在変数モデルと同時確率モデルとを格納する。格納部１０は例えばデータベースである。取得部１１は、センサが出力するセンサデータを取得する。測定部１２は、格納部１０によって格納された潜在変数モデルと同時確率モデルとに基づいて、取得部１１によって取得されたセンサデータの尤度を測定する。判定部１３は、測定部１２によって測定されたセンサデータの尤度に基づいて、当該センサデータが正常であるか又は異常であるかを判定する。学習部１４は、センサが出力するセンサデータに基づいて潜在変数モデルと同時確率モデルとを学習する。
　測定部１２は、取得部１１によって取得されたセンサデータについて、格納部１０によって格納された潜在変数モデルに基づいて当該センサデータの次元よりも低い次元に変換し、格納部１０によって格納された同時確率モデルに基づいて元の次元に変換することで尤度を測定してもよい。また、測定部１２は、変分自己符号化器を利用して尤度を測定してもよい。学習部１４は、センサが出力する正常時のセンサデータのみに基づいて潜在変数モデルと同時確率モデルとを学習してもよい。
　異常検出システム１は、ＣＰＵ等のハードウェアから構成されているものである。図２は、異常検出システム１のハードウェア構成の一例を示す図である。図１に示される異常検出システム１は、物理的には、図２に示すように、ＣＰＵ１００、主記憶装置であるＲＡＭ１０１及びＲＯＭ１０２、ディスプレイ等の入出力装置１０３、通信モジュール１０４、及び補助記憶装置１０５などを含むコンピュータシステムとして構成されている。
　図１に示す異常検出システム１の各機能ブロックの機能は、図２に示すＣＰＵ１００、ＲＡＭ１０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御のもとで入出力装置１０３、通信モジュール１０４、及び補助記憶装置１０５を動作させるとともに、ＲＡＭ１０１におけるデータの読み出し及び書き込みを行うことで実現される。
　［異常検出システム１が含む工程］
　異常検出システム１は、３つの工程を含む（図３）。
工程１；潜在変数モデルと同時確率モデルを同時に学習する工程（学習部１４により実現される）。
工程２；前記学習された潜在変数モデルと同時確率モデルを利用して、テスト用データ尤度ｐ（ｘ）を測定する工程（取得部１１及び測定部１２により実現される）。
工程３；前記尤度ｐ（ｘ）に関する情報を用いて正常か異常かを判定する工程（判定部１３により実現される）。
　［１．工程１について］
　工程１は、潜在変数モデルと同時確率モデルを同時に学習する工程である。
　かかる工程１では、観測変数ｘから潜在変数ｚへ条件付き確率ｐ（ｚ｜ｘ）、及び、潜在変数から観測変数へ条件付き確率ｐ（ｘ｜ｚ）を学習する。
　前記条件付き確率ｐ（ｚ｜ｘ）及び条件付き確率ｐ（ｘ｜ｚ）の学習をするとき、ニューラルネットを利用してもよい。ニューラルネットを利用することによって、観測したデータ数によらず、パラメータ数に対して線形で学習することができる。
　潜在変数モデルとは、前記条件付き確率ｐ（ｚ｜ｘ）を、例えばニューラルネットを用いて、モデル化したものである。潜在変数モデルは格納部１０によって格納される。
　同時確率は、ｐ（ｘ，ｚ）で、又は、ｐ（ｚ）・ｐ（ｘ｜ｚ）で表される。そして同時確率モデルは、例えばニューラルネットを用いて、同時確率を独立にモデル化したものである。同時確率モデルは格納部１０によって格納される。
　ニューラルネットは、その構成を特に限定しない。例えば、全結合層、非線形関数（ｓｉｇｍｏｉｄ，ｒｅｌｕ）、バッチ正規化層、ドロップアウト層を含んでもよい。
　入力データ（センサが出力するセンサデータ）は取得部１１によってセンサなどから取得される。入力データは、特に限定しない。入力データは、例えば、多次元配列、テンソルなどである。取得部で取得する入力データは、センサからのセンサデータに限られず、異常検出の対象となるデータであれば様々なデータが対象となり得る。
　入力データｘがｎ次元ベクトルのとき、各値は、例えば、連続値、離散値などである。また、複数の入力データがあるときは、多次元配列又はテンソルに拡張することができる。
　センサの具体例としては、ロボットに搭載されているカメラ、３次元加速度センサ、アクチュエータ、温度センサ、湿度センサなどが挙げられる。センサデータの具体例としては、カメラからの画像データ、３次元加速度センサからの位置・速度・加速度情報、アクチュエータにかかる電流・電圧量、もしくはそれらを適当な時間的にウィンドウ幅で区切ったもの、もしくはその一つ一つを周波数分解したものなどが挙げられる。
　工程１から工程３において、ＳＶＭ，又はＬＯＦを利用して正常か異常かを判定してもよいし、変分自己符号化器（Ｖａｒｉａｔｉｏｎａｌ　ＡｕｔｏＥｎｃｏｄｅｒ；以後、ＶＡＥと言う）を利用して正常か異常かを判定してもよい。特に、ＶＡＥを利用することがより好ましい（図５～７）。
　このとき、工程１においてＶＡＥを利用して、潜在変数モデル、すなわち観測変数ｘから潜在変数ｚへの条件付確率ｐ（ｚ｜ｘ）を学習するとき、その学習器をエンコーダと呼ぶ。一方、潜在変数ｚから観測変数ｘへの条件付確率ｐ（ｘ｜ｚ）を学習するとき、その学習器をデコーダと呼ぶ。
　エンコーダの入力は、センサデータであり、機器のテストを行うことで得られたものである（適当な時間間隔でのサンプリングが一定時間与えられている）。なお、テストは、連続的もしくは周期的に複数回行われる。デコーダの出力は、センサデータの各次元の異常度、尤度で表されている。
　ＶＡＥは、ＳＶＭ又はＬＯＦよりも、確率値を容易に出すことができる。故に、異常検出システム１は、ＶＡＥを利用するとき、ＳＶＭ又はＬＯＦを利用するときよりも、異なる物理量をもつセンサの場合でも、異常スコアを比較することがより容易になる。
　また、ＶＡＥは、ＳＶＭ又はＬＯＦよりも、データ表現の非線形な変換を容易に行うことができる。故に、異常検出システム１は、ＶＡＥを利用するとき、ＳＶＭ又はＬＯＦを利用するときよりも、より複雑なデータ表現の分布を作成することができる。
　また、ＶＡＥは、ＳＶＭ又はＬＯＦよりも、入力データの各次元について異常スコアを出すことができる。故に、異常検出システム１は、ＶＡＥを利用するとき、ＳＶＭ又はＬＯＦを利用するときよりも、異常事象の原因となる入力データソースの特定が容易である。
　また、ＶＡＥは、ＳＶＭ又はＬＯＦよりも、類似度をより高速に学習することができる。故に、異常検出システム１は、ＶＡＥを利用するとき、ＳＶＭ又はＬＯＦを利用するときよりも、マニュアルでデータ間の類似度を設計する必要がなくなる。
　例えば、ＶＡＥを利用するときは、下記の通りである。
ｐ（ｚ）～Ｎ（０，Ｉ）
ｐ（ｘ｜ｚ）～Ｎ（μ（ｚ），σ（ｚ））
Ｎ（μ，σ）は、平均μ，分散σからなる正規分布である。
μ（ｚ），σ（ｚ）は、ニューラルネットからの出力である。
　異常検出システム１では、エンコーダ及びデコーダでの条件付き確率ｐ（ｚ｜ｘ）及びｐ（ｘ｜ｚ）の学習の際に、損失関数を最小化する。ここでいう、損失関数は、例えば、負の対数尤度－ｌｏｇｐ（ｘ）などを利用することができる。
－ｌｏｇｐ（ｘ）＝－ｌｏｇΠｐ（ｘ＿ｉ）＝－Σｌｏｇ∫ｐ（ｘ＿ｉ｜ｚ）ｐ（ｚ）ｄｚ
　ｚによる積分をするとき、変分下限は下記の数式で算出される。変分下限は、正の対数尤度ｌｏｇｐ（ｘ）＝ｌｏｇΠｐ（ｘ＿ｉ）を下限値から評価する。
－ｌｏｇΠｐ（ｘ＿ｉ）＝－Σ＿ｉｌｏｇ∫ｐ（ｘ＿ｉ｜ｚ；θ）ｐ（ｚ）ｄｚ
　　　　　　　　　　　＜＝－Σ＿ｉｑ（ｚ｜ｘ；ξ）∫ｌｏｇｐ（ｘ＿ｉ｜ｚ；θ）ｐ（ｚ）／ｑ（ｚ｜ｘ＿ｉ；ξ）ｄｚ
　　　　　　　　　　　＝Σ＿ｉＥ＿｛ｑ（ｚ｜ｘ＿ｉ；ξ）｝［ｐ（ｘ＿ｉ｜ｚ；θ）］－ＫＬ（ｐ（ｚ）｜｜ｑ（ｚ｜ｘ＿ｉ；ξ））
　ここで、Ｅ＿｛ｑ（ｚ｜ｘ＿ｉ；ξ）｝［・］は、ｑ（ｚ｜ｘ＿ｉ；ξ）についての期待値である。ＫＬ（ｐ｜｜ｑ）は、分布ｐ，ｑのＫＬ距離である。
　上記の変分下限を最大化するために、θ，ξを最適化する。このとき、逆誤差伝搬法によって、学習速度を高速化することができる。例えば、Ｒｅｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ　Ｔｒｉｃｋを使うことができる。
　［２．工程２について］
　工程２は、前記学習された潜在変数モデルと同時確率モデルを利用して、テスト用データ尤度ｐ（ｘ）を測定する工程である。
　［３．工程３について］
　工程３は、前記尤度ｐ（ｘ）に関する情報を用いて正常か異常かを判定する工程である。
　かかる工程３では、前記テスト用データ尤度ｐ（ｘ）が閾値より小さいか否か、前記テスト用データ尤度ｐ（ｘ）のｎ次微分が閾値より小さいか否か、又は、それらの組み合わせ、の情報を用いて正常か異常かを判定する。
　例えば、あるセンサデータが示す値について正常か異常かを判定するとき、ｘ→ｚ→ｘ’と変換した際、ｘ’とｘの差を測ることで正常か異常を判定することができる。
　センサは、その対象、その個数を特に限定しない。例えば、時間毎、周波数毎の強さでもよいまた、センサは、異なる機器に対するものでも良い。
　［実施例１］
　前述の通り、異常検出システム１は、繰り返し動作において外乱確率分布が正常時と異常時で変わるとき、正常時データで確率モデルＰを学習して、Ｐによる観測データｘ、尤度ｐ（ｘ）変化を異常予測する。
　以下、本発明の実施形態の一例として、５つの手順を実行するシステムを示す。以下、異常検出システム１の手順１から手順５について説明する（図４）。
　［手順１について］
　手順１（取得部１１により実現）では、入力データに対しての前処理を行う。たとえばスペクトラム変換をしてもよい。
　［手順２について］
　手順２（学習部１４により実現）では、正常状態にあるデータ群を訓練データとして入力し、入力データを復元するように確率モデルＰを学習する。例えば、スペクトラムを並べたベクトルを入力ｘとすることができる。
　次元数が数千次元のとき、高次元なベクトルの確率モデル推定は困難であった。そこで、異常検出システム１では、確率モデルの推定に、ディープラーニングを利用する。例えば、次の潜在変数モデルになる。なお、下記の数式の「：＝」は、「定義する」なる意味を示す。
ｐ（ｘ；θ）：＝∫ｐ（ｘ，ｚ；θ）ｄｚ　ｐ（ｘ，ｚ；θ）：＝ｐ（ｘ｜ｚ；θ）ｐ（ｚ）
　ｚをＮ（０，Ｉ）から生成し、次にｚからｘをＮ（μ（ｚ；θ），σ（ｚ；θ））から生成する。但しμ（ｚ；θ），σ（ｚ；θ）パラメータθにより特徴付けられたニューラルネットを利用する。そして、訓練データＸの対数尤度Σｌｏｇｐ（ｘ；θ）を最大にするようにθを最適化する。
　当該θの最適化は、対数尤度の和の計算があるため困難であった。
ｐ（ｘ；θ）：＝∫ｐ（ｘ｜ｚ；θ）ｐ（ｚ）ｄｚ
　そこで、異常検出システム１では、次の変分下限を利用する。
ｌｏｇｐ（ｘ；θ）：＝ｌｏｇ∫ｐ（ｘ，ｚ；θ）ｄｚ
　　　　　　　　　＝ｌｏｇ∫ｐ（ｘ，ｚ；θ）ｑ（ｚ｜ｘ；φ）／ｑ（ｚ｜ｘ；φ）ｄｚ
　　　　　　　　　＞＝∫ｑ（ｚ｜ｘ；φ）ｌｏｇｐ（ｘ，ｚ；θ）／ｑ（ｚ｜ｘ；φ）ｄｚ
　　　　　　　　　＝Ｅｑ（ｚ｜ｘ；φ）［ｌｏｇｐ（ｘ，ｚ；θ）／ｑ（ｚ｜ｘ；φ）］
　　　　　　　　　＝Ｌ（θ，φ）
　ここでいうφは、同時確率モデルを生成するニューラルネットを特徴づけるパラメータを意味する。また、ｑ（ｚ，ｘ）は、そのニューラルネットによって定義される確率分布を意味する。そして、ｑ（ｚ｜ｘ）は、その確率分布ｑ（ｚ，ｘ）で計算したｚで条件付けられたｘの条件付き確率を意味する。
　このとき、Ｌ（θ，φ）を最大化するために、変分自己符号化器（Ｖａｒｉａｔｉｏｎａｌ　ＡｕｔｏＥｎｃｏｄｅｒ；以後、ＶＡＥと言う）を利用することによって、θ及びφを同時に最適化する。
Ｌ（θ，φ）＝Ｅｑ（ｚ｜ｘ；φ）［ｌｏｇｐ（ｘ，ｚ；θ）／ｑ（ｚ｜ｘ；φ）］
　具体的には、確率的勾配降下法を利用することによって、Ｌ（θ，φ）最大化パラメータθ及びφについて勾配ｄＬ／ｄθ及びｄＬ／ｄφを求め、θ及びφを同時に最適化する。
　勾配ｄＬ／ｄφをモンテカルロ法で推定する場合、分散が大きくなり得る。そこで、変数変換トリック（ｒｅｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ　ｔｒｉｃｋとも言う）を利用することによって、勾配ｄＬ／ｄφをより速く推定することができる。
　エンコーダでのｑ（ｚ｜ｘ；φ）、およびデコーダでのｐ（ｘ｜ｚ；θ）の学習には、ニューラルネットワークを利用する。
　［手順３について］
　手順３（測定部１２により実現）では、学習済みのエンコーダおよびデコーダを用意し、異常検知を行う判定データに対して、それを入力として、Ｐによる尤度ｐ（ｘ）を計算する。尤度ｐ（ｘ）というのは、判定データ入力に対して学習済みエンコーダおよびデコーダの出力結果との各次元の異常度に相関のあるものである。
　［手順４について］
　手順４（測定部１２又は判定部１３により実現）では、尤度ｐ（ｘ）をスコアＳ（ｘ）に変換して平滑化する。たとえば変換処理は、対数などがある。
　スコアＳ（ｘ）値がバンピーな場合は、平滑化を行ったものを出力としてもよい。例えば、Ｌｏｃａｌｌｙ　Ｗｅｉｇｈｔｅｄ　Ｓｃａｔｔｅｒｐｌｏｔ　Ｓｍｏｏｔｈｉｎｇを利用することができる。
　但し、上記の平滑化方法によって変化の立ち上がりが遅くなるときは、変化の立ち上がりがより早い平滑化方法を採用することができる。
　［手順５について］
　手順５（判定部１３により実現）では、Ｓ（ｘ）が閾値を超えたとき、異常と判定する。
　［作用］
　異常検出システム１は、潜在変数モデルと同時確率モデルの学習を同時に行う。故に、異常検出システム１は、特徴設計を必要としない。尚、前記潜在変数モデルと同時確率モデルのモデル化にニューラルネットを利用してもよい。
　異常検出システム１は、前記潜在変数モデルと同時確率モデルの学習を同時に行う工程における入力データが多次元配列又はテンソルであることを特徴とする。故に、異常検出システム１は、データやアプリケーションに対する事前知識が不要である。
　異常検出システム１は、ｎ個のセンサからなり、ｎ個の同時確率モデルを学習する。故に、異常検出システム１によれば、センサの数が増えた場合でも、同時確率モデルを学習することによって対応することができる。具体的には、ｎ個のセンサ間の相関を考慮し異常を検出することができる。
　異常検出システム１は、条件付き確率ｐ（ｚ｜ｘ）及び条件付き確率ｐ（ｘ｜ｚ）の学習をするとき、ニューラルネットを利用する。故に、異常検出システム１によれば、観測したセンサデータの数によらず、パラメータ数に対して線形で学習することができる。
　また、異常検出システム１によれば、例えば多数の機械に備わる多数センサから発信されるセンサデータ、例えば画像データを含む高次元のセンサデータ、又は、それらの組み合わせを含むセンサデータを統合的に扱うことができる。よって、より高い効率且つ高い処理速度で異常検出することができる。
　異常検出システム１は、潜在変数モデルを学習するとき、ＳＶＭ、ＬＯＦ、又は、ＶＡＥを利用する。故に、異常検出システム１は、入力データ表現を非線形に変換することができる。特に、ＶＡＥを利用するとき、入力データのパラメータ数に限らず非線形な変換をすることができる。
　異常検出システム１は、ＶＡＥを利用するとき、センサデータから類似度を学習することができる。故に、異常検出システム１は、センサデータ間の類似度の設計をマニュアルで設計する必要がない。
　異常検出システム１は、ＶＡＥを利用するとき、センサデータの次元を落とすことによって、センサデータの基礎となる特徴を獲得することができる。故に、異常検出システム１は、より広い範囲のデータ表現の変換をすることができる。
　異常検出システム１は、ＶＡＥを利用するとき、データのパラメータ数に限らず、線形の計算時間でデータ表現の変換をすることができる。よって、異常検出システム１は、データ表現の変換を高効率に行うことができる。
　異常検出システム１では、複数の異なる場所にある機器は、通信手段を用いて通信することで構成されてもよい。センサデータを通信手段によって他の演算装置に送り、その演算装置で学習及び異常検知の判定を行うことができる。
　例えば、異常検出システム１による判定結果を分析して判断されるアクションに対応する通知や所定の制御を行わせる出力処理をすることができる。
　また、異常検出システム１は、各工程の場所を限定しない。例えば、センサ設置と学習工程の実施を異なる場所で行うことができる。また、異常検出、又は、異常判定の場所を限定しない。同じ場所でも異なる場所でも行うことができる。
　［実施例２］
　前記実施例１における異常検出システム１は、機械学習のモデルとしてＶＡＥを利用した場合を主として説明を行ったが、この実施例２においては、機械学習のモデルとして、ＡＡＥ（Adversarial AutoEncoder：敵対的自己符号化器）を利用する場合について説明を行う。
　図８は、ＡＡＥを利用した本発明の実施例２に係る異常検出システムを表した概念図である。異常検出システムにＡＡＥを利用する場合、この図８に示すように、エンコーダ（Encoder）及びデコーダ（Decoder）の学習に加えて、識別器（Discriminator）の学習も行うことが特徴である。
　ＡＡＥの学習処理の流れについて説明する。ＡＡＥの学習は、エンコーダ（Encoder）及びデコーダ（Decoder）の学習を行う復元段階（Reconstruction phase）と、識別器（Discriminator）の学習を行う正則化段階（Regularization phase）との２段階で行われる。復元段階の学習は、先ず、正常データである訓練データｘをエンコーダに入力して入力データの表現ｚ（潜在変数ｚ）を推論し、その入力データの表現ｚをデコーダに入力して復元データｘ～を生成する。入力データの表現ｚを推論するのが潜在変数モデルであり、表現ｚから復元データｘ～を生成するのが同時確率モデルである。次に、訓練データｘと復元データｘ～を比較して再構成誤差（Reconstruction error）を計算する。そして、再構成誤差を参照して復元損失（Reconstruction loss）を減らすようにエンコーダ及びデコーダのパラメータを、例えば、確率的勾配降下法によって更新する。
　正則化段階の学習は、識別器の学習を行うが、その際に、識別器に入力する入力データの表現ｚ０の推論を行うエンコーダについても合わせて学習を行うようになっている。先ず、正常データである訓練データｘをエンコーダに入力して潜在変数モデルに基づいて入力データの表現ｚ０を推論し、他方で、サンプル生成器（Sampler）からサンプリングして偽の表現ｚ１を生成する。好適な学習のためにｚ０及びｚ１はそれぞれ複数用意することが望ましい。ｚ０とｚ１に基づいて、識別器に入力する訓練データ（ｚ０，０）、（ｚ１，１）を作成する。ここで、０又は１はそれぞれ訓練データが正常データに基づく表現ｚ０であるか偽の表現ｚ１なのかを表す正解ラベルである。識別器において、訓練データ（ｚ０，０）、（ｚ１，１）を用いて、正常データに基づく表現ｚ０と偽の表現ｚ１を識別するように学習を行う。具体的には、識別器は、サンプル生成器（Sampler）からサンプリングされた偽の訓練データ（ｚ１，１）から正常データに基づく訓練データ（ｚ０，０）を区別するために、先ず、識別器のパラメータを更新する。次いで、識別器は、識別器における識別のためのネットワークを混乱させるように、エンコーダのパラメータを更新する。学習された識別器は、入力が本物のデータである確率（入力が事前分布のサンプルである確率）を出力する。このように、識別器において正常データと偽データを区別する処理において正則化誤差（Regularization error）を得て、この正則化誤差を用いて識別器のみならず、エンコーダのパラメータも更新して学習するようにすることで、エンコーダにおける推論の精度を高めるとともに識別器の識別精度を高める。
　ＡＡＥを用いた異常検出処理の流れについて説明する。十分に学習を行った学習済モデルを用意する。異常検出対象のデータを学習済モデルのエンコーダに入力して、異常検出対象のデータの表現の推論を行い、デコーダにおいて表現から復元データの生成を行う。得られた復元データと入力した異常検出対象のデータを比較して、両者のずれから異常を検出する。また、異常検出対象のデータの表現を識別器に入力することで、正常データに基づく表現か偽の表現かを識別させることもできる。
　以上のように、ＡＡＥを用いた異常検出システムによれば、潜在変数モデル及び同時確率モデルを予め正常なデータに基づいて学習し、同時に、識別器についても学習を行い、識別器の出力を用いて識別器のみならず、エンコーダ及びデコーダもまとめて学習するようにしたので、高精度の異常検出が可能となる。また、ＡＡＥでは、サンプリングができれば複雑な分布を利用できるため、デコーダの表現力が高まり、生成の精度が高くなることが期待される。
　［実施例３］
　この実施例３においては、機械学習のモデルとして、ＬＶＡＥ（Ladder Variational AutoEncoder：はしご型変分自己符号化器）を利用する場合について説明を行う。
　図９は、ＬＶＡＥを利用した本発明の実施例３に係る異常検出システムを表した概念図である。異常検出システムにＬＶＡＥを利用する場合、この図９に示すように、エンコーダ（Encoder）とデコーダ（Decoder）の学習を行うが、このデコーダが表現ｚから復元データを生成する過程でエンコーダのパラメータを利用することが特徴である。
　ＬＶＡＥの学習処理の流れについて説明する。ＬＶＡＥの学習は、正常データである訓練データｘをエンコーダに入力して入力データの表現ｚ（潜在変数ｚ）を推論し、その入力データの表現ｚをデコーダに入力して復元データｘ～を生成する点は、実施例１、２と同様である。詳しくは、図９の通り、入力データｘから各階層を経てｄ１→ｄ２→ｄ３という順に階層毎の結果を得て最終的に表現ｚ３を生成するのが潜在変数モデルであり、表現ｚ３から各階層を経てｚ３→ｚ２→ｚ１という順に階層毎の結果を得て最終的に復元データｘ～を生成するのが同時確率モデルである。階層数は一例であり、これに限定されるものではない。
　デコーダにおいてｚ３→ｚ２→ｚ１という順序を経て復元データｘ～を生成する際に、エンコーダにおけるｄ３から得られる平均μ～ ３と分散σ～ ３をｚ３のサンプリングに利用する。なお、ｚ３のサンプリングの際にノイズε３を加えることで、確率関数的な部分があっても誤差逆伝播を可能としている。同様に、エンコーダにおけるｄ２から得られる平均μ～ ２と分散σ～ ２をｚ２のサンプリングに用いる平均μ２及び分散σ２を求めるために利用する。同様に、エンコーダにおけるｄ１から得られる平均μ～ １と分散σ～ １をｚ１のサンプリングに用いる平均μ１及び分散σ１を求めるために利用する。このように、デコーダの各層において、エンコーダの対応する層におけるパラメータを利用してデコーダの処理を行う。このようにしてデコーダにおいて生成した復元データｘ～を訓練データｘと比較してその差分を計算し、差分がなくなるようにエンコーダ及びデコーダの各層のパラメータを更新する。以降も、訓練データｘと復元データｘ～が一致するように学習を繰り返す。
　ＬＶＡＥを用いた異常検出処理の流れについて説明する。十分に学習を行った学習済モデルを用意する。異常検出対象のデータを学習済モデルのエンコーダに入力して、異常検出対象のデータの表現の推論を行い、デコーダにおいて表現から復元データの生成を行う。得られた復元データと入力した異常検出対象のデータを比較して、両者のずれから異常を検出する。
　以上のように、ＬＶＡＥを用いた異常検出システムによれば、デコーダの各層においてエンコーダの対応する層におけるパラメータを利用してデコーダの処理を行う構成となっているため、デコーダがモデリングする確率分布をエンコーダを通じてデータ依存的に修正することで、複数のサンプリングが入る複雑なモデルであっても適切に学習を行うことが可能となる。
　［実施例４］
　この実施例４においては、機械学習のモデルとして、ＡＤＧＭ（Auxiliary Deep Generative Model：補助深層生成モデル）を利用する場合について説明を行う。
　図１０は、ＡＤＧＭを利用した本発明の実施例４に係る異常検出システムを表した概念図である。この図１０において、実線の矢印はサンプリング処理を表し、破線の矢印はデータのコピーを表し、一点鎖線の矢印は損失Ｌの計算を表している。異常検出システムにＡＤＧＭを利用する場合、この図１０に示すように、エンコーダ（Encoder）とデコーダ（Decoder）の学習を行うが、このＡＤＧＭは、実施例１のＶＡＥの概念に補助変数ａを加えて拡張したものである。ＡＤＧＭにおいて、入力データｘ、潜在変数ｚ、補助変数ａが与えられたとき、図１０の矢印の計算の流れが適当なニューラルネットワークで表現されているときには、確率分布ｑ（ｚ｜ａ，ｘ）、ｑ（ａ｜ｘ）、ｐ（ａ｜ｘ，ｚ）、ｐ（ｘ｜ｚ）を全て計算可能である。なお、ｐ（ｚ）は、所与の確率分布（例えば、標準正規分布）であるものとする。
　ＡＤＧＭの学習処理の流れについて説明する。ＡＤＧＭの学習は、正常データである訓練データｘをエンコーダに入力して入力データの表現ｚ（潜在変数ｚ）を推論し、その入力データの表現ｚをデコーダに入力して復元データｘ～を生成する点は、実施例１乃至３と同様である。この実施例４では、さらに、訓練データｘと表現ｚを用いて補助変数ａを推論し、表現ｚと復元データｘ～からも補助変数ａを推論する処理を行う。そして、損失（誤差関数）Ｌの値を以下の式で求める。
　Ｌ＝ｌｏｇ［ｐ（ｘ～｜ｚ）］＋ｌｏｇ［ｐ（ａ｜ｘ～，ｚ）／ｑ（ａ｜ｘ）］＋ｌｏｇ［ｐ（ｚ）／ｑ（ｚ｜ａ，ｘ）］
　この損失Ｌの値が十分に小さくなるように、学習を繰り返す。なお、損失Ｌの計算における対数尤度ｐ（ｘ）の計算は直接行うことが難しいので、変分下限を最大化することによって求める。
　ＡＤＧＭを用いた異常検出処理の流れについて説明する。十分に学習を行った学習済モデルを用意する。異常検出対象のデータを学習済モデルのエンコーダに入力して、異常検出対象のデータの表現の推論を行い、デコーダにおいて表現から復元データの生成を行う。得られた復元データと入力した異常検出対象のデータを比較して、両者のずれから異常を検出する。
　以上のように、ＡＤＧＭを用いた異常検出システムによれば、エンコーダ及びデコーダにおける処理に補助変数ａを導入して、補助変数ａを推論する処理も同時に行っていくようにしたので、デコーダが複雑な確率分布をモデリングできるようになり、生成の精度が高くなることが期待される。
　［異常検出の方法について］
　前記実施例１においては、異常検出の方法として、尤度に基づいてセンサデータが正常であるか又は異常であるかを判定するものとして説明しており、この判定の方法は、実施例２乃至４においても採用することが可能である。また、実施例１乃至４の何れにおいても、尤度の計算は行わずに、入力データｘと復元データｘ～とのずれを計算してずれの量に応じて異常か正常かを検出するようにしてもよい。具体的には、入力データｘと復元データｘ～の各次元ごとに成分のずれを、例えば（ｘｉ－ｘｉ ～）２などの演算を行って求め、いずれかの次元において大きな乖離がある場合に異常であると判定するようにしてもよい。
　［学習時及び異常検出時の工夫１］
　前記実施例１乃至４において、潜在変数ｚ、表現ｚ、補助変数ａ等の推論などは、確率的な関数からサンプリングによってそれぞれ値を得ているが、それぞれ１回だけサンプリングを行って潜在変数ｚ、表現ｚ、補助変数ａ等を得て損失Ｌの計算を行うものとして説明を行っていた。しかし、これに限らず、複数回サンプリングを行って、得られた値毎に損失Ｌを計算してその平均をとるようにしてもよい。このように、複数回のサンプリングを行うようにすることで、サンプリングの片寄りを吸収できるため、学習の効率化や異常検出精度の向上が期待できる。
　［学習時及び異常検出時の工夫２］
　前記実施例１乃至４においては、学習過程及び異常検出過程の何れにおいても、入力データｘをエンコーダに入力して入力データの表現ｚ（潜在変数ｚ）を推論し、その入力データの表現ｚをデコーダに入力して復元データｘ～を生成し、入力データｘと復元データｘ～とを比較して異常検出を行うようにしていた。しかし、この場合、得られた復元データｘ～が、十分に正常データの値と近づいていない場合があった。そこで、１回の推論、生成のプロセスで得られた復元データｘ～をさらにエンコーダに入力するようにしてもよい。例えば、入力データｘから復元データｘ０ ～を生成し、復元データｘ０ ～から復元データｘ１ ～を生成し、復元データｘ１ ～から復元データｘ２ ～を生成するというように、得られた出力を再度エンコーダに入力するという処理を繰り返すことで、正常データの値に近い復元データを得ることが可能となる。この場合に、１回の推論、生成のプロセスごとに損失Ｌを計算して、損失Ｌの和をとるようにしてもよいし、複数回処理を繰り返して最終的に得られた復元データ（上記の例では、復元データｘ２ ～）を入力データｘと比較して損失Ｌを計算するようにしてもよい。このように、複数回の推論、生成のプロセスを繰り返した後に損失Ｌを計算するようにすることで、学習の効率化や異常検出精度の向上が期待できる。
　［他の実施形態］
　異常検出システム１は、機械や電子機器の故障予兆システムに使用することができる。本実施形態に係る故障予知システムは、様々なデータソースから収集されるデータを逐次的に処理して起こり得る事象の予測だけでなく、把握された事象に対する適切なアクション（対処）の判断（イベントの発生）、及び、関連するシステムに対して判断されたアクションに対応する通知や所定の制御を行わせる出力処理を、一連の流れで制御することを実現させる。
　また、判断されたアクション（発生したイベント）に対し、実際に関連するシステムが行った実際のアクション結果（アクション自体を行っていない場合も含む）をフィードバック情報として蓄積し、事象の検出精度を向上させ、監視制御システムと連携するシステムに対して利用性の高い付加情報を提供できるようにする。
　例えば、工場内にある複数の産業機械やロボットの故障予知システムに使用することができるまた、電力などインフラ設備の異常予知システムに使用することができる。また、航空機や自動車などの複数の部品の異常予知システムに使用することができる。
　異常検出システム１は、消耗品や部品の交換時期の予知システムに使用することができる。本実施形態に係る予知システムは、様々なデータソースから収集されるデータを逐次的に処理して起こり得る事象の予測だけでなく、把握された事象に対する適切なアクション（対処）の判断（イベントの発生）、及び、関連するシステムに対して判断されたアクションに対応する通知や所定の制御を行わせる出力処理を、一連の流れで制御することを実現させる。
　また、判断されたアクション（発生したイベント）に対し、実際に関連するシステムが行った実際のアクション結果（アクション自体を行っていない場合も含む）をフィードバック情報として蓄積し、事象の検出精度を向上させ、監視制御システムと連携するシステムに対して利用性の高い付加情報を提供できるようにする。
　例えば、航空機や自動車などのエンジンオイルなど含む消耗品の交換時期の予測及び通知に使用することができる。また、工作機械のドリル歯などの消耗品の交換時期の予測及び通知に使用することができる。
　異常検出システム１は、汎用監視制御システムに使用することができる。本実施形態に係る監視制御システムは、様々なデータソースから収集されるデータを逐次的に処理して起こり得る事象の検知、把握された事象に対する適切なアクション（対処）の判断（イベントの発生）、及び、関連するシステムに対して判断されたアクションに対応する通知や所定の制御を行わせる出力処理を、一連の流れで制御することを実現させる。
　また、判断されたアクション（発生したイベント）に対し、実際に関連するシステムが行った実際のアクション結果（アクション自体を行っていない場合も含む）をフィードバック情報として蓄積し、事象の検出精度を向上させ、監視制御システムと連携するシステムに対して利用性の高い付加情報を提供できるようにする。
　例えば、ホームセキュリティ監視システムに使用することができる。また、ビルなどの建築物、公共施設、園芸などの監視システムに使用することができる。
　異常検出システム１は、ネットワークのセキュリティ監視システムに使用することができる。本実施形態に係る監視システムは、様々なデータソースから収集されるデータを逐次的に処理して起こり得る事象の検知、把握された事象に対する適切なアクション（対処）の判断（イベントの発生）、及び、関連するシステムに対して判断されたアクションに対応する通知や所定の制御を行わせる出力処理を、一連の流れで制御することを実現させる。
　また、判断されたアクション（発生したイベント）に対し、実際に関連するシステムが行った実際のアクション結果（アクション自体を行っていない場合も含む）をフィードバック情報として蓄積し、事象の検出精度を向上させ、監視制御システムと連携するシステムに対して利用性の高い付加情報を提供できるようにする。
　異常検出システム１は、医療画像診断システムに使用することができる。本実施形態に係る画像診断システムは、様々なデータソースから収集されるデータを逐次的に処理して起こり得る事象の検知、把握された事象に対する適切なアクション（対処）の判断（イベントの発生）、及び、関連するシステムに対して判断されたアクションに対応する通知や所定の制御を行わせる出力処理を、一連の流れで制御することを実現させる。
　また、判断されたアクション（発生したイベント）に対し、実際に関連するシステムが行った実際のアクション結果（アクション自体を行っていない場合も含む）をフィードバック情報として蓄積し、事象の検出精度を向上させ、監視制御システムと連携するシステムに対して利用性の高い付加情報を提供できるようにする。
　例えば、ガンの早期発見や早期治療のためにＣＴやＮＭＲによる画像認識技術が利用されている。従来は、それらの画像を医師の高度な専門性と豊富な経験を有する医師の判断によって、それらの画像から異常や現象を見つけ出していた。しかし、本システムを使用することによって、より高精度且つ高速に異常な現象（正常な組織画像のパターンと異なる異常な組織画像）を検出することができる。
　異常検出システム１は、再生医療における細胞製剤の品質管理に使用することができる。本実施形態に係る画像診断システムは、様々なデータソースから収集されるデータを逐次的に処理して起こり得る事象の検知、把握された事象に対する適切なアクション（対処）の判断（イベントの発生）、及び、関連するシステムに対して判断されたアクションに対応する通知や所定の制御を行わせる出力処理を、一連の流れで制御することを実現させる。
　また、判断されたアクション（発生したイベント）に対し、実際に関連するシステムが行った実際のアクション結果（アクション自体を行っていない場合も含む）をフィードバック情報として蓄積し、事象の検出精度を向上させ、監視制御システムと連携するシステムに対して利用性の高い付加情報を提供できるようにする。
　例えば、多能性幹細胞から各組織の幹細胞、前駆細胞、分化細胞に分化誘導する際、分化効率の不均一による最終産物である細胞製剤の不均一性が課題となっている。そこで、異常検出システム１を使用することによって、より高精度且つ高速に、正常な細胞画像のパターンと異なる異常な細胞画像が検出することができる。
　以上の異常検出システム１の各実施例で説明した構成は、あくまで一例である異常検出システム１は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、それぞれの実施例で説明した構成は、互いに矛盾しない限り、組み合わせて用いても良い。
　以上、異常検出システム１は、１つ又は複数のコンピュータ装置で実現可能であり、各機能は、プログラムとして構成することができる。例えば、図２に示す補助記憶装置１０５に格納され、ＣＰＵ１００等の制御部が補助記憶装置１０５に格納された監視制御システムの機能毎のプログラムをＲＡＭ１０１に読み出し、ＲＡＭ１０１に読み出された該プログラムを制御部が実行し、１つ又は複数のコンピュータに本実施形態の各機能ブロックを動作させることができる。すなわち、本実施形態の監視制御スシステムの機能毎のプログラムがインストールされた１つ又は複数のコンピュータは、単独で又は連携して各機能を遂行するコンピュータ装置（システム）として動作することが可能である。
　また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能であるコンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ　Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ　Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記録媒体として含まれる。
　なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
　１　　　　　　　異常検出システム
　１０　　　　　　格納部
　１１　　　　　　取得部
　１２　　　　　　測定部
　１３　　　　　　判定部
　１４　　　　　　学習部

Claims (8)

  1. 　予め学習の行われた潜在変数モデルと同時確率モデルとを格納する格納手段と、
    　異常検出対象の入力データを取得する取得手段と、
    　前記格納手段に格納された潜在変数モデルに基づいて、前記入力データから潜在変数を推論するエンコーダと、
    　前記格納手段に格納された同時確率モデルに基づいて、前記潜在変数から復元データを生成するデコーダと、
    　前記入力データと復元データのずれに基づいて、当該入力データが正常であるか又は異常であるかを判定する判定手段と、
    　を備える異常検出システム。
  2. 　前記判定手段は、前記エンコーダ及びデコーダでの処理過程で得られるパラメータによって演算した尤度に基づいて、入力データと復元データのずれ量を判定するようにした、請求項１に記載の異常検出システム。
  3. 　前記判定手段は、入力データと復元データの各次元ごとの成分のずれを演算して求め、何れかの次元において大きな乖離がある場合に異常であると判定するようにした、請求項１に記載の異常検出システム。
  4. 　正常データからなる訓練データに基づいて潜在変数モデルと同時確率モデルとを学習する学習手段をさらに備える、請求項１～３の何れかに記載の異常検出システム。
  5. 　前記測定手段は、ＶＡＥ、ＡＡＥ、ＬＶＡＥ、ＡＤＧＭの何れかによって前記エンコーダ及びデコーダを構築した、請求項１～４の何れかに記載の異常検出システム。
  6. 　予め学習の行われた潜在変数モデルと同時確率モデルとを格納する格納手段を備える異常検出システムにより実行される異常検出方法であって、
    　異常検出対象の入力データを取得する取得ステップと、
    　前記格納手段に格納された潜在変数モデルに基づいて、前記入力データから潜在変数を推論する推論ステップと、
    　前記格納手段に格納された同時確率モデルに基づいて、前記潜在変数から復元データを生成する生成ステップと、
    　前記入力データと復元データのずれに基づいて、当該入力データが正常であるか又は異常であるかを判定する判定ステップと、
    　を含む異常検出方法。
  7. 　コンピュータを、
    　予め学習の行われた潜在変数モデルと同時確率モデルとを格納する格納手段と、
    　異常検出対象の入力データを取得する取得手段と、
    　前記格納手段に格納された潜在変数モデルに基づいて、前記入力データから潜在変数を推論するエンコーダと、
    　前記格納手段に格納された同時確率モデルに基づいて、前記潜在変数から復元データを生成するデコーダと、
    　前記入力データと復元データのずれに基づいて、当該入力データが正常であるか又は異常であるかを判定する判定手段、
    　として機能させる異常検出プログラム。
  8. 　入力データについて異常検出を行うための潜在変数モデルと同時確率モデルとからなる学習済モデルの生成方法であって、
    　正常なデータからなる少なくとも１以上の訓練データを取得する訓練データ取得ステップと、
    　前記潜在変数モデルに基づいて、前記訓練データから潜在変数を推論する推論ステップと、
    　前記同時確率モデルに基づいて、前記潜在変数から復元データを生成する生成ステップと、
    　前記訓練データと復元データのずれを演算するずれ演算ステップと、
    　前記ずれに基づいて前記潜在変数モデルと同時確率モデルのパラメータを更新するパラメータ更新ステップと
    　を含む学習済モデル生成方法。
PCT/JP2016/005043 2015-12-01 2016-12-01 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 Ceased WO2017094267A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/780,355 US10831577B2 (en) 2015-12-01 2016-12-01 Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
EP16870208.2A EP3385889A4 (en) 2015-12-01 2016-12-01 ANOMALIC DETECTION SYSTEM, ANOMALY DETECTION METHOD, ANOMALIC DETECTION PROGRAM, AND METHOD OF GENERATING A LEARNED MODEL
JP2017553636A JP6740247B2 (ja) 2015-12-01 2016-12-01 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
CN201680070526.4A CN108431834A (zh) 2015-12-01 2016-12-01 异常检测系统、异常检测方法、异常检测程序及学得模型的生成方法
US17/038,250 US11334407B2 (en) 2015-12-01 2020-09-30 Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
US17/716,992 US11921566B2 (en) 2015-12-01 2022-04-08 Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015234923 2015-12-01
JP2015-234923 2015-12-01

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/780,355 A-371-Of-International US10831577B2 (en) 2015-12-01 2016-12-01 Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
US17/038,250 Continuation US11334407B2 (en) 2015-12-01 2020-09-30 Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model

Publications (1)

Publication Number Publication Date
WO2017094267A1 true WO2017094267A1 (ja) 2017-06-08

Family

ID=58796725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/005043 Ceased WO2017094267A1 (ja) 2015-12-01 2016-12-01 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法

Country Status (5)

Country Link
US (3) US10831577B2 (ja)
EP (1) EP3385889A4 (ja)
JP (3) JP6740247B2 (ja)
CN (1) CN108431834A (ja)
WO (1) WO2017094267A1 (ja)

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003274A (ja) * 2017-06-12 2019-01-10 日本電信電話株式会社 検知システム、検知方法及び検知プログラム
EP3457333A1 (en) * 2017-09-14 2019-03-20 Siemens Aktiengesellschaft Method for generating at least one recommendation
CN109521725A (zh) * 2017-09-20 2019-03-26 西门子公司 检测异常数据的方法、装置和设备以及机器可读介质
JP2019049778A (ja) * 2017-09-07 2019-03-28 日本電信電話株式会社 検知装置、検知方法及び検知プログラム
KR101967339B1 (ko) * 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
WO2019073923A1 (ja) * 2017-10-10 2019-04-18 国立大学法人岐阜大学 異常品判定方法
CN109685087A (zh) * 2017-10-18 2019-04-26 富士通株式会社 信息处理方法和装置以及信息检测方法和装置
WO2019087987A1 (ja) * 2017-11-02 2019-05-09 日本電信電話株式会社 異常検知装置、異常検知方法、及びプログラム
JP2019070965A (ja) * 2017-10-10 2019-05-09 日本電信電話株式会社 学習装置、学習方法、プログラム
JP2019101781A (ja) * 2017-12-04 2019-06-24 日本電信電話株式会社 検知システム、学習方法及び学習プログラム
JP2019139482A (ja) * 2018-02-09 2019-08-22 株式会社デンソーアイティーラボラトリ 情報推定装置及び情報推定方法
EP3540655A1 (en) * 2018-03-13 2019-09-18 Fujitsu Limited Learning program, learning method, and learning apparatus
JP2019159730A (ja) * 2018-03-12 2019-09-19 株式会社リコー 保守システム、保守サーバ、保守方法
JP2019200551A (ja) * 2018-05-15 2019-11-21 株式会社日立製作所 データから潜在因子を発見するニューラルネットワーク
WO2019244930A1 (ja) * 2018-06-20 2019-12-26 日本電信電話株式会社 検知装置、検知方法および検知プログラム
WO2020008760A1 (ja) * 2018-07-04 2020-01-09 株式会社日立製作所 異常検知システム
JP2020030565A (ja) * 2018-08-22 2020-02-27 株式会社Ｙｅ Ｄｉｇｉｔａｌ 画像判定方法、画像判定装置および画像判定プログラム
WO2020113128A1 (en) * 2018-11-29 2020-06-04 January, Inc. Systems, methods, and devices for biophysical modeling and response prediction
US10754310B2 (en) 2018-10-18 2020-08-25 International Business Machines Corporation Incorporating change diagnosis using probabilistic tensor regression model for improving processing of materials
JP2020140573A (ja) * 2019-02-28 2020-09-03 国立大学法人 奈良先端科学技術大学院大学 情報処理装置、情報処理方法、および情報処理プログラム
JP2020140316A (ja) * 2019-02-27 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
JP2020190791A (ja) * 2019-05-20 2020-11-26 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP2020201871A (ja) * 2019-06-13 2020-12-17 ファナック株式会社 診断装置
JP2021502650A (ja) * 2017-11-13 2021-01-28 バイオス ヘルス リミテッド 時不変分類
CN112286169A (zh) * 2020-10-20 2021-01-29 浙江钱江机器人有限公司 一种工业机器人故障检测方法
JP2021018813A (ja) * 2019-07-18 2021-02-15 株式会社日立製作所 データセットにおける異常の根本原因を検出する方法およびシステム
JP2021033705A (ja) * 2019-08-26 2021-03-01 株式会社東芝 異常判定装置、学習装置、および、異常判定方法
WO2021039339A1 (ja) * 2019-08-30 2021-03-04 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2021039748A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2021509187A (ja) * 2017-11-13 2021-03-18 バイオス ヘルス リミテッド 神経インターフェース
CN112540842A (zh) * 2019-09-20 2021-03-23 北京国双科技有限公司 动态调整系统资源的方法及装置
CN112639831A (zh) * 2018-06-22 2021-04-09 英矽智能科技知识产权有限公司 互信息对抗自动编码器
JP2021129404A (ja) * 2020-02-13 2021-09-02 株式会社デンソーテン 異常検出装置および異常検出方法
EP3710999A4 (en) * 2017-11-17 2021-09-08 Aivitae LLC SYSTEM AND METHOD FOR DETECTION OF ANOMALIES VIA A MULTIPREDICTION MODEL ARCHITECTURE
JP2021144054A (ja) * 2018-08-23 2021-09-24 株式会社明電舎 異常予兆検出方法
JP2021143844A (ja) * 2020-03-10 2021-09-24 エヌ・ティ・ティ・アドバンステクノロジ株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
JP2021149156A (ja) * 2020-03-16 2021-09-27 株式会社日立製作所 保守支援システム及び保守支援方法
JPWO2021250868A1 (ja) * 2020-06-11 2021-12-16
WO2021251414A1 (ja) * 2020-06-09 2021-12-16 株式会社 Preferred Networks 推定装置、訓練装置、推定方法、訓練方法及びプログラム
JPWO2022024245A1 (ja) * 2020-07-29 2022-02-03
JP2022036261A (ja) * 2017-09-27 2022-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 異常診断方法および異常診断装置
AU2019288014B2 (en) * 2018-06-20 2022-03-17 Ntt, Inc. Evaluation device and evaluation method
JP2022082713A (ja) * 2018-08-10 2022-06-02 日本電信電話株式会社 データ変換装置
JP2022091313A (ja) * 2020-12-09 2022-06-21 株式会社 日立産業制御ソリューションズ 分析システム、方法、およびプログラム
US11375019B2 (en) * 2017-03-21 2022-06-28 Preferred Networks, Inc. Server device, learned model providing program, learned model providing method, and learned model providing system
JP2022101650A (ja) * 2017-06-29 2022-07-06 株式会社Preferred Networks データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法
WO2022176196A1 (ja) * 2021-02-22 2022-08-25 日本電信電話株式会社 学習装置、学習方法、およびプログラム
CN114997282A (zh) * 2022-05-15 2022-09-02 上海交通大学 大宗商品交易异常事件强度检测方法
JPWO2022259661A1 (ja) * 2021-06-09 2022-12-15
JPWO2023021690A1 (ja) * 2021-08-20 2023-02-23
JP2023516295A (ja) * 2020-02-27 2023-04-19 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 機械学習を用いた自動センサトレース検証
KR20230067423A (ko) * 2021-11-09 2023-05-16 주식회사 스피랩 딥러닝 기반 IIoT 설비 이상탐지 방법
JP2023069705A (ja) * 2021-11-08 2023-05-18 株式会社デンソーアイティーラボラトリ 異常検出装置、方法及びプログラム
US11664108B2 (en) 2018-11-29 2023-05-30 January, Inc. Systems, methods, and devices for biophysical modeling and response prediction
JP2023092185A (ja) * 2021-12-21 2023-07-03 キヤノン株式会社 画像処理装置、学習方法およびプログラム
JP2023180960A (ja) * 2022-06-10 2023-12-21 株式会社日立製作所 信号処理システムおよび信号処理方法
US11989013B2 (en) 2019-01-18 2024-05-21 Nec Corporation Abnormality detection apparatus, abnormality detection system, and learning apparatus, and methods for the same and non-temporary computer-readable medium storing the same
US12038354B2 (en) 2020-09-25 2024-07-16 Ge Infrastructure Technology Llc Systems and methods for operating a power generating asset

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3385889A4 (en) 2015-12-01 2019-07-10 Preferred Networks, Inc. ANOMALIC DETECTION SYSTEM, ANOMALY DETECTION METHOD, ANOMALIC DETECTION PROGRAM, AND METHOD OF GENERATING A LEARNED MODEL
WO2018022752A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning
JP6840953B2 (ja) * 2016-08-09 2021-03-10 株式会社リコー 診断装置、学習装置および診断システム
US11475276B1 (en) * 2016-11-07 2022-10-18 Apple Inc. Generating more realistic synthetic data with adversarial nets
EP3566182A1 (en) * 2017-02-06 2019-11-13 Deepmind Technologies Limited Memory augmented generative temporal models
US11694072B2 (en) 2017-05-19 2023-07-04 Nvidia Corporation Machine learning technique for automatic modeling of multiple-valued outputs
PL3422222T3 (pl) * 2017-06-29 2024-07-15 F. Hoffmann-La Roche Ag Sposób i system maszyny stanowej do wykrywania stanu działania czujnika
CN111788587B (zh) * 2018-04-17 2023-06-23 赫尔实验室有限公司 用于贝叶斯神经形态编译器的编程模型
JP7056406B2 (ja) * 2018-06-22 2022-04-19 日本電信電話株式会社 センサノード及びデータセンタとして機能する装置、センサネットワーク、通信方法及びプログラム
DE102018120577A1 (de) * 2018-08-23 2020-02-27 Vorwerk & Co. Interholding Gmbh Sich selbsttätig innerhalb einer Umgebung fortbewegendes Bodenbearbeitungsgerät
US12001949B2 (en) 2018-09-05 2024-06-04 Sartorius Stedim Data Analytics Ab Computer-implemented method, computer program product and system for data analysis
EP4290412A3 (en) 2018-09-05 2024-01-03 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for data analysis
US11593660B2 (en) * 2018-09-18 2023-02-28 Insilico Medicine Ip Limited Subset conditioning using variational autoencoder with a learnable tensor train induced prior
US11893498B2 (en) 2018-09-18 2024-02-06 Insilico Medicine Ip Limited Subset conditioning using variational autoencoder with a learnable tensor train induced prior
CN109086876B (zh) * 2018-09-21 2022-07-22 广州发展集团股份有限公司 设备的运行状态检测方法、装置、计算机设备和存储介质
CN111124793A (zh) * 2018-11-01 2020-05-08 中国移动通信集团浙江有限公司 磁盘阵列控制器性能异常检测方法及系统
JP6867358B2 (ja) * 2018-11-13 2021-04-28 ファナック株式会社 状態判定装置及び状態判定方法
CN109635422B (zh) * 2018-12-07 2023-08-25 深圳前海微众银行股份有限公司 联合建模方法、装置、设备以及计算机可读存储介质
KR102279983B1 (ko) * 2018-12-28 2021-07-21 성균관대학교산학협력단 딥러닝 알고리즘을 이용한 비지도 방식의 네트워크 침입 탐지 방법 및 이를 실행하기 위한 프로그램이 기록된 기록매체
RU2739866C2 (ru) * 2018-12-28 2020-12-29 Акционерное общество "Лаборатория Касперского" Способ обнаружения совместимых средств для систем с аномалиями
JP7268367B2 (ja) * 2019-01-30 2023-05-08 富士通株式会社 学習装置、学習方法および学習プログラム
US11935652B1 (en) * 2019-02-20 2024-03-19 Verily Life Sciences Llc Health status change detection using anomaly detection in latent spaces
CN109871002B (zh) * 2019-03-06 2020-08-25 东方证券股份有限公司 基于张量标签学习的并发异常状态识别与定位系统
US11715016B2 (en) 2019-03-15 2023-08-01 International Business Machines Corporation Adversarial input generation using variational autoencoder
JP7183904B2 (ja) * 2019-03-26 2022-12-06 日本電信電話株式会社 評価装置、評価方法、および、評価プログラム
JP7136329B2 (ja) * 2019-03-27 2022-09-13 日本電気株式会社 異常検知装置、制御方法、及びプログラム
CN109978379B (zh) * 2019-03-28 2021-08-24 北京百度网讯科技有限公司 时序数据异常检测方法、装置、计算机设备和存储介质
CN111860552B (zh) * 2019-04-28 2024-10-15 中国科学院计算机网络信息中心 基于核自编码器的模型训练方法、装置及存储介质
JP7207530B2 (ja) * 2019-05-20 2023-01-18 日本電信電話株式会社 情報処理装置、作成方法および作成プログラム
US11604934B2 (en) * 2019-05-29 2023-03-14 Nec Corporation Failure prediction using gradient-based sensor identification
JP2021015573A (ja) * 2019-07-16 2021-02-12 ファナック株式会社 異常判定装置及び異常判定システム
CN110473084A (zh) * 2019-07-17 2019-11-19 中国银行股份有限公司 一种异常检测方法和装置
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US12249189B2 (en) 2019-08-12 2025-03-11 Micron Technology, Inc. Predictive maintenance of automotive lighting
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US12497055B2 (en) 2019-08-21 2025-12-16 Micron Technology, Inc. Monitoring controller area network bus for vehicle control
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11042350B2 (en) 2019-08-21 2021-06-22 Micron Technology, Inc. Intelligent audio control in vehicles
US12210401B2 (en) 2019-09-05 2025-01-28 Micron Technology, Inc. Temperature based optimization of data storage operations
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11553178B2 (en) 2019-09-19 2023-01-10 Samsung Electronics Co., Ltd. Method and electronic device for analyzing image
JP7382791B2 (ja) * 2019-10-30 2023-11-17 株式会社日立製作所 異常判定装置、車両支援システム
US11019087B1 (en) * 2019-11-19 2021-05-25 Ehsan Adeli Computer vision-based intelligent anomaly detection using synthetic and simulated data-system and method
JP2021082126A (ja) * 2019-11-21 2021-05-27 三菱重工業株式会社 異常検出装置、異常検出方法およびプログラム
JP2021089505A (ja) * 2019-12-03 2021-06-10 株式会社日立製作所 監視支援装置、および、監視支援方法
CN110992354B (zh) * 2019-12-13 2022-04-12 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法
US11224359B2 (en) * 2019-12-17 2022-01-18 Robert Bosch Gmbh Repetitive human activities abnormal motion detection
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US20210216876A1 (en) * 2020-01-15 2021-07-15 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for auto-encoder behavior modelling of vehicle components
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11531339B2 (en) * 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
CN111726350B (zh) * 2020-06-16 2022-07-05 桂林电子科技大学 基于vae和bpnn的内部威胁检测方法
CN111865947B (zh) * 2020-07-08 2021-07-20 浙江大学 一种基于迁移学习的电力终端异常数据生成方法
DE102020209163A1 (de) * 2020-07-21 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems
DE102020209162A1 (de) * 2020-07-21 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems
JP7024829B2 (ja) * 2020-07-27 2022-02-24 トヨタ自動車株式会社 教師データ作成装置、教師データ作成方法及びプログラム
US11225259B1 (en) * 2020-07-28 2022-01-18 International Business Machines Corporation Fair anomaly detection and localization
CN111654695A (zh) * 2020-07-30 2020-09-11 重庆盛泰光电有限公司 摄像头模组检测数据管理系统
EP3719711A3 (en) * 2020-07-30 2021-03-03 Institutul Roman De Stiinta Si Tehnologie Method of detecting anomalous data, machine computing unit, computer program
JP7363708B2 (ja) * 2020-08-04 2023-10-18 トヨタ自動車株式会社 動力伝達装置の異常判定装置
KR20220019560A (ko) * 2020-08-10 2022-02-17 삼성전자주식회사 네트워크 모니터링 장치 및 방법
CN111898701B (zh) * 2020-08-13 2023-07-25 网易（杭州）网络有限公司 模型训练、帧图像生成、插帧方法、装置、设备及介质
KR102466716B1 (ko) * 2020-08-18 2022-11-11 연세대학교 산학협력단 특징 벡터 분산에 기반한 손실 함수를 통한 이상 탐지 장치 및 방법
TWI747452B (zh) * 2020-08-20 2021-11-21 慧景科技股份有限公司 以人工智慧進行案場異常偵測之智能監控之系統、方法及儲存媒體
CN112036305B (zh) * 2020-08-31 2023-06-23 微特技术有限公司 一种基于自编码模型的起重机异常事件检测方法
JP7517482B2 (ja) * 2021-02-09 2024-07-17 日本電信電話株式会社 学習装置、異常検知装置、学習方法、異常検知方法、及びプログラム
JP7548843B2 (ja) * 2021-02-22 2024-09-10 株式会社日立製作所 異常度算出システムおよび方法
CN117015775A (zh) * 2021-03-17 2023-11-07 维萨国际服务协会 具有交互分类的可解释系统
US11774956B2 (en) * 2021-03-19 2023-10-03 Hewlett Packard Enterprise Development Lp Anomalous behavior detection by an artificial intelligence-enabled system with multiple correlated sensors
US12136208B2 (en) 2021-03-31 2024-11-05 James R. Glidewell Dental Ceramics, Inc. Automatic clean up of jaw scans
US12210802B2 (en) 2021-04-30 2025-01-28 James R. Glidewell Dental Ceramics, Inc. Neural network margin proposal
US12260339B2 (en) * 2021-05-03 2025-03-25 Mitsubishi Electric Research Laboratories, Inc. Generative model for inverse design of materials, devices, and structures
JP7614025B2 (ja) * 2021-06-14 2025-01-15 株式会社日立製作所 異常検知システム
EP4363820A1 (en) * 2021-06-29 2024-05-08 General Electric Renovables España, S.L. Systems and methods for controlling an industrial asset of an asset family
CN113722176B (zh) * 2021-07-30 2024-08-23 银清科技有限公司 一种自适应的异常性能指标确定方法及装置
US12468948B2 (en) * 2021-08-26 2025-11-11 Sk Planet Co., Ltd. Apparatus and method for anomaly detection
TWI809622B (zh) * 2021-12-24 2023-07-21 臥龍智慧環境有限公司 用於診斷系統問題的系統和方法
US12295806B2 (en) 2022-01-10 2025-05-13 James R. Glidewell Dental Ceramics, Inc. Automatic determination of trim-line for aligners
CN114553756B (zh) * 2022-01-27 2023-06-13 烽火通信科技股份有限公司 基于联合生成对抗网络的设备故障检测方法与电子设备
US12475426B2 (en) * 2022-02-14 2025-11-18 Yantai Jereh Oilfield Services Group Co., Ltd. Method for generating portrait of mechanical equipment
JP7444186B2 (ja) * 2022-03-22 2024-03-06 横河電機株式会社 モデル検証装置、モデル検証方法、および、モデル検証プログラム
JP2023145892A (ja) 2022-03-29 2023-10-12 本田技研工業株式会社 教師データ収集方法及び収集装置
WO2023209798A1 (ja) * 2022-04-26 2023-11-02 日本電信電話株式会社 特徴量抽出装置、特徴量抽出方法及びプログラム
KR102454272B1 (ko) * 2022-05-26 2022-10-14 (주)엘로이랩 뉴럴 네트워크를 이용한 이상 탐지 장치 및 방법과 그 뉴럴 네트워크 학습 장치 및 방법
JP2024027788A (ja) * 2022-08-19 2024-03-01 国立研究開発法人産業技術総合研究所 電流波形分析装置及び電流波形分析方法
KR20240083695A (ko) * 2022-12-05 2024-06-12 세메스 주식회사 심층 학습 기반 분석 시스템 및 그의 동작 방법
KR102900395B1 (ko) * 2023-02-20 2025-12-12 동의대학교 산학협력단 이상치 데이터를 감지하고 개선하는 방법 및 시스템
CN117150401A (zh) * 2023-08-01 2023-12-01 清华大学 异常检测方法、装置、计算机设备、存储介质和程序产品
EP4550225A1 (en) * 2023-10-30 2025-05-07 Denso Corporation Data storage system
JP2025150475A (ja) 2024-03-27 2025-10-09 富士フイルムビジネスイノベーション株式会社 画像形成装置
CN120045378B (zh) * 2025-04-24 2025-06-27 深圳超盈智能科技有限公司 一种lpcamm2的故障检测方法及系统
JP7710633B1 (ja) * 2025-04-30 2025-07-18 株式会社インターネットイニシアティブ 異常管理装置、および異常管理方法
JP7742001B1 (ja) * 2025-05-14 2025-09-18 株式会社インターネットイニシアティブ 異常管理装置、および異常管理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098901A (ja) 2010-11-02 2012-05-24 Hitachi Ltd 環境監視システム
JP2015210750A (ja) * 2014-04-30 2015-11-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、およびプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH076831B2 (ja) * 1988-02-04 1995-01-30 石川島播磨重工業株式会社 設備診断方法
US5331550A (en) * 1991-03-05 1994-07-19 E. I. Du Pont De Nemours And Company Application of neural networks as an aid in medical diagnosis and general anomaly detection
US5465321A (en) * 1993-04-07 1995-11-07 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hidden markov models for fault detection in dynamic systems
US7650210B2 (en) * 1995-06-07 2010-01-19 Automotive Technologies International, Inc. Remote vehicle diagnostic management
JP3619025B2 (ja) * 1998-09-18 2005-02-09 キヤノン株式会社 符号化方法及び符号化装置
US20040168100A1 (en) * 2000-12-04 2004-08-26 Thottan Marina K. Fault detection and prediction for management of computer networks
JP2007326654A (ja) 2006-06-06 2007-12-20 Konica Minolta Medical & Graphic Inc 搬送装置、画像読取装置及び画像記録装置
JP2009276334A (ja) 2008-05-15 2009-11-26 Yec:Kk 異音ピツクアップツール
US8126833B2 (en) * 2008-09-11 2012-02-28 Behavioral Recognition Systems, Inc. Detecting anomalous events using a long-term memory in a video analysis system
US8209080B2 (en) * 2009-04-27 2012-06-26 Toyota Motor Engineering & Manufacturing North America, Inc. System for determining most probable cause of a problem in a plant
EP2369529A1 (en) * 2010-03-24 2011-09-28 Alcatel Lucent A method of detecting anomalies in a message exchange, corresponding computer program product, and data storage device therefor
EP2771806A4 (en) * 2011-10-28 2015-07-22 Blackberry Ltd MANAGEMENT OF ELECTRONIC EQUIPMENT WITH PROFILE-BASED INFERENCES BETWEEN DOMAINS
US9043261B2 (en) * 2012-05-31 2015-05-26 Nec Corporation Latent variable model estimation apparatus, and method
US9170872B2 (en) * 2013-01-16 2015-10-27 Nike, Inc. Reset supervisor
US9177550B2 (en) * 2013-03-06 2015-11-03 Microsoft Technology Licensing, Llc Conservatively adapting a deep neural network in a recognition system
US10867597B2 (en) * 2013-09-02 2020-12-15 Microsoft Technology Licensing, Llc Assignment of semantic labels to a sequence of words using neural network architectures
CN103729444B (zh) * 2013-12-30 2017-07-18 清华大学 一种基于设备监测数据间潜在关系的异常数据检测方法
WO2015134665A1 (en) * 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US20150278441A1 (en) * 2014-03-25 2015-10-01 Nec Laboratories America, Inc. High-order semi-Restricted Boltzmann Machines and Deep Models for accurate peptide-MHC binding prediction
CN104113544B (zh) * 2014-07-18 2017-10-31 重庆大学 基于模糊隐条件随机场模型的网络入侵检测方法及系统
CN104503420B (zh) * 2014-09-19 2017-02-15 北京化工大学 一种基于新型fde‑elm和时延efsm的非线性过程工业故障预测方法
US11836746B2 (en) * 2014-12-02 2023-12-05 Fair Isaac Corporation Auto-encoder enhanced self-diagnostic components for model monitoring
JP2016177682A (ja) * 2015-03-20 2016-10-06 株式会社東芝 設備評価装置、設備評価方法、コンピュータプログラム
US10044371B2 (en) * 2015-08-28 2018-08-07 Qualcomm Incorporated Systems and methods for repair rate control for large erasure coded data storage
EP3385889A4 (en) 2015-12-01 2019-07-10 Preferred Networks, Inc. ANOMALIC DETECTION SYSTEM, ANOMALY DETECTION METHOD, ANOMALIC DETECTION PROGRAM, AND METHOD OF GENERATING A LEARNED MODEL
US10388274B1 (en) * 2016-03-31 2019-08-20 Amazon Technologies, Inc. Confidence checking for speech processing and query answering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098901A (ja) 2010-11-02 2012-05-24 Hitachi Ltd 環境監視システム
JP2015210750A (ja) * 2014-04-30 2015-11-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAYU SAKURADA ET AL.: "Dimensionality Reduction with the Autoencoder for Anomaly Detection of Spacecrafts", 2014 NENDO PROCEEDINGS OF THE 28TH ANNUAL CONFERENCE OF JSAI, vol. 28, 5 December 2014 (2014-12-05), pages 1 - 3, XP009511515, Retrieved from the Internet <URL:https://www.ai-gakkai.or.jp/jsai2014/webprogram/2014/pdf/94.pdf> *
SHIN'ICHI MAEDA: "Contrastive Divergence and Related Topics", JOURNAL OF JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 29, no. 4, 1 July 2014 (2014-07-01), pages 366 - 380, XP 009511055 *
YASUTAKA MONDE ET AL.: "Trial of lung cancer determination by applying Deep Learning to human urine data and search of the target substance", DAI 106 KAI SPECIAL INTERNET GROUP ON KNOWLEDGE-BASED SOFTWARE SHIRYO (SIG-KBS- B502, 8 November 2015 (2015-11-08), pages 36 - 41, XP 055506319 *

Cited By (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12537874B2 (en) 2017-03-21 2026-01-27 Preferred Networks, Inc. Device, program, method, and system for providing learned models
US11375019B2 (en) * 2017-03-21 2022-06-28 Preferred Networks, Inc. Server device, learned model providing program, learned model providing method, and learned model providing system
JP2019003274A (ja) * 2017-06-12 2019-01-10 日本電信電話株式会社 検知システム、検知方法及び検知プログラム
JP7315748B2 (ja) 2017-06-29 2023-07-26 株式会社Preferred Networks データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法
JP2022101650A (ja) * 2017-06-29 2022-07-06 株式会社Preferred Networks データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法
JP2019049778A (ja) * 2017-09-07 2019-03-28 日本電信電話株式会社 検知装置、検知方法及び検知プログラム
EP3457333A1 (en) * 2017-09-14 2019-03-20 Siemens Aktiengesellschaft Method for generating at least one recommendation
WO2019052995A1 (en) * 2017-09-14 2019-03-21 Siemens Aktiengesellschaft METHOD FOR GENERATING AT LEAST ONE RECOMMENDATION
CN109521725A (zh) * 2017-09-20 2019-03-26 西门子公司 检测异常数据的方法、装置和设备以及机器可读介质
EP3460612A1 (en) * 2017-09-20 2019-03-27 Siemens Aktiengesellschaft Method, apparatus and device for detecting abnormal data, and machine-readable medium
US11379745B2 (en) 2017-09-20 2022-07-05 Siemens Aktiengesellschaft Method, apparatus, device and machine-readable medium for detecting abnormal data using an autoencoder
JP7325557B2 (ja) 2017-09-27 2023-08-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 異常診断方法および異常診断装置
JP2022036261A (ja) * 2017-09-27 2022-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 異常診断方法および異常診断装置
JP7177498B2 (ja) 2017-10-10 2022-11-24 国立大学法人東海国立大学機構 異常品判定方法
WO2019073923A1 (ja) * 2017-10-10 2019-04-18 国立大学法人岐阜大学 異常品判定方法
JP2019070965A (ja) * 2017-10-10 2019-05-09 日本電信電話株式会社 学習装置、学習方法、プログラム
JPWO2019073923A1 (ja) * 2017-10-10 2020-10-22 国立大学法人岐阜大学 異常品判定方法
CN109685087B (zh) * 2017-10-18 2022-11-01 富士通株式会社 信息处理方法和装置以及信息检测方法
CN109685087B9 (zh) * 2017-10-18 2023-02-03 富士通株式会社 信息处理方法和装置以及信息检测方法
JP7119865B2 (ja) 2017-10-18 2022-08-17 富士通株式会社 情報処理方法及び装置、並びに情報検出方法及び装置
CN109685087A (zh) * 2017-10-18 2019-04-26 富士通株式会社 信息处理方法和装置以及信息检测方法和装置
JP2019075108A (ja) * 2017-10-18 2019-05-16 富士通株式会社 情報処理方法及び装置、並びに情報検出方法及び装置
WO2019087987A1 (ja) * 2017-11-02 2019-05-09 日本電信電話株式会社 異常検知装置、異常検知方法、及びプログラム
US11615343B2 (en) 2017-11-02 2023-03-28 Nippon Telegraph And Telephone Corporation Anomaly detection apparatus, anomaly detection method, and program
JPWO2019087987A1 (ja) * 2017-11-02 2020-11-12 日本電信電話株式会社 異常検知装置、異常検知方法、及びプログラム
US11610132B2 (en) 2017-11-13 2023-03-21 Bios Health Ltd Time invariant classification
JP2021509187A (ja) * 2017-11-13 2021-03-18 バイオス ヘルス リミテッド 神経インターフェース
US11635815B2 (en) 2017-11-13 2023-04-25 Bios Health Ltd Neural interface
JP2021502650A (ja) * 2017-11-13 2021-01-28 バイオス ヘルス リミテッド 時不変分類
EP3710999A4 (en) * 2017-11-17 2021-09-08 Aivitae LLC SYSTEM AND METHOD FOR DETECTION OF ANOMALIES VIA A MULTIPREDICTION MODEL ARCHITECTURE
JP2019101781A (ja) * 2017-12-04 2019-06-24 日本電信電話株式会社 検知システム、学習方法及び学習プログラム
JP2019139482A (ja) * 2018-02-09 2019-08-22 株式会社デンソーアイティーラボラトリ 情報推定装置及び情報推定方法
US10946864B2 (en) 2018-03-06 2021-03-16 Industry-Academic Cooperation Foundation, Dankook University Apparatus and method for fault diagnosis and back-up of advanced driver assistance system sensors based on deep learning
KR101967339B1 (ko) * 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
JP2019159730A (ja) * 2018-03-12 2019-09-19 株式会社リコー 保守システム、保守サーバ、保守方法
JP7006396B2 (ja) 2018-03-12 2022-01-24 株式会社リコー 保守システム、保守サーバ、保守方法
JP7106902B2 (ja) 2018-03-13 2022-07-27 富士通株式会社 学習プログラム、学習方法および学習装置
JP2019159823A (ja) * 2018-03-13 2019-09-19 富士通株式会社 学習プログラム、学習方法および学習装置
EP3540655A1 (en) * 2018-03-13 2019-09-18 Fujitsu Limited Learning program, learning method, and learning apparatus
JP2019200551A (ja) * 2018-05-15 2019-11-21 株式会社日立製作所 データから潜在因子を発見するニューラルネットワーク
JP7002404B2 (ja) 2018-05-15 2022-01-20 株式会社日立製作所 データから潜在因子を発見するニューラルネットワーク
JP7119631B2 (ja) 2018-06-20 2022-08-17 日本電信電話株式会社 検知装置、検知方法および検知プログラム
WO2019244930A1 (ja) * 2018-06-20 2019-12-26 日本電信電話株式会社 検知装置、検知方法および検知プログラム
JP2019219915A (ja) * 2018-06-20 2019-12-26 日本電信電話株式会社 検知装置、検知方法および検知プログラム
AU2019288014B2 (en) * 2018-06-20 2022-03-17 Ntt, Inc. Evaluation device and evaluation method
CN112639831A (zh) * 2018-06-22 2021-04-09 英矽智能科技知识产权有限公司 互信息对抗自动编码器
WO2020008760A1 (ja) * 2018-07-04 2020-01-09 株式会社日立製作所 異常検知システム
US11892826B2 (en) 2018-07-04 2024-02-06 Hitachi, Ltd. Anomaly detection system
JP7007243B2 (ja) 2018-07-04 2022-01-24 株式会社日立製作所 異常検知システム
JP2020008997A (ja) * 2018-07-04 2020-01-16 株式会社日立製作所 異常検知システム
JP7322997B2 (ja) 2018-08-10 2023-08-08 日本電信電話株式会社 データ変換装置
JP2022082713A (ja) * 2018-08-10 2022-06-02 日本電信電話株式会社 データ変換装置
JP7106391B2 (ja) 2018-08-22 2022-07-26 株式会社Ye Digital 画像判定方法、画像判定装置および画像判定プログラム
JP2020030565A (ja) * 2018-08-22 2020-02-27 株式会社Ｙｅ Ｄｉｇｉｔａｌ 画像判定方法、画像判定装置および画像判定プログラム
JP7196954B2 (ja) 2018-08-23 2022-12-27 株式会社明電舎 異常予兆検出方法
JP2021144054A (ja) * 2018-08-23 2021-09-24 株式会社明電舎 異常予兆検出方法
US10754310B2 (en) 2018-10-18 2020-08-25 International Business Machines Corporation Incorporating change diagnosis using probabilistic tensor regression model for improving processing of materials
KR20210099059A (ko) 2018-11-29 2021-08-11 재뉴어리, 인크. 생물 물리학적 모델링 및 반응 예측을 위한 시스템들, 방법들 및 디바이스들
GB2596923B (en) * 2018-11-29 2022-12-14 January Inc Systems, methods, and devices for biophysical modeling and response prediction
US11664108B2 (en) 2018-11-29 2023-05-30 January, Inc. Systems, methods, and devices for biophysical modeling and response prediction
GB2596923A (en) * 2018-11-29 2022-01-12 January Inc Systems, methods, and devices for biophysical modeling and response prediction
US12433511B2 (en) 2018-11-29 2025-10-07 January, Inc. Systems, methods, and devices for biophysical modeling and response prediction
WO2020113128A1 (en) * 2018-11-29 2020-06-04 January, Inc. Systems, methods, and devices for biophysical modeling and response prediction
US11989013B2 (en) 2019-01-18 2024-05-21 Nec Corporation Abnormality detection apparatus, abnormality detection system, and learning apparatus, and methods for the same and non-temporary computer-readable medium storing the same
JP2020140316A (ja) * 2019-02-27 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
JP2020140573A (ja) * 2019-02-28 2020-09-03 国立大学法人 奈良先端科学技術大学院大学 情報処理装置、情報処理方法、および情報処理プログラム
JP7308476B2 (ja) 2019-02-28 2023-07-14 国立大学法人 奈良先端科学技術大学院大学 情報処理装置、情報処理方法、および情報処理プログラム
JP2020190791A (ja) * 2019-05-20 2020-11-26 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
US11269710B2 (en) 2019-06-13 2022-03-08 Fanuc Corporation Diagnostic apparatus
JP2020201871A (ja) * 2019-06-13 2020-12-17 ファナック株式会社 診断装置
JP2021018813A (ja) * 2019-07-18 2021-02-15 株式会社日立製作所 データセットにおける異常の根本原因を検出する方法およびシステム
US11526783B2 (en) * 2019-08-26 2022-12-13 Kabushiki Kaisha Toshiba Abnormality determination device, learning device, and abnormality determination method
JP7068246B2 (ja) 2019-08-26 2022-05-16 株式会社東芝 異常判定装置、および、異常判定方法
JP2021033705A (ja) * 2019-08-26 2021-03-01 株式会社東芝 異常判定装置、学習装置、および、異常判定方法
US20210065023A1 (en) * 2019-08-26 2021-03-04 Kabushiki Kaisha Toshiba Abnormality determination device, learning device, and abnormality determination method
WO2021039339A1 (ja) * 2019-08-30 2021-03-04 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2021039748A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
US12458298B2 (en) 2019-08-30 2025-11-04 Canon Kabushiki Kaisha Information processing apparatus, information processing method, information processing system, and program
JP7596092B2 (ja) 2019-08-30 2024-12-09 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN112540842A (zh) * 2019-09-20 2021-03-23 北京国双科技有限公司 动态调整系统资源的方法及装置
JP2021129404A (ja) * 2020-02-13 2021-09-02 株式会社デンソーテン 異常検出装置および異常検出方法
JP7497163B2 (ja) 2020-02-13 2024-06-10 株式会社デンソーテン 異常検出装置および異常検出方法
US12124325B2 (en) 2020-02-27 2024-10-22 Siemens Healthcare Diagnostics Inc. Automatic sensor trace validation using machine learning
JP7530988B2 (ja) 2020-02-27 2024-08-08 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 機械学習を用いた自動センサトレース検証
JP2023516295A (ja) * 2020-02-27 2023-04-19 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 機械学習を用いた自動センサトレース検証
JP2021143844A (ja) * 2020-03-10 2021-09-24 エヌ・ティ・ティ・アドバンステクノロジ株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
JP2021149156A (ja) * 2020-03-16 2021-09-27 株式会社日立製作所 保守支援システム及び保守支援方法
JP7333284B2 (ja) 2020-03-16 2023-08-24 株式会社日立製作所 保守支援システム及び保守支援方法
WO2021251414A1 (ja) * 2020-06-09 2021-12-16 株式会社 Preferred Networks 推定装置、訓練装置、推定方法、訓練方法及びプログラム
JPWO2021250868A1 (ja) * 2020-06-11 2021-12-16
JP7643459B2 (ja) 2020-06-11 2025-03-11 日本電信電話株式会社 復元可否判定方法、復元可否判定装置及びプログラム
WO2021250868A1 (ja) * 2020-06-11 2021-12-16 日本電信電話株式会社 復元可否判定方法、復元可否判定装置及びプログラム
WO2022024245A1 (ja) * 2020-07-29 2022-02-03 オリンパス株式会社 検査システム、学習方法、検査方法、及び記憶媒体
JPWO2022024245A1 (ja) * 2020-07-29 2022-02-03
JP7499337B2 (ja) 2020-07-29 2024-06-13 株式会社エビデント 検査システム、学習方法、検査方法、及び記憶媒体
US12038354B2 (en) 2020-09-25 2024-07-16 Ge Infrastructure Technology Llc Systems and methods for operating a power generating asset
CN112286169A (zh) * 2020-10-20 2021-01-29 浙江钱江机器人有限公司 一种工业机器人故障检测方法
CN112286169B (zh) * 2020-10-20 2022-02-01 浙江钱江机器人有限公司 一种工业机器人故障检测方法
JP2022091313A (ja) * 2020-12-09 2022-06-21 株式会社 日立産業制御ソリューションズ 分析システム、方法、およびプログラム
WO2022176196A1 (ja) * 2021-02-22 2022-08-25 日本電信電話株式会社 学習装置、学習方法、およびプログラム
WO2022259661A1 (ja) * 2021-06-09 2022-12-15 コニカミノルタ株式会社 学習装置、学習プログラム、異常検出装置、および異常検出プログラム
JPWO2022259661A1 (ja) * 2021-06-09 2022-12-15
WO2023021690A1 (ja) * 2021-08-20 2023-02-23 日本電信電話株式会社 モデル生成装置、モデル生成方法、プログラム
JPWO2023021690A1 (ja) * 2021-08-20 2023-02-23
JP7559959B2 (ja) 2021-08-20 2024-10-02 日本電信電話株式会社 モデル生成装置、モデル生成方法、プログラム
JP7735801B2 (ja) 2021-11-08 2025-09-09 株式会社デンソー 異常検出装置、方法及びプログラム
JP2023069705A (ja) * 2021-11-08 2023-05-18 株式会社デンソーアイティーラボラトリ 異常検出装置、方法及びプログラム
KR20230067423A (ko) * 2021-11-09 2023-05-16 주식회사 스피랩 딥러닝 기반 IIoT 설비 이상탐지 방법
KR102539448B1 (ko) 2021-11-09 2023-06-05 주식회사 스피랩 딥러닝 기반 IIoT 설비 이상탐지 방법
JP2023092185A (ja) * 2021-12-21 2023-07-03 キヤノン株式会社 画像処理装置、学習方法およびプログラム
JP7834471B2 (ja) 2021-12-21 2026-03-24 キヤノン株式会社 画像処理装置、学習方法およびプログラム
CN114997282A (zh) * 2022-05-15 2022-09-02 上海交通大学 大宗商品交易异常事件强度检测方法
JP2023180960A (ja) * 2022-06-10 2023-12-21 株式会社日立製作所 信号処理システムおよび信号処理方法

Also Published As

Publication number Publication date
EP3385889A1 (en) 2018-10-10
US20220237060A1 (en) 2022-07-28
JP7167084B2 (ja) 2022-11-08
US11334407B2 (en) 2022-05-17
JP7657743B2 (ja) 2025-04-07
US10831577B2 (en) 2020-11-10
US20210011791A1 (en) 2021-01-14
EP3385889A4 (en) 2019-07-10
US11921566B2 (en) 2024-03-05
JP2020119605A (ja) 2020-08-06
JP6740247B2 (ja) 2020-08-12
JPWO2017094267A1 (ja) 2018-10-11
JP2022037241A (ja) 2022-03-08
CN108431834A (zh) 2018-08-21
US20180365089A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
JP7657743B2 (ja) 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
US12086701B2 (en) Computer-implemented method, computer program product and system for anomaly detection and/or predictive maintenance
Khelif et al. Direct remaining useful life estimation based on support vector regression
Chen et al. A health index construction framework for prognostics based on feature fusion and constrained optimization
EP2905665B1 (en) Information processing apparatus, diagnosis method, and program
Baraldi et al. Reconstruction of missing data in multidimensional time series by fuzzy similarity
Zhao et al. Probabilistic remaining useful life prediction based on deep convolutional neural network
Qin et al. Remaining useful life prediction for rotating machinery based on optimal degradation indicator
Kannan et al. Nominal features-based class specific learning model for fault diagnosis in industrial applications
Zhou et al. Industrial fault diagnosis with incremental learning capability under varying sensory data
CN120297938A (zh) 一种基于数字孪生的电力设备预测性维护方法
CN119249365A (zh) 智能化多传感器融合的分板机故障预测与诊断方法及系统
Ashraf et al. DESIGN AND IMPLEMENTATION OF ERROR ISOLATION IN TECHNO METER
Dhungana et al. Bearing prognostics using the PRONOSTIA data: a comparative study
Abbasi et al. Hybrid fault diagnostics and prognostics system development for motor bearings health monitoring
Song et al. Building local models for flexible degradation modeling and prognostics
CN115130616A (zh) 一种告警预测方法、装置、设备及介质
Kafunah Uncertainty-aware fault diagnosis for safety-related industrial systems
Ayub et al. Health index estimation of wind power plant using neurofuzzy modeling
Zhao et al. A semi-supervised nonlinear approach for health assessment with prognostic accuracy integration
KR102868169B1 (ko) 딥러닝 모델을 활용한 설비 장애 예측 장치
Maji et al. A hybrid approach for predictive maintenance monitoring of aircraft engines
CN121524760A (zh) 生产线设备时序故障预测方法及系统
Shastry et al. Contextually-Enhanced Deep Learning Prognostic Modeling for Predicting the Remaining Useful Life of Machines
CN120892736A (zh) 一种基于图神经网络的轴承分段寿命预测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16870208

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017553636

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016870208

Country of ref document: EP